如何解决从熊猫 udf 记录
我正在尝试从在 python 转换中调用的 Pandas udf 登录。
因为在执行器上调用的代码没有显示在驱动程序的日志中。
我一直在寻找关于 SO 的一些选项，但到目前为止最接近的选项是 one
欢迎任何有关如何在驱动程序日志或构建下可用的任何其他日志文件中显示日志的想法。
import logging
logger = logging.getLogger(__name__)
@pandas_udf(schema,functionType=PandasUDFType.GROUPED_MAP)
def my_udf(my_pdf):
logger.info('calling my udf')
do_some_stuff()
results_df = my_df.groupby("Name").apply(my_udf)
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。
