如何解决在YARN CUSTER MODE上的本地文件中捕获Spark执行程序日志
我正在纱线簇模式下运行火花流，为此我想捕获日志并将其写入驱动程序本地文件中，我创建了自定义log4j.properties文件，其中提到了驱动程序的本地文件路径，但我只能看到驱动程序在此文件中记录日志，为什么我的执行者日志未捕获在此文件中，以及如何捕获执行者日志。我尝试了不同的方法，并且我的spark-submit命令如下：-
spark-submit --master yarn --deploy-mode yarn-cluster
--conf "spark.driver.extrajavaoptions=-Dlog4j.configuration=file:/home/log/conf/log4j.properties"
--conf "spark.executor.extrajavaoptions=-Dlog4j.configuration=file:/home/log/conf/log4j.properties" --class com.Word.count.SparkStream /home/project/WordCount/target/Count-0.0.1-SNAPSHOT.jar
解决方法
您可以发布log4j.properties。我假设您可以在执行者节点本地目录中看到执行者日志
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。
