微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

Azkaban - Azkaban 无法从 HDFS 中找到我的 jar 包

如何解决Azkaban - Azkaban 无法从 HDFS 中找到我的 jar 包

当我使用Azkaban jobtype在yarn上执行spark任务时,Azkaban一直无法从我设置的execution-jar路径中找到它。

execution-jar hdfs:///offline/spark/jars/test.jar

Azkaban 会从我本地路径加载文件,然后报错找不到文件

02-06-2021 14:22:29 CST yarn_test ERROR - java.lang.Exception: Job set up Failed: execution jar is suppose to be in this folder,but the folder doesn't exist: /root/azkaban/exec/executions/13/hdfs:///offline/spark/jars/pdns cause: java.lang.Exception: Job set up Failed: execution jar is suppose to be in this folder,but the folder doesn't exist: /root/azkaban/exec/executions/13/hdfs:///offline/spark/jars

[![在此处输入图像描述][1]][1] [1]:https://i.stack.imgur.com/Z7UM6.png

我该如何解决这个问题?感谢您的帮助!

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。