如何解决使用Oozie安排具有依赖性的Python脚本
我正在使用Oozie安排工作的Cloudera环境。 鉴于Oozie允许用户安排工作流程中的Shell脚本,我已经在Hadoop目录中创建了以下.sh文件:
#! /usr/bin/env python
import sys
print(sys.version)
在Oozie工作流程中安排此.sh时,一切都将正常运行,因为:
-
在libang中提到的路径中找到了
- Python
-
sys
是可用的模块
但是,像这样的.sh文件将不起作用:
#! /usr/bin/env python
import pandas
这是因为pandas
不可用。
是否可以创建一个.sh文件,将所需的Python依赖项(可能是指Hadoop目录中包含的文件)捆绑在一起,而不必在Python环境中安装Python库?
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。