微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

使用 setup.py 文件时如何从云功能提交数据流作业

如何解决使用 setup.py 文件时如何从云功能提交数据流作业

我在 python 中创建了一个云函数,它触发了一个数据流管道。我正在向 apache 光束管道提供 setup.py 文件

云函数被触发时,apache beam 使用命令触发 setup.py 文件

python3 setup.py sdist --dist-dir /tmp/tmp8uc0b7af

当上述命令由beam 执行时,它会尝试在根级别创建一个名为“egg.info”的目录。但是云函数目录是只读的,因此作业无法触发数据流上的管道。

我使用的是 Dataflow SDK 版本 2.30.0。

是否可以允许写入云功能或将目录更改为自动生成的目录到/tmp文件夹?

我主要将 setup.py 用于 findpackages(),它允许我在数据流中使用本地包。有没有其他方法可以避免 setup.py 运行?

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。