如何解决aws Glue-JOB 问题
Input to the glue job : number of s3 csv files<N csv files>
Output from glue JOB : One parquet file per each glue-job run
我的 glue 作业是使用 pyspark 和 glue dataframes 编写的。它一直工作到 26th march。通常需要 30 minutes 才能完成作业。
问题：最近我看到我的胶水作业连续运行 2-days 并返回 timeout error。
注意事项：
Recently I didnt changed glue code
I didn't changed the infrastructure setup
No high load of CSV files
我不知道为什么这个粘合作业需要 2 天的时间来处理并返回 TimeOut Error
谁能告诉我解决方案？
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。
