微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

查询S3路径时,AWS Spectrum返回AccesDenied

如何解决查询S3路径时,AWS Spectrum返回AccesDenied

我在Airflow中有一个进程,该进程将一些CSV读取到Pandas DF,然后对其执行一些操作,并将结果另存为实木复合地板文件,并存储在S3的另一个存储桶中。

然后我们通过另一个过程读取这些实木复合地板文件

它在95%的时间内都能正常工作,但有时在读取镶木地板文件时会出现“访问被拒绝”错误

附带的屏幕截图:

enter image description here

我了解了有关ACL的信息,因此我将代码设置为:

console.log

但是在为已中断的任务实例再次运行作业之后,它仍然出现相同的问题。

关于如何避免它的任何想法?正如我所说,它只发生了三到四次,并且每小时运行一次。

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。