如何解决将记录逐行从 S3 复制到 SQS - 使用 AWS Batch
我设置了一个 Glue 作业,它同时运行以处理输入文件并将其写入 S3。 Glue 作业定期运行(不是一次性作业)。
S3 中的输出是 csv 文件的形式。要求是将所有这些记录复制到 Aws SQS 中。假设可能有 100 个文件,每个文件包含多达百万条记录。
最初我计划有一个 lambda 事件来逐行发送记录。但是,从文档中我看到 lambda 的时间限制为 15 分钟 - https://aws.amazon.com/about-aws/whats-new/2018/10/aws-lambda-supports-functions-that-can-run-up-to-15-minutes/#:~:text=You%20can%20now%20configure%20your,Lambda%20function%20was%205%20minutes。
使用 AWS Batch 将记录从 S3 复制到 SQS 会更好吗?我相信,AWS Batch 能够在需要时扩展流程并并行执行任务。
我想知道 AWS Batch 是一个正确的选择还是我想让设计更复杂?
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。