微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

超过 15 分钟后的 Lambda 执行超时

如何解决超过 15 分钟后的 Lambda 执行超时

我在 15 分钟后超过了 Lambda 执行超时。

原因是因为我有长时间运行的操作,这些操作将数千行数据插入和更新到 Salesforce。

下面是一一执行的代码

sfdc_ops.insert_case_records( records_to_insert_df,sf)
sfdc_ops.update_case_records( records_to_update_df,sf)
sfdc_ops.update_case_records( unprocessed_in_IKM_df,sf)
sfdc_ops.update_case_records( processed_in_IKM_df,sf)

我最终不需要等待每一行。我真正想做的是同时启动所有 4 个更新和插入进程。

避免 15 分钟限制的最佳解决方案是什么 - Step Functions?

解决方法

对于长时间运行的作业,例如 ETL 作业,建议使用 AWS Step Functions。您可以将四个更新操作拆分为单独的 Lambda,并在 Step Function 中编排它们以在 parallel 中运行。

,

我会重新考虑你的方法。如果您超过 15 分钟的限制,那么一个 lambda 函数将不适合您。

你能把它分解成更小的功能吗?一个 lambda 执行插入,一个执行更新并使用 Step Functions 编排它们?

您是否考虑过使用 AWS Batch 进行批处理而不是使用 Lambda 函数?

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。