如何解决基于分片的 AWS Kinesis 批处理
我计划将两种类型的事件放入 kinesis。事件 A 的频率很高，所以我需要批量大小为 100，maxRecordAge 为 1 分钟。 事件 B 较少发生，我希望将批量大小保持为 1，因为我想尽快处理事件。 我计划将这两个事件保持在相同的运动中，但在不同的分片上。有没有办法根据分片配置批量大小？ 我正在使用 Kinesis lambda 触发器来触发 lambda。
解决方法
不，无法定义每个分片的批量大小。 Batchsize 配置是在流级别定义的。
处理这种情况有两种可能性：
-
或者你有两个 lambda 函数作为消费者，每个都有不同的批量大小，并且根据消息键，你可以过滤消息中的高频/低频数据
-
将数据拆分为两个单独的流，并向每个流添加一个 lambda 使用者。
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。
