使用自托管 Kafka 作为 AWS Lamda 的事件源

如何解决使用自托管 Kafka 作为 AWS Lamda 的事件源

我想使用自托管（在 EC2 实例中）Kafka 流作为事件源来触发 lambda 函数。尽管 lamda 可以轻松配置 (here) 以从 Kafka 流中触发，但我不想针对所有消息触发，而只想针对少数情况触发。

我们可以在 Eventbridge 中使用模式匹配，但是我们可以使用自托管的 Kafka 作为源吗？如果是，那么如何？

解决方法

您需要在某处实现自定义过滤。我认为最好的办法是使用 Kafka Streams 找到您想要采取行动的相关消息，然后将它们发送到单独的主题。这是一个 article，解释了如何实现这一点。

我建议的其他替代解决方案是使用 AWS Kinesis 或自定义 kafka 使用者，但它们都遵循相同的概念：

1. 处理流。
2. 查找相关消息。
3. 将它们发送到其他地方（例如另一个 kafka 主题），这将是您的 lambda 的输入。