微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

如何将Kinesis数据流合并为一个以进行Kinesis数据分析?

如何解决如何将Kinesis数据流合并为一个以进行Kinesis数据分析?

我有多个AWS kinesis数据流/ firehose,其中包含CSV格式的结构化数据。我需要使用运动学数据分析对该数据进行分析。但是如何将多个流合并为一个?因为Kinesis数据分析只能从一个流中获取数据。数据流可以存在于不同的区域。

问题: 如何将Kinesis数据流合并为一个以进行Kinesis数据分析?

解决方法

我不知道您是否可以使用AWS提供的任何“现成”产品,但是如果您不介意编写一些代码,这很简单。

  1. 创建将成为“合并流”的运动学流(两个源流的事件都将移至此处)。
  2. 使用所选的编程语言创建lambda,并将触发器设置为要合并的运动流。
  3. 对lambda进行编码,以将其接收的所有事件写到步骤1中创建的流中。

生成的运动学流应具有您要查找的合并数据,并可以将其用于分析。

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。