使用 S3 + Glue + Athena 分析来自 EventBridge 的所有事件

如何解决使用 S3 + Glue + Athena 分析来自 EventBridge 的所有事件

我想记录尽可能多的平台产生的动作。（有点接受基于事件的架构，但反过来）。例如，我想记录创建报告的时间和方式，删除联系人的时间和方式，或者代理记录的时间- 登录和注销。

由于我们的应用程序尝试使用基于事件的微服务解耦（使用 AWS EventBridge），我想只为我想记录的任何操作发出事件。因此，例如，一个 agent 登录，一个事件被发出，一个 agent 创建一个报告，一个事件被发出（你懂的）。

现在我创建了一个捕获所有事件的规则，将任何事件转发到 AWS Kinesis firehose。 firehose 将事件批量保存到 S3 存储桶中。现在为了分析这些 JSON 事件，我在存储桶上运行 AWS Glue 爬网程序以生成架构。最后，我运行 AWS Athena 查询以了解我获得的所有数据。

这是如何分析事件的可视化：

现在让您了解可以在该 S3 存储桶中找到哪些类型的事件/数据：

{"version":"0","id":"c1d9e9a4-25a2-a0d8-2fa4-b062efec98c4","detail-type":"OneTypeee","source":"OneSource","account":"123456789","time":"2021-01-17T12:35:17Z","region":"eu-central-1","resources":[],"detail":{"Key1":"Value1"}}
{"version":"0","id":"c13879a4-2h32-a0d8-9m33-b03jsh3cxxj4","detail-type":"OtherType","source":"SomeMagicSource","time":"2021-01-17T12:36:17Z","detail":{"Key2":"Value2","Key22":"Value22"}}
{"version":"0","id":"gi442233-3y44a0d8-9m33-937rjd74jdddj","detail-type":"MoreTypes","source":"SomeMagicSource2","time":"2021-01-17T12:45:17Z","detail":{"MagicKey":"MagicValue","Foo":"Bar"}}

在成千上万的文件中有成千上万的这些行。并且有数百种不同类型的事件包含不同的数据。它们按年、月、日、小时分为不同的文件夹（由 Kinesis Firehose 完成）。

现在我遇到的问题是，每个分区的架构略有不同，当我尝试运行 Athena SQL 查询时，我遇到了此类错误（这是一个示例）：

您的查询有以下错误：

HIVE_PARTITION_SCHEMA_MISMATCH：表之间存在不匹配和分区模式。类型不兼容，不能被胁迫。表中的“详细信息”列 'xxx-alleventscrawlerdatabase-dev.xxx_allevents_dev' 声明为输入'structyes:string,key:string,sum:int'，但是分区 'partition_0=Events2021/partition_1=01/partition_2=17/partition_3=12' 将列 'detail' 声明为类型 'structkey:string,sum:int'。

我尝试了不同的爬虫配置，但没有成功。

所以我的问题是：

总的来说 - 这是记录和分析事件数据的好方法吗？
如何拥有一个统一的架构，涵盖所有不同的键并且不会产生 HIVE_PARTITION_SCHEMA_MISMATCH 异常？

使用 S3 + Glue + Athena 分析来自 EventBridge 的所有事件

如何解决使用 S3 + Glue + Athena 分析来自 EventBridge 的所有事件

相关推荐