Glue crawler 没有合并数据 - 表格中也没有可见数据

如何解决Glue crawler 没有合并数据 - 表格中也没有可见数据

我正在测试这个架构：Kinesis Firehose → S3 → Glue → Athena。现在我使用的是由 Kinesis 生成的虚拟数据，每一行看起来像这样：{"ticker_symbol":"NFLX","sector":"TECHNOLOGY","change":-1.17,"price":97.83}

但是，有两个问题。首先，Glue Crawler 为每个文件创建一个单独的表。我读过如果模式匹配 Glue 应该只提供一张表。正如您在下面的屏幕截图中看到的，架构是相同的。在 Crawler 选项中，我尝试打开和关闭 Create a single schema for each S3 path，但没有变化。

文件也位于同一路径中，这将我引向第二个问题：查询这些表时，Athena 不显示任何数据。这可能是因为文件共享一个文件夹 - 我已经阅读了 here，第 1 点，并多次测试。如果我从 S3 文件夹中删除除一个文件之外的所有文件并进行爬网，Athena 会显示数据。

我可以强制 Kinesis 将每个文件放在一个单独的文件夹中，或者 Glue 将这些数据记录在一个表中吗？

文件 1：

文件 2：

解决方法

关于 AWS Glue 创建单独的表，可能有一些基于 AWS documentation 的原因：

1. 确认这些文件使用与其余源数据相同的架构、格式和压缩类型。这似乎不是您的问题，但仍要确保我建议您使用较小的文件对其进行测试，方法是删除每个文件中除少数行之外的所有行。
2. 在创建爬网程序时通过选择为每个 S3 路径创建单个架构来组合兼容的架构。对于这种情况，文件架构应该相似，应该启用设置，并且数据应该兼容。如需更多信息，请参阅How to Create a Single Schema for Each Amazon S3 Include Path。
3. 使用 CSV 数据时，请确保始终使用标头。如果您的某些文件有标头而某些没有标头，则爬网程序会创建多个表
   

另一个非常重要的一点是，您应该在根目录下有一个文件夹，在其中应该有分区子文件夹。如果您在 S3 存储桶级别有分区，则不会创建一张表。（Sandeep 在此 Stackoverflow Question 中提到）

我希望这可以帮助您解决问题。