如何使用弹性搜索索引 10 亿行 CSV 文件？

如何解决如何使用弹性搜索索引 10 亿行 CSV 文件？

假设您有一个大型 CSV 文件 - 假设有 10 亿行。

您希望文件中的每一行都成为弹性搜索中的文档。

您无法将文件加载到内存中 - 它太大，因此必须流式传输或分块。

花费的时间不是问题。首要任务是确保所有数据都被编入索引，没有丢失数据。

您如何看待这种方法：

第 1 部分：准备数据

• 以 1000 行为单位循环遍历 CSV 文件
• 对于每个批次，将行转换为 JSON 并将它们保存到一个较小的文件中
• 您现在有 100 万个文件，每个文件都有 1000 行漂亮的 JSON
• 文件名应该是递增的 ID。例如，从 1.json 运行到 1000000.json

第 2 部分：上传数据

• 开始遍历每个 JSON 文件并将其读入内存
• 使用批量 API 一次上传 1000 个文档
• 在结果数组中记录上传的成功/失败
• 循环遍历结果数组，如果有任何上传失败，请重试

解决方法

您上面提到的步骤看起来不错。确保 ES 不会承受负载的其他一些事情：

• 根据我的经验，您也可以将批量请求大小增加到更大的值，比如在 4k-7k 范围内的某个地方（从 7k 开始，如果它引起痛苦，请尝试较小的批次但低于可能不需要 4k）。
• 确保将 refresh_interval 的值设置为非常大的值。这将确保文档不会被频繁索引。 IMO 默认值也可以。阅读更多here。

正如上面的评论所暗示的，如果您从少量数据开始会更好。当然，如果您使用常量而不是对值进行硬编码，您的任务就会变得更容易。