如何解决Kafka S3 Sink连接器-如何将分区标记为完整
我正在使用Kafka接收器连接器将数据从Kafka写入s3。输出数据分为小时存储区-year=yyyy/month=MM/day=dd/hour=hh。该数据由下游的批处理作业使用。因此，在开始下游作业之前，我需要确保一旦对该分区的处理开始，没有其他数据会到达给定分区。
设计此内容的最佳方法是什么？如何将分区标记为完整？也就是说，一旦标记为完成，就不会再写入其他数据。
编辑：我正在使用RecordField作为timestamp.extractor。确保我的kafka消息按分区字段在分区内排序
解决方法
取决于您在Sink配置中使用的时间戳提取器。
您必须保证没有记录的时间戳可以早于消耗它的时间。
AFAIK，唯一可行的方法是使用WallClock时间戳提取器。否则，您将消耗Kafka记录时间戳，或每条消息中的某个时间戳。在过去的某个事件中，这两个事件都可以在生产者端被覆盖
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。