如何解决kafka 流聚合 - 数据丢失
我们有 kafka 流应用程序,它从主题 A 读取数据做聚合并将其写入主题 B, 我们发现聚合在特定时间丢失了数据,而我们在 kafka 代理中遇到了问题。
我们在客户端看到以下错误:
- 由于同步副本少于所需数量,消息被拒绝,因此将记录发送到主题“x”时出错。;将不会发送更多记录,也不会为此任务记录更多偏移
- 由于 'x' 310107 ms 的 Expiring 9 记录,错误发送记录到主题 'x-state-store' 自批量创建以来;将不会发送更多记录,也不会为此任务记录更多偏移
据我所知,kafka 流写入失败不会提交偏移量,数据将再次被消耗,但最终数据丢失了,有什么可以解释的?也许我们缺少一些配置? (min.insync.replicas 等于复制数)
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。