如何解决如何检测 kafka 记录达到其 TTL
我想检测一条 kafka 消息到达其生存时间(在我的情况下大约 10 分钟)以自动执行某些操作。
有什么办法可以做到这一点吗?
谢谢! 凯夫
解决方法
除了使用 auto.offset.reset=earliest
使用某个随机组启动消费者,然后使用主题的第一条记录,然后检查其记录时间戳之外,没有为此建立任何内置机制或指标。然而,在每秒有数千条消息的高吞吐量系统中,在启动消费者实例时,一些记录可能已经丢失。
即便如此,这也只是最佳猜测,因为只有关闭的段会被删除。记录/消息本身没有 TTL。因此,实际上,通过 SSH 连接到代理并转储旧段将准确找出将要删除的记录(段)
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。