微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

Kafka:根据时滞自动调整保留率

如何解决Kafka:根据时滞自动调整保留率

鉴于我编写了一个应用程序,该应用程序从IoT设备收集数据,并让我的客户通过向他们提供http端点凭据来订阅这些数据。

我必须处理他们的端点没有响应或运行缓慢,然后才将消息缓冲到发送(消耗)为止,这需要进行存储。

要限制此存储空间,我想知道我是否可以观察到消费者的延迟,并且在达到阈值时会自动增加主题保留率(稍后会自动减少)

这将帮助我在认情况下设置较短的保留时间,同时又能够处理不可用的外部端点而不会丢失消息。 (当然,如果滞后持续增长,我将不得不采取其他措施)。

那么我的问题是,卡夫卡有可能吗?这样做时,我有没有必要做些事情?

非常感谢

解决方法

您可以调整主题相对于kafka命令行工具的保留时间:

bin/kafka-configs.sh --bootstrap-server localhost:9092 --entity-type topics --entity-name test --alter --add-config  retention.ms=55000

或者,如果您想在代码中进行操作,请查看TopicCommand类。

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。