如何解决确定Apache Storm中子流处理的结束
我有一个基于Apache Storm的项目,该项目从Kafka主题中给出其元组。在每条Kafka消息中,我都有一个从外部系统生成的ID。也许我在卡夫卡有多封邮件,它们具有相同的ID。具有类似ID的邮件将顺序插入到Kafka中,没有任何间隙。我想检测所有具有相同ID的消息已由风暴拓扑处理。如何检测到所有具有相同ID的邮件均已被Storm处理?还应该注意,在某些情况下,我在Kafka中有100K条具有相同ID的消息,也许我的风暴拓扑可能在处理这些消息时由于某种原因而崩溃了。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。