微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

卡夫卡生产者和消费者之间的信息消失了

如何解决卡夫卡生产者和消费者之间的信息消失了

我有一个非常简单的嵌入式kafka应用程序:一个生产者线程和两个使用者线程编写顶级postgres db。这三个线程在单个进程中运行。我正在使用librdkafka来实现我的消费者和生产者,并以代理身份运行apache-kafka。邮件大小约为2kB。我有两个计数器:一个计数器在我写(rd_kafka_produce)时递增,另一个在我读(rd_kafka_consume_batch)时递增。如果我运行生产者的速度足够快(超过30000条消息/秒),则生产者计数器最终会比消费者计数器大得多(如果我运行30秒,则约为15%)。所以我在某处丢失了消息。我的第一个问题是如何调试此类问题?第二个是最可能导致此问题的原因,我该如何解决

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。