如何解决什么是处理大量Kafka消息流的最佳解决方案?
我正在构建一个新的微服务,该服务具有两个kafka主题,这些主题提供需要处理的大量消息(处理涉及对另一个微服务的REST调用),然后重新发布包含已处理消息的新消息。
经过一番搜索,我发现我可以使用以下解决方案之一:
- 通常的Kafka Consumer Producer API,带有用于处理消息的线程
- 据我所知,Kafka Steam API利用消息的消费,处理和重新发布到kafka的过程
- Kafka Reactive用于非阻塞和快速处理消息
这里的邮件目标是尽可能地实现高吞吐量,因为期望每个主题处理数百或数千条消息。
谁能给我一些更适合我的情况的行会指南,或者如果我误解了以上几点,可以纠正我吗?
解决方法
关于实际实施框架(消费者,流,响应式)的建议最终可能基于观点。
独立于此选择,Kafka随主题内的分区数扩展。由于主题分区只能由(同一使用者组的)一个使用者实例使用,因此您要拥有大量分区和大量使用者实例。
您当然也可以使用大量主题,因为这也会增加并行度和吞吐量。
这可以独立于您的实现选择来实现。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。