微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

大数据

---恢复内容开始---

Kafka 是一种高吞吐量的分布式发布订阅消息系统,有如下特性:   1) 通过O(1)的磁盘数据结构提供消息的持久化,这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。   2)高吞吐量  即使是非常普通的硬件Kafka也可以支持每秒数百万 的消息。   3)支持通过Kafka服务器和消费机集群来分区消息。   4)支持Hadoop并行数据加载

kafka集群的规模,消费速度是:一般中小型公司是10个节点,每秒20M左右。

Broker Kafka集群包含一个或多个服务器,这种服务器被称为broker 
Topic 每条发布到Kafka集群的消息都有一个类别,这个类别被称为Topic。(物理上不同Topic的消息分开存储,逻辑上一个Topic的消息虽然保存于一个或多个broker上但用户只需指定消息的Topic即可生产或消费数据而不必关心数据存于何处) Partition Partition是物理上的概念,每个Topic包含一个或多个Partition. Producer 负责发布消息到Kafka broker Consumer 消息消费者,向Kafka broker读取消息的客户端。 Consumer Group 每个Consumer属于一个特定的Consumer Group(可为每个Consumer指定group name,若不指定group name则属于默认的group)。

---恢复内容结束---

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 [email protected] 举报,一经查实,本站将立刻删除。

相关推荐