kafka 消息和批次

 

1.2.1  消息和批次   

   Kafka的数据单元被称为消息。

    批次就是一组消息。为了提高效率，消息被分

1.2.3 主题和分区

   主题：Kafka的消息通过主题进行分类。主题好比数据库的表，或者文件系统里的文件夹。

  分区：主题可以被分为若干个分区，一个分区就是一个提交日志。

 分区首领：一个分区从属于一个broker,该broker被称为分区的首领。

一个分区可以分配给多个broker,这时候会发生分区的复制。

1.2.4 生产者和消费者

生产者：生产者创建消息（发布者/写入者）。一般情况下，一个消息会被发布到一个特定的主题上。生成者在默认情况下把消息均衡地分布到主题的所有分区，而并不关心特定消息会被写到哪个分区。

消费者：（订阅者或读者），消费者订阅一个或多个主题，并按照消息生成的顺序读取它们。

偏移量：在给定的分区里，每个消息的偏移量都是唯一的。消费者把每个分区最后读取的消息偏移量保存在Zookeeper或kafka上。

消费者群组：一个或多个消费者共同读入一个主题。

所有权关系：消费者与分区之间的映射通常被称为消费者对分区的所有权关系。

1.2.5 broker和集群

broker:一个独立的kafka集群。每个集群都有一个broker同时充当了集群控制器的角色（自动从集群的活跃成员中选举出来）。