一．了解淘宝Kafka架构在ActiveMQ、RabbitMQ、RocketMQ、Kafka消息中间件之间，我们为什么要选择Kafka?下面详细介绍一下，2012年9月份我在支付宝做余额宝研发，2013年6月支付宝正式推出余额宝，2013年8月担任支付宝淘宝×××项目经理带领兄弟们一起做研发，期间需要与淘宝和500万对接竞彩接口

一、kafka一个最基本的架构认识由多个broker组成，每个broker就是一个节点；创建一个topic，这个topic可以划分为多个partition，每个partition可以存在于不同的broker上，每个partition存放放一部分数据。kafka就是一个分布式消息队列，就是说一个topic的数据，是分散放在多个机器上的

在ActiveMQ、RabbitMQ、RocketMQ、Kafka消息中间件之间，我们为什么要选择Kafka?下面详细介绍一下，2012年9月份我在支付宝做余额宝研发，2013年6月支付宝正式推出余额宝，2013年8月担任支付宝淘宝彩票项目经理带领兄弟们一起做研发，期间需要与淘宝和500万对接竞彩接口数据。通过业余时间

Kafka深度解析系列 （强烈推荐）Kafka最佳实践【译】|Matt'sBlogKafka消费组(consumergroup)-huxihx-博KafkaCompressionPerformanceTestsKafkaController分析系列Kafka运维填坑Kafka水位(highwatermark)与leaderepoch的讨论

工作,并不是生活的全部.但工作得到的报酬,是大部分人生活来源的全部.因此,我们要努力工作,努力生活.但这并不意味着作为一个工作机器拼命努力,而是要作为一个独立的人,一个活生生的人,以人的方式进行努力.所以说,我们在工作之余,要勤于总结,勤于思考,使用敏捷的工作方法指导我们

Kafka原理和集群测试文章转自：https://blog.csdn.net/u013035314/article/details/46998323Kafka的关键设计决策Kafka是一个消息系统，由LinkedIn贡献给Apache基金会，称为Apache的一个顶级项目。Kafka最初用作LinkedIn的活动流（activitystream）和运营数据处理管道（pipeline）的基础。

Broker差异主从差异:kafka的master/slave是基于partition维度的，而rocketmq是基于broker维度的；kafka的master/slave是可以切换的，而rocketmq不行，当rocketmq的master宕机时，读能被路由到slave上，但写会被路由到此topic的其他broker上。刷盘：rocketmq支持同步刷盘，也就是每次消息

在配置好kafka的server.properties文件后，cmd进入命令窗口输入命令：.\bin\windows\kafka-server-start.batconfig\server.properties提示错误：错误:找不到或无法加载主类Files\Java\jdk1.7.0_80\lib;C:\Program解决方式如下：在kafka安装目录中找到bin\windows目录中的kafka-run-cla

问题一：启动storm时，发现kafka一直读取不了数据，但是查询时，仍有数据没有读取： 一直读取不了，看了下代码，是kafka消费时，一直读取不了数据：查询，很符合kafka重复读取引起的问题。详情见链接：Kafka重启Consumer后抓不到数据的问题确实storm读取时是自动提交的，并且修改group，可以正常运行

问题导读：1.zookeeper在kafka的作用是什么？2.kafka中几乎不允许对消息进行“随机读写”的原因是什么？3.kafka集群consumer和producer状态信息是如何保存的？4.partitions设计的目的的根本原因是什么？ 一、入门  1、简介  Kafkaisadistributed,partitioned,replicat

问题1：OOM内存溢出背景介绍，通常对logstash的应用，是logstash日志收集日志然后写入到kafka，因为logstash本身是插件化，所以就会应用到kafka-output-plugin，该插件直接调用的kafka-client的包。回归正题，什么时候回出现OOM呢，当单条日志大于1M时，此时kafka-client源码中会拒绝该日志的接

---恢复内容开始---Kafka 是一种高吞吐量的分布式发布订阅消息系统，有如下特性： 1) 通过O(1)的磁盘数据结构提供消息的持久化，这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。 2)高吞吐量  即使是非常普通的硬件Kafka也可以支持每秒数百万 的消息。 3)

需要先搭建zookeeper协助其做容灾选举等工作搭建zookeeper流程如下 InstalltheJavaJDK.Youcanusethenativepackagingsystemforyoursystem,ordownloadtheJDKfrom下载jdk用wget装jdkwget--no-cookies--no-check-certificate--header"Cookie:gpw_e24=

摘自：https://www.cnblogs.com/qingyunzong/p/9004703.html一、高可用的由来1.1为何需要Replication在Kafka在0.8以前的版本中，是没有Replication的，一旦某一个Broker宕机，则其上所有的Partition数据都不可被消费，这与Kafka数据持久性及DeliveryGuarantee的设计目标相悖。同

关于Kafka日志留存(logretention)策略的介绍，网上已有很多文章。不过目前其策略已然发生了一些变化，故本文针对较新版本的Kafka做一次统一的讨论。如果没有显式说明，本文一律以Kafka1.0.0作为分析对象。所谓日志留存策略，就是Kafka保存topic数据的规则，我将按照以下几个方面分别介

1.三节点主机环境：#RedHatEnterpriseLinuxServerrelease7.5192.168.154.128  my1.db.com  my1192.168.154.129  my2.db.com  my2192.168.154.130  my3.db.com  my32.下载zookeeper：http://zookeeper.apache.orgeleases.htmltarxvzfzookeeper-3.4.13.tar.