KAKFA的安装使用

HDFS正常启动

zookeeper正常安装

sw目录下的KAFKA解压安装

tar zxvf kafka_2.11-0.11.0.2.tgz

mv kafka_2.11-0.11.0.2   ../md/

配置环境变量

vi ~/.bash_profile

export KAFKA_HOME=/home/a/md/kafka_2.11-0.11.0.2

export PATH=$KAFKA_HOME/bin:$PATH

source ~/.bash_profile

cd ~/md/kafka_2.11-0.11.0.2/config/目录下，修改server.properties,这里要注意启动几个kafka就要配置几个server.properties

server.properties主要配置参数

broker.id=0   

delete.topic.enable=true  是否可以删除主题

listeners=PLAINTEXT://:9092  默认的端口，如果有多个的话，就要依次在每个server.properties中设置listeners=PLAINTEXT://:9092     server1.properties listeners=PLAINTEXT://:9093，server2.properties listeners=PLAINTEXT://:9094

log.dirs=/home/a/md/kafka_2.11-0.11.0.2/data1  为kafka要缓存的数据位置，

zookeeper.connect=master:12181/kafka0.11　　连接到zookeeper哪里，如果有多个zookeeper服务器都要以逗号隔开，全部写上。

kafka如何启动呢

启动第1个:kafka-server-start.sh -daemon ~/md/kafka_2.11-0.11.0.2/config/server1.properties

启动第2个:kafka-server-start.sh -daemon ~/md/kafka_2.11-0.11.0.2/config/server2.properties

...

如何查看kafka相关信息呢？

zkCli.sh -server master:12181

ls /

 

 

get  /kafka0.11/brokers/ids/0

 

 创建topic呢？

kafka-topics.sh --create -topic mykafka1 --zookeeper master:12181/kafka0.11 --partitions 3 --replication-factor 1

查看topic呢

kafka-topics.sh --list --zookeeper master:12181/kakfa0.11

删除topic

kafka-topic.sh --delete -topic  -zookeeper master:12181/kafka0.11

 

 

 通过zkCli.sh -server master:12181可以进行各种源信息的查询。

 

　配置producer 和cusumoer进行通信

　producer生产数据

　

　consumer接收数据