微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦！

Kafka强大监控工具Kafka Eagle

分类：Kafka作者：编程之家原文地址

kafka投入生产使用后，需要借助一些管理（监控）工具。目前这类工具有很多种，具体如下表：

监控工具

特点

备注

Kafka Web Console

实现brokers、topic列表等监控，展示生产和消费流量图。

存在bug，会与生产者、消费者和zookeeper建立大量的连接，导致网络阻塞。

Kafka Manager

实现broker级常见的jmx监控，可以对consumer消费进度进行监控，可以web对多个集群进行管理。

编译安装耗时，不能设置访问控制，不能配置告警，非常耗内存。

Kafka Eagle

实现broker级常见的jmx监控，可以对consumer消费进度进行监控，可以web对多个集群进行管理。 

安装简单（二进制包解压即用）， 可以配置告警（钉钉、微信、email均可），需要数据库（MysqL或sqlite）。

Kafka Offset Monitor

如果场景是偏重集群管理，则不要选择

该项目已经近2年未维护。

JmxTool

结合Influxdb和Grafana使用

比较繁琐


我们这里选择Kafka Eagle


基础环境准备：

时区调整，时间校准：
# date -R
# timedatectl set-timezone Asia/Shanghai
# yum -y install ntp
# ntpdate ntp1.aliyun.com

安装wget：
# yum install -y wget

关闭selinux：
# vi /etc/sysconfig/selinux
SELINUX=disabled

重启服务器并验证：
# getenforce
disabled

设置防火墙
[root@node1 ~]# firewall-cmd --zone=public --add-port=8048/tcp --permanent
success
[root@node1 ~]# firewall-cmd --reload
success

设置句柄数等



1、安装JDK

[root@node1 opt]# yum -y install java-1.8.0-openjdk java-1.8.0-openjdk-devel

[root@node1 opt]# java -version
openjdk version "1.8.0_262"
OpenJDK Runtime Environment (build 1.8.0_262-b10)
OpenJDK 64-Bit Server VM (build 25.262-b10, mixed mode)

[root@node1 opt]# vim /etc/profile
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.262.b10-0.el7_8.x86_64
export CLAsspATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin

[root@node1 opt]# source /etc/profile



2、MysqL安装

备注：eagle默认使用sqlite存储，我们这里改成MysqL存储

[root@node1 ~]# yum -y install wget lrzsz net-tools
[root@node1 ~]# wget http://dev.MysqL.com/get/MysqL57-community-release-el7-10.noarch.rpm
[root@node1 ~]# yum -y install MysqL57-community-release-el7-10.noarch.rpm
[root@node1 ~]# yum -y install MysqL-community-server
[root@node1 ~]# systemctl start  MysqLd.service
[root@node1 ~]# systemctl status MysqLd.service
[root@node1 ~]# systemctl enable MysqLd.service
[root@node1 ~]# netstat -anpt | grep 3306

查询root临时密码
[root@node1 ~]# grep "password" /var/log/MysqLd.log
2019-02-14T22:34:02.620689Z 1 [Note] A temporary password is generated for root@localhost: &5E%TRUAzrDL
[root@node1 ~]# MysqL -u root -p

#root临时密码是&5E%TRUAzrDL
修改root密码：
MysqL> alter user 'root'@'localhost' identified by 'root新密码';
Query OK, 0 rows affected (0.00 sec)
MysqL> flush privileges;
Query OK, 0 rows affected (0.00 sec)

创建数据库eagle：
MysqL> create database eagle character set utf8 collate utf8_bin;
Query OK, 1 row affected (0.01 sec)
MysqL> use eagle;
Database changed

创建普通用户zabbix，并授权数据库eagle给eagle用户、并允许远程访问：
MysqL> create user 'eagle'@'%' identified by 'MysqL@123';
MysqL> grant all privileges on eagle.* TO 'eagle'@'%' identified by 'MysqL@123';
MysqL> flush privileges;

卸载yum源
[root@node1 ~]# yum -y remove MysqL57-community-release-el7-10.noarch



3、安装Eagle

下载路径：https://codeload.github.com/smartloli/kafka-eagle-bin/tar.gz/v2.0.1

[root@node1 opt]# cd /opt
[root@node1 opt]# tar -zxvf kafka-eagle-bin-2.0.1.tar.gz
kafka-eagle-bin-2.0.1/
kafka-eagle-bin-2.0.1/kafka-eagle-web-2.0.1-bin.tar.gz
[root@node1 opt]# mv kafka-eagle-bin-2.0.1 kafka-eagle

[root@node1 opt]# cd kafka-eagle
[root@node1 kafka-eagle]# tar zxvf kafka-eagle-web-2.0.1-bin.tar.gz
[root@node1 kafka-eagle]# mv kafka-eagle-web-2.0.1 kafka-eagle-web

[root@node1 opt]# vi /etc/profile
export KE_HOME=/opt/kafka-eagle/kafka-eagle-web
export PATH=$PATH:$KE_HOME/bin

[root@node1 opt]# source /etc/profile



4、编辑Eagle配置文件

[root@node1 ~]# vim /opt/kafka-eagle/kafka-eagle-web/conf/system-config.properties
######################################
# multi zookeeper & kafka cluster list
######################################
kafka.eagle.zk.cluster.alias=cluster1,cluster2
cluster1.zk.list=node1:2181,node2:2181,node3:2181
#cluster2.zk.list=xdn10:2181,xdn11:2181,xdn12:2181
######################################
# zookeeper enable acl
######################################
cluster1.zk.acl.enable=false
cluster1.zk.acl.schema=digest
cluster1.zk.acl.username=test
cluster1.zk.acl.password=test123
######################################
# broker size online list
######################################
cluster1.kafka.eagle.broker.size=20
######################################
# zk client thread limit
######################################
kafka.zk.limit.size=25
######################################
# kafka eagle webui port
######################################
kafka.eagle.webui.port=8048
######################################
# kafka offset storage
######################################
cluster1.kafka.eagle.offset.storage=kafka
cluster2.kafka.eagle.offset.storage=zk
######################################
# kafka metrics, 15 days by default
######################################
kafka.eagle.metrics.charts=true
kafka.eagle.metrics.retain=15
######################################
# kafka sql topic records max
######################################
kafka.eagle.sql.topic.records.max=5000
kafka.eagle.sql.fix.error=true
######################################
# delete kafka topic token
######################################
kafka.eagle.topic.token=keadmin
######################################
# kafka sasl authenticate
######################################
cluster1.kafka.eagle.sasl.enable=false
cluster1.kafka.eagle.sasl.protocol=SASL_PLAINTEXT
cluster1.kafka.eagle.sasl.mechanism=SCRAM-SHA-256
cluster1.kafka.eagle.sasl.jaas.config=org.apache.kafka.common.security.scram.ScramLoginModule required username="kafka" password="kafka-eagle";
cluster1.kafka.eagle.sasl.client.id=
cluster1.kafka.eagle.blacklist.topics=
cluster1.kafka.eagle.sasl.cgroup.enable=false
cluster1.kafka.eagle.sasl.cgroup.topics=
cluster2.kafka.eagle.sasl.enable=false
cluster2.kafka.eagle.sasl.protocol=SASL_PLAINTEXT
cluster2.kafka.eagle.sasl.mechanism=PLAIN
cluster2.kafka.eagle.sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="kafka" password="kafka-eagle";
cluster2.kafka.eagle.sasl.client.id=
cluster2.kafka.eagle.blacklist.topics=
cluster2.kafka.eagle.sasl.cgroup.enable=false
cluster2.kafka.eagle.sasl.cgroup.topics=
######################################
# kafka ssl authenticate
######################################
cluster3.kafka.eagle.ssl.enable=false
cluster3.kafka.eagle.ssl.protocol=SSL
cluster3.kafka.eagle.ssl.truststore.location=
cluster3.kafka.eagle.ssl.truststore.password=
cluster3.kafka.eagle.ssl.keystore.location=
cluster3.kafka.eagle.ssl.keystore.password=
cluster3.kafka.eagle.ssl.key.password=
cluster3.kafka.eagle.ssl.cgroup.enable=false
cluster3.kafka.eagle.ssl.cgroup.topics=
######################################
# kafka sqlite jdbc driver address
######################################
#kafka.eagle.driver=org.sqlite.JDBC
#kafka.eagle.url=jdbc:sqlite:/hadoop/kafka-eagle/db/ke.db
#kafka.eagle.username=root
#kafka.eagle.password=www.kafka-eagle.org
######################################
# kafka MysqL jdbc driver address
######################################
kafka.eagle.driver=com.MysqL.jdbc.Driver
kafka.eagle.url=jdbc:MysqL://node1:3306/eagle
kafka.eagle.username=eagle
kafka.eagle.password=MysqL@123




5、启动Eagle

[root@node1 ~]# cd /opt/kafka-eagle/kafka-eagle-web/bin/
[root@node1 bin]# chmod +x ke.sh
[root@node1 bin]# ke.sh start
……
Welcome to
    __ __    ___     ____    __ __    ___            ______    ___    ______    __     ______
   / //_/   /   |   / __/   / //_/   /   |          / ____/   /   |  / ____/   / /    / ____/
  / ,<     / /| |  / /_    / ,<     / /| |         / __/     / /| | / / __    / /    / __/   
/ /| |   / ___ | / __/   / /| |   / ___ |        / /___    / ___ |/ /_/ /   / /___ / /___   
/_/ |_|  /_/  |_|/_/     /_/ |_|  /_/  |_|       /_____/   /_/  |_|\____/   /_____//_____/   
                                                                                             
Version 2.0.1 -- copyright 2016-2020
*******************************************************************
* Kafka Eagle Service has started success.
* Welcome, Now you can visit 'http://192.168.146.199:8048'
* Account:admin ,Password:123456
*******************************************************************
* <Usage> ke.sh [start|status|stop|restart|stats] </Usage>
* <Usage> https://www.kafka-eagle.org/ </Usage>
*******************************************************************



6、访问Eagle

默认用户名admin，密码123456

spacer.gif图片.png

spacer.gif图片.png

spacer.gif图片.png

spacer.gif

图片.png

spacer.gif

图片.png

spacer.gif


参考链接：http://www.kafka-eagle.org/articles/docs/installation/linux-macos.html

参考链接：https://github.com/smartloli/kafka-eagle

参考链接：http://download.kafka-eagle.org/



版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。

相关推荐

kafka分区分配策略
# 前言 现有主流消息中间件都是生产者-消费者模型，主要角色都是：Producer -&gt; Broker -&gt; Consumer，上手起来非常简单，但仍有需要知识点需要我们关注，才能避免一些错误的使用情况，或者使用起来更加高效，例如本篇要讲的kafka分区分配策略。 在开始前我们先简单回顾
Kafka报错：Exception in thread “main“ joptsimple.UnrecognizedOptionException: zookeeper is not a recogn
错误的根源是：kafka版本过高所致，2.2+=的版本，已经不需要依赖zookeeper来创建/查看topic，新版本使用--bootstrap-server替换老版本的--zookeeper-server，即可解决。
湖仓一体电商项目十九：业务实现之编写写入DWS层业务代码
DWS层主要是存放大宽表数据，此业务中主要是针对Kafka topic “KAFKA-DWD-BROWSE-LOG-TOPIC”中用户浏览商品日志数据关联HBase中“ODS_PRODUCT_CATEGORY”商品分类表与“ODS_PRODUCT_INFO”商品表维度数据获取浏览商品主题大宽表。以上代码执行后在，在对应的Kafka “KAFKA-DWS-BROWSE-LOG-WIDE-TOPIC” topic中都有对应的数据。在Iceberg-DWS层中对应的表中也有数据。
Springboot 配置使用 Kafka
不多BB讲原理，只教你怎么用，看了全网没有比我更详细的了，yml 配置，Config 工厂代码配置都有，batch-size、acks、offset、auto-commit、trusted-packages、poll-timeout、linger 应有尽有，批量消费、开启事务、定义批量消费数量、延时发送、失败重试、异常处理你还想要什么As we all know，当今世界最流行的消息中间件有 RabbitMq、RocketMq、Kafka，其中，应用最广泛的是RabbitMq，RocketMq。
【Kafka从成神到升仙系列 五】面试官问我 Kafka 生产者的网络架构，我直接开始从源码背起.......
终于写完了，其实最开始学kafka的时候是今年2月份，那时候还不懂什么是IO，看源码的通信基本看不懂后来，花了几个月的时间学了操作系统 --> 计算机网络 --> Linux 通信 --> Java NIO --> Netty，现在看Kafka的通信就变得通透了。另外，基本现在所有源码的通信都有Netty架构的影子所以，如果你也想学源码的话，最好是先看看Netty的相关知识，学完之后，你会发现，通信架构不过如此。如果你能看到这，想必已经跟完了整个Producer网络架构就是整个生产者运行的全部流程。
Greenplum GPKafka【实践 01】使用GPKafka实现Kafka数据导入Greenplum数据库踩坑问题记录不断更新ing
使用GPKafka实现Kafka数据导入Greenplum数据库踩坑问题记录（不断更新ing）
uni-app 超详细教程一从菜鸟到大佬
uniapp 超详细教程（从菜鸟到大佬）
Flink最全面教程(自己总结的)
用了100+天总结出来的Flink学习笔记
通过java方式使用Kafka
基于Java API方式使用Kafka
【Kafka从成神到升仙系列 四】你真的了解 Kafka 的缓存池机制嘛
本章我们讲述了Kafka生产端为了避免频繁的GC，创建了缓存池的机制当生产端申请的内存为16KB时，从缓存池中取缓存使用，非16KB则取不可复用的ByteBuffer使用我们在生产中要尽量避免不可复用的ByteBuffer的产生，根据当前的业务去调整batch.size的大小，否则容易造成频繁的GC，影响我们的线上业务。下一章我们将会更新Kafka 生产端的网络 I/O 模型喜欢kafka的可以点个关注吆，后续会继续更新其源码文章。
苹果市值2025年有望达4万亿美元
pythonJavaScriptjavaHTMLreactjsC#AndroidCSSNode.jssqlrpython-3.xMysqLjQueryc++pandasFlutterangularIOSdjangolinuxswifttypescript路由器JSON路由器设置无线路由器h3c华三华三路由器设置华三路由器电脑软件教程arraysdocker软件图文教程Cvue.jslaravelspring-bootreact-native