Kafka系列文章:
Kafka系列 —— 入门及应用场景 & 部署 & 简单测试
Kafka系列 —— Kafka核心概念
Kafka系列 —— Kafka常用命令
2 Kafkaoffsetmonitor
地址:https://github.com/quantifind/KafkaOffsetMonitor
该组件时间也比较久远了
3 KafkaManager
地址:https://github.com/yahoo/kafka-manager
公司目前也使用的这款监控工具
- 不足点:没有实时显示的曲线图表
- 优点:很多Kafka的命令直接可以通过界面化的操作,点点就能够完成了
4 Kafka-egale
地址:https://github.com/smartloli/kafka-eagle
5 AnotherKafkaMonitor
地址:https://github.com/triffic-tang/AnotherKafkaMonitor
6 Kafka-monitor
地址:https://github.com/linkedin/kafka-monitor
7 Availability-Monitor-for-Kafka
地址:https://github.com/Microsoft/Availability-Monitor-for-Kafka
8 chaperone
地址:https://github.com/uber/chaperone
9 JMXtrans + InfluxDB + Grafana实现Kafka性能指标监控
文章地址:http://www.tuicool.com/articles/ieUbaaN
10 metricbeat + Elasticsearch + Kibana
地址:https://www.elastic.co/products/beats/metricbeat
1.下载sbt
地址:http://www.scala-sbt.org/download.html
2.解压
3.添加脚本文件
4.修改权限和环境变量
5.测试
第一次执行时,会下载一些文件包
6.安装jdk1.8并配置环境变量
7.下载kafka-manager,使用sbt编绎
8.解压
9.后台运行
web ui:http://192.168.1.55:9999/
web ui:http://192.168.1.102:8048/
1.kafka集群搭建
2.2 重启Kafka生效
2.3 重启后观察可以发现JMX已经启动了
3.JMXtrans部署
JMXtrans:收集来自已经启动jmx的Kafka服务的数据
6.InfluxDB:时序数据库
地址:https://docs.influxdata.com/influxdb/v1.2/
每一行数据都会有一个时间字段的值,如下:
2017-03-03 11:00:00.456 1 xiaoming boy 18
2017-03-03 11:00:10.356 2 xiaowang boy 45
6.1 安装
7. Grafana:可视化
7.1 安装
文档:http://docs.grafana.org/installation/rpm/
7.2 web ui
open web http://ip:3000
8. 启动采集服务(需要test.json)
8.1 启动命令&test.json相关配置项解读
一般会有2种收集方式:
- 只部署1台,配置多台去采集
- 每台Kafka节点都部署一个(优先选择)
JMXtrans默认启动是60s秒采集一次,使用参数SECONDS_BETWEEN_RUNS=5进行控制修改时间多久采集一次
启动采集服务:
启动的时候需要指定test.json文件
查看状态:
以上就是本篇文章【Kafka系列 —— Kafka监控】的全部内容了,欢迎阅览 ! 文章地址:http://w.yusign.com/news/5144.html 资讯 企业新闻 行情 企业黄页 同类资讯 首页 网站地图 返回首页 述古往 http://w.yusign.com/mobile/ , 查看更多