ITPub博客

首页 > 大数据 > 数据分析 > 06【在线日志分析】之KafkaOffsetMonitor监控工具的搭建

06【在线日志分析】之KafkaOffsetMonitor监控工具的搭建

原创 数据分析 作者:hackeruncle 时间:2017-01-07 16:04:01 0 删除 编辑

1.下载
#在window7 手工下载好下面的链接

https://github.com/quantifind/KafkaOffsetMonitor/releases/tag/v0.2.1

[root@sht-sgmhadoopnn-01 app]# mkdir kafkaoffsetmonitor
[root@sht-sgmhadoopnn-01 app]# cd kafkaoffsetmonitor

#使用rz命令上传

[root@sht-sgmhadoopnn-01 kafkaoffsetmonitor]# rz
rz waiting to receive.
Starting zmodem transfer.  Press Ctrl+C to cancel.
Transferring KafkaOffsetMonitor-assembly-0.2.1.jar...
  100%   51696 KB    12924 KB/sec    00:00:04       0 Errors 

You have mail in /var/spool/mail/root
[root@sht-sgmhadoopnn-01 kafkaoffsetmonitor]#


2.新建一个kafkaMonitor.sh文件,文件内容如下:
[root@sht-sgmhadoopnn-01 kafkaoffsetmonitor]# vi kafkaoffsetmonitor.sh
#! /bin/bash
java -cp KafkaOffsetMonitor-assembly-0.2.1.jar \
com.quantifind.kafka.offsetapp.OffsetGetterWeb \
--zk 172.16.101.58:2181,172.16.101.59:2181,172.16.101.60:2181/kafka \
--port 8089 \
--refresh 5.seconds \
--retain 7.days
[root@sht-sgmhadoopnn-01 kafkaoffsetmonitor]# chmod +x *.sh
[root@sht-sgmhadoopnn-01 kafkaoffsetmonitor]#

--zk 这里写的地址和端口,是zookeeper集群的各个地址和端口。应和kafka/bin文件夹中的zookeeper.properties中的host.name和clientPort一致。
--port 这个是本软件KafkaOffsetMonitor的端口。注意不要使用那些著名的端口号,例如80,8080等。我采用了8089.
--refresh 这个是软件刷新间隔时间,不要太短也不要太长。
--retain 这个是数据在数据库中保存的时间。

3.后台启动
[root@sht-sgmhadoopnn-01 kafkaoffsetmonitor]# nohup ./kafkaoffsetmonitor.sh &
serving resources from: jar:file:/root/learnproject/app/kafkaoffsetmonitor/KafkaOffsetMonitor-assembly-0.2.1.jar!/offsetapp
SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder".
SLF4J: Defaulting to no-operation (NOP) logger implementation
SLF4J: See http://www.slf4j.org/codes.html#StaticLoggerBinder for further details.
log4j:WARN No appenders could be found for logger (org.I0Itec.zkclient.ZkConnection).
log4j:WARN Please initialize the log4j system properly.
log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.
log4j:WARN No appenders could be found for logger (org.I0Itec.zkclient.ZkEventThread).
log4j:WARN Please initialize the log4j system properly.
log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.
2016-12-25 22:00:24.252:INFO:oejs.Server:jetty-7.x.y-SNAPSHOT
2016-12-25 22:00:24.319:INFO:oejsh.ContextHandler:started o.e.j.s.ServletContextHandler{/,jar:file:/root/learnproject/app/kafkaoffsetmonitor/KafkaOffsetMonitor-assembly-0.2.1.jar!/offsetapp}
2016-12-25 22:00:24.328:INFO:oejs.AbstractConnector:Started SocketConnector@0.0.0.0:8089


4.IE浏览器打开

http://172.16.101.55:8089


##怎么使用,后面会写,稍等一下。。。

来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/30089851/viewspace-2132050/ ,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论
主要从事大数据平台产品的技术工作; 负责基于Spark、Flink生产开发及性能调优; 负责对公司的集群的部署、监控、调优和运营; 主导我司的数据平台0到1及实时中间件项目开发; 此外,精通Java、Shell、Python编程; 且荣获2016年IBM的Spark大赛全球第四名,中国区域第一名。

注册时间:2015-01-03

  • 博文量
    187
  • 访问量
    395908