ITPub博客

1.将博客中 http://blog.itpub.net/30089851/viewspace-2131995/ 的AdvancedExecSource.java 文件重命名为ExecSource_STRING.java 2.开发自定义插件ExecSource_JSON,支持JSON数据处理,代码已经上传github上 

1.下载apache-tomcat-7.0.42及解压[root@sht-sgmhadoopnn-01 app]# pwd/root/learnproject/app[root@sht-sgmhadoopnn-01 app]# wget http://archive.apache.org/dist/tomcat/tomcat-7/v7.0.42/bin/apache-tomcat-7.0.42.tar.gz[root@sht-sgmhadoopnn-01 app]# tar -xzvf apache-tomcat-7.0.42.tar.gz 2.下载 tomc...

改造CDH的HDFS的NN,DN进程，日志输出为json格式log4j json

主要是想要做以下功能: 1. 改造 CDH/Apache hadoop的hdfs的nn,dn进程的日志输出格式,每一条改为json格式输出 (之前每一条为 string) 2. 改造 Tomcat的日志支持log4j,其为json格式输出 3. 改造 基于Flume-ng Exec Source开发自定义插件ExecSource_JSON,支持JSON数据处理4. 改造 spark streaming+spark sql,支持读...

一.现象： flume收集-->flume聚合-->kafka-->spark streaming+spark sql-->influxdb-->grafana1.所有进程都是 后台运行的;2.运行进程，当时整套流程都是ok的;3.但是，过一段时间，发现grafana的图表没有数据展示了!!!二.排查:1.检查 spark streaming+spark sql的计算的log,发现一直打印“发现Metrics这个...

1.现象 三台机器都有产生executor，每台都会产生tasks，但是其中只有一台的task有input数据，其他机器的tasks都没有数据。 2.猜想 2.1是不是数据倾斜? 是 2.2是数据量过大，group by时，导致key分布不均? 比如key1 有98万，key2有2万,那么shuffle时，肯定数据倾斜。但是我刚开始数据量不是很大，所以pass ...

1.将之前打包的jar包上传 [root@sht-sgmhadoopnn-01 spark]# pwd /root/learnproject/app/spark[root@sht-sgmhadoopnn-01 spark]# rz rz waiting to receive. Starting zmodem transfer.  Press Ctrl+C to cancel. Transferring sparkdemo.jar...   100%  164113 KB&nbsp...

1.进入spark目录和配置文件 [root@sht-sgmhadoopnn-01 ~]# cd /root/learnproject/app/spark/conf [root@sht-sgmhadoopnn-01 conf]# cp spark-defaults.conf.template spark-defaults.conf 2.创建spark-history的存储日志路径为hdfs上(当然也可以在linux文件系统上) [root@sht-sgmhadoopnn-01 conf]# hdfs dfs -l...

1.File-->Project Structure 2.Artifacts-->+-->JAR-->From modules with dependencies 3. 单击... -->选择OnLineLogAnalysis2 4.选择项目的根目录 5.修改Name-->选择输出目录-->选择Output directory-->Apply-->OK 6.Build-->Build Artifacts-->Build ====================================...

1.下载wget https://grafanarel.s3.amazonaws.com/builds/grafana-4.1.1-1484211277.linux-x64.tar.gz2.解压tar -zxvf grafana-4.1.1-1484211277.linux-x64.tar.gz 3.配置文件cd grafana-4.1.1-1484211277cp conf/sample.ini conf/custom.ini#  make changes to conf/custom.ini then start grafana-serv...

1.influxdb创建database[root@sht-sgmhadoopdn-04 app]# influx -precision rfc3339Connected to http://localhost:8086 version 1.2.0InfluxDB shell version: 1.2.0>create database online_log_analysis  2.项目中原本想将 influxdb-java https://github.com/influxdata/influxdb-java的InfluxDBTest.java 文...

1.下载rpmhttps://dl.influxdata.com/influxdb/releases/influxdb-1.2.0.x86_64.rpm我选择用window7 浏览器下载，然后rz上传到linux机器上2.安装yum install influxdb-1.2.0.x86_64.rpm3.启动service influxdb start4.新版本，web界面不显示的解决方法，参考网友influxdb新版web不展示解决.docx参考: https:/...

1.最初选择Redis作为存储，是主要有4个原因:a.redis是一个key-value的存储系统，数据是存储在内存中，读写性能很高；b.支持多种数据类型，如set,zset,list,hash,string；c.key过期策略；d.最主要是网上的博客全是sparkstreaming+redis，都互相模仿；至于缺点，当时还没考虑到。2.然后开始添加CDHRolelog.class类和...

GitHub: https://github.com/nkrode/RedisLive 1.安装python2.7.5 和piphttp://blog.itpub.net/30089851/viewspace-2132450/ 2.下载RedisLive [root@sht-sgmhadoopdn-04 app]# wget https://github.com/nkrode/RedisLive/archive/master.zip [root@sht-sgmhadoopdn-04 app]# unzip master [root@sht-sgmha...

1.安装jdk1.8[root@sht-sgmhadoopdn-04 ~]# cd /usr/java/[root@sht-sgmhadoopdn-04 java]# wget --no-check-certificate --no-cookies --header "Cookie: oraclelicense=accept-securebackup-cookie"  http://download.oracle.com/otn-pub/java/jdk/8u111-b14/jdk-8u111-linux-x64.tar.gz[root@sht-sgmhadoopdn-...

1.GitHubhttps://github.com/Hackeruncle/OnlineLogAnalysis/blob/master/online_log_analysis/src/main/java/com/learn/java/main/OnLineLogAanlysis1.java2.使用IDEA 本地运行测试（未打jar包）

1.前提 a. flume 收集--》flume 聚合--》kafka ，启动进程和启动kafka manager监控     08【在线日志分析】之Flume Agent(聚合节点) sink to kafka cluster b.window7 安装jdk1.7 或者1.8(本次环境是1.8)c.window7 安装IDEA开发工具(以下仅供参考)使用IntelliJ IDEA 配置Maven（入门）: http://blog...

1.创建logtopic[root@sht-sgmhadoopdn-01 kafka]# bin/kafka-topics.sh --create --zookeeper 172.16.101.58:2181,172.16.101.59:2181,172.16.101.60:2181/kafka --replication-factor 3 --partitions 1 --topic logtopic 2.创建avro_memory_kafka.properties (kafka sink)[root@sht-sgmhadoopcm-01 ~]# cd /tmp/f...

1.下载sbthttp://www.scala-sbt.org/download.html [root@sht-sgmhadoopnn-01 app]# rzrz waiting to receive.Starting zmodem transfer.  Press Ctrl+C to cancel.Transferring sbt-0.13.13.tgz...  100%    1025 KB    1025 KB/sec    00:00:01 ...

1.下载#在window7 手工下载好下面的链接https://github.com/quantifind/KafkaOffsetMonitor/releases/tag/v0.2.1 [root@sht-sgmhadoopnn-01 app]# mkdir kafkaoffsetmonitor[root@sht-sgmhadoopnn-01 app]# cd kafkaoffsetmonitor#使用rz命令上传[root@sht-sgmhadoopnn-01 kafkaoffsetmonitor]# rzrz waiting ...