-
编辑 删除
05【在线日志分析】之Kafka 0.10.1.0 Cluster的搭建和Topic简单操作实验
【kafka cluster机器】:机器名称 用户名称sht-sgmhadoopdn-01/02/03 root 【安装目录】: /root/learnproject/app 1.将scala文件夹同步到集群其他机器(scala 2.11版本，可单独下载解压)[root@sht-sgmhadoopnn-01 app]# scp -r scala root@sht-sgmhadoopdn-01:/root/learnproject/app/[ro...
-
编辑 删除
04【在线日志分析】之Flume Agent的3台收集+1台聚合到hdfs的搭建
【log收集】:机器名称 服务名称 用户flume-agent-01: namenode hdfsflume-agent-02: datanode hdfsflume-agent-03: datanode hdfs 【log聚合】:机器名称 &nb...
-
编辑 删除
00【在线日志分析】之项目概述和GitHub项目地址
1.基本架构图2.版本 Flume: 1.7 Hadoop: 2.7.3 Scala: 2.11 Kafka: 0.10.1.0 Spark: 2.0.23.主要目的 主要是想基于Exec Source开发自定义插件AdvancedExecSource，将机器名称 和 服务名称 添加到cdh 服务的角色log数据的每一行前面，则格式为：机器名称 服务名称 年月日 时分...
-
编辑 删除
03【在线日志分析】之hadoop-2.7.3编译和搭建集群环境(HDFS HA,Yarn HA)
环境:CentOS6.5 1.下载hadoop2.7.3最新源码[root@sht-sgmhadoopnn-01 ~]# mkdir -p learnproject/compilesoft[root@sht-sgmhadoopnn-01 ~]# cd learnproject/compilesoft[root@sht-sgmhadoopnn-01 compilesoft]# wget http://www-eu.apache.org/dist/hadoop/common/hadoop-2.7.3/hadoop-2.7.3-src.tar.gz[root@s...
-
编辑 删除
02【在线日志分析】之基于Flume-ng Exec Source开发自定义插件AdvancedExecSource
1.目的CDH的角色日志的一行基本组成：年月日 时分秒.毫秒 日志级别 日志信息 本博客主要是想基于Exec Source开发自定义插件AdvancedExecSource，将机器名称 和 服务名称 添加到一行数据的前面，则格式为：机器名称 服务名称 年月日 时分秒.毫秒 日志级别 日志信息 ；然后在后面的spark streaming ...
-
编辑 删除
01【在线日志分析】之Flume-1.7.0源码编译导入eclipse
【前提】: 1.windows 7 安装maven-3.3.9 其中在conf/setting.xml文件添加 D:\software\apache-maven-3.3.9\repository http://blog.csdn.net/defonds/article/details/41957287 2.windows 7 安装eclipse 64位(百度下载，解压即可) 3.eclipse安装ma...
