-
编辑 删除
08【在线日志分析】之Flume Agent(聚合节点) sink to kafka cluster
1.创建logtopic[root@sht-sgmhadoopdn-01 kafka]# bin/kafka-topics.sh --create --zookeeper 172.16.101.58:2181,172.16.101.59:2181,172.16.101.60:2181/kafka --replication-factor 3 --partitions 1 --topic logtopic 2.创建avro_memory_kafka.properties (kafka sink)[root@sht-sgmhadoopcm-01 ~]# cd /tmp/f...
-
编辑 删除
07【在线日志分析】之kafka-manager监控工具的搭建（sbt安装与编译）
1.下载sbthttp://www.scala-sbt.org/download.html [root@sht-sgmhadoopnn-01 app]# rzrz waiting to receive.Starting zmodem transfer. Press Ctrl+C to cancel.Transferring sbt-0.13.13.tgz... 100% 1025 KB 1025 KB/sec 00:00:01 ...
-
编辑 删除
06【在线日志分析】之KafkaOffsetMonitor监控工具的搭建
1.下载#在window7 手工下载好下面的链接https://github.com/quantifind/KafkaOffsetMonitor/releases/tag/v0.2.1 [root@sht-sgmhadoopnn-01 app]# mkdir kafkaoffsetmonitor[root@sht-sgmhadoopnn-01 app]# cd kafkaoffsetmonitor#使用rz命令上传[root@sht-sgmhadoopnn-01 kafkaoffsetmonitor]# rzrz waiting ...
-
编辑 删除
05【在线日志分析】之Kafka 0.10.1.0 Cluster的搭建和Topic简单操作实验
【kafka cluster机器】:机器名称 用户名称sht-sgmhadoopdn-01/02/03 root 【安装目录】: /root/learnproject/app 1.将scala文件夹同步到集群其他机器(scala 2.11版本，可单独下载解压)[root@sht-sgmhadoopnn-01 app]# scp -r scala root@sht-sgmhadoopdn-01:/root/learnproject/app/[ro...
-
编辑 删除
04【在线日志分析】之Flume Agent的3台收集+1台聚合到hdfs的搭建
【log收集】:机器名称 服务名称 用户flume-agent-01: namenode hdfsflume-agent-02: datanode hdfsflume-agent-03: datanode hdfs 【log聚合】:机器名称 &nb...
-
编辑 删除
00【在线日志分析】之项目概述和GitHub项目地址
1.基本架构图2.版本 Flume: 1.7 Hadoop: 2.7.3 Scala: 2.11 Kafka: 0.10.1.0 Spark: 2.0.23.主要目的 主要是想基于Exec Source开发自定义插件AdvancedExecSource，将机器名称 和 服务名称 添加到cdh 服务的角色log数据的每一行前面，则格式为：机器名称 服务名称 年月日 时分...
-
编辑 删除
03【在线日志分析】之hadoop-2.7.3编译和搭建集群环境(HDFS HA,Yarn HA)
环境:CentOS6.5 1.下载hadoop2.7.3最新源码[root@sht-sgmhadoopnn-01 ~]# mkdir -p learnproject/compilesoft[root@sht-sgmhadoopnn-01 ~]# cd learnproject/compilesoft[root@sht-sgmhadoopnn-01 compilesoft]# wget http://www-eu.apache.org/dist/hadoop/common/hadoop-2.7.3/hadoop-2.7.3-src.tar.gz[root@s...
-
编辑 删除
02【在线日志分析】之基于Flume-ng Exec Source开发自定义插件AdvancedExecSource
1.目的CDH的角色日志的一行基本组成：年月日 时分秒.毫秒 日志级别 日志信息 本博客主要是想基于Exec Source开发自定义插件AdvancedExecSource，将机器名称 和 服务名称 添加到一行数据的前面，则格式为：机器名称 服务名称 年月日 时分秒.毫秒 日志级别 日志信息 ；然后在后面的spark streaming ...
-
编辑 删除
01【在线日志分析】之Flume-1.7.0源码编译导入eclipse
【前提】: 1.windows 7 安装maven-3.3.9 其中在conf/setting.xml文件添加 D:\software\apache-maven-3.3.9\repository http://blog.csdn.net/defonds/article/details/41957287 2.windows 7 安装eclipse 64位(百度下载，解压即可) 3.eclipse安装ma...
-
编辑 删除
Linux-Memory小记
以前我对这块认识很模糊，而且还有错误的认识；今天由我同事提醒，所以我决定来好好的缕缕这块的关系。图: -------------------------------------------1.参数含义-----------------------------------------------------------------------Mem：表示物理内存统计 total: 表示系统总物...
-
编辑 删除
2016年大数据80篇爆款文章：这一年你追过的那些技术
2016年即将过去，各位大数据的程序员们，是否觉得这一年都不断的追着新技术跑？这个大数据公众号是今年一月底创立的，一年过去，我们积累了不少好内容。回过头来我们看看这一年的脚印，这里我按照文章内容做了一次汇总，分为：流处理、机器学习、用户画像、数据驱动、Hadoop、Apache Spark、Apache Kylin、Druid、推荐系...
-
编辑 删除
PostgreSQL小记
当前环境: PostgreSQL 9.5.1 CentOS 6.5 1.查看当前客户端连接数 #查询当前的连接的pidselect pg_backend_pid(); #查看表结构，pg_stat_activity是一个系统视图\d+ pg_stat_activity #查看当前连接总数ps -ef|grep -v grep |grep postgres |grep "idle" | wc -ls...
-
编辑 删除
PostgreSQL索引页
磨砺技术珠矶，践行数据之道，追求卓越价值 [作者 高健@博客园 luckyjackgao@gmail.com] 本页目的，是起到索引其他所有本人所写文档的作用： 分类一：PostgreSQL基础知识与基本操作-------------------- PostgreSQL基础知识与基本操作索引页 分类二：P...
-
编辑 删除
大数据之MySQL基础（含Linux）
百度云链接:?? http://pan.baidu.com/s/1gfaBoSr???? 密码：7v9p
-
编辑 删除
MySQL的leftjoin、rightjoin、innerjoin的案例
举例如下： 点击(此处)折叠或打开 CREATE TABLE a( aID int, aNum char(20) ) ;CREATE TABLE b( bID int, bName char(20) ) ;...
-
编辑 删除
MySQL字段类型小记
这里先总结数据类型。MySQL中的数据类型大的方面来分，可以分为：日期和时间、数值，以及字符串。下面就分开来进行总结。 1.日期和时间数据类型 MySQL数据类型 含义 date 3字节，日期，格式：2014-09-18 ...
-
编辑 删除
Linux tar压缩和解压缩等命令
1.tar-c: 建立压缩档案-x：解压-t：查看内容-r：向压缩归档文件末尾追加文件-u：更新原压缩包中的文件2.这五个是独立的命令，压缩解压都要用到其中一个，可以和别的命令连用但只能用其中一个。下面的参数是根据需要在压缩或解压档案时可选的。-z：有gzip属性的-j：有bz2属性的-Z：有compress属性的-v：显示所有...
-
编辑 删除
CentOS最常用命令及快捷键整理
常用命令:文件和目录:# cd /home 进入 '/home' 目录# cd .. 返回上一级目录# cd ../.. ...
-
编辑 删除
VMware Workstation9 下安装 CentOS6.5( 安装图文教程 )
一、下载CentOSer6.5镜像文件https://pan.baidu.com/s/1pKZEUJD 二、创建新的虚拟机，命名CentOS6.51、在VMware Workstation 9 主页中选择“Create a New Virtual Machine”，创建新的虚拟机。 2、选择“Custom（advanced）“，自定义（高级）配置。 3、默认，下一步 4、选择“I wil...
-
编辑 删除
记录配置HDFS HA后，hive抛错Wrong FS
1.问题:在CDH5.x或者Apache环境下，配置了NameNode的HA后，Hive无正常查询数据了。Hive查询会出现如下异常：点击(此处)折叠或打开FAILED: SemanticException Unable to determine if hdfs://hadoop-01:8020/user/hive/warehouse/t1 is encrypted: j...
