-
编辑 删除
21【在线日志分析】之记录一个flume-ng的tail -f参数所诱发的血案
一.现象： flume收集-->flume聚合-->kafka-->spark streaming+spark sql-->influxdb-->grafana1.所有进程都是 后台运行的;2.运行进程，当时整套流程都是ok的;3.但是，过一段时间，发现grafana的图表没有数据展示了!!!二.排查:1.检查 spark streaming+spark sql的计算的log,发现一直打印“发现Metrics这个...
-
编辑 删除
Spark常见问题解决办法
以下是在学习和使用spark过程中遇到的一些问题，记录下来。1、首先来说说spark任务运行完后查错最常用的一个命令，那就是把任务运行日志down下来。 程序存在错误，将日志down下来查看具体原因!down日志命令：yarn logs -applicationId app_id2、Spark性能优化的9大问题及其解决方案Spark程序优化所需要关注的...
-
编辑 删除
使用阿里云的Maven仓库加速Spark编译过程
前言在国内编译Spark项目需要从Maven源下载很多依赖包，官方源在国内大环境下的下载速度大家都懂得，那个煎熬啊，简直是浪费生命。如果你的下载速度很快，你现在就可以无视这篇文章了。阿里云给国内开发者提供了一个非常的良心的服务：提供了一个国内Maven镜像，可以让我们拜托这种煎熬。地址信息阿里云的M...
-
编辑 删除
20【在线日志分析】之记录一次Spark Streaming+Spark SQL的数据倾斜
1.现象 三台机器都有产生executor，每台都会产生tasks，但是其中只有一台的task有input数据，其他机器的tasks都没有数据。 2.猜想 2.1是不是数据倾斜? 是 2.2是数据量过大，group by时，导致key分布不均? 比如key1 有98万，key2有2万,那么shuffle时，肯定数据倾斜。但是我刚开始数据量不是很大，所以pass ...
-
编辑 删除
19【在线日志分析】之sparkdemo.jar运行在yarn上过程
1.将之前打包的jar包上传 [root@sht-sgmhadoopnn-01 spark]# pwd /root/learnproject/app/spark[root@sht-sgmhadoopnn-01 spark]# rz rz waiting to receive. Starting zmodem transfer. Press Ctrl+C to cancel. Transferring sparkdemo.jar... 100% 164113 KB ...
-
编辑 删除
18【在线日志分析】之Spark on Yarn配置日志Web UI(HistoryServer服务)
1.进入spark目录和配置文件 [root@sht-sgmhadoopnn-01 ~]# cd /root/learnproject/app/spark/conf [root@sht-sgmhadoopnn-01 conf]# cp spark-defaults.conf.template spark-defaults.conf 2.创建spark-history的存储日志路径为hdfs上(当然也可以在linux文件系统上) [root@sht-sgmhadoopnn-01 conf]# hdfs dfs -l...
-
编辑 删除
17【在线日志分析】之使用IDEA将工程Build成jar包
1.File-->Project Structure 2.Artifacts-->+-->JAR-->From modules with dependencies 3. 单击... -->选择OnLineLogAnalysis2 4.选择项目的根目录 5.修改Name-->选择输出目录-->选择Output directory-->Apply-->OK 6.Build-->Build Artifacts-->Build ====================================...
-
编辑 删除
16【在线日志分析】之grafana-4.1.1 Install和新建日志分析的DashBoard
1.下载wget https://grafanarel.s3.amazonaws.com/builds/grafana-4.1.1-1484211277.linux-x64.tar.gz2.解压tar -zxvf grafana-4.1.1-1484211277.linux-x64.tar.gz 3.配置文件cd grafana-4.1.1-1484211277cp conf/sample.ini conf/custom.ini# make changes to conf/custom.ini then start grafana-serv...
-
编辑 删除
15【在线日志分析】之基于Spark Streaming+Saprk SQL开发OnLineLogAanlysis2（Final）
1.influxdb创建database[root@sht-sgmhadoopdn-04 app]# influx -precision rfc3339Connected to http://localhost:8086 version 1.2.0InfluxDB shell version: 1.2.0>create database online_log_analysis 2.项目中原本想将 influxdb-java https://github.com/influxdata/influxdb-java的InfluxDBTest.java 文...
-
编辑 删除
14【在线日志分析】之influxdb-1.2.0 Install和概念，语法等学习
1.下载rpmhttps://dl.influxdata.com/influxdb/releases/influxdb-1.2.0.x86_64.rpm我选择用window7 浏览器下载，然后rz上传到linux机器上2.安装yum install influxdb-1.2.0.x86_64.rpm3.启动service influxdb start4.新版本，web界面不显示的解决方法，参考网友influxdb新版web不展示解决.docx参考: https:/...
-
编辑 删除
记录一次帮网友解决CDH集群机器的时钟偏差
1.现象： home界面和主机界面的图表和各组件状态标识符都是灰色（正常是绿色） 2.尝试方法：2.0 检查防火墙，python有无升级，是否ping通 2.1 尝试web重启 cloudera management service 和 Cluster1 2.2 尝试重启 cloudera-scm-agent 和 cloudera-scm-server2.3 尝试2.1节时，实时查看 tail -f /var/log/c...
-
编辑 删除
13【在线日志分析】之舍弃Redis+echarts3,选择InfluxDB+Grafana
1.最初选择Redis作为存储，是主要有4个原因:a.redis是一个key-value的存储系统，数据是存储在内存中，读写性能很高；b.支持多种数据类型，如set,zset,list,hash,string；c.key过期策略；d.最主要是网上的博客全是sparkstreaming+redis，都互相模仿；至于缺点，当时还没考虑到。2.然后开始添加CDHRolelog.class类和...
-
编辑 删除
Window7 python2.7 抛错ImportError No module named mysql.connector
错误:ImportError No module named mysql.connector 1.下载mysql-connector-python-2.2.2.zip 解压 如 C:\Users\jpwu\Desktop\mysql-connector-python-2.2.2 2.打开cmdcd /d C:\Users\jpwu\Desktop\mysql-connector-python-2.2.2python setup.py install 3.验证python>> import mysql.connectorhtt...
-
编辑 删除
12【在线日志分析】之RedisLive监控工具的详细安装
GitHub: https://github.com/nkrode/RedisLive 1.安装python2.7.5 和piphttp://blog.itpub.net/30089851/viewspace-2132450/ 2.下载RedisLive [root@sht-sgmhadoopdn-04 app]# wget https://github.com/nkrode/RedisLive/archive/master.zip [root@sht-sgmhadoopdn-04 app]# unzip master [root@sht-sgmha...
-
编辑 删除
Centos6.5安装python2.7.5+pip
1.下载包 $ wget https://python.org/ftp/python/2.7.5/Python-2.7.5.tar.bz2 2.到下载目录，解压 $ tar -xvf Python-2.7.5.tar.xz 3.新建文件夹作为安装路径 $ mkdir /usr/local/python27 4.在解压后的路径下，编译安装 $ cd Python-2.7.5.tar.xz $ ./configure --prefi...
-
编辑 删除
11【在线日志分析】之redis-3.2.5 install(单节点)
1.安装jdk1.8[root@sht-sgmhadoopdn-04 ~]# cd /usr/java/[root@sht-sgmhadoopdn-04 java]# wget --no-check-certificate --no-cookies --header "Cookie: oraclelicense=accept-securebackup-cookie" http://download.oracle.com/otn-pub/java/jdk/8u111-b14/jdk-8u111-linux-x64.tar.gz[root@sht-sgmhadoopdn-...
-
编辑 删除
10【在线日志分析】之基于Spark Streaming开发OnLineLogAanlysis1
1.GitHubhttps://github.com/Hackeruncle/OnlineLogAnalysis/blob/master/online_log_analysis/src/main/java/com/learn/java/main/OnLineLogAanlysis1.java2.使用IDEA 本地运行测试（未打jar包）
-
编辑 删除
09【在线日志分析】之基于Spark Streaming Direct方式的WordCount最详细案例(java版)
1.前提 a. flume 收集--》flume 聚合--》kafka ，启动进程和启动kafka manager监控 08【在线日志分析】之Flume Agent(聚合节点) sink to kafka cluster b.window7 安装jdk1.7 或者1.8(本次环境是1.8)c.window7 安装IDEA开发工具(以下仅供参考)使用IntelliJ IDEA 配置Maven（入门）: http://blog...
-
编辑 删除
Spark Streaming函数的分析与理解
根据Spark官方文档中的描述，在Spark Streaming应用中，一个DStream对象可以调用多种操作，主要分为以下几类TransformationsWindow OperationsJoin OperationsOutput Operations一、Transformations1、map(func) map操作需要传入一个函数当做参数，具体调用形式为val ...
-
编辑 删除
记录在shell脚本中使用sudo echo x > 时,抛Permission denied错误
1.场景在一个非root且带有sudo权限的用户，使用shell脚本(单独手工执行命令不会抛错，是成功的)：会抛错点击(此处)折叠或打开#!/bin/bash -x DNS_SERVER=10.xx.xx.xx;echo "Add DNS Server";sudo chattr -i /etc/resolv.conf;...
