ITPub博客

swap清理：cache清理：To free pagecache：To free dentries and inodes：To free pagecache,dentries and inodes：

一.场景:     spark通过phoenix 读取hbase表，其实说白了先要去Zookeeper建立connection。二.代码:点击(此处)折叠或打开val zkUrl = "192.168.100.39,192.168.100.40,192.168.100.41:2181" val formatStr = "org.apache.phoenix.spark"val oms_order...

maven报错：找不到符号在一开始遇到maven问题时，网路上可以搜到的资料基本支持以下几种情况： 1.清理cache - 使用mvn clean命令清理 - 使用IDEA里面的Invalid Cache清理 2.编码格式不统一 - 在pom.xml中将compiler的编码格式设为UTF-8点击(此处)折叠或打...

环境:1.在hadoop36机器，ping hadoop38机器的pod的ip，为172.30.1.42.该pod的service的external-ip的ip为hadoop36的ip3.下面机器的ip，已经使用 xx.xx.xx.来替代和加图层覆盖掉问题:  无法通过服务EXTERNAL-IP+port,访问对应的pod的服务，说白了，就是无法访问pod ip+port,无法ping通172.30.1.4步骤:1....

1 写在前面的话 有些小伙伴可能会问：Spark官网不是已经提供了Spark针对不同版本的安装包了吗，我们为什么还需要对Spark源码进行编译呢？针对这个问题我们到Spark官网: spark.apache.org来看下，如下图所示:Spark官网的确是提供了一些Hadoop版本的Spark安装包，但是提供的这些是否能够满足我们的要求呢？答案肯定是...

说说我的最初：????????对于学习大数据的的小伙们，大家学习一般都是淘宝5块几百G的视频和潜水各种技术群，很多时候并不能真正对自己有帮助，很难坚持下去。????????在去年的某天，上了若泽老师的一节大数据压缩公开课(其实是实战班的...

maven安装 oozie编译

1.git clone and buid [root@sht-sgmhadoopdn-04 app]# git clone https://github.com/azkaban/azkaban.git [root@sht-sgmhadoopdn-04 app]# cd azkaban [root@sht-sgmhadoopdn-04 azkaban]# ./gradlew build [root@sht-sgmhadoopdn-04 azkaban]# cd azkaban-solo-server/build/distributions/ [root@sht-sgmhadoopdn-...

错误:   在web界面安装 agent那一步，抛错，单击信息查看如下 初步分析： 是用localhost:7182 无法连接scm server 尝试解决办法: 1.检查关闭防火墙 2.检查python版本2.6.6 3.检查/etc/hosts文件,重启网络service network restart 4.检查/etc/resolv.conf文件,重启网络service network restart 5.检...

大数据入门

1.将博客中 http://blog.itpub.net/30089851/viewspace-2131995/ 的AdvancedExecSource.java 文件重命名为ExecSource_STRING.java 2.开发自定义插件ExecSource_JSON,支持JSON数据处理,代码已经上传github上 

1.下载apache-tomcat-7.0.42及解压[root@sht-sgmhadoopnn-01 app]# pwd/root/learnproject/app[root@sht-sgmhadoopnn-01 app]# wget http://archive.apache.org/dist/tomcat/tomcat-7/v7.0.42/bin/apache-tomcat-7.0.42.tar.gz[root@sht-sgmhadoopnn-01 app]# tar -xzvf apache-tomcat-7.0.42.tar.gz 2.下载 tomc...

改造CDH的HDFS的NN,DN进程，日志输出为json格式log4j json

主要是想要做以下功能: 1. 改造 CDH/Apache hadoop的hdfs的nn,dn进程的日志输出格式,每一条改为json格式输出 (之前每一条为 string) 2. 改造 Tomcat的日志支持log4j,其为json格式输出 3. 改造 基于Flume-ng Exec Source开发自定义插件ExecSource_JSON,支持JSON数据处理4. 改造 spark streaming+spark sql,支持读...

Will not attempt to authenticate using SASL (unknown error)java.lang.OutOfMemoryError: Java heap spacekafka 安装不上

1.当前环境使用的稳定版本组合a.本套环境CDH经过四次升级，当然版本为CDH-5.10.0-1.cdh5.10.0.p0.41b.KAFKA版本为KAFKA-2.1.0-1.2.1.0.p0.115c.SPARK2版本为SPARK2-2.0.0.cloudera1-1.cdh5.7.0.p0.113931 2.Spark2安装排查分析你在Hosts-->Parcels页会发现，Spark2可以升级到该版本的release的2.0.0.cloudera2...

运行: 在测试的CDH Spark2, 运行spark streaming， 命令如下： 点击(此处)折叠或打开 spark2-submit \ --class com.telenav.dataplatform.demo.realtimecases.WeatherAlerts \--master yarn --deploy-mode cluster \/usr/local/sparkProject/realt...

一.现象： flume收集-->flume聚合-->kafka-->spark streaming+spark sql-->influxdb-->grafana1.所有进程都是 后台运行的;2.运行进程，当时整套流程都是ok的;3.但是，过一段时间，发现grafana的图表没有数据展示了!!!二.排查:1.检查 spark streaming+spark sql的计算的log,发现一直打印“发现Metrics这个...

以下是在学习和使用spark过程中遇到的一些问题，记录下来。1、首先来说说spark任务运行完后查错最常用的一个命令，那就是把任务运行日志down下来。 程序存在错误，将日志down下来查看具体原因!down日志命令：yarn logs -applicationId app_id2、Spark性能优化的9大问题及其解决方案Spark程序优化所需要关注的...

前言在国内编译Spark项目需要从Maven源下载很多依赖包，官方源在国内大环境下的下载速度大家都懂得，那个煎熬啊，简直是浪费生命。如果你的下载速度很快，你现在就可以无视这篇文章了。阿里云给国内开发者提供了一个非常的良心的服务：提供了一个国内Maven镜像，可以让我们拜托这种煎熬。地址信息阿里云的M...