ITPub博客

阿里云云主机无法下载资源，Resolving archive.cloudera.com... failed: Temporary failure in name resolution.

生产hbase故障案例，Can't get the location，unable to find region for in ApplicationIndex after 35 tries.

Batch containing 11 record(s) expired due to timeout while requesting metadata from brokers for onlinelogs-1

swap清理：cache清理：To free pagecache：To free dentries and inodes：To free pagecache,dentries and inodes：

一.场景:     spark通过phoenix 读取hbase表，其实说白了先要去Zookeeper建立connection。二.代码:点击(此处)折叠或打开val zkUrl = "192.168.100.39,192.168.100.40,192.168.100.41:2181" val formatStr = "org.apache.phoenix.spark"val oms_order...

maven报错：找不到符号在一开始遇到maven问题时，网路上可以搜到的资料基本支持以下几种情况： 1.清理cache - 使用mvn clean命令清理 - 使用IDEA里面的Invalid Cache清理 2.编码格式不统一 - 在pom.xml中将compiler的编码格式设为UTF-8点击(此处)折叠或打...

环境:1.在hadoop36机器，ping hadoop38机器的pod的ip，为172.30.1.42.该pod的service的external-ip的ip为hadoop36的ip3.下面机器的ip，已经使用 xx.xx.xx.来替代和加图层覆盖掉问题:  无法通过服务EXTERNAL-IP+port,访问对应的pod的服务，说白了，就是无法访问pod ip+port,无法ping通172.30.1.4步骤:1....

1 写在前面的话 有些小伙伴可能会问：Spark官网不是已经提供了Spark针对不同版本的安装包了吗，我们为什么还需要对Spark源码进行编译呢？针对这个问题我们到Spark官网: spark.apache.org来看下，如下图所示:Spark官网的确是提供了一些Hadoop版本的Spark安装包，但是提供的这些是否能够满足我们的要求呢？答案肯定是...

说说我的最初：????????对于学习大数据的的小伙们，大家学习一般都是淘宝5块几百G的视频和潜水各种技术群，很多时候并不能真正对自己有帮助，很难坚持下去。????????在去年的某天，上了若泽老师的一节大数据压缩公开课(其实是实战班的...

maven安装 oozie编译

1.git clone and buid [root@sht-sgmhadoopdn-04 app]# git clone https://github.com/azkaban/azkaban.git [root@sht-sgmhadoopdn-04 app]# cd azkaban [root@sht-sgmhadoopdn-04 azkaban]# ./gradlew build [root@sht-sgmhadoopdn-04 azkaban]# cd azkaban-solo-server/build/distributions/ [root@sht-sgmhadoopdn-...

错误:   在web界面安装 agent那一步，抛错，单击信息查看如下 初步分析： 是用localhost:7182 无法连接scm server 尝试解决办法: 1.检查关闭防火墙 2.检查python版本2.6.6 3.检查/etc/hosts文件,重启网络service network restart 4.检查/etc/resolv.conf文件,重启网络service network restart 5.检...

大数据入门

1.将博客中 http://blog.itpub.net/30089851/viewspace-2131995/ 的AdvancedExecSource.java 文件重命名为ExecSource_STRING.java 2.开发自定义插件ExecSource_JSON,支持JSON数据处理,代码已经上传github上 

1.下载apache-tomcat-7.0.42及解压[root@sht-sgmhadoopnn-01 app]# pwd/root/learnproject/app[root@sht-sgmhadoopnn-01 app]# wget http://archive.apache.org/dist/tomcat/tomcat-7/v7.0.42/bin/apache-tomcat-7.0.42.tar.gz[root@sht-sgmhadoopnn-01 app]# tar -xzvf apache-tomcat-7.0.42.tar.gz 2.下载 tomc...

改造CDH的HDFS的NN,DN进程，日志输出为json格式log4j json

主要是想要做以下功能: 1. 改造 CDH/Apache hadoop的hdfs的nn,dn进程的日志输出格式,每一条改为json格式输出 (之前每一条为 string) 2. 改造 Tomcat的日志支持log4j,其为json格式输出 3. 改造 基于Flume-ng Exec Source开发自定义插件ExecSource_JSON,支持JSON数据处理4. 改造 spark streaming+spark sql,支持读...

Will not attempt to authenticate using SASL (unknown error)java.lang.OutOfMemoryError: Java heap spacekafka 安装不上

1.当前环境使用的稳定版本组合a.本套环境CDH经过四次升级，当然版本为CDH-5.10.0-1.cdh5.10.0.p0.41b.KAFKA版本为KAFKA-2.1.0-1.2.1.0.p0.115c.SPARK2版本为SPARK2-2.0.0.cloudera1-1.cdh5.7.0.p0.113931 2.Spark2安装排查分析你在Hosts-->Parcels页会发现，Spark2可以升级到该版本的release的2.0.0.cloudera2...

运行: 在测试的CDH Spark2, 运行spark streaming， 命令如下： 点击(此处)折叠或打开 spark2-submit \ --class com.telenav.dataplatform.demo.realtimecases.WeatherAlerts \--master yarn --deploy-mode cluster \/usr/local/sparkProject/realt...