ITPub博客

hdfs dfsadmin -fetchImage

背景：CDH集群运行几天后主节点会报磁盘根目录空间不足警告，上机器看一下发现df和du结果差异巨大，猜测有些文件被删除但有进程并未释放文件句柄。排查：执行 lsof |grep "(deleted)"不出所料，发现10000多个以下文件：catalogd  18019             impala  252r   ...

隐式转换编译器会优先选择方法的参数作为转换对象，验证如下：object rct {   implicit def intToBook(num:Int) = new Book(num)  implicit def bookToInt(book:Book) = book.number  class Book(val number:Int)...

scala调用java的FastJson时发生了一个方法参数匹配问题：例子：p.p1 {margin: 0.0px 0.0px 0.0px 0.0px; font: 11.0px Monaco}span.s1 {color: #931a68}import com.alibaba.fastjson.JSONvar map:scala.collection.mutable.HashMap[String,An...

hdp版本：执行：hdp-select status hadoop-client | sed 's/hadoop-client - \(.*\)/\1/'2.4.0.0-169zeppelin安装（摘录官网）：(Optional) Installing Zeppelin ManuallyThe Zeppelin Technical Preview is available as an HDP package compiled against Spark 1.6.To install the Zeppelin Technical Pre...

依赖注入：trait Config {  load  val text: String  def load: Unit}trait InMemoryConfig extends Config {  lazy val text = "Hello"  def load = println("load: " + text)}trait Contexttrait MyContext extends Context {  this: Config =>  def welcome = this...

def using[T Unit){    try{      func(resource)    }finally{      resource.close()    }  }  def initTempTable(dbName: String,tableName:String) {    val conn = {  &nb...

改为java方式提交：java -cp /usr/wzx/RedPackeCompute.jar:/opt/scala-2.11.8/lib/scala-library.jar cn.rong.excavate.statistics.RedPackeCompute

1、spark streaming direct方式读取kafka性能要好很多，但缺点是它不会去zookeeper更新offset，这将导致     基于zk的KafkaOffsetMonitor监控失效。由于我们流处理的数据量超大并且健壮性要求极高，我们需要      通过KafkaOffsetMonitor来实时监控数据消费情况，故自己...

hadoop linux inode block 起因：近期spark集群执行任务时有stage抛出异常：java.io.IOException: Failed to create local dir in /mnt/yarn/local/usercache/spark/appcache/application_1472468166282_1672/blockmgr-8e4ecd91-0dca-497a-8b6e-16bcdb89a4b2/31.at org.apache.spark.storage.DiskBlockManager.getFile(DiskBlockMa...

#!/bin/bashdateT=`date  +"%Y-%m-%d"  -d  "-1 days"`dateN=`date  +"%Y%m%d"  -d  "-1 days"`DB=countU=userP=passwordport=63305H=ipMYSQL="mysql --skip-column-names --default-character-set=utf8 -u$U -p$P -h $H -P$port $DB"while read linedo    &nb...

itpub 破棉袄 将json转为row落地存储为parquet：for type_name in types.value:            print(type_name)            type_data_set = lines.filter(lambda line: line...

手动将jar包加在所有计算节点/opt/cloudera/parcels/CDH/lib/hadoop-yarn目录下spark on yarn 数据插入mysql?例：scp /opt/jar/mysql-connector-java-5.1.39.jar root@CDH23:/opt/cloudera/parcels/CDH-5.7.0-1.cdh5.7.0.p0.45/lib/hadoop-yarn/???代码： val aa =sqlContext.read.option("mergeSchema", "true").parquet("/monitor/parquet/a7/year=2016/month=05/day=11") aa.registerTempTable("aa") val url="jdbc:mysql://ip:port/dbName" val prop = new java.util.Properties prop.setProper

Spark SQL scala和java版本的UDF函数使用

spark version ：1.5.2运行模式：standalone过程：集群上跑着大量任务，但发现集群每运行两天就会挂掉一次。挂掉后集群所有work进程和master进程都会死掉。于是查看work进程日志：于是再查看Master进程日志发现报OOM：java.lang.OutOfMemoryError: GC overhead limit execeeded由于读过Storage模块源码，得知缓...

不得不说python+Flask简洁、灵活1.安装setuptools下载setuptools-0.6c11.tar.gz并解压进入/usr/wzx/python/setuptools-0.6c11执行python setup.py install 进行安装 2.安装pipwget --no-check-certificate https://github.com/pypa/pip/archive/1.5.5.tar.gztar zvxf 1.5.5.tar.gz    #解压文件cd...

最近在做贝叶斯文本多分类，记录一下特征提取的过程：如果你对TF、DF、IDF不懂：Term Frequency：term 在文档d中的出现次数，记做tf。tf越高，意味着term 对于文档d 就越重要。Document Frequency：含有term 的文档的数量，记做df。df越高，意味着term在衡量文档之间相似性方面作用越低，比如“的”的df值肯定非常高，...

Spark MLlib SVM 文本分类器实现 好久没写博客了，最近搞了一个文本分类器，在此记录一下：简介：支持向量机，因其英文名为support vector machine，故一般简称SVM，通俗来讲，它是一种二类分类模型，其基本模型定义为特征空间上的间隔最大的线性分类器，其学习策略便是间隔最大化，最终可转化为一个凸二次规划问题的求解。1...

缺少环境环境变量问题把需要的环境变量export进来 OK

Storage模块整体架构Storage模块主要分为两层：通信层：storage模块采用的是master-slave结构来实现通信层，master和slave之间传输控制信息、状态信息，这些都是通过通信层来实现的。存储层：storage模块需要把数据存储到disk或是memory上面，有可能还需replicate到远端，这都是由存储层来实现和提供...