-
编辑 删除
Scala 多继承 & 依赖注入
依赖注入：trait Config { load val text: String def load: Unit}trait InMemoryConfig extends Config { lazy val text = "Hello" def load = println("load: " + text)}trait Contexttrait MyContext extends Context { this: Config => def welcome = this...
-
编辑 删除
Scala Loan Pattern
def using[T Unit){ try{ func(resource) }finally{ resource.close() } } def initTempTable(dbName: String,tableName:String) { val conn = { &nb...
-
编辑 删除
Ubuentu crontab运行scala不执行问题
改为java方式提交：java -cp /usr/wzx/RedPackeCompute.jar:/opt/scala-2.11.8/lib/scala-library.jar cn.rong.excavate.statistics.RedPackeCompute
-
编辑 删除
spark direct kafka 将offset推到zookeeper
1、spark streaming direct方式读取kafka性能要好很多，但缺点是它不会去zookeeper更新offset，这将导致 基于zk的KafkaOffsetMonitor监控失效。由于我们流处理的数据量超大并且健壮性要求极高，我们需要 通过KafkaOffsetMonitor来实时监控数据消费情况，故自己...
-
编辑 删除
hadoop linux inode 相关
hadoop linux inode block 起因：近期spark集群执行任务时有stage抛出异常：java.io.IOException: Failed to create local dir in /mnt/yarn/local/usercache/spark/appcache/application_1472468166282_1672/blockmgr-8e4ecd91-0dca-497a-8b6e-16bcdb89a4b2/31.at org.apache.spark.storage.DiskBlockManager.getFile(DiskBlockMa...
-
编辑 删除
shell插入远程mysql数据
#!/bin/bashdateT=`date +"%Y-%m-%d" -d "-1 days"`dateN=`date +"%Y%m%d" -d "-1 days"`DB=countU=userP=passwordport=63305H=ipMYSQL="mysql --skip-column-names --default-character-set=utf8 -u$U -p$P -h $H -P$port $DB"while read linedo &nb...
-
编辑 删除
Spark 异常：Trying to write more fields than contained in row
itpub 破棉袄 将json转为row落地存储为parquet：for type_name in types.value: print(type_name) type_data_set = lines.filter(lambda line: line...
-
编辑 删除
spark on yarn 数据插入mysql
手动将jar包加在所有计算节点/opt/cloudera/parcels/CDH/lib/hadoop-yarn目录下spark on yarn 数据插入mysql?例：scp /opt/jar/mysql-connector-java-5.1.39.jar root@CDH23:/opt/cloudera/parcels/CDH-5.7.0-1.cdh5.7.0.p0.45/lib/hadoop-yarn/???代码： val aa =sqlContext.read.option("mergeSchema", "true").parquet("/monitor/parquet/a7/year=2016/month=05/day=11") aa.registerTempTable("aa") val url="jdbc:mysql://ip:port/dbName" val prop = new java.util.Properties prop.setProper
-
编辑 删除
Spark SQL scala和java版本的UDF函数使用
Spark SQL scala和java版本的UDF函数使用
-
编辑 删除
Spark Standalone模式 Master进程挂掉问题
spark version ：1.5.2运行模式：standalone过程：集群上跑着大量任务，但发现集群每运行两天就会挂掉一次。挂掉后集群所有work进程和master进程都会死掉。于是查看work进程日志：于是再查看Master进程日志发现报OOM：java.lang.OutOfMemoryError: GC overhead limit execeeded由于读过Storage模块源码，得知缓...
-
编辑 删除
Python Flask
不得不说python+Flask简洁、灵活1.安装setuptools下载setuptools-0.6c11.tar.gz并解压进入/usr/wzx/python/setuptools-0.6c11执行python setup.py install 进行安装 2.安装pipwget --no-check-certificate https://github.com/pypa/pip/archive/1.5.5.tar.gztar zvxf 1.5.5.tar.gz #解压文件cd...
-
编辑 删除
信息增益（IG）特征提取实例
最近在做贝叶斯文本多分类，记录一下特征提取的过程：如果你对TF、DF、IDF不懂：Term Frequency：term 在文档d中的出现次数，记做tf。tf越高，意味着term 对于文档d 就越重要。Document Frequency：含有term 的文档的数量，记做df。df越高，意味着term在衡量文档之间相似性方面作用越低，比如“的”的df值肯定非常高，...
