-
编辑 删除
Spark MLlib SVM 文本分类器实现
Spark MLlib SVM 文本分类器实现 好久没写博客了，最近搞了一个文本分类器，在此记录一下：简介：支持向量机，因其英文名为support vector machine，故一般简称SVM，通俗来讲，它是一种二类分类模型，其基本模型定义为特征空间上的间隔最大的线性分类器，其学习策略便是间隔最大化，最终可转化为一个凸二次规划问题的求解。1...
-
编辑 删除
Crontab 任务不执行问题
缺少环境环境变量问题把需要的环境变量export进来 OK
-
编辑 删除
Spark源码解析之Storage模块
Storage模块整体架构Storage模块主要分为两层：通信层：storage模块采用的是master-slave结构来实现通信层，master和slave之间传输控制信息、状态信息，这些都是通过通信层来实现的。存储层：storage模块需要把数据存储到disk或是memory上面，有可能还需replicate到远端，这都是由存储层来实现和提供...
-
编辑 删除
Spark 二次排序实现
Spark二次排序的实现方式，记录以作备忘一、测试文件testsortTwo：[root@tongji ~]# hadoop fs -cat /user/wzx/testsortTwo 1444697637.786 180.175.251.34 wv.88mf.com _trackClick 174|139||-17718753 0000436cc2ad45bb8df6a70bd09e146f1444695603.085 218.22.168.122 wv.17mf.com _t...
-
编辑 删除
scala 函数和方法
函数：面向过程时的叫法方法：面向对象时的叫法个人理解函数式可在一定场景下使代码更加简洁。Scala: scala> val myList = List(3,56,1,4,72) myList: List[Int] = List(3, 56, 1, 4, 72)scala> // map()参数是一个函数scala> myList.map(...
-
编辑 删除
Option[T] 作用
java中要知道一个 Java 里某个函数会不会返回null 只能依靠 JavaDoc 上的说明、去查看那个函式的源码来看。scala中Option 类别代表了很可能没办法回传一个有意义的东西Option 有两个子类别，一个是 Some，一个是 None，当他回传 Some 的时候，代表这个函式成功地给了你一个 String，而你可以透过 get() ...
-
编辑 删除
Spark on Yarn 任务提交流程源码分析
流程分析，以作备忘：shell调用org.apache.spark.deploy.SparkSubmit > org.apache.spark.deploy.yarn.Client打开org.apache.spark.deploy.yarn.Client的main方法：def main(argStrings: Array[String]) { if (!sys.props.contains("SPARK_SUBMIT")) {...
-
编辑 删除
scala class和object的区别
Scala中类对象中不可有静态变量和静态方法，但是提供了“伴侣对象”的功能：在和类的同一个文件中定义同名的Object对象：private[spark] class Client( val args: ClientArguments, val hadoopConf: Configuration, ...
-
编辑 删除
Spark job分配流程源码分析
job提交大体执行流程图：
-
编辑 删除
spark Shuffle相关
Shuffle 相关Shuffle操作大概是对Spark性能影响最大的步骤之一（因为可能涉及到排序，磁盘IO，网络IO等众多CPU或IO密集的操作），这也是为什么在Spark 1.1的代码中对整个Shuffle框架代码进行了重构，将Shuffle相关读写操作抽象封装到Pluggable的Shuffle Manager...
-
编辑 删除
Akka与Storm的对比
<h1 class="tpc_content"><span style="color:#000000;font-size:14px;"> </span> </h1><h1 class="tpc_content"><span style="color:#000000;font-size:14px;">学习spark时看到Akka，研究后发现Actor模型的处理和Strom非常相似，转载此文以作记录:</span><a class="body_href" href="http://www.javacodegeeks....
-
编辑 删除
Hello , Actor、Akka
Actor理解：actor是一个封装了状态和行为的对象，每个actor都通过message交流，从自己的mailbox（消息队列）中读取别的actor发送的消息，它们通过显式的传递消息来进行通信。某种意义上来说，actor 是面向...
-
编辑 删除
微博爬虫 java实现
java实现的新浪微博爬虫系统，主要难点有四:1.模拟登录，爬取时要带上cookie 2.如果出现=
-
编辑 删除
solr solrj Facet
先看示例，再看概念有这么一个字段： 插入三条记录： SolrInputDocument doc1 = new SolrInputDocument(); doc1.a...
-
编辑 删除
彻底理解MapReduce shuffle过程原理
MapReduce的Shuffle过程介绍 Shuffle的本义是洗牌、混洗，把一组有一定规则的数据尽量转换成一组无规则的数据，越随机越好。MapReduce中的Shuffle更像是洗牌的逆过程，把一组无规则的数据尽量转换成一组具有一定规则的数据。为什么MapReduce计算模型需要Shuffle过程？我们都知道MapReduce计算模型一般包括两个重...
-
编辑 删除
Hbase计数器异常Attempted to increment field that isn
该异常为要自增的字段不为数字数字类型，所以调用incrementColumnValue方法会报错首次put时指定为long字段：put.add(Bytes.toBytes("cf"),Bytes.toBytes("count"), Bytes.toBytes(1l)); //1后边有个l再次自增：table.incrementColumnValue("rowkey1".getBytes(),"cf".getBytes(),"count".getBytes(),1...
-
编辑 删除
MapReduce基准测试优化
Hadoop中自带了一个符合工业标准的基准测试工具TeraSort，用来比较hadoop的性能。这个工具尝试使用整个集群尽可能的对数据进行排序。TeraSort分为三个模块：1.TeraGen ：该模块用来生成数据作为输入文件，通常在500G~3TB。 2.TeraSort ：该模块在Hadoop集群内对输入文件进行排序，并在MapReduce和HDFS两个层次...
-
编辑 删除
MapReduce优化之字节级别快速排序
MapReduce默认使用RawComparator对map的输出键进行比较排序。内置的Writable类（例如Text和IntWritable）是字节级实现。这样不用将字节形式的类解排列（unmarshal）成类对象。如果要通过WritableComparable实现自定义Writable，就有可能延长洗牌和排序阶段的时间，因为它需要进行解排列。 问题： ...
-
编辑 删除
CopyField 的作用
solr的index schema中，除了支持基本数值类型的field，还支持一些特别的field，比如较常用的CopyField。以下面的schema配置片断为例：[html] view plaincopy
-
编辑 删除
Centos查看进程的线程数量
已Nginx为例：1.pstree -p 14686（PID） 获取到nginx的四个子进程2. cat /proc/15178（PID）/statusthreads即为线程数：
