-
编辑 删除
Storm的跟踪算法-异或
原理很简单：2）acker 对于每个 tuple 保存一个 ack-val 的校验值（一个64 bit数字），它的初始值是0。 然后每发射一个 tuple （即消息的创建），或者 ack 一个 tuple （即消息的被应答），那么 tuple 的 id 都要跟 ack-val 异或一下，并且把得到的值更新为 ack-val 的新值。假设每个发射出去的 tuple 都被 ack 了...
-
编辑 删除
如何对Storm的可靠性进行定制？
一、一个消息被完整处理是什么意思？考虑如下的流式计算文章中单词个数的拓扑：TopologyBuilder builder = new TopologyBuilder(); builder.setSpout("sentences", new KestrelSpout("kestrel.backtype.com", 22133, "sentence_queue", new StringScheme())); ...
-
编辑 删除
如何设置Storm并行度
1.关于Storm并行，一些需要了解的概念 storm的supervisor运行的是topology中的spout/bolt task。 程序执行的最大粒度的运行单位是进程。在supervisor中，运行task的进程称作worker。 在worker中可以运行线程的，这些线程称作executor。在executor中，运行task。 总结一下，supervisor(节点)...
-
编辑 删除
大数据系列分享第四期：《MapReduce分布式计算框架》
大数据系列分享第四期：《MapReduce分布式计算框架》
-
编辑 删除
Storm安装部署
本文转载自：http://www.cnblogs.com/panfeng412/archive/2012/11/30/how-to-install-and-deploy-storm-cluster.html 作者：大圆那些事儿参考书目：《Storm实战》1. Storm集群组件Storm集群中包含两类节点：主控节点（Master Node）和工作节点（Work Node）。其分别对应的角色如下：...
-
编辑 删除
MapReduce实现倒排索引（简单思路）
倒排索引（Inverted index），也常被称为反向索引、置入档案或反向档案，是一种索引方法，被用来存储在全文搜索下某个单词在一个文档或者一组文档中的存储位置的映射。它是文档检索系统中最常用的数据结构。通过倒排索引，可以根据单词快速获取包含这个单词的文档列表。倒排索引主要由两个部分组成：“单词词典”和“倒...
-
编辑 删除
MapReduce实现倒排索引（多路径输入）
案例采用 MultipleInputs类 实现多路径输入的倒排索引。package test0820; import java.io.IOException; import java.lang.reflect.Method; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.LongWritable; ...
-
编辑 删除
Hadoop作业调度机制
前几天身份证竟然过期了，为了“重新做人”晚上就得飞奔回大山东补办良民证，希望朝廷手下留情，不要把我抓起来，因为我要以黑户的身份爬火车了。。。回归正题：话说hadoop是处理大数据的，一堆煤炭被分成N量车来拉，那这些车是怎么分配的呢？如果是两队煤炭同事需要拉又该怎么分配这些车呢？这就是作业调度的问...
-
编辑 删除
Hadoop增加和删除节点
1. DataNode1.0 配置文件在master/namenode下修改配置文件conf/mapred-site.xml。关键参数dfs.hosts和dfs.hosts.exclude。注意：不同hadoop版本的配置文件规划不太一致！具体参考相关版本的hadoop官方文档的cluster setup部分。 http://hadoop.apache.org/docs/ 点击相同或相近版本。上面的说法是在hadoop 1.x中...
-
编辑 删除
大数据系列分享第二期：《Hadoop生态圈》
-
编辑 删除
Hadoop和Spark有啥区别
谈到大数据，相信大家对Hadoop和Apache Spark这两个名字并不陌生。但我们往往对它们的理解只是提留在字面上，并没有对它们进行深入的思考，下面不妨跟我一块看下它们究竟有什么异同。解决问题的层面不一样首先，Hadoop和Apache Spark两者都是大数据框架，但是各自存在的目的不尽相同。Hadoop实质上更多是一个...
-
编辑 删除
Hadoop中的Shuffle详解
详细的了解Shuffle过程，能更好的对hadoop集群进行优化。 MapReduce 框架的核心步骤主要分两部分：Map 和Reduce。当你向MapReduce 框架提交一个计算作业时，它会首先把计算作业拆分成若干个Map 任务，然后分配到不同的节点上去...
-
编辑 删除
Hadoop作业的三种调度算法
Hadoop集群中有三种作业调度算法，分别为FIFO，公平调度算法和计算能力调度算法先来先服务（FIFO）Hadoop中默认的调度器FIFO，它先按照作业的优先级高低，再按照到达时间的先后选择被执行的作业。FIFO比较简单，hadoop中只有一个作业队列，被提交的作业按照先后顺序在作业队列中排队，新来的作业插入到队尾。一个作业...
