ITPub博客

ps：都是学习的别人的博客，只是做了个整理所有就写成了原创，其实都是人家的东西  当一个topology在storm cluster中运行时，它的并发主要跟3个逻辑对象相关：worker，executor 和task 1. Worker 是运行在工作节点上面，被Supervisor守护进程创建的用来干活的JVM进程。每个Worker对应于一个给定topology的...

Drools是一个基于java的规则引擎，开源的，可以将复杂多变的规则从硬编码中解放出来，以规则脚本的形式存放在文件中，使得规则的变更不需要修正代码重启机器就可以立即在线上环境生效。 本文所使用的demo已上传 http://download.csdn.net/source/30022131、Drools语法开始语法之前首先要了解一下dr...

因为电脑断电，没有正常退出storm引起的错误。2013-06-13 14:11:29 event [ERROR] Error when processing eventjava.lang.RuntimeException: java.io.EOFException        at backtype.storm.utils.Utils.deserialize(Utils.java:68)        at backtype.storm.ut...

package com.redis;    import java.util.HashMap;  import java.util.Iterator;  import java.util.List;  import java.util.Map;  import java.util.Map.Entry;  ...

1.安装zk2.安装python（一般linux自带无须安装）3.安装zeromq# wget http://download.zeromq.org/historic/zeromq-2.1.7.tar.gz# tar zxf zeromq-2.1.7.tar.gz# cd zeromq-2.1.7# ./configure# make# sudo make install＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊如果报错configure: error: in ...

一、简介：     storm中有一个很重要的特性：               保证发出的每个tuple都会被完整处理。一个tuple被完全处理的意思是： 这个tuple以及由这个tuple所产生的所有的子tuple都被成功处理。         ...

下面我结合自身体会，逐条评论一下：1.GIT是分布式的，SVN不是：这一点绝对是最最关键的重点，与原作者不同，我要特别强调的是这一点对身处大陆的码农们的重要性。为什么？因为人家老外下全套android源码要几个小时，而我们要十几二十个小时，甚至好几天，还会不停断线！分布式的最大好处，在于当你要切换不...

1.hadoop有master与slave，Storm与之对应的节点是什么？2.Storm控制节点上面运行一个后台程序被称之为什么？3.Supervisor的作用是什么？4.Topology与Worker之间的关系是什么？5.Nimbus和Supervisor之间的所有协调工作有master来完成，还是Zookeeper集群完成？6.storm稳定的原因是什么？7.如何运行Topology？strom ja...

Apache Accumulo是一个稀疏的、分布式的、有序的以及多维度的键/值存储，提供单元格级别的细粒度访问控制属性。它于2008年由NSA开发，基于Google BigTable的设计，于2011年发布到Apache开源社区，并且现在是顶级Apache项目。它是构建在Hadoop和Zookeeper之上的、高度可扩展的NoSQL数据库。开发它的部分原因是为了解决大数...

Hadoop从2.4.0版本开始支持hdfs的ACL，在CDH5.0当中也集成了该特性，下面对其进行一些测试：unnamed user (file owner)文件的拥有者unnamed group (file group)文件的所属组named user除了文件的拥有者和拥有组之外，...

base过滤器的比较操作符：LESS  <LESS_OR_EQUAL <=EQUAL =NOT_EQUAL <>GREATER_OR_EQUAL >=GREATER >NO_OP no operation比较器：BinaryComparator  按字节索引顺序比较指定字节数组，采用Bytes.compareTo(byte[])BinaryPrefixComparator 跟前面相同，只是比较...

Hadoop集群配置完成，web监控界面的50070和50030端口不需用户验证即可访问，对生产环境是不容许的，需要加上安全机制。实验环境：OS：Centos 6.5 x64 & Soft：Hadoop 1.2.11、修改core-site.xml，增加如下内容，配置完成后拷贝到其他节点上。 hadoop.http.filter.initializers ...

Kerberos协议分为两个部分：1 . Client向KDC发送自己的身份信息，KDC从Ticket Granting Service得到TGT(ticket-granting ticket)， 并用协议开始前Client与KDC之间的密钥将TGT加密回复给Client。此时只有真正的Client才能利用它与KDC之间的密钥将加密后的TGT解密，从而获得TGT。（此过程避免了Client直接向KD...

原：http://blog.csdn.net/zyj8170/article/details/7178371 1.对于某些应用而言，需要特殊的数据结构来存储自己的数据。对于基于MapReduce的数据处理，将每个二进制数据的大对象融入自己的文件中并不能实现很高的可扩展性，针对上述情况，Hadoop开发了一组更高层次的容器SequenceFile。     ...

import java.io.File;import java.io.FileOutputStream;import java.io.OutputStream;import java.util.Calendar;import java.util.GregorianCalendar;import java.util.Properties;public class GenerateLookupDirs {    /**   &nb...

 oozie概述：oozie是基于hadoop的调度器，以xml的形式写调度流程，可以调度mr，pig，hive，shell，jar等等。主要的功能有Workflow： 顺序执行流程节点，支持fork（分支多个节点），join（合并多个节点为一个）Coordinator，定时触发workflowBundle Job，绑定多个coordinator o...

Map端溢写：每个map task都有一个内存缓冲区，存储着map的输出结果，这个内存缓冲区是有大小限制的，默认是100MB。当map task的输出结果很多时，就可能会撑爆内存，所以需要在一定条件下将缓冲区中的数据临时写入磁盘，然后重新利用这块缓冲区。这个从内存往磁盘写数据的过程被称为Spill，中文可译为溢写。当整个map tas...

一、环境1、hadoop 0.20.22、操作系统Linux二、背景1、最近写MR的代码，总在想统计一些错误的数据出现的次数，发现如果都写在reduce的输出里太难看了，所以想找办法专门输出一些统计数字。2、翻看《hadoop权威指南》第8章第1节的时候发现能够自定义计数器，但都是基于0.19版本写的，好...

mapred-site.xml文件中：  mapred.task.timeout  600000  The number of milliseconds before a task will be  terminated if it neither reads an input, writes an output, nor  updates its status string.  ...

在HBase中，表格的Rowkey按照字典排序，Region按照RowKey设置split point进行shard，通过这种方式实现的全局、分布式索引，成为了其成功的最大的砝码。图1显示了HBase表格的Rowkey切分与Region的部署关系图。图1： HBase Rowkey-Region 关系图然而，随着在HBase系统上应用的驱动，人们发现Global-Rowkey-Ind...