-
zookeeper配置文件详解
本文主要内容来自于：http://itindex.net/detail/40187-zookeeper-%E7%AE%A1%E7%90%86%E5%91%98-%E7%AE%A1%E7%90%86配置参数详解(主要是%ZOOKEEPER_HOME%/conf/zoo.cfg文件)参数名说明clientPort客户端连...
-
小丸子学Hadoop系列之——部署Hbase集群
0.集群规划 主机名 ip地址 安装的软件 ...
-
java.io.IOException: Timed out waiting 20000ms for a quorum of nodes to respond
一：任务：/datacenter/shell/user/full/bdl_social_test1.sh跑全量数据时！Namenode挂掉！二：报错日志：/var/log/hadoop-hdfs/hadoop-hdfs-namenode-yhbd01.log内容：2015-08-27 10:23:04,392 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: yhbd0...
-
MapReduce1和Yarn和对比
在MRv1中，JobTracker是个重量级组件，集中了资源管理分配、作业控制两大核心功能，随着集群规模的增大，JobTracker处理各种RPC请求负载过重，这也是系统的最大瓶颈，严重制约了Hadoop集群的扩展性。相比之下，Yarn将JobTracker功能进行了拆分，拆分为全局组件ResourceManager、应用组件Applicat...
-
Hadoop1.x MapReduce 程序执行的详细过程
1.Job类初始化JobClient实例，JobClient中生成JobTracker的RPC实例，这样可以保持与JobTracker的通讯，JobTracker的地址和端口等都是外部配置的，通过Configuration对象读取并且传入。 2.JobClient提交作业。 ...
-
Hadoop1.x MapReduce的Slot的理解
1.首先，slot不是CPU的Core，也不是memory chip，它是一个逻辑概念，一个节点的slot的数量用来表示某个节点的资源的容量或者说是能力的大小，因而slot是 Hadoop的资源单位。 2.Hadoop利用slots来管理分配节点的资源。每个Job申请资源以slots为单位，每个节点会确定自己的计算能力以及memory确定自己包含的slots总量。当...
-
轻松试用Apache Trafodion2.0 Docker 镜像
作者： 张祎Docker是目前十分火热的开源Linux容器技术，它比虚拟机更加轻量化，镜像体积更小，有完善的Docker Hub镜像仓库。现在越来越多的开发者开始使用Docker，越来越多的国内公司也已经将Docker部署到生产环境中。Apache Trafodion 2.0 版本刚刚发布不久，为了让更多感兴趣的用户能以最快速的方式体验到2.0...
-
hive中的join的区别
aa表：bb表：1.left joinselect * from aa left join bb on aa.id =bb.id;2.left semi join select * from aa left semi join bb on aa.id =bb.id;3.left outer joinselect * from aa left outer join bb on aa.id =bb.id;4.right outer join select * from aa right outer join bb on aa.id =bb.i...
-
配置Hadoop2.7.2和Hbase1.1.5支持Snappy解压压缩库
一.Hadoop支持Snappy 1.重新编译Hadoop2.7.2源代码,使其支持Snappy解压压缩库 2.查看libsnappy.so.1.2.0 [root@sht-sgmhadoopnn-01 ~]# ll $HADOOP_HOME/lib/native/ total 4880 -rw-r--r-- 1 root root 1211196 Jun 21 19:11 libhadoop.a -rw-r--r-- 1 root root 1485756 ...
-
部署Hadoop2.x,出现Warn:Unable to load native-hadoop library
在安装部署的时候，遇到了问题 Unable to load native-hadoop library 原因1：64位linux使用了32位的hadoop native本地库[root@hadoop-001hadoop-2.4.1]# hadoop fs -ls /14/12/09 19:43:06 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes wh...
-
检查Hadoop是32位还是64位
1.从哪些地方可以识别hadoop是32位还是64位？2.hadoop本地库在什么位置？hadoop在安装的时候，我们需要知道hadoop版本是32位还是64位。hadoop官网本来提供的都是32位，因为我们大部分都是64位，所以不得不编译。后来官网从hadoop2.5版本开始就提供了64位。为了防止我们用错，下面我们来实际操作和观察。我们来...
-
Kylin介绍
Kylin是ebay开发的一套OLAP系统，与Mondrian不同的是，它是一个MOLAP系统，主要用于支持大数据生态圈的数据分析业务，它主要是通过预计算的方式将用户设定的多维立方体缓存到HBase中（目前还仅支持hbase），这段时间对mondrian和kylin都进行了使用，发现这两个系统是时间和空间的一个权衡吧，mondrian是一个ROLAP系...
-
Storm的跟踪算法-异或
原理很简单：2）acker 对于每个 tuple 保存一个 ack-val 的校验值（一个64 bit数字），它的初始值是0。 然后每发射一个 tuple （即消息的创建），或者 ack 一个 tuple （即消息的被应答），那么 tuple 的 id 都要跟 ack-val 异或一下，并且把得到的值更新为 ack-val 的新值。假设每个发射出去的 tuple 都被 ack 了...
-
如何对Storm的可靠性进行定制？
一、一个消息被完整处理是什么意思？考虑如下的流式计算文章中单词个数的拓扑：TopologyBuilder builder = new TopologyBuilder(); builder.setSpout("sentences", new KestrelSpout("kestrel.backtype.com", 22133, "sentence_queue", new StringScheme())); ...
-
hive常用命令
1.连接hivebeeline -u jdbc:hive2://127.0.0.1:100002.查询数据库、数据库中的表名show databases;show databases like 'superhero*';show tables;3.使用数据库use superhero_bi;4.创建数据库create database test;
-
重新编译hadoop-2.7.2-src的native以支持Snappy解压压缩库
1. 下载所需要的源码包 snappy-1.1.1.tar.gz、protobuf-2.5.0.tar.gz、hadoop-2.7.2-src.tar.gz [root@sht-sgmhadoopnn-01 ~]# cd /hadoop [root@sht-sgmhadoopnn-01 hadoop]# mkdir native_snappy [root@sht-sgmhadoopnn-01 hadoop]# cd native_snappy [root@sht-sgmhadoopnn-01 native_snappy]# wget http://pkgs.f...
-
如何设置Storm并行度
1.关于Storm并行，一些需要了解的概念 storm的supervisor运行的是topology中的spout/bolt task。 程序执行的最大粒度的运行单位是进程。在supervisor中，运行task的进程称作worker。 在worker中可以运行线程的，这些线程称作executor。在executor中，运行task。 总结一下，supervisor(节点)...
-
hadoop使用小技巧
Hadoop添加节点的方法 自己实际添加节点过程：1. 先在slave上配置好环境，包括ssh，jdk，相关config，lib，bin等的拷贝；2. 将新的datanode的host加到集群namenode及其他datanode中去；3. 将新的datanode的ip加到master的conf/slaves中；4. 重启cluster,在cluster中看到新的datanode节点；5. 运行bin/start-ba...
-
大数据系列分享第四期：《MapReduce分布式计算框架》
大数据系列分享第四期：《MapReduce分布式计算框架》
-
Storm安装部署
本文转载自：http://www.cnblogs.com/panfeng412/archive/2012/11/30/how-to-install-and-deploy-storm-cluster.html 作者：大圆那些事儿参考书目：《Storm实战》1. Storm集群组件Storm集群中包含两类节点：主控节点（Master Node）和工作节点（Work Node）。其分别对应的角色如下：...
