-
编辑 删除
Hadoop SRC重新编译
下载hadoop 2.2 SRC包到Linux平台，安装其BUILDING.TXT文档说明要求进行编译，具体步骤如下：1、JDK 1.6 + export JAVA_HOME=/usr/java/jdk1.6.0_312、Maven 3.0 or later 下载mvn包，解压到$HOME/mvn目录下 $ mvn -version Apache Maven 3.1.1 &n...
-
编辑 删除
Hadoop中hdfs和Hbase Xceivers设置
近一段在研究Impala文档，在讲述Parquest table分区性能调优方面提到了Xceivers设置。因此将该参数英文资料整理翻译如下：介绍dfs.datanode.max.xcievers 参数对客户端有直接影响，他主要定义server端的线程数量，或者更详细说，数据连接的sockets。设置太小，当集群扩展时候，无法充分利用资源。以下部分帮助我...
-
编辑 删除
转帖：Hadoop的十大应用场景
摘自：http://tech.it168.com/a2012/0717/1373/000001373157.shtml 作为参考：美国著名科技博客GigaOM的专栏作家Derrick Harris跟踪云计算和Hadoop技术已有多年时间，他也在最近的一篇文章中总结了10...
-
编辑 删除
学习七：Hadoop小程序测试
如前面所述，我们在本机搭建好Elcipse，我们进行JAVA小程序的编写，具体步骤如下：1、创建新的JAVA project项目：Hadoop2、点击hadoop项目右键进入属性，在java build path中加载所需要的JAR包。3、点...
-
编辑 删除
学习六：安装配置HBASE
首先配置HBASE前，需要安装配置zookeeper，具体的配置方法见《学习五》。以下是分布式集群环境下HBASE安装配置具体步骤：1、安装HBASE包masternode:#sudo yum install hadoop-hbase#sudo y...
-
编辑 删除
学习五：zooKeeper的安装配置
zooKeeper主要解决分布式集群中应用系统的一致性，提供了类似于文件系统目录节点树的数据存储，主要作用是维护和监控存储数据状态变化，通过监控状态数据的变化，达到基于数据的集群管理。具体...
-
编辑 删除
学习四：jobtracker和tasktracker无法正常启动
按照前面的学习一和学习三的步骤进行配置，我们发现Namenode的MapReduce jobtracker和DataNode的tasktracker无法正常启动，具体表现如下：masternode:# jps 4210 Jps4156 NameNodeslavenode#...
-
编辑 删除
学习三：基于Hadoop的Cloudera CDH3平台安装
Cloudera为Hadoop开源软件整体方案供应商，提供基于Apache Hadoop软件和服务领域。去年11月获得4千万美金风险投资，Oracle, Dell等与Cloudera达成了合作计划。IBM，Amazon，微软等都加入了...
-
编辑 删除
学习二：Hadoop1.0.1 Eclipse编译环境搭建
首先需要下载/安装以下的代码和软件： 1、下载Hadoop1.0.1源代码，下载地址：http://www.apache.org/dyn/closer.cgi/hadoop/core/，解压后存放在F:\my\hadoop 2、下载安装JDK1.6版本，...
-
编辑 删除
学习一：hadoop 1.0.1集群安装
用vmware搭建三台Linux虚拟机，具体步骤如下：1、hadoop下载地址：http://www.apache.org/dyn/closer.cgi/hadoop/core/2、下载java6软件包，分别在三台安装3、三台虚拟机，一台作为master，另外两台作为slave，分别...
