-
编辑 删除
Hadoop2.x运维实战之入门手册v1.0
0.Hadoop2.x生态圈介绍1.常用组件介绍(体系结构+进程) 1.1HDFS 1.2MapReduce 1.3Yarn 1.4Hive 1.5Hbase 1.6Zookeeper1.Hadoop-2.7.2+Zookeeper-3.4.6完全分布式环境搭建(HDFS,YARN HA)2.Hadoop 2.x HDFS和YARN的启动方式3.Hadoop2.x常...
-
编辑 删除
Hadoop2.7实战v1.0之YARN HA
YARN HA实战v1.0 当前环境:hadoop+zookeeper(namenode,resourcemanagerHA)???????????????? resourcemanager serviceId init status ...
-
编辑 删除
Hadoop2.7实战v1.0之HDFS HA
?当前环境:hadoop+zookeeper(namenode,resourcemanagerHA) ?namenode?serviceId?Init status?sht-sgmhadoopnn-01?nn1?active?sht-sgmhadoopnn-02&nbs...
-
编辑 删除
Hadoop2.7实战v1.0之添加DataNode节点后,更改文件复制策略dfs.replication
1.查看当前系统的复制策略dfs.replication为3,表示文件会备份成3份a.通过查看hdfs-site.xml 文件[root@sht-sgmhadoopnn-01 ~]# cd /hadoop/hadoop-2.7.2/etc/hadoop[root@sht-sgmhadoopnn-01 hadoop]# more hdfs-site.xml dfs.re...
-
编辑 删除
Hadoop2.7实战v1.0之动态添加、删除DataNode节点及复制策略导向
一.环境 ?IP Host 及安装软件 部署模块 进程 172.16.101.55 sht-sgmhadoopnn-01...
-
编辑 删除
Hadoop 2.x HDFS和YARN的启动方式
一.三种启动方式介绍 方式一：逐一启动（实际生产环境中的启动方式） hadoop-daemon.sh start|stop namenode|datanode| journalnode yarn-daemon.sh start |stop resourcemanager|nodemanager 方式二：分开启动 ...
-
编辑 删除
Hadoop MapReduce之wordcount(词频统计)
1.创建test.log点击(此处)折叠或打开[root@sht-sgmhadoopnn-01 mapreduce]# more /tmp/test.log123abava a aabc我是谁%……...
-
编辑 删除
Hadoop2.x常用端口及定义方法
Hadoop集群的各部分一般都会使用到多个端口，有些是daemon之间进行交互之用，有些是用于RPC访问以及HTTP访问。而随着Hadoop周边组件的增多，完全记不住哪个端口对应哪个应用，特收集记录如此，以便查询。这里包含我们使用到的组件：HDFS, YARN, HBase, Hive, ZooKeeper:组件节点...
-
编辑 删除
Hadoop常见错误2
问题1：在程序的日志中看到，在reduce阶段出现了异常：Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out ，程序里需要打开文件，系统默认为1024，也可以通过ulimit -a查看编辑文件/etc/security/limits.conf 在文件后面添加：# End of file * soft nofile 102400 * hard nofile 40960...
-
编辑 删除
Hadoop2.x 参数汇总
linux参数以下参数最好优化一下：文件描述符ulimit -n用户最大进程 nproc （hbase需要 hbse book）关闭swap分区设置合理的预读取缓冲区Linux的内核的IO调度器JVM参数JVM方面的优化项Hadoop Performance Tuning GuideHadoop参数大全适用版本：4.3.0 主要配置...
-
编辑 删除
部署Hadoop,需和Linux操作系统位数一致
点击(此处)折叠或打开[root@sht-sgmhadoopnn-01 ~]# getconf LONG_BIT64[root@sht-sgmhadoopnn-01 ~]# cd /hadoop/hadoop-2.7.2/lib/native/[root@sht-sgmhadoopnn-01 native]# lltotal 4924-rw-r--r-- 1 10011 10011 138...
-
编辑 删除
Hadoop常见错误1
1 关于 Warning: $HADOOP_HOME is deprecated. hadoop 1.0.0版本，安装完之后敲入hadoop命令时，老是提示这个警告： Warning: $HADOOP_HOME is deprecated. 经查hadoop-1.0.0/bin/hadoop脚本和"hadoop-config.sh"脚本，发现脚本中对HADOOP_HOME的环境变量设置做了判断，笔者的...
-
编辑 删除
Hadoop资料整理导向
一、Hadoop快速入门分布式计算开源框架Hadoop_入门实践一篇不错的hadoop介绍文章用 Hadoop 进行分布式数据处理---- 入门Hadoop入门实验Hadoop入门一图解说Hadoop的发展历程讨论：Hadoop社区与中国云计算开源展望用Hadoop进行分布式数据处理入门篇Hadoop入门简介hadoop入门语录...
-
编辑 删除
【实验】Hadoop-2.7.2+zookeeper-3.4.6完全分布式环境搭建(HDFS、YARN HA)
本次实验是采用Apache hadoop2.7.2+zookeeper-3.4.6 ,具体实验步骤见附件, hadoop-2.7.2+zookeeper-3.4.6完全分布式环境搭建.docx资料:http://pan.baidu.com/s/1c1oed8G密码:zadt参照:http://blog.itpub.net/30089851/viewspace-1987620/
-
编辑 删除
jps报27342 -- process information unavailable
/tmp目录下,删除 hsperfdata_为开头的文件夹。点击(此处)折叠或打开[root@sht-sgmhadoopnn-01 ~]# jps8952 Jps27342 -- process information unavailable28270 -- process information unavailable28237 -- process information unavai...
-
编辑 删除
Hadoop常用下载地址
Hadoop视频资料:??链接: http://pan.baidu.com/s/1c1oed8G 密码: zadtHadoop运维全纪录:?http://blog.51cto.com/zt/505
-
编辑 删除
Hadoop管理员认证大纲
模块内容提纲状态关于 Apache Hadoopu 为什么是 Hadoop? u Hadoop 的核心部件 u 基础概念...
-
编辑 删除
Hadoop中NameNode、DataNode、SecondaryNameNode、JobTracker、TaskTracker介绍
在分布式存储和分布式计算方面，Hadoop都是用从/从（Master/Slave）架构。在一个配置完整的集群上，想让Hadoop这头大 象奔跑起来，需要在集群中运行一系列后台(deamon）程序。不同的后台程序扮演不用的角色，这些角色由NameNode、DataNode、 Secondary NameNode、JobTracker、TaskTracker组成。其中NameN...
-
编辑 删除
【实验】Hadoop2.6.0的伪分布安装
hadoop-2.6.0.tar.gz: http://apache.fayea.com/hadoop/common/hadoop-2.6.0/hadoop-2.6.0.tar.gzjdk-7u79-linux-x64.gz: http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html1 设置ip地址 [root@test1 ~]# vi /etc/sysconfig/network-scripts/ifcfg-eth0# Intel Corporation ...
-
编辑 删除
Hadoop 在Windows7操作系统下使用Eclipse来搭建hadoop开发环境
网上有一些都是在Linux下使用安装Eclipse来进行hadoop应用开发，但是大部分Java程序员对linux系统不是那么熟悉，所以需要在windows下开发hadoop程序，所以经过试验，总结了下如何在windows下使用Eclipse来开发hadoop程序代码。 ...
