-
编辑 删除
Hadoop 2.0 NameNode HA和Federation实践
一、背景 天云趋势在2012年下半年开始为某大型国有银行的历史交易数据备份及查询提供基于Hadoop的技术解决方案，由于行业的特殊性，客户对服务的可用性有着非常高的要求，而HDFS长久以来都被单点故障的问题所困扰，直到Apache Hadoop在2012年5月发布了2.0的alpha版本，其中MRv2还很不成熟，可HDFS的新功能已经基本可...
-
编辑 删除
Cloudera Certified Administrator for Apache Hadoop(CCAH认证)
Exam Sections and Blueprint1. HDFS (17%)Describe the function of HDFS daemonsDescribe the normal operation of an Apache Hadoop cluster, both in data storage and in data processingIdentify current features of computing systems that motivate a system like Apache Hadoop...
-
编辑 删除
Hadoop2.7实战v1.0之动态添加DataNode和NodeManager节点(不修改dfs.replication)
0.添加大文件到hdfs系统中去,是为了后期的动态添加datanode的机器，datanode机器的数据量不均衡，为了模拟均衡实验[root@sht-sgmhadoopnn-01 ~]# hadoop fs -put /root/oracle-j2sdk1.7-1.7.0+update67-1.x86_64.rpm /testdir[root@sht-sgmhadoopnn-01 ~]# hadoop fs -put /root/012_HDFS.avi /testdir[root@sht-sgmha...
-
编辑 删除
Hadoop2.7实战v1.0之start-balancer.sh与hdfs balancer数据均衡
Hadoop2.7v1.0实战之start-balancer.sh与hdfs balancer数据均衡 适用场景： a.当动态添加或者删除集群的数据节点，必然会使各节点的数据不均衡 a.当正常维护...
-
编辑 删除
CDH5之Balancer难以在快速增长的集群上平衡大量的数据
背景：公司在线上使用了CDH5集群，一开始由于疏忽，忘记了在计划任务中定期执行Balancer来平衡各节点的数据。后来，在引入大量的Job之后，数据增长非常迅猛，有很多节点开始出现利用率超过99.9%的情况，部分Job甚至开始Failed。于是我们便执行Balancer来清理数据，结果发现有26T的数据需要平衡，而Balancer每次只移...
-
编辑 删除
转载|如何利用客户端在itpub发博客
今天无意中看到http://blog.itpub.net/25508077/viewspace-1067624/文章，之前还为这些问题烦恼而不太愿意更新博客的，觉得有必要收藏以以便今后查找方便。 不过发布后查看全文时提示如下错误： CException 属性 "RpcApplication.itpub_bbsdb" 未被定义. 错误，将文章内容图片去掉也是一样，不过可以登录博客后“编辑...
-
编辑 删除
Hadoop2.7实战v1.0之动态删除DataNode(含NodeManager)节点(修改dfs.replication)
动态删除DataNode(含NodeManager)节点(修改dfs.replication)极端不建议直接在slave上通过：hadoop-daemon.sh stop datanode 命令关掉datanode，这会导致hdfs中出现missing block1.ActiveNameNode修改hdfs-site.xml文件点击(此处)折叠或打开[root@sht-sgmh...
-
编辑 删除
Hadoop2.x运维实战之入门手册v1.0
0.Hadoop2.x生态圈介绍1.常用组件介绍(体系结构+进程) 1.1HDFS 1.2MapReduce 1.3Yarn 1.4Hive 1.5Hbase 1.6Zookeeper1.Hadoop-2.7.2+Zookeeper-3.4.6完全分布式环境搭建(HDFS,YARN HA)2.Hadoop 2.x HDFS和YARN的启动方式3.Hadoop2.x常...
-
编辑 删除
Hadoop2.7实战v1.0之YARN HA
YARN HA实战v1.0 当前环境:hadoop+zookeeper(namenode,resourcemanagerHA)???????????????? resourcemanager serviceId init status ...
-
编辑 删除
Hadoop2.7实战v1.0之HDFS HA
?当前环境:hadoop+zookeeper(namenode,resourcemanagerHA) ?namenode?serviceId?Init status?sht-sgmhadoopnn-01?nn1?active?sht-sgmhadoopnn-02&nbs...
-
编辑 删除
Hadoop2.7实战v1.0之添加DataNode节点后,更改文件复制策略dfs.replication
1.查看当前系统的复制策略dfs.replication为3,表示文件会备份成3份a.通过查看hdfs-site.xml 文件[root@sht-sgmhadoopnn-01 ~]# cd /hadoop/hadoop-2.7.2/etc/hadoop[root@sht-sgmhadoopnn-01 hadoop]# more hdfs-site.xml dfs.re...
-
编辑 删除
Hadoop2.7实战v1.0之动态添加、删除DataNode节点及复制策略导向
一.环境 ?IP Host 及安装软件 部署模块 进程 172.16.101.55 sht-sgmhadoopnn-01...
-
编辑 删除
Hadoop 2.x HDFS和YARN的启动方式
一.三种启动方式介绍 方式一：逐一启动（实际生产环境中的启动方式） hadoop-daemon.sh start|stop namenode|datanode| journalnode yarn-daemon.sh start |stop resourcemanager|nodemanager 方式二：分开启动 ...
-
编辑 删除
Hadoop MapReduce之wordcount(词频统计)
1.创建test.log点击(此处)折叠或打开[root@sht-sgmhadoopnn-01 mapreduce]# more /tmp/test.log123abava a aabc我是谁%……...
-
编辑 删除
Hadoop2.x常用端口及定义方法
Hadoop集群的各部分一般都会使用到多个端口，有些是daemon之间进行交互之用，有些是用于RPC访问以及HTTP访问。而随着Hadoop周边组件的增多，完全记不住哪个端口对应哪个应用，特收集记录如此，以便查询。这里包含我们使用到的组件：HDFS, YARN, HBase, Hive, ZooKeeper:组件节点...
-
编辑 删除
Hadoop常见错误2
问题1：在程序的日志中看到，在reduce阶段出现了异常：Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out ，程序里需要打开文件，系统默认为1024，也可以通过ulimit -a查看编辑文件/etc/security/limits.conf 在文件后面添加：# End of file * soft nofile 102400 * hard nofile 40960...
-
编辑 删除
Hadoop2.x 参数汇总
linux参数以下参数最好优化一下：文件描述符ulimit -n用户最大进程 nproc （hbase需要 hbse book）关闭swap分区设置合理的预读取缓冲区Linux的内核的IO调度器JVM参数JVM方面的优化项Hadoop Performance Tuning GuideHadoop参数大全适用版本：4.3.0 主要配置...
-
编辑 删除
部署Hadoop,需和Linux操作系统位数一致
点击(此处)折叠或打开[root@sht-sgmhadoopnn-01 ~]# getconf LONG_BIT64[root@sht-sgmhadoopnn-01 ~]# cd /hadoop/hadoop-2.7.2/lib/native/[root@sht-sgmhadoopnn-01 native]# lltotal 4924-rw-r--r-- 1 10011 10011 138...
-
编辑 删除
Hadoop常见错误1
1 关于 Warning: $HADOOP_HOME is deprecated. hadoop 1.0.0版本，安装完之后敲入hadoop命令时，老是提示这个警告： Warning: $HADOOP_HOME is deprecated. 经查hadoop-1.0.0/bin/hadoop脚本和"hadoop-config.sh"脚本，发现脚本中对HADOOP_HOME的环境变量设置做了判断，笔者的...
-
编辑 删除
Hadoop资料整理导向
一、Hadoop快速入门分布式计算开源框架Hadoop_入门实践一篇不错的hadoop介绍文章用 Hadoop 进行分布式数据处理---- 入门Hadoop入门实验Hadoop入门一图解说Hadoop的发展历程讨论：Hadoop社区与中国云计算开源展望用Hadoop进行分布式数据处理入门篇Hadoop入门简介hadoop入门语录...
