-
Hadoop2.7实战v1.0之动态删除DataNode(含NodeManager)节点(修改dfs.replication)
动态删除DataNode(含NodeManager)节点(修改dfs.replication)极端不建议直接在slave上通过：hadoop-daemon.sh stop datanode 命令关掉datanode，这会导致hdfs中出现missing block1.ActiveNameNode修改hdfs-site.xml文件点击(此处)折叠或打开[root@sht-sgmh...
-
Hadoop2.x运维实战之入门手册v1.0
0.Hadoop2.x生态圈介绍1.常用组件介绍(体系结构+进程) 1.1HDFS 1.2MapReduce 1.3Yarn 1.4Hive 1.5Hbase 1.6Zookeeper1.Hadoop-2.7.2+Zookeeper-3.4.6完全分布式环境搭建(HDFS,YARN HA)2.Hadoop 2.x HDFS和YARN的启动方式3.Hadoop2.x常...
-
Hadoop2.7实战v1.0之YARN HA
YARN HA实战v1.0 当前环境:hadoop+zookeeper(namenode,resourcemanagerHA)???????????????? resourcemanager serviceId init status ...
-
Hadoop2.7实战v1.0之HDFS HA
?当前环境:hadoop+zookeeper(namenode,resourcemanagerHA) ?namenode?serviceId?Init status?sht-sgmhadoopnn-01?nn1?active?sht-sgmhadoopnn-02&nbs...
-
Hadoop2.7实战v1.0之添加DataNode节点后,更改文件复制策略dfs.replication
1.查看当前系统的复制策略dfs.replication为3,表示文件会备份成3份a.通过查看hdfs-site.xml 文件[root@sht-sgmhadoopnn-01 ~]# cd /hadoop/hadoop-2.7.2/etc/hadoop[root@sht-sgmhadoopnn-01 hadoop]# more hdfs-site.xml dfs.re...
-
Hadoop2.7实战v1.0之动态添加、删除DataNode节点及复制策略导向
一.环境 ?IP Host 及安装软件 部署模块 进程 172.16.101.55 sht-sgmhadoopnn-01...
-
Hadoop 2.x HDFS和YARN的启动方式
一.三种启动方式介绍 方式一：逐一启动（实际生产环境中的启动方式） hadoop-daemon.sh start|stop namenode|datanode| journalnode yarn-daemon.sh start |stop resourcemanager|nodemanager 方式二：分开启动 ...
-
Hadoop作业的三种调度算法
Hadoop集群中有三种作业调度算法，分别为FIFO，公平调度算法和计算能力调度算法先来先服务（FIFO）Hadoop中默认的调度器FIFO，它先按照作业的优先级高低，再按照到达时间的先后选择被执行的作业。FIFO比较简单，hadoop中只有一个作业队列，被提交的作业按照先后顺序在作业队列中排队，新来的作业插入到队尾。一个作业...
-
hadoop配置文件说明
1、dfs.hosts 记录即将作为datanode加入集群的机器列表2、mapred.hosts 记录即将作为tasktracker加入集群的机器列表3、dfs.hosts.exclude mapred.hosts.exclude 分别包含待移除的机器列表4、master 记录运行辅助namenode的机器列表5、slave 记录运行datanode和tasktracker的机器列表6、hadoop-env.sh 记录脚本要用的...
-
hadoop优化
namenode磁盘: sas带RAID,多磁盘存储文件系统元信息.datanode配置: 不带RAID, 双网卡: 一个用于内部数据传输，一个用于外部数据传输.hadoop各节点的分布:namenode和jobtracker部署:namenode与jobtracker分离.tasktracker与datanode配对.Trash: hadoop回收站功能默认是禁止的，删除文件，就是直接删除了...
-
process information unavailable
启动Hadoop之后，使用jps命令查看当前系统的java进程情况，显示：hduser@jack:/usr/local/hadoop$ jps18470 SecondaryNameNode19096 Jps12167 -- process information unavailable19036 NodeManager18642 ResourceManager18021 DataNode17640 NameNode 这时可以通过进入本地文件系统的/tmp目录...
-
Hadoop安装
1.关闭防火墙service iptables stopchkconfig iptables off2.disable selinux##disable selinuxsed -i '/SELINUX/s/enforcing/disabled/' /etc/selinux/configsetenforce 03.安装jdk#!/bin/bashINSTALL_HOME=/usr/local/srccd $INSTALL_HOMEmkdir ...
-
Hadoop MapReduce之wordcount(词频统计)
1.创建test.log点击(此处)折叠或打开[root@sht-sgmhadoopnn-01 mapreduce]# more /tmp/test.log123abava a aabc我是谁%……...
-
Hadoop2.x常用端口及定义方法
Hadoop集群的各部分一般都会使用到多个端口，有些是daemon之间进行交互之用，有些是用于RPC访问以及HTTP访问。而随着Hadoop周边组件的增多，完全记不住哪个端口对应哪个应用，特收集记录如此，以便查询。这里包含我们使用到的组件：HDFS, YARN, HBase, Hive, ZooKeeper:组件节点...
-
Hadoop常见错误2
问题1：在程序的日志中看到，在reduce阶段出现了异常：Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out ，程序里需要打开文件，系统默认为1024，也可以通过ulimit -a查看编辑文件/etc/security/limits.conf 在文件后面添加：# End of file * soft nofile 102400 * hard nofile 40960...
-
Hadoop2.x 参数汇总
linux参数以下参数最好优化一下：文件描述符ulimit -n用户最大进程 nproc （hbase需要 hbse book）关闭swap分区设置合理的预读取缓冲区Linux的内核的IO调度器JVM参数JVM方面的优化项Hadoop Performance Tuning GuideHadoop参数大全适用版本：4.3.0 主要配置...
-
hadoop Retrying connect to server 10020
报这个错误是没有 启动历史服务：hadoop-2.2.0/bin ./mr-jobhistory-daemon.sh start historyserver
-
部署Hadoop,需和Linux操作系统位数一致
点击(此处)折叠或打开[root@sht-sgmhadoopnn-01 ~]# getconf LONG_BIT64[root@sht-sgmhadoopnn-01 ~]# cd /hadoop/hadoop-2.7.2/lib/native/[root@sht-sgmhadoopnn-01 native]# lltotal 4924-rw-r--r-- 1 10011 10011 138...
-
Hadoop常见错误1
1 关于 Warning: $HADOOP_HOME is deprecated. hadoop 1.0.0版本，安装完之后敲入hadoop命令时，老是提示这个警告： Warning: $HADOOP_HOME is deprecated. 经查hadoop-1.0.0/bin/hadoop脚本和"hadoop-config.sh"脚本，发现脚本中对HADOOP_HOME的环境变量设置做了判断，笔者的...
-
Hadoop资料整理导向
一、Hadoop快速入门分布式计算开源框架Hadoop_入门实践一篇不错的hadoop介绍文章用 Hadoop 进行分布式数据处理---- 入门Hadoop入门实验Hadoop入门一图解说Hadoop的发展历程讨论：Hadoop社区与中国云计算开源展望用Hadoop进行分布式数据处理入门篇Hadoop入门简介hadoop入门语录...
