-
编辑 删除
MapReduce2架构设计
一、MapReduce2架构设计(与MapReduce1对比) 1. MapReduce1架构设计 Client: 客户端 JobTracker: 主要负责资源监控管理和作业调度。 a.监控所有TaskTracker与job的健康...
-
编辑 删除
YARN and MapReduce的【内存】优化配置详解
在Hadoop2.x中, YARN负责管理MapReduce中的资源(内存, CPU等)并且将其打包成Container。使之专注于其擅长的数据处理任务, 将无需考虑资源调度. 如下图所示 YARN会管理集群中所有机器的可用计算资源. 基于这些资源YARN会调度应用(比如MapR...
-
编辑 删除
YARN的Memory和CPU调优配置详解
Hadoop YARN同时支持内存和CPU两种资源的调度，本文介绍如何配置YARN对内存和CPU的使用。YARN作为一个资源调度器，应该考虑到集群里面每一台机子的计算资源，然后根据application申请的资源进行分配Container。Container是YARN里面资源分配的基本单位，具有一定的内存以及CPU资源。在YARN集群中，平衡内存、CPU、磁盘...
-
编辑 删除
HDFS垃圾回收站配置及使用
HDFS会为每一个用户创建一个回收站目录：/user/用户名/.Trash/，每一个被用户通过Shell删除的文件/目录，在系统回收站中都一个周期，也就是当系统回收站中的文件/目录在一段时间之后没有被用户恢复的话，HDFS就会自动的把这个文件/目录彻底删除，之后，用户就永远也找不回这个文件/目录了。1. HDFS默认会关闭回收站功能...
-
编辑 删除
hadoop fs常用命令
1 介绍 Hadoop文件系统（FS）默认提供了各种shell命令，可用于与Hadoop分布式文件系统（HDFS）或任何其他使用Hadoop Shell的支持文件系统进行交互。 一些最常用的命令是用于诸如创建目录，复制文件，查看文件内容，更改文件的所有权或权限等操作。  ...
-
编辑 删除
HDFS之pid文件
1. pid默认存储在/tmp目录中，pid文件的内容为进程号 [hadoop@hadoop002 ~]$ cd /tmp [hadoop@hadoop002 tmp]$ pwd /tmp [hadoop@hadoop002 tmp]$ ll total 132 drwxrw...
-
编辑 删除
HDFS写流程及权限问题
drwxr-xr-xhadoop rwxsupergroup r-xother r-x1. root用户上传文件到hdfs的权限问题： su -c 命令： -c command 或 --command=command 变更为帐号为 USER 的使用者并执行指令（command）后再变回原来使用者。 以下命令是root用户使用 hado...
-
编辑 删除
hadoop伪分布式 MapReduce+Yarn 部署
1. 先看看官网伪分布式关于yarn的配置信息：官网地址：http://hadoop.apache.org/docs/r2.8.4/hadoop-project-dist/hadoop-common/SingleCluster.html2. yarn 的配置操作 yarn的两个进程: ResourceManager （资源管理） NodeManage...
-
编辑 删除
hadoop伪分布式安装(HDFS)
1. 解压缩 /opt/software/hadoop-2.8.1.tar.gz 文件 [root@hadoop002 software]$ cd /opt/software/ [root@hadoop002 software]$ pwd /opt/software [root@hadoop002 softwa...
-
编辑 删除
hadoop-2.8.1 编译
1. hadoop-2.8.1源代码下载 #先在/opt下面创建software和sourcecode文件夹 [root@hadoop001 ~]# mkdir -p /opt/sourcecode /opt/software [root@hadoop001 sourcecode]# cd /opt/sourcecode [root@hadoo...
