ITPub博客

一、 hdfs-site.xml 配置文件1、 dfs.blocksize 参数：hadoop文件块大小描述：新文件的默认块大小，以字节为单位，默认 134217728 字节。可以使用以下后缀(大小写不敏感):k(kilo)、m(mega)、g(giga)、t(tera)、p(peta)、e(exa)来指定大小(如128k、512m、1g等)，或者以字节为单位提供完整的大小。2、 dfs...

概述集群资源是非常有限的，在多用户、多任务环境下，需要有一个协调者，来保证在有限资源或业务约束下有序调度任务，YARN资源调度器就是这个协调者。YARN调度器有多种实现，自带的调度器为Capacity Scheduler和Fair Scheduler。YARN资源调度器均实现Resource Scheduler接口，是一个插拔式组件，用户可...

1. 从输入到输出一个MapReducer作业经过了input，map，combine，reduce，output五个阶段，其中combine阶段并不一定发生，map输出的中间结果被分到reduce的过程成为shuffle（数据清洗）。在shuffle阶段还会发生copy（复制）和sort（排序）。在MapReduce的过程中，一个作业被分成Map和Reducer两个计算阶段...

文件名称            格式                     描述hadoop-env.sh      bash脚本            记录hadoop要用的环境变量core-site.xml         hadoop 配置 xml ...

1、参数变更1.x 参数名                                                         2.x 参数名 mapred.tasktracker.reduce.tasks.maximum     mapreduc...

hadooop提供了一个设置map个数的参数mapred.map.tasks，我们可以通过这个参数来控制map的个数。但是通过这种方式设置map的个数，并不是每次都有效的。原因是mapred.map.tasks只是一个hadoop的参考数值，最终map的个数，还取决于其他的因素。为了方便介绍，先来看几个名词：block_size : hdfs的文件块大小，1.x默认...

1.Hadoop datanode节点超时时间设置datanode进程死亡或者网络故障造成datanode无法与namenode通信，namenode不会立即把该节点判定为死亡，要经过一段时间，这段时间暂称作超时时长。HDFS默认的超时时长为10分钟+30秒。如果定义超时时间为timeout，则超时时长的计算公式为：timeout = 2 * heartbeat.recheck.interval...

首先: 参考 http://blog.csdn.net/zhang123456456/article/details/77621487 搭建好hadoop集群。 然后，在master节点安装pig。 我们用MapReduce进行数据分析。当业务比较复杂的时候，使用MapReduce将会是一个很复杂的事情，比如你需要对数据进行很多预处理或转换，以便能够适应MapReduce的处理模式,另...

我在公司的数据部门工作，每天的订单类数据处理流程大致如下：删除分析数据库的历史订单数据全量更新订单数据到分析数据库。（由于订单核心数据不大，所以经受得起这么折腾）将数据简单清洗，并生成数据集市层分析处理，产出报表。当然还有其他的数据也是这么处理的（比如产品的数据、景区的...

Deprecated Properties  弃用属性The following table lists the configuration property names that are deprecated in this version of Hadoop, and their replacements.下表列出了在这个版本的Hadoop中被弃用的配置属性名称及其替换。说明： 基于 Hadoop 2.7.4Deprecated...

MapReduce相关配置参数分为两部分，分别是JobHistory Server和应用程序参数，Job History可运行在一个独立节点上，而应用程序参数则可存放在mapred-site.xml中作为默认参数，也可以在提交应用程序时单独指定，注意，如果用户指定了参数，将覆盖掉默认参数。以下这些参数全部在mapred-site.xml中设置。1. &nb...

 参数均需要在yarn-site.xml中配置：1. ResourceManager相关配置参数（1） yarn.resourcemanager.address参数解释：ResourceManager 对客户端暴露的地址。客户端通过该地址向RM提交应用程序，杀死应用程序等。默认值：${yarn.resourcemanager.hostname}:8032（2） yarn.resou...

一、JVM结构根据《java虚拟机规范》规定，JVM的基本结构一般如下图所示：从左图可知，JVM主要包括四个部分：1.类加载器（ClassLoader）:在JVM启动时或者在类运行时将需要的class加载到JVM中。（右图表示了从java源文件到JVM的整个过程，可配合理解。 关于类的加载机制，可以参考http://blog.csdn.net/ton...

HDFS2.0之HA主备NameNode：　　1、主NameNode对外提供服务，备NameNode同步主NameNode元数据，以待切换；　　2、主NameNode的信息发生变化后，会将信息写到共享数据存储系统中让备NameNode合并到自己的内存中；　　3、所有DataNode同时向两个NameNode发送心跳信息（块信息）；两种切换方式：　　1、手动...

 Hadoop1.x构成： HDFS、MapReduce(资源管理和任务调度)；运行时环境为JobTracker和TaskTracker；Hadoop2.0构成：HDFS、MapReduce/其他计算框架、YARN； 运行时环境为YARN　　1、HDFS：HA、NameNode Federation　　2、MapReduce/其他计算框架：运行在YARN之上的MapReduce通常称之为MapReduce2.0...

环境：[root@hadp-master hadoop-2.7.4]# hadoop versionHadoop 2.7.4Hadoop的日志大致可以分为两类：（1）、Hadoop系统服务输出的日志；（2）、Mapreduce程序输出来的日志。这两类的日志存放的路径是不一样的。本文基于Hadoop 2.x版本进行说明的，其中有些地方在Hadoop 1.x中是没有的，请周知。一、Hadoop...

1.背景Hadoop在设计时考虑到数据的安全与高效，数据文件默认在HDFS上存放三份，存储策略为本地一份，同机架内其它某一节点上一份，不同机架的某一节点上一份。这样如果本地数据损坏，节点可以从同一机架内的相邻节点拿到数据，速度肯定比从跨机架节点上拿数据要快；同时，如果整个机架的网络出现异常，也能保证在其它...

每个文件按块方式存储, 每个块的元数据存储在namenode的内存中Hadoop存档文件或HAR文件是一个更高效的文件存档工具,它将文件存入HDFS块,在减少内存使用的同时,允许对文件进行透明地访问Hadoop存档文件可以用作MapReduce的输入使用Hadoop存档工具Hadoop存档是通过archive工具根据一组文件创...

文件是如何写入HDFS的 ？下面我们来先看看下面的“写”流程图：         假如我们有一个文件test.txt，想要把它放到Hadoop上，执行如下命令：引用        # hadoop fs  -put  /usr/bigdata/dataset/input/20...

　在Hadoop2.0.0之前，NameNode(NN)在HDFS集群中存在单点故障（single point of failure），每一个集群中存在一个NameNode，如果NN所在的机器出现了故障，那么将导致整个集群无法利用，直到NN重启或者在另一台主机上启动NN守护线程。　　主要在两方面影响了HDFS的可用性：　　（1）、在不可预测的情况下，如果NN所在的...