-
Hadoop之 MapReducer工作过程
1. 从输入到输出一个MapReducer作业经过了input，map，combine，reduce，output五个阶段，其中combine阶段并不一定发生，map输出的中间结果被分到reduce的过程成为shuffle（数据清洗）。在shuffle阶段还会发生copy（复制）和sort（排序）。在MapReduce的过程中，一个作业被分成Map和Reducer两个计算阶段...
-
hadoop 配置文件简析
文件名称 格式 描述hadoop-env.sh bash脚本 记录hadoop要用的环境变量core-site.xml hadoop 配置 xml ...
-
hadoop之 reduce个数控制
1、参数变更1.x 参数名 2.x 参数名 mapred.tasktracker.reduce.tasks.maximum mapreduc...
-
hadoop之 map个数控制
hadooop提供了一个设置map个数的参数mapred.map.tasks，我们可以通过这个参数来控制map的个数。但是通过这种方式设置map的个数，并不是每次都有效的。原因是mapred.map.tasks只是一个hadoop的参考数值，最终map的个数，还取决于其他的因素。为了方便介绍，先来看几个名词：block_size : hdfs的文件块大小，1.x默认...
-
hadoop之 exceeds the limit of concurrent xcievers处理
dfs.datanode.max.transfer.threads： 默认 4096 < 2.0之前该参数为dfs.datanode.max.xcievers >解释：Specifies the maximum number of threads to use for transferring data in and out of the DN.表示datanode上负责进行文件操作的线程数。如果需要处理的文件过多，而这个参数设置得过低就会有一部分文件处理不...
-
Hadoop之 Balancer平衡速度
1. dfs.datanode.max.transfer.threads修改dfs.datanode.max.transfer.threads=4096 (如果运行HBase的话建议为16384)，指定用于在DataNode间传输block数据的最大线程数，老版本的对应参数为dfs.datanode.max.xcievers。2. dfs.datanode.balance.bandwidthPerSec修改dfs.datanode.balance.bandwidthPerSec=5...
-
hadoop之 心跳时间与冗余快清除
1.Hadoop datanode节点超时时间设置datanode进程死亡或者网络故障造成datanode无法与namenode通信，namenode不会立即把该节点判定为死亡，要经过一段时间，这段时间暂称作超时时长。HDFS默认的超时时长为10分钟+30秒。如果定义超时时间为timeout，则超时时长的计算公式为：timeout = 2 * heartbeat.recheck.interval...
-
HIVE之 Sqoop 1.4.6 安装、hive与oracle表互导
1. sqoop数据迁移1.1 概述sqoop是apache旗下一款“Hadoop和关系数据库服务器之间传送数据”的工具。 导入数据：MySQL，Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统； 导出数据：从Hadoop的文件系统中导出数据到关系数据库1.2 工作机制将导入或导出命令翻译成mapreduce程序来实...
-
Sqoop之 Sqoop 1.4.6 安装
1. sqoop数据迁移1.1 概述sqoop是apache旗下一款“Hadoop和关系数据库服务器之间传送数据”的工具。 导入数据：MySQL，Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统； 导出数据：从Hadoop的文件系统中导出数据到关系数据库1.2 工作机制将导入或导出命令翻译成mapreduce程序来实...
-
PIG之 Hadoop 2.7.4 + pig-0.17.0 安装
首先: 参考 http://blog.csdn.net/zhang123456456/article/details/77621487 搭建好hadoop集群。 然后，在master节点安装pig。 我们用MapReduce进行数据分析。当业务比较复杂的时候，使用MapReduce将会是一个很复杂的事情，比如你需要对数据进行很多预处理或转换，以便能够适应MapReduce的处理模式,另...
-
hadoop之 node manager起不来， 执行mapreduce 程序hang住
现象： node manager起不来， 执行mapreduce 程序hang住namenode 进程状态查询[root@hadp-master sbin]# jps8608 ResourceManager8257 NameNode9268 Jps8453 SecondaryNameNodedatanode 进程状态查询 ， 发现 nodemanager 没有起来[root@hadp-node1 hadoop]# jps4179 DataNode4940 Jpsnamenode 单独起 no...
-
HBase数据模型
上次我们讲过了《HBase简介》，点击阅读有助于更好地理解本文。本文讲述的是HBase数据模型。1、ROW KEY决定一行数据按照字典顺序排序的。Row key只能存储64k的字节数据2、Column Family列族 & qualifier列HBase表中的每个列都归属于某个列族，列族必须作为表模式(schema)定义的一部分预先给出。列名以列...
-
HBase简介
各位小伙伴们，又到了每周分享java&大数据技术的时间，这一次我给大家分享的是hbase技术。那么hbase到底是一个什么样的技术，他又能拿来干嘛用的呢？接下来就让我们一起来学习这个技术吧~~。今天要讲的是第一辑：HBase简介。HBase简介在学习hbase之前，我们先了解一下hadoop的生态系统 HBase-Hadoop Dat...
-
There are 0 datanode(s) running and no node(s) are excluded in this operation
1.在执行bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0-cdh5.7.0.jar pi 5 10报错，Number of Maps = 5Samples per Map = 1017/12/31 15:35:08 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where ap...
-
Hadoop过程中配置SSH免密码登录
假设用户名为u：1）确认已经连接上互联网，然后输入命令：sudo apt-get install ssh2）配置为可以免密码登录本机。首先查看在u用户下是否存在.ssh文件夹（注意ssh前面有“.”，这是一个隐藏文件夹），输入命令：ls –a /home/u一般来说，安装SSH时会自动在当前用户下创建这个隐藏文件夹，如果没有，可以手...
-
HDFS
三个进程NameNode (NN): 名称节点 --》client第一个操作的对象DataNode (DN): 数据节点 --》存储数据的Secondary NameNode(SNN): 第二名称节点 组成：block(数据块)大小:64M128M 参数: dfs.blocksize副本数dfs.replication: 3hadoop2.x一般公司就3个hadoop3.0 : 1.5(新特...
-
MapReduce工作原理图文详解
1.MapReduce作业运行流程下面贴出我用visio2010画出的流程示意图： 流程分析：1.在客户端启动一个作业。2.向JobTracker请求一个Job ID。3.将运行作业所需要的资源文件复制到HDFS上，包括MapReduce程序打包的JAR文件、配置文件和客户端计算所得的输入划分信息。...
-
HDFS2.X源码分析之：NameNode块报告处理
NameNode会接收两种情况的块报告，DataNode全部块报告与增量块报告。 目前全量报告以周期性进行报告，既然已经有启动时候的全量数据块报告，错误块报告，增量块报告（包括删除块报告），为什么还需要周期性全量块报告呢?比如某DataNode接受到数据块但是增量报告失败，那就需要周期性报告来...
-
YARN的Memory和CPU调优配置详解
YARN作为一个资源调度器，应该考虑到集群里面每一台机子的计算资源，然后根据application申请的资源进行分配Container。Container是YARN里面资源分配的基本单位，具有一定的内存以及CPU资源。内存配置YARN以及MAPREDUCE所有可用的内存资源应该要除去系统运行需要的以及其他的hadoop的一些程序，总共保留的内存...
-
YARN的Memory和CPU调优配置详解
YARN作为一个资源调度器，应该考虑到集群里面每一台机子的计算资源，然后根据application申请的资源进行分配Container。Container是YARN里面资源分配的基本单位，具有一定的内存以及CPU资源。内存配置YARN以及MAPREDUCE所有可用的内存资源应该要除去系统运行需要的以及其他的hadoop的一些程序，总共保留的内存...
