-
编辑 删除
hadoop支持lzo完整过程
简介部署创建lzo表导入数据索引LZO文件利用hive执行mr任务修改使用中hive表的输入输出格式安装lzop native library安装hadoop-lzo配置hadoop环境变量验证lzo（通过hive测试） 简介启用lzo启用lzo的压缩方式对于小规模集群是很有用处，压缩比率大概能降到原始日志大小的1/3。同时解压缩的速度也比较快。安装lzolzo并不是linux系统原生支
-
编辑 删除
hadoop2.6.0-cdh5.7.0编译，支持snappy、bzip2本地压缩
一、软件包：snappy-1.1.3.tar.gz下载地址：wget https://github.com/google/snappy/releases/download/1.1.3/snappy-1.1.3.tar.gz二、安装依赖包：yum -y install snappy libsnappy-dev yum -y install bzip2 libbz2-dev yum -y instal
-
编辑 删除
Hadoop Yarn 的三种资源调度器详解
理想情况下，我们应用对Yarn资源的请求应该立刻得到满足，但现实情况资源往往是有限的，特别是在一个很繁忙的集群，一个应用资源的请求经常需要等待一段时间才能的到相应的资源。在Yarn中，负责给应用分配资源的就是Scheduler。其实调度本身就是一个难题，很难找到一个完美的策略可以解决所有的应用场景。为此，Yarn提供了多种调度器和可配置的策略供我们选择。一、调度器的选择在Yarn中有三种调度器可以
-
编辑 删除
Yarn的总结
1.YARN架构设计 ResourceManager(RM)： 负责对各NM上的资源进行统一管理和调度。将AM分配空闲的Container运行并监控其运行状态。对AM申请的资源请求分配相应的空闲Container。主要由两个组件构成： 调度器和应用程序管理器。调度器(Scheduler)：调度器根据容量、队列等限制条件（如每个队列分配一定的资源，最多执行一定数量的作业等），将系统中的资源分配给各个
-
编辑 删除
MapReduce总结
1.MapReduce1 架构设计Client: 客户端JobTracker: 主要负责资源监控管理和作业调度。a.监控所有TaskTracker 与job的健康状况,一旦发现失败,就将相应的任务转移到其他节点;b.同时JobTracker会跟踪任务的执行进度、资源使用量等信息,并将这些信息告诉任务调度器,而调度器会在资源出现空闲时,选择合适的任务使用这些资源.TaskTracker:是JobTr
-
编辑 删除
HDFS常用命令
1.hadoop fs == hdfs dfshadoop fs -ls /hadoop fs -lsrhadoop fs -mkdir /user/hadoophadoop fs -put a.txt /user/hadoop/hadoop fs -get /user/hadoop/a.txt /hadoop fs -cp src dsthadoop fs -mv src dsthadoop f
-
编辑 删除
HDFS的读写流程
文件读流程1.Client通过FileSystem.open(filePath)方法,去与Namenode进行rpc通信,返回该文件的部分或全部的block列表(也包含该列表各block的分布在Datanode地址的列表),也就是返回FSDataInputStream对象;2.Client调用FSDataInputStream对象的read()方法,• a. 去与第一个块的最近的datanode进
-
编辑 删除
HDFS的详解（一）
三个进程1)NameNode (NN): 名称节点 --》client第一个操作的对象NameNode的功能: 文件系统的命名空间
-
编辑 删除
基于CentOS6.4环境编译Spark-2.1.0源码
1 写在前面的话 有些小伙伴可能会问：Spark官网不是已经提供了Spark针对不同版本的安装包了吗，我们为什么还需要对Spark源码进行编译呢？针对这个问题我们到Spark官网: spark.apache.org来看下，如下图所示:Spark官网的确是提供了一些Hadoop版本的Spark安装包，但是提供的这些是否能够满足我们的要求呢？答案肯定是...
-
编辑 删除
执行hadoop命令时，出现异常
执行hadoop命令时，出现异常解决方法：1.首先jps命令，查看hadoop的进程是否全部启动。我的jps后，发现namenode 进程丢失。2.netstat -nltp|grep 9000 查看端口。我的不能发现端口。3，执行hadoop formate -namenode 问题解决。
-
编辑 删除
hadoop执行./start-all.sh，突然报错
启动时报这个错误[root@hadoop sbin]$ sbin/start-dfs.sh1WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-Java classes where applicable解决方法1.去网站：http://dl.bintray.com/sequenceiq/sequenceiq-bin/ 下载对应的编译版本,我下载的是2.62.将...
-
编辑 删除
There are 0 datanode(s) running and no node(s) are excluded in this operation
1.在执行bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0-cdh5.7.0.jar pi 5 10报错，Number of Maps = 5Samples per Map = 1017/12/31 15:35:08 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where ap...
-
编辑 删除
YARN and MapReduce的【内存】优化配置详解
在Hadoop2.0中, YARN负责管理MapReduce中的资源(内存, CPU等)并且将其打包成Container. 这样可以精简MapReduce, 使之专注于其擅长的数据处理任务, 将无需考虑资源调度. 如下图所示?????????????YARN会管理集群中所有机器的可用计算资源. 基于这些资...
-
编辑 删除
YARN的Memory和CPU调优配置详解
YARN作为一个资源调度器，应该考虑到集群里面每一台机子的计算资源，然后根据application申请的资源进行分配Container。Container是YARN里面资源分配的基本单位，具有一定的内存以及CPU资源。内存配置YARN以及MAPREDUCE所有可用的内存资源应该要除去系统运行需要的以及其他的hadoop的一些程序，总共保留的内存...
-
编辑 删除
Hadoop伪分布式安装(MapReduce+Yarn)
MapReduce+Yarn部署Yarn:ResourceManager NodeManager1.Yarn部署[root@hadoop02 hadoop]# cp mapred-site.xml.template mapred-site.xml[root@hadoop02 hadoop]# vi mapred-site.xml
-
编辑 删除
Hadoop伪分布模式(HDFS)
文档地址: http://hadoop.apache.org/docs/r2.8.2/ 部署方式:1.单机模式standalone 1个java进程2.伪分布模式Pseudo-Distributed Mode 开发|学习 多个java进程3.集群模式Cluster Mode ：生产 多台机器多个java进程伪分布式部署: HDFS1.创建hadoop服务的一个用户[root@hadoop02 softw...
-
编辑 删除
CentOS6.5下Hadoop的编译
1.检查是否有无正在运行的hadoop.ps –ef|grep hadoop find / -name hadoop2在/opt目录下创建sourcecode software 两个文件夹。 3.上传hadoop的tar包到sourcecode.4.解压hadoop-2.8.1-src.tar.gz。tar -xzvf hadoop-2.8.1-src.tar.gz&nbs...
