-
编辑 删除
Kappa:比Lambda更好更灵活的实时处理架构
本篇文章中分析Lambda三层结构模型的适用场景，同时暴露出Lambda架构一个最明显的问题：它需要维护两套分别跑在批处理和实时计算系统上面的代码，而且这两套代码需要产出一致的结果。
-
编辑 删除
配置Hadoop中启用LZO压缩
配置Hadoop中启用LZO压缩，并完成测试。步骤如下：一、配置hadoop的hadoop-evn.sh文件，增加如下内容：点击(此处)折叠或打开export LD_LIBRARY_PATH=/usr/local/hadoop/lzo/lib二、配置core-site.xml文件，增加如下内容：点击(此处)折叠或打开...
-
编辑 删除
hadoop2.6.0-cdh5.7.0编译，支持snappy、bzip2本地压缩
hadoop2.6.0-cdh5.7.0编译，支持snappy、bzip2本地压缩
-
编辑 删除
Linux下启动伪分布式HADOOP && MySQL命令及脚本
一、启动Hadoop、MySQL命令及脚本：[hadoop@spark220 app]$ vi start-service.sh source ~/.bash_profilesudo su - mysqladmin -c "service mysql start"start-all.sh[hadoop@spark220 app]$ chmod 775 start-service.sh 二、停止Hadoop、MySQL命令及脚本：[hadoop@spark220 app]$ vi st...
-
编辑 删除
MapReduce工作原理图文详解
1.MapReduce作业运行流程下面贴出我用visio2010画出的流程示意图： 流程分析：1.在客户端启动一个作业。2.向JobTracker请求一个Job ID。3.将运行作业所需要的资源文件复制到HDFS上，包括MapReduce程序打包的JAR文件、配置文件和客户端计算所得的输入划分信息。...
-
编辑 删除
YARN and MapReduce的【内存】优化配置详解
在Hadoop2.0中, YARN负责管理MapReduce中的资源(内存, CPU等)并且将其打包成Container. 这样可以精简MapReduce, 使之专注于其擅长的数据处理任务, 将无需考虑资源调度. 如下图所示?????????????YARN会管理集群中所有机器的可用计算资源. 基于这些资...
-
编辑 删除
HDFS2.X源码分析之：NameNode块报告处理
NameNode会接收两种情况的块报告，DataNode全部块报告与增量块报告。 目前全量报告以周期性进行报告，既然已经有启动时候的全量数据块报告，错误块报告，增量块报告（包括删除块报告），为什么还需要周期性全量块报告呢?比如某DataNode接受到数据块但是增量报告失败，那就需要周期性报告来...
-
编辑 删除
YARN的Memory和CPU调优配置详解
YARN作为一个资源调度器，应该考虑到集群里面每一台机子的计算资源，然后根据application申请的资源进行分配Container。Container是YARN里面资源分配的基本单位，具有一定的内存以及CPU资源。内存配置YARN以及MAPREDUCE所有可用的内存资源应该要除去系统运行需要的以及其他的hadoop的一些程序，总共保留的内存...
-
编辑 删除
hadoop namenode启动过程详细剖析及瓶颈分析
原文地址：hadoop namenode启动过程详细剖析及瓶颈分析 作者：jockeyzouNamenode会将fsimage的二进制文件中，每次保存hdfs操作，将会记录在editlog达到一定的大小（fs.checkpoint.size参数定义）或从上次保存过后一定时间段过后（fs.checkpoint.period参数定义），HDFS的目录树和文件元数据刷到Name...
-
编辑 删除
CentOS7下部署Hadoop2.X--伪分布模式
CentOS7下部署Hadoop2.X--伪分布模式
