-
编辑 删除
HIVE实现wordcount过程
1、建表并关联数据：进入hive命令行：hive执行：create external table wordcounts(line string) row format delimited fields terminated by '\n' stored as textfile location '/input/wordcount';2、创建ruozedata.txt文件，并上传hdfs中的/input/wordcount目录下。vi ruozedata.txthello,ruozehello,jepsondb...
-
编辑 删除
MapReduce工作原理图文详解
1.MapReduce作业运行流程下面贴出我用visio2010画出的流程示意图： 流程分析：1.在客户端启动一个作业。2.向JobTracker请求一个Job ID。3.将运行作业所需要的资源文件复制到HDFS上，包括MapReduce程序打包的JAR文件、配置文件和客户端计算所得的输入划分信息。...
-
编辑 删除
centos7下Firewall使用详解
转载至：https://www.cnblogs.com/zqifa/p/linux-firewall-1.html如果需要图形界面的话，则再安装# yum install firewalld# yum install firewall-config一、介绍防火墙守护 firewalld 服务引入了一个信任级别的概念来管理与之相关联的连接与接口。它支持 ipv4 与 ipv6，并支持网桥，采用 firewall-cmd (comm...
-
编辑 删除
YARN and MapReduce的【内存】优化配置详解
在Hadoop2.0中, YARN负责管理MapReduce中的资源(内存, CPU等)并且将其打包成Container. 这样可以精简MapReduce, 使之专注于其擅长的数据处理任务, 将无需考虑资源调度. 如下图所示?????????????YARN会管理集群中所有机器的可用计算资源. 基于这些资...
-
编辑 删除
JVM快速调优手册v1.0之一:内存结构(堆内存和非堆内存)
图为Java虚拟机运行时的数据区:1.方法区也称"永久代” 、“非堆”， 它用于存储虚拟机加载的类信息、常量、静态变量、是各个线程共享的内存区域。默认最小值为16MB，最大值为64MB（未验证），可以通过-XX:PermSize 和 -XX:MaxPermSize 参数限制方法区的大小。运行时常量池：是方法区的一部分，Clas...
-
编辑 删除
HDFS2.X源码分析之：NameNode块报告处理
NameNode会接收两种情况的块报告，DataNode全部块报告与增量块报告。 目前全量报告以周期性进行报告，既然已经有启动时候的全量数据块报告，错误块报告，增量块报告（包括删除块报告），为什么还需要周期性全量块报告呢?比如某DataNode接受到数据块但是增量报告失败，那就需要周期性报告来...
-
编辑 删除
YARN的Memory和CPU调优配置详解
YARN作为一个资源调度器，应该考虑到集群里面每一台机子的计算资源，然后根据application申请的资源进行分配Container。Container是YARN里面资源分配的基本单位，具有一定的内存以及CPU资源。内存配置YARN以及MAPREDUCE所有可用的内存资源应该要除去系统运行需要的以及其他的hadoop的一些程序，总共保留的内存...
-
编辑 删除
hadoop namenode启动过程详细剖析及瓶颈分析
原文地址：hadoop namenode启动过程详细剖析及瓶颈分析 作者：jockeyzouNamenode会将fsimage的二进制文件中，每次保存hdfs操作，将会记录在editlog达到一定的大小（fs.checkpoint.size参数定义）或从上次保存过后一定时间段过后（fs.checkpoint.period参数定义），HDFS的目录树和文件元数据刷到Name...
-
编辑 删除
CentOS安装使用二进制方式mysql5.6笔记
CentOS安装使用二进制方式mysql5.6笔记1、上传安装包--使用root用户2、解压安装包--使用root用户 cd /usr/local/ tar xzvf mysql-5.6.23-linux-glibc2.5-x86_64.tar.gz mv mysql-5.6.23-linux-glibc2.5-x86_64 mysql3、创建mysql管理用户组与用户--使用root用户 groupadd -g 101 dba &nb...
-
编辑 删除
CentOS7下部署Hadoop2.X--伪分布模式
CentOS7下部署Hadoop2.X--伪分布模式
