-
编辑 删除
Hive架构设计及原理
Hive架构设计及原理1.什么是Hive：Hive是构建在Hadoop之上的数据仓库平台，可以结构化的数据文件映射为一张数据库表，并提供完整的SQL查询，然后将SQL语句转换为MapRuce任务进行运行，提交YARN平台调度，优点学习成本之低，通过SQL语句快速实现简单的MapReduce统计Hive没有专门的数据格式，可以很好的工作在Thrift之上...
-
编辑 删除
IDEA2018.3安装及破解方法
安装为傻瓜模式安装激活 2018-5-7更新输入 http://idea.toocruel.net 即可，亲测可用。如果资金允许还是希望大家能支持正版，尊重原创
-
编辑 删除
Hadoop之Yarn架构设计(command memory cpu)
待整理Hadoop之Yarn架构设计(command memory cpu)
-
编辑 删除
Hadoop之MapReduce2架构设计
Hadoop之MapReduce2架构设计
-
编辑 删除
Hadoop之MapReduce2基础梳理及案例
基础梳理1.Mapreduce 分布式计算系统 一个分布式运算程序的编程框架也是hadoop的数据分析和应用的核心框架,将用户的业务逻辑代码和自带的默认组件整合一个完整的分布式用程序,并发运行在一个hadoop集群上2.为什么需要MapReduce 1.海量数据在单机上受硬件资源限制 2.单机程序...
-
编辑 删除
MapReduce1架构设计
MapReduces1架构设计
-
编辑 删除
YARN and MapReduce的【内存】优化配置详解
在Hadoop2.0中, YARN负责管理MapReduce中的资源(内存, CPU等)并且将其打包成Container. 这样可以精简MapReduce, 使之专注于其擅长的数据处理任务, 将无需考虑资源调度. 如下图所示?????????????YARN会管理集群中所有机器的可用计算资源. 基于这些资...
-
编辑 删除
MapReduce工作原理图文详解
1.MapReduce作业运行流程下面贴出我用visio2010画出的流程示意图： 流程分析：1.在客户端启动一个作业。2.向JobTracker请求一个Job ID。3.将运行作业所需要的资源文件复制到HDFS上，包括MapReduce程序打包的JAR文件、配置文件和客户端计算所得的输入划分信息。...
-
编辑 删除
YARN的Memory和CPU调优配置详解
YARN作为一个资源调度器，应该考虑到集群里面每一台机子的计算资源，然后根据application申请的资源进行分配Container。Container是YARN里面资源分配的基本单位，具有一定的内存以及CPU资源。内存配置YARN以及MAPREDUCE所有可用的内存资源应该要除去系统运行需要的以及其他的hadoop的一些程序，总共保留的内存...
-
编辑 删除
HDFS之垃圾回收箱配置及使用
HDFS为每个用户创建一个回收站:目录:/user/用户/.Trash/Current在系统回收站都有一个周期,周期过后hdfs会彻底删除清空,周期内可以恢复1.HDFS删除文件,无法恢复[hadoop@hadoop001 opt]$ hdfs dfs -rm /123.logDeleted /123.log2. 启用回收站功能[hadoop@hadoop001 hadoop]$ vim core-site.xml
-
编辑 删除
Hadoop帮助命令一
[hadoop@hadoop001 /]$ hadoopUsage: hadoop [--config confdir] [COMMAND | CLASSNAME] CLASSNAME run the class named CLASSNAME or where COMMAND is one of: fs run a generic ...
-
编辑 删除
HDFS的PID整理
前言: Linux中可以通过PID找到对相应的进程号和进程目录，ps -ef|grep pid可以单独kill想要的pid;如果生产上想通过shell脚本直接kill `ps -ef|grep 服务名 ,会把服务下所有多个进程和其他进程kill掉, 已hadoop为例可以读文件里进程号指定kill掉‘; Hodoop的PID默认存储路...
-
编辑 删除
Hadoop之HDFS文件读写流程说明
Hadoop之HDFS文件读写流程说明
-
编辑 删除
Hadoop之HDFS主从架构及说明(一)
HDFD架构设计图及说明
-
编辑 删除
CentOS6.5基于Hadoop用户的Yarn伪分布式部署(a Single Node Cluster)
yran on a single node cluster
-
编辑 删除
Hadoop之JPS命令及真假现象(process information unavailable)
前言:jps(Java Virtual Machine Process Status Tool)是JDK 1.5提供的一个显示当前所有 java 进程 pid 的命令，简单实用，非常适合在 linux/unix 平台上简单察看当前java进程的一些简单情况。 jps 可以查看 hadoop 上 当前运行的java 进程。 jps命令是jdk下bin目录中的一个可执行文件，需要安装比 jdk6u17 更...
-
编辑 删除
CentOS6.5基于Hadoop用户的HDFS伪分布式部署(a Single Node Cluster)
前言： 上一篇博客HDFS伪分布式部署基于管理员root部署成功，但是实际生产中使用Hadoop用户操作及配置? ? ? ? 官网参考：http://hadoop.apache.org/docs/r2.8.4/hadoop-project-dist/hadoop-common/SingleCluster.html1、检查hadoop用户是否存在[...
-
编辑 删除
CentOS6.5基于ROOT用户的HDFS伪分布式部署(a Single Node Cluster)
CentOS6.5实现Hadoop编译及HDFS伪分布式部署Hadoop 2.x 三大组件MapReduce(Others) -- 计算YARN -- 资源和作业调度平台
-
编辑 删除
CentOS6.5实现Hadoop_2.8.1编译
CentOS6.5实现Hadoop编译及HDFS伪分布式部署Hadoop 2.x 三大组件MapReduce(Others) -- 计算YARN -- 资源和作业调度平台HDFS ...
-
编辑 删除
CentOS6.5实现Hadoop_2.8.1编译及HDFS伪分布式部署
CentOS6.5实现Hadoop编译及HDFS伪分布式部署Hadoop 2.x 三大组件MapReduce(Others) -- 计算YARN -- 资源和作业调度平台HDFS ...
