-
hadoop namenode启动过程详细剖析及瓶颈分析
原文地址：hadoop namenode启动过程详细剖析及瓶颈分析 作者：jockeyzouNamenode会将fsimage的二进制文件中，每次保存hdfs操作，将会记录在editlog达到一定的大小（fs.checkpoint.size参数定义）或从上次保存过后一定时间段过后（fs.checkpoint.period参数定义），HDFS的目录树和文件元数据刷到Name...
-
Hadoop伪分布式安装(MapReduce+Yarn)
MapReduce+Yarn部署Yarn:ResourceManager NodeManager1.Yarn部署[root@hadoop02 hadoop]# cp mapred-site.xml.template mapred-site.xml[root@hadoop02 hadoop]# vi mapred-site.xml
-
Hadoop伪分布模式(HDFS)
文档地址: http://hadoop.apache.org/docs/r2.8.2/ 部署方式:1.单机模式standalone 1个java进程2.伪分布模式Pseudo-Distributed Mode 开发|学习 多个java进程3.集群模式Cluster Mode ：生产 多台机器多个java进程伪分布式部署: HDFS1.创建hadoop服务的一个用户[root@hadoop02 softw...
-
CentOS7下部署Hadoop2.X--伪分布模式
CentOS7下部署Hadoop2.X--伪分布模式
-
CentOS6.5下Hadoop的编译
1.检查是否有无正在运行的hadoop.ps –ef|grep hadoop find / -name hadoop2在/opt目录下创建sourcecode software 两个文件夹。 3.上传hadoop的tar包到sourcecode.4.解压hadoop-2.8.1-src.tar.gz。tar -xzvf hadoop-2.8.1-src.tar.gz&nbs...
-
hadoop常用操作命令
dfsadmin命令report各幾點使用狀態 [hdfs@hd3 ~]$ hadoop dfsadmin-reportDEPRECATED: Use of this script to execute hdfs command is deprecated.Instead use the hdfs command for it. Configured Capacity: 768761769165 (715.97 GB)Present Capacity: 739275145216 (688.50 GB)...
-
数据仓库与ODS的区别
我在公司的数据部门工作，每天的订单类数据处理流程大致如下：删除分析数据库的历史订单数据全量更新订单数据到分析数据库。（由于订单核心数据不大，所以经受得起这么折腾）将数据简单清洗，并生成数据集市层分析处理，产出报表。当然还有其他的数据也是这么处理的（比如产品的数据、景区的...
-
zookeeper初探
大数据解决方案里面有一个组件是zookeeper,最开始看到这个的时候，脑海里不由得闪现出一个职业，动物园管理员。打开Apache里面的项目介绍，发现和我想的也差不多，看里面的测试目录确实都是各种动物，得管管了。现在谈到大数据，必然会谈到分布式，zookeeper就是分布式里面的一种解决方案，主要面向分布式应用程...
-
hadoop之 hadoop 2.2.X 弃用的配置属性名称及其替换名称对照表
Deprecated Properties 弃用属性The following table lists the configuration property names that are deprecated in this version of Hadoop, and their replacements.下表列出了在这个版本的Hadoop中被弃用的配置属性名称及其替换。说明： 基于 Hadoop 2.7.4Deprecated...
-
hadoop YARN配置参数剖析—MapReduce相关参数
MapReduce相关配置参数分为两部分，分别是JobHistory Server和应用程序参数，Job History可运行在一个独立节点上，而应用程序参数则可存放在mapred-site.xml中作为默认参数，也可以在提交应用程序时单独指定，注意，如果用户指定了参数，将覆盖掉默认参数。以下这些参数全部在mapred-site.xml中设置。1. &nb...
-
hadoop之 YARN配置参数剖析—RM与NM相关参数
参数均需要在yarn-site.xml中配置：1. ResourceManager相关配置参数（1） yarn.resourcemanager.address参数解释：ResourceManager 对客户端暴露的地址。客户端通过该地址向RM提交应用程序，杀死应用程序等。默认值：${yarn.resourcemanager.hostname}:8032（2） yarn.resou...
-
java之 JVM 内存管理详解
一、JVM结构根据《java虚拟机规范》规定，JVM的基本结构一般如下图所示：从左图可知，JVM主要包括四个部分：1.类加载器（ClassLoader）:在JVM启动时或者在类运行时将需要的class加载到JVM中。（右图表示了从java源文件到JVM的整个过程，可配合理解。 关于类的加载机制，可以参考http://blog.csdn.net/ton...
-
hadoop之 Hadoop 2.x HA 、Federation
HDFS2.0之HA主备NameNode： 1、主NameNode对外提供服务，备NameNode同步主NameNode元数据，以待切换； 2、主NameNode的信息发生变化后，会将信息写到共享数据存储系统中让备NameNode合并到自己的内存中； 3、所有DataNode同时向两个NameNode发送心跳信息（块信息）；两种切换方式： 1、手动...
-
hadoop之 Hadoop1.x和Hadoop2.x构成对比
Hadoop1.x构成： HDFS、MapReduce(资源管理和任务调度)；运行时环境为JobTracker和TaskTracker；Hadoop2.0构成：HDFS、MapReduce/其他计算框架、YARN； 运行时环境为YARN 1、HDFS：HA、NameNode Federation 2、MapReduce/其他计算框架：运行在YARN之上的MapReduce通常称之为MapReduce2.0...
-
hadoop之 hadoop日志存放路径
环境：[root@hadp-master hadoop-2.7.4]# hadoop versionHadoop 2.7.4Hadoop的日志大致可以分为两类：（1）、Hadoop系统服务输出的日志；（2）、Mapreduce程序输出来的日志。这两类的日志存放的路径是不一样的。本文基于Hadoop 2.x版本进行说明的，其中有些地方在Hadoop 1.x中是没有的，请周知。一、Hadoop...
-
zookeeper之 zkServer.sh命令、zkCli.sh命令、四字命令
一、zkServer.sh1、查看 zkServer.sh 帮助信息[root@bigdata05 bin]# ./zkServer.sh helpZooKeeper JMX enabled by defaultUsing config: /bigdata/zookeeper-3.4.10/bin/../conf/zoo.cfgUsage: ./zkServer.sh {start|start-foreground|stop|restart|status|upgrade|print-cmd}2、 启动/关闭 zk服务器[root@...
-
hadoop之 hadoop 机架感知
1.背景Hadoop在设计时考虑到数据的安全与高效，数据文件默认在HDFS上存放三份，存储策略为本地一份，同机架内其它某一节点上一份，不同机架的某一节点上一份。这样如果本地数据损坏，节点可以从同一机架内的相邻节点拿到数据，速度肯定比从跨机架节点上拿数据要快；同时，如果整个机架的网络出现异常，也能保证在其它...
-
Hive之 数据类型
hive 目前支持的数据类型如下：-- 数值类型 Numeric TypesTINYINT (1-byte signed integer, from -128 to 127)SMALLINT (2-byte signed integer, from -32,768 to 32,767)INT/INTEGER (4-byte signed integer, from -2,147,483,648 to 2,147,483,647)BIGINT (8-byte signed integer, from -9,223,372,036,854,775...
-
Hive之 hive的三种使用方式（CLI、HWI、Thrift）
Hive有三种使用方式——CLI命令行，HWI（hie web interface）浏览器 以及 Thrift客户端连接方式。1、hive 命令行模式直接输入/hive/bin/hive的执行程序，或者输入 hive –service cli 用于linux平台命令行查询，查询语句基本跟MySQL查询语句类似2、hive web界面的启...
-
Hive之 hive架构
Hive架构图主要分为以下几个部分：用户接口，包括 命令行CLI，Client，Web界面WUI，JDBC/ODBC接口等中间件：包括thrift接口和JDBC/ODBC的服务端，用于整合Hive和其他程序。元数据metadat...
