-
Linux下安装Hadoop教程
目的：此教程旨在引导未接触Hadoop的新手入门只用，高手请飘过。 环境： CentOS release 5.6 (Final) Linux Search 2.6.18-238.el5xen #1 SMP Thu Jan 13 16:41:45 EST 2011 x86_64 x86_64 x86_64 GNU/Linux http://labs.mop.com/apache-mirror/hadoop/common/hadoop-2.0.2-alpha/ hadoop-2.0.2-alpha java version "1.7.0" Java(TM) SE Runtime Environment (build 1.7.0-b147) Java HotSpot(TM) 64-Bit Server VM (build 21.0-b17, mixed mode) 初学者可以选择三台实体机子做实验，一台做NameNode，JobTracker，另外两台做DataNo
-
Hadoop2.7实战v1.0之Hive-2.0.0+MySQL本地模式安装
已有环境:Hadoop-2.7.2+zookeeper-3.4.6完全分布式环境搭建(HDFS、YARN HA) 1.Install MySQL5.6.23 2.Create db and user sht-sgmhadoopnn-01.telenav.cn:mysqladmin:/usr/local/mysql:>mysql -uroot -p mysql> create database hive; Query OK, 1 row affected (0.04 sec) mysql> create user 'hive' identified by...
-
Hive和HBase区别
1. 两者分别是什么？ Apache Hive是一个构建在Hadoop基础设施之上的数据仓库。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQL语言，这种语言最终被转化为Map/Reduce. 虽然Hive提供了SQL查询功能，但是Hive不能够进行交互查询--因为它只能够在Haoop上批量的执行Hadoop。 &...
-
Hadoop和Spark有啥区别
谈到大数据，相信大家对Hadoop和Apache Spark这两个名字并不陌生。但我们往往对它们的理解只是提留在字面上，并没有对它们进行深入的思考，下面不妨跟我一块看下它们究竟有什么异同。解决问题的层面不一样首先，Hadoop和Apache Spark两者都是大数据框架，但是各自存在的目的不尽相同。Hadoop实质上更多是一个...
-
Mapreduce程序WordCount单词计数详解
1. 环境介绍：Centos6.4,Hadoop-1.1.2,eclipse8.52. 刚刚接触mapreduce编程的时候总是不明白它是如何进行分割，如何分组，如何shuffer。尤其会对map函数，reduce函数中的参数类型感到疑惑。 因此自己整理了一下自己对mapreduce程序经典案例单词计数的理解。3. WordCount单词计数完...
-
Hbase shell 常用命令1
下面我们看看HBase Shell的一些基本操作命令，我列出了几个常用的HBase Shell命令，如下：名称命令表达式创建表create '表名称', '列名称1','列名称2','列名称N'...
-
Hadoop启动时出现Warning: $HADOOP_HOME is deprecated.警告。
启动Hadoop时出现Warning: $HADOOP_HOME is deprecated.警告。
-
分析从管理员角度对Hadoop进行调优
Hadoop管理员负责为用户作业提供一个高效的运行环境。管理员需要从全局出发，通过调整一些关键参数值提高系统的吞吐率和性能。总体上看，管理员需从硬件选择、操作系统参数调优、JVM参数调优和Hadoop参数调优等四个方面人手，为Hadoop用户提供一个高效的作业运行环境。1.硬件选择Hadoop自身架构的基本特点决定了其硬...
-
Hadoop2.7实战v1.0之HBase1.1.5 HA分布式搭建
1.已有环境:Hadoop-2.7.2+zookeeper-3.4.6完全分布式环境搭建(HDFS、YARN HA) 2.下载解压hbase-1.2.0-bin.tar.gz和设置环境HBASE_HOME变量点击(此处)折叠或打开[root@sht-sgmhadoopnn-01 tmp]# wget http://archive.apache.org/dist/hbase/1.2.0/hbase-1.2.0-bin.tar.gz ...
-
Hadoop和Spark有啥区别
谈到大数据，相信大家对Hadoop和Apache Spark这两个名字并不陌生。但我们往往对它们的理解只是提留在字面上，并没有对它们进行深入的思考，下面不妨跟我一块看下它们究竟有什么异同。解决问题的层面不一样首先，Hadoop和Apache Spark两者都是大数据框架，但是各自存在的目的不尽相同。Hadoop实质上更多是一个...
-
HDFS－Architecture剖析
1.概述 从HDFS的应用层面来看，我们可以非常容易的使用其API来操作HDFS，实现目录的创建、删除，文件的上传下载、删除、追加（Hadoop2.x版本以后开始支持）等功能。然而仅仅局限与代码层面是不够的，了解其实现的具体细节和过程是很有必要的，本文笔者给大家从以下几个方面进行剖析：Create...
-
Hadoop中的Shuffle详解
详细的了解Shuffle过程，能更好的对hadoop集群进行优化。 MapReduce 框架的核心步骤主要分两部分：Map 和Reduce。当你向MapReduce 框架提交一个计算作业时，它会首先把计算作业拆分成若干个Map 任务，然后分配到不同的节点上去...
-
CentOS 6.4安装Hadoop-2.5.1完全分布式集群
环境介绍： 在两台装有CentOS 6.4（32位）的服务器上安装Hadoop-2.5.1分布式集群（2台机器，主要试验用）。 1．修改主机名和/etc/hosts文件 1）修改主机名（非必要） vi /etc/sysconfig/networkHOSTNAME=XXX 重启后生效。 2）/etc/hosts是ip地址和其对应主机名文件，使机器知道ip和主机名对应关...
-
Hadoop安装配置：使用cloudrea
使用cloudrea的rpm源，安装Hadoop环境为：192.168.255.132 test01.linuxjcq.com =》master192.168.255.133 test02.linuxjcq.com =》slave01192.168.255.134 test03.linuxjcq.com =》slave02 每台主机中的/etc/hosts文件有以上配置和基本的java环境设置，使用的java包为openjdk1. 安装cloudreawget http://arch...
-
CentOS 7安装Hadoop2.7完整步骤
总体思路，准备主从服务器，配置主服务器可以无密码SSH登录从服务器，解压安装JDK，解压安装Hadoop，配置hdfs、mapreduce等主从关系。 1、环境，3台CentOS 7，64位，Hadoop2.7需要64位Linux，CentOS7 Minimal的ISO文件只有600M，操作系统十几分钟就可以安装完成，Master 192.168.0.182 Slave1 192.168.0.183&...
-
Hadoop 2.0 NameNode HA和Federation实践
一、背景 天云趋势在2012年下半年开始为某大型国有银行的历史交易数据备份及查询提供基于Hadoop的技术解决方案，由于行业的特殊性，客户对服务的可用性有着非常高的要求，而HDFS长久以来都被单点故障的问题所困扰，直到Apache Hadoop在2012年5月发布了2.0的alpha版本，其中MRv2还很不成熟，可HDFS的新功能已经基本可...
-
Cloudera Certified Administrator for Apache Hadoop(CCAH认证)
Exam Sections and Blueprint1. HDFS (17%)Describe the function of HDFS daemonsDescribe the normal operation of an Apache Hadoop cluster, both in data storage and in data processingIdentify current features of computing systems that motivate a system like Apache Hadoop...
-
Hadoop2.7实战v1.0之动态添加DataNode和NodeManager节点(不修改dfs.replication)
0.添加大文件到hdfs系统中去,是为了后期的动态添加datanode的机器，datanode机器的数据量不均衡，为了模拟均衡实验[root@sht-sgmhadoopnn-01 ~]# hadoop fs -put /root/oracle-j2sdk1.7-1.7.0+update67-1.x86_64.rpm /testdir[root@sht-sgmhadoopnn-01 ~]# hadoop fs -put /root/012_HDFS.avi /testdir[root@sht-sgmha...
-
Hadoop2.7实战v1.0之start-balancer.sh与hdfs balancer数据均衡
Hadoop2.7v1.0实战之start-balancer.sh与hdfs balancer数据均衡 适用场景： a.当动态添加或者删除集群的数据节点，必然会使各节点的数据不均衡 a.当正常维护...
-
CDH5之Balancer难以在快速增长的集群上平衡大量的数据
背景：公司在线上使用了CDH5集群，一开始由于疏忽，忘记了在计划任务中定期执行Balancer来平衡各节点的数据。后来，在引入大量的Job之后，数据增长非常迅猛，有很多节点开始出现利用率超过99.9%的情况，部分Job甚至开始Failed。于是我们便执行Balancer来清理数据，结果发现有26T的数据需要平衡，而Balancer每次只移...
