-
编辑 删除
重新编译hadoop-2.7.2-src的native以支持Snappy解压压缩库
1. 下载所需要的源码包 snappy-1.1.1.tar.gz、protobuf-2.5.0.tar.gz、hadoop-2.7.2-src.tar.gz [root@sht-sgmhadoopnn-01 ~]# cd /hadoop [root@sht-sgmhadoopnn-01 hadoop]# mkdir native_snappy [root@sht-sgmhadoopnn-01 hadoop]# cd native_snappy [root@sht-sgmhadoopnn-01 native_snappy]# wget http://pkgs.f...
-
编辑 删除
Hadoop2.7实战v1.0之Hive-2.0.0的Hiveserver2服务和beeline远程调试
0.环境Hadoop2.7实战v1.0之Hive-2.0.0+MySQL远程模式安装: http://blog.itpub.net/30089851/viewspace-2082805/机器 hadoop-01:192.168.33.011.开启metastore 和 hiveserver2服务[root@sht-sgmhadoopnn-01 bin]# hive --service metastore &[1] 31092[root@hadoop-01 bin]# hive --service hiveserver2 &[root@had...
-
编辑 删除
MapReduce1和Yarn的工作机制
Hadoop中的MapReduce的工作机制分为两种：MapReduce 1 也就是Hadoop 2.0之前的工作机制YARNMapReduce 1构成MapReduce 1最主要的其实就是jobtracker和tasktracker：jobtracker，用来协调作业的运行。它也是一个Java程序，主类是JobTracker。tasktracker，用来运行作业划分后的...
-
编辑 删除
Hadoop2.7实战v1.0之Eclipse+Hive2.0.0的JDBC案例(最详细搭建)
hive,eclipse,hiveserver2,hadoop,jdbc
-
编辑 删除
Hadoop2.7实战v1.0之JVM参数调优
Hadoop正式上线之前，首先要调整的是各个进程的JVM参数设置，特别是对于HDFS Namenode来说。HDFS的JVM参数配置文件: hadoop-env.sh Namenode进程的JVM配置: HADOOP_NAMENODE_OPTS Datanode进程的JVM配置: HADOOP_DATANODE_OPTS client命令行的JVM配置: HADOOP_CLIENT_OPTS对于Namenode而言, 由于元数据存...
-
编辑 删除
MapReduce工作原理图文详解
1.MapReduce作业运行流程下面贴出我用visio2010画出的流程示意图： 流程分析：1.在客户端启动一个作业。2.向JobTracker请求一个Job ID。3.将运行作业所需要的资源文件复制到HDFS上，包括MapReduce程序打包的JAR文件、配置文件和客户端计算所得的输入划分信息。...
-
编辑 删除
Hadoop2.7实战v1.0之Linux参数调优
hadoop,tuning,调优,cdh4,cdh5
-
编辑 删除
Hadoop2.7实战v1.0之Hive-2.0.0+MySQL远程模式安装
hadoop,hive
-
编辑 删除
Hadoop2.7实战v1.0之Hive-2.0.0+MySQL本地模式安装
已有环境:Hadoop-2.7.2+zookeeper-3.4.6完全分布式环境搭建(HDFS、YARN HA) 1.Install MySQL5.6.23 2.Create db and user sht-sgmhadoopnn-01.telenav.cn:mysqladmin:/usr/local/mysql:>mysql -uroot -p mysql> create database hive; Query OK, 1 row affected (0.04 sec) mysql> create user 'hive' identified by...
-
编辑 删除
Hive和HBase区别
1. 两者分别是什么？ Apache Hive是一个构建在Hadoop基础设施之上的数据仓库。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQL语言，这种语言最终被转化为Map/Reduce. 虽然Hive提供了SQL查询功能，但是Hive不能够进行交互查询--因为它只能够在Haoop上批量的执行Hadoop。 &...
-
编辑 删除
Hbase shell 常用命令1
下面我们看看HBase Shell的一些基本操作命令，我列出了几个常用的HBase Shell命令，如下：名称命令表达式创建表create '表名称', '列名称1','列名称2','列名称N'...
-
编辑 删除
分析从管理员角度对Hadoop进行调优
Hadoop管理员负责为用户作业提供一个高效的运行环境。管理员需要从全局出发，通过调整一些关键参数值提高系统的吞吐率和性能。总体上看，管理员需从硬件选择、操作系统参数调优、JVM参数调优和Hadoop参数调优等四个方面人手，为Hadoop用户提供一个高效的作业运行环境。1.硬件选择Hadoop自身架构的基本特点决定了其硬...
-
编辑 删除
hadoop 集群 跨 版本数据迁移
忙着做hadoop 1.x 到 2.x 的数据迁移. hadoop 系统提供 了一个 命令 distcp 可以跨版本 迁移数据. 具体的命令格式: 在新的hadoop 版本上执行 . 两个集群间的所有的主机hosts 文件里要把对方的集群节点的主机名配置上去. 因为是mapreduce 作业,不然会job 失败. 在 ...
-
编辑 删除
hadoop 2.7.1 jdk 1.7 时区问题以及解决方案.
安装搭建hadoop 2.7.1 不在支持jdk 1.6 了, 采用了jdk1.7.0_45 .在系统搭建后后出现一个奇怪的现象. hadoop 日志, hhbase 等这些java 应用的日志无一例外的都采用了UTC 时间,而不是东8区.[code]2015-11-03 06:24:16,129 INFO [master/hado...
-
编辑 删除
Hadoop2.7实战v1.0之HBase1.1.5 HA分布式搭建
1.已有环境:Hadoop-2.7.2+zookeeper-3.4.6完全分布式环境搭建(HDFS、YARN HA) 2.下载解压hbase-1.2.0-bin.tar.gz和设置环境HBASE_HOME变量点击(此处)折叠或打开[root@sht-sgmhadoopnn-01 tmp]# wget http://archive.apache.org/dist/hbase/1.2.0/hbase-1.2.0-bin.tar.gz ...
-
编辑 删除
HDFS－Architecture剖析
1.概述 从HDFS的应用层面来看，我们可以非常容易的使用其API来操作HDFS，实现目录的创建、删除，文件的上传下载、删除、追加（Hadoop2.x版本以后开始支持）等功能。然而仅仅局限与代码层面是不够的，了解其实现的具体细节和过程是很有必要的，本文笔者给大家从以下几个方面进行剖析：Create...
-
编辑 删除
Hadoop 2.0 NameNode HA和Federation实践
一、背景 天云趋势在2012年下半年开始为某大型国有银行的历史交易数据备份及查询提供基于Hadoop的技术解决方案，由于行业的特殊性，客户对服务的可用性有着非常高的要求，而HDFS长久以来都被单点故障的问题所困扰，直到Apache Hadoop在2012年5月发布了2.0的alpha版本，其中MRv2还很不成熟，可HDFS的新功能已经基本可...
-
编辑 删除
Hadoop2.7实战v1.0之动态添加DataNode和NodeManager节点(不修改dfs.replication)
0.添加大文件到hdfs系统中去,是为了后期的动态添加datanode的机器，datanode机器的数据量不均衡，为了模拟均衡实验[root@sht-sgmhadoopnn-01 ~]# hadoop fs -put /root/oracle-j2sdk1.7-1.7.0+update67-1.x86_64.rpm /testdir[root@sht-sgmhadoopnn-01 ~]# hadoop fs -put /root/012_HDFS.avi /testdir[root@sht-sgmha...
-
编辑 删除
Hadoop2.7实战v1.0之start-balancer.sh与hdfs balancer数据均衡
Hadoop2.7v1.0实战之start-balancer.sh与hdfs balancer数据均衡 适用场景： a.当动态添加或者删除集群的数据节点，必然会使各节点的数据不均衡 a.当正常维护...
-
编辑 删除
Hadoop2.7实战v1.0之动态删除DataNode(含NodeManager)节点(修改dfs.replication)
动态删除DataNode(含NodeManager)节点(修改dfs.replication)极端不建议直接在slave上通过：hadoop-daemon.sh stop datanode 命令关掉datanode，这会导致hdfs中出现missing block1.ActiveNameNode修改hdfs-site.xml文件点击(此处)折叠或打开[root@sht-sgmh...
