-
编辑 删除
MapReduce工作原理图文详解
1.MapReduce作业运行流程下面贴出我用visio2010画出的流程示意图： 流程分析：1.在客户端启动一个作业。2.向JobTracker请求一个Job ID。3.将运行作业所需要的资源文件复制到HDFS上，包括MapReduce程序打包的JAR文件、配置文件和客户端计算所得的输入划分信息。...
-
编辑 删除
Cloudera编译好的各种hadoop,oozie等组件压缩包URL
cloudera
-
编辑 删除
CCAH-CCA-500-4题:Where are Hadoop task log files stored?
CCAH,cca-500,cdh
-
编辑 删除
CCAH-CCA-500-3题:Table schemas in Hive are?
CCAH,hive,schematool
-
编辑 删除
Hadoop2.7实战v1.0之Linux参数调优
hadoop,tuning,调优,cdh4,cdh5
-
编辑 删除
CCAH-CCA-500-2题:what is the maximum number of NameNode daemons.....
ccah,cca-500
-
编辑 删除
CCAH-CCA-500-1题:What is the maximum amount of virtual memory allocated......
CCAH,CCA-500
-
编辑 删除
alternatives命令用法
alternatives是Linux下的一个功能强大的命令。只能在root权限下执行。如系统中有几个命令功能十分类似，却又不能随意删除，那么可以用 alternatives 来指定一个全局的设置。alternatives常用于同一个系统中安装同一软件的多个版本。比如为了开发需要，我需要安装JDK1.4.2，同时还需要JDK1.6.10，我怎么样才能忽略安装路径...
-
编辑 删除
Hadoop2.7实战v1.0之Hive-2.0.0+MySQL远程模式安装
hadoop,hive
-
编辑 删除
CDH5之Found class jline.Terminal, but interface was expected
一.背景: 公司CDH5集群已经部署完毕,需要通过web界面添加hive组件,一般来说通过web界面来添加,会报两个错误,一个是配置hive的元数据的/usr/share/java/mysql-connector-java.jar驱动包,还有一个错误就是如图: 二.错误明细: ++ exec /opt/cloudera/parcels/CDH/lib/hadoop/bin/hadoop j...
-
编辑 删除
CDH5之Exhausted available authentication methods
1.机器环境:前几天,要在 阿里环境装两套CDH的产品环境,其中一套CDH5在安装过程就抛错"Exhausted available authentication methods" 其中的抛错的机器是运维从stage环境机器上,copy的镜像做的新的机器。2.在哪步出错: 在安装CDH5过程中，输完hadoop用户和密码的下一步(集群安装)，web开始刷新数据源抛错: Exhaust...
-
编辑 删除
Hadoop2.7实战v1.0之Hive-2.0.0+MySQL本地模式安装
已有环境:Hadoop-2.7.2+zookeeper-3.4.6完全分布式环境搭建(HDFS、YARN HA) 1.Install MySQL5.6.23 2.Create db and user sht-sgmhadoopnn-01.telenav.cn:mysqladmin:/usr/local/mysql:>mysql -uroot -p mysql> create database hive; Query OK, 1 row affected (0.04 sec) mysql> create user 'hive' identified by...
-
编辑 删除
Hive和HBase区别
1. 两者分别是什么？ Apache Hive是一个构建在Hadoop基础设施之上的数据仓库。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQL语言，这种语言最终被转化为Map/Reduce. 虽然Hive提供了SQL查询功能，但是Hive不能够进行交互查询--因为它只能够在Haoop上批量的执行Hadoop。 &...
-
编辑 删除
Hbase shell 常用命令1
下面我们看看HBase Shell的一些基本操作命令，我列出了几个常用的HBase Shell命令，如下：名称命令表达式创建表create '表名称', '列名称1','列名称2','列名称N'...
-
编辑 删除
分析从管理员角度对Hadoop进行调优
Hadoop管理员负责为用户作业提供一个高效的运行环境。管理员需要从全局出发，通过调整一些关键参数值提高系统的吞吐率和性能。总体上看，管理员需从硬件选择、操作系统参数调优、JVM参数调优和Hadoop参数调优等四个方面人手，为Hadoop用户提供一个高效的作业运行环境。1.硬件选择Hadoop自身架构的基本特点决定了其硬...
-
编辑 删除
CDH集群调优：内存、Vcores和DRF
吐槽最近“闲”来无事，通过CM把vcores使用情况调出来看了一眼，发现不论集群中有多少个任务在跑，已分配的VCores始终不会超过120。而集群的可用Vcores是360（15台机器×24虚拟核）。这就相当于CPU资源只用到了1/3，作为一个半强迫症患者绝对不能容忍这样的事情发生。分析的过程不表，其实很简单就是几个参数的问...
-
编辑 删除
hadoop 集群 跨 版本数据迁移
忙着做hadoop 1.x 到 2.x 的数据迁移. hadoop 系统提供 了一个 命令 distcp 可以跨版本 迁移数据. 具体的命令格式: 在新的hadoop 版本上执行 . 两个集群间的所有的主机hosts 文件里要把对方的集群节点的主机名配置上去. 因为是mapreduce 作业,不然会job 失败. 在 ...
-
编辑 删除
hadoop 2.7.1 jdk 1.7 时区问题以及解决方案.
安装搭建hadoop 2.7.1 不在支持jdk 1.6 了, 采用了jdk1.7.0_45 .在系统搭建后后出现一个奇怪的现象. hadoop 日志, hhbase 等这些java 应用的日志无一例外的都采用了UTC 时间,而不是东8区.[code]2015-11-03 06:24:16,129 INFO [master/hado...
-
编辑 删除
Hadoop2.7实战v1.0之HBase1.1.5 HA分布式搭建
1.已有环境:Hadoop-2.7.2+zookeeper-3.4.6完全分布式环境搭建(HDFS、YARN HA) 2.下载解压hbase-1.2.0-bin.tar.gz和设置环境HBASE_HOME变量点击(此处)折叠或打开[root@sht-sgmhadoopnn-01 tmp]# wget http://archive.apache.org/dist/hbase/1.2.0/hbase-1.2.0-bin.tar.gz ...
-
编辑 删除
HDFS－Architecture剖析
1.概述 从HDFS的应用层面来看，我们可以非常容易的使用其API来操作HDFS，实现目录的创建、删除，文件的上传下载、删除、追加（Hadoop2.x版本以后开始支持）等功能。然而仅仅局限与代码层面是不够的，了解其实现的具体细节和过程是很有必要的，本文笔者给大家从以下几个方面进行剖析：Create...
