-
【实验】Hadoop-2.7.2+zookeeper-3.4.6完全分布式环境搭建(HDFS、YARN HA)
本次实验是采用Apache hadoop2.7.2+zookeeper-3.4.6 ,具体实验步骤见附件, hadoop-2.7.2+zookeeper-3.4.6完全分布式环境搭建.docx资料:http://pan.baidu.com/s/1c1oed8G密码:zadt参照:http://blog.itpub.net/30089851/viewspace-1987620/
-
jps报27342 -- process information unavailable
/tmp目录下,删除 hsperfdata_为开头的文件夹。点击(此处)折叠或打开[root@sht-sgmhadoopnn-01 ~]# jps8952 Jps27342 -- process information unavailable28270 -- process information unavailable28237 -- process information unavai...
-
Hadoop常用下载地址
Hadoop视频资料:??链接: http://pan.baidu.com/s/1c1oed8G 密码: zadtHadoop运维全纪录:?http://blog.51cto.com/zt/505
-
【实验】/etc/hadoop/*和/var/run/cloudera-scm-agent/process/*关系
Hi,Sir? ? Recently,I'm learning CDH5,I'm not very understand that the relation between /etc/hadoop/* directory and /var/run/cloudera-scm-agent/process/* directory.And Idon't kown that who the two directory are in the first ,who last.? ? I kown that the?...
-
Hadoop管理员认证大纲
模块内容提纲状态关于 Apache Hadoopu 为什么是 Hadoop? u Hadoop 的核心部件 u 基础概念...
-
Hadoop中NameNode、DataNode、SecondaryNameNode、JobTracker、TaskTracker介绍
在分布式存储和分布式计算方面，Hadoop都是用从/从（Master/Slave）架构。在一个配置完整的集群上，想让Hadoop这头大 象奔跑起来，需要在集群中运行一系列后台(deamon）程序。不同的后台程序扮演不用的角色，这些角色由NameNode、DataNode、 Secondary NameNode、JobTracker、TaskTracker组成。其中NameN...
-
CDH5 快速入门手册v1.0
0. 体系架构 CM分为Server与Agent两部分及数据库（自带更改过的嵌入Postgresql）。它主要做三件事件： 1. 管理监控集群主机。 2. 统一管理配置。 3. 管理维护Hado...
-
CDH5之Trash
参考:http://my.oschina.net/cloudcoder/blog/179381 http://www.linuxidc.com/Linux/2012-02/55102.htm 查看CDH 的hdfs的配置,是否开启trash 及 保留时间: 测试: 点击(此处)折叠或打开1.创建test.txt [root@sht-sgmhadoopnn-01 ~]#...
-
Redhat 6.4-x64 编译 Hadoop-2.7.1并分布式安装
文章中所用到的软件百度网盘，方便下载http://pan.baidu.com/s/1kTrNXL91.系统环境```[root@master ~]# uname -aLinux master 2.6.32-358.el6.x86_64 #1 SMP Tue Jan 29 11:47:41 EST 2013 x86_64 x86_64 x86_64 GNU/Linux或者[root@master /]# cat /etc/redhat-releaseRed Hat Enterprise Linux Server release...
-
CDH5之Unexpected error.Unable to verify database connection
?在部署好CDH5(HDFS+MapReduce+Zookeeper)后,某一天想要通过web界面来添加Hive或者Oozie服务。?添加Hive组件服务:1.报错:Unexpected error.Unable to verify database connection2.解决办法(曲线救国的办法):?a.先选hive的服务节点,从namenode节点改为cm节点,这样就会在cm节点上创建角色?b.等部...
-
【实验】Hadoop2.6.0的伪分布安装
hadoop-2.6.0.tar.gz: http://apache.fayea.com/hadoop/common/hadoop-2.6.0/hadoop-2.6.0.tar.gzjdk-7u79-linux-x64.gz: http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html1 设置ip地址 [root@test1 ~]# vi /etc/sysconfig/network-scripts/ifcfg-eth0# Intel Corporation ...
-
Hadoop 在Windows7操作系统下使用Eclipse来搭建hadoop开发环境
网上有一些都是在Linux下使用安装Eclipse来进行hadoop应用开发，但是大部分Java程序员对linux系统不是那么熟悉，所以需要在windows下开发hadoop程序，所以经过试验，总结了下如何在windows下使用Eclipse来开发hadoop程序代码。 ...
-
Hadoop 调试第一个mapreduce程序过程详细记录总结
开发环境搭建参考 ：http://blog.itpub.net/26230597/viewspace-1370205/1，程序代码如下： package wc; import java.io.IOException;import java.util...
-
win7 64 eclipse 导入hadoop2.6.0 源码
Software：链接: http://pan.baidu.com/s/1jHba8To 密码: t8ti一、安装ant、maven（1）首先下载ant，maven的安装包apache-ant-1.9.4-bin.zipapache-maven-3.3.9-bin.zip（2）配置环境变量添加系统环境变量ANT_HOME=D:\software\apache-ant-1.9.4MAVEN_HOME=D:\software\apache-maven-3.3.9Path, 将 "?;%ANT_...
-
【整理】Hadoop学习资料
Hadoop视频资料: 链接: http://pan.baidu.com/s/1c1oed8G 密码: zadtHadoop运维全纪录: http://blog.51cto.com/zt/505
-
Hadoop-2.3.0-cdh5.0.1完全分布式环境搭建（NameNode,ResourceManager HA）
1.YARN的基础架构是什么？2.哪一进程防止Yarn早就web攻击？3.Zookeeper主进程是哪个？4.如何下载cdh包？本文搭建Hadoop CDH5.0.1 分布式系统，包括NameNode ，ResourceManger HA，忽略了Web Application Proxy 和Job HistoryServer。 一概述（一）HDFS1）基础架构（1）NameNode（Master）命名空间...
-
hadoop集群默认配置和常用配置
转自：http://www.cnblogs.com/ggjucheng/archive/2012/04/17/2454590.html配置hadoop，主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三个配置文件，默认下来，这些配置文件都是空的，所以很难知道这些配置文件有哪些配置可以生效，上网找的配置可能因为各个hadoop版本不同，导致无法生效。浏览更多的配置，有两...
-
大数据以及Hadoop相关概念介绍
一、大数据的基本概念1.1、什么是大数据 大数据指的就是要处理的数据是TB级别以上的数据。大数据是以TB级别起步的。在计算机当中，存放到硬盘上面的文件都会占用一定的存储空间，例如： 文件占用的存储空间代表的就是该文件的大小，在计算机当中，文件的大小可以采用...
-
[ERROR] Terminal initialization failed; falling back to unsupported
启动hive报错[ERROR] Terminal initialization failed; falling back to unsupported启动hive时报如下的错误[ERROR] Terminal initialization failed; falling back to unsupported解决办法：进入到hadoop安装目录下的share/hadoop/yarn/lib下删除 jline的jar文件。再启动hive即可...
-
msck repair命令 修复表分区
msck repair table 表名； 该命令会把没添加进partition的数据，都增加对应的partition。同步源数据信息metadata。场景： 由于一个数据量较大的表使用的是textfield格式存储，需要将此表转换成rcfile格式存储。step1. 使用 hadoop fs -mv hdfsdir1 hdfsdir...
