-
编辑 删除
【实验】Hadoop-2.7.2+zookeeper-3.4.6完全分布式环境搭建(HDFS、YARN HA)
本次实验是采用Apache hadoop2.7.2+zookeeper-3.4.6 ,具体实验步骤见附件, hadoop-2.7.2+zookeeper-3.4.6完全分布式环境搭建.docx资料:http://pan.baidu.com/s/1c1oed8G密码:zadt参照:http://blog.itpub.net/30089851/viewspace-1987620/
-
编辑 删除
jps报27342 -- process information unavailable
/tmp目录下,删除 hsperfdata_为开头的文件夹。点击(此处)折叠或打开[root@sht-sgmhadoopnn-01 ~]# jps8952 Jps27342 -- process information unavailable28270 -- process information unavailable28237 -- process information unavai...
-
编辑 删除
配置多台机器SSH相互通信信任
1.5台机器执行 ssh-keygen[root@sht-sgmhadoopnn-01 ~]# ssh-keygenGenerating public/private rsa key pair.Enter file in which to save the key (/root/.ssh/id_rsa): Created directory '/root/.ssh'.Enter passphrase (empty for no passphrase): Enter same passphrase again: Your identification has been...
-
编辑 删除
Hadoop常用下载地址
Hadoop视频资料:??链接: http://pan.baidu.com/s/1c1oed8G 密码: zadtHadoop运维全纪录:?http://blog.51cto.com/zt/505
-
编辑 删除
【实验】/etc/hadoop/*和/var/run/cloudera-scm-agent/process/*关系
Hi,Sir? ? Recently,I'm learning CDH5,I'm not very understand that the relation between /etc/hadoop/* directory and /var/run/cloudera-scm-agent/process/* directory.And Idon't kown that who the two directory are in the first ,who last.? ? I kown that the?...
-
编辑 删除
MySQL备份与恢复
为了保障数据的安全，需要定期对数据进行备份。备份的方式有很多种，效果也不一样。一旦数据库中的数据出现了错误，就需要使用备份好的数据进行还原恢复。从而将损失降到最低。下面我们来了解一下MySQL常见的有三种备份恢复方式：1、利用Mysqldump+二进制日志实现备份2、利用LVM快照+二进制日志实现备份3、使...
-
编辑 删除
史上最全的 MSSQL 复习笔记
阅读目录1.什么是SQL语句2.使用sql语句创建数据库和表3.创建数据表4.数据完整性约束5.四中基本字符类型说明6.SQL基本语句7.类型转换函数8.日期函数9.数学函数...
-
编辑 删除
Hadoop管理员认证大纲
模块内容提纲状态关于 Apache Hadoopu 为什么是 Hadoop? u Hadoop 的核心部件 u 基础概念...
-
编辑 删除
Hadoop中NameNode、DataNode、SecondaryNameNode、JobTracker、TaskTracker介绍
在分布式存储和分布式计算方面，Hadoop都是用从/从（Master/Slave）架构。在一个配置完整的集群上，想让Hadoop这头大 象奔跑起来，需要在集群中运行一系列后台(deamon）程序。不同的后台程序扮演不用的角色，这些角色由NameNode、DataNode、 Secondary NameNode、JobTracker、TaskTracker组成。其中NameN...
-
编辑 删除
CDH5 快速入门手册v1.0
0. 体系架构 CM分为Server与Agent两部分及数据库（自带更改过的嵌入Postgresql）。它主要做三件事件： 1. 管理监控集群主机。 2. 统一管理配置。 3. 管理维护Hado...
-
编辑 删除
CDH5之Trash
参考:http://my.oschina.net/cloudcoder/blog/179381 http://www.linuxidc.com/Linux/2012-02/55102.htm 查看CDH 的hdfs的配置,是否开启trash 及 保留时间: 测试: 点击(此处)折叠或打开1.创建test.txt [root@sht-sgmhadoopnn-01 ~]#...
-
编辑 删除
CDH5之Unexpected error.Unable to verify database connection
?在部署好CDH5(HDFS+MapReduce+Zookeeper)后,某一天想要通过web界面来添加Hive或者Oozie服务。?添加Hive组件服务:1.报错:Unexpected error.Unable to verify database connection2.解决办法(曲线救国的办法):?a.先选hive的服务节点,从namenode节点改为cm节点,这样就会在cm节点上创建角色?b.等部...
-
编辑 删除
【实验】Hadoop2.6.0的伪分布安装
hadoop-2.6.0.tar.gz: http://apache.fayea.com/hadoop/common/hadoop-2.6.0/hadoop-2.6.0.tar.gzjdk-7u79-linux-x64.gz: http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html1 设置ip地址 [root@test1 ~]# vi /etc/sysconfig/network-scripts/ifcfg-eth0# Intel Corporation ...
-
编辑 删除
Hadoop 在Windows7操作系统下使用Eclipse来搭建hadoop开发环境
网上有一些都是在Linux下使用安装Eclipse来进行hadoop应用开发，但是大部分Java程序员对linux系统不是那么熟悉，所以需要在windows下开发hadoop程序，所以经过试验，总结了下如何在windows下使用Eclipse来开发hadoop程序代码。 ...
-
编辑 删除
Hadoop 调试第一个mapreduce程序过程详细记录总结
开发环境搭建参考 ：http://blog.itpub.net/26230597/viewspace-1370205/1，程序代码如下： package wc; import java.io.IOException;import java.util...
-
编辑 删除
win7 64 eclipse 导入hadoop2.6.0 源码
Software：链接: http://pan.baidu.com/s/1jHba8To 密码: t8ti一、安装ant、maven（1）首先下载ant，maven的安装包apache-ant-1.9.4-bin.zipapache-maven-3.3.9-bin.zip（2）配置环境变量添加系统环境变量ANT_HOME=D:\software\apache-ant-1.9.4MAVEN_HOME=D:\software\apache-maven-3.3.9Path, 将 "?;%ANT_...
-
编辑 删除
【整理】Hadoop学习资料
Hadoop视频资料: 链接: http://pan.baidu.com/s/1c1oed8G 密码: zadtHadoop运维全纪录: http://blog.51cto.com/zt/505
-
编辑 删除
Hadoop-2.3.0-cdh5.0.1完全分布式环境搭建（NameNode,ResourceManager HA）
1.YARN的基础架构是什么？2.哪一进程防止Yarn早就web攻击？3.Zookeeper主进程是哪个？4.如何下载cdh包？本文搭建Hadoop CDH5.0.1 分布式系统，包括NameNode ，ResourceManger HA，忽略了Web Application Proxy 和Job HistoryServer。 一概述（一）HDFS1）基础架构（1）NameNode（Master）命名空间...
