-
编辑 删除
Hadoop2.7实战v1.0之动态添加、删除DataNode节点及复制策略导向
一.环境 ?IP Host 及安装软件 部署模块 进程 172.16.101.55 sht-sgmhadoopnn-01...
-
编辑 删除
Hadoop 2.x HDFS和YARN的启动方式
一.三种启动方式介绍 方式一：逐一启动（实际生产环境中的启动方式） hadoop-daemon.sh start|stop namenode|datanode| journalnode yarn-daemon.sh start |stop resourcemanager|nodemanager 方式二：分开启动 ...
-
编辑 删除
Hadoop MapReduce之wordcount(词频统计)
1.创建test.log点击(此处)折叠或打开[root@sht-sgmhadoopnn-01 mapreduce]# more /tmp/test.log123abava a aabc我是谁%……...
-
编辑 删除
Hadoop2.x常用端口及定义方法
Hadoop集群的各部分一般都会使用到多个端口，有些是daemon之间进行交互之用，有些是用于RPC访问以及HTTP访问。而随着Hadoop周边组件的增多，完全记不住哪个端口对应哪个应用，特收集记录如此，以便查询。这里包含我们使用到的组件：HDFS, YARN, HBase, Hive, ZooKeeper:组件节点...
-
编辑 删除
Hadoop常见错误2
问题1：在程序的日志中看到，在reduce阶段出现了异常：Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out ，程序里需要打开文件，系统默认为1024，也可以通过ulimit -a查看编辑文件/etc/security/limits.conf 在文件后面添加：# End of file * soft nofile 102400 * hard nofile 40960...
-
编辑 删除
Hadoop2.x 参数汇总
linux参数以下参数最好优化一下：文件描述符ulimit -n用户最大进程 nproc （hbase需要 hbse book）关闭swap分区设置合理的预读取缓冲区Linux的内核的IO调度器JVM参数JVM方面的优化项Hadoop Performance Tuning GuideHadoop参数大全适用版本：4.3.0 主要配置...
-
编辑 删除
部署Hadoop,需和Linux操作系统位数一致
点击(此处)折叠或打开[root@sht-sgmhadoopnn-01 ~]# getconf LONG_BIT64[root@sht-sgmhadoopnn-01 ~]# cd /hadoop/hadoop-2.7.2/lib/native/[root@sht-sgmhadoopnn-01 native]# lltotal 4924-rw-r--r-- 1 10011 10011 138...
-
编辑 删除
Hadoop常见错误1
1 关于 Warning: $HADOOP_HOME is deprecated. hadoop 1.0.0版本，安装完之后敲入hadoop命令时，老是提示这个警告： Warning: $HADOOP_HOME is deprecated. 经查hadoop-1.0.0/bin/hadoop脚本和"hadoop-config.sh"脚本，发现脚本中对HADOOP_HOME的环境变量设置做了判断，笔者的...
-
编辑 删除
Hadoop资料整理导向
一、Hadoop快速入门分布式计算开源框架Hadoop_入门实践一篇不错的hadoop介绍文章用 Hadoop 进行分布式数据处理---- 入门Hadoop入门实验Hadoop入门一图解说Hadoop的发展历程讨论：Hadoop社区与中国云计算开源展望用Hadoop进行分布式数据处理入门篇Hadoop入门简介hadoop入门语录...
-
编辑 删除
【实验】Hadoop-2.7.2+zookeeper-3.4.6完全分布式环境搭建(HDFS、YARN HA)
本次实验是采用Apache hadoop2.7.2+zookeeper-3.4.6 ,具体实验步骤见附件, hadoop-2.7.2+zookeeper-3.4.6完全分布式环境搭建.docx资料:http://pan.baidu.com/s/1c1oed8G密码:zadt参照:http://blog.itpub.net/30089851/viewspace-1987620/
-
编辑 删除
jps报27342 -- process information unavailable
/tmp目录下,删除 hsperfdata_为开头的文件夹。点击(此处)折叠或打开[root@sht-sgmhadoopnn-01 ~]# jps8952 Jps27342 -- process information unavailable28270 -- process information unavailable28237 -- process information unavai...
-
编辑 删除
配置多台机器SSH相互通信信任
1.5台机器执行 ssh-keygen[root@sht-sgmhadoopnn-01 ~]# ssh-keygenGenerating public/private rsa key pair.Enter file in which to save the key (/root/.ssh/id_rsa): Created directory '/root/.ssh'.Enter passphrase (empty for no passphrase): Enter same passphrase again: Your identification has been...
-
编辑 删除
Hadoop常用下载地址
Hadoop视频资料:??链接: http://pan.baidu.com/s/1c1oed8G 密码: zadtHadoop运维全纪录:?http://blog.51cto.com/zt/505
-
编辑 删除
【实验】/etc/hadoop/*和/var/run/cloudera-scm-agent/process/*关系
Hi,Sir? ? Recently,I'm learning CDH5,I'm not very understand that the relation between /etc/hadoop/* directory and /var/run/cloudera-scm-agent/process/* directory.And Idon't kown that who the two directory are in the first ,who last.? ? I kown that the?...
-
编辑 删除
MySQL备份与恢复
为了保障数据的安全，需要定期对数据进行备份。备份的方式有很多种，效果也不一样。一旦数据库中的数据出现了错误，就需要使用备份好的数据进行还原恢复。从而将损失降到最低。下面我们来了解一下MySQL常见的有三种备份恢复方式：1、利用Mysqldump+二进制日志实现备份2、利用LVM快照+二进制日志实现备份3、使...
-
编辑 删除
史上最全的 MSSQL 复习笔记
阅读目录1.什么是SQL语句2.使用sql语句创建数据库和表3.创建数据表4.数据完整性约束5.四中基本字符类型说明6.SQL基本语句7.类型转换函数8.日期函数9.数学函数...
-
编辑 删除
Hadoop管理员认证大纲
模块内容提纲状态关于 Apache Hadoopu 为什么是 Hadoop? u Hadoop 的核心部件 u 基础概念...
-
编辑 删除
Hadoop中NameNode、DataNode、SecondaryNameNode、JobTracker、TaskTracker介绍
在分布式存储和分布式计算方面，Hadoop都是用从/从（Master/Slave）架构。在一个配置完整的集群上，想让Hadoop这头大 象奔跑起来，需要在集群中运行一系列后台(deamon）程序。不同的后台程序扮演不用的角色，这些角色由NameNode、DataNode、 Secondary NameNode、JobTracker、TaskTracker组成。其中NameN...
-
编辑 删除
CDH5 快速入门手册v1.0
0. 体系架构 CM分为Server与Agent两部分及数据库（自带更改过的嵌入Postgresql）。它主要做三件事件： 1. 管理监控集群主机。 2. 统一管理配置。 3. 管理维护Hado...
-
编辑 删除
CDH5之Trash
参考:http://my.oschina.net/cloudcoder/blog/179381 http://www.linuxidc.com/Linux/2012-02/55102.htm 查看CDH 的hdfs的配置,是否开启trash 及 保留时间: 测试: 点击(此处)折叠或打开1.创建test.txt [root@sht-sgmhadoopnn-01 ~]#...
