ITPub博客

hadoop中的配置属性非常多，这里只讨论关键属性，它们分散在3个文件中：core-site.xml、hdfs-site.xml、mapred-site.xml。1. core-site.xml<configuration>  <property>    <name>fs.default.name</name>    <value>hdfs://Route:9000</value>    <final>true</final>&n...

1. hadoop日志目录默认存放在hadoop安装目录下的logs文件夹中，也可以通过hadoop-env.sh中的HADOOP_LOG_DIR变量来修改。一般建议修改默认值，使之独立于hadoop安装目录，这样便于以后的升级。hadoop日志文件的名称格式为“hadoop-用户名-守护进程名-本地主机名.log”。例如“hadoop-tianyc-namenode-Route.log”...

1. 内存hadoop为各个守护进程（namenode,secondarynamenode,jobtracker,datanode,tasktracker）统一分配的内存在hadoop-env.sh中设置，参数为HADOOP_HEAPSIZE，默认为1000M。大部分情况下，这个统一设置的值可能并不适合。例如对于namenode节点，1000M的内存只能存储几百万个文件的数据块的引用。如果我想单独设...

1. 配置文件列表如下：[tianyc@Route conf]$ pwd/home/tianyc/hadoop-1.0.4/conf[tianyc@Route conf]$ ll总用量 76-rw-rw-r--. 1 tianyc NEU 7457 3月   6 10:38 capacity-scheduler.xml-rw-rw-r--. 1 tianyc NEU  535 3月   6 10:38 configuration.xsl-rw-rw-r--. 1 tianyc NEU&nbsp...

首先下载对应linux的rsync软件：http://rsync.samba.org/download.html本例中，下载rsync-3.1.1-1.el5.rfx.i386.rpm   22-Jun-2014 21:58  420K  RHEL5 and CentOS-5 x86 32bit服务端配置[root@master software]#pwd/root/software[root@master software]#ll… …-rwxr--r--1 root ...

 1、列出所有Hadoop Shell支持的命令  $ bin/hadoop fs -help2、显示关于某个命令的详细信息  $ bin/hadoop fs -help command-name3、用户可使用以下命令在指定路径下查看历史日志汇总  $ bin/hadoop job -history output-dir这条命令会显示作业的细节信息，失败和终止的任务细节。4、关...

一、用户命令1、archive命令(1).什么是Hadoop archives?Hadoop archives是特殊的档案格式。一个Hadoop archive对应一个文件系统目录。 Hadoop archive的扩展名是*.har。Hadoop archive包含元数据(形式是_index和_masterindx)和数据文件(part-*)。_index文件包含了档案中的文件的文件名和位置信息。(2).如何创建...

http://hadoop.apache.org/docs/r2.4.1/hadoop-project-dist/hadoop-common/FileSystemShell.html转载地址：http://hadoop.apache.org/docs/r2.4.1/hadoop-project-dist/hadoop-common/FileSystemShell.html?Overview?appendToFile?cat?chgrp?chmod?chown?copyFromLocal?copyToLocal?count?cp?du...

FS Shell    cat   chgrp   chmod   chown  copyFromLocal  copyToLocal  cp   du  dus   expunge   get   getmerge   ls   lsr  mkdir   movefromLocal...

hadoop2.4.1完全分布式安装 ：http://blog.itpub.net/26613085/viewspace-1219710/[hadoop@master mapreduce]$ hadoop fs -ls /input14/07/18 09:31:08 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicableFound 1 items-rw-r...

本文（亲测实录）主要列出在安装hadoop 2.4.1过程中各个文件配置情况，其他步骤请参考网络其他资源进行操作1、JDK安装和SSH互信（略过）2、各节点IP和hostname如下（各节点需配置）[hadoop@master ~]$ cat /etc/hosts127.0.0.1       localhost100.12.56.221   sl...

HDFS+MapReduce+Hive+HBase十分钟快速入门1.前言本文的目的是让一个从未接触Hadoop的人，在很短的时间内快速上手，掌握编译、安装和简单的使用。2.Hadoop家族整个Hadoop家族由以下几个子项目组成：成员名 用途Hadoop Common Hadoop体系最底层的一个模块，为Hadoop各子项目提供各种工具，如：配置...

转载地址：http://blog.csdn.net/hguisu/article/details/72820501.  简介Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专...

 转载地址：http://blog.csdn.net/xhh198781/article/details/7693358           SequenceFile文件是Hadoop用来存储二进制形式的key-value对而设计的一种平面文件(Flat File)。目前，也有不少人在该文件的基础之上提出了一些HDFS中小文件存储的解决方案，他们的基本思...

转载地址： http://my.oschina.net/leejun2005/blog/100922最近几次被问到关于数据倾斜的问题，这里找了些资料也结合一些自己的理解.    在并行计算中我们总希望分配的每一个task 都能以差不多的粒度来切分并且完成时间相差不大，但是集群中可能硬件不同，应用的类型不同和切分的数据大小不一致总...

hadoop hadoop 简介：   hadoop是一个能够对大量数据进行分布式处理的软件框架，实现了google的MapReduce编程模型和框架，   把应用程序分割成效的工作单元，并把这些单元放到集群节点上执行。角色：NameNode：          NameNode是HDFS守护进程，负责记录文...

TDW是腾讯最大的离线数据处理平台。本文主要从需求、挑战、方案和未来计划等方面，介绍了TDW在建设单个大规模集群中采取的JobTracker分散化和NameNode高可用两个优化方案。

说明:用来缓存shuffle数据的reduce task heap百分比Reduce在shuffle阶段对下载来的map数据，并不是立刻就写入磁盘的，而是会先缓存在内存中，然后当使用内存达到一定量的时候才刷入磁盘。这个内存大小的控制就不像map一样可以通过io.sort.mb来设定了，而是通过另外一个参数来设置：mapred.job.shuffle.input.buff...

转载地址：http://www.cnblogs.com/xuxm2007/archive/2011/09/01/2162011.htmlmapred.map.tasks.speculative.execution=truemapred.reduce.tasks.speculative.execution=true这两个是推测执行的配置项，它们默认值是true所谓的推测执行，就是当所有task都开始运行之后，Job Tracker会统计所有任务的平均进度...

http://www.cnblogs.com/xuxm2007/archive/2011/09/01/2162011.htmlhadoop的分块有两部分，其中第一部分更为人熟知一点。 第一部分就是数据的划分（即把File划分成Block），这个是物理上真真实实的进行了划分，数据文件上传到HDFS里的时候，需要划分成一块一块，每块的大小由hadoop-default.xml里配置选项...