ITPub博客

1. hadoop日志目录默认存放在hadoop安装目录下的logs文件夹中，也可以通过hadoop-env.sh中的HADOOP_LOG_DIR变量来修改。一般建议修改默认值，使之独立于hadoop安装目录，这样便于以后的升级。hadoop日志文件的名称格式为“hadoop-用户名-守护进程名-本地主机名.log”。例如“hadoop-tianyc-namenode-Route.log”...

1. 内存hadoop为各个守护进程（namenode,secondarynamenode,jobtracker,datanode,tasktracker）统一分配的内存在hadoop-env.sh中设置，参数为HADOOP_HEAPSIZE，默认为1000M。大部分情况下，这个统一设置的值可能并不适合。例如对于namenode节点，1000M的内存只能存储几百万个文件的数据块的引用。如果我想单独设...

1. 配置文件列表如下：[tianyc@Route conf]$ pwd/home/tianyc/hadoop-1.0.4/conf[tianyc@Route conf]$ ll总用量 76-rw-rw-r--. 1 tianyc NEU 7457 3月   6 10:38 capacity-scheduler.xml-rw-rw-r--. 1 tianyc NEU  535 3月   6 10:38 configuration.xsl-rw-rw-r--. 1 tianyc NEU&nbsp...

首先下载对应linux的rsync软件：http://rsync.samba.org/download.html本例中，下载rsync-3.1.1-1.el5.rfx.i386.rpm   22-Jun-2014 21:58  420K  RHEL5 and CentOS-5 x86 32bit服务端配置[root@master software]#pwd/root/software[root@master software]#ll… …-rwxr--r--1 root ...

一.介绍 (不想看直接可以跳过) Rsync 是一个远程数据同步工具，可通过 LAN/WAN 快速同步多台主机间的文件。 Rsync 本来是用以取代 rcp 的一个工具，它当前由  rsync.samba.org 维护。 Rsync 使用所谓的“ Rsync 演算法 ”来使本地和远程两个主机之间的文件达到同步，这个算法只传...

 1、列出所有Hadoop Shell支持的命令  $ bin/hadoop fs -help2、显示关于某个命令的详细信息  $ bin/hadoop fs -help command-name3、用户可使用以下命令在指定路径下查看历史日志汇总  $ bin/hadoop job -history output-dir这条命令会显示作业的细节信息，失败和终止的任务细节。4、关...

一、用户命令1、archive命令(1).什么是Hadoop archives?Hadoop archives是特殊的档案格式。一个Hadoop archive对应一个文件系统目录。 Hadoop archive的扩展名是*.har。Hadoop archive包含元数据(形式是_index和_masterindx)和数据文件(part-*)。_index文件包含了档案中的文件的文件名和位置信息。(2).如何创建...

http://hadoop.apache.org/docs/r2.4.1/hadoop-project-dist/hadoop-common/FileSystemShell.html转载地址：http://hadoop.apache.org/docs/r2.4.1/hadoop-project-dist/hadoop-common/FileSystemShell.html?Overview?appendToFile?cat?chgrp?chmod?chown?copyFromLocal?copyToLocal?count?cp?du...

FS Shell    cat   chgrp   chmod   chown  copyFromLocal  copyToLocal  cp   du  dus   expunge   get   getmerge   ls   lsr  mkdir   movefromLocal...

hadoop2.4.1完全分布式安装 ：http://blog.itpub.net/26613085/viewspace-1219710/[hadoop@master mapreduce]$ hadoop fs -ls /input14/07/18 09:31:08 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicableFound 1 items-rw-r...

[hadoop@master ~]$ iduid=500(hadoop) gid=500(hadoop)groups=500(hadoop)[hadoop@master ~]$ pwd/home/hadoop[hadoop@master ~]$ lltotal 269008-rwxrwxrwx?1 hadoop hadoop? 54246778 Jul 17 14:01apache-hive-0.13.1-bin.tar.gzdrwxrwxr-x?4 hadoop hadoop????? ...

该安装基于hadoop2.4.1版本，hadoop安装参考：hadoop2.4.1完全分布式安装 ：http://blog.itpub.net/26613085/viewspace-1219710/环境介绍Hostname IP Hadoop-role Hbase-rolemaster 100.12.56.228 NameNode/ResourceManager Masterslave-1 100.12.56.221 DataNode/Node...

本文（亲测实录）主要列出在安装hadoop 2.4.1过程中各个文件配置情况，其他步骤请参考网络其他资源进行操作1、JDK安装和SSH互信（略过）2、各节点IP和hostname如下（各节点需配置）[hadoop@master ~]$ cat /etc/hosts127.0.0.1       localhost100.12.56.221   sl...

HDFS+MapReduce+Hive+HBase十分钟快速入门1.前言本文的目的是让一个从未接触Hadoop的人，在很短的时间内快速上手，掌握编译、安装和简单的使用。2.Hadoop家族整个Hadoop家族由以下几个子项目组成：成员名 用途Hadoop Common Hadoop体系最底层的一个模块，为Hadoop各子项目提供各种工具，如：配置...

转载地址：http://blog.csdn.net/hguisu/article/details/72820501.  简介Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专...

create or replace procedure j1_dw.generate_multiple_awr_reports (l_snap_start varchar2, --格式yyyyMMdd hh24:mi（如20130603 15:15）                           &nbsp...

1、简述在架构实时ETL时的可以选择的架构部件。答：在建立数据仓库时，ETL通常都采用批处理的方式，一般来说是每天的夜间进行跑批。随着数据仓库技术的逐步成熟，企业对数据仓库的时间延迟有了更高的要求，也就出现了目前常说的实时ETL（Real-Time ETL）。实时ETL是数据仓库领域里比较新的一部分内容。在构建实...

Oracle的分区交换功能，用来实现对数据“滑动窗口”操作，就是可以把数据从分区表中指定分区移出到一个表，或把一个表的数据移入到指定的分区中。[@more@]分区交换的速度是非常快速的，只是数据字典的更新，在移动过程中，数据行的rowid都不会发生变化。实验过程如下：1. 创建分区表SQL> Create Table range_exa...

语法：ROW_NUMBER() OVER(PARTITION BY COLUMN ORDER BY COLUMN)简单的说row_number()从1开始，为每一条分组记录返回一个数字，这里的ROW_NUMBER() OVER (ORDER BY xlh DESC) 是先把xlh列降序，再为降序以后的没条xlh记录返回一个序号。 示例： xlh           r...