ITPub博客

FS Shell    cat   chgrp   chmod   chown  copyFromLocal  copyToLocal  cp   du  dus   expunge   get   getmerge   ls   lsr  mkdir   movefromLocal...

hadoop2.4.1完全分布式安装 ：http://blog.itpub.net/26613085/viewspace-1219710/[hadoop@master mapreduce]$ hadoop fs -ls /input14/07/18 09:31:08 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicableFound 1 items-rw-r...

[hadoop@master ~]$ iduid=500(hadoop) gid=500(hadoop)groups=500(hadoop)[hadoop@master ~]$ pwd/home/hadoop[hadoop@master ~]$ lltotal 269008-rwxrwxrwx?1 hadoop hadoop? 54246778 Jul 17 14:01apache-hive-0.13.1-bin.tar.gzdrwxrwxr-x?4 hadoop hadoop????? ...

该安装基于hadoop2.4.1版本，hadoop安装参考：hadoop2.4.1完全分布式安装 ：http://blog.itpub.net/26613085/viewspace-1219710/环境介绍Hostname IP Hadoop-role Hbase-rolemaster 100.12.56.228 NameNode/ResourceManager Masterslave-1 100.12.56.221 DataNode/Node...

本文（亲测实录）主要列出在安装hadoop 2.4.1过程中各个文件配置情况，其他步骤请参考网络其他资源进行操作1、JDK安装和SSH互信（略过）2、各节点IP和hostname如下（各节点需配置）[hadoop@master ~]$ cat /etc/hosts127.0.0.1       localhost100.12.56.221   sl...

HDFS+MapReduce+Hive+HBase十分钟快速入门1.前言本文的目的是让一个从未接触Hadoop的人，在很短的时间内快速上手，掌握编译、安装和简单的使用。2.Hadoop家族整个Hadoop家族由以下几个子项目组成：成员名 用途Hadoop Common Hadoop体系最底层的一个模块，为Hadoop各子项目提供各种工具，如：配置...

转载地址：http://blog.csdn.net/hguisu/article/details/72820501.  简介Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专...

create or replace procedure j1_dw.generate_multiple_awr_reports (l_snap_start varchar2, --格式yyyyMMdd hh24:mi（如20130603 15:15）                           &nbsp...

1、简述在架构实时ETL时的可以选择的架构部件。答：在建立数据仓库时，ETL通常都采用批处理的方式，一般来说是每天的夜间进行跑批。随着数据仓库技术的逐步成熟，企业对数据仓库的时间延迟有了更高的要求，也就出现了目前常说的实时ETL（Real-Time ETL）。实时ETL是数据仓库领域里比较新的一部分内容。在构建实...

Oracle的分区交换功能，用来实现对数据“滑动窗口”操作，就是可以把数据从分区表中指定分区移出到一个表，或把一个表的数据移入到指定的分区中。[@more@]分区交换的速度是非常快速的，只是数据字典的更新，在移动过程中，数据行的rowid都不会发生变化。实验过程如下：1. 创建分区表SQL> Create Table range_exa...

语法：ROW_NUMBER() OVER(PARTITION BY COLUMN ORDER BY COLUMN)简单的说row_number()从1开始，为每一条分组记录返回一个数字，这里的ROW_NUMBER() OVER (ORDER BY xlh DESC) 是先把xlh列降序，再为降序以后的没条xlh记录返回一个序号。 示例： xlh           r...

转载地址：http://baike.baidu.com/link?url=dO6vvJ89eVg8xuMnHtWjIPDgXauYwZR3H7FZ0zV6P9Rh7N93Xa-hwiyfSHw1htlu#2概念ODS（Operational Data Store）是数据仓库体系结构中的一个可选部分，ODS具备数据仓库的部分特征和OLTP系统的部分特征，它是“面向主题的、集成的、当前或接近当前的、不断变化的”数据。...

 转载地址：http://blog.csdn.net/xhh198781/article/details/7693358           SequenceFile文件是Hadoop用来存储二进制形式的key-value对而设计的一种平面文件(Flat File)。目前，也有不少人在该文件的基础之上提出了一些HDFS中小文件存储的解决方案，他们的基本思...

Ganglia是一款非常不错的监控软件，它可以对当前的系统软硬件进行全面的监控，特别适合集群的监控，可以对各个节点以及整个集群进行全面的监控。下面来说一下环境的搭建。说明：操作系统rhel5.4注意：安装系统，选择安装的软件包时不要默认安装，选择“自定义”。然后在development里面全部都勾选上，否则在安装源码包的...

简述：Ganglia是UC  Berkeley发起的一个开源集群监视项目，设计用于测量数以千计的节点。Ganglia的核心包含gmond、gmetad以及一个Web前端。主要 是用来监控系统性能，由RRDTool工具处理数据，并生成相应的的图形显示，以Web方式直观的提供给客户端。如：cpu 、mem、硬盘利用率，  I/O负载、网络流量情况等，通...

原文链接：http://www.cnblogs.com/lijun4017/archive/2011/08/11/2135031.htmlGanglia是一个监控服务器，集群的开源软件，能够用曲线图表现最近一个小时，最近一天，最近一周，最近一月，最近一年的服务器或者集群的cpu负载,内存,网络,硬盘等指标。Ganglia的强大在于：ganglia服务端能够通过一台客户端收集到同...

转载地址：http://blog.csdn.net/a15039096218/article/details/7857308随着数据中心的增长和管理人员的缩减，对计算资源使用有效监视工具的需求变得比以往更加迫切。术语监视 在应用到数据中心时可能会让人混淆，因为它的含义会根据具体的说话者和听众而有所不同。例如：在集群中运行应用程序的人员会思考：“...

转载地址：http://blog.chinaunix.net/uid-11121450-id-3147002.htmlGanglia是一个监控服务器，集群的开源软件，能够用曲线图表现最近一个小时，最近一天，最近一周，最近一月，最近一年的服务器或者集群的cpu负载,内存,网络,硬盘等指标。Ganglia的强大在于：ganglia服务端能够通过一台客户端收集到同一个网段的所有...

一、所需要软件二、安装过程    1、Ganglia运行平台的安装    2、Ganglia依赖库的安装    3、RRDTool的安装    4、Ganglia的安装 (包括使用yum方式安装)三、简单配置四、启动与访问五、被监控节点上安装Ganglia (包括使用yum方式安装)六...