-
编辑 删除
数据仓库 ODS简介
转载地址：http://baike.baidu.com/link?url=dO6vvJ89eVg8xuMnHtWjIPDgXauYwZR3H7FZ0zV6P9Rh7N93Xa-hwiyfSHw1htlu#2概念ODS（Operational Data Store）是数据仓库体系结构中的一个可选部分，ODS具备数据仓库的部分特征和OLTP系统的部分特征，它是“面向主题的、集成的、当前或接近当前的、不断变化的”数据。...
-
编辑 删除
SequenceFile文件 （R0.5）
转载地址：http://blog.csdn.net/xhh198781/article/details/7693358 SequenceFile文件是Hadoop用来存储二进制形式的key-value对而设计的一种平面文件(Flat File)。目前，也有不少人在该文件的基础之上提出了一些HDFS中小文件存储的解决方案，他们的基本思...
-
编辑 删除
集群监控工具ganglia
Ganglia是一款非常不错的监控软件，它可以对当前的系统软硬件进行全面的监控，特别适合集群的监控，可以对各个节点以及整个集群进行全面的监控。下面来说一下环境的搭建。说明：操作系统rhel5.4注意：安装系统，选择安装的软件包时不要默认安装，选择“自定义”。然后在development里面全部都勾选上，否则在安装源码包的...
-
编辑 删除
ganglia监控的搭建部署
简述：Ganglia是UC Berkeley发起的一个开源集群监视项目，设计用于测量数以千计的节点。Ganglia的核心包含gmond、gmetad以及一个Web前端。主要 是用来监控系统性能，由RRDTool工具处理数据，并生成相应的的图形显示，以Web方式直观的提供给客户端。如：cpu 、mem、硬盘利用率， I/O负载、网络流量情况等，通...
-
编辑 删除
使用Ganglia对hadoop进行监控
原文链接：http://www.cnblogs.com/lijun4017/archive/2011/08/11/2135031.htmlGanglia是一个监控服务器，集群的开源软件，能够用曲线图表现最近一个小时，最近一天，最近一周，最近一月，最近一年的服务器或者集群的cpu负载,内存,网络,硬盘等指标。Ganglia的强大在于：ganglia服务端能够通过一台客户端收集到同...
-
编辑 删除
用 Ganglia 监控hadoop集群
转载地址：http://blog.csdn.net/a15039096218/article/details/7857308随着数据中心的增长和管理人员的缩减，对计算资源使用有效监视工具的需求变得比以往更加迫切。术语监视 在应用到数据中心时可能会让人混淆，因为它的含义会根据具体的说话者和听众而有所不同。例如：在集群中运行应用程序的人员会思考：“...
-
编辑 删除
开源监控软件ganglia安装手册
转载地址：http://blog.chinaunix.net/uid-11121450-id-3147002.htmlGanglia是一个监控服务器，集群的开源软件，能够用曲线图表现最近一个小时，最近一天，最近一周，最近一月，最近一年的服务器或者集群的cpu负载,内存,网络,硬盘等指标。Ganglia的强大在于：ganglia服务端能够通过一台客户端收集到同一个网段的所有...
-
编辑 删除
Ganglia3.1.7安装与配置
一、所需要软件二、安装过程 1、Ganglia运行平台的安装 2、Ganglia依赖库的安装 3、RRDTool的安装 4、Ganglia的安装 (包括使用yum方式安装)三、简单配置四、启动与访问五、被监控节点上安装Ganglia (包括使用yum方式安装)六...
-
编辑 删除
集群下的ganglia多点系统监控 (一)
转载地址：http://www.javabloger.com/article/j2ee-linux-ganglia-rrdtool-java-mysql-1.htmlganglia介绍ganglia 是 UC Berkeley (伯克利 大学)发起的一个开源监视项目，用于测量数以千计计算机的节点。每台计算机都运行一个收集和发送度量数据，可以监控CPU速度、内存使用状态，还可以和其他第三方的插件结合使用，可...
-
编辑 删除
ganglia多点系统监控实践 (二)
转载地址：http://www.javabloger.com/article/j2ee-linux-ganglia-rrdtool-java-mysql-2.html在上一篇文章中讲述了ganglia的系统架构和工作原理，现在介绍一下在RedHat CentOS中对J2EE系统运行状态监控的2句口水：1.如果是在安装多次失败或者正在寻求一个简单有效安装 ganglia 的方法，当你能看见这篇文章的时候你非...
-
编辑 删除
hive partition
partition是hive提供的一种机制：用户通过指定一个或多个partition key，决定数据存放方式，进而优化数据的查询一个表可以指定多个partition key，每个partition在hive中以文件夹的形式存在。实例（static partition）：编辑文件：/home/work/data/test3.txt; /home/work/data/test4.txt;$ cat /home/work/data/te...
-
编辑 删除
hive文件数限制
[Fatal Error] total number of created files now is 100086, which exceeds 100000解决方法：hive> set hive.exec.max.created.files=655350;
-
编辑 删除
HIVE Indexex 索引
Creating an Index -- 创建一个索引[sql] view plaincopyprint?CREATE TABLE employees ( name STRING, salary &nbs...
-
编辑 删除
hive中的外表EXTERNAL TABLE
在hive中，外表是个很重要的组成部分，通过外表可以很方便进行数据的共享。因为普通的表会将数据文件拷贝自己的目录下，这样想要分享数据只能保存多份数据。但是外表很好的解决了这个问题。CREATE EXTERNAL TABLE sunwg_test09(id INT, name string)ROW FORMAT DELIMITEDFIELDS TERMINATED BY ‘/t’LOCATION ‘...
-
编辑 删除
hive中的bucket table
当数据量比较大，我们需要更快的完成任务，多个map和reduce进程是唯一的选择。但是如果输入文件是一个的话，map任务只能启动一个。此时bucket table是个很好的选择，通过指定CLUSTERED的字段，将文件通过hash打散成多个小文件。create table sunwg_test11(id int,name string)CLUSTERED BY(id) SORTED BY(name) IN...
-
编辑 删除
HIVE中的自定义函数
hive默认的函数并不是太完整，以后我们使用的使用肯定需要自己补充一些。下面这个例子是个简单的测试，关于自定义函数的。函数代码package com.example.hive.udf;import org.apache.hadoop.hive.ql.exec.UDF;import org.apache.hadoop.io.Text;public final class Lower extends UDF { public Text...
-
编辑 删除
hive中的null值
在hive里面默认的情况下会使用’/N’来表示null值，但是这样的表示并不符合我们平时的习惯。所以需要通过serialization.null.format的设置来修改表的默认的null表示方式。测试表hive> select * from sunwg00;OKNULL mary101 tomTime taken: 0.058 seconds创建普...
-
编辑 删除
hive中的Order By
hive中的order by也是对一个结果集合进行排序，但是和关系型数据库又所有不同。这不同的地方也是两者在底层架构区别的体现。hive的参数hive.mapred.mode是控制hive执行mapred的方式的，有两个选项：strict和nonstrict，默认值是nonstrict。这个两个值对order by的执行有着很大的影响。测试用例hive> select * ...
-
编辑 删除
hive中的sort by
在hive中不光有order by操作，还有个sort by操作。两者执行的都是排序的操作，但有存在很大的不同。还是用上次order by的例子来说明。测试用例hive> select * from test09;OK100 tom200 mary300 kate400 ti...
-
编辑 删除
浅析 Hadoop 中的数据倾斜（R0.1）
转载地址： http://my.oschina.net/leejun2005/blog/100922最近几次被问到关于数据倾斜的问题，这里找了些资料也结合一些自己的理解. 在并行计算中我们总希望分配的每一个task 都能以差不多的粒度来切分并且完成时间相差不大，但是集群中可能硬件不同，应用的类型不同和切分的数据大小不一致总...
