-
编辑 删除
集群下的ganglia多点系统监控 (一)
转载地址：http://www.javabloger.com/article/j2ee-linux-ganglia-rrdtool-java-mysql-1.htmlganglia介绍ganglia 是 UC Berkeley (伯克利 大学)发起的一个开源监视项目，用于测量数以千计计算机的节点。每台计算机都运行一个收集和发送度量数据，可以监控CPU速度、内存使用状态，还可以和其他第三方的插件结合使用，可...
-
编辑 删除
ganglia多点系统监控实践 (二)
转载地址：http://www.javabloger.com/article/j2ee-linux-ganglia-rrdtool-java-mysql-2.html在上一篇文章中讲述了ganglia的系统架构和工作原理，现在介绍一下在RedHat CentOS中对J2EE系统运行状态监控的2句口水：1.如果是在安装多次失败或者正在寻求一个简单有效安装 ganglia 的方法，当你能看见这篇文章的时候你非...
-
编辑 删除
hive partition
partition是hive提供的一种机制：用户通过指定一个或多个partition key，决定数据存放方式，进而优化数据的查询一个表可以指定多个partition key，每个partition在hive中以文件夹的形式存在。实例（static partition）：编辑文件：/home/work/data/test3.txt; /home/work/data/test4.txt;$ cat /home/work/data/te...
-
编辑 删除
hive文件数限制
[Fatal Error] total number of created files now is 100086, which exceeds 100000解决方法：hive> set hive.exec.max.created.files=655350;
-
编辑 删除
HIVE Indexex 索引
Creating an Index -- 创建一个索引[sql] view plaincopyprint?CREATE TABLE employees ( name STRING, salary &nbs...
-
编辑 删除
hive中的外表EXTERNAL TABLE
在hive中，外表是个很重要的组成部分，通过外表可以很方便进行数据的共享。因为普通的表会将数据文件拷贝自己的目录下，这样想要分享数据只能保存多份数据。但是外表很好的解决了这个问题。CREATE EXTERNAL TABLE sunwg_test09(id INT, name string)ROW FORMAT DELIMITEDFIELDS TERMINATED BY ‘/t’LOCATION ‘...
-
编辑 删除
hive中的bucket table
当数据量比较大，我们需要更快的完成任务，多个map和reduce进程是唯一的选择。但是如果输入文件是一个的话，map任务只能启动一个。此时bucket table是个很好的选择，通过指定CLUSTERED的字段，将文件通过hash打散成多个小文件。create table sunwg_test11(id int,name string)CLUSTERED BY(id) SORTED BY(name) IN...
-
编辑 删除
HIVE中的自定义函数
hive默认的函数并不是太完整，以后我们使用的使用肯定需要自己补充一些。下面这个例子是个简单的测试，关于自定义函数的。函数代码package com.example.hive.udf;import org.apache.hadoop.hive.ql.exec.UDF;import org.apache.hadoop.io.Text;public final class Lower extends UDF { public Text...
-
编辑 删除
hive中的null值
在hive里面默认的情况下会使用’/N’来表示null值，但是这样的表示并不符合我们平时的习惯。所以需要通过serialization.null.format的设置来修改表的默认的null表示方式。测试表hive> select * from sunwg00;OKNULL mary101 tomTime taken: 0.058 seconds创建普...
-
编辑 删除
hive中的Order By
hive中的order by也是对一个结果集合进行排序，但是和关系型数据库又所有不同。这不同的地方也是两者在底层架构区别的体现。hive的参数hive.mapred.mode是控制hive执行mapred的方式的，有两个选项：strict和nonstrict，默认值是nonstrict。这个两个值对order by的执行有着很大的影响。测试用例hive> select * ...
-
编辑 删除
hive中的sort by
在hive中不光有order by操作，还有个sort by操作。两者执行的都是排序的操作，但有存在很大的不同。还是用上次order by的例子来说明。测试用例hive> select * from test09;OK100 tom200 mary300 kate400 ti...
-
编辑 删除
浅析 Hadoop 中的数据倾斜（R0.1）
转载地址： http://my.oschina.net/leejun2005/blog/100922最近几次被问到关于数据倾斜的问题，这里找了些资料也结合一些自己的理解. 在并行计算中我们总希望分配的每一个task 都能以差不多的粒度来切分并且完成时间相差不大，但是集群中可能硬件不同，应用的类型不同和切分的数据大小不一致总...
-
编辑 删除
使用 EXPLAIN PLAN 获取SQL语句执行计划 （R0.1）
SQL查询语句的性能从一定程度上影响整个数据库的性能。很多情况下，数据库性能的低下差不多都是不良SQL语句所引起。而SQL语句的执行计划则决定了SQL语句将会采用何种方式从数据库提取数据并返回给客户端，本文描述的将是如何通过EXPLAIN PLAN 获取SQL语句执行计划来获取SQL语句的执行计划。一、获取SQL语句执行...
-
编辑 删除
oracle存储提纲（stored outline）
转载地址：http://blog.csdn.net/hijk139/article/details/7700152Oracle Outline是用来保持SQL执行计划（execution plan）的一个工具。我们可以通过outline工具防止SQL执行计划在数据库环境变更（如统计信息，部分参数等）而引起变化。 Outline的主要使用在以下情况： 1. &nb...
-
编辑 删除
Oracle中的Hash Join祥解（R2）
Oracle中的Hash Join祥解一、 hash join概念 Hashjoin(HJ)是一种用于equi-join（而anti-join就是使用NOT IN时的join）的技术。在Oracle中，它是从7.3开始引入的，以代替sort-merge和nested-loop join方式，提高效率。在CBO（hash join只有在CBO才可能被使用到）模式下，优...
-
编辑 删除
hadoop概要
hadoop hadoop 简介： hadoop是一个能够对大量数据进行分布式处理的软件框架，实现了google的MapReduce编程模型和框架， 把应用程序分割成效的工作单元，并把这些单元放到集群节点上执行。角色：NameNode： NameNode是HDFS守护进程，负责记录文...
-
编辑 删除
腾讯大规模Hadoop集群实践
TDW是腾讯最大的离线数据处理平台。本文主要从需求、挑战、方案和未来计划等方面，介绍了TDW在建设单个大规模集群中采取的JobTracker分散化和NameNode高可用两个优化方案。
-
编辑 删除
oracle 使用leading, use_nl, rownum调优例子
转载地址：http://blog.chinaunix.net/uid-574845-id-2734102.html1、使用leading和use_nl来设置表的查询顺序，来加快查询速度，一般把小表设为第一个表。/*+LEADING(TABLE)*/ 将指定的表作为连接次序中的首表./*+USE_NL(TABLE)*/ 将指定表与嵌套的连接的行源进行连接,并把指定表作为内部表.成本计算方...
-
编辑 删除
关于USE_NL的使用（R0.1）
转载地址：http://www.cnblogs.com/ebs-blog/archive/2011/09/05/2167573.html之前一直都不是很清楚这个怎么在Nest Loop中指定驱动表(外部表) 和 内部表，经过了一些实验对这一部分有了一定的认识:首先对于nest loop有两种机制: 内部表全表扫描和内部表索引扫描，9i开始对于内部表索引扫描的情况有存在两种方式: 内部表索...
-
编辑 删除
ETL架构师面试题
1. What is a logical data mapping and what does it mean to the ETL team? 什么是逻辑数据映射？它对ETL项目组的作用是什么？答：逻辑数据映射（Logical Data Map）用来描述源系统的数据定义、目标数据仓库的模型以及将源系统的数据转换到数据仓库中需要做操作和处理方式的说明文档，通常以表格或Exc...
