ITPub博客

首页 > 大数据 > 数据分析 > Hive的使用

Hive的使用

数据分析 作者:hackdl 时间:2015-06-08 10:11:30 0 删除 编辑

Hive是一个基于hadoop平台的数据仓库工具,主要对海量数据进行统计分析

1、运行模式(集群与本地)

1.1、集群模式:>SET mapred.job.tracker=cluster

1.2、本地模式:>SET mapred.job.tracker=local

2、访问Hive的3钟方式

2.1、终端访问

#hive  或者  #hive --service cli

2.2、web访问,端口9999

#hive --service hwi &

2.3、hive远程服务,端口10000

#hive --service hiveserver &

3、数据类型

3.1、基本数据类型 :

            数据类型             占用长度
            tinyint       1byte(-128~127)
            smallint       2byte(-2^16 ~ 2^16-1)
            int       4byte(-2^31 ~ 2^31-1)
            bigint       8byte(-2^63 ~ 2^63-1)
            float       4byte单精度
            double       8byte双精度
            string  
            boolean  

3.2、复合数据类型:ARRAY,MAP,STRUCT,UNION

4、数据存储

4.1、基于HDFS

4.2、存储结构:database 、table 、file 、view

4.3、指定行、列分隔符即可解析数据

5、基本操作

5.1、创建数据库:>create database db_name

5.2、指定数据库:>use db

5.3、显示表:show tables;

5.4、创建表

5.4.1、内部表(默认):create table table_name(param_name type1,param_name2 type2,...) row format delimited fields terminated by '分隔符';

例:create table trade_detail(id bigint, account string, income double, expenses double, time string) row format delimited fields terminated by '\t';

内部表类似数据库表,存储在HDFS上(位置通过hive.metastore.warehouse.dir参数查看,除了外部表以外都保存在此处的表),表被删除时,表的元数据信息一起被删除。

加载数据:load data local inpath 'path' into table table_name;

5.4.2、分区表:create table table_name(param_name type1,param_name2 type2,...) partitioned by (param_name type) row format delimited fields terminated by '分隔符';

例:create table td_part(id bigint, account string, income double, expenses double, time string) partitioned by (logdate string) row format delimited fields terminated by '\t';

和普通表的区别:各个数据划分到不同的分区文件,表中的每一个partition对应表下的一个目录,尽管

加载数据:load data local inpath 'path' into table table_name partition (parti_param1='value',parti_param2='value',..);

添加分区:alter table partition_table add partition (daytime='2013-02-04',city='bj');

删除分区:alter table partition_table drop partition (daytime='2013-02-04',city='bj'),元数据和数据文件被删除,但是目录还存在

5.4.3、外部表:create external table td_ext(id bigint, account string, income double, expenses double, time string) row format delimited fields terminated by '\t' location 'hdfs_path';

加载数据:load data inpath 'hdfs_path' table_name;

5.4.4、桶表:是对数据进行哈希取值,然后放到不同文件中存储。
创建表:create table bucket_table(id string) clustered by(id) into 4 buckets;

加载数据:

set hive.enforce.bucketing = true;

必须先把以上的操作执行才能加载数据
insert into table bucket_table select name from stu;
insert overwrite table bucket_table select name from stu;

数据加载到桶表时,会对字段取hash值,然后与桶的数量取模。把数据放到对应的文件中。

对数据抽样调查:select * from bucket_table tablesample(bucket 1 out of 4 on id);
6、创建视图:CREATE VIEW v1 AS select * from t1;

7、修改表:alter table tb_name add columns (param_name,type);
 8、删除表:drop table tb_name;

 9、数据导入

9.1、加载数据:LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE]     INTO TABLE tablename     [PARTITION (partcol1=val1, partcol2=val2 ...)]

      数据加载到表时,不会对数据进行转移,LOAD操作只是将数据复制到HIVE表对应的位置  
9.2、Hive中表的互导:INSERT OVERWRITE TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)] select_statement FROM from_statement
9.3、create as :CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name  (col_name data_type, ...)    …AS SELECT * FROM TB_NAME;

10、查询

10.1、语法结构

SELECT [ALL | DISTINCT] select_expr, select_expr, ...
FROM table_reference
[WHERE where_condition]
[GROUP BY col_list]
[ CLUSTER BY col_list | [DISTRIBUTE BY col_list] [SORT BY col_list] | [ORDER BY col_list] ]
[LIMIT number]

10.2、partition查询

利用分区剪枝(input pruning)的特性,类似“分区索引”,只有当语句中出现WHERE才会启动分区剪枝

10.3、LIMIT Clause

Limit 可以限制查询的记录数。查询的结果是随机选择的。语法:SELECT * FROM t1 LIMIT 5
10.4、Top N
SET mapred.reduce.tasks = 1   SELECT * FROM sales SORT BY amount DESC LIMIT 5

11、表连接

11.1、内连接:select b.name,a.* from dim_ac a join acinfo b on (a.ac=b.acip) limit 10;
11.2、左外连接:select b.name,a.* from dim_ac a left outer join acinfo b on a.ac=b.acip limit 10;

12、Java客户端

12.1、启动远程服务#hive --service hiveserver

12.2、相关代码

?
1
2
3
4
5
6
7
8
9
10
Class.forName("org.apache.hadoop.hive.jdbc.HiveDriver");
Connection con = DriverManager.getConnection("jdbc:hive://192.168.1.102:10000/wlan_dw", "", "");
Statement stmt = con.createStatement();
String querySQL="SELECT * FROM wlan_dw.dim_m order by flux desc limit 10";
 
ResultSet res = stmt.executeQuery(querySQL);  
 
while (res.next()) {
    System.out.println(res.getString(1) +"\t" +res.getLong(2)+"\t" +res.getLong(3)+"\t" +res.getLong(4)+"\t" +res.getLong(5));
}

 13、自定义函数(UDF)

13.1、UDF函数可以直接应用于select语句,对查询结构做格式化处理后,再输出内容。
13.2、编写UDF函数的时候需要注意一下几点:
a)自定义UDF需要继承org.apache.hadoop.hive.ql.UDF。
b)需要实现evaluate函数,evaluate函数支持重载。

13.3、步骤
a)把程序打包放到目标机器上去;
b)进入hive客户端,添加jar包:hive>add jar /run/jar/udf_test.jar;
c)创建临时函数:hive>CREATE TEMPORARY FUNCTION add_example AS 'hive.udf.Add';
d)查询HQL语句:
SELECT add_example(8, 9) FROM scores;
SELECT add_example(scores.math, scores.art) FROM scores;
SELECT add_example(6, 7, 8, 6.8) FROM scores;
e)销毁临时函数:hive> DROP TEMPORARY FUNCTION add_example;
注:UDF只能实现一进一出的操作,如果需要实现多进一出,则需要实现UDAF

13.4、代码

 

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
package cn.itheima.bigdata.hive;
 
import java.util.HashMap;
 
import org.apache.hadoop.hive.ql.exec.UDF;
 
public class AreaTranslationUDF extends UDF{
    
    private static HashMap areaMap = new HashMap();
    
    static{
        
        areaMap.put("138", "beijing");
        areaMap.put("139", "shanghai");
        areaMap.put("137", "guangzhou");
        areaMap.put("136", "niuyue");
        
    }
 
    //用来将手机号翻译成归属地,evaluate方法一定要是public修饰的,否则调不到
    public String evaluate(String phonenbr) {
 
        String area = areaMap.get(phonenbr.substring(0,3));
        return area==null?"other":area;
 
    }
    
    //用来求两个字段的和
    public int evaluate(int x,int y){
        
        return x+y;
    }
 
}

 本文转自 兆维机房  http://www.e-1.cn/hive.html

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/25742811/viewspace-1691169/,如需转载,请注明出处,否则将追究法律责任。

下一篇: 没有了~
请登录后发表评论 登录
全部评论

注册时间:2013-09-10

  • 博文量
    5
  • 访问量
    6941