-
编辑 删除
正则表达式
http://www.jb51.net/tools/zhengze.html 一、 正则表达式在编写处理字符串的程序或网页时，经常会有查找符合某些复杂规则的字符串的需要。正则表达式就是用于描述这些规则的工具。换句话说，正则表达式就是记录文本规则的代码。...
-
编辑 删除
Hive null的用法
(17)Hive null的用法Hive中有种假NULL，它看起来和NULL一摸一样，但是实际却不是NULL。空值NULL在底层默认是用'\N'来存储的，Hive中'\'是转义字符，需要对'\'进行一次转义，所以变成'\\N'。如果实际想存储'\N'，那么实际查询出来的也是NULL而不是'\N'。修改默认的NULL表示：alter table test SET SERDEPROPERTIES(...
-
编辑 删除
hive Union和union all
(1) Union和union all总结分析1. 子查询相当于表名，使用 from 关键字需要指定真实表名或表别名。2. hive 不支持union ，只支持union all 3. 子查询中使用union all 时，在子查询里不能使用count、sum 等 聚合函数 4. 两表直接进行union all 可以...
-
编辑 删除
hive参数说明
1.参数说明(1)set hive.auto.convert.join=false;set hive.auto.convert.join=false;原因: map join bug比较多hive0.11之前，默认的join方式是reduce端join，即shuffle join(hive.auto.convert.join默认为false),其原理是map的输出数据通过hash进行partition，然后shuffle至对应的reduce端,执行join.如果join key分...
-
编辑 删除
Hive四种数据导入方式
Hive四种数据导入方式文档参考：http://blog.csdn.net/lifuxiangcaohui/article/details/40588929Hive的几种常见的数据导入方式这里介绍四种：（1）、从本地文件系统中导入数据到Hive表； （2）、从HDFS上导入数据到Hive表； （3）、从别的表中查询出相应的数据并导入到Hive表中； （4）、在创建表的时候通过从...
-
编辑 删除
hive 中默认的用控制符作为分隔符的使用总结
http://blog.csdn.net/xiao_jun_0820/article/details/37649713hive 默认的字段分隔符为ascii码的控制符\001,建表的时候用fields terminated by '\001',如果要测试的话，造数据在vi 打开文件里面，用ctrl+v然后再ctrl+a可以输入这个控制符\001。按顺序，\002的输入方式为ctrl+v,ctrl+b。以此类推。控制符在Java...
-
编辑 删除
hive安装配置
转载来自：http://blog.csdn.net/wulantian/article/details/38111671hive安装配置 5. hive的安装配置下载：apache-hive-0.13.1-bin.tar.gz[root@db96 local]# wget http://apache.fayea.com/apache-mirror/hive/hive-0.13.1/apache-hive-0.13.1-bin.tar.gz[root@db96 local]# tar -zxvf apache-hive-0.13.1-bin.ta...
-
编辑 删除
Hive基础学习文档和入门教程
转载：http://www.aboutyun.com/thread-11873-1-1.html1.hive除了包含用户接口、元数据，还包含哪些内容？2.hive包含哪些操作？3.hive数据能否被修改？4.hive优化有哪些常用方法？摘要： Hive 是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种...
-
编辑 删除
MAPJOIN
怎样做笛卡尔积 转载：http://www.aboutyun.com/thread-11873-1-1.html当Hive设定为严格模式（hive.mapred.mode=strict）时，不允许在HQL语句中出现笛卡尔积，这实际说明了Hive对笛卡尔积支持较弱。因为找不到Join key，Hive只能使用1个reducer来完成笛卡尔积。 当然也可以用上面说的limit的办法来减少某个...
-
编辑 删除
hive中分区表，含动态分区与静态分区
文章来源：http://my.oschina.net/u/239075/blog/211973一、前段时间因为导表需求（从一张表中查找出数据，按日期分区overwrite 到指定分区表中），在Hive里面研究了一下自动分区。步骤： 1、建好所需分区表 2、设置分区参数...
-
编辑 删除
Hive时间函数
转载：http://dacoolbaby.iteye.com/blog/1826307转自大神 http://www.oratea.net/?p=944无论做什么数据，都离不开日期函数的使用。这里转载一下Hive的日期函数的使用，写的相当完整。 日期函数UNIX时间戳转日期函数: from_unixtime语法:from_unixtime(bigint unix...
