-
编辑 删除
使用Hive中自定义UDAF函数实现统计区域产品用户访问排名
一、自定义UDAF函数点击(此处)折叠或打开package hive.org.ruozedata;import java.util.*;import org.apache.hadoop.hive.ql.exec.UDAF;import org.apache.hadoop.hive.ql.exec.UDAFEvaluator;import org.apache.log4j.Lo...
-
编辑 删除
【Sqoop+Hive+MySQL】用户某时间范围，区域最受欢迎的Top N的产品
一、创建配置文件【1、创建table_env文件，增加如下内容】执行命令：vi table_env内容：点击(此处)折叠或打开city_info=default.city_infoproduct_info=default.product_infouser_click=default.tmp_user_click退出保存(:wq)注：等号前为RDBMS表，...
-
编辑 删除
Hive中添加自定义函数(UDF)方法及实践
环境介绍：CentOS7+hive-1.1.0-cdh5.7.0+Maven3.3.91、下载源码 hive-1.1.0-cdh5.7.0-src.tar.gz http://archive.cloudera.com/cdh5/cdh/5/hive-1.1.0-cdh5.7.0-src.tar.gz 2、解压源码 tar -zxvf hive-1.1.0-cdh5.7.0-src.tar.gz -C /home/hadoop/ &n...
-
编辑 删除
Hive中配置与编写自定义UDF函数
环境介绍：CentOS7+hive-1.1.0-cdh5.7.0+IntelliJ IDEA+Maven3.3.91、创建工程 打开IntelliJ IDEA File-->New-->Project...-->Maven选择Create from archetye-->org.apache.maven.archety:maven-archetype-quitkstart2、配置 2.1、增加内容如下： 在工程中找到pom...
-
编辑 删除
Hive的三种Join方式
转载：https://www.cnblogs.com/raymoc/p/5323824.htmlCommon/Shuffle/Reduce JoinMap Join1） 大小表连接：如果一张表的数据很大，另外一张表很少(<1000行)，那么我们可以将数据量少的那张表放到内存里面，在map端做join。Hive支持Map Join，用法如下select /*+ MAPJOIN(time_dim...
-
编辑 删除
Hive参数配置调优
Hive参数配置调优 hive通过将查询划分成一个或多个MapReduce任务达到并行处理的目的。每个任务都可能具有多个mapper和reducer任务，其中至少有一些是可以并行执行的。确定最佳的mapper个数和reducer个数取决于多个变量，例如输入的数据量大小以及对这些数据执行的操作类型等。 保持平衡性是很有必要...
-
编辑 删除
Hive中原理及使用MAP JOIN
Hive中简介及使用MAP JOIN一、MAP JOIN图二、概述所有表中只有一张小表，那可在最大的表通过Mapper的时候将小表完全放到内存中，Hive可以在map端执行连接过程可以和内存的小表逐一匹配，从而省略掉常规连接所需的reduce过程。即使对于很小的数据集，这个优化也明显地要快于常规的连接操作。其不仅减少了reduce过程...
-
编辑 删除
Hive学习之更改表的属性
1、修改表名 alter table table_name rename to new_table_name; 例1：alter table ruoze_emp rename to emp;2、修改列名 alter table tablename change column column_orign column_new int(修改后列的属性) comment 'column_name' after severity;//可以把该列...
-
编辑 删除
Linux&&Hadoop2.x下编译hive1.1.0-cdh5.7.0与配置安装实战
一、首先下载hive-1.1.0-cdh5.7.0的源码压缩包 下载地址：wget http://archive.cloudera.com/cdh5/cdh/5/hive-1.1.0-cdh5.7.0-src.tar.gz二、编译hive-1.1.0-cdh5.7.0的源码包需要maven，我选择的版本是maven3.3.9版本下载地址：http://maven.apache.org/download.cgi由于默认的maven地址下载东西较慢，可以在ma...
-
编辑 删除
HIVE实现wordcount过程
1、建表并关联数据：进入hive命令行：hive执行：create external table wordcounts(line string) row format delimited fields terminated by '\n' stored as textfile location '/input/wordcount';2、创建ruozedata.txt文件，并上传hdfs中的/input/wordcount目录下。vi ruozedata.txthello,ruozehello,jepsondb...
