-
编辑 删除
Flink 与 Hive 的磨合期
文章整理：加米谷大数据有不少读者反馈，参考上篇文章《Hive终于等来了Flink》部署Flink并集成Hive时，出现一些bug以及兼容性等问题。虽已等来，却未可用。所以笔者增加了这一篇文章，作为姊妹篇。回顾在上篇文章中，笔者使用的CDH版本为5.16.2，其中Hive版本为1.1.0（CDH5.x
-
编辑 删除
Hive-分桶及抽样
1.分桶表数据存储分区提供一个隔离数据和优化查询的便利方式。不过，并非所有的数据集都可形成合理的分区。对于一张表或者分区，Hive可以进一步组织成桶，也就是更为细粒度的数据范围划分。分桶是将数据集分解成更容易管理的若干部分的另一个技术。分区针对的是数据的存储路径；分桶针对的是数据文件。数据1001s
-
编辑 删除
hive安装
前言简单介绍一下什么是hive，按照官方的定义是：hive是基于Hadoop的一个数据库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必
-
编辑 删除
Hive基础入门
从事大数据分析工作，不可避免的你会接触到Hadoop大数据系统，而Hive是是基于Hadoop的一个数据仓库工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive还定义了简单的类SQL查询语言，称为HQL，它允许熟悉SQL的用户查询
-
编辑 删除
hive vs spark
Hive、HiveOnSparK、Spark一、框架1.1Hive：1>把HQL翻译长map-reduce的代码，并且有可能产生很多mapreduce的job2>把生产的Mapreduce代码及相关资源打包成jar并发布到Hadoop的集群当中并进行运行计算靠MapReduce，存储靠H
-
编辑 删除
疯狂Hive之Hivean安装部署与交互方式（一）
Hive简介什么是HiveHive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。本质是将SQL转换为MapReduce程序。主要用途：用来做离线数据分析，比直接用MapReduce开发效率更高。为什么使用Hive当直接使用HadoopMapR
-
编辑 删除
hive学习笔记（day01）
视频课程是尚硅谷的，良心制作，免费分享，B站可看，搜Hive入门什么是HiveHive：由Facebook开源用于解决海量结构化日志的数据统计（重点是海量）。Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。（所有的数据集成在一个仓库里，有点数
-
编辑 删除
Spark基础：读写Hive
1Hive相关的操作SparkSQL支持读写Hive，不过Hive本身包含了大量的依赖，这些依赖spark默认是没有的。如果Hive的依赖在Classpath中，那么Spark可以自动加载（注意Spark的worker节点也需要提供这些依赖）。默认配置Hive只需要把相关的hive-site.xml
-
编辑 删除
数据仓库Hive的使用
1、Hive基本使用＊创建表和使用hive进行wordcound统计（对比mapreduce的实现的易用性）建表语句：CREATETABLEtable_name[(col_namedata_type[COMMENTcol_comment])]那么我们进入hive建立一张hive_wordcound表
-
编辑 删除
数据仓库Hive的使用
1、Hive基本使用＊创建表和使用hive进行wordcound统计（对比mapreduce的实现的易用性）建表语句：CREATETABLEtable_name[(col_namedata_type[COMMENTcol_comment])]那么我们进入hive建立一张hive_wordcound表
-
编辑 删除
第六章：Hive基本查询分析
本文主要结合以下一个实际电商企业案例中的脱敏数据进行基本的Hive查询分析，主要的hive表结构，如Excel中所示，可以自行前往我的百度网盘链接中下载。具体数据在我搭建的虚拟机里，如果有兴趣可以在文末留言邮箱。hive表结构汇总.xlsx12.9K·百度网盘一、准备工作（仔细观察hive数据表结构
-
编辑 删除
Hive常见面试题1.0
hive的使用，内外部表的区别，分区作用，UDF和Hive优化（1）hive的使用：仓库，工具（2）内部表：加载数据到hive所在的hdfs目录，删除时，元数据文件都删除外部表：不加载数据到Hive所在的hdfs目录，删除时，只删除表结构（3）分区作用：防止数据倾斜（4）UDF函数：用户自定义的函数
-
编辑 删除
hive的窗口函数详解
1.1hive窗口函数窗口函数是什么鬼？窗口函数指定了函数工作的数据窗口大小(当前行的上下多少行)，这个数据窗口大小可能会随着行的变化而变化。窗口函数和聚合函数区别？窗口函数对于每个组返回多行，组内每一行对应返回一行值。聚合函数对于每个组只返回一行。1.1.1在日常的开发中常用那些类型函数？？1、字
-
编辑 删除
一起学Hive——总结常用的Hive优化技巧
今天总结本人在使用Hive过程中的一些优化技巧，希望给大家带来帮助。Hive优化最体现程序员的技术能力，面试官在面试时最喜欢问的就是Hive的优化技巧。技巧1.控制reducer数量下面的内容是我们每次在hive命令行执行SQL时都会打印出来的内容：Inordertochangetheaverage
-
编辑 删除
Hive文件格式及数据导入导出
Hive文件格式TEXTFILE默认格式，数据不进行任何压缩存储方式：行存储磁盘开销大，数据解析开销大Hive不会对其进行切分，无法对数据进行并行操作SEQUENCEFILE二进制文件，以<key,value>形式序列化到文件中存储方式：行存储可分割、可压缩。支持三种压缩方式：NONE，
-
编辑 删除
Hive 终于等来了 Flink
文章整理：加米谷大数据ApacheSpark什么时候开始支持集成Hive功能？笔者相信只要使用过Spark的读者，应该都会说这是很久以前的事情了。那ApacheFlink什么时候支持与Hive的集成呢？读者可能有些疑惑，还没有支持吧，没用过？或者说最近版本才支持，但是功能还比较弱。其实比较也没啥意义
-
编辑 删除
Hive性能优化（全面）
简介：Hadoop的计算框架特性下的HIve有效的优化手段作者：浪尖原文链接本文转载自公众号：Spark学习技巧1.介绍首先，我们来看看Hadoop的计算框架特性，在此特性下会衍生哪些问题？数据量大不是问题，数据倾斜是个问题。jobs数比较多的作业运行效率相对比较低，比如即使有几百行的表，如果多次关
-
编辑 删除
python与hive
1.前言Hive算是大数据数据仓库的事实标准吧。Hive可以方法HDFS和Hbase上的数据，impala、sparksql、Presto完全能读取hive建立的数据仓库了的数据。一般情况在批处理任务中还在使用Hive，而在热查询做数据展示中大量使用impala、sparksql或Presto。Hi
-
编辑 删除
hive常见自定义函数
hive自定义函数1自定义函数1.1为什么需要自定义函数hive的内置函数满足不了所有的业务需求。hive提供很多的模块可以自定义功能，比如：自定义函数、serde、输入输出格式等。1.2常见自定义函数有哪些UDF：用户自定义函数，userdefinedfunction。一对一的输入输出。（最常用的
-
编辑 删除
《Hive用户指南》- Hive性能调优相关
Hive针对的应用场景是OLAP，通常对大数据集进行查询等操作，很多SQL要运行几十分钟到几个小时。因此我们在使用Hive时，要注意对SQL的性能进行调优，主要包括两点——避免时间复杂度过高的SQL避免数据倾斜问题针对Hive的性能调优，本文分为4个部分介绍，包括——数据模型相关的知识点特定场景下的
