ITPub博客

首页 > 大数据 > 可视化 > Hive引擎底层初探

Hive引擎底层初探

原创 可视化 作者:京东技术 时间:2024-04-17 10:53:26 0 删除 编辑

1、什么是Hive

   Hive是一个基于Hadoop的数据仓库工具,用于处理和分析大规模结构化数据。 Hive提供了类似SQL的查询语言(HiveQL),使得熟悉SQL的用户能够查询数据。Hive将SQL查询转换为MapReduce任务,以在Hadoop集群上执行数据处理和分析。

2、Hive起源

回答这个问题之前,先介绍下Hadoop。Hadoop是专门为离线和大数据分析而设计的分布式基础架构。Hadoop的计算模型是MapReduce,将计算任务分割成多个处理单元,并将其分散到一群家用或服务级别的硬件机器上,从而降低成本。但是直接用MapReduce处理大数据会面临难题:

• MapReduce开发需要具备较高的底层细节知识,开发难度大,学习成本高
• 使用MapReduce框架开发,项目周期长,成本高    

   在此背景下Hive应运而生。Hive是基于Hadoop的一个数据仓库工具,本质是将SQL转换成MapReduce任务进行运算。将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,极大降低用户使用难度。

3、Hive架构

3.1 基本组成部分

Hive的架构是一个复杂的系统,通过


来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/70037994/viewspace-3012742/ ,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论
我是负责京东云云官网的技术品牌宣传工作

注册时间:2024-04-10

  • 博文量
    785
  • 访问量
    818618