ITPub博客

.css-1yuhvjn{margin-top:16px;}.css-376mun{position:relative;display:inline;}.css-1hhle02.FileLinkCard{-webkit-align-items:center;-webkit-box-align:cen

一、概述Presto（Trino）是一个快速、分布式的SQL查询引擎，可以用于查询各种数据源，包括Hadoop、NoSQL、关系型数据库等。下面是Presto（Trino）SQL语法的概述：它支持标准SQL语法，包括以下SQL命令：SELECT：用于从一个或多个表中检索数据，指定所需的列和过滤条件。

一、概述Trino(前身为PrestoSQL)是一款高性能，分布式的SQL查询引擎，可以用于查询各种类型的数据存储，包括Hive、Mysql、Elasticsearch、Kafka、PostgreSQL等。在使用Trino时，可以通过一些参数来控制查询的行为，例如：coordinator节点和wor

（一）好好的系统，为什么要分库分表？本文是《分库分表ShardingSphere5.x原理与实战》系列的第二篇文章，距离上一篇文章已经过去好久了，惭愧惭愧～还是不着急实战，咱们先介绍下在分库分表架构实施过程中，会接触到的一些通用概念，了解这些概念能够帮助理解市面上其他的分库分表工具

一、背景数仓建设离不开数据模型，数据分析师通过数据模型分析归纳各类数据，模型中离不开各种数据表，表代表不同维度数据，从而表/数据之间有上下游依赖关系，数据的产出是由任务计算得出，分为周期性或实时产出，所以数据之间的依赖等价于计算任务的依赖。数据平台的调度系统作用为

一、Hive小文件概述在Hive中，所谓的小文件是指文件大小远小于HDFS块大小的文件，通常小于128MB，甚至更少。这些小文件可能是Hive表的一部分，每个小文件都包含一个或几个表的记录，它们以文本格式存储。Hive通常用于分析大量数据，但它在处理小文件方面表现不佳，Hive中存在大量小文件会引起

一、YARNProxy概述Web应用程序代理是YARN的一部分。默认情况下，它将作为资源管理器（RM）的一部分运行，但可以配置为以独立模式运行。代理的原因是为了减少通过YARN进行基于网络的攻击的可能性。在YARN中，应用主机（AM）有责任提供webUI并将该链接发送到RM。这引发了许多潜在的问题。

一、概述Hive是基于Hadoop的一个数据仓库工具，可以将结构化数据文件映射为一张数据库表，并提供类SQL语句操作。Hive内置了很多函数，可以满足基本的查询需求，同时还支持自定义函数(UDF)来实现更加灵活的操作。官方文档：https://cwiki.apache.org/confluence/

全网全大数据面试提升手册！部分：Spark优化1.并行度Hudi对输入进行分区默认并发度为1500，以确保每个Spark分区都在2GB的限制内（在Spark2.4.0版本之后去除了该限制），如果有更大的输入，则相应地进行调整。建议设置shuffle的并发度，配置项为hoodie.[insert

.css-1yuhvjn{margin-top:16px;}.css-376mun{position:relative;display:inline;}.css-1hhle02.FileLinkCard{-webkit-align-items:center;-webkit-box-align:cen

.css-1yuhvjn{margin-top:16px;}.css-376mun{position:relative;display:inline;}.css-1hhle02.FileLinkCard{-webkit-align-items:center;-webkit-box-align:cen

.css-1yuhvjn{margin-top:16px;}.css-376mun{position:relative;display:inline;}.css-1hhle02.FileLinkCard{-webkit-align-items:center;-webkit-box-align:cen

.css-1yuhvjn{margin-top:16px;}.css-376mun{position:relative;display:inline;}.css-1hhle02.FileLinkCard{-webkit-align-items:center;-webkit-box-align:cen

.css-1yuhvjn{margin-top:16px;}.css-376mun{position:relative;display:inline;}.css-1hhle02.FileLinkCard{-webkit-align-items:center;-webkit-box-align:cen

导读：随着流批一体技术的发展，和对实时查询的需求以及出于成本的优化考虑，小米对数据湖iceberg技术做了一些实践和场景落地。今天介绍的内容主要有以下四个方面：Iceberg技术简介Iceberg在小米的应用实践基于Iceberg的流批一体的探索未来规划分享嘉宾｜李培殿小米软件研发工程师编辑整理｜陈

来这里找志同道合的小伙伴！

本期作者邱亮哔哩哔哩开发工程师2020年加入B站，ApacheSparkcontributor，ApacheKyuubicontributor。目前主要从事Spark，Hive和Ranger的研发工作。杨洋哔哩哔哩开发工程师2021年加入B站，专注于开源大数据技术，在团队中主要负责Presto、

分享嘉宾：杜军令字节跳动大数据工程师出品平台：DataFunTalk导读：Doris是一种MPP架构的分析型数据库，主要面向多维分析、数据报表、用户画像分析等场景。自带分析引擎和存储引擎，支持向量化执行引擎，不依赖其他组件，兼容MySQL协议。01Doris简介ApacheDoris具备以下几个特点

▼关注「ApacheFlink」，获取更多技术干货▼摘要：本文整理自快手实时计算数据团队技术专家李天朔在FlinkForwardAsia2021实时数仓专场的演讲。主要内容包括：业务特点及实时数仓保障痛点快手实时数仓保障体系架构春节活动实时保障实践未来规划Tips：点击「阅读原文」查看原文视频&am

背景在B站，每天都有PB级的数据注入到大数据平台，经过离线或实时的ETL建模后，提供给下游的分析、推荐及预测等场景使用。面对如此大规模的数据，如何高效低成本地满足下游数据的分析需求，一直是我们重点的工作方向。我们之前的数据处理流程基本上是这样的：采集端将客户端埋点、服务端埋点、日志、业务数据库等数据