-
编辑 删除
Presto兼容Hive隐式类型转换
Presto对数据类型的要求比较严格，比如在Hive中常见的数字与字符串进行比较的查询语句，Presto会直接抛类型不一致的错误：PrestoCLI查询结果
-
编辑 删除
说下那些导致Presto查询变慢的JVM Bug和解决方法
背景维护Presto集群，遇到了一些JVMBug会严重导致Presto查询变慢，这里分享下Bugs表现及解决方法。RefProc耗时太久线上Presto运行一段时间后，查询会越来越慢，打了下火焰图，发现30%的CPU都浪费在younggc上了，看了下gclog，如下：2020-12-21T20:50
-
编辑 删除
Presto在滴滴的探索与实践
1.Presto简介▍1.1简介Presto是Facebook开源的MPP（MassiveParallelProcessing）SQL引擎，其理念来源于一个叫Volcano的并行数据库，该数据库提出了一个并行执行SQL的模型，它被设计为用来专门进行高速、实时的数据分析。Presto是一个SQL计算引
-
编辑 删除
Presto 标量函数注册和调用过程简述
标量函数注册函数在能够调用之前，首先要进行注册，上一篇文章已经介绍过函数注册的方法，那么函数在注册时究竟注册了哪些信息呢？函数注册实际上是维护FunctinoRegistry类中的一个MultiMap，Key为函数的限定名(QualifiedName，可以简单地理解为函数名)，Value为SqlFu
-
编辑 删除
Presto 函数实现简述
0.写在前面PrestoFunctions并不能像HiveUDF一样动态加载，需要根据Function的类型，实现Presto内部定义的不同接口，在Presto服务启动时进行注册，然后才能在SQL执行时进行调用。1.函数定义Presto内部将Functions分为以下三大类：ScalarFuncti
-
编辑 删除
Jetty导致Presto堆外内存泄露的排查过程
背景一个Presto集群报警，显示Coordinator内存不足。看了下，发现RES内存(86.7G)>XMX(72G)+堆外内存(10G)，然后看了下PrestoUI里ResourceUtilization的Non-HeapMemoryUsed，只用了200M。问题奇怪，pmap查看进程的内
-
编辑 删除
记一次Presto Worker OOM的查找过程
背景最近Presto集群又上线了几个新业务，伴之而来的是OOM很频繁，且发生时间多在早晨8点左右，线上稳定性是高优需要解决的，所以查找了下导致Presto集群OOM的原因，发现了一些问题，这里抛砖引玉下，可能其他使用Presto的用户也会遇到类似的问题。排查过程我给一些业务划分了不同的label，这
-
编辑 删除
Presto调度task选择Worker方法
Presto调度task方式：publicfinalclassSystemPartitioningHandleimplementsConnectorPartitioningHandle{privateenumSystemPartitioning{SINGLE,FIXED,SOURCE,SCALED,
-
编辑 删除
Presto集群内存不足时保护机制
为了防止集群里节点OOM，Presto有个循环线程来获取当前集群节点和集群整体内存占用情况。通过这篇文章：Presto内存管理相关参数设置我们知道Presto里分为RESERVED_POOL和GENERAL_POOL。判断节点是否阻塞（内存不足）：如果使用RESERVED_POOL（意思是说最大SQ
-
编辑 删除
【2022/2/10】ITPUB新闻早报
今日热点：1.人民银行9日表示，3月1日起实施的“个人存取现金超5万元需登记”新规旨在遏制洗钱犯罪，不会影响居民正常现金存取款业务；2.国防部9日回应美对台军售，强烈要求美方立即撤销对台军售计划，停止美台军事联系；3.上海警方近日捣毁4个诈骗团伙，犯罪嫌疑人以免费义诊和论坛讲座的形式诱骗老年人，涉案
-
编辑 删除
Presto on Spark：扩展 Presto 以支持大规模 ETL
前言Facebook的数据仓库构建在HDFS集群之上。在很早之前，为了能够方便分析存储在Hadoop上的数据，Facebook开发了Hive系统，使得科学家和分析师可以使用SQL来方便的进行数据分析，但是Hive使用的是MapReduce作为底层的计算框架，随着数据分析的场景和数据量越来越大，Hiv
-
编辑 删除
Presto 计算下推原理与实践
背景在介绍Presto计算下推之前，我们先来回顾一下Presto从对应的Connector上读取数据的流程，过程如下：从上图可以看出，client提交SQL到Coordinator上，Coordinator接收到SQL之后，会进行SQL语法语义解析，生成逻辑计划树，然后经过planner处理生成物理
-
编辑 删除
小姐姐都能听懂的 Presto 详解！揭秘 Presto 最佳实践
-Presto简介-1、简介Presto最初是由Facebook开发的一个分布式SQL执行引擎，它被设计为用来专门进行高速、实时的数据分析，以弥补Hive在速度和对接多种数据源上的短板。发展历史如下：2012年秋季，Facebook启动Presto项目；2013年冬季，Presto开源；2017年1
-
编辑 删除
Presto 动态过滤(dynamic filtering)原理与应用
早在2005年，Oracle数据库就支持比较丰富的dynamicfiltering功能，而Spark和Presto在最近版本才开始支持这个功能。本文将介绍Presto动态过滤的原理以及具体使用。ApacheSpark的动态分区裁减ApacheSpark3.0给我们带来了许多的新特性用于加速查询性能，
-
编辑 删除
Presto 在有赞的实践之路
本文主要介绍了Presto的简单原理，以及Presto在有赞的实践之路。一、Presto介绍Presto是由Facebook开发的开源大数据分布式高性能SQL查询引擎。起初，Facebook使用Hive来进行交互式查询分析，但Hive是基于MapReduce为批处理而设计的，延时很高，满足不了用户对
-
编辑 删除
万字干货 | 一文揭秘Presto在腾讯资讯业务中的应用
随着产品矩阵和团队规模的扩张，跨业务、APP的数据处理和分析总是不可避免。一个显而易见的问题就是异构数据源的连通。我们基于PrestoDB构建了业务线内适应腾讯生态的联邦查询引擎，连通了部门内部20+数据源实例，涵盖了90%的查询场景。同时，我们参与公司级的PrestoOteam进行协同共建，在引擎
-
编辑 删除
图文介绍 Presto 如何从逻辑计划树到物理计划树
和其他计算引擎一样，一条SQL从客户的提交到Coordinator端经过SqlParser进行词法和语法解析形成AST树，然后经过Analyzer进行语义分析，生成了逻辑计划（LogicalPlan）；接着经过优化器处理（优化规则都是在PlanOptimizers里面定义好的，然后在LogicalP
-
编辑 删除
Presto 在 Pinterest 的实践
作为一家数据驱动型公司，Pinterest的许多关键商业决策都是基于数据分析做出的。分析平台是由大数据平台团队提供的，它使公司内部的其他人能够处理PB级的数据，以得到他们需要的结果。数据分析是Pinterest的一个关键功能，不仅可以回答商业问题，还可以解决工程问题，对功能进行优先排序，识别用户面临
-
编辑 删除
Presto入门及查询优化方法总结（推荐收藏）
1、Presto简介Presto是Facebook开源的MPP（MassiveParallelProcessing）SQL引擎，其理念来源于一个叫Volcano的并行数据库，该数据库提出了一个并行执行SQL的模型，它被设计为用来专门进行高速、实时的数据分析。Presto是一个SQL计算引擎，分离计算
-
编辑 删除
动态代码生成技术在 Presto 中使用简介
在《ASM与Presto动态代码生成简介》这篇文章中，我们简单介绍了Presto动态代码生成的原理以及Presto在计算表达式的地方会使用到动态代码生成技术。为了加深理解，本文将以两个例子介绍Presto里面动态代码生成的使用。EmbedVersion我们往Presto提交SQL查询以及TaskEx
