-
编辑 删除
[SPARK][SQL] Tungsten Codegen 全阶段代码生成，让代码“定制化”
全阶段代码生成，即WSCG。它指的是基于同一 Stage 内操作符之间的调用关系，把多个 RDD 的 com
-
编辑 删除
[SPARK][SQL] Tungsten Codegen优势与表达式生成
今天我们来聊一聊Spark中的CodeGen。Tungsten 是 Spark 对CPU和内存使用优化一揽子
-
编辑 删除
[SPARK][SQL] Tungsten优化带来的福报
Tungsten 可以说为Spark成为大数据必备的主流组件奠定了基础，同时可以给其他的分布式计算框架提供着
-
编辑 删除
[SPARK][SQL] 聊一聊Spark 3.0中的DPP特性
DPP（Dynamic Partition Pruning，动态分区剪裁）是 Spark 3.0引入的非常重
-
编辑 删除
[LakeHouse] 为什么Hudi引入了Hbase作为索引
数据湖架构的其中一个目的就是让负责批量写入的存储系统也能支持实时的写入的能力，这样可以将存储层统一起来，减少
-
编辑 删除
[SPARK][SQL] 聊聊Spark 3.3 中的Runtime Filter Joins
今天来聊聊Spark 3.3 中的Runtime Filter Joins的实现。行级运行时过滤器（row-
-
编辑 删除
[Delta][SQL] Delta开源付费功能，最全分析ZOrder的源码实现流程
通常为提高数据处理的效率，计算引擎要实现谓词的下推，而存储引擎可以根据下推的过滤条件尽可能的跳过无关数据或文
-
编辑 删除
[LakeHouse] Delta Lake全部开源，聊聊Delta的实现架构
刚刚结束的Data + AI summit上，Databricks宣布将Delta Lake全部开源。目前在
-
编辑 删除
[SPARK][SQL] 一切梦的开始Spark AQE的源码初探
在Spark2.0版本以前，Spark的核心一直是Core模块。而SQL的优化采用的主要是基于启发式、静态的
-
编辑 删除
[SPARK][SQL] 面试问题之Spark AQE新特性
SparkAQE是spark 3.0引入的一大重要功能，今天我们来聊一聊AQE的实现原理。了解一个功能，先来
-
编辑 删除
[SPARK][SQL] SparkSQL中的统计信息可能和你想象的不一样
今天先从一个问题开始。假如我们创建了一个只有两个字段的Hive分区表，且只在里面插入两行数据（如下所示），那
-
编辑 删除
?[LakeHouse] 数据湖之Iceberg一种开放的表格式
今天来闲谈下数据湖三剑客中的iceberg。Iceberg项目2017年由Netflix发起， 它是在201
-
编辑 删除
[SPARK][CORE] 面试问题之 3.2新的特性Push-based Shuffle源码解析
Spark 3.2为spark shuffle带来了重大的改变，其中新增了push-based shuffl
-
编辑 删除
?[SPARK][CORE] 面试问题之谈一谈Push-based shuffle
在Spark3.2中引入了领英设计的一种新的shuffle方案，今天我们先来了解下其大致的设计原理，之后会再
-
编辑 删除
[SPARK][CORE] 面试问题之什么是external shuffle service？
在讨论external shuffle service的具体实现之前，我们先来回顾下spark shuffl
-
编辑 删除
[SPARK][CORE] 面试问题 之 Spark Shuffle概述
一提到shuffle, 我们犹如“谈虎色变”。shuffle是大数据中的性能杀手，其来源于大数据中的元老级的
-
编辑 删除
[SPARK][CORE] 面试问题之 Shuffle reader 的细枝末节 （下）
在Spark中shuffleWriter有三种实现，分别是bypassMergeSortShuffleWri
-
编辑 删除
[SPARK][CORE] 面试问题之 Shuffle reader 的细枝末节 （上）
之前我们已经了解了shuffle writer的详细过程，那么生成文件后会发生什么呢？以及它们是如何被读取呢
-
编辑 删除
[SPARK][CORE] 面试问题之UnsafeShuffleWriter流程解析（下）
Unsafe Shuffle的实现在一定程度上是Tungsten内存管理优化的的主要应用场景。其实现过程实际
-
编辑 删除
[SPARK][CORE] 面试问题之UnsafeShuffleWriter流程解析（上）
在说UnsafeShuffleWriter 前，需要先细谈下Tungsten对内存管理的优化。当然这里就不展
