next:   for:     row = source.next()     if filterExpr.Eval(row):       // return a new row containing just column o       returnedRow row       for col in selectedCols:         returnedRow.append(row[col])       return returnedRow

// first 
create an n + 
1 
result, 
for 
all 
values 
in the n 
column 

projPlusIntIntConst.Next(): 

  batch = source.Next() 





  
for i < batch.n: 

    outCol[i] = intCol[i] + constArg 





  
return batch 





// 
then, compare the 
new 
column 
to the m 
column, putting the 
result 
into 

// a selection vector: a 
list 
of the selected 
indexes 
in the 
column batch 





selectLTIntInt.Next(): 

  batch = source.Next() 





  
for i < batch.n: 

    
if int1Col < int2Col: 

      selectionVector.append(i) 





  
return batch 
with selectionVector 





// finally, we materialize the batch, 
returning actual 
rows 
to the 
user, 

// containing just the 
columns requested: 





materialize.Next(): 

  batch = source.Next() 





  
for s < batch.n: 

    i = selectionVector[i] 

    returnedRow 
row 

    
for 
col 
in selectedCols: 

      returnedRow.append(cols[
col][i]) 

      yield returnedRow

• 基于数据驱动的 Push Based 模式，上游算子推送数据到下游算子

• 基于需求的 Pull Based 模式，下游算子主动从上游算子拉取数据。经典的火山模型就是 Pull Based 模式。

Push Based 的执行模式提高了缓存效率，能够更好地提升查询性能。

参考：Push vs. Pull-Based Loop Fusion in Query Engines

现代数据湖分析引擎的架构

通过上一节的介绍，相信读者已经对数据湖分析引擎的前沿理论有了相应了解。在本节中，我们以 StarRocks 为例，进一步介绍数据湖分析引擎是怎么有机的结合上述先进理论，并且通过优雅的系统架构将其呈现给用户。 

如上图所示，StarRocks 的架构非常简洁，整个系统的核心只有 Frontend (FE)、Backend (BE) 两类进程，不依赖任何外部组件，方便部署与维护。其中 FE 主要负责解析查询语句（SQL），优化查询以及查询的调度，而 BE 则主要负责从数据湖中读取数据，并完成一系列的 Filter 和 Aggregate 等操作。

Frontend

FE 的主要作用将 SQL 语句通过一系列转化和优化，最终转换成 BE 能够认识的一个个 Fragment。一个不那么准确但易于理解的比喻，如果把 BE 集群当成一个分布式的线程池的话，那么 Fragment 就是线程池中的 Task。从 SQL 文本到 Fragment，FE 的主要工作包含以下几个步骤:

• SQL Parse：将 SQL 文本转换成一个 AST(抽象语法树)
• Analyze：基于 AST 进行语法和语义分析
• Logical Plan：将 AST 转换成逻辑计划
• Optimize：基于关系代数，统计信息，Cost 模型对逻辑计划进行重写，转换，选择出 Cost “最低” 的物理执行计划
• 生成 Fragment：将 Optimizer 选择的物理执行计划转换为 BE 可以直接执行的 Fragment
• Coordinate：将 Fragment 调度到合适的 BE 上执行 

Backend

BE 是 StarRocks 的后端节点，负责接收 FE 传下来的 Fragment 执行并返回结果给 FE。StarRocks 的 BE 节点都是完全对等的，FE 按照一定策略将数据分配到对应的 BE 节点。常见的 Fragment 工作流程是读取数据湖中的部分文件，并调用对应的 Reader （例如，适配 Parquet 文件的 Parquet Reader 和适配 ORC 文件的 ORC Reader等）解析这些文件中的数据，使用向量化执行引擎进一步过滤和聚合解析后的数据后，返回给其他 BE 或 FE。 

本篇文章主要介绍了极速数据湖分析引擎的核心技术原理，从多个维度对比了不同技术实现方案。为方便接下来的深入探讨，进一步介绍了开源数据湖分析引擎 StarRocks 的系统架构设计。希望和各位同仁共同探讨、交流。

附录