-
编辑 删除
存储计算分离架构解析
在未来将会出现越来越多的新数据库系统，拥抱存算分离的架构理念，从现存的存算耦合系统向存算分离范式的迁移过程也会加速进行。
-
编辑 删除
Flink、Iceberg和Hive的Catalog比较研究
所谓Catalog即数据目录，简单讲，Catalog是企业用于管理数据资产的方式，Catalog借助元数据来管理数据，包括数据收集、组织、访问、发现和治理。
-
编辑 删除
Fiber 调度机制
Fiber这个名词并不是React的首创，和服务器端开发中的中纤程（Fiber）相同，后端开发中的纤程，也有着不同的名字，例如C/C++的协程、Java中的Loom（孵化中）、Go中的goroutine；这些不同名字的背后其实都是一个目的——通过线程复用降低线程的使用成本。
-
编辑 删除
Spark Catalog深入理解与实战
Spark识别Hive，也是需要依赖Hive配置项的，配置项的来源可以是$HIVE_HOME环境变量，也可以从Spark的运行环境的classpath下加载Hive相关的配置文件。
-
编辑 删除
企业为何要构建敏捷数据分析平台
提到数据分析1.0时代，就需要回归到数据仓库的兴起时期。当时客户（业务）和生产过程（交易）被集中到巨大的存储库中，如eCDW（企业整合数据仓库）。这让企业对商业现象的客观理解方面取得了真正的进展，让管理者在做出决策时也能够基于对事实的理解，而不是仅凭直觉。
-
编辑 删除
Flink 流式写入Iceberg实现原理
Iceberg作为凌驾于HDFS和S3等存储系统之上的数据组织框架，提供了数据写入、读取、文件管理和元数据管理等基本功能，虽然Iceberg提供了丰富的API接口，但是面向API开发需要使用方比较了解其原理和实现细节，还是显得门槛过高。此外，在面向实时数据读写场景，需要有一个桥接框架来自动完成数据的读写，于是Iceberg和Flink成为天作之合。
-
编辑 删除
一种基于Flink Window的实时指标统计方法
考虑到查询时间范围不限，数据摄入速率和规模不限，在可接受的时间内响应查询，必然需要提前物化查询结果。梳理指标，可以将这些指标分为两类：可物化的指标和不可物化的指标。
-
编辑 删除
Hudi 起源分析
Hudi（Hadoop Update Delete Incremental）官方介绍是为数据湖之上提供事务支持、行级别更新/删除（Row Level Update/deletes）和变更流（Change Stream）的一个数据湖框架，最早是由Uber开发于2016年，2017进入开源社区，并在2020年成为Apache 项目。
-
编辑 删除
数据湖常用查询优化技术
MinMax每个Iceberg文件的头部元数据信息中记录了当前文件每个列的最大最小值，比如下图中的parquet文件数据记录包含两列：year和uid，file1.parquet中列year的最大和最小值分别是2019和2018，列uid的最大和最小值分别是23000和12000。当我们进行查询select * from event where year=2019 and uid
-
编辑 删除
大数据平台到底该如何设计？
设计大数据平台无非是满足企业的数据查询和分析需求，最终为企业的运营服务。最终交到运营手里的大数据产品可以是报表、看板以及其他BI工具。实际上，从大数据运营平台沿着数据链路的产生方向往上游推，还存在着大数据采集与存储平台、大数据开发与计算平台、大数据治理平台等。
