ITPub博客

本文将介绍 StarRocks 湖仓融合的四种范式。

随着大数据时代的到来，金融行业对于数据的需求与应用日益增长，营销、合规、运营等对内外部数据都有大量需求。但与此同时，金融行业也面临着越来越多的数据安全风险和威胁，国家也在法律层面出台了《网络安全法》、《数据安全法》、《个人信息保护法》对数据安全进行立法规范，保障金融行业数据安全防护日趋重要。

互联网公司发展到一定阶段，各种场景的数据需求会越来越多，业务通过数据进行快速迭代、决策，已成为各家互联网公司必备的能力。要解决猛增 数据的清洗 以及 海量历史数据的加工，势必要引入大数据能力。B站是 09 年成立的互联网公司，但整体大数据体系的建设相对较晚，17年成立大数据团队，19年才开始规模化的建设，随着公司快速发展，数据规模也在爆发式的增长。

本文整理自蚂蚁集团高级技术专家、蚂蚁集团流计算平台负责人李志刚，在 Flink Forward Asia 2022 平台建设专场的分享。

Spark 大家都很熟悉，但如何在云原生场景下应用好它是一个难点。本次将分享茄子科技在 Spark on K8s 方面的实践。

本文将对Hive分桶的合理性进行分析，阐述了分桶的原理、优势以及如何设计合理的分桶方案。通过探讨分桶在不同场景下的应用，我们可以更好地理解分桶对于提高查询性能和数据管理的重要性。

本文将介绍其中一项，Hive表设计优化的重要性，以及一些实用技巧和方法，希望能帮助你提高大数据分析的效率。

1991年，比尔·恩门（Bill Inmon）出版了他的第一本关于数据仓库的书《Building the Data Warehouse》，标志着数据仓库概念的确立。

最近在看一些大数据的东西，发现对其中的shuffle过程很模糊，于是决定学习一下，深入之后又发现对整个mapreduce的数据完成处理过程也同样模糊。

在大数据时代，规范地进行数据资产管理已成为推动互联网、大数据、人工智能和实体经济深度融合的必要条件。贴近业务属性、兼顾研发各阶段要点的研发规范，可以切实提高研发效率，保障数据研发工作有条不紊地运作。而不完善的研发流程，会降低研发效率，增加成本与风险。

本文主要介绍 Apache Paimon 在同程旅行的生产落地实践经验。在同程旅行的业务场景下，通过使用 Paimon 替换 Hudi，实现了读写性能的大幅提升（写入性能 3.3倍，查询性能 7.7倍）。

本文主题为 Gluten 向量化引擎，提速 Spark 两倍性能。

本文整理自上海数⽲信息科技有限公司⼤数据架构师杨涵冰，在 Flink Forward Asia 2022 流批一体专场的分享。

我们知道数据仓库是晚于数据库出现的，当 TP 数据库无法满足日益增长的数据分析需要时，人们便通过架设单独的数据库把 AP 业务独立出来就形成了数据仓库（逻辑概念）。后续出现了专门的数据仓库产品为 AP 业务服务，由于数据仓库在技术上本身也是个数据库，因此继承了数据库的诸多特性，比如元数据和数据约束，这使得从 TP 数据库过渡到 AP 数据仓库较为平滑。

本文将详细介绍 Elasticsearch Rollup 功能，包括其产生背景、应用场景、应用实例以及实战中的注意事项。通过本文，你将对 Elasticsearch Rollup 功能有一个全面的了解，从而提高你的数据处理能力。

Apache Flink PMC（项目管理委员）很高兴地宣布发布 Apache Flink 1.17.0。Apache Flink 是领先的流处理标准，流批统一的数据处理概念在越来越多的公司中得到认可。得益于我们出色的社区和优秀的贡献者，Apache Flink 在 Apache 社区中一直保持着快速增长，并且是最活跃的社区之一。Flink 1.17 有 172 位贡献者热情参与，完成了 7 个 FLIP 和 600 多个 issue，为社区带来了许多令人兴奋的新功能和改进。

本文整理自 Airwallex Risk ML Platform Team 董大凡，在 Flink Forward Asia 2022 实时风控专场的分享。

本文整理自阿里巴巴高级技术专家祝海峰，在 Flink Forward Asia 2022 流批一体专场的分享。

本文整理自中泰证券大数据中心实时计算平台架构师连序全，在 Flink Forward Asia 2022 行业案例专场的分享。

Lakehouse Analytics Service 是火山引擎上对外提供的支持多引擎多租户的湖仓一体服务。