ITPub博客

本文整理自快手数据架构工程师张芒，阿里云工程师刘大龙，在 Flink Forward Asia 2022 生产实践专场的分享

数据倾斜，在MapReduce编程模型中十分常见，就是大量的相同key被分配到一个分区里，造成了个别task运行的非常慢，从而影响了整个任务的执行效率。

Kafka通常用于实时流数据架构，以提供实时分析。

没有足够的特征数据，安全策略将是"无根之木，无源之水"。微信安全数据仓库应运而生，成为整个安全业务的特征数据存储中心，每天服务了万亿级的特征数据读写请求，为整个微信安全策略提供了可靠的数据支撑，是微信安全基石之所在。然而，微信安全数据仓库不仅仅是一个存储中心，更是一个特征管理和数据质量管理的中心。在演进过程中，数据仓库一直致力于提升特征管理能力和数据质量保障，实现了特征的管理、共享、分析和数据质量检测等功能。本文将介绍安全数据仓库的起源、演进、当前的架构设计和数据质量保证系统的实现。

因为我写入的这个kafka topic数据流量有近10万条每秒，所以很快这张本地表就塞入了好几亿数据量的数据，很快，同一个聚合查询，眼看随着数据量越来越大，查询效率也变得越来越慢。

本文整理自中原银行数据信息部杜威科，在 Flink Forward Asia 2022 行业案例专场的分享。

本文主要基于团队实际开发经验与积累，并结合了业界对大数据SQL的使用与优化，尝试给出相对系统性的解决方案。

数据仓库相关术语以及数仓概念之间关系整理

本文整理自 Shopee 研发专家李明昆，在 Flink Forward Asia 2022 流批一体专场的分享。

本文整理自美团买菜实时数仓技术负责人严书，在 Flink Forward Asia 2022 实时湖仓专场的分享。

在大数据处理领域，两种突出的数据架构已成为处理大量数据的流行选择：Lambda 架构和 Kappa 架构。这些架构为实时和批处理提供了强大的技术解决方案，使组织能够从其数据中获得有价值的见解。在本文中，我们将深入研究 Lambda 和 Kappa 架构，研究它们的主要特征、优点和注意事项。

我的上家公司是做餐饮系统的，每天中午和晚上用餐高峰期，系统的并发量不容小觑。为了保险起见，公司规定各部门都要在吃饭的时间轮流值班，防止出现线上问题时能够及时处理。

我们经常听到别人谈论数据仓库、数据平台、数据中台、数据湖的相关概念，它们都与数据有关系，但它们之间又有什么区别，下面将围绕数据仓库、数据平台、数据湖和数据中台的概念、架构、使用场景进行介绍。

数据湖是近两年中比较新的技术在大数据领域中，对于一个真正的数据湖应该是什么样子，现在对数据湖认知还是处在探索的阶段，像现在代表的开源产品有iceberg、hudi、Delta Lake。

本文整理自快手技术专家刘建刚，在 Flink Forward Asia 2022 生产实践专场的分享

kafka是一个分布式消息队列。具有高性能、持久化、多副本备份、横向扩展能力。生产者往队列里写消息，消费者从队列里取消息进行业务逻辑。一般在架构设计中起到解耦、削峰、异步处理的作用。

众所周知，Flink 是有状态的分布式计算引擎，状态是 Flink 中非常重要的概念，而在 Flink 中状态和 Checkpoint 机制是密不可分的，因此在讨论 Flink 在 Checkpoint 上优化历程之前，先来看下为什么 Checkpoint 这么重要， Checkpoint 到底做了些什么呢？

数据仓库的建设实施和落地需要团队中不同成员的参与和配合，需要各种各样的规范，规范的分层定义和表命名能让使用者轻而易举地明白该表的作用和含义。因此本文档重点介绍分层规范和可落地的表命名规范。

企业在推行大数据项目时往往把项目规模和范围做得很大，但是事实却是，大多数的大数据项目通常都以失败告终。

我们经常听到别人谈论数据仓库、数据平台、数据中台、数据湖的相关概念，它们都与数据有关系，但它们之间又有什么区别，下面将围绕数据仓库、数据平台、数据湖和数据中台的概念、架构、使用场景进行介绍。