ITPub博客

我们在离线使用 DataX 的入仓方案，后来实时使用了 Flink CDC 的入仓方案，其实本质上数据可以提供一个统一的解决思路，来解决数据的一致性和灵活性的诉求。

在保持 ClickHouse 原有超高性能的基础上，我们对其进行深度的云原生改造，实现了计算和存储层的弹性扩缩容能力，从而有效减轻运维负担并降低成本。

到2023年，中国的数据量将达到40ZB。数据仓库作为数据密集、计算密集的数据集中处理平台，是数据承载、数字化转型不可或缺的一环。

基于云原生架构的新一代消息队列和流处理引擎 Apache Pulsar 在大数据领域发挥着愈发重要的作用，其应用场景和客户案例也在不断地丰富与扩充。

数据湖是近两年中比较新的技术在大数据领域中，对于一个真正的数据湖应该是什么样子，现在对数据湖认知还是处在探索的阶段，像现在代表的开源产品有iceberg、hudi、Delta Lake。

从 IT 定位来说，湖仓一体核心内容就两块，一个是更强的管理能力，另一个就是更强的OLAP性能，未来网易会在这两个方面继续增强。

群雄并起，诸侯纷争，实时数仓今天的发展现状，像极了“战国时代”。

湖仓一体要求能存能算，既能充分保留原始数据又具备强计算能力可以充分发挥数据价值。但使用数据库实现湖仓一体会面临只能算不能存(只能 House 不能 Lake)的处境，这是由其封闭性、强约束导致的。

Flink开源生态却在悄然布局，有20万开发者关注，超过100家国内外知名公司参与代码贡献，已形成了庞大的用户和开发者生态。

目前中泰证券服务客户超 770 万，为企业融资近 1.5 万亿元，公司管理总资产额超过万亿，在全国各地拥有 300 多家营业部为客户提供各种服务。可以说中泰证券在证券行业拥有着很强的综合实力。

亚马逊云科技Redshift，有效降低了数据分析的门槛，为客户带来了更卓越的体验。尤其在发布了Streaming Ingestion 和 Redshift Serverless之后，可以做到更简单的实时应用分析、更加灵活的数仓架构设计。

作为国内规模最大的 ClickHouse 用户，目前字节跳动内部的 ClickHouse 节点总数超过 1.8W 个。综合来说，字节跳动广泛的业务增长分析很多都建立在 ClickHouse 为基础的查询引擎上。

在广告实时数仓开发技术规范和方案时提到，一些当前实时数仓建设方案的问题，目前各公司在实时数仓建设方式主要采用的是Lambda架构，其显著问题是实时数据和离线数据是分开建设的

面对不同的数据需求，分析的粒度也各不相同，那么怎样更加高效地完成分析，而不是做重复的工作。那就需要数据平台的细粒度、强实时性、高效能。

随着信息的指数级增长，如何高效获取有效信息成为大众关注点。搜索和推荐是两种重要且互为补充的主动/被动信息获取方式。

伴随着大数据时代的到来，数据大屏可视化展示技术成为一个热门的话题，引起了人们极大的关注。但是，关于数据大屏可视化展示，你知道多少?大屏可视化系统的发展未来如何?我们本文梳理了大数据可视化技术现状以及发展方向，以及实时数仓发挥的关键能力。

在做数据分析之前，少不了要和各种开源引擎打交道，那么，不同引擎之间是什么关系，实时数仓是如何一步步跨越技术障碍，推动企业业务走向现代化数据架构的。在引擎选型之前，我们先看下OLAP与OLTP的区别。OLAP与OLTP的区别OLTP(OnlineTransactionProcessing联机事务处理)，是传统关系型数据库的应用技术，提供日常的、基本的事务处理，比如在线交易之类。OLAP(Online

随着互联网和大数据技术的发展，实时计算框架也在推陈出新，向着高吞吐、高可用、低延迟准实时的方向发展。具体而言，主流的计算引擎不外乎三个：Flink、Spark Streaming、Storm。

Apache DolphinScheduler 发布了 3.1.3 版本。此版本主要基于 3.1.2 版本进行了 bug 修复，共计修复 23 个 bug，并更新 1 个文档修复。

从数据库到数据仓库，最后到数据湖，随着数据量和数据源的增加，数据格局正在迅速变化。