ITPub博客

腾讯云数据湖计算 DLC(Data Lake Compute，DLC)提供了敏捷高效的数据湖分析与计算服务。该服务采用无服务器架构(Serverless)设计，用户无需关注底层架构或维护计算资源，使用标准 SQL 即可完成对象存储服务(COS)及其他云端数据设施的联合分析计算。

数据湖正在成为一种越来越流行的大数据解决方案，而数据湖这个词已经被大数据供应商赋予了太多不同的含义，如果有什么工作是传统数据仓库做不了的，那就把它塞进数据湖，以至于数据湖已经变成了一个定义模糊的概念。

现代数据栈或数据栈是作为企业数据基础架构基础的云原生应用程序的集合。现代数据栈的概念已迅速普及，并已成为各种规模的组织从数据中提取价值的事实上的方式。与工业价值链一样，现代数据栈遵循摄取、转换、存储和产品化数据的逻辑。

Redshift围绕数据分析、高可靠、高可用等方向，经历了哪些重要迭代? 2022re:Invent最新推出的Zero-ETL“简化数据管道”理念，背后包含哪些技术逻辑?接下来，让我们站在新十年的起点，一起去感受以Redshift为核心的数据技术带来的变革!

数据服务是数据中台体系中的关键组成部分。作为数仓对接上层应用的统一出入口，数据服务将数仓当作一个统一的 DB 来访问，提供统一的 API 接口控制数据的流入及流出，能够满足用户对不同类型数据的访问需求。

平台建设、增量化和 AI on Flink。实时平台是实时业务的技术底座，也是 Flink 面向用户的窗口，需要坚持持续迭代优化，不断增强功能，提升用户效率。

Amazon Aurora zero-ETL与Amazon Redshift 集成的功能助力客户近乎实时地分析 PB 级交易数据，无需自定义数据管道。

Flink CDC是基于数据库的日志 CDC 技术，实现了全增量一体化读取的数据集成框架。配合 Flink 优秀的管道能力和丰富的上下游生态，Flink CDC 可以高效实现海量数据的实时集成。

只有数据模型将数据有序的组织和存储起来之后，大数据才能得到高性能、低成本、高效率、高质量的使用。

提到实时计算或者流计算，我们很自然地会想到Flink。如今，Flink已成为实时计算的事实标准，很多大型互联网企业的实时推荐、实时ETL、实时数仓、实时风控等场景，也都是基于Apache Flink加各种开源的OLAP引擎构建。

数据采集层主要负责收集各类数据，数据的来源分为两类，一类是埋点和业务日志以及服务日志，经由 LCS Agent 进行采集，另一类是数据库数据经由 Binlog 或 Checkpoint 数据集成等方式收集到消息队列中。

MapReduce 的另一个问题是，配置太复杂了。以至于错误的配置最终导致数据处理任务效率低下。

典型的基于提取、转换、加载(ETL)的数据仓库使用 ODS 层、DWD 层和 DWS 层来容纳其关键功能。数据分析师可以灵活的查询 (Query) 数仓中的每一层，获取有价值的商业信息。

数仓主要是围绕着数据使用方与数据开发方诉求进行建设;因此在开始规划数仓建设时，需要先剖析各方需求、痛点与痒点，然后再在这些诉求设计解决方案与确定建设内容。

一旦企业决定需要建设一个数据仓库，并确定了最合理的部署方案，下一步就是研究购买数据仓库平台的可用技术选项。整个过程，往往需要经过万全的考虑。

数据仓库在整个BI系统中起到了支柱的角色，更是海量数据收集、存储、分析的核心。对于保险服务机构来说，创建一个完全整合的、企业级的数据仓库环境是一项很大的挑战。

企业 IT 领域掀起实时数仓热潮。然而，只要稍做梳理就会发现，实时数仓格局未定，各种流派群雄逐鹿，还有很多需要进一步探讨的话题方向。

大数据计算引擎的发展经历了几个过程，从第1代的MapReduce，到第2代基于有向无环图的Tez，第3代基于内存计算的Spark，再到第4代的Flink。因为Flink可以基于Hadoop进行开发和使用，所以Flink并不会取代Hadoop，而是和Hadoop紧密结合。

数据仓库发展了这么多年，技术与产品相对较为成熟，且有完整的建设方法论。技术上大多以大规模并行处理(MPP)、内存计算、列式存储为核心，产品上以 Teradata, Oracle, Vertica, Greenplum, SAP BW 等为代表。

真正的 HTAP(real-time operational analytics)要求先有高性能的 OLTP，且能够很好地支持实时分析。这种类型的 HTAP 系统天然具备实时数仓(real-time analytics)的能力，这也是为什么 Oracle Exadata、SQL Server MPP 架构被广泛用于实时数仓场景的原因。