ITPub博客

在当今数字化时代，数据已成为企业最宝贵的资产之一。随着大数据技术的快速发展，企业对于数据处理、存储和分析的需求日益增长。为了满足这些需求，数据仓库和数据湖这两种数据存储和管理技术应运而生。然而，随着业务场景的复杂化，单一的数据仓库或数据湖已无法满足企业的全面需求。因此，湖仓一体的概念应运而生，成为数据治理的新范式。

湖仓一体（Data Lakehouse）是当前大数据领域热度较高的词汇，这一概念于2020年首 次提出，是数据湖和数据仓库合二为一的新词汇。

作者：石公星，雨润集团基础数据平台架构师导读：数字化转型的浪潮中，高效准确的数据分析能够帮助雨润集团快速洞察市场动态、优化供应链管理、提高生产效率。雨润集团引入了 Apache Doris 构建了统一实时数据仓库，实现了计算效率提升 30 倍、存储资源节省 90%、成本降低超 100 万、人员效率提升 3 倍，为智能化、高效化转型指明了方向。雨润控股集团是一家集食品、地产、商业、物流、旅游、金融和

7 月 11 日，由工业和信息化部网络安全产业发展中心（工业和信息化部信息中心）主办的 2024 信息技术应用创新发展大会暨解决方案应用推广大会在天津落下帷幕，会上集中发布了一系列技术水平先进、应用效果突出、产业带动性强的信息技术创新工作成果。其中，由飞轮科技申报的“基于新一代实时数据仓库 SelectDB 的大数据分析方案” 从全国范围内征集的 1094 个有效方案中脱颖而出，荣获 “2023

在数字化时代，数据已成为企业最宝贵的资产之一。数据仓库作为存储、管理和分析海量数据的核心设施，其重要性不言而喻。而日志分析，作为数据仓库管理的关键环节，对于保障数据仓库的高效运行、及时发现潜在问题以及为决策提供有力支持，都起到了不可或缺的作用。本文将对日志分析的概念、发展历史以及其在数据仓库中的重要性进行详细介绍。

导读：实时数仓是一种能够实时处理和分析数据的数据仓库系统。它通过对大量数据进行实时采集、处理、存储和分析，将最新的数据及时地整合到数据仓库中，并且可以实时响应用户的查询和分析需求。实时数仓国内的开源项目：ApacheDoris，性能全球第一的商业产品SelectDB是基于ApacheDoris构建的现代化数据仓库，以下是关于商业产品SelectDB涉及到的一些技术类专业名词解析。

作者：SelectDB 技术团队导读：湖仓一体（Data Lakehouse）融合了数据仓库的高性能、实时性以及数据湖的低成本、灵活性等优势，帮助用户更加便捷地满足各种数据处理分析的需求。在过去多个版本中，Apache Doris 持续加深与数据湖的融合，已演进出一套成熟的湖仓一体解决方案。为便于用户快速入门，我们将通过系列文章介绍 Apache Doris 与各类主流数据湖格式及存储系统的湖仓一

在数据驱动的时代，数据仓库成为了企业不可或缺的一部分。而数据仓库的建设中，ETL（Extract,Transform,Load）作为核心流程，其重要性不言而喻。本文将带您深入了解ETL的各个方面，包括ETL的定义、历史演变、技术框架的详细讲解以及优缺点分析，旨在为您提供一个全面且详细的ETL知识体系。

日志分析，简而言之，就是对系统、应用或服务在运行过程中产生的日志数据进行收集、整理、分析和挖掘的过程。这些日志数据记录了系统运行的各种信息，包括用户行为、系统性能、异常事件等。通过对这些数据的分析，我们可以深入了解系统的运行状况，发现潜在问题，为优化系统性能、提升用户体验、确保系统安全提供有力支持。

导读：随着快成物流的大宗商品产业链的不断发展，货运轨迹规划和实时数据分析的需求日益迫切，为了保障数据报表更新、用户画像圈选与物流轨迹实时更新等大数据核心系统性能，快成物流引入 Apache Doris 实时数仓升级了大数据算法平台，目前已经部署在 2 套生产集群，存储数据总量达百亿规模，覆盖实时数仓、BI 多维分析、用户画像、货运轨迹信息系统等业务场景。作者共创：快成物流大数据算法平台技术负责人

大数据时代，企业数据分析已经成为推动业务决策、优化运营和创造价值的关键因素。在这个过程中，数据仓库的选择显得尤为重要。一个合适的数据仓库不仅可以满足企业数据存储、管理和分析的需求，还能显著提升数据处理效率，为业务决策提供有力支持。

随着大数据时代的来临，数据仓库成为了企业存储、管理和分析海量数据的重要基础设施。而在数据仓库的应用中，Ad Hoc查询凭借其灵活性和即时性，受到了广泛的关注和应用。接下来为您深入讲解 Ad Hoc 。

亲爱的社区小伙伴们，Apache Doris 2.0.12 版本已于 2024 年 6 月 27 日正式与大家见面，该版本提交了 99 个改进项以及问题修复，欢迎大家下载体验。官网下载： https://doris.apache.org/download/GitHub 下载： https://github.com/apache/doris/releases行为变更不再将建表的默认注释设置为表的类型

导读：随着网易游戏品类及产品的快速发展，游戏数据分析场景面临着越来越多的挑战，为了保证系统性能和 SLA，要求引入新的组件来解决特定业务场景问题。为此，网易游戏引入 Apache Doris 构建了全新的湖仓一体架构。经过不断地扩张，目前已发展至十余集群、为内部上百个项目提供了稳定可靠的数据服务、日均查询量数百万次，整体查询性能得到 10-20 倍提升。内容共建：胡彪，网易游戏高 级大数据开发工程

亲爱的社区小伙伴们，Apache Doris 2.1.4 版本已于 2024 年 6 月 26 日正式发布。在 2.1.4 版本中，我们对数据湖分析场景进行了多项功能体验优化，重点修复了旧版本中异常内存占用的问题，同时提交了若干改进项以及问题修复，进一步提升了系统的性能、稳定性及易用性，欢迎大家下载使用。官网下载页：https://doris.apache.org/download/GitHub

作者：字节跳动数据平台在直播、电商等业务场景中存在着大量实时数据，这些数据对业务发展至关重要。而在处理实时数据时，我们也遇到了诸多挑战，比如实时数据开发门槛高、运维成本高以及资源浪费等。此外，实时数据处理比离线数据更复杂，需要应对多流 JOIN、维度表变化等技术难题，并确保系统的稳定性和数据的准确性。本文将分享基于 Apache Doris 的实时数仓架构在不同业务场景的实践经验，以及该架构带来的

在信息化快速发展的时代，数据仓库作为存储、管理和分析企业海量数据的重要基础设施，其性能和成本效益成为了企业关注的焦点。然而，随着数据量的快速增长和业务需求的不断变化，许多企业面临着数据仓库实时性差、维护成本高等问题。接下来将深入探讨这些问题，并提出相应的解决方案，帮助企业优化数据仓库性能，降低维护成本。

在数据驱动决策的现代商业环境下，数据分析技术有着比较重要的地位。即席查询（AdHocQuery）和OLAP（联机分析处理）作为两种常用的数据分析方法，各自具有独特优势和适用场景。

作为基于 Apache Doris 打造的现代化数据仓库，SelectDB 不拘泥于传统数仓的限制，针对日志数据的特点引入了多项创新性技术，使用户可基于 SelectDB 构建开放、高性能、低成本、统一的日志存储分析平台， 截至目前已在近百家行业内知名企业中落地。

自 Apache Doris 2.1 版本起，许多用户已经使用该功能简化了工作流程，并且极大的便利了从其他数据库系统迁移到 Doris 的工作，即使面对高负载、集群压力较大的情况，开启 Auto Partition 的导入性能表现依旧出色，足以满足实际生产环境的使用需求。自动分区已成为处理大规模数据和应对高并发场景的理想选择。