ITPub博客

导读：随着网易游戏品类及产品的快速发展，游戏数据分析场景面临着越来越多的挑战，为了保证系统性能和 SLA，要求引入新的组件来解决特定业务场景问题。为此，网易游戏引入 Apache Doris 构建了全新的湖仓一体架构。经过不断地扩张，目前已发展至十余集群、为内部上百个项目提供了稳定可靠的数据服务、日均查询量数百万次，整体查询性能得到 10-20 倍提升。内容共建：胡彪，网易游戏高 级大数据开发工程

亲爱的社区小伙伴们，Apache Doris 2.1.4 版本已于 2024 年 6 月 26 日正式发布。在 2.1.4 版本中，我们对数据湖分析场景进行了多项功能体验优化，重点修复了旧版本中异常内存占用的问题，同时提交了若干改进项以及问题修复，进一步提升了系统的性能、稳定性及易用性，欢迎大家下载使用。官网下载页：https://doris.apache.org/download/GitHub

作者：字节跳动数据平台在直播、电商等业务场景中存在着大量实时数据，这些数据对业务发展至关重要。而在处理实时数据时，我们也遇到了诸多挑战，比如实时数据开发门槛高、运维成本高以及资源浪费等。此外，实时数据处理比离线数据更复杂，需要应对多流 JOIN、维度表变化等技术难题，并确保系统的稳定性和数据的准确性。本文将分享基于 Apache Doris 的实时数仓架构在不同业务场景的实践经验，以及该架构带来的

在信息化快速发展的时代，数据仓库作为存储、管理和分析企业海量数据的重要基础设施，其性能和成本效益成为了企业关注的焦点。然而，随着数据量的快速增长和业务需求的不断变化，许多企业面临着数据仓库实时性差、维护成本高等问题。接下来将深入探讨这些问题，并提出相应的解决方案，帮助企业优化数据仓库性能，降低维护成本。

在数据驱动决策的现代商业环境下，数据分析技术有着比较重要的地位。即席查询（AdHocQuery）和OLAP（联机分析处理）作为两种常用的数据分析方法，各自具有独特优势和适用场景。

作为基于 Apache Doris 打造的现代化数据仓库，SelectDB 不拘泥于传统数仓的限制，针对日志数据的特点引入了多项创新性技术，使用户可基于 SelectDB 构建开放、高性能、低成本、统一的日志存储分析平台， 截至目前已在近百家行业内知名企业中落地。

自 Apache Doris 2.1 版本起，许多用户已经使用该功能简化了工作流程，并且极大的便利了从其他数据库系统迁移到 Doris 的工作，即使面对高负载、集群压力较大的情况，开启 Auto Partition 的导入性能表现依旧出色，足以满足实际生产环境的使用需求。自动分区已成为处理大规模数据和应对高并发场景的理想选择。

物化视图（MaterializedView）是一种特殊的数据库对象，它包含了某个查询结果的预计算数据，并将其存储在数据库中，以提高查询性能。物化视图与普通的虚拟视图（View）在多个方面存在显著区别。

在数字化浪潮席卷全球的今天，保险行业作为金融体系的重要组成部分，正面临着前所未有的挑战与机遇。随着大数据、云计算、人工智能等技术的快速发展，保险行业的数据量呈现出爆炸式增长，数据分散性也愈发明显。如何有效整合这些分散的数据，实现精细化运营，成为了保险企业亟待解决的问题。

在当今快节奏的商业环境中，物流行业作为连接供应商与消费者的桥梁，其高效运转对于整个供应链的稳定性至关重要。然而，传统的物流管理系统在处理复杂多变的物流 数据时，往往显得力不从心，导致处理效率低下，影响了企业的整体运营效果。那么，如何提高物流管理系统的处理效率呢？

传统数据库，也被称为关系型数据库，主要用于存储和管理结构化的数据，如文本、数字和日期等。这些数据通常按照表格的形式存储，并通过一系列预定义的规则进行管理。传统数据库的典型应用包括财务系统、人力资源管理系统、库存管理系统等。

Apache Doris 2.0.11 版本已于 2024 年 6 月 5 日正式与大家见面，该版本提交了 123 个改进项以及问题修复，进一步提升了系统的性能及稳定性，欢迎大家下载体验。

随着全球汽车行业向电动化、智能化加速转型，对车端数据实时精准响应的需求也越来越高，经过对比选型，极越汽车选择 Apache Doris 作为实时数仓底座来升级 BI 分析平台和用户画像系统。

作者：田向阳，联通西部创新研究院 大数据专家共创：SelectDB 技术团队导读： 数据是 5G 全连接工厂的核心要素，为支持全方位的数据收集、存储、分析等工作的高效进行，联通 5G 全连接工厂从典型的  Lambda 架构演进为 All in  Apache Doris 的实时/离线一体化架构，并凭借 Doris 联邦查询能力打造统一查询网关，数据处理及查询链路大幅简化，为联

实时数仓的日志管理与分析旨在有效地收集、处理、存储和分析来自各种系统和应用程序的日志数据，为实时决策提供有力支持。另外对于保障系统、业务稳定性至关重要，常用于故障排查、监控告警等，企业需要构建统一的日志管理与分析平台。常见的日志种类有服务器日志、网络设备日志、物联网日志、业务日志等。

用户画像是指依据数据分析和挖掘结果，对用户的基本信息、特征、兴趣和行为等进行描绘的方法。这涉及到深度挖掘用户数据，然后对整体数据进行分类，并分析数据各类结果的特征、趋势和所属群体的组成等。通过这种方式，企业可以得出用户人群的特征和个体差异，形成线上用户画像和散装用户群。行为分析则更侧重于用户在具体时间、地点进行的操作行为，这通常通过埋点等方式捕获，并对这些行为进行深入分析。

近日，在 ClickHouse 发起的分析型数据库性能测试排行榜 ClickBench 中，现代化实时数仓 SelectDB 在时隔两年后再次完成登顶，在全部近百款数据库和数十种机型中，性能位居总榜第一！ClickBench 是业界最为权威的数据库分析性能评测之一，有关 ClickBench 的介绍参考过往文章：在 ClickBench 性能排行榜中，测试数据均取自真实生产环境、涵盖数据类型多样、

实时数仓MPP查询的结构和原理是构建高效数据处理和分析系统的核心。MPP（MassivelyParallelProcessing）架构，通过并行处理和分布式计算，实现了对大规模数据的快速分析和查询。在查询引擎方面，Doris采用MPP的模型，节点间和节点内都并行执行，也支持多个大表的分布式ShuffleJoin，从而能够更好应对复杂查询。

实时数仓的存储方式有行式存储和列式存储，所谓行式存储，指存储结构化数据时，在底层的存储介质上，数据是以行的方式来组织的，即存储完一条记录的所有字段，再存储下一条数据的所以字段，以此类推；

2024 年 5 月 21 日，由阿里云联合飞轮科技共同举办的「阿里云数据库 SelectDB 版商业化产品发布会」于线上召开。阿里巴巴集团副总裁、阿里云数据库产品事业部负责人李飞飞宣布，阿里云数据库 SelectDB 版在中国站及国际站全面发布，正式开启商业化的全新篇章！