ITPub博客

存算分离的概念最初源于大数据和云计算领域。在早期的大数据和云计算环境中，存储服务和计算服务通常在集群中混合部署，这种存算耦合架构设计主要是为了避免网络IO开销。然而，随着网络性能的大幅提升，从百兆网卡到万兆网卡，网络带宽提升了100倍，网络传输已不再是分布式环境中的瓶颈。

2024 年 12 月 14 日，由飞轮科技主办，腾讯云和阿里云联合主办的 Doris Summit Asia 2024 在深圳圆满落幕。活动当天，人潮涌动，会场弥漫着浓厚的技术气息。此次峰会吸引了众多大数据及数据库领域技术专家及开源爱好者的关注，现场参会者超过 500 名，线上直播吸引了数万名观众，共同见证了这场数据处理及分析领域技术盛宴。本届峰会设有主会场以及智慧金融、泛互联网、政企与智造、S

无论是互联网服务、金融科技、电子商务还是物联网领域，日志数据都是衡量系统性能、监控运行状态、发现潜在问题以及优化用户体验的宝贵资源。大部分企业随着业务规模的不断扩大，日志数据量也在快速增长，原本的日志数据分析方法逐渐暴露出效率低下、处理延迟高、洞察能力不足等问题。具体如下： 日志数据分析的挑战 1、数据量庞大：随着业务规模的扩展，每日产生的日志数据量可达TB级别甚至更多，这对存

从数据模型的角度，可以将数据库分为关系型数据库和非关系型数据库。关系型数据库是指采用了关系模型来组织数据的数据库，其以行和列的形式存储数据，以便于用户理解，关系型数据库这一系列的行和列被称为表，一组表组成了数据库。用户通过查询来检索数据库中的数据，而查询是一个用于限定数据库中某些区域的执行代码。关系模型可以简单理解为二维表格模型，而一个关系型数据库就是由二维表及其之间的关系组成的一个数据组织。

亲爱的社区小伙伴们，Apache Doris 3.0.3 版本已于 2024 年 12 月 02 日正式发布。 该版本进一步提升了系统的性能及稳定性，欢迎大家下载体验。GitHub 下载：https://github.com/apache/doris/releases官网下载：https://doris.apache.org/download行为变更禁止在具有同步物化视图的 MOW 表上进行列更新

数据被各行各业视为宝贵的资产，是推动业务增长和创新的关键。然而，随着数据量的快速增长和数据类型的多样化，如何高效地存储、处理和分析这些数据，成为了企业面临的一大挑战。在这样的背景下，“湖仓一体”(Lakehouse)作为一种新兴的数据架构模式，应运而生，为解决企业数据管理和分析难题提供了新的思路。湖仓一体是什么?湖(数据湖)仓(数据仓库)一体是一种新型的开放式架构，打通了数据仓库和数据湖，将数据仓

客户数据平台（CDP）是什么？CDP（客户数据平台）是一种面向业务增长以消费者为中心的客户数据赋能平台，帮助企业收集、管理和分析跨设备、跨渠道的客户数据，从而提供更好的客户服务和体验。CDP 通过汇集、整合、分析不同渠道和场景的数据，实现客户建模，预测特定客户的最佳下一步行动，并制定相应的营销活动，以提高营销效率、优化客户体验。客户数据平台（CDP）与用户画像联系作为 CDP 平台的核心模块，用戶

导读：Cisco WebEx 早期数据平台采用了多系统架构（包括 Trino、Pinot、Iceberg 、 Kyuubi 等），面临架构复杂、数据冗余存储、运维困难、资源利用率低、数据时效性差等问题。因此，引入 Apache Doris 替换了 Trino、Pinot 、 Iceberg 及 Kyuubi 技术栈，依赖于 Doris 的实时数据湖能力及高性能 OLAP 分析能力，统一数据湖仓及查

一年一度的 Apache Doris 峰会再次启航，Doris Summit Asia 2024 现已开启报名，将于 2024 年 12 月 14 日在深圳正式举办。2024 年，Apache Doris 迎来了 3.0 版本的正式发布。3.0 系列版本正式迈入存算分离新纪元，用户可以在集群部署时选择采用存算一体模式或存算分离模式。基于云原生存算分离的架构，用户可以通过多计算集群可实现查询负载间的

 OLAP（联机分析处理）是一种软件技术，它使分析人员能够迅速、一致、交互地从各个方面观察信息，以达到深入理解数据的目的。它具有FASMI(FastAnalysisofSharedMultidimensionalInformation)，即共享多维信息的快速分析的特征。与传统的OLTP（OnlineTransactionProcessing，联机事务处理）系统相比，OLAP更注重数据的查

SelectDB介绍： SelectDB是基于ApacheDoris构建的现代化数据仓库，支持大规模实时数据上的极速查询分析，主要用于OLAP场景下对大规模数据进行快速分析和查询，它支持多维分析、实时查询、增量更新、高效的数据更新等功能。 SelectDB目前有两个商业化产品：SelectDBCloud和SelectDBEnterprise，能够差异化地满足来自云上和私有化部署

在现代化的数据分析场景中，数据量以指数级速度快速膨胀，分析维度在不断扩展，查询逻辑的复杂度也在日益增加。从性能角度考虑，在承担高并发查询的压力下，秒级别甚至更快的响应速度已成为基本需求。同时，面对有限的计算资源，成本及性能如何平衡，严格的资源管控也显得尤为重要。物化视图作为一种有效的解决方案，兼顾了视图的灵活性和物理表的高性能。它可以预先计算并存储查询结果集，从而在查询请求到达时直接从物化视图中获

数据分析查询工具已成为企业决策过程中不可或缺的一部分。无论是初创公司还是大型跨国企业，都需要借助这些工具来挖掘数据的价值，优化业务流程，提升市场竞争力。面对市场上种类繁多、功能各异的数据分析查询工具，如何选择合适的工具成为了一个令人头疼的问题。

数据清洗（ETL/ELT）是数据治理过程中非常重要的一环，它指的是对数据进行整理、修正、转化、格式化等操作，以确保数据质量和数据准确性。 一、数据清洗（ETL/ELT）的基本原理 数据清洗（ETL/ELT）是在研究或调查过程中对收集到的原始数据进行评估、修正和转换的过程。其基本原理包括：在分析数据源特点的基础上，找出数据质量问题原因，确定清洗要求，建立清洗模型，应用清洗算法、清

亲爱的社区小伙伴们，Apache Doris 2.1.7 版本已于 2024 年 11 月 10 日正式发布。2.1.7 版本持续升级改进，同时在湖仓一体、异步物化视图、半结构化数据管理、查询优化器、执行引擎、存储管理、以及权限管理等方面完成了若干修复。欢迎大家下载使用。立即下载：https://doris.apache.org/downloadGitHub 下载：https://github.c

 在现代计算环境中，信息系统和应用程序变得越来越复杂和多样化，从单一服务器到分布式系统、云计算、微服务架构，系统规模和复杂度的增加使得监控和管理这些系统变得更加具有挑战性。 日志是系统运行的详细记录，例如操作系统主机日志(Linux、VVindows、MacOS等)、网络设备日志(防火墙、交换机、路由器等)、安全设备日志(IPS、IDS等)、中间件日志(Nginx、Tomcat

 降本增效，作为企业持续发展的核心驱动力，不仅关乎成本控制，更在于通过技术创新提升整体运营效率。企业竞争力越来越依赖于其高效运营和精准决策的能力，两种能力的提升又需要庞大的数据支撑。企业庞大的数据急需一个安全易用的载体来承接，就目前的市场使用占有率来看数据仓库是企业的最佳选择。 数据仓库作为企业数据管理的核心，承载着存储、整合、分析和查询企业数据的重要任务。然而，传统的数据仓库

当前，各企业正面临前所未有的数据增量，不仅体现在数据规模的急剧上升，还体现在数据的类型多样性和产生速度的加快。数据体量大固然蕴藏着更大的潜力及可能性，但如何有效利用这些数据，解决实际问题、赋能业务增长，才是各企业发展的关键。因此，企业亟需搭建高效的数据处理与分析平台，以帮助其从海量数据中提取有价值的信息。作为开源的现代化数据仓库项目，Apache Doris 自诞生以来便以其强大的实时分析能力著称

SelectDB 是由飞轮科技基于 Apache Doris 内核打造的现代化数据仓库，支持大规模实时数据上的极速查询分析。 通过实时、统一、弹性、开放的核心能力，能够为企业提供高性价比、简单易用、安全稳定、低成本的实时大数据分析支持。SelectDB 具备世界领先的实时分析能力，能够实现秒级的数据实时导入与同步，在宽表、复杂多表关联、高并发点查等不同场景下，提供超越一众国际知名的同类产品的优秀性

 当前企业对于数据处理的需求日益增加，既要求快速响应实时数据，又需要高效处理历史数据。这一背景下，流批一体（UnifiedStreamandBatchProcessing）作为一种创新的数据处理模式应运而生，它结合了流处理（StreamProcessing）和批处理（BatchProcessing）的优势，为企业提供了更加灵活、高效的数据处理能力。 流批一体是什么？