ITPub博客

作者｜隐形（邢颖）， 网易资 深数据库内核工程师编辑整理｜SelectDB 技术团队导读：作为网易重要的业务线，灵犀办公和云信针对大规模日志/时序数据处理和分析的挑战，分别构建了灵犀 Eagle 监控平台和云信数据平台。本文将重点介绍 Apache Doris 在网易日志和时序场景中的应用，如何使用  Apache Doris 替换 Elasticsearch 和 InfluxDB，从而

实时数仓架构是一种数据仓库架构，主要设计用于实时或近实时地处理和分析数据。这种架构可以极大地提高数据的处理速度和响应速度，使得企业能够更快地获取业务洞察并做出决策。

分析型数据库系统是一种专门用于存储和处理大量结构化数据的数据库系统。它的设计目标是支持复杂的数据分析和挖掘操作，提供高性能、可扩展的查询和分析方案。

数据仓库是一个集中式存储和管理结构化数据的平台，而数仓分层则是根据数据的来源、功能和应用，将其分为不同的逻辑层级。这些层级通常包括：数据接入层、数据仓库层、数据集市层和数据应用层。每一层都有其特定的功能和作用。

数仓建模是数据仓库建设过程中的核心技术之一。数仓建模方式是指根据业务需求,将数据仓库中的数据按照一定的规则、标准进行分类、整理和归类，然后建立数据仓库的存储结构，使得数据仓库能够满足不同层次用户的查询和分析需求，以及数据仓库性能和可维护性的要求。常用的数仓建模方法有维度建模方法和实体关系建模方式。下面将对这两种建模方式进行详细介绍。

数据库目前是分为两大类，分别是关系型数据库和非关系型数据库，而分析型数据库是根据数据库的作用来划分的。

分析数据库是面向分析应用的数据库，与传统的数据库不同，它可以对数据进行在线统计、数据在线分析、即时查询等，从而发掘数据的价值信息，是数据库产品一个重要的分支。

如今数据已经成为了企业和组织的核心资产。如何有效地管理和利用这些数据，成为了决定竞争力的关键。分析型数据库作为数据处理领域的重要工具，为各行各业提供了强大的数据分析和洞察能力。基于分析型数据库（Apache Doris ）构建的现代化数据仓库 SelectDB， 支持大规模实时数据上的极速查询分析。那关于 SelectDB 主要的使用场景有哪些呢？

随着大数据时代的来临，实时数据处理与分析成为企业核心竞争力的关键因素之一。在这场数据革命中，SelectDB成为引领者。从百度自研的实时数仓平台 Palo，到开源项目 Apache Doris，再到飞轮科技研发的 SelectDB，这些名字都代表着大数据处理领域的前沿技术和最 佳实践，接下来带您深入了解实时数仓及其发展现状。

作者：SelectDB 技术团队现如今企业的数据查询需求在不断增多，在共享同一集群时，往往需要同时面对多个业务线或多种分析负载的并发查询。在有限的资源条件下，查询任务间的资源抢占将导致性能下降甚至集群不稳定，因此负载管理的重要性不言而喻。从业务场景出发，用户负载管理的需求主要来自以下几方面：多个业务部门或租户可能共享同一套集群时，为避免不同租户间的负载相互影响，需保证每个租户的资源使用独立性和性能

随着云时代的到来，越来越多企业开始在公有云、私有云乃至 K8s 容器平台构建实时数据平台。云计算基础设施的革新，促使着数据仓库朝着云原生的方向发展。而用户日益复杂的业务负载和降本增效的需求，对于系统资源的精细化管理和成本效益等方面提出了更高的要求。基于 Apache Doris 的现代化实时数据仓库 SelectDB 面向企业灵活弹性的系统需求，飞轮科技基于 Apache Doris 打造了现代化

作者 | SelectDB 技术团队作为广受认可的分布式数据库，OceanBase 已在众多企业关键业务系统中得到广泛应用。在 Apache Doris 社区，有众多用户选择基于 OceanBase 与 Apache Doris 以构建强大的数据处理与分析链路，本文将详细介绍如何便捷高效将数据从 OceanBase  迁移/同步至 Apache Doris 。实用指南00 环境准备使用

Flink 和 ClickHouse 都是用于构建实时数据仓库的优秀工具。Flink 是一个用于流处理的开源框架，而 ClickHouse 则是一个用于实时数据仓库的高性能列存储数据库。Flink 是 ClickHouse 的最 佳搭档，为什么这么说呢？

随着数字化时代的来临，数据已经成为驱动业务决策的重要因素。在数据应用领域，实时数仓架构和离线数仓架构是两种常见的解决方案。它们在数据处理、存储、查询以及适用场景等方面存在显著差异。本文将深入探讨实时数仓架构和离线数仓架构的差异，帮助您更好地理解这两种架构的不同之处。

Cluster Manager for Apache Doris（简称 Doris Manager）是 SelectDB 推出的管理运维 Apache Doris 集群的工具。用户可以轻松通过该工具部署和接管集群，实时查看集群的运行状态和详情，快捷地对集群进行扩缩容、升级及重启操作。同时，该工具还支持监控告警、参数配置、日志查看、任务审计、集群巡检等功能，让集群管理变得更加简单高效。目前， Dor

亲爱的社区小伙伴们，Apache Doris 2.1.2 版本已于 2024 年 4 月 12 日正式发布。该版本提交了若干改进项以及问题修复，进一步提升了系统的性能及稳定性，欢迎大家下载体验。官网下载页：https://doris.apache.org/download/GitHub 下载：https://github.com/apache/doris/releases行为变更将 EXPORT

在当今数据驱动的时代，企业对数据分析和洞察的需求日益增长。传统的关系型数据库在处理大规模数据时，往往面临性能瓶颈，比如存储大、处理速度慢、数据分析模型固定灵活性较低、运维成本高等，而分析型数据库（Apache Doris）以其卓越的性能和高效的数据处理能力，正在改变这一现状，SelectDB 作为基于 Apache Doris 构建的现代化数据仓库， 支持大规模实时数据上的极速查询分析。

SelectDB 是基于 Apache Doris （分析型数据库）构建的现代化数据仓库，支持大规模实时数据上的极速查询分析，主要用于 OLAP 场景下对大规模数据进行快速分析和查询，它支持多维分析、实时查询、增量更新、高效的数据更新等功能。在实现高效的数据更新方面，SelectDB 是怎么做到的呢，目前采用了哪几种技术手段：

作者｜SelectDB 技术团队在数据管理愈加精细化的需求背景下，定时调度在其中扮演着重要的角色。它通常被应用于以下场景：定期数据更新，如周期性数据导入和 ETL 操作，减少人工干预，提高数据处理的效率和准确性。结合 Catalog 实现外部数据源数据定期同步，确保多源数据高效、准确的整合到目标系统中，满足复杂的业务分析需求。定期清理过期/无效数据，释放存储空间，避免过多过期/无效数据对系统性能产

亲爱的社区小伙伴们，Apache Doris 2.1.1 版本已于 2024 年 4 月 3 日正式发布。该版本针对 2.1.0 版本出现的问题进行较为全面的优化，提交了若干改进项以及问题修复，进一步提升了系统的性能及稳定性，欢迎大家下载体验。立即下载： https://doris.apache.org/download/GitHub Release: https://github.com/apa