数据无界、湖仓无界,Apache Doris 湖仓一体典型场景实战指南(下篇)
导读: 湖仓一体是将数据湖和数据仓库的优势相结合的数据管理系统。Apache Doris 结合自身特性,提出了【数据无界】和【湖仓无界】核心理念。上篇文章已介绍了 Apache Doris 湖仓一体完整方案,本文将聚焦典型应用场景,进一步深入,帮助读者更好地理解和应用 Apache Doris 湖仓一体。在数据驱动决策的时代,湖仓一体架构以统一存储、统一计算、统一管理的创新形式,补齐了传统数据仓库
数据无界、湖仓无界, Apache Doris 湖仓一体解决方案全面解读(上篇)
导读:湖仓一体架构融合了数据湖的低成本、高扩展性,以及数据仓库的高性能、强数据治理能力,高效应对大数据时代的挑战。为助力企业实现湖仓一体的建设,Apache Doris 提出了数据无界和湖仓无界核心理念,并结合自身特性,助力企业加速从 0 到 1 构建湖仓体系,降低转型过程中的风险和成本。本文将对湖仓一体演进及 Apache Doris 湖仓一体方案进行介绍。在过去的数年间,数据分析技术栈经历了许
从 ClickHouse 到 Apache Doris:在网易云音乐日增万亿日志数据场景下的落地
导读:日志数据已成为企业洞察系统状态、监控网络安全及分析业务动态的宝贵资源。网易云音乐引入 Apache Doris 作为日志库新方案,替换了 ClickHouse。解决了 ClickHouse 运维复杂、不支持倒排索引的问题。目前已经稳定运行 3 个季度,规模达到 50 台服务器, 倒排索引将全文检索性能提升7倍,2PB 数据,每天新增日志量超过万亿条,峰值写入吞吐 6GB/s 。网易云音乐每天
湖仓分析|浙江霖梓基于 Doris + Paimon 打造实时/离线一体化湖仓架构
导读:浙江霖梓早期使用 CDH 产品套件搭建了大数据系统,面临业务逻辑冗余、查询效率低下等问题,基于 Apache Doris 进行整体架构与表结构的重构,并基于湖仓一体和查询加速展开深度探索与实践,打造了 Doris + Paimon 的实时/离线一体化湖仓架构,实现查询提速 30 倍、资源成本节省 67% 等显著成效。浙江霖梓是一家专注于深度学习和人工智能应用的金融创新企业,自 2018 年成
Apache Doris 2.1.8 版本正式发布
亲爱的社区小伙伴们,Apache Doris 2.1.8 版本已于 2025 年 01 月 24 日正式发布。 该版本持续在湖仓一体、异步物化视图、查询优化器与执行引擎、存储管理等方面进行改进提升与问题修复,进一步加强系统的性能和稳定性,欢迎大家下载体验。立即下载:https://doris.apache.org/downloadGitHub 下载:https://github.com/apach
一文教您如何构建 Lakehouse
Lakehouse 是由“Datalake ”(数据湖)和“Data Warehouse”(数据仓库)两个词组合而成的一个概念,它将数据湖与数据仓库的优势相结合,为用户提供一个统一的数据处理环境。Lakehouse本质上是一个带有附加事务层和高性能计算引擎的数据湖,旨在结合数据湖的灵活性和广泛数据格式支持,以及数据仓库在数据管理和分析方面的优势。数据湖、数据仓库 和 Lakehouse 之间有什么
Apache Doris 实现即席查询提速 20 倍案例分享
ApacheDoris是一个基于MPP(大规模并行处理)架构的高性能、实时的分析型数据库。它以极速易用的特点被人们所熟知,仅需亚秒级响应时间即可返回海量数据下的查询结果,不仅可以支持高并发的点查询场景,也能支持高吞吐的复杂分析场景。以下是关于ApacheDoris的应用场景:
PB 级大规模日志平台:中信银行信用卡中心从 ES 到 Apache Doris 的先进实践
导读:中信银行信用卡中心每日新增日志数据 140 亿条(80TB),全量归档日志量超 40PB,早期基于 Elasticsearch 构建的日志云平台,面临存储成本高、实时写入性能差、文本检索慢以及日志分析能力不足等问题。因此使用 Apache Doris 替换 Elasticsearch,实现资源投入降低 50%、查询速度提升 2~4 倍,同时显著提高了运维效率。本文转录自陈地长(中信信用卡中心
正式开源,Doris Operator 支持高效 Kubernetes 容器化部署方案
容器化凭借其灵活性、跨平台性、自动化管理和极 致弹性,吸引了众多企业的关注。一些企业希望将 Apache Doris 容器化部署,以实现高效的资源利用与部署迭代。Kubernetes 提供的编排和管理功能,能完成大规模容器部署,但 Kubernetes 自身的复杂性也导致众多企业面临部署复杂、运维困难、使用难度高等挑战。为满足用户在 Kubernetes 平台上对 Doris 的高效部署和运维要求
云原生数据仓库 SelectDB Cloud 产品全面介绍
云原生数据仓库是什么云原生是基于分布部署和统一运管的分布式云,以容器、微服务、DevOps 等技术为基础建立的一套云技术产品体系。云原生应用也就是面向“云”而设计的应用,在使用云原生技术后,开发者无需考虑底层的技术实现,可以充分发挥云平台的弹性和分布式优势,实现快速部署、按需伸缩、不停机交付等。云原生数据库是一种云原生数据基础设施,是一种完全利用公有云优势的数据库服务,具备极 致的弹性伸缩能力、无
新零售:Apache Doris 助力数据计算分析时效提升
新零售,英文是New Retailing,即企业以互联网为依托,通过运用大数据、人工智能等先进技术手段,对商品的生产、流通与销售过程进行升级改造,进而重塑业态结构与生态圈,并对线上服务、线下体验以及现代物流进行深度融合的零售新模式。近年来,新零售行业蓬勃发展,各大电商平台、传统零售商纷纷布局新零售,通过线上线下融合,打造无缝连接的购物体验。例如,阿里巴巴的盒马鲜生、京东的7FRESH等,通过大数据
奖项再 +1 !飞轮科技荣获 Datafun 2024 年第二届星空奖——数智技术领航企业奖
近日,Datafun 发布 2024 年第二届星空奖名单,该奖项旨在寻找并表彰在数智技术领域享有较高声誉,技术领先、生态系统完整、拥有成熟产品与解决方案的创新企业。经过层层评审与筛选,飞轮科技凭借其卓越的技术实力及创新方案,获得了第二届星空奖——数智技术领航企业奖。核心产品飞轮科技基于 Apache Doris 打造了现代化实时数据仓库 SelectDB,提供云原生存算分离的 SelectDB C
计算效率提升 10 倍,灵犀科技基于 Apache Doris 建设统一数据服务平台
导读:灵犀科技早期基于 Hadoop 构建大数据平台,在战略调整和需求的持续扩增下,数据处理效率、查询性能、资源成本问题随之出现。为此,引入 Apache Doris 替换了复杂技术栈,升级为集存储、加工、服务为一体的统一架构,实现存储成本下降 60%,计算效率提升超 10 倍的显著成效。灵犀科技有限公司(简称灵犀科技)是奇点控股旗下的高科技企业,专注于为企业提供 SaaS 服务、定制
Apache Doris 存算分离架构设计亮点解析
Apache Doris是一个基于MPP架构的高性能、实时的分析型数据库,以极速易用的特点被人们所熟知,仅需亚秒级响应时间即可返回海量数据下的查询结果,不仅可以支持高并发的点查询场景,也能支持高吞吐的复杂分析场景。基于此 Apache Doris 能够较好的满足报表分析、即时查询、统一数仓构建、数据湖联邦查询加速等使用场景,用户可以在此之上构建用户行为分析、AB实验平台、日志检索分析、用户画像分析、订单分析等应用。
Lakehouse 是什么,Lakehouse 主要产品有哪些?
企业对于数据处理和分析的需求日益复杂多样,传统的数据仓库和数据湖虽然各自具备独特的优势,但也在某些方面存在明显的局限性。在此背景下,Lakehouse作为一种融合了数据仓库和数据湖最佳功能的新型数据存储架构应运而生,为大数据处理和分析提供了全新的解决方案。 一、Lakehouse的定义与背景 Lakehouse,顾名思义,是在数据湖(DataLake)基础上融合了数据仓库(Da
Apache Doris 创始人:何为“现代化”的数据仓库?
在 12 月 14 日的 Doris Summit Asia 2024 上,Apache Doris 创始人 & PMC 成员马如悦在开场演讲中,围绕“现代化数据仓库”这一主题,指出 3.0 版本是 Apache Doris 研发路程中的重要里程碑,他将这一进展总结为“实时之路”、“统一之路”和“弹性之路”,详细介绍了所对应的核心特性的设计思考与应用价值,揭晓了 2025 年社
飞轮科技荣获中国电信星海大数据最佳合作伙伴奖!
近日,由中国电信集团数据发展中心主办的数据要素合作论坛在广州召开。大会以“数聚共生·智启未来”为主题,旨在展示数据要素应用成果,探索数据要素创新实践。与会期间,为了感谢 2024 年生态合作伙伴对中国电信数据业务发展工作的支持,会议举行了“星海大数据·最佳合作伙伴奖”颁奖仪式。飞轮科技凭借其在数据分析领域的卓越表现与深厚实力,获得这一殊荣。作为中国电信的长期合作伙伴,飞轮科技持续致力于为中国电信提
一文了解多云原生的现代化实时数仓 SelectDB Cloud
随着数字化转型的加速,云计算已成为现代企业运营中的关键组成部分。云的重要性体现在多个方面:首先,它提供更好的灵活性与可扩展性,可根据实际需求动态调整计算和存储资源,以快速适应市场变化并支持业务增长。其次,其采用按需计费的模式,使企业能够有效控制成本,避免高昂的硬件投资和维护费用。飞轮科技作为 Apache Doris 的商业化公司,基于其内核自主研发了现代多云原生实时数据仓库 SelectDB C
数据库索引有哪几种类型,倒排索引是什么
数据库索引是一种数据结构,用于对数据库表中的一列或多列的值进行排序,以便快速访问表中的特定信息。索引的主要目的是加快检索表中数据的速度,提高系统的性能。可以将其类比为一本书的目录,通过目录可以快速定位到书中的特定章节,而无需逐页翻阅。
存算分离是什么,SelectDB Cloud 中的存算分离设计优化升级
存算分离的概念最初源于大数据和云计算领域。在早期的大数据和云计算环境中,存储服务和计算服务通常在集群中混合部署,这种存算耦合架构设计主要是为了避免网络IO开销。然而,随着网络性能的大幅提升,从百兆网卡到万兆网卡,网络带宽提升了100倍,网络传输已不再是分布式环境中的瓶颈。