开源新生代的成长之路:从校园到开源,需要迈过哪些挑战?
Issue 17176 (https://github.com/apache/doris/issues/17176) 在 Apache Doris 社区是一个特殊的存在。跟大多开源社区相似的地方在于,这属于社区为了吸引更多新生力量参与而设置的 Good First Issue。不同的地方在于,新生力量对于参与开发任务的热情超乎想象,每一批新任务的公开就如同春运期间火车票的发售——可能迟了一小会儿
从 Clickhouse 到 Apache Doris,慧策电商 SaaS 高并发数据服务的改造实践
作者介绍: 马成,慧策 JAVA高 级研发工程师 慧策(原旺店通)是一家技术驱动型智能零售服务商,基于云计算 PaaS、SaaS 模式,以一体化智能零售解决方案,帮助零售企业数字化智能化升级,实现企业规模化发展。凭借技术、产品、服务优势,慧策现已成为行业影响力品牌并被零售企业广泛认可。2021年7月,慧策完成最新一轮 D 轮 3.12 亿美元的融资,累计完成四轮逾 4.52 亿美元的融资,与诸多
如何基于 Apache Doris 构建简易高效的用户行为分析平台?
用户行为分析是企业了解用户的重要方式之一,可以从点击、登录、观看、跳出、下单购买等多维角度还原用户动态使用场景和用户体验,通过对用户行为埋点数据进行分析,可以详细、清楚地了解用户的行为习惯,从中发现用户使用产品的规律,以用于精准营销、产品优化,从而驱动业务实现增长。 随着数字化转型进程的不断推进,用户行为分析平台在企业内部扮演的角色愈发重要,如何进一步挖掘用户行为数据价值,也成为了当下各企业
查询性能较 Trino/Presto 3-10 倍提升!Apache Doris 极速数据湖分析深度解读
从上世纪 90 年代初 Bill Inmon 在《building the Data Warehouse》一书中正式提出数据仓库这一概念,至今已有超过三十年的时间。在最初的概念里,数据仓库被定义为「一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合,用于支持管理决策」,而数据湖最初是为了解决数仓无法存储海量且异构的数据而构建的集中式存储系统。 时代的发展与用户数据应用诉求的演进,催生了数
资源消耗降低 90%,速度提升 50%,解读 Apache Doris Compaction 最新优化与实现
背景LSM-Tree( Log Structured-Merge Tree)是数据库中最为常见的存储结构之一,其核心思想在于充分发挥磁盘连续读写的性能优势、以短时间的内存与 IO 的开销换取最大的写入性能,数据以 Append-only 的方式写入 Memtable、达到阈值后冻结 Memtable 并 Flush 为磁盘文件、再结合 Compaction 机制将多个小文件进行多路归并排序形成新的
从 ClickHouse 到 Apache Doris,腾讯音乐内容库数据平台架构演进实践
导读:腾讯音乐内容库数据平台旨在为应用层提供库存盘点、分群画像、指标分析、标签圈选等内容分析服务,高效为业务赋能。目前,内容库数据平台的数据架构已经从 1.0 演进到了 4.0 ,经历了分析引擎从 ClickHouse 到 Apache Doris 的替换、经历了数据架构语义层的初步引入到深度应用,有效提高了数据时效性、降低了运维成本、解决了数据管理割裂等问题,收益显著。本文将为大家分享腾讯音乐内
恭喜! SelectDB 五位开发者成为 Apache Doris 新晋 PMC 成员和 Committer!
近期,通过 Apache Doris 项目管理委员会的推荐与投票,Apache Doris 社区正式迎来了 2 位新晋 PMC 成员 和 8 位新晋 Committer 的加入。值得关注的是,2 位新晋 PMC 成员均来自 SelectDB,分别是衣国垒(yiguolei)、杨勇强(dataroaring),8 位新晋 Committer 中有 3 位来自 SelectDB,分别是张晨(zhann
Apache Doris 1.2.2 Release 版本正式发布
亲爱的社区小伙伴们,我们很高兴地宣布,Apache Doris 于 2023 年 2 月 15 日迎来 1.2.2 Release 版本的正式发布!在新版本中,Apache Doris 团队修复了自 1.2.1 版本发布以来超过 200 个问题或性能改进项。同时,1.2.2 版本作为 1.2 LTS 的迭代版本,具备更高的稳定性,建议用户升级到这个版本。 GitHub下载:https://git
一文教你玩转 Apache Doris 分区分桶新功能
数据分片(Sharding)是分布式数据库分而治之 (Divide And Conquer) 这一设计思想的体现。过去的单机数据库在大数据量下往往面临存储和 IO 的限制,而分布式数据库则通过数据划分的规则,将数据打散分布至不同的机器或节点上,形成分布式存储,因此突破了单机存储空间和 IO 的瓶颈、使库表数据量可以无限拓展。 数据分片主要有范围分片或哈希分片这两种方式,而在实际数据库的实现中
打破数据孤岛,Apache Doris 助力纵腾集团快速构建流批一体数仓架构
福建纵腾网络有限公司(简称“纵腾集团”)成立于 2009 年, 以“全球跨境电商基础设施服务商”为企业定位,聚焦跨境仓储与物流, 为全球跨境电商商户、出口贸易企业、出海品牌商提供海外仓储、商业专线物流、定制化物流等一体化物流解决方案, 旗下拥有谷仓海外仓 、云途物流 、WORLDTECH 等知名品牌 。 作者|纵腾集团数据技术架构师 张彬华 随着纵腾集团业务的快速发展,各产品线提出的数
更高性能表现、更低资源占用,高精度计算数据类型 DecimalV3 揭秘
数值运算是数据库中十分常见的需求,例如计算数量、重量、价格等,为了适应多样化运算场景,数据库系统通常支持精准的数字类型和近似的数字类型,当我们需要精确地表示小数并计算小数时,通常会考虑使用 Decimal 数据类型。区别于浮点小数,Decimal 作为定点小数类型,可以支持高精度的小数运算,因此适用于各种高精度计算的场景,常见的应用场景有以下几种: 金融行业:在金融交易中经常涉及到小数,比如
Java UDF 的设计与使用介绍,兼容 Hive UDF 实现数据快速迁移
作者介绍: 李仕杨,SelectDB 生态研发工程师,Apache Doris Contributor。 我们在使用各个 SQL 引擎时,会遇到纷繁复杂的查询需求。一部分可以通过引擎自带的内置函数去解决,但内置函数往往具有一定通用性,在部分特殊场景下内置函数可能无法满足需求,所以一般 SQL 引擎会提供 UDF 功能,方便用户通过自己写逻辑来满足特定的需求,Apache Doris 也不例外。
下一个十年,我们需要一款什么样的分析型数据库?
本文来自于 Doris Summit 2022 演讲实录,演讲人:陈明雨 十年对于数据库意味着什么?身处在日新月异的时代,我们见惯了技术的兴起与繁荣、变迁与衰落,甚至是朝荣夕灭。信息技术以前所未有的速度更迭,给周遭事物带来了颠覆性地变化。数据库亦是如此,无数数据库悄然湮没在技术更迭的浪潮里,直到在浩渺如海的代码片段中都找不到些许印记。而有的则历久而弥新,经受了时间的考验,彰显出强大的生命力,并以
喜报!SelectDB 携手中航信移动科技、四川大数据技术服务中心,双双入选星河优秀案例
近日,由中国信息通信研究院、中国通信标准化协会指导,中国通信标准化协会大数据技术标准推进委员会(CCSA TC601)主办的第五届数据资产管理大会在京落下帷幕。大会以“破局·革新·共治”为主题,发布了多项重要研究成果,并揭晓了大数据“星河(Galaxy)”案例入选名单。其中,由 SelectDB 携手中航信移动科技有限公司、四川省大数据技术服务中心联合申报的两项案例「基于 SelectDB 的航旅
明天 9 点!Doris Summit 2022 拉开序幕,立即报名年度技术盛会!
数据是数字经济时代的基础性资源和战略性资源,也是重要的生产力。在数字转型中,大多数企业在转型中面临的最大挑战往往都与“数据”息息相关,比如数据的质量不高、数据孤岛严重、数据难以迁移,原架构冗余、资源投入限制等问题,导致数据的实时性、准确性无法得到保证,数据分析复杂度、难度较高,数据价值难以有效挖掘。而 Apache Doris 作为业界最流行的实时分析型数据库之一,自开源伊始的目标就是帮助更多人解
更稳定!Apache Doris 1.2.1 Release 版本正式发布
亲爱的社区小伙伴们,我们很高兴地宣布,Apache Doris 于 2023 年1 月 4 日迎来 1.2.1 Release 版本的正式发布!在新版本中,Apache Doris 团队修复了自 1.2.0 版本发布以来约 200 个问题或性能改进项。同时,1.2.1 版本作为 1.2 LTS 的第一个迭代版本,具备更高的稳定性,建议用户升级到这个版本。 GitHub下载: https://g
复杂查询响应速度提升10+倍,度言软件基于 Apache Doris 实时数仓建设实践
作者 | 杭州度言软件大数据团队 杭州度言软件有限公司(度言软件)成立于2014年,是信贷不良资产处置技术服务供应商,以“智能科技赋能不良资产处置,推动贷后行业合规高效发展”为使命,运用云通讯、大数据、人工智能等智能科技为信贷不良资产处置业务赋能,提供贷后管理通信能力支撑,实现了催收作业的智能化管理,客户群体为银行、消费金融公司、AMC 等金融机构和为这些机构提供人力资源外包服务的相关公司,目前
并发提升 10 倍,运算延时降低 70%,领健从Kudu 到 Apache Doris 数仓升级实践
作者|杨鷖 资 深大数据开发工程师 编辑整理|SelectDB 领健是健康科技行业 SaaS 软件的引领者,专注于消费医疗口腔和医美行业,为口腔诊所、医美机构、生美机构提供经营管理一体化系统,提供了覆盖单店管理、连锁管理、健康档案/电子病历、客户关系管理、智能营销、B2B交易平台、进销存、保险支付、影像集成、BI商业智能等覆盖机构业务全流程的一体化SaaS软件。 同时通过开放平台连接产业上下游,
10x 查询性能提升,全新 Unique Key 的设计与实现|1.2 新版本解读
作者:张晨 SelectDB 资 深研发工程师 在实时数据仓库的业务场景中,能够友好支持数据的实时更新是一个非常重要的能力。例如在数据库同步(CDC)、电商交易订单、广告效果投放、营销业务报表等业务场景中,面对上游数据的变化,通常需要快速获取到变更记录并针对单行或多行数据进行及时变更,保证业务分析师及相关分析平台能快速捕捉到最新进展,提升业务决策的及时性。 而对于一贯不擅长数据更新的 O
全面进化!Apache Doris 1.2.0 Release 版本正式发布|版本通告
亲爱的社区小伙伴们,经历数月的等候,我们很高兴地宣布,Apache Doris 于 2022 年 12 月 7 日迎来了 1.2.0 Release 版本的正式发布!有近 118 位 Contributor 为 Apache Doris 提交了超 2400 项优化和修复,感谢每一位让 Apache Doris 更好的你! 自从社区正式确立 LTS 版本管理机制后,在 1.1.x 系列版本中不