十年磨一剑,云原生分布式数据库PolarDB-X的核心技术演化
PolarDB-X前身是淘宝内部使用的分库分表中间件TDDL(2007年,Java库的形态),早期以DRDS(2012年开始研发,2014年上线,分库分表中间件+MySQLProxy的形态)的品牌在阿里云上提供服务,后来(2019年)正式转型为分布式数据库PolarDB-X(正式成为了PolarDB
为什么游戏行业喜欢用PolarDB
游戏行业痛点在笔者看来,不同行业对数据库使用有巨大的差别.比如游戏行业没有复杂的事务交易场景,他有一个非常大的blob字段用于存储角色的装备信息,那么大Blob字段的更新就会成为数据库的瓶颈,比如在线教育行业需要有抢课的需求,因此会有热点行更新的场景,对热点行如何处理会成为数据库的瓶颈,比如SaaS
人工智能在线下零售智慧门店的技术研究及商业应用落地
分享背景:随着计算机硬件处理器的发展以及机器视觉和自然语言处理算法的研究日益成熟,许多机器视觉算法和自然语义理解的算法开始结合AIOT数据采集设备被应用于商业领域,如最初的星巴克门店对消费者的人脸识别,连锁专营店的智能工牌,通过视觉算法绘制零售百货店内的人流动线和货架热力等等,用以来帮助企业通过对消
集群部署从dorisdb到starrocks详细过程
一、环境初始化1、关闭swapoff-a2、设置java路径3、初始化盘4、准备软件包二、下载包(从1.19后dorisdb改名为starrocks),解压文件目前最新版本下载路径:https://www.starrocks.com/zh-CN/download/request-download/4
DorisDB系列文档(五) 表设计详解
1数据存储基本原理由此可见,查找维度列的前缀的查找过程为:先查找shortkeyindex,获得逻辑块的起始行号,查找维度列的行号索引,获得目标列的数据块,读取数据块,然后解压解码,从数据块中找到维度列前缀对应的数据项.加速数据处理列式存储DorisDB的表和关系型数据相同,由行和列构成.每行数据对
DorisDB 流批一体 实时架构
场景:在做大数据分析,报表项目的时候,一般会有实时和离线分析两种场景,一般情况下,是实时一套代码,离线一套代码,代码开发量比较大,怎么做到实时和离线公用一份代码(流批一体)性能满足实时场景的时效性(实时)我们这里以统计每天每个游戏的登录用户数为例,登录明细表和最终结果表如下CREATETABLE`d
dorisDB比较分析
一幅图证明dorisDB到底是啥,一张对比图来说明doris在大数据架构中的角色,~不知道你信不信,是不是很nice~应用场景~是一个体系库.OLAPADhocDataReporting数据分类数据仓库的业务架构那么,dorisDB在这些环境到底能做什么呢?架构是什么doris的整体架构向量化引擎的
DorisDB原理剖析
https://blog.csdn.net/DorisDB1.数据驱动数据驱动的新趋势
DorisDB系列文档(二) 快速开始
1.1DorisDB基本概念1.2DorisDB的系统架构1.3DorisDB的手动部署1.1基本概念FE:FrontEndDorisDB的前端节点,负责管理元数据,管理客户端连接,进行查询规划,查询调度等工作。BE:BackEndDorisDB的后端节点,负责数据存储,计算执行,以及compact
DorisDB系列文档(三)基本原理
1读取数据流程2导入数据流程3修改元数据流程1读取数据流程用户可使用MySQL客户端连接FE,执行SQL查询,获得结果。查询流程如下:①MySQL客户端执行DQLSQL命令。②FE解析,分析,改写,优化和规划,生成分布式执行计划。③分布式执行计划由若干个可在单台be上执行的planfragment构
DorisDB vs ClickHouse 查询测试
测试方法为了方便用户快速的了解DorisDB的性能指标,这里我们提供了一个标准的Starschemabenchmark的测试方法和工具仅供参考。Starschemabenchmark(以下简称SSB)是学术界和工业界广泛使用的一个星型模型测试集(来源论文),通过这个测试集合也可以容易的和其他OLAP
DorisDB使用笔记(一)
#DorisDB使用笔记文章目录前言1、常用命令1.1fe启动1.2mysql-client连接到FE1.3查看be和fe1.4往fe中添加或者删除be1.5启动be1.6启动集群fe1.7集群添加或删除FE1.8其他2、常见问题2.1invalidclusterid.ignore2.2JDK文件不
手把手搭建DORISDB
一、下载dorisdb可选择本人安装使用的版本DORIS-0.14.7-release-binary.tar.gz二、解压安装:tar-xvfDORIS-0.14.7-release-binary.tar.gz1三、配置fe:cd/opt/soft/DORIS-0.14.7-release/fe/c
DorisDB 性能调优实战
一些用户在做DorisDB的POC测试时,参照《DorisDB企业版文档》进行了表模型选择、分区、分桶等基础配置后,查询性能离期望的理想状况可能还是会有些差异,或者想针对业务进一步优化以达到最佳性能。这里,我们就借用一个用户POC时的调优场景,来分享一些DorisDB系统性能调优中的技巧,同时也简要
DorisDB系列文档(一) DorisDB介绍
极速SQL查询全新的向量化执行引擎,亚秒级查询延时,单节点每秒可处理多达100亿行数据。强大的MPP执行框架,支持星型模型和雪花模型,极致的Join性能。综合查询速度比其他产品快10-100倍实时数据分析新型列式存储引擎,支持大规模数据实时写入,秒级实时性保证。支持业务指标实时聚合,加速实时多维数据
走进”数字中国“成果展 解密腾讯展台
精彩看点1、腾讯云助力组织深度互联,实现多场景降本增效;2、腾讯云营销解决方案助力公域到私域的业务增长;3、作为产业数字化助手,腾讯云如何助力各行各业实现数字化升级;4、腾讯云将数字产业、数字能力、伙伴合作全面展示。
从“少林寺”毕业后,我当上了开源社区“区长”
本期名人堂我们有幸邀请到了Alluxio创始成员兼开源社区副总裁范斌先生。范斌先生讲述了自己的求学、工作、加入开源社区的经历,以及对未来十年数据编排发展的展望,和对开发贡献者的一些建议。1.范斌老师您好,很荣幸有机会采访到您,请先介绍一下您自己?大家好,我是Alluxio的创始工程师以及开源社区副总
微信后台云原生之路-李方源【PPT】
微信后台云原生之路-李方源
云原生时代的研发效能管理-杨政权【PPT】
云原生时代的研发效能管理-杨政权
众安保险云原生实践-鄢晶【PPT】
众安保险云原生实践-鄢晶