ITPub博客

原Greenplum集群在进行10亿*1亿的关联查询时达到极限，无法支撑更大数据量级的关联查询。使用DorisDB替换Greenplum构建新的集群，在进行736亿*15亿的超大量级数据关联查询时，不仅可以顺利完成，并且耗时很短，对业务的整体提升巨大。一、使用背景1.1选用原因我司原有业务查询使用的

1.性能功能特点B站视频：DorisDBVSClickHouseOLAPPK1.1DorisDB场量：线上数据应用访问官方网站DorisDB企业版文档DorisDB是鼎石科技由ApacheDoris核心研发团队打造的新一代企业级MPP数据库。它继承了ApacheDoris项目十多年研发成果，累积了线

1读取数据流程2导入数据流程3修改元数据流程1读取数据流程用户可使用MySQL客户端连接FE，执行SQL查询，获得结果。查询流程如下：①MySQL客户端执行DQLSQL命令。②FE解析,分析,改写,优化和规划,生成分布式执行计划。③分布式执行计划由若干个可在单台be上执行的planfragment构

1什么是BloomFilterBloomFilter（布隆过滤器）是用于判断某个元素是否在一个集合中的数据结构，优点是空间效率和时间效率都比较高，缺点是有一定的误判率。布隆过滤器是由一个Bit数组和n个哈希函数构成。Bit数组初始全部为0，当插入一个元素时，n个Hash函数对元素进行计算,得到n个s

DorisDBvsClickHousevsTIDB的SSB测试可以参考这篇文章DorisDB、TiDB/TiFlash、ClickHouse性能对比-SSB测试-单多表场景环境信息:硬件信息ClickHouse:6台16vCPUs|64GB|超高IOSSDDorisDB:3台8vCPUs|16GB|

get_json_string(eventdata,’$.reportdate’)>‘2019-06-30’Q:Doris是否支持json解析函数？A:Doris支持json解析函数，提供了3个json解析函数，分别是get_json_int（string，string）、get_json_s

DorisDB支持基于Bitmap索引，对于有Filter的查询有明显的加速效果。原理1什么是BitmapBitmap是元素为1个bit的,取值为0,1两种情形的,可对某一位bit进行置位(set)和清零(clear)操作的数组.Bitmap的使用场景有:用两个long型表示16学生的性别,0表示女

名词解释Duplicate数据模型：DorisDB中的用于存放明细数据的数据模型，建表可指定，数据不会被聚合。Base表：DorisDB中通过CREATETABLE命令创建出来的表。MaterializedViews表：简称MVs，物化视图。使用场景在实际的业务场景中，通常存在两种场景并存的分析需求

函数定义cast(inputastype)将input转换成指定类型（type）的值。如cast(inputasBIGINT)将当前列input转换为BIGINT类型的值。示例将常量或表中某列转换为指定类型的值mysql>selectcast(1asBIGINT);+-------------

机器：两台36核64g,一台6核16g，网速千兆，be搭建三台集群，fe单机部署，broker对应be三台部署，机器上除了DorisDB有其他应用，无固态硬盘。数据量：1亿7000w1.查询一天内的访问量0.01sselectcount(id)fromapi_logs3wherereq_time&g

1简介为了更好地满足各种不同的业务场景，DorisDB支持多种数据模型，DorisDB中存储的数据需要按照特定的模型进行组织。数据导入功能是将原始数据按照相应的模型进行清洗转换并加载到DorisDB中，方便查询使用。DorisDB提供了多种导入方式，用户可以根据数据量大小、导入频率等要求选择最适合自

1导入方式简介2入门示例1导入方式简介为适配不同的数据导入需求，DorisDB系统提供了5种不同的导入方式，以支持不同的数据源（如HDFS、Kafka、本地文件等），或者按不同的方式（异步或同步）导入数据。BrokerLoadBrokerLoad通过Broker进程访问并读取外部数据源，然后采用My

PolarDB-X前身是淘宝内部使用的分库分表中间件TDDL（2007年，Java库的形态），早期以DRDS（2012年开始研发，2014年上线，分库分表中间件+MySQLProxy的形态）的品牌在阿里云上提供服务，后来（2019年）正式转型为分布式数据库PolarDB-X（正式成为了PolarDB

游戏行业痛点在笔者看来,不同行业对数据库使用有巨大的差别.比如游戏行业没有复杂的事务交易场景,他有一个非常大的blob字段用于存储角色的装备信息,那么大Blob字段的更新就会成为数据库的瓶颈,比如在线教育行业需要有抢课的需求,因此会有热点行更新的场景,对热点行如何处理会成为数据库的瓶颈,比如SaaS

分享背景：随着计算机硬件处理器的发展以及机器视觉和自然语言处理算法的研究日益成熟，许多机器视觉算法和自然语义理解的算法开始结合AIOT数据采集设备被应用于商业领域，如最初的星巴克门店对消费者的人脸识别，连锁专营店的智能工牌，通过视觉算法绘制零售百货店内的人流动线和货架热力等等，用以来帮助企业通过对消

一、环境初始化1、关闭swapoff-a2、设置java路径3、初始化盘4、准备软件包二、下载包(从1.19后dorisdb改名为starrocks)，解压文件目前最新版本下载路径：https://www.starrocks.com/zh-CN/download/request-download/4

1数据存储基本原理由此可见,查找维度列的前缀的查找过程为:先查找shortkeyindex,获得逻辑块的起始行号,查找维度列的行号索引,获得目标列的数据块,读取数据块,然后解压解码,从数据块中找到维度列前缀对应的数据项.加速数据处理列式存储DorisDB的表和关系型数据相同,由行和列构成.每行数据对

场景：在做大数据分析，报表项目的时候，一般会有实时和离线分析两种场景，一般情况下，是实时一套代码，离线一套代码，代码开发量比较大，怎么做到实时和离线公用一份代码（流批一体）性能满足实时场景的时效性（实时）我们这里以统计每天每个游戏的登录用户数为例，登录明细表和最终结果表如下CREATETABLE`d

一幅图证明dorisDB到底是啥,一张对比图来说明doris在大数据架构中的角色,~不知道你信不信,是不是很nice~应用场景~是一个体系库.OLAPADhocDataReporting数据分类数据仓库的业务架构那么,dorisDB在这些环境到底能做什么呢?架构是什么doris的整体架构向量化引擎的

https://blog.csdn.net/DorisDB1.数据驱动数据驱动的新趋势