【2021/1/12】ITPUB新闻早报
今日热点:美联储主席:若通货膨胀率居高不下,美联储将准备加息;微软前高管:建议卖掉Windows业务专注于云计算;发改委:世卫组织:奥密克戎毒株正迅速取代其他毒株成为主要流行毒株
CirroData数据库元数据体系架构实现解析
CirroData是基于分布式存储系统的新一代MPP数据库,数据和元数据存储于分布式文件系统上。分布式存储具备高可用、易扩展的能力,使得CirroData数据的存储和扩容得以保障。本文将从元数据的结构模型、存储模型和实现技术等多方面来描述CirroData的元数据体系结构。什么是元数据?简而言之,就
记一次行云数据库(CirroData) 分区 创建/修改/添加数据等
1.需求:公司用到了行云数据库(国产库),属实有点哪个。因为数据量太大,需要进行优化,这里采用的是数据库分区来优化。2.分区概念:数据分区是一种物理数据库的设计技术,它的目的是为了在特定的SQL操作中减少数据读写的总量以缩减响应时间。分区并不是生成新的数据表,而是将表的数据均衡分摊到不同的硬盘,系统
CirroData-Times时序数据库适配图扑TopLink,携手助力核电站数据展示
近日,东方国信时序数据库CirroData-TimeS(基于ApacheIoTDB)完成了与大连图扑TopLink组态软件的适配。在某核电站数据展示项目中,数据经过TopLink的解析,进入CirroData-TimeS时序数据库进行存储和计算。通过搭建场景和动画驱动,对压水堆核电站发电的工作原理进
【2021/1/11】ITPUB新闻早报
今日热点:境外机构持有人民币债券规模突破4万亿元大关;英国据悉将对云计算供应商加强监管,包括向亚马逊、微软及谷歌索取更多数据;发改委:将虚拟货币“挖矿”活动纳入淘汰类产业
CirroData三种Join算法简介
SQLJoin用于根据两个或多个表中的列之间的关系,从这些表中查询数据。最常见的类型有SQLInnerJoin、SQLLeftJoin、SQLRightJoin、SQLFullJoin。那么,实现上述Join类型的算法都有哪些呢?本文重点介绍CirroData的nestedloopjoin,sort
CirroData存储过程系统介绍
存储过程可称为过程化SQL语言,是在普通SQL语句的基础上增加了编程语言的特点,把数据操作语句和查询语句组织在过程化代码中,通过逻辑判断、循环等操作实现复杂计算的程序语言。在电信和金融等领域,很大一部分业务是使用存储过程开发的,其中应用最为广泛的是Oracle存储过程。CirroData自主研发的存
查询性能提升利器:CirroData之join order选择算法
数据库查询的快慢一般情况下和查询性能有很大的关系,这也是在数据库设计时需要重点考虑的问题。CirroData数据库面向PB级海量数据分析应用领域,通过引入CBO,即Cost-BasedOptimizer(CBO),来根据CPU、内存以及I/O的开销进行查询的优化。CirroData的CBO通过对查询
极致性能大揭秘(之二)!CirroData-TimeS时序数据库文件格式的演化
1第一代文件格式回顾如下图所示,TsFile文件格式分为几大块:1、文件头(magicnumber)2、数据部分3、元数据部分(索引部分)4、文件尾(magicnumber)读取的流程如下:1、读取文件元数据信息,把所有的deviceIndexMetadata都反序列化到内存中;2、二分查找devi
某省电信运营商数据仓库系统CirroData加速案例
日前,某省电信运营商完成了数据仓库系统的优化加速工作,该优化案例利用了东方国信与Intel公司的先进软硬件技术,该项目的底层数据库采用了东方国信自主研发的CirroData分布式数据库,在CirroData中引进了国际先进的Intel傲腾SSD盘存储技术,对CirroData计算存储分离架构中的计算
拓宽管理“瓶颈”—— CirroData系统表的优化
数据库的系统表用来存放结构元数据,通过对元数据实现“增、删、改、查”等操作实现对数据库管理系统的控制。可以说系统表就是数据库的“总目录”,如果对系统表的操作和维护效率低下,则会成为整个数据库管理系统的性能“瓶颈”。本篇介绍了传统系统表设计存在的问题,并详述了CirroData分布式数据库在系统表设计
极致性能大揭秘(之一)!CirroData-TimeS时序数据库的文件存储格式
时序数据的特征时序数据具有如下特征:数据是时序的,即一定带有时间戳。由于时序数据是某个测点,或是某个事件源持续不断的产生的,产生数据的时间点对于追溯、分析这个时间下测点,事件的状态非常重要,所以时序数据一般都带有时间戳,这个是时序数据最大的特征。按时间范围读取通常来说,一般不会关心某个特定点的数据,
如何应对物联网时代数据爆炸式增长?CirroData-TimeS 时序数据库来了!
根据IDC[1]最新预测,截止到2025年,全球物联网设备可达416亿个,产生约79.4ZB的数据(1ZB约等于一万亿千兆字节)。正如该报告指出,随着联网的设备越来越多,这些设备产生的数据也越来越多。这些数据都有一个共同的特性:数据是时序的,即一定带有时间戳,称之为时间序列的数据。时间序列在维基百科
【2021/1/10】ITPUB新闻早报
今日热点:消息称华为有望推出国产自研内核浏览器;我国首条民营控股高铁杭台高铁通车;爆料人士称苹果在测试多款可折叠iPhone原型机,但对市场前景有忧虑
PolarDB-X 存储引擎组件 GalaxyEngine 开源技术解读
PolarDB-X是由阿里巴巴自主研发的云原生分布式数据库,融合了分布式SQL引擎GalaxySQL和分布式存储引擎GalaxyEngine,其中GalaxyEngine是新一代面向分布式场景的MySQL发行版本,作为官方MySQL版本的一个分支,除了吸收和跟进官方版本的持续改进以外,尤其在分布式场
真·异地多活架构怎么实现?使用PolarDB-X!
异地多活是近几年比较热门的一种系统架构。一般来讲,要做到异地多活,是一个系统性的事情,需要接入层、应用层、数据层都做一些事情。同时有一些场合我们可能会把两地三中心等容灾架构也算作了异地多活(单纯的应用层多活),本文所讲的异地多活,是指所有数据中心的数据库都会承担写流量的"真·异地多活"。今天我们这篇
PolarDB-X 向量化引擎的类型绑定与代码生成
介绍在上篇文章《每次都需要解释大量指令?使用PolarDB-X向量化引擎》中,我们介绍了PolarDB-X向量化引擎的原理,以及运行时的结构。本文将对向量引擎的上下文构建进行详细介绍。所谓上下文构建,就是为向量化引擎准备好合适的执行环境,可以概况为以下几个问题:如何确定表达式的输入输出类型,并为SQ
每次都需要解释大量指令?使用 PolarDB-X 向量化引擎
介绍PolarDB-X是阿里巴巴自研的云原生分布式数据库,采用了计算-存储分离的架构,其中计算节点承担着大量的表达式计算任务。这些表达式计算涉及到SQL执行的各个环节,对性能有着重要的影响。为此PolarDB-X引入向量化执行引擎,为表达式计算带来了几十倍的性能提升。传统数据库执行器的缺陷现代数据库
使用 PolarDB 和 ECS 搭建门户网站
使用PolarDB和ECS搭建门户网站背景知识PolarDB数据库简介阿里云自研的下一代关系型云数据库100%兼容MySQL、PostgreSQL,高度兼容Oracle语法特点集群架构,计算与存储分离PolarDB采用多节点集群的架构,集群中有一个Writer节点(主节点)和多个Reader节点(读
400倍加速, PolarDB HTAP实时数据分析技术解密
简介:PolarDBMySQL是因云而生的一个数据库系统,除了云上OLTP场景,大量客户也对PolarDB提出了实时数据分析的性能需求。对此PolarDB技术团队提出了In-MemoryColumnIndex(IMCI)的技术方案,在复杂分析查询场景获得的数百倍的加速效果。本文阐述了IMCI背后技术