如何应对物联网时代数据爆炸式增长?CirroData-TimeS 时序数据库来了!
根据IDC[1]最新预测,截止到2025年,全球物联网设备可达416亿个,产生约79.4ZB的数据(1ZB约等于一万亿千兆字节)。正如该报告指出,随着联网的设备越来越多,这些设备产生的数据也越来越多。这些数据都有一个共同的特性:数据是时序的,即一定带有时间戳,称之为时间序列的数据。时间序列在维基百科
【2021/1/10】ITPUB新闻早报
今日热点:消息称华为有望推出国产自研内核浏览器;我国首条民营控股高铁杭台高铁通车;爆料人士称苹果在测试多款可折叠iPhone原型机,但对市场前景有忧虑
PolarDB-X 存储引擎组件 GalaxyEngine 开源技术解读
PolarDB-X是由阿里巴巴自主研发的云原生分布式数据库,融合了分布式SQL引擎GalaxySQL和分布式存储引擎GalaxyEngine,其中GalaxyEngine是新一代面向分布式场景的MySQL发行版本,作为官方MySQL版本的一个分支,除了吸收和跟进官方版本的持续改进以外,尤其在分布式场
真·异地多活架构怎么实现?使用PolarDB-X!
异地多活是近几年比较热门的一种系统架构。一般来讲,要做到异地多活,是一个系统性的事情,需要接入层、应用层、数据层都做一些事情。同时有一些场合我们可能会把两地三中心等容灾架构也算作了异地多活(单纯的应用层多活),本文所讲的异地多活,是指所有数据中心的数据库都会承担写流量的"真·异地多活"。今天我们这篇
PolarDB-X 向量化引擎的类型绑定与代码生成
介绍在上篇文章《每次都需要解释大量指令?使用PolarDB-X向量化引擎》中,我们介绍了PolarDB-X向量化引擎的原理,以及运行时的结构。本文将对向量引擎的上下文构建进行详细介绍。所谓上下文构建,就是为向量化引擎准备好合适的执行环境,可以概况为以下几个问题:如何确定表达式的输入输出类型,并为SQ
每次都需要解释大量指令?使用 PolarDB-X 向量化引擎
介绍PolarDB-X是阿里巴巴自研的云原生分布式数据库,采用了计算-存储分离的架构,其中计算节点承担着大量的表达式计算任务。这些表达式计算涉及到SQL执行的各个环节,对性能有着重要的影响。为此PolarDB-X引入向量化执行引擎,为表达式计算带来了几十倍的性能提升。传统数据库执行器的缺陷现代数据库
使用 PolarDB 和 ECS 搭建门户网站
使用PolarDB和ECS搭建门户网站背景知识PolarDB数据库简介阿里云自研的下一代关系型云数据库100%兼容MySQL、PostgreSQL,高度兼容Oracle语法特点集群架构,计算与存储分离PolarDB采用多节点集群的架构,集群中有一个Writer节点(主节点)和多个Reader节点(读
400倍加速, PolarDB HTAP实时数据分析技术解密
简介:PolarDBMySQL是因云而生的一个数据库系统,除了云上OLTP场景,大量客户也对PolarDB提出了实时数据分析的性能需求。对此PolarDB技术团队提出了In-MemoryColumnIndex(IMCI)的技术方案,在复杂分析查询场景获得的数百倍的加速效果。本文阐述了IMCI背后技术
深度干货|云原生分布式数据库 PolarDB-X 的技术演进
简介:深入解读PolarDB-X的产品架构,以及分布式事务、透明分布式、水平扩展等技术内幕。一、PolarDB-X是什么PolarDB-X最早起源于阿里集团2009年提出用分布式架构替代传统商业数据库,阿里研发了TDDL分库分表中间件。2014年阿里集团开始全面上云,将TDDL升级成DRDS分布式数
快速掌握 PolarDB-X 拆分规则变更能力!
背景PolarDB-X作为一款云原生分布式关系型数据库[6],支持通过拆分规则将一张逻辑表的数据分布在多个数据节点中。同时,也支持变更拆分规则,将数据进行重新分布[9]。数据重新分布(Repartition)的能力是分布式数据库的核心能力之一。当业务规模扩大时,它可以将数据分布到更多的节点,以达到水
云原生分布式数据库PolarDB技术深度解密
一、基础设施和数据库的演化趋势(一)数据库演化趋势数据库可以分为三个时代,第一个时代是IT时代的商业数据库时代,经典产品有Oracle和DB2,计算的基础设施是IOE,主要客户是大中型企业。第二个时代是互联网时代的开源数据库,当时许多公司的数据库主要是LAMP,目前行业的许多数据库技术也是从这个时代
从Polardb读写分离的实现原理说起
Polardb是阿里这两年宣传的比较多的数据库产品。在阿里云上有RDSFORPOLARDB的产品,分为-X、-O和-PG三个引擎。虽然阿里没有怎么宣传这三种引擎的来源,不过根据其使用特性来看,-X是基于Mysql引擎的,-O、-PG是基于PostgreSQL引擎的。-O主打与Oracle语法的兼容性
一文详解PolarDB披荆斩棘的“秘密武器”
一、背景传统的关系型数据库有着悠久的历史,从上世纪60年代开始就已经在航空领域发挥作用。因为其严谨的强一致保证以及通用的关系型数据模型接口,获得了越来越多的应用,大有一统天下的气势。2000年以后,随着互联网应用的出现,很多场景下,并不需要传统关系型数据库提供的强一致性以及关系型数据模型。相反,由于
【2021/1/7】ITPUB新闻早报
今日热点:发改委等14部门:春运期间落实健康码全国“一码通行”,鼓励各地推广刷身份证自动核验健康码服务;北京冬奥火炬传递将于2月2日举行1200名火炬手参与
Redis 集群化的 3 种方案对比
来源|http://kaito-kidd.com/2020/07/07/redis-cluster-codis-twemproxy/之前我们提到,为了保证Redis的高可用,主要需要以下几个方面:数据持久化主从复制自动故障恢复集群化我们简单理一下这几个方案的特点,以及它们之间的联系。数据持久化本质上
Redis-事务与持久化
Redis中的事务与持久化Redis中的事务事务的定义Redis事务是一个单独的隔离操作:事务中的所有命令都会序列化、按顺序地执行。事务在执行的过程中,不会被其他客户端发送来的命令请求所打断。Redis事务的主要作用就是串联多个命令防止别的命令插队。事务的执行方法Redis中操作事务主要是由三个命令
Redis的keys命令到底有多慢?
keys命令的用法:keyspattern查找符合正则匹配的key的列表。扫描对象是Redis服务中所有的key,想想都很慢对不对?同时执行keys命令的同时,Redis进程将被阻塞,无法执行其他命令,假如超过了哨兵的down-after-milliseconds配置,还会进行主从切换,切换过程中,
Redis 最全性能监控指标
来源:blog.51cto.com/yht1990/2503819监控指标内存指标:Memory基本活动指标:Basicactivity持久性指标:Persistence错误指标:Error监控方式性能监控:内存监控:基本活动指标:持久性指标:错误指标redis性能测试命令监控指标性能指标:Perf
Redis新版本开始引入多线程,谈谈你的看法?
Redis作为一个基于内存的缓存系统,一直以高性能著称,因没有上下文切换以及无锁操作,即使在单线程处理情况下,读速度仍可达到11万次/s,写速度达到8.1万次/s。但是,单线程的设计也给Redis带来一些问题:只能使用CPU一个核;如果删除的键过大(比如Set类型中有上百万个对象),会导致服务端阻塞
Redis 的 8 大数据类型,写得非常好!
来源:https://blog.itzhouq.cn/redis2NoSQL开发中或多或少都会用到,也是面试必问知识点。最近这几天的面试每一场都问到了,但是感觉回答的并不好,还有很多需要梳理的知识点,这里通过几篇Redis笔记整个梳理一遍。Redis的八大数据类型官网可查看命令:http://www