天云数据:Hubble数据库系统自主研发率99.62%,是真正的信创数据库
软件是新一代信息技术的灵魂,是数字经济发展的基础,是制造强国、网络强国、数字中国建设的关键支撑。工信部开展源代码自主度测试方案,在400W+开源项目、10000W+组件数进行多维度自主度分析。核心功能包括源代码开源率分析、软件成分分析、开源安全漏洞风险分析、开源许可证合规性风险分析。天云数据公司自主研发的Hubble数据库源代码国产化率93%,系统自主研发率99.62%,是真正意义上信创数据库。
「分布式技术专题」事务型、分析型数据资源隔离机制
事务型、分析型数据资源隔离机制
「分布式技术专题」故障恢复
由数据库管理系统提供一套方法,可及时发现故障和修复故障,从而防止数据被破坏。数据库系统能尽快恢复数据库系统运行时出现的故障,可能是物理上或是逻辑上的错误。比如对系统的误操作造成的数据错误等。
「分布式技术专题」副本机制
副本机制
「分布式技术专题」数据切分与合并
海量数据的存储和访问成为系统设计的瓶颈问题。每天海量数据的增长无疑对数据库造成了相当高的负载。给系统的稳定性和扩展性造成了极大的问题。
「分布式技术专题」数据分布(原理、数据分片)
数据分布是分布式数据库的主要特征。实现数据访问的局部化是分布式数据库设计的重要内容。介绍了分布式数据库系统的主要特征及关键技术,重点对关系的分割和分布式数据的访问进行了描述。如:分布式数据库中的数据分布在不同的节点上,有的事务分解成不同节点上的多个局部事务,若某个局部事务不能正常提交,则必须撤销所有其他节点已提交的局部事务。事务的这种性质,官能称为事的原子性。
「分布式技术专题」数据分布(数据复制、数据分片及优劣势)
对于那些需要在多个场地上对数据进行更新的应用来说,自动快照的功能就显得很不够了。这些应用要求同一个表的多份拷贝在多个场上进行维护。把数据复制到远程节点,使数据更容易被系统中的较远的用户访问,从而境加了系统的本地自治度。分布式数据库必须解决一个重要问题是,保持所有拷贝的同步更新。
「分布式技术专题」去中心化服务与中心化服务的优劣
在云计算、大数据等新技术的带动下,越来越多的企业需要对结构化的数据进行查询、分析、处理和更新。同时,随着创新业务的不断增加,业务的复杂及庞大的体量必然会产生错综复杂且规模巨大的结构化数据,这些都必然迫使企业对数据库的需求指向大规模、高可靠、高扩展及高性能。
「分布式技术专题」基于Gossip协议的去中心服务
概述Gossip 协议可以翻译为流言协议。它是在 1987 年发表在 ACM 上的论文 《Epidemic Algorithms for Replicated Database Maintenance》中被提出的。论文中给 Gossip 协议的定义是一个以流行病传播的方式为基础的计算机点对点通信程序或过程(a procedure or process of computer peer-to-pee
「分布式技术专题」事务基础及特性
在数据库中,会将有意义的数据操作进行集中处理,利用数据库进行数据的检索、插入、更新、删除操作, 这里用户的一个连贯的操作,就是事务(transaction)。 为了解决多个用户同时访问数据库时不会发生问题,就需要控制这些操作, 也就是通常意义上的并发控制中的上锁(LOCK)操作(乐观并发不上锁的情况不在本文讨论范围内)。
「分布式技术专题」并发系列三:乐观并发控制之原型系统(分布式验证)
原型系统——分布式验证
「分布式技术专题」非独立存储的优势与劣势
分布式数数据库非独立存储采用非独点空间的策略机制。 非独站空间是数据空间的一种,可以通过数据空间中的一个属性来描述,会与其他非独占空间的数据空间共用磁盘目录,通过逻辑来隔离,非独占空间会包含多个shard,多个shard可能属于多个数据空间,属于多张表。 非独占空间也可称为共享表空间:每一个数据库的所有的表数据,索引文件全部放在一个或多个文件中,默认这个共享表空间的文件路径。
「分布式技术专题」独立存储的优势与劣势
数据库的独立性包括逻辑独立性(数据库中数据库的逻辑结构和应用程序相互独立)和物理独立性(数据物理结构的变化不影响数据的逻辑结构)。分布式数数据库独立存储采用独点空间的策略机制。独站空间是数据空间的一种,可以通过数据空间中的一个属性来描述,通常这个空间会在磁盘上有独占的存储目录,与其他空间是物理隔离的,独占空间包含多个shard,所有的shard属于同一个数据空间,属于同一张表。用于满足特定的业务应用场景。
「分布式技术专题」并发系列三:乐观并发控制之生产系统
以时间轴的方式对不同时期的有代表性的论文(从理论研究、原型系统、 生产系统三个维度分类)进行了梳理,带你简要回顾一下OCC在学术界及工业界的发展历程——生产系统
「分布式技术专题」并发系列三:乐观并发控制之理论研究
本文重点在于沿着OCC发展的时间线的梳理,由于相关论文较多,作者无法深入探究每篇论文的详细内容,仅描述了论文中的大致思想,可能也有不全面或错误的地方,感兴趣的同学可以研读论文原著。
「分布式技术专题」并发系列三:乐观并发控制之原型系统(动态调整提交时间戳)
MaaT: Effective and scalable coordination of distributedtransactions in the cloud VLDB 2014 这篇论文可以称为是为OCC摇旗呐喊的战斗檄文。论文首先提出了事务级云存储系统的概念,有代表性的系统如工业界的Spanner、 学术界的Calvin、开源界的MySQL Cluster。与传统事务级云数据库的区别在于更加透明的数据分区,包括自动化的分区拆分、合并、迁移、负载均衡, 这使得高效的跨结点分布式事务成为一个必选功能。
「分布式技术专题」并发系列三:乐观并发控制之原型系统
以时间轴的方式对不同时期的有代表性的论文(从理论研究、原型系统、 生产系统三个维度分类)进行了梳理,带你简要回顾一下OCC在学术界及工业界的发展历程。
「分布式技术专题」并发系列二:基于时间的并发控制
与基于加锁的并发控制不同,基于时间戳的并发控制并不试图通过互斥关系来维护可串行化,而是先提前选择一个串行化顺序,再根据这个顺序来执行事务,为了建立这个顺序,事务管理器需要对每个事务T进行初始化时分配一个时间戳。时间戳时一种专门用来唯一标识每个事务并将事务排序的标识符。
「分布式技术专题」并发系列一:基于加锁的并发控制
数据库中如果出现了冲突,一般有几种情况。两个操作同时访问了相同的数据库条目, 并且他们中的任意一个是写操作,那么它们就是冲突的。
「分布式技术专题」时钟系列二:数据库世界中为什么要有时钟?
时间概念来源于事件发生顺序的最基本概念,如果说事件发生在3点15分,说明它发生在3点15分到3点16分之间。 在现实世界里,想知道当前时间好像并不是什么难事,可对于电脑来说,事情却没有那么简单。