MySQL Group Replication Paxos层不足和优化
本文是MySQLGroupReplication(MGR)不足和优化系列文章的延续。在之前的文章中讲了事务认证机制/冲突检测数据库不足和优化。其中的优化点在我们的InnoSQL5.7.20-v3b版本上实现,其优化效果也得到了初步验证。本篇文章主要分析作为MGR最底层的节点间网络通信层(Paxos)
[IMG嘉年华讲稿]MGR在网易使用和优化实践
MGR是MySQL官方推出的领先的服务高可用和数据高可靠方案,网易从2017年下半年开始对MGR进行了全面的性能和稳定性测试,发现并解决了数个问题,同时对MGR核心功能进行了优化增强,目前基于MGR的网易RDS金融版服务已经上线,为网易电商业务提供了跨机房的高可用方案。本次分享将为大家介绍网易对MG
MySQL XA之从天而降的匿名事务
前言在网易互联网业务中,网易杭研自研的MySQL中间件DDB大量使用,DDB的分布式事务基于MySQLXA,由于MySQL5.7修改了XA事务记录Binlog的逻辑,导致出现大量cornercase,DDB下的MySQL实例也深受其害,典型的问题就是XA事务引发的复制错误,包括加锁超时,复制夯住等。
【杭研大咖说】温正湖:6年,从不会写SQL到数据库专家
他是业界主流数据库技术会议的明星讲师,开源社区各种分享活动的活跃分子;他累计申请了10多个技术发明专利,已授权8个;他近一年发布60多篇高质量技术博客文章,阅读量数十万;他和团队对MyRocks的优化实践,被网易技术委员会评选为年度大奖;他与同事合著的《MySQL内核:InnoDB存储引擎卷1》在京
MySQL审计正确使用姿势
前言数据库审计功能主要将用户对数据库的各类操作行为记录审计日志,以便日后进行跟踪、查询、分析,以实现对用户操作的监控和审计。审计是一项非常重要的工作,也是企业数据安全体系的重要组成部分。MySQL 5.5企业版增加审计功能,但是需要付费。MySQL社区…
MySQL XA之从天而降的匿名事务
前言在网易互联网业务中,网易杭研自研的MySQL中间件DDB大量使用,DDB的分布式事务基于MySQL XA,由于MySQL 5.7修改了XA事务记录Binlog的逻辑,导致出现大量corner case,DDB下的MySQL实例也深受其害,典型的问题就是XA事务引发的复制错误,包括加锁超时,…
MyRocks范围查询实现分析
本文出自组内小伙伴RocksDB iterator 允许用户遍历整个数据库,本文主要介绍 iterator 整体结构,如何实现seek,如何实现next等。介绍的顺序如下:RocksDB iterator 类层次关系,iterator 架构。用于建立整体认识。seek、next的实现。seek用于进行等值查询…
布隆过滤器(Bloom Filter)在MyRocks中的使用分析
本文出自组内小伙伴LSM类型的存储引擎查询性能要低于B-tree 类型的存储引擎,RocksDB 有针对性的优化那就是:bloom filter。其实在LevelDB 里就存在bloom filter,但是RocksDB 在LevelDB的基础上又做了优化。本文主要内容包括以下部分:Bloom filter 在Rocks…
MySQL审计插件实现与优化
摘要审计是数据库安全中很重要的一个环节,它能够实时记录数据库的操作记录,帮助数据库管理员对数据库异常行为进行分析审核。目前除了MySQL商业版的审计插件外,还有三种开源的审计插件可以考虑:Percona的审计插件audit log;MariaDB的审计插件server aud…
图数据库neo4j因果集群技术分析
本文主要介绍如何搭建一个neo4j高可用集群,往集群中动态添加neo4节点,节点的故障恢复。介绍如何进行事务操作和驱动配置来在节点故障,尤其是neo4j主节点(raft leader,写服务)故障时,尽可能减小对业务的影响。neo4j raft集群这里所说的neo4j raft集群…
图数据库neo4j数据导入、备份和恢复
在之前的文章中,介绍了如何搭建neo4j集群,集群的故障切换和节点恢复,还介绍了如何配置驱动实现自动failover。本文聚焦在neo4j的数据上。聊聊如何从外部数据源将数据导入neo4j,如何对neo4j数据库进行备份和恢复。数据导入可以有多种方式将数据导入neo4j…
图数据库neo4j存储设计和免索引邻接
简介本文主要介绍neo4j是如何将图数据保存在磁盘上的,采用的是什么存储方式。分析这种存储方式对进行图查询/遍历的影响。图数据库简介生产环境中使用的图数据库主要有2种,分别是带标签的属性图(Labeled Property Graph)和资源描述框架RDF(Resource Des…
MySQL/InnoDB数据克隆插件(clone plugin)实现剖析
MySQL 8.0.17版本简介2019-7-22号,Oracle发布了MySQL 8.0.17、5.7.27和5.6.45三个版本,后两个版本是维护版本,改动很小,主要进行几个bugfix。本次发布的重头是8.0.17版本。该版本进行了一系列的重大更新,我们可以从release notes中获取较全面的了解,更…
图数据库neo4j集群中的读写及其一致性行为
背景知识为了更好说明neo4j集群中的读写及其一致性行为,有必要先对neo4j的部署模式,驱动,会话,事务等概念做下基本介绍。neo4j部署模式neo4j有3种部署模式,分别叫stand-alone instance(单机模式),HA cluster(高可用模式)和causal cluster(因果集…
使用cypher和gremlin进行图随机游走
随机游走简介随机游走,又称随机漫步,英文为‘random walk’。 在wiki上的解释是这样的:A random walk is a mathematical object, known as a stochastic or random process, that describes a path that consists of a succession of random steps on so…
MyRocks在XA事务场景的使用和优化-3
所属系列:上:https://zhuanlan.zhihu.com/p/70594302中:https://zhuanlan.zhihu.com/p/70594699下:
MyRocks在XA事务场景的使用和优化-2
所属系列:上:https://zhuanlan.zhihu.com/p/70594302中:https://zhuanlan.zhihu.com/p/70594699下:
MyRocks在XA事务场景的使用和优化-1
本文介绍MyRocks在网易互联网核心业务上的实践,在推进MyRocks落地过程中,遇到了很多问题,主要集中在xa事务上,所以本文讨论的重点是MyRocks在xa事务上的实践。MyRocks 在某业务上线后遇到了下面与xa有关的问题:Slave无法回放xa事务session 退出后 xa pr…
[IMG嘉年华讲稿]MGR在网易使用和优化实践
MGR是MySQL官方推出的领先的服务高可用和数据高可靠方案,网易从2017年下半年开始对MGR进行了全面的性能和稳定性测试,发现并解决了数个问题,同时对MGR核心功能进行了优化增强,目前基于MGR的网易RDS金融版服务已经上线,为网易电商业务提供了跨机房的高可…
MySQL Group Replication Paxos层不足和优化
本文是MySQL Group Replication(MGR)不足和优化系列文章的延续。在之前的文章中讲了事务认证机制/冲突检测数据库不足和优化。其中的优化点在我们的InnoSQL 5.7.20-v3b版本上实现,其优化效果也得到了初步验证。本篇文章主要分析作为MGR最底层的节点间网络…