MySQL审计正确使用姿势
前言数据库审计功能主要将用户对数据库的各类操作行为记录审计日志,以便日后进行跟踪、查询、分析,以实现对用户操作的监控和审计。审计是一项非常重要的工作,也是企业数据安全体系的重要组成部分。MySQL5.5企业版增加审计功能,但是需要付费。MySQL社区版没有审计功能,除了商业版的审计插件外,常见的还有
MySQL Group Replication之Arbiter节点实现方案分析
在上一篇文章中,我们探讨了在MGR中引入arbiter节点的必要性和可行性,本文重点分析如何实现。一、arbiter角色拆分围绕arbiter节点是否记录binlog信息这个关键点。我们做了些需求收集,并在完成arbiter功能原型实现后,在网易云环境上进行了测试。最终决定…
InnoSQL/MySQL DDL Flashback功能简介
浅谈数据库误删除恢复在文章中,曾提到处理数据库误删除的几种方法,其中一种是数据闪回(flashback),目前我们在开源实现的基础上,对ddlflashback方案进行了优化,解决了其存在的兼容性等问题。现对其进行简单介绍。该文由组内小伙伴原创,略做修改。背景需求Flashback概念最早出自Ora
InnoSQL/MySQL DML Flashback功能简介
本篇继续介绍DML闪回,相信大家已经比较熟悉。为了使用起来更加方便,我们结合RDS使用需求进一步更加了一些参数。DMLfashback原理目前DMLflashback功能集成于官方mysqlbinlog命令,通过参数的方式进行flashback功能的开启。官方mysqlbinlog命令为解析MySQ
MGR Arbiter:基于成本优化的MySQL Group Replication部署新方案
一、现状简介有关MGR的介绍和优势之前已经写过好几篇文章,本文不再展开,大家有兴趣可以查看专栏中的其他MGR文章做进一步了解。在网易内部,MGR已通过RDS金融版服务在云环境提供,在考拉海购上实现规模使用,实例数200+。在物理机环境上,与DDB一起部署的适配的方案也已确定,将在云音乐等业务场景上使
MGR Arbiter:基于成本优化的MySQL Group Replication部署新方案
#### 一、现状简介有关MGR的介绍和优势之前已经写过好几篇文章,本文不再展开,大家有兴趣可以查看专栏中的其他MGR文章做进一步了解。在网易内部,MGR已通过RDS金融版服务在云环境提供,在考拉海购上实现规模使用,实例数200+。在物理机环境上,与DDB一起部…
MongoDB分布式事务之时间戳与混合逻辑时钟
前言这篇文章接上文mongodb4.0事务实现浅析。mongo从3.6之后,开始进行WT-TIMESTAMP-PROJ,后续server层引入了带签名的逻辑时钟logic_clock.h。基于逻辑时钟与客户端协同,又实现了因果一致性会话。到4.0,server层的事务框架做了大的改进,Oplog空洞
MyRocks在XA事务场景的使用和优化-2
内存泄漏问题解决了slave回放xa事务的问题,业务顺利部署MyRocks,但上线不久后发现有内存泄漏。线下也很容易模拟出来。rocksdb_block_cache_size=4G,利用sysbench_xa32线程跑update_index测试,top抓取的内存消耗:showenginerocks
MySQL/InnoDB数据克隆插件(clone plugin)实现剖析
MySQL8.0.17版本简介2019-7-22号,Oracle发布了MySQL8.0.17、5.7.27和5.6.45三个版本,后两个版本是维护版本,改动很小,主要进行几个bugfix。本次发布的重头是8.0.17版本。该版本进行了一系列的重大更新,我们可以从releasenotes中获取较全面的
使用cypher和gremlin进行图随机游走
随机游走简介随机游走,又称随机漫步,英文为‘randomwalk’。在wiki上的解释是这样的:Arandomwalkisamathematicalobject,knownasastochasticorrandomprocess,thatdescribesapaththatconsistsofasu
图数据库neo4j存储设计和免索引邻接
简介本文主要介绍neo4j是如何将图数据保存在磁盘上的,采用的是什么存储方式。分析这种存储方式对进行图查询/遍历的影响。图数据库简介生产环境中使用的图数据库主要有2种,分别是带标签的属性图(LabeledPropertyGraph)和资源描述框架RDF(ResourceDescriptionFram
图数据库neo4j数据导入、备份和恢复
在之前的文章中,介绍了如何搭建neo4j集群,集群的故障切换和节点恢复,还介绍了如何配置驱动实现自动failover。本文聚焦在neo4j的数据上。聊聊如何从外部数据源将数据导入neo4j,如何对neo4j数据库进行备份和恢复。数据导入可以有多种方式将数据导入neo4j。大致分为cypher语句导入
MySQL审计插件实现与优化
摘要审计是数据库安全中很重要的一个环节,它能够实时记录数据库的操作记录,帮助数据库管理员对数据库异常行为进行分析审核。目前除了MySQL商业版的审计插件外,还有三种开源的审计插件可以考虑:Percona的审计插件auditlog;MariaDB的审计插件serveraudit;Mcafee的审计插件
DML的flashback相关参数说明 目前支持的参数如下:
上篇介绍了DDL闪回温正湖:InnoSQL/MySQLDDLFlashback功能简介zhuanlan.zhihu.com本篇继续介绍DML闪回,相信大家已经比较熟悉。为了使用起来更加方便,我们结合RDS使用需求进一步更加了一些参数。DMLfashback原理目前DMLflashback功能集成于官
MySQL审计插件实现与优化
摘要审计是数据库安全中很重要的一个环节,它能够实时记录数据库的操作记录,帮助数据库管理员对数据库异常行为进行分析审核。目前除了MySQL商业版的审计插件外,还有三种开源的审计插件可以考虑:Percona的审计插件auditlog;MariaDB的审计插件serveraudit;Mcafee的审计插件
MyRocks在XA事务场景的使用和优化-3
所属系列:上:https://zhuanlan.zhihu.com/p/70594302中:https://zhuanlan.zhihu.com/p/70594699下:https://zhuanlan.zhihu.com/p/70595011无法shutdown问题前面提到MyRocks在使用my
图数据库neo4j因果集群技术分析
本文主要介绍如何搭建一个neo4j高可用集群,往集群中动态添加neo4节点,节点的故障恢复。介绍如何进行事务操作和驱动配置来在节点故障,尤其是neo4j主节点(raftleader,写服务)故障时,尽可能减小对业务的影响。neo4jraft集群这里所说的neo4jraft集群是指neo4j企业版的因
当前MySQL只读实例方案及存在的问题
笔者在工作中申请了几篇技术专利,主要是在MySQL学习和使用过程中的一些方案优化。计划将交底书中的“当前方案和问题”章节的内容作为一个系列在专栏中记录。本文是这个系列的第一篇,交底书原名“一种基于数据延迟智能控制的MySQL读写分离实现方案”,但申请过技术专利的同学都知道,被专利代理人更改过的专利名
当前MySQL只读实例方案及存在的问题
笔者在工作中申请了几篇技术专利,主要是在MySQL学习和使用过程中的一些方案优化。计划将交底书中的“当前方案和问题”章节的内容作为一个系列在专栏中记录。本文是这个系列的第一篇,交底书原名“一种基于数据延迟智能控制的MySQL读写分离实现方案”,但申…
MySQL XA之从天而降的匿名事务
前言在网易互联网业务中,网易杭研自研的MySQL中间件DDB大量使用,DDB的分布式事务基于MySQLXA,由于MySQL5.7修改了XA事务记录Binlog的逻辑,导致出现大量cornercase,DDB下的MySQL实例也深受其害,典型的问题就是XA事务引发的复制错误,包括加锁超时,复制夯住等。