【MySQL】数据安全性讨论思维导图
和团队内部的同事一起沟通,讨论了MySQL 数据库系统数据安全性问题,主要针对MySQL丢数据库的场景 ,主从不一致的场景 ,还有业务层面使用不得当导致主备库数据结构不一样的情况,本文是基于以上的讨论和总结做的思维导图。
【Python】基于pymysql的数据库操作类
Python和MySQL交互的模块有 MySQLdb 和 PyMySQL(pymysql),MySQLdb是基于C 语言编写的,而且Python3 不在支持MySQLdb 。PyMySQL是一个纯Python写的MySQL客户端,它的目标是替代MySQLdb,可以在CPython、PyPy、IronPython和Jython环境下运行,PyMySQL在MIT许可下发布。 在开发基于Python语言的项目中,为了以后系统能兼容Python3,我们使用了PyMySQL替换了MySQLdb。下面我们来熟悉一下pymysql的使用。
【Python】如何获取知乎最有价值的内容
相信大部分能看到我blog的人都听说过知乎吧?如果你没有听说过,那么链接在这里 知乎? 作为一个知乎er,为了更加深入的理解“xxx 是一种什么体验”(的图片),为了践行 “技术改变生活”(实则有些wuliao) ,使用requsets 爬取知乎中最优价值的内容,本文本着探索的精神,写一段获取内容的python程序。
【工具】一款基于go语言的agent
在构建数据库自动化运维系统的时候,数据库服务器上必须要有一个agent来执行web服务器端发起的命令,我们研究了好几种技术celery,rq 或者基于socket实现,当然还有自己写,因为之前有同事已经完成了一个agent---servant,在和同事沟通之后,我们决定复用servant,不用重复造轮子。servant是一款基于go语言编写的,提供权限认证和远程调用,支持异步执行命令的agent ,满足我们目前数据库备份任务,定时收集数据库元数据信息,定时校验备份的有效性的任务需求。本文是一篇how to 文档,相对比较详细的介绍如何安装和使用servant,希望对读者朋友有所帮助。
【Python】浅谈装饰器
装饰器是一个用于封装函数或者类的代码工具,显式地将封装器作用于函数或者类上,达到程序运行时动态增加功能的目的。对于函数运行前处理常见前置条件(常见的web登陆授权验证),或者在函数执行之后做善后工作(比如异常处理,记录log 等等)。
【Python】基于Django Web开发清单
最近在和 同事 一起开发一套数据库管理平台 ,该平台使用Django 作为web 框架。和大多数数据库管理平台一样 ,该平台提供 备份,恢复,申请实例,实例上下线 以及数据质量对比 等功能。本文主要是记录 开发一套系统使用哪些功能组件。
【Python】浅谈python中的json
最近一直在做开发相关的工作--基于Django的web 平台,其中需要从model层传输数据到view 层做数据展示或者做业务逻辑处理。我们采用通用的Json格式--Json(JavaScript Object Notation) 是一种轻量级的数据交换格式,易于阅读和程序解析。
【MySQL】如何构建高性能MySQL系统
最近在压测新的存储,正好把工作过程中积累的对高性能MySQL相关的知识体系构建起来,做成思维导图的方式。总结乃一家之言,有不妥之处,望给位读者朋友指正。
【MySQL】varbinary 真的比varchar 更合适?
在讨论数据表字段设计的时候,有同学提出使用vabinary 代替 varchar ,部分开发不明所以,其实我也是。两者之间具体有什么区别?使用vabinary 代替 varchar 对业务有何优势?本文尝试从性能,数据大小,查询,创建索引等对比功能等方面进行研究,有不妥或者不到位之处还请各位读者朋友提示。
【工具】MySQL 安装利器---Sandbox
MySQL Sandbox是一个非常简单快捷的安装搭建MySQL实例的工具,它可以非常快速地满足我们对MySQL环境各种需求:单机实例,主从,一主多从等等架构(区别于自己安装MySQL 软件)。比如 新的数据库版本发行之后,想要尽快尝鲜 ,又不想花太多资源去安装,就可以使用sandbox帮助我们完成创建单个或者主从结构的实例。对于那些不懂MySQL安装的开发,测试同学而言,可以使用sandbox的命令快速搭建一个符合要求的数据库。
【MySQL】5.7新特性之七
本系列文章基于 5.7.12 版本讲述MySQL的新特性。从安装,文件结构,SQL ,优化 ,运维层面 复制,GITD等几个方面展开介绍 5.7 的新特性和功能。同时也建议大家跟踪官方blog和官方文档,以尽快知悉其新的变化。本文主要研究5.7 复制方面的改进和优化。
【MySQL】mydumper工具介绍
最近研究了一下mydumper 逻辑导出工具,相比mysqldump,该工具具有较高的性能,对备份恢复而言多了一个有效途径,大家可以测试使用。
【MySQL】Too many connections 案例一则
本文分析一个日常维护db 遇到的案例,看似初级的问题,但是耗费了很久才排查解决完毕 ,作为DBA 老司机感觉都汗颜。常规的思维解决常规的问题。
【工具】sysbench 0.5 简介
sysbench 目前最新的版本是0.5 ,相比之前的0.4的版本,最大的变化是 test 参数的改变,在压测MySQL时,新版本中test将取值为 lua脚本,该种方式给压测工作带来很大的灵活性。
【MySQL】恢复误操作的方法
本周接二连三的出现开发人员在测试环境和生产误操作导致数据库误删除/更新,对DBA而言,回滚数据着实是一件头疼的事情,凡涉及到恢复线上数据必然对应用带来一定的影响。大多数情况是开发误操作delete数据,update多数行。本文介绍常用的恢复方法。
【MySQL】InnoDB锁机制之二
本文继续技术innodb 层面的锁 insert intrention lock 和 auto_inc lock
【工作】蚂蚁金服招DBA
工作机会,蚂蚁金服(支付宝)招聘 DBA