腾讯与华中科技大学合作提出了一种基于深度强化学习的端到端的云数据库自动性能优化系统 CDBTune，此项研究是 基于 AI 技术的数据库性能调优结果首次全面超越数据库专家经验判断的传统方法。相关论文已经被国际数据库顶级会议 SIGMOD 收录。
对于该论文，SIGMOD 评审委员会给出了极高的评价：
本文是关于利用机器学习方法优化数据库的技术，这是一个令人振奋的新领域。 特别是它使用了强化学习的方法。这篇文章不仅仅是简单地抛出一个机器学习技术，而且非常好地解释了机器学习是如何与特定的问题进行完全的匹配，同时也阐述了与传统机器学习术语之间的类比问题。鉴于在数据库社区中并非每个人都能对这些技术了如指掌，这也是一种教学方式，因此我们非常赞赏这篇文章。
专访内容整理如下：
1.CDBTune 因何而生？
随着自研业务以及腾讯云上数据库实例规模不断高速增长，团队发现对于很多腾讯数据库 CDB 的使用者来说，由于缺少丰富的数据库性能优化经验，很难发现导致数据库性能下降的原因并有效解决。而对于 CDB 团队来说，完全依赖数据库专家进行数据库参数调优代价昂贵且不现实。
2.CDBTune 工作原理
CDBTune 的工作过程主要分为离线训练和在线调优两个步骤。离线训练就是用一些标准的负载生成器对数据库进行压测，边收集训练数据，边训练一个初步的配置推荐模型。当用户或者系统管理员有数据库性能优化需求时，可以通过相应的交互接口提出在线调参优化请求，此时云端的控制器通过给智能优化系统发出在线调参请求，并根据用户真实负载对之前建立好的初步模型进行微调，然后将模型微调后推荐出的相应的参数配置在数据库中进行设置。反复执行上述过程，直到待调参的数据库性能满足用户或系统管理员的需求即停止调参。
3.CDBTune 性能表现
CDB 团队主要采用并发和延时两个指标来衡量数据库的性能。论文从整体性能比较（推荐时间、推荐结果），不同可调参数个数的影响比较，在弹性云环境下（用户内存和磁盘空间变化）CDBTune 的适应能力等三大方面对 CDBTune 进行考量。
4.下一步计划
目前 CDBTune 在在线推荐配置时还需要花大约 25 分钟左右的时间，CDB 团队希望进一步压缩该时间，降低用户等待时间，从而提高用户体验。另外，目前团队正在进行 CDBTune 的产品化工作，相信过不了多久大家就可以在腾讯云上体验这项研究成果，研究团队也将继续寻求技术突破，以期在数据库调参领域取得更多成果。（AI前线）
来自 “ ITPUB博客 ” ，链接：https://blog.itpub.net/69918097/viewspace-3164930/ ，如需转载，请注明出处，否则将追究法律责任。
请登录后发表评论
登录
全部评论
