程序员的成长之路

互联网/程序员/成长/职场 

博主负责的项目主要采用阿里云数据库MySQL，最近频繁出现慢SQL告警，执行时间最长的竟然高达5分钟。导出日志后分析，主要原因竟然是没有命中索引和没有分页处理。

其实这是非常低级的错误，我不禁后背一凉，团队成员的技术水平亟待提高啊。改造这些SQL的过程中，总结了一些经验分享给大家，如果有错误欢迎批评指正。

MySQL性能

最大数据量

抛开数据量和并发数，谈性能都是耍流氓。MySQL没有限制单表最大记录数，它取决于操作系统对文件大小的限制。

《阿里巴巴Java开发手册》提出单表行数超过500万行或者单表容量超过2GB，才推荐分库分表。性能由综合因素决定，抛开业务复杂度，影响程度依次是硬件配置、MySQL配置、数据表设计、索引优化。500万这个值仅供参考，并非铁律。

博主曾经操作过超过4亿行数据的单表，分页查询最新的20条记录耗时0.6秒，SQL语句大致是select field_1,field_2 from table where id < #{prePageMinId} order by id desc limit 20，prePageMinId是上一页数据记录的最小ID。

虽然当时查询速度还凑合，随着数据不断增长，有朝一日必定不堪重负。分库分表是个周期长而风险高的大活儿，应该尽可能在当前结构上优化，比如升级硬件、迁移历史数据等等，实在没辙了再分。对分库分表感兴趣的同学可以阅读分库分表的基本思想。

最大并发数

并发数是指同一时刻数据库能处理多少个请求，由max_connections和max_user_connections决定。max_connections是指MySQL实例的最大连接数，上限值是16384，max_user_connections是指每个数据库用户的最大连接数。

MySQL会为每个连接提供缓冲区，意味着消耗更多的内存。如果连接数设置太高硬件吃不消，太低又不能充分利用硬件。一般要求两者比值超过10%，计算方法如下：

max_used_connections / max_connections * 100% = 3/100 *100% ≈ 3%

查看最大连接数与响应最大连接数：

show variables like '%max_connections%';
show variables like '%max_user_connections%';

在配置文件my.cnf中修改最大连接数

[mysqld]
max_connections = 100
max_used_connections = 20

查询耗时0.5秒

建议将单次查询耗时控制在0.5秒以内，0.5秒是个经验值，源于用户体验的3秒原则。

如果用户的操作3秒内没有响应，将会厌烦甚至退出。

响应时间=客户端UI渲染耗时+网络请求耗时+应用程序处理耗时+查询数据库耗时，0.5秒就是留给数据库1/6的处理时间。

实施原则

相比NoSQL数据库，MySQL是个娇气脆弱的家伙。它就像体育课上的女同学，一点纠纷就和同学闹别扭(扩容难)，跑两步就气喘吁吁(容量小并发低)，常常身体不适要请假(SQL约束太多)。

如今大家都会搞点分布式，应用程序扩容比数据库要容易得多，所以实施原则是数据库少干活，应用程序多干活。

• 充分利用但不滥用索引，须知索引也消耗磁盘和CPU。
• 不推荐使用数据库函数格式化数据，交给应用程序处理。
• 不推荐使用外键约束，用应用程序保证数据准确性。
• 写多读少的场景，不推荐使用唯一索引，用应用程序保证唯一性。
• 适当冗余字段，尝试创建中间表，用应用程序计算中间结果，用空间换时间。
• 不允许执行极度耗时的事务，配合应用程序拆分成更小的事务。
• 预估重要数据表（比如订单表）的负载和数据增长态势，提前优化。

数据表设计

数据类型

• 如果长度能够满足，整型尽量使用tinyint、smallint、medium_int而非int。
• 如果字符串长度确定，采用char类型。
• 如果varchar能够满足，不采用text类型。
• 精度要求较高的使用decimal类型，也可以使用BIGINT，比如精确两位小数就乘以100后保存。
• 尽量采用timestamp而非datetime。

避免空值

text类型优化

索引优化

索引分类

• 普通索引：最基本的索引。
• 组合索引：多个字段上建立的索引，能够加速复合查询条件的检索。
• 唯一索引：与普通索引类似，但索引列的值必须唯一，允许有空值。
• 组合唯一索引：列值的组合必须唯一。
• 主键索引：特殊的唯一索引，用于唯一标识数据表中的某一条记录，不允许有空值，一般用primary key约束。
• 全文索引：用于海量文本的查询，MySQL5.6之后的InnoDB和MyISAM均支持全文索引。由于查询精度以及扩展性不佳，更多的企业选择Elasticsearch。

索引优化

• 分页查询很重要，如果查询数据量超过30%，MYSQL不会使用索引。
• 单表索引数不超过5个、单个索引字段数不超过5个。
• 字符串可使用前缀索引，前缀长度控制在5-8个字符。
• 字段唯一性太低，增加索引没有意义，如：是否删除、性别。

select login_name, nick_name from member where login_name = ?

SQL优化

分批处理

update status= FROM `coupon` WHERE expire_date <= #{currentDate} and status=1;

int pageNo = 1;
int PAGE_SIZE = 100;
while(true) {
    List<Integer> batchIdList = queryList('select id FROM `coupon` WHERE expire_date <= #{currentDate} and status = 1 limit #{(pageNo-1) * PAGE_SIZE},#{PAGE_SIZE}');
    if (CollectionUtils.isEmpty(batchIdList)) {
        return;
    }
    update('update status = 0 FROM `coupon` where status = 1 and id in #{batchIdList}')
    pageNo ++;
}

操作符<>优化

select id from orders where amount != 100;

(select id from orders where amount > 100)
 union all
(select id from orders where amount < 100 and amount > )

OR优化

select id，product_name from orders where mobile_no = '13421800407' or user_id = 100;

(select id，product_name from orders where mobile_no = '13421800407')
 union
(select id，product_name from orders where user_id = 100);

IN优化

select id from orders where user_id in (select id from user where level = 'VIP');

select o.id from orders o left join user u on o.user_id = u.id where u.level = 'VIP';

不做列运算

select id from order where date_format(create_time，'%Y-%m-%d') = '2019-07-01';

select id from order where create_time between '2019-07-01 00:00:00' and '2019-07-01 23:59:59';

避免Select all

Like优化

SELECT column FROM table WHERE field like '%keyword%';

SELECT column FROM table WHERE field like 'keyword%';

Join优化

Limit优化

select * from orders order by id desc limit 100000,10 

select * from orders order by id desc limit 1000000,10

select * from orders where id > (select id from orders order by id desc  limit 1000000, 1) order by id desc limit ,10

select id from orders where id between 1000000 and 1000010 order by id desc

其他数据库

参考

https://www.jianshu.com/p/6864abb4d885

往期精彩回顾

朕已阅