首先要分类讨论,一条SQL语句慢分为
- 大多数情况下执行速度正常,偶尔出现执行变慢
- 一直执行速度都很慢
-
针对偶尔很慢的情况
- 那么原因可能就不是出现在SQL语句本身,而是其他方面因素导致的
当我们要往数据库插入一条数据、或者要更新一条数据的时候,我们知道数据库会在内存中把对应字段的数据更新了,但是更新之后,这些更新的字段并不会马上同步持久化到磁盘中去,而是把这些更新的记录写入到 redo log 日记中去,等到空闲的时候,在通过 redo log 里的日记把最新的数据同步到磁盘中去
数据库在刷新脏页(flush)
当内存数据页跟磁盘数据页内容不一致的时候,我们称这个内存页为“脏页”。内存数据写入到磁盘后,内存和磁盘上的数据页的内容就一致了,称为“干净页”。
- 刷脏页有以下4种场景
A. redo log日志满了
redo log 里的容量是有限的,如果数据库一直很忙,更新又很频繁,这个时候 redo log 很快就会被写满了,这个时候就没办法等到空闲的时候再把数据同步到磁盘的,只能暂停其他操作,全身心来把数据同步到磁盘中去的,而这个时候,就会导致我们平时正常的SQL语句突然执行的很慢,所以说,数据库在在同步数据到磁盘的时候,就有可能导致我们的SQL语句执行的很慢了。
B. 内存不够用了
如果一次查询较多的数据,恰好碰到所查数据页不在内存中时,需要申请内存,而此时恰好内存不足的时 候就需要淘汰一部分内存数据页,如果是干净页,就直接释放,如果恰好是脏页就需要刷脏页。
C. MySQL 认为系统“空闲”的时候
这时系统没什么压力。
D. MySQL 正常关闭的时候
这时候,MySQL 会把内存的脏页都 flush 到磁盘上,这样下次 MySQL 启动的时候,就可以直接从磁盘上读数据,启动速度会很快。
拿不到锁我能怎么办
这个就比较容易想到了,我们要执行的这条语句,刚好这条语句涉及到的表,别人在用,并且加锁了,我们拿不到锁,只能慢慢等待别人释放锁了。或者,表没有加锁,但要使用到的某个一行被加锁了,这个时候,我也没办法啊。
如果要判断是否真的在等待锁,我们可以用 show processlist这个命令来查看当前的状态哦,这里我要提醒一下,有些命令最好记录一下,反正,我被问了好几个命令,都不知道怎么写,呵呵。
下来我们来访分析下第二种情况,我觉得第二种情况的分析才是最重要的
一直执行速度都很慢
如果在数据量一样大的情况下,这条 SQL 语句每次都执行的这么慢,那就就要好好考虑下你的 SQL 书写了,下面我们来分析下哪些原因会导致我们的 SQL 语句执行的很不理想。
我们先来假设我们有一个表,表里有下面两个字段,分别是主键 id,和两个普通字段 c 和 d。
mysql> CREATE TABLE `t` (
`id` int(11) NOT NULL,
`c` int(11) DEFAULT NULL,
`d` int(11) DEFAULT NULL,
PRIMARY KEY (`id`)
) ENGINE=InnoDB;
没有用上索引,我觉得这个原因是很多人都能想到的,例如你要查询这条语句
select * from t where 100 < c and c < 100000;
-
没有使用索引
- 刚好你的 c 字段上没有索引,那么抱歉,只能走全表扫描了,你就体验不会索引带来的乐趣了,所以,这回导致这条查询语句很慢。
-
有索引,但未引用到
# 在where子句后的字段,对字段进行进行了运算操作,会导致索引失效 select * from table where b-1 = 1000; # 应该为 select * from table where b = 1000 + 1; # 在where子句后的字段,使用了SQL函数() select * from table where substring(name,1,3)='abc'; # 正确应该 select * from table where name = 'abc%';
-
数据库自己选错索引选错了**
我们在进行查询操作的时候,例如
select * from t where 100 < c and c < 100000;
我们知道,主键索引和非主键索引的有区别的,主键索引存放的值是整行字段的数据,而非主键索引上存放的值不是整行字段的数据,而且存放主键字段的值。
也就是说,如果走的是c这个字段的索引,最后会找到主键字段的值,然后根据主键字段的值走主键索引,查询到整行字段的数据。
但是,就算是C字段上有索引,系统也不一定走C字段索引,而是有可能直接扫描全表
为什么呢?
其实是这样,系统在执行这条语句前,会进行预测,究竟是走C索引扫描的行数少,还是全表扫描的行数少?因为扫描行数少当然是越好的,意味着I/O操作的次数越少。
如果扫描全表的话,那么扫描的次数就是这个表的总行数了,假设为n ;
而如果走索引C的话,我们通过索引c找到主键字段的值,再通过主键字段的值找到主键索引来找我们的整行数据,也就是说需要找两次索引,而且我们也不知道 100<c and c < 10000 这个条件的数据有多少行,万一是这个表的所有数据都符合呢?就意味着走c索引不仅扫描的行数是n,同时还得每行数据走两次索引。
所以呢,系统是有可能走全表扫描而不走索引的。那系统是怎么判断呢?
判断是来自系统的预测,也就是说,如果要走C索引,系统会预测走c字段索引大概要扫描多少行,如果预测数据多的话,则很可能直接不走索引直接全表扫描了
问题是:系统是如何预测的呢?
系统是根据 索引的区分度 来预测的,一个索引上不同的值越多,索引的区分度越高,意味着出现相同数值的索引越少,我们也把索引区分度称之为 基数,即区分度越高,基数越大。
基数越大,那么符合 100 < c and c < 10000的条件行数就越少。
一个索引的基数越大,意味着走索引查询越有优势。
那么系统是如何知道这个索引的基数呢?
系统当然是不会遍历全部来获得一个索引的基数的,代价太大了,索引系统是通过遍历部分数据,也就是通过采样的方式,来预测索引的基数的。
扯了这么多,重点的来了,居然是采样,那就有可能出现失误的情况,也就是说,c 这个索引的基数实际上是很大的,但是采样的时候,却很不幸,把这个索引的基数预测成很小。例如你采样的那一部分数据刚好基数很小,然后就误以为索引的基数很小。然后就呵呵,系统就不走 c 索引了,直接走全部扫描了。
所以呢,说了这么多,得出结论:由于统计的失误,导致系统没有走索引,而是走了全表扫描,而这,也是导致我们 SQL 语句执行的很慢的原因。
这里我声明一下,系统判断是否走索引,扫描行数的预测其实只是原因之一,这条查询语句是否需要使用使用临时表、是否需要排序等也是会影响系统的选择的。
不过呢,我们有时候也可以通过强制走索引的方式来查询,例如
select * from t force index(a) where c < 100 and c < 100000;
我们也可以通过
show index from t;
来查询索引的基数和实际是否符合,如果和实际很不符合的话,我们可以重新来统计索引的基数,可以用这条命令
analyze table t;
来重新统计分析。
既然会预测错索引的基数,这也意味着,当我们的查询语句有多个索引的时候,系统有可能也会选错索引哦,这也可能是 SQL 执行的很慢的一个原因。
好吧,就先扯这么多了,你到时候能扯出这么多,我觉得已经很棒了,下面做一个总结。
四、总结
以上是我的总结与理解,最后一个部分,我怕很多人不大懂数据库居然会选错索引,所以我详细解释了一下,下面我对以上做一个总结。
一个 SQL 执行的很慢,我们要分两种情况讨论:
1、大多数情况下很正常,偶尔很慢,则有如下原因
(1)、数据库在刷新脏页,例如 redo log 写满了需要同步到磁盘。
(2)、执行的时候,遇到锁,如表锁、行锁。
2、这条 SQL 语句一直执行的很慢,则有如下原因。
(1)、没有用上索引:例如该字段没有索引;由于对字段进行运算、函数操作导致无法用索引。
(2)、数据库选错了索引。