【MySQL】慢SQL搜集工具、SQL脱敏聚合处理

浅谈慢SQL

相信每个做业务的程序员都会受到过慢sql的困扰，开发新功能的时候库里总共没几条数据，毫秒级查询笑嘻嘻，上线之后各种页面loading卡顿。。。

通常每个公司都应该有对应的搜集分析慢sql的工具，尤其是做saas服务的要实时监控慢sql及时推送预警并改正。不过并不是每家公司都会有。毕竟现在大部分公司的首要功能是活下去。

不是以saas产品为主线的公司都让寒气吹傻了，疯狂迭代需求还来不及，谁还管这些不痛不痒的小工具（不要误会，我在自我介绍）。

就拿我们公司来说，很早期从saas转型成私有化，一直缺这么个小工具。直到有一天saas个人版出现了卡顿情况，组长最后从阿里云mysql监控平台上琳琅满目的慢sql图表里得出结论，罪魁祸首是几条慢sql导致的。

于是做了个决定一定要搞一个工具，低配版的也行，起码要有抽象sql聚合的能力（脱敏处理，sql的参数替换成问号可以类比orm中正向操作是在执行sql前用参数替换掉问号，反向就是把要执行的sql参数再替换成问号）

效果如下:

实现思路

搭建慢SQL分析工具首先要有数据源，得想办法拦截sql并分析它，摆在面前的总共两个大方向，服务层拦截和数据库层拦截。

服务层拦截

• 如果是Java服务的化比较好处理，毕竟可以从orm框架上做一些文章，搞一些intercepter拦截sql分析。

• 问题是我们的服务经过漫长的迭代并不是只有Java语言，还有一些老旧的Python服务怎么处理，Python的服务都是自己封装的一些公用curd方法，并没有用开源框架，必然需要手动处理，工作量暴增。

数据库层拦截

mysql自带了慢日志查询，可以打开慢查询设置，分析mysql打出来的慢sql日志

show variables like '%query%'
1

所有符合查询耗时条件的sql都会被收集到指定的路径下，不断追加写入到slow-query.log文件中。如此一来监听这个slow-query.log就可以了。日志格式如下：

/opt/bitnami/mysql/bin/mysqld, Version: 5.7.26-log (MySQL Community Server (GPL)). started with:\
Tcp port: 3306  Unix socket: /opt/bitnami/mysql/tmp/mysql.sock\
Time                 Id Command    Argument\
\
# Time: 2021-06-26T00:00:05.250595+08:00\
# User@Host: calarm[calarm] @  [10.244.0.176]  Id: 405911\
# Query_time: 4.977888  Lock_time: 0.000123 Rows_sent: 1  Rows_examined: 15973877\
use calarm;\
SET timestamp=1624636805;\
select count(1) FROM msg_info where trigger_time