架构设计 - MySQL 插入数据性能优化策略

mysql 数据库提高数据插入效率主要可以考虑以下方面：

• 使用批量插入数据的 SQL 语句，避免使用 for 循环逐条记录插入。

• 所有插入语句共用一个事务，避免1条SQL语句开1个事务，所有操作都完成后再提交事务。

• 尽量按照索引递增顺序插入记录，以避免频繁的调整索引。

• 控制事务大小。插入的数据量不要超过 innodb_log_buffer_size 配置属性的值，超过这个值会导致 InnoDB 把数据刷到磁盘中，进而影响插入效率。如果数据量太大，可以将大数据插入操作拆分成多个较小的事务。

MySQL 的数据 CRUD 操作性能指标：（以千万级别数据为例）

主键：1 - 10 毫秒

唯一索引：10 - 100 毫秒

非唯一索引：100 - 1000 毫秒

无索引：百万条数据 1000+ 毫秒

Mysql 数据库，若查询操作是基于主键或唯一索引的，上亿条数据也没有性能问题；若查询命中在非唯一索引，且非唯一索引数据区分度高，千万级别或上亿数据问题也不大；若区分度较低或者全表扫描的，千万条记录是不能接受的，因此需要有处理方案。

如果业务系统有流水表(每月有千万条数据)且有时间范围递增的数据，可以考虑按照时间方式切分，比如一年前的数据搞到另一张表或另一个数据库中，然后对业务做改造，将用户的查询按照时间维度区分开来，比如只能差近三个月的数据，查三个月前的需要点另外一个 table 查询等，为了改造量最小可以考虑使用分库分表中间件然后依然按照时间维度分表查询即可