Python实现mysql基于配置文件的全自动增量数据备份

前言

在mysql备份或者高可用当中，常见的方式主要有NDBcluster集群，MGR组复制技术，Mycat+mysql分片存储技术（以上三种都可以在mysql专栏查看）以及主从备份。

在上述的几种方式中，所需要的机器及部署配置都是相当繁琐的，集群至少三台起步，对于一些小的备份场景下可能不是那么的便捷。所以，对于只需要备份数据，对数据的及时性要求不太高的场景下，可以使用Python完成数据库的增量备份，本方案可以实现在只需要修改配置文件的情况下，实现自动建库，建表，重复数据删除，同步新数据，自动增加全库数据库分区的功能。

整体被备份过程分为三步：

1.修改配置文件里面包含的数据库信息和需要同步的表信息

2.开启定时任务，可按小时或天维度对数据进行同步

3.对于过往的旧数据，采用脚本进行循环补采

配置文件

config.py

"""
版本号：1.0
日期：2024/5/27
描述：
"""
 
# 待备份的数据库
DB_INFO_SOURCE = {
    'host': '127.0.0.1',
    'port': 3306,
    'user': 'root',
    'pwd': 'lytcreate',
}
 
# 备份至该数据库
DB_INFO_BACKUP = {
    'host': '192.168.131.131',
    'port': 3306,
    'user': 'root