python3使用sqlite3构建本地持久化缓存

环境：Windows 10_x64

python版本：3.9.2

sqlite3版本：3.34.0

日常python开发中会遇到数据持久化的问题，今天记录下如何使用sqlite3进行数据持久化，并提供示例代码及数据查看工具。

一、背景描述

python应用程序在运行过程中被kill掉（比如版本升级等情况），内存中的运行数据将会丢失，如果能够准实时将数据存储在缓存中，程序下次启动时将继续执行被kill之前的动作。

使用数据库作为持久化是笔记理想的选择，可现实情况可能需要python脚本进行本地持久化，相较于pickle等方式，sqlite3的持久化方式可扩展性比较强，方便后续迁移到mysql等数据库。

二、具体实现

1、基础使用示例

• 查看版本信息

import sqlite3
print(sqlite3.version_info) #显示sqlite3版本信息
print(sqlite3.sqlite_version) #显示SQLite版本信息

• 数据库创建或连接

conn = sqlite3.connect("test1.db")
cur = conn.cursor()

• 数据表创建

dbCreate = '''
CREATE TABLE user(
    user_id int,
    user_name text,
    password text
)
'''
cur.executescript(dbCreate)
conn.commit()

• 插入数据

conn.execute("INSERT INTO user (user_id,user_name,password) VALUES(1,'user1','123456')")
conn.commit()

• 查询数据

cursor = conn.execute("SELECT * FROM user")
for row in cursor.fetchall():
    print(row)

完整示例代码如下：

#! /usr/bin/env python3
#--*-- ebcoding:utf-8 --*--

import sqlite3

dbCreate = '''
CREATE TABLE user(
    user_id int,
    user_name text,
    password text
)
'''

# 创建或连接数据库
conn = sqlite3.connect("test1.db")
cur = conn.cursor()

cur.executescript(dbCreate)
conn.commit()

conn.execute("INSERT INTO user (user_id,user_name,password) VALUES(1,'user1','123456')")
conn.execute("INSERT INTO user (user_id,user_name,password) VALUES(2,'user2','123457')")
conn.commit()

cursor = conn.execute("SELECT * FROM user")
for row in cursor.fetchall():
    print(row)

conn.close()

运行效果：

生成的 test1.db 数据库文件可以使用 sqlitestudio 进行查看，软件运行效果如下：

 

下载地址：

https://sqlitestudio.pl/

如果下载过慢，可从如下文末提供的渠道获取。

2、代码封装示例

实际使用过程中，需要进行代码封装，以便后续使用，这里以通话记录为例演示下封装过程。

1）定义全局缓存 gDCdrData，用于在内存中存放数据；
2）定义全局队列 gQCDR ，用于数据传递；
3）定义sqlite3持久化文件，并定义保留时长；
4）创建 ObjCdrItem 类，用于定义item数据结构；
5）定义sqlite3管理类 ObjCDRMgr，用于管理sqlite3数据库；
6）启动 dataGenThrd 线程模拟数据创建；
7）启动 updateThrd 线程用于数据更新；
8）启动 cleanThrd 线程用于数据清理；

示例代码如下：

 完整代码可从如下渠道获取：

关注微信公众号（聊聊博文，文末可扫码）后回复 20231106 获取。

运行效果如下：

 数据文件打开效果如下：

三、资源下载

本文涉及文件和示例代码从如下途径获取：

关注微信公众号（聊聊博文，文末可扫码）后回复 20231106 获取。

 好，就这么多了，希望对你有帮助。