Python数据的标准存储方案

刷完这60个标准库模块，成为Python骨灰级玩家

在介绍pickle之前，复习一下eval可以起到提神醒脑的作用，eval是一个不太安全的东西，因为可以实现将字符串转为代码，并执行。

例如

>>> eval("print(1)")
1
1
2

如果乱用这个函数，就会把别人恶意写出的字符串代码执行，导致灾难性的后果。

pickle可以用二进制表示python中的数据，并存储下来，而且能够重新读取。所以这也是一个不安全的功能，如果把一个pickle暴露给别人，那万一遇到了坏人，同样有被植入恶意程序的风险。

加载和保存

pickle中有两组加载和保存函数

例如

x = [i**2 for i in range(10)]
import pickle
s = pickle.dumps(x)
print(s)
# b'\x80\x04\x95\x19\x00\x00\x00\x00\x00\x00\x00]\x94(K\x00K\x01K\x04K\tK\x10K\x19K$K1K@KQe.'
with open("test.pickle", 'wb') as f:
   pickle.dump(x, f)        # 将x存为f
1
2
3
4
5
6
7

将x存储为文件之后，还可以重新打开

with open("test.pickle", 'rb') as f:
    y = pickle.load(f)

print(y)
# [0, 1, 4, 9, 16, 25, 36, 49, 64, 81]
1
2
3
4
5

注意事项

除了不够安全之外，使用pickle另外一个需要注意的是，到目前为止，pickle已经有6个版本，其中v0和v1版本过于古老，基本没什么能用的地方；v3以后的版本则不再支持Python2.x，下表列出了自v2到v5的一些更新特性

理论上讲，pickle可以封装一切python对象，所以对于一些比较耗时的算法，可以通过pickle来保存当前的状态。

但要注意的是，尽管pickle可以封存函数，但并不能封存匿名函数

>>> test = lambda x : x
>>> s = pickle.dumps(test)
Traceback (most recent call last):
  File "", line 1, in <module>
_pickle.PicklingError: Can't pickle <function <lambda> at 0x00000207E76C7F70>: attribute lookup <lambda> on __main__ failed
>>> def test(x):
...   print(x)
...
>>> s = pickle.dumps(test)
>>> print(s)
b'\x80\x04\x95\x15\x00\x00\x00\x00\x00\x00\x00\x8c\x08__main__\x94\x8c\x04test\x94\x93\x94.'
1
2
3
4
5
6
7
8
9
10
11

其他包库的支持

在pandas中提供了to_pickle，可将数据帧或系列转化为pickle。