Pytorch里的manual_seed()

Torch.manual_seed()和torch.cuda.manual_seed()

日期：2022年11月18日

pytorch版本： 1.13.0

官方文档：

• torch.manual_seed(int)

  Sets the seed for generating random numbers. Returns a torch.Generator object.

  链接：https://pytorch.org/docs/stable/generated/torch.manual_seed.html#torch.manual_seed

• GPU：torch.cuda.manual_seed(int)

  Sets the seed for generating random numbers for the current GPU. It’s safe to call this function if CUDA is not available; in that case, it is silently ignored.

  链接：https://pytorch.org/docs/stable/generated/torch.cuda.manual_seed.html#torch.cuda.manual_seed

• GPU：torch.cuda.manual_seed_all(int)

  Sets the seed for generating random numbers on all GPUs. It’s safe to call this function if CUDA is not available; in that case, it is silently ignored.

  链接：https://pytorch.org/docs/stable/generated/torch.cuda.manual_seed_all.html#torch.cuda.manual_seed_all

功能:

设置固定生成随机数的种子，使得每次运行该 .py 文件时生成的随机数相同

使用原因 ：

在需要生成随机数据的实验中，每次实验都需要生成数据。设置随机种子是为了确保每次生成固定的随机数，这就使得每次实验结果显示一致了，有利于实验的比较和改进。使得每次运行该 .py 文件时生成的随机数相同。

使用例子：

此处例子来自于李宏毅老师的机器学习作业的示例代码里

# fix seed
def same_seeds(seed):
    torch.manual_seed(seed)
    if torch.cuda.is_available():
        torch.cuda.manual_seed(seed)
        torch.cuda.manual_seed_all(seed)
    np.random.seed(seed)
    torch.backends.cudnn.benchmark = False
    torch.backends.cudnn.deterministic = True
1
2
3
4
5
6
7
8
9

但是实际上好像torch.manual_seed(int)已经可以固定所有的设备的随机数了？

参考https://zhuanlan.zhihu.com/p/161575780下的评论找到官方文档这句话的地方

You can use torch.manual_seed() to seed the RNG for all devices (both CPU and CUDA):

链接：https://pytorch.org/docs/stable/notes/randomness.html