pytorch基础学习（5）

print(list(net.parameters()))
print('-' * 10)
print(dict(net.named_parameters()))

print(list(my_net.children()))  # 直接孩子
print('-' * 10)
print(list(my_net.modules()))  # 所有孩子

1. 使用.to(device)可以在具体的CPU/GPU上切换，这会将其所有子模块也一起转移过去运行。
2. 注意，模块的.to(device)是原地操作并返回自己的引用，而Tensor的.to(device)不会在当前Tensor上操作，返回的才是在目标设备上对应创建的Tensor。

1. 在训练前可以检查是否有检查点文件，使用torch.load()载入检查点文件，然后传入net.load_state_dict()中网络模型设置参数：

   net.load_state_dict(torch.load('ckpt.mdl'))
   

2. 在训练过程中，每隔一定的迭代次数可以保存一下检查点，将当前网络模型的状态传进去：

   torch.save(net.state_dict(), 'ckpt.mdl')
   

# 线性层的参数w和b,对w而言输出维度放在前面：计算的时候：x = x @ self.w.t() + self.b
self.w = nn.Parameter(torch.randn(outp, inp))
self.b = nn.Parameter(torch.randn(outp))

如果发生梯度爆炸，可以进行梯度裁剪：

model.zero_grad()
loss.backward()
for p in model.parameters():
    # print(p.grad.norm())  # 查看参数p的梯度
    torch.nn.utils.clip_grad_norm_(p, 10)  # 将梯度裁剪到小于10
optimizer.step()