二 Pytorch中的asutograd

目录

1 tensor的概念

2 Tensor的操作

3 关于梯度Gradients

---

1 tensor的概念

• 关于torch.Tensor        
  • torch.Tensor是整个package中的核心类，如果将.require_grad设置为True，它将追踪在这个类上定义的所有操作，当代吗要进行反向传播时，直接调用..backward()就可以自动计算所有的梯度，在这个Tensor上的所有梯度将被累加进属性.grad中。
  • 如果想要终止一个Tensor在计算图中的追踪回溯，只需要执行.detach()就可以将该Tensor从计算图中撤下，在未来的回溯计算中也不会继续计算此张量。
  • 除了.detach()，如果想要终止对计算图的回溯，也就是不再进行方向传播求导的过程，也可以用代码块的方式with torch.no_grad()