模型运行过程中占内存的中间变量

显存占用

通常一个模型占用的显存是两部分：

1. 模型自身的参数(params) 模型
2. 计算产生的中间变量(memory)

2占了很大的比例，又包括激活中间变量和优化器部分；

激活中间变量

网络训练使用链式法则进行参数更新，如下图：
其中$\frac{\partial f}{\partial z}$ 是激活函数的导数，
假设激活函数是sigmoid，则导数的值为${\sigma }^{\prime }(x)=\sigma (x)(1-{\sigma }^{\prime }(x))$
如果不暂存$\sigma (x)$的话，我们就需要用$x$进行前向运算重新计算一遍；

为了方便参数更新，一般会将 $\sigma (x)$暂时保存下来，非常占显存，
也可以不保存下来，需要用到的时候再用$x_i$计算一遍，做一遍前向运算，会减少显存的使用，但是会增加耗时。

具体激活函数产出的临时变量会占多大的显存呢？是否比参数占的要多的多呢？

参考：

1、重新认识一下激活函数和non-zero-centered 问题

2、如何在Pytorch中精细化利用显存