Torch基础（二）

目录

.1神经网络结构

1.1流程

.2激活函数的作用

2.1激活函数的作用 

.3优化器、损失函数的作用

3.1优化器

3.1.1梯度下降法

3.2损失函数

---

.1神经网络结构

1.1流程

训练流程：

首先将一组训练集送入神经网络

然后根据实际输出和期望输出之间的误差来调整网络内部参数（各种权值等）

初始权值都是随机的，然后就通过bk改变参数使误差降到最低，降到规定范围内就完成了该过程

.2激活函数的作用

激活函数的作用就是把输入映射到输出端

2.1激活函数的作用 

 可以看到下图只用线形去二分类三角形和圆形是很难的，但用曲线就能较好的分类

 如果神经网络不使用激活函数，那么实际上就是复杂的线形组合函数

换句话说如果不用激活函数，那每一层的输入实际上就是上一层的输出的线形组合

显然这样是没法解决非线性问题（如上图）

但是加上激活函数之后就会给神经元引入非线性元素，使得神经网络可以任意逼近非线性函数

.3优化器、损失函数的作用

3.1优化器

 优化器就是用来更新和计算影响模型训练和输出的网络参数，使得其最终在训练后逼近或者达到最好的值。

常用的优化器有SGD（随机梯度优化法）可以去中文文档看

3.1.1梯度下降法

首先说明有了损失函数，得到了关于实际输出和真实值之间的差距，然后通过梯度下降法，改变全值，使得实际输出和真实值之间的差距减小

参考：什么是梯度下降法？ - 知乎

梯度下降法的本质就是设定好参数，在损失函数的起始点会有一个线形梯度（也可以理解为切线），然后沿着切线负方向向最低点变化，就能相对较快迭代得到最低点，而不是去进行求解

3.2损失函数

损失函数就是计算网络每次迭代的输出和真实值的差距

常用的有均方差误差函数、均方根误差函数、交叉熵误差函数

神经网络需要去计算与期望输出的误差

这个误差是用来控制训练效果的，如果越低就代表越逼近期望效果

损失函数计算出损失值，优化器去优化参数，使下一次输出的损失会降低（如果步长和学习率合理）