深度学习之基础知识

​好好学习，天天向上！

活动地址：CSDN21天学习挑战赛

1.神经网络是干什么的？

神经网络的训练目的是希望能够学习到一个模型，实现输出一个期望的目标值。

2.神经网络如何学习？

学习的方式是在外界输入样本的刺激下不断改变网络的连接权值。

3.神经网络分为哪几类？

前馈型神经网络，反馈型神经网络和自组织神经网络。这几类网络具有不同的训练学习训练算法，可以归结为监督型学习算法和非监督型学习算法。

4.前馈神经网络

​前馈神经网络(FeedForwardNeuralNetwork)是一种单向多层的网络结构，即信息是从输入层开始，逐层向一个方向传递， 一直到输出层结束。所谓的“前馈”是指输入信号的传播方向为前向，在此过程中并不调整各层的权值参数，而反传播时是将误差逐层向后传递，从而实现使用权值参数对特征的记忆，即通过反向传播(BP)算法来计算各层网络中神经元之间边的权重。BP算法具有非线性映射能力，理论上可逼近任意连续函，从而实现对模型的学习。

5.感知器

感知机，是一种结构最简单的前馈神经网络，它主要用于求解分类问题。

一个感知器可以接收n个输入x(x.2....xn)，对应n个权值w=(w1,w2,...,wn)，此外还有一个偏置项阈值，就是图中的b，神经元将所有输入参数与对应权值进行加权求和，得到的结果经过激活函数变换后输出，计算公式如下:           y=f(x*w+ b)

 ●神经元的作用可以理解为对输入空间进行直线划分，单层感知机无法解决最简单的非线性可分问题——异或问题

●感知器可以顺利求解与(AND)和或(OR)问题，但是对于异或(XOR)问题， 单层感知机无法通过一条线进行分割

6.训练方法神经网络

• 批量梯度下降法
• 随机梯度下降法
• Mini-batch梯度下降法

7.激活函数

激活函数通常有以下性质：

• 非线性
• 可微性
• 单调性
• f(x)≈x
• 输出值范围
• 计算简单
• 归一化

激活函数经常使用Sigmoid函数、tanh函数、ReLu函数。

8.Sigmoid函数

9. 双曲正切函数

 

10. ReLU函数

11. Leaky RuLU函数

12. Maxout函数

13. 如何选择激活函数？

• 通常使用ReLU函数，并注意设置好学习率。
• 如果存在死亡神经元的问题，就尝试Leaky ReLU或Maxout函数。
• 尽量避免使用Sigmoid函数。
• tanh函数大部分情况下效果不如ReLU或Maxout函数

14.损失函数

15.softmax

 

16. 交叉熵

17.均方差损失函数

 

18.学习率

学习率控制每次更新参数的幅度，过高和过低的学习率都可能对模型结果带来不良影响，合适的学习率可以加快模型的训练速度。

常见学习率调整方法：

• 基于经验的手动调整
• 固定学习率
• 均分分步降低策略
• 指数级衰减
• 多项式策略
• AdaGrad动态调整
• AdaDelta自动调整
• 动量法动态调整
• RMSProp动态调整
• 随机梯度下降
• Adam自动调整

19.Adam

20.过拟合

指模型在训练集上预测效果好，但在测试集上预测效果差。

21.常用的防止过拟合的方法

• 参数范数惩罚
• 数据增强
• 提前终止
• Bagging等集成方法
• Dropout
• 批正则化

22.模型训练中的问题

• 选择恰当的激活函数
• 权重初始化
• 学习率
• 梯度消失和梯度爆炸
• Dropout
• 正则化
• bach normalization
• 周期/训练迭代次数
• 训练过程可视化
• 局部极小值

23.权重初始化

24.梯度消失和梯度爆炸

链式法则：当权重过小或过大，会分别导致梯度消失和梯度爆炸。

25. 防止梯度消失和梯度爆炸的方法

• 重新设计网络模型
• 使用ReLU激活函数
• 使用长短期记忆网络
• 使用梯度截断
• 使用权重正则化

26.正则化

 

27. batch normalization

 

28.dropout

29.模型训练中遇到问题

每一批次数据训练后会得到损失函数的结果，对其进行统计，并计算出当前阶段的准确率，输出到屏幕上，在所有训练结束后再输出整体的准确率结果。如果在训练过程中发现存在异常可以直接中止训练过程，避免浪费时间。

30.神经网络效果评价

•  用于分类的模型评价以准确率(Accuracy)、精确率(Precision)、召回率(Recall)， F1分值(F1 Score)为主， 辅以ROC、AUC并结合实际应用进行结果评价
• 如果神经网络用于聚类，数据源并没有进行标记，那么其模型结果的评价按照聚类算法的标准来操作，如RMSSTD、 R Square、SRP等
• 随着机器学习在不同领域中的应用，其评价方式需要与实际业务相结合,通过确定目标要求来定量设计评价标准，例如在目标检测等方面使用平均曲线下面积(mean Average Precision, mAP)指标进行衡量识别准确性

31.径向基函数网络

32. 反馈神经网络 

 

  

 

33. BAM

34.Elman神经网络

 

 

35. 自组织神经网络

自组织神经网络又称Kohonen网，这一神经网络的特点是当接收到外界信号刺激时，不同区域对信号自动产生不同的响应。这种神经网络是在生物神经元上首先发现的，如果神经元是同步活跃的则信号加强，如果异步活跃则信号减弱