深度学习必备基础知识点

云IDE产品介绍
云IDE使用教程
免费使用地址：点击【云IDE】，即可开始创建工作空间啦~

一、人工智能、机器学习与深度学习三者区别

人工智能包括很多领域：计算机视觉、自然语言处理、数据挖掘……
深度学习是机器学习的一部分，对于现阶段，深度学习更流行，对于任务效果更好。

一、机器学习流程：

数据获取->特征工程->建立模型->评估和应用，其中特征工程是机器学习过程中最重要的一部分。

二、深度学习种特征工程的作用：

1. 数据特征决定模型上限；
2. 预处理和特征提取是最核心的；
3. 算法和参数选择决定了如何逼近上限

三、得分函数的作用

对于一个十分类问题，对应十组不同的权重w，每一个w的维度都是1×3072（32×32×3），x表示当前输入的特征3072×1，那么经过点乘后得到结果为10×1，加上偏置项b（10×1）得到最终对应每一类的得分，选取分值最大的即为最终结果。

四、损失函数的作用

损失函数用来衡量一组权重参数所得到结果的好坏程度。

正则化惩罚项：权重参数对模型的影响。

首先对于计算得到的分值进行e^x操作，放大得分之间的差异，接着进行归一化操作，将得分映射到0~1之间，也就是每一个类别的概率。损失值采用log进行计算，概率越接近0，损失越大；概率越接近1，损失越小。

五、前向传播整体流程

前向传播概括而言就是：在已知x(当前特征)和w(权重)的情况下，计算得到损失函数值的过程。

六、反向传播的计算方法

在由前向传播计算得到损失函数值后，反向传播对权重w进行更新优化的过程。

七、神经网络整体架构

八、正则化与激活函数的作用

常见的激活函数：1.sigmoid函数、2.relu函数、3.Tanh函数（双曲正切）

当前在绝大多数情况下，激活函数采用Relu函数，因为Sigmoid函数容易出现梯度消失现象。从图像中可以发现，越靠近两边，梯度趋于0，在反向传播过程中，若干个趋于0的数连乘造成梯度消失。

九、神经网络防止过拟合的方法

DROP-OUT： 在神经网络训练过程中，在每一层随机选择一些神经元进行训练，从而达到降低训练力度，防止过拟合的效果。