全连接层那些事（Fully Connected Layer）

目录

什么是全连接层？

哪里会用到全连接层

全连接层的作用包括：

---

什么是全连接层？

        全连接层（Fully Connected Layer），也称为密集连接层（Dense Layer），是深度学习神经网络中的一种基本层类型。全连接层的每个神经元都与前一层的所有神经元相连接，每个连接都有一个权重用于调节信息传递的强度，并且每个神经元还有一个偏置项。

哪里会用到全连接层

        全连接层通常出现在卷积神经网络（CNN）或多层感知器（MLP）等网络结构的末尾。它负责将前面层中提取到的特征映射转换为最终的输出。在分类任务中，全连接层的输出通常与类别数量相对应，用于输出每个类别的概率分布或类别得分。

全连接层的作用包括：

• 特征整合： 将前面层提取到的特征整合到最终的表示中，以便进行分类、回归或其他任务。
• 非线性映射： 全连接层通常会在特征整合后应用非线性激活函数，如ReLU、sigmoid或tanh，以增加网络的表达能力。
• 参数调节： 全连接层的权重和偏置项是可以学习的参数，通过反向传播算法进行优化，以使网络能够更好地拟合训练数据。
• 输出预测： 在分类任务中，全连接层的输出用于预测输入属于各个类别的概率分布，或者直接输出类别得分。

       全连接层的引入使得神经网络能够对前面层提取到的特征进行更复杂的整合和转换，从而提高了模型的表达能力和性能。

        Dropout 层可以在全连接层中起到正则化的作用,从而优化全连接层的性能。全连接层的参数量较大,容易产生过拟合现象,而 Dropout 层通过随机失活部分神经元的输出,减少神经元之间的相关性,降低模型对于某些特定神经元的依赖性,提高模型的泛化能力,减少过拟合风险。如图所示,是在全连接层网络中加入了 Dropout 层之后的效果。