【深度学习】第一章：深度学习概述

1. 神经元

说明：

1. 为什么使用激活函数？
   • 如果不使用激活函数，我们的每一层输出只是承接了上一层
     输入函数的线性变换，无论神经网络有多少层，输出都是输
     入的线性组合。加入激活函数可以给模型加入非线性因素，提升模型表达能力。【比如：单层神经网络无法解决异或，如果只是线性组合，最终会导致还是无法解决异或，必须加入非线性变换才可能解决。】
2. 激活函数的性质
   
3. 常见的激活函数
   

2. 神经网络的组成

3. 相关符号的说明

1. 单层神经网络：输入矩阵X、权重矩阵W、偏置矩阵B、输出矩阵Z、激活函数g(x) 的表示：
   
2. 多层神经网络中
   

4. 神经网络

4.1 单层神经网络

1. 单层神经网络(即感知机)只有输入层和输出层，没有隐藏层。

2. 特点：最大的特点是只能解决线性可分的问题，无法解决线性不可分的问题。比如：异或(XOR)
   

4.2 多层神经网络

1. 多层神经网络至少含有一个隐藏层。

2. 特点：可以解决异或问题，而且具有非常好的非线性分类效果。

   • 比如：两层神经网络解决异或
     

3. 神经网络从理论上可以逼近任意函数，可以作为一个“万能”函数来使用。逼近任意函数有两个方向：第一是增加隐藏层宽度，第二是增加隐藏层的深度。如何选择？

   • 隐藏层层数越多，提取的特征更加抽象，也就能更加任意的提取出事物的本质特征，拥有更好的泛化能力。所以一般是增加隐藏层的深度。

5. 神经网络的整个流程

机器学习三要素：

1. 模型：确定好模型(即确定好整个神经网络有几层，每一层有几个神经元，层之间的连接方式)。参数为每层神经网络之间的权重 和 每一层神经网络的偏置。
2. 准则：确定损失函数
3. 算法：求期望风险最小化或结构风险最小化时的参数值，代入模型就是最优模型。

6. 神经网络的分类

1. 前馈神经网络
   1. 全连接神经网络 (FNN)
   2. 卷积神经网络 (CNN)
2. 记忆网络
   1. 循环神经网络 (RNN)
   2. Hopfield网络
3. 图网络