[探索深度学习] 之 神经网络 - 笔记01

神经网络

1. 神经元模型

神经网络是由具有适应性的简单单元组成的广泛并行互连的网络, 它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应.

神经网络中最基本的成分是神经元模型, 即上述定义中的"简单单元".

把许多个这样的神经元按一定的层次结构连接起来, 就得到了神经网络.

只需将一个神经网络视为包含了许多参数的数学模型, 这个模型是若干个函数, 例如
$$y_i=f(\sum _i{\omega }_i{x}_i-{\theta }_j)$$
相互(嵌套)代入而得.

激活函数:

• 阶跃函数

• Sigmoid函数

理想的激活函数是阶跃函数, 但是阶跃函数具有不连续、不光滑等不太好的性质, 因此实际常用Sigmoid函数作为激活函数, Sigmoid函数也称为"挤压函数".

专业词汇:

神经网络 - neural networks

神经元 - neuron / unit

阈值 - threshold / 偏置 - bias

连接 - connection

激活函数 /响应函数 - activation function

挤压函数 - squashing function

2. 感知机与多层网络

感知机由两层神经元组成:

感知机学习规则就是, 对训练样例 $(x,y)$ , 若当前感知机的输出为 $\hat{y}$ , 则感知机权重将这样调整:
$$\begin{gathered} {\omega }_i\leftarrow {\omega }_i+△{\omega }_i \\ △{\omega }_i=\eta (y-\hat{y})x_i \\ \eta \in (0,1) \end{gathered}$$
其中 $\eta$ 称为学习率. 上式的意思就是如何感知机对训练样例预测正确, 也就是 $y=\hat{y}$ , 则感知机不发生变化, 否则将根据错误的程度进行权重调整.

多层前馈神经网络:

每层神经元与下一层神经元互连, 神经元之间不存在同层连接, 也不存在跨层连接. 这样的神经网络结构通常称为"多层前馈神经网络".

神经网络的学习过程就是根据训练数据来调整神经元之间的"连接权重"以及每个功能神经元的阈值; 换言之, 神经网络"学"到的东西, 蕴涵在连接权重与阈值中.

专业词汇:

感知机 - perceptron

阈值逻辑单元 - threshold logic unit

哑结点 - dummy node

学习率 - learning rate

功能神经元 - functional neuron

线性可分 - linearly separable

收敛 - converge

振荡 - fluctuation

隐层/隐含层/隐藏层 - hidden layer

多层前馈神经网络 - multi-layer feedforward neural networks

连接权/连接权重 - connection weight

待续~