机器学习---神经元模型

1. 生物学的启示

神经元在结构上由细胞体、树突、轴突和突触四部分组成。

       细胞体是神经元的主体，由细胞核、细胞质和细胞膜3部分组成。细胞体的外部是细胞膜，将

膜内外细胞液分开。由于细胞膜对细胞液中的不同离子具有不同的通透性，这使得膜内外存在着离

子浓度差，从而出现内负外正的静息电位。这种电位差称为膜电位。

        树突，从细胞体向外延伸出许多突起的神经纤维。负责接收来自其他神经元的输入信号，相

当于细胞体的输入端。

        轴突，由细胞体伸出的最长的一条突起称为轴突。轴突比树突长而细。轴突也叫神经纤维，

末端处有很多细的分支称为神经末梢，每一条神经末梢可以向四面八方传出信号，相当于细胞体的

输出端。

        突触，一个神经元通过其轴突的神经末梢和和另一个神经元的细胞体或树突进行通信连接，

这种连接相当于神经元之间的输入／输出接口（I／0），称为突触。

        突触使神经细胞的膜电位发生变化，且电位的变化是可以累加的，单个神经元可以与多达上

千个其他神经元的轴突末梢形成突触连接，接受从各个轴突传来的脉冲输入。

       这些输入可到达神经元的不同部位，输入部位不同，对神经元影响的权重也不同。

       输入部位不同，该神经细胞膜电位是它所有突触产生的电位总和，当该神经细胞的膜电位升

高到超过一个阈值时，就会产生一个脉冲，从而总和的膜电位直接影响该神经细胞兴奋发放的脉冲

数。

       神经元的信息是宽度和幅度都相同的脉冲串，若某个神经细胞兴奋，其轴突输出的脉冲串的频

率就高；若某个神经细胞抑制，其轴突输出的脉冲串的频率就低，甚至无脉冲输出。

       因此，突触可以分为兴奋性和抑制性两种，兴奋性的突触可能引起下一个神经细胞兴奋，抑制

性的突触使下一个神经细胞抑制。脉冲的传递是正向的，不允许逆向传播。另外，突触传递信息需

要一定的延迟。

综上所述，我们可以概括出生物神经网络的假定特点：

        每个神经元都是一个多输入单输出的信息处理单元；

        神经元输入分兴奋性输入和抑制性输入两种类型；

        神经元具有空间整合特性和阈值特性；

        神经元输入与输出间有固定的时滞，主要取决于突触延搁。

2. M-P模型

       1943年心理学家W.McCulloch（迈科络）和数学家W.Pitts（皮茨）合作提出了M-P模型，

即以他们两个人的名字命名（McCulloch-Pitts）。

        为了使得建模更加简单，以便于进行形式化表达，我们忽略时间整合作用、不应期等复杂因

素，并把神经元的突触时延和强度当成常数。如下就是一个M-P模型的示意图。

        结合M-P模型示意图来看，对于某一个神经元 j（注意别混淆成变量了，在这里 j 只是起到标

识某个神经元的作用） ，它可能同时接受了许多个输入信号，用 xi 表示，前面说过，由于生物神

经元具有不同的突触性质和突触强度，所以对神经元的影响不同，我们用权值 wij，来表示，其正

负模拟了生物神经元中突出的兴奋和抑制，其大小则代表了突出的不同连接强度。由于累加性，我

们对全部输入信号进行累加整合，相当于生物神经元中的膜电位。

       神经元激活与否取决于某一阈值电平，即只有当其输入总和超过阈值 thea 时，神经元才被激

活而发放脉冲，否则神经元不会发生输出信号。整个过程可以用下面这个函数来表示：

由此可以得到总结出M-P模型的6个特点：

       每个神经元都是一个多输入单输出的信息处理单元神经元输入分兴奋性输入和抑制性输入两种

类型；

        神经元具有空间整合特性和阈值特性；

        神经元输入与输出间有固定的时滞，主要取决于突触延搁；

        忽略时间整合作用和不应期；

        神经元本身是非时变的，即其突触时延和突触强度均为常数。

3. 神经元模型 

图、数字公式以及解释图和数字公式的正文，将使用一下符号：

标量：小写的斜体字母。

向量：小写的黑正体字母，如a,b,c。

矩阵：大写的黑整体字母，如A,B,C。

单输入神经元模型：

神经元按下式计算： 

例如。若w=3，p=2，b=1.5，则

传输函数：

硬极限传输函数：

线性传输函数：

对数传输函数：

sigmiod函数特性：

       值域a∈(0,1)；非线性，单调性；无限次可微；|n| 较小时可近似线性函数；|n| 较大时可近似

阈值函数。

多输入神经元：

       权值矩阵：通常，一个神经元有不止一个输入。具有R个输入的神经元如下图所示。其输入

P1、P2、.......、PR分别对应权值矩阵w的元素W1,1、W1,2、......、W1,R

该神经元有一个偏置值b，他与所有输入的加权和累加，从而形成净输入n：

表达式可以写成矩阵形式： 

神经元的输出可以写成：

权值下标：权值矩阵元素下标的第一个下标表示权值；相应连接所指定的目标神经元编号，第二个

下标表示权值相应连接的源神经元编号。 

简化符号：

       在这种情况下，神经元的输出a是一个标量，如果网络有多个神经元，那么网络输出就是一个

向量。

多个并行操作的神经元：

输入向量p的每个元素均通过权值矩阵w和每个神经元相连。

 

神经元的层：

如果某层的输出是网络的输出，那么称该层为输出层，而其他层叫隐含层。

延时器和积分器：

 

递归神经网络：

一个递归网络是一个带反馈的网络，其部分输出连接到他的输入，一种类型的离散时间递归网络。

如何选取一种网络结构，应用问题的描述从如下几个方面非常有助于定义网络的结构：

网络的输入个数=应用问题的输入数；

输出层神经元的数目=应用问题的输出数目：

输出层的传输函数选择至少部分依赖与应用问题的输出描述。