1.神经元和大脑

神经网络工作早在1950年代就开始了，然后一度失宠，然后再1980年代和1990年代初期，它们再次流行起来，并在手写数字识别等应用程序中表现出具有强大的吸引力，但随后它在1990年代再次失宠，大约在2005年开始复苏，并用深度学习重新命名。

人类所有的思想都来自下图这样的神经元发送电脉冲，有时会形成其他神经元的新连接。给定这样的一个神经元，它获得来自其他神经元的电脉冲，然后执行一些计算后将发送此输出，通过电脉冲传送给其他神经元，然后这个上层神经元的输出依次称为下层神经元的输入，下层神经元再聚合多个其他神经元，然后将其自己的输出发送到其他神经元，这样就构成了人类的思想。

左图是一个神经元，一个神经元由一个细胞体组成，输入线称为树突，输出电脉冲的线称为轴突，神经元发送的电脉冲成为另一个神经元的输入。右图是简化的数学模型，小圆圈表示单个神经元，给定一个输入，经过计算得到一个输出，然后这个输出成为下一个神经元的输入，在构建人工神经网络或深度学习算法时，并不是一次构建一个神经元，通常需要模拟许多这样的神经元。

 2.案例-神经网络在需求预测示例中的工作原理

四个特征预测T恤是否畅销，特征有：价格、运费、营销、质量，一件T恤是否成为畅销品取决于哪些因素：一是这件T恤的负担能力（是否实惠），二是潜在买家对这款T恤的认知度如何，三是对偏见或潜在偏见的感知质量。我们要做的是创建一个人工神经网络来尝试估计负担能力，负担能力主要是价格和运输成本的函数，使用一个神经元来输入价格和运费；创建另一个神经元来估计买家的认知度，认知度是营销的函数；创建一个神经元来估计感知质量，感知质量是价格和质量的函数。然后我们将这三个神经元来接到右边的另一个神经元。三个神经元构成了一个层（隐藏层），而右边的神经元也是一层（输出层），输出概率是神经网络预测的输出概率，负担能力、认知度及感知质量是激活，四个特征是输入层。

为了简化这个神经网络，将这四个输入特征写成向量x_，这个特征向量被馈送到中间的这一层，然后计算三个激活值，这三个激活值在成为另一个向量a_，这个向量被馈送到最终的输出层，最后输出概率。

 3.案例-神经网络在图像感知中的工作原理

构建一个人脸识别应用程序，训练一个神经网络，将图片作为输入并输出身份。

此图像为1000*1000像素，在计算机视觉中，这个图象实际上是1000*1000的像素强度值矩阵，训练一个神经网络，将具有百万像素强度值的特征向量作为输入，并输出图片中人的身份。

输入图像x被馈送到第一个隐藏层，然后提取一些特征，然后将第一个隐藏层的输出馈送到第二个隐藏层，然后将第二个隐藏层的输出馈送到第三个隐藏层，最后馈送到输出层来估计这是一个特定的人的概率。下图是每层神经元检测的可视化。神经网络中每一层的特征检测器都是单独的，在这个例子中，第一层用较小的窗口检测短边，第二层用较大的窗口检测眼睛和鼻子等五官，第三层用更大的窗口检测脸型。这些小神经元的可视化实际上对应图像中的区域。

 4.神经网络中的网络层

让我们放大下面这个网络的隐藏层来看看它的计算。这个隐藏层输入四个数字，这四个数字是三个神经元中每一个的输入，这三个神经元的每一个都实现了一个逻辑回归单元（逻辑回归函数），以第一个神经元为例，它有两个参数w,b，它的作用是输出一个激活值a，其余神经元同理。三个神经元的激活值组成了激活值a_的向量，向量a_被馈送到下一层网络。

接下来放大第二层（输出层），第二层的输入是第一层的输出，经过该层神经元的计算得到输出值0.84，由于该层神经元只有一个，所以它的输出是一个标量。

最后实现预测如下图

 5.神经网络的前向传播

神经网络的推理预测采用的是一种称为前向传播的算法。

 以手写数字01识别为例，我们使用8*8的图像（64个像素强度值），使用具有两个隐藏层的神经网络，其中第一个隐藏层有25个神经元，第二个隐藏层有15个神经元。

第一步计算是从输入x到a1，这是第一个隐藏层所做的。

第二步计算是从a1到a2，这是第二个隐藏层所做的。 

最后一步是计算a3 

 由于这个过程是从左向右（x,a1,a2,a3）的顺序计算，所以称为前向传播算法，这与学习过程的反向传播算法形成对比。