卷积网络的发展历史-LeNet

简介

LeNet是CNN结构的开山鼻祖，第一次定义了卷积神经网络的结构。

LeNet模型包含了多个卷积层和池化层，以及最后的全连接层用于分类。其中，每个卷积层都包含了一个卷积操作和一个非线性激活函数，用于提取输入图像的特征。池化层则用于缩小特征图的尺寸，减少模型参数和计算量。全连接层则将特征向量映射到类别概率上。

特点

LeNet 的特点如下所示：

（1）定义了卷积神经网络（Convolutional Neural Network, CNN）的基本框架：卷积层+池化层（Pooling Layer）+全连接层；

（2）定义了卷积层（Convolution Layer），与全连接层相比，卷积层的不同之处有两点：局部连接（引进“感受野”这一概念）、权值共享（减少参数数量），卷积计算公式：

（3）利用池化层进行下采样（Downsampooling），从而减少计算量，池化计算公式：

（4）用tanh作为非线性激活函数（现在看到的都是改进过的LeNet了，用ReLu代替 tanh。相较于sigmoid，tanh以原点对称（zero-centered），收敛速度会快。

python实例

import tensorflow as tf
 
def lenet_model():
    inputs = tf.placeholder(tf.float32, shape=[None, 28, 28, 1])
    conv1 = tf.layers.conv2d(inputs=inputs, filters=6, kernel_size=(5, 5), strides=(1, 1), padding='valid', activation=tf.nn.relu)
    pool1 = tf.layers.max_pooling2d(conv1, (2, 2), strides=(2, 2))
    conv2 = tf.layers.conv2d(inputs=pool1, filters=16, kernel_size=(5, 5), strides=(1, 1), padding='valid', activation=tf.nn.relu)
    pool2 = tf.layers.max_pooling2d(conv2, (2, 2), strides=(2, 2))
    flatten = tf.layers.flatten(pool2)
    dense1 = tf.layers.dense(flatten, 120, activation=tf.nn.relu)
    dense2 = tf.layers.dense(dense1, 84, activation=tf.nn.relu)
    logits = tf.layers.dense(dense2, 10)
    return inputs, logits