【分类网络】LeNet

⭐ LeNet

参考文献：《Gradient-Based Learning Applied to Document Recognition（1998）》

LeNet是一系列网络的合称，包括LeNet-1~LeNet-5，由深度学习三巨头的Yan LeCun在1900年提出，他同时也是卷积神经网络(CNN)之父，现在所说LeNet代指LeNet-5。LeNet的实现确立了CNN的结构，现在的神经网络中的许多内容在LeNet网络结构中都能看到，例如卷积层、Pooling层、ReLU层。LeNet网络结构比较简单，适合神经网络的入门学习。

---

✔️诞生背景

当初LeNet-5的设计主要是为了解决手写识别问题。那时传统的识别方案很多特征都是手工制作的，识别的准确率很大程度上受制于所设计的特征，而且最大的问题在于手动设计特征对领域性先验知识的要求很高还耗时耗力，更别提什么泛化能力，基本上只能针对特定领域。

✔️网络结构

LeNet5用于字符识别的网络结构如上图所示，每一个平面都是一个特征图。LeNet-5在不包含输入输出的情况下总共有6层，每一层都包含可训练的参数（权重）。在接下来的叙述中