NNDL实验知识点梳理

实验内容

做了16个实验，套路基本是一样的。同学们经过一个学期的反复训练，相信已经掌握规律。

自建或者调用已有数据集 → 建立模型 → 前向传播 → 计算损失函数 → 求损失函数对参数的梯度 → 误差反向传播 → 使用梯度下降法更新参数 → 模型再次计算 → 损失函数收敛（不收敛需要修改） → 达到预期目标停止训练（没达到继续训练） → 存储最优模型 → 检验 → 预测

忙了一学期，其实就学了这点东西。这点东西为什么还觉得挺辛苦？

“说起来容易，做起来难”，每一个步骤都会遇到很多问题。

数据预处理、参数初始化、批归一化、交叉熵损失函数、准确率、预测、优化、正则化……

每次实验都要考虑以上问题，效果不好还要调整，做好一次实验很辛苦。

只用Pytorch自带的各种算子做实验，还不算辛苦，更辛苦的是自己做各种算子。

打开“黑盒”看内部结构，正是本学期学习的精华。

从损失函数到激活函数，从各种反向传播（BP、CNN BP、BPTT、LSTM BP、BN BP）到各种优化器，从参数初始化到超参数优化，打开一个又一个“黑盒子”，从此懂了更多的原理，不再是那个曾经的“调参侠”。

图片越来越复杂，涉及的知识点越来越细。

只有亲手把“黑盒子”都打开看看，才能深谙其中的奥妙。

16次实验，12次作业，每一篇博客背后都有着很多故事。

白天与黑夜，盛夏到寒冬，一次次跌倒，一次次爬起，经历风雨，终见彩虹。

没有人能随随便便成功，多年后再看2022，会感谢那个拼搏的自己。