新手入门深度学习 | 3-6：优化器optimizers

• 🔗 运行环境：python3
• 🚩 作者：K同学啊
• 🥇 精选专栏：《深度学习100例》
• 🔥 选自专栏：《新手入门深度学习》
• 📚 推荐专栏：《Matplotlib教程》
• 🧿 优秀专栏：《Python入门100题》

---

优化器是在深度学习反向传播过程中，指引损失函数（目标函数）的各个参数往正确的方向更新合适的大小，使得更新后的各个参数让损失函数（目标函数）值不断逼近全局最小。

本来是写了好多东西的，但是感觉讲太多反而会起反效果，

模型优化算法的选择直接关系到最终模型的性能。有时候效果不好，未必是特征的问题或者模型设计的问题，很可能就是优化算法的问题。

深度学习优化算法大概经历了 SGD -> SGDM -> NAG ->Adagrad -> A