李宏毅《机器学习》丨5. Tips for neural network design（神经网络设计技巧）

Author：AXYZdong
李宏毅《机器学习》系列
参考视频地址：https://www.bilibili.com/video/BV1Ht411g7Ef
参考文档：DataWhale文档

文章目录

一、局部最小值与鞍点

Optimization Fails because …

local minima（局部最小值）
saddle point（鞍点）

在这里插入图片描述

▲ 优化失败原因

二、批次与动量

Optimization with Batch

在这里插入图片描述

▲ 批次优化

Gradient Descent + Momentum

▲ 带动量的梯度下降

三、自动调整学习速率

RMSProp(root mean square prop，均方根)
学习原理∶在自适应梯度基础上引入了衰减因子，在梯度累积的时候，会对“过去”与“现在”做一个平衡，通过超参数进行调节衰减量。
适合处理非平稳目标（也就是与时间有关的)，对于RNN效果很好。

在这里插入图片描述

▲ RMSProp

Adam(Adaptive momentum optimization，自适应动量优化)
是目前深度学习中最流行的优化方法，它结合了自适应梯度善于处理稀疏梯度和均方根善于处理非平稳目标的优点，适用于大数据集和高维空间。
在这里插入图片描述

▲ Adam

四、损失函数的影响

主要是对分类任务的影响。

在这里插入图片描述

▲ Loss of Classification

五、批次标准化

批次标准化（Batch Normalization），改变不同特征的范围（changing landscape
）。

在这里插入图片描述

▲ Changing Landscape

在这里插入图片描述

▲ Feature Normalization

五、总结

Datawhale组队学习，李宏毅《机器学习》Task5. Tips for neural network design（神经网络设计技巧）。包括局部最小值与鞍点、批次与动量、自动调整学习速率、损失函数的影响和批次标准化。李老师课程中对数学的原理讲得很清楚，不过对于侧重应用可以不求甚解，知道设计的技巧即可。

—— END ——

如果以上内容有任何错误或者不准确的地方，欢迎在下面 👇 留言。或者你有更好的想法，欢迎一起交流学习~~~

更多精彩内容请前往 AXYZdong的博客

相关阅读:
WebRTC学习笔记七 pion/webrtc
php output_buffering 缓存使用
idea的git入门
Python合并两张图片 | 先叠透明度再合并（附Demo）
自然语言处理实战项目19-基于ALBERT模型进行微调的项目-文本分类中的合同类型描述的分类
三维穿墙雷达该如何选择
SQLite基础语法速用大法（Flutter）
Selenium自动化脚本打包exe文件
如何处理”此 SAP 系统不是当前编辑对象的原始系统“的问题
【设计师必学】在SketchUp中Enscape的灯光照明技巧

原文地址：https://blog.csdn.net/qq_43328313/article/details/125418355