机器学习笔记(二)

在这里插入图片描述

如下图左边,模型出现了过拟合现象

为了解决过拟合现象, 其中一个做法是多收集数据,如右图。

第二种做法是减少模型的特征数量,即x

第三种做法是正则化

在这里插入图片描述
正则化就是减少x前面的参数 w的数值, 不用消除x

正则化的梯度下降如下, 因为只是缩小了w的值,而 b的值保持不变
在这里插入图片描述

正则化的工作原理就是缩小参数w的值

在这里插入图片描述
假如 wj(1-0.0028) 那么wj就会一点点变小

神经网络

下图是神经网络基本的传递

在这里插入图片描述

下图是神经网络构成集型的一种方式
在这里插入图片描述

这里 A_in 和 W 都是代表矩阵,其中 w是两行三列

在这里插入图片描述

在这里插入图片描述
前面讨论只有两种情况,这次问题是有多种类型需要分类

需要构建决策边界

下面的例子是当有四种分类的情况下

在这里插入图片描述

由此可以推出Softmax的公式如下
在这里插入图片描述

在这里插入图片描述
左侧是逻辑回归即二元回归
右侧是 SoftMax多元回归

loss 指的是单次计算的损失

J 值的是整个计算过程的损失

相关阅读:
github 搜索项目小技巧
护眼灯是减蓝光好还是无蓝光好？教育部认可的护眼灯品牌
第十章设置结构化日志记录（二）
神经网络处理器设计原理,神经网络控制系统设计
QT 数据库表格----QSqlTableModel
python带你采集桌游、剧本杀游戏店数据信息~
读写/dev/kmsg设备编程实例
LLaMA-Factory实战推理
集合系列(十五) -CopyOnWriteArrayList详解
移动应用买量越来越难，APP增长的新机遇在哪里？

原文地址：https://blog.csdn.net/weixin_45556441/article/details/133554514