机器学习笔记(二)

在这里插入图片描述

如下图左边,模型出现了过拟合现象

为了解决过拟合现象, 其中一个做法是多收集数据,如右图。

第二种做法是减少模型的特征数量,即x

第三种做法是正则化

在这里插入图片描述
正则化就是减少x前面的参数 w的数值, 不用消除x

正则化的梯度下降如下, 因为只是缩小了w的值,而 b的值保持不变
在这里插入图片描述

正则化的工作原理就是缩小参数w的值

在这里插入图片描述
假如 wj(1-0.0028) 那么wj就会一点点变小

神经网络

下图是神经网络基本的传递

在这里插入图片描述

下图是神经网络构成集型的一种方式
在这里插入图片描述

这里 A_in 和 W 都是代表矩阵,其中 w是两行三列

在这里插入图片描述

在这里插入图片描述
前面讨论只有两种情况,这次问题是有多种类型需要分类

需要构建决策边界

下面的例子是当有四种分类的情况下

在这里插入图片描述

由此可以推出Softmax的公式如下
在这里插入图片描述

在这里插入图片描述
左侧是逻辑回归即二元回归
右侧是 SoftMax多元回归

loss 指的是单次计算的损失

J 值的是整个计算过程的损失

相关阅读:
考公、事业编、央企国企私企外企、校招社招都在这些地方找到信息（精华）
在 Kubernetes 上快速测试 Citus 分布式 PostgreSQL 集群(分布式表，共置，引用表，列存储)
Linux(CentOS)安装msf
【数据库系统概论】SQL是什么？它有什么特点？
用全域安全防范美国NSA对西工大的网络攻击
List去除重复数据的五种方式
【Android -- 开发】初级工程师进阶
android 11后文件读写访问权限申请
Jenkins——发布项目到docker
Android应用性能优化

原文地址：https://blog.csdn.net/weixin_45556441/article/details/133554514