吴恩达2022机器学习专项课程(一） 6.3 决策边界&第三周课后实验：Lab3决策边界

问题预览/关键词

1. 什么是决策边界？作用是什么？
2. 如何推导决策边界方程？
3. 逻辑回归下绘制决策边界的三个案例
4. 决策边界的形状是？
5. 哪些因素影响决策边界的形状？

笔记

1.决策边界

决策边界是一个方程，通过方程能构建出可视化的各种形状的线条，它用来将数据集的数据分类，并帮助我们诊断，分析，改进模型。

2.决策边界公式

通过sigmoid函数，我们反推出结论：wx+b大于等于0，预测值为1，wx+b小于0，预测值为0。由此可绘制出决策边界的方程w*x+b=0。

3.逻辑回归下绘制决策边界

主要观察不同的数据如何设置不同的决策边界。

案例一

决策边界公式w*x+b=0，此处为x1+x2=3。所以给定两个x，直线以内的预测结果都归属y=0，直线之外的预测结果归属y=1。

案例二

此处决策边界公式x1²+x2²=1，当两个x在圆圈外，预测分类归属1，当两个x在圆圈内，预测分类归属0。

案例三

更复杂多项式方程的决策边界。

4.决策边界的形状

决策边界可以是不同的线条，例如直线或圆圈状。更高的维度空间则呈现平面或超平面。
（吴恩达教授为了方便演示，选择2D空间下的两个特征及其多项式，因此呈现线条状）

5.影响决策边界形状的因素

改变w，b的参数，增加特征x数量，将特征x扩展为多项式。

总结

决策边界，就是通过sigmoid函数，反推出一个方程w*x+b，然后将这个方程可视化，检测是否能够将当前数据集的数据分好类。决策边界并不总是直线或线条，如果我们改变w，b，它的直线位置就有可能改变，如果增加x多项式，则它的形状就会从直线变成线条，如果增加x数量，则它的形状就变为平面或超平面。本节课的所有内容，都是假设已经计算出合适的w，b，基于w，b，我们才能构建出决策边界，然后才能通过决策边界看看有没有很好的将数据分类。

实验

1.逻辑回归数据集

2.根据数据集绘制散点图

绘制数据点函数plot_data解析

• 构建布尔数组pos和neg并转换成一维数组，方便后续索引布尔数组。

• 原样式
  

• reshape(-1,)后的样式

• 绘制红叉和蓝圈数据点，红叉数据点的x轴和y轴 X：[pos,0]:[3. 2. 1.]，X[pos,1]:[0.5 2. 2.5]，蓝圈数据点的x轴和y轴 X[neg,0]:[0.5 1. 1.5]，X[neg,1]:[1.5 1. 0.5]，其余参数基本为数据点样式和标签。
  

• ax.legend控制图例位置，参数被设置为best，自动设置影响数据最小的位置。

• 隐藏了图表的工具栏、头部和底部区域。

3.绘制sigmoid函数图，

通过函数图，方便观察逻辑回归是如何通过决策边界预测分类的。z>=0，预测为1，z<0，预测为0。

4.绘制数据集散点图的决策边界

回到我们的数据，要构建决策边界，将数据分类，我们需要先有w，b，这里为了方便演示，直接默认有了合适的w和b，并给出了决策边界x0+x1-3=0，这条决策边界很好的将数据分了类，y=1的红叉点都在边界上方，y=0的蓝圈点都在边界下方（阴影处）。