吴恩达机器学习课程笔记1-2

19.5小时，112个视频
先学定理再学概念
1-3监督学习
例子：预测房价 --回归问题
判断肿瘤是否良性 —分类问题

2.2代价函数
找到Q0Q1的值，使得假设曲线与真实数据点尽可能的拟合
如何得到Q0Q1 – 差的平方和最小，最小化问题

代价函数J(Q0,Q1)，也被称为平方误差函数。目标：最小化代价函数

还有其他形式的代价函数，但是平方误差代价函数是解决回归问题最常用的手段

2.3代价函数一

让假设函数更加简单----令Q0=0，只保留Q1，如下

要了解两个函数：假设函数h(x) 与代价函数J(Q1)
1)h(x)是关于x的函数 而代价函数J(Q1)是关于Q1的函数
2）根据取不同的Q1值，假设函数不同，对应的误差平方和也不同，即代价函数不同

假定Q0 =0 时，代价函数是关于Q1的碗状函数

2.4代价函数二
代价函数是关于Q0 与Q1的碗状函数


等高线图，同一条线上的J(Q0,Q1)值相等

想让机器自动的找到最合适的Q0与Q1

2.5梯度下降法
利用梯度下降法最小化其他函数，被广泛应用，不止在线性回归函数中

对于目标函数J(Q0,Q1)，梯度下降法的流程是：
1，预先设定Q0=0,Q1=0
2，不断改变Q0与Q1的值，使得J减少，直到找到最小值或者局部最小

先定义一个初始值，然后不断下山，选择梯度最大的方向进行下山，直到收敛到局部最小点

特点：可能由于初始点选的不同，最后达到的局部最优点也不同
公式：

等号：赋值作用，也即Q1 与Q2在不断修正
alpha ：指学习率，用来控制梯度下降时，迈多大的步子。alpha越大，迈的步子也越大
后面接着是一个偏导数

注意：Q1 与Q2是同时更新的，而不是一个一个更新的。下面展示了正确顺序与错误顺序：

更新了一个----偏导会变–再更新另一个 （×）

2.6梯度下降法知识点总结

理解偏导数
回到那个（令Q0=0，只保留Q1）的简单例子，代价函数是个碗状

学习率是个恒正的数，导数大于0，会导致Q1向左更新

同理，导数为负数，导致Q1向右更新

理解学习率

学习率太小：导致更新的很慢
学习率太大：可能会越过最小点，导致无法收敛甚至发散

特例：如果初始点即在局部最优，会如何？

导数会为0，不会改变参数Q的值

理解学习率*偏导
移动的距离：学习率*偏导
越靠近局部最优，导数越来越小，也就是移动的距离越来越小

2.7线性回归的梯度下降
梯度下降法 与 线性回归模型：

最重要的是：要将梯度下降法应用到线性回归中去

类似下图这样的凸函数，没有局部最优，只有全局最优解：

上述梯度下降法指的是Batch梯度下降法

第一个机器学习算法：梯度下降法