《机器学习》- 第3章 线性模型

3.1 基本形式

问题描述：

函数形式：

向量形式：

许多功能更为强大的非线性模型可在线性模型的基础上引入层级结构或高维映射而得。

由于w直观表达了各属性在预测中的重要性，因此线性模型有很好的可解释性。

3.2 线性回归

一元线性回归

为了确定w和b的值，可以让均方误差最小化：

基于均方误差最小化来进行模型求解的方法称为最小二乘法。

在线性回归中，最小二乘法就是试图找到一条直线，使所有样本到直线上的欧式距离最小。

对w求导：

对b求导：

更一般的情形是多元线性回归：

多元线性回归

关系式：

目标函数：

目标函数求解：

对数模型

原型:

对数：


考虑一般情况：

3.3 对数几率回归（逻辑回归）

问题描述

分类问题，x的取值就是几种，y=比如0，1，2这样

考虑广义线性模型，只需要用一个单调可微的关系函数将分类任务的标记y做一个转换就可以了。

二分类任务

y={0,1}

关系函数
单位阶跃函数


单位跃阶函数不连续，于是有了单调可微的对数几率函数：

几率：

3.4 线性判别分析

LDA的思想非常朴素:给定训练样例集,设法将样例投影到一条直线上，使得同类样例的投影点尽可能接近、异类样例的投影点尽可能远离;在对新样本进行分类时,将其投影到同样的这条直线上,再根据投影点的位置来确定新样本的类别.图3.3给出了一个二维示意图.

类内散度矩阵：

类间散度矩阵：

最大化的目标：

重写为：

3.5 多分类学习

3.6 类别不平衡问题