回归与分类

回归与分类

机器学习的主要任务便是聚焦于两个问题：回归与分类

回归与分类

回归的定义

• 机器学习的过程就是寻找函数的过程，通过训练获得一个函数映射，给定函数的输入，函数会给出相应的一个输出，若输出结果是一个数值scalar时，即称这一类机器学习问题为回归问题
• 就如李宏毅老师所说：Regression就是找到一个函数function，通过输入特征x，输出一个数值scalar
• 例如：房价数据，根据位置、周边、配套等等这些维度，给出一个房价的预测

分类与回归的区别

• 分类是基于数据集，作出分类选择
• 分类与回归区别在一输出变量的类型
• 输出是离散的就可以做分类问题，即通常多个输出，输出i是预测为第i类的置信度
• 输出是连续的就可以做回归问题 ，即单连续值输出，跟真实值区别作为损失

模型步骤

• step1：模型假设，选择模型框架（线性模型）
• step2：模型评估，如何判断众多模型的好坏（损失函数）
• step3：模型优化，如何筛选最优的模型（梯度下降）

一、线性模型

step1 模型假设

• 给定n维输入 x = [x1,x2,....,xn]^T
• 线性模型有一个n维权重和一个标量偏差 即w与b
• 输出是输入的加权和 y = w1x1 + w2x2 + ... +wnxn +b
• 向量版本 y = + b

假设1：影响房价的关键因素是卧室个数，卫生间个数，和居住面积，记为x1，x2，x3

假设2：成交价是关键因素的加权和 则 y = w1x1 + w2x2 +w3x3 + b,

权重和偏置的实际值在后面决定

step2 模型评估(衡量预估质量)

• 收集和训练数据
• 如何判断众多模型的好坏（根据损失函数判断）

1.平方损失 y为真实值，y1为估计值(预测值)
$$
p(y,y1) = 1/2(y-y1)^2
$$
2.训练损失
$$
p(X,y,w,b) = ∑(y[i] - (b + ))^2
$$

step3 选取最优模型(梯度下降)

• 为了获得最优模型故要使L(w,b)损失函数值最小化，而对于L(w,b)实质上就是w,b的函数，因此可以通过求偏微分来寻找其最小化损失点

最小化损失学习参数
$$
w* , b* = arg min(X,y,w,b)
$$

• 而对于梯度下降来讲

• 1.首先要挑选一个初始值 w0,同时引入学习率(步长的超参数) η

• 2.重复迭代参数 t =1,2,3

• 3.沿梯度方向将增加损失函数值
  $$
  w[t] = w[t-1] -η*(∂L/∂w[t-1])
  $$

注：上式中减号意思为沿着梯度反方向

import numpy as np
import matplotlib.pyplot as plt

def my_func(x): #定义原函数
    return x**4 + 2*x**3 - 3*x**2 -2*x
def grad_func(x): #定义导数
    return 4*x**3 + 6*x**2 -6*x -2

eta = 0.09 #学习系数
x = -1.5 #定义自变量x起始值
record_x = [] #记录x值
record_y = [] #记录y值

for i in range(20): #将x循环20次
    y = my_func(x)
    record_x.append(x) #将记录添加
    record_y.append(y)
    x -= eta*grad_func(x) #梯度下降法公式 学习系数*导数值

x_f = np.linspace(-2.8,1.6)
y_f = my_func(x_f)

plt.plot(x_f,y_f)
plt.scatter(record_x,record_y)
plt.xlabel("x", size=14)
plt.ylabel("y", size=14)
plt.grid()
plt.show()

二、广义线性模型（generalized linear model）

$$
y=g^-1 (w^Tx+b)
$$

上面式子即为广义线性模型的一种表达，其中g(.)被称为联系函数，同时要求单调可微。使用广义线性模型可以实现强大的非线性函数映射功能（比如对数线性回归，令g(.) = ln(.)，此时模型预测值对应的是真实值标记在指数尺度上的变化）

那么线性模型的输出是一个实值，而分类任务的标记是离散值，怎么把二者联系起来呢？

• 广义线性模型已经给了我们答案，我们要做的是找到一个单调可微的联系函数，把二者联系起来
• 对于一个二分类任务，比较理想的函数是阶跃函数（激活函数）

对数线性回归（log-linear regression）

由于单位阶跃函数不连续，所以不能直接用作联系函数。故思路转换为如何在一定程度上近似单位阶跃函数呢？ 对数几率函数正是我们所需常用的替代函数：sigmoid函数

• 对于分类任务，由于是离散的数据，可以通过广义线性模型的非线性函数映射进行，简单来说将其离散数据映射在相似函数之上，也就是激活函数

总结

那么对于一整个回归过程来说 首要要假设模型去进行预选，接着要进行模型的评估计算损失函数，最后一步则是对损失函数进行优化即梯度下降算法

将一整个回归过程放在神经网络中时 在正向传播中，首先进行将数据值x进行输入，其次通过权值和的计算以及激活函数得到输出值，传输至第二层，层层往下，最后输出值 根据输出值与真实值之间的distance即为loss函数