《模式识别》教学上机实验报告

《模式识别》教学上机实验报告

实验题目：

线性回归与逻辑回归

实验目的和要求：
1、掌握线性回归的基本流程以及正规方程解；
2、编写线性回归算法，并利用波斯顿房价数据对模型进行训练，然后对未知的房价数据进行预测；
3、掌握逻辑回归的基本思想以及梯度下降算法；
4、编写逻辑回归算法，得到一个能够准确对癌细胞进行识别的模型。
实验过程：
一、线性回归
对线性回归模型，假设训练集中m个训练样本，每个训练样本中有n个特征，可以使用矩阵的表示方法，预测函数可以写为：Y=hetaX
其损失函数可以表示为(Y−hetaX)T(Y−hetaX)
其中，标签Y为mx1的矩阵，训练特征X为mx(n+1)的矩阵，回归系数heta为(n+1)x1的矩阵，对heta求导，并令其导数等于0，可以得到XT(Y−hetaX)=0。所以，最优解为：heta=(XTX)−1XTY。
关键代码：
#********* Begin **#
mse = np.mean((y_predict-y_test)2)
# Begin #
x = np.hstack([np.ones((len(train_data),1)),train_d