【白板推导系列笔记】线性回归-最小二乘法及其几何意义&最小二乘法-概率视角-高斯噪声-MLE

D = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x N , y N ) } x i ∈ R p , y i ∈ R , i = 1 , 2 , ⋯   , N X = ( x 1 x 2 ⋯ x N ) T = ( x 1 T x 2 T ⋮ x N T ) = ( x 11 x 12 ⋯ x 1 p x 21 x 22 ⋯ x 2 p ⋮ ⋮ ⋮ x N 1 x N 2 ⋯ x N p ) N × p Y = ( y 1 y 2 ⋮ y N ) N × 1

D={ (x1​,y1​),(x2​,y2​),⋯,(xN​,yN​)}xi​∈Rp,yi​∈R,i=1,2,⋯,NX=(x1​​x2​​⋯​xN​​)T=⎝ ⎛​x1T​x2T​⋮xNT​​⎠ ⎞​=⎝ ⎛​x11​x21​⋮xN1​​x12​x22​⋮xN2​​⋯⋯⋯​x1p​x2p​⋮xNp​​⎠ ⎞​N×p​Y=⎝ ⎛​y1​y2​⋮yN​​⎠ ⎞​N×1​​

因此，对于最小二乘估计，有
L ( ω ) = ∑ i = 1 N ∣ ∣ ω T x i − y i ∣ ∣ 2 = ∑ i = 1 N ( ω T x i − y i ) 2 = ( ω T x 1 − y 1 ω T x 2 − y 2 ⋯ ω T x N − y N ) ( ω T x 1 − y 1 ω T x 2 − y 2 ⋮ ω T x N − y N ) = [ ( ω T x 1 ω T x 2 ⋯ ω T x N ) − ( y 1 y 2 ⋯ y N ) ] ( ω T x 1 − y 1 ω T x 2 − y 2 ⋮ ω T x N − y N ) = [ ω T ( x 1 x 2 ⋯ x N ) − ( y 1 y 2 ⋯ y N ) ] ( ω T x 1 − y 1 ω T x 2 − y 2 ⋮ ω T x N − y N ) = ( ω T X T − Y T ) ( ω T x 1 − y 1 ω T x 2 − y 2 ⋮ ω T x N − y N ) = ( ω T X T − Y T ) ( X ω − Y ) = ω T X T X ω − 2 ω T X T Y + Y T Y

L(ω)​=i=1∑N​∣∣ωTxi​−yi​∣∣2=i=1∑N​(ωTxi​