机器学习之归一化

1.目的

1.1损失函数求解问题

• 线性回归Loss函数梯度公式

θ j : = θ j − α ∗ ∂ L o s s ( θ ) ∂ θ j : = θ j − α ∗ ( z ( θ j ) − y i ) ∗ x j i

θj​​:=θj​−α∗∂θj​∂Loss(θ)​​:=θj​−α∗(z(θj​)​−yi)∗xji​​

• 对参数求偏导【求梯度】如下：
  θ 1 : = θ 1 − α ∗ ( z ( θ 1 ) − y i ) ∗ x 1 i θ 2 : = θ 2 − α ∗ ( z ( θ 2 ) − y i ) ∗ x 2 i

  θ1:=θ1−α∗(z(θ1)−yi)∗x1iθ2:=θ2−α∗(z(θ2)−yi)∗x2i" role="presentation">θ1θ2:=θ1−α∗(z(θ1)−yi)∗xi1:=θ2−α∗(z(θ2)−yi)∗xi2$$\begin{array}{rl}{\theta }_1& :={\theta }_1-\alpha \ast (z_{({\theta }_1)}-y^i)\ast x_1^i\\ {\theta }_2& :={\theta }_2-\alpha \ast (z_{({\theta }_2)}-y^i)\ast x_2^i\end{array}$$
  θ1​θ2​​:=θ1​−α∗(z(θ1​)​−yi)∗x1i​:=θ2​−α∗(z(θ2​)​−yi)∗x2i​​
  • 对于损失函数初始参数时，参数值期望是均值为0方差1的正太分布随机在0附近的，所以每个初始参数值大小是差不多的。
  • 根据公式可知$\alpha \ast (z_{({\theta }_1)}-y^i)$值也差不多，即参数迭代的快慢就由$x_j^i$【特征值的大小】决定的
  • 假设$x_1^i$特征为年龄，$x_2^i$特征为收入，由于年龄的取值范围远小于收入，$x_1^i$<$x_2^i$,则${\theta }_2$迭代速度快于${\theta }_1$，导致${\theta }_2$达到最优解时，需要等待${\theta }_1$迭代到最优解

• 图像说明
  

  • 在机器学习算法模型中，需要根据损失函数(Loss)求梯度根据损失求最优解参数$\theta$
  • 如图，对于loss损失的最优解在中心点
  • 迭代参数路线如图蓝色线所示，当${\theta }_2$迭代到最优解时，${\theta }_1$距离最优解的距离还有一段距离，导致${\theta }_2$达到最优解时，需要等待${\theta }_1$迭代到最优解，会导致${\theta }_1$在最优解的位置慢慢震荡，不能同时获取最优解

1.2 归一化目的

• 归一化可以把数据统一到某个范围，达到梯度下降求参数迭代速度一致，统一每个特征的范围，即无量纲化【就是去单位】
• 如图，对参数进行归一化后，${\theta }_1$与${\theta }_2$迭代速度一致，可以同时求得最优解，同时收敛，减少迭代次数，模型速度加快

2. 归一化

2.1 最大值最小值归一化

x i , j = x i , j − x j m i n x j m a x − x j m i n

xi,j​​=xjmax​−xjmin​xi,j​−xjmin​​​

• 优点
  • 会将数据归一化到0-1之间
• 缺点
  • 容易受到噪点数据的影响,公式分母是最大值与最小值的差
    • 如果存在最大值噪点，会导致分母值变大，大部分数据趋向于0，最大值噪点的值趋向于1
    • 如果存在最小值噪点，会导致分母值变大，大部分数据趋向于1，最小值噪点的值趋向于0

      from sklearn.preprocessing import MinMaxScaler
      
      data=[[1],[2],[3],[1000]]
      scaler=MinMaxScaler()
      data_fit=scaler.fit_transform(data)
      print(data_fit)
      # [[0.      ],[0.001001],[0.002002], [1.      ]]
      data=[[1],[1100],[1020],[1000]]
      scaler=MinMaxScaler()
      data_fit=scaler.fit_transform(data)
      print(data_fit)
      #[[0.        ],[1.        ],[0.92720655],[0.90900819]]
      1
      2
      3
      4
      5
      6
      7
      8
      9
      10
      11
      12

  • 更新路线可能不是最优路线
    • 当我们使用最大值最小值归一化时，会将数据集的值归一化到0-1之间，导致数据的值都为正
    • 导致参数只能同时增大或减小 ，但是每个参数的关系并不都是正相关性
    • 如图,我们希望参数$w_t$迭代到$w_{\ast }$，我们发现$w_2$迭代过程中在增大,$w_1$迭代过程中在减小，由于我们将数值都归一化为正数，只能根据图中黑线迭代得到最优参数，不能通过最优路径【红色线】迭代，导致迭代次数增加

2.2 标准化

x i , j = x i , j − x j m e a n s t a n d a r d d e v i a t i o n

xi,j​​=standarddeviationxi,j​−xjmean​​​

• 公式分子为均值归一化，使数据有正有负，可以得到最优的迭代路线，使更新尽可能沿着最优解路径去。
• 公式分子为方差归一化，可以减小噪点数据的影响。