数据预处理方法

数据预处理是为了保证数据质量。数据预处理包括：数据清理，数据集成，数据转换，数据归约（最大限度精简数据量）。比如：缺失数据处理是去掉，还是填充默认值或最近的值。

数据的预处理也包括数据的分组，基本描述统计量的计算，基本统计图形的绘制，数据的标准化和正态化处理。这样能帮助我们掌握数据的分布特征。

数据标准化方是为了消除量纲影响，使数据具有可比性，方法有：

1. 规范化处理（min-max法）：
   y i = x i − min ⁡ { x i } max ⁡ { x i } − min ⁡ { x i } \large{y_i=\frac{x_i-\min\{x_i\}}{\max\{x_i\}-\min\{x_i\}}} yi​=max{xi​}−min{xi​}xi​−min{xi​}​
2. 正则化方法（z-score法）：
   $$y_i=\frac{x_i-\mu }{\sigma }(\mu ,\sigma \text{分别为均值和方差)}$$
3. 比例法（归一化）：
   $$y_i=\frac{x_i}{\sum x_i}$$