数据挖掘与分析课程笔记（Chapter 2）

数据挖掘与分析课程笔记

• 参考教材：Data Mining and Analysis : MOHAMMED J.ZAKI, WAGNER MEIRA JR.

文章目录

0. 数据挖掘与分析课程笔记（目录）
1. 数据挖掘与分析课程笔记（Chapter 1）
2. 数据挖掘与分析课程笔记（Chapter 2）
3. 数据挖掘与分析课程笔记（Chapter 5）
4. 数据挖掘与分析课程笔记（Chapter 7）
5. 数据挖掘与分析课程笔记（Chapter 14）
6. 数据挖掘与分析课程笔记（Chapter 15）
7. 数据挖掘与分析课程笔记（Chapter 20）
8. 数据挖掘与分析课程笔记（Chapter 21）

---

---

Chapter 2：数值属性

关注代数、几何与统计观点。

2.1 一元分析

仅关注一项属性， D = ( X x 1 x 2 ⋮ x n ) , x i ∈ R \mathbf{D}=\left(

\right),x_i\in\mathbb{R} D=⎝ ⎛​Xx1​x2​⋮xn​​​⎠ ⎞​,xi​∈R

统计： $X$ 可视为（高维）随机变量，$x_i$ 均是恒等随机变量，$x_1,\cdots ,x_n$ 也看作源于 $X$ 的长度为 $n$ 的随机样本。

Def.1. 经验积累分布函数

Def.2. 反积累分布函数

Def.3. 随机变量 $X$ 的经验概率质量函数是指
f ^ ( x ) = 1 n ∑ i = 1 n I ( x i = x ) , ∀ x i ∈ R I ( x i = x ) = { 1 , x i = x 0 , x i ≠ x \hat{f}(x)=\frac{1}{n} \sum_{i=1}^{n} I\left(x_{i} = x\right),\forall x_i \in \mathbb{R}\\ I\left(x_{i} = x\right)=\left\{

\right. f^​(x)=n1​i=1∑n​I(xi​=x),∀xi​∈RI(xi​=x)={1,xi​=x0,xi​=x​

2.1.1 集中趋势量数

Def.4. 离散随机变量 $X$ 的期望是指：$\mu :=E(X)=\sum _{x}xf(x)$，$f(x)$ 是 $X$ 的PMF

连续随机变量 $X$ 的期望是指：$\mu :=E(X)=\underset{-\infty }{\overset{+\infty }{\int }}xf(x)dx$，$f(x)$ 是 $X$ 的PDF

注：$E(aX+bY)=aE(X)+bE(Y)$

Def.5. $X$ 的样本平均值是指 $\hat{\mu }=\frac{1}{n}\sum _{i=1}^n{x}_i$，注 $\hat{\mu }$ 是 $\mu$ 的估计量

Def.6. 一个估计量（统计量）$\hat{\theta }$ 被称作统计量 $\theta$ 的无偏估计，如果 $E(\hat{\theta })=\theta$

自证：样本平均值 $\hat{\mu }$ 是期望 $\mu$ 的无偏估计量，$E(x_i)=\mu \text{ for all }{x}_i$

Def.7. 一个估计量是稳健的，如果它不会被样本中的极值影响。（样本平均值并不是稳健的。）

Def.8. 随机变量 $X$ 的中位数

Def.9. 随机变量 $X$ 的样本中位数

Def.10. 随机变量 $X$ 的众数， 随机变量 $X$ 的样本众数

2.2.2 离差量数

Def.11. 随机变量 $X$ 的极差与样本极差

Def.12. 随机变量 $X$ 的四分位距，样本的四分位距

Def.13. 随机变量 $X$ 的方差是
σ 2 = var ⁡ ( X ) = E [ ( X − μ ) 2 ] = { ∑ x ( x − μ ) 2 f ( x )  if  X  is discrete  ∫ − ∞ ∞ ( x − μ ) 2 f ( x ) d x  if  X  is continuous  \sigma^{2}=\operatorname{var}(X)=E\left[(X-\mu)^{2}\right]=\left\{

\right. σ2=var(X)=E[(X−μ)2]=⎩ ⎨ ⎧​∑x​(x−μ)2f(x)∫−∞∞​(x−μ)2f(x)dx​ if X is discrete  if X is continuous ​

标准差 $\sigma$ 是指 ${\sigma }^2$ 的正的平方根。

注：方差是关于期望的第二阶动差，$r$ 阶动差是指 $E[(x-\mu {)}^r]$。

性质：

1. ${\sigma }^2=E(X^2)-{\mu }^2=E(X^2)-[E(X){]}^2$
2. $var(X_1+X_2)=var(X_1)+var(X_2)$，$X_1,X_2$ 独立

Def.14. 样本方差是 ${\hat{\sigma }}^2=\frac{1}{n}\sum _{i=1}^n{\left(x_i-\hat{\mu }\right)}^2$，底下非 $n-1$

样本方差的几何意义：考虑中心化数据矩阵
C : = ( x 1 − μ ^ x 2 − μ ^ ⋮ x n − μ ^ ) n ⋅ σ ^ 2 = ∑ i = 1 n ( x i − μ ^ ) 2 = ∣ ∣ C ∣ ∣ 2 C:=\left(

\right)\\ n\cdot \hat{\sigma}^2=\sum\limits_{i=1}^{n}\left(x_{i}-\hat{\mu}\right)^{2}=||C||^2 C:=⎝ ⎛​x1​−μ^​x2​−μ^​⋮xn​−μ^​​⎠ ⎞​n⋅σ^2=i=1∑n​(xi​−μ^​)2=∣∣C∣∣2
问题：$X$ 的样本平均数的期望与方差？
$$E(\hat{\mu })=E(\frac{1}{n}\sum _{i=1}^n{x}_i)=\frac{1}{n}\sum _{i=1}^{n}E(x_i)=\frac{1}{n}\sum _{i=1}^n\mu =\mu$$
方差有两种方法：第一种直接展开，第二种：运用 $x_1,\cdots ,x_n$ 独立同分布：
$$var(\sum _{i=1}^n{x}_i))=\sum _{i=1}^{n}var(x_i)=n\cdot {\sigma }^2⟹var(\hat{\mu })=\frac{{\sigma }^2}{n}$$
注：样本方差是有偏估计，因为：$E({\sigma }^2)=(\frac{n-1}{n}){\sigma }^2\stackrel{n\to +\infty }{\to }{\sigma }^2$

2.2 二元分析

略

2.3 多元分析

D = ( X 1 X 2 ⋯ X d x 1 x 11 x 12 ⋯ x 1 d x 2 x 21 x 22 ⋯ x 2 d ⋮ ⋮ ⋮ ⋱ ⋮ x n x n 1 x n 2 ⋯ x n d ) \mathbf{D}=\left(

\right) D=⎝ ⎛​x1​x2​⋮xn​​X1​x11​x21​⋮xn1​​X2​x12​x22​⋮xn2​​⋯⋯⋯⋱⋯​Xd​x1d​x2d​⋮xnd​​​⎠ ⎞​

可视为：$\mathbf{X}=(X_1,\cdots ,X_d{)}^T$

Def.15. 对于随机变量向量 $\mathbf{X}$，其期望向量为： E [ X ] = ( E [ X 1 ] E [ X 2 ] ⋮ E [ X d ] ) E[\mathbf{X}]=\left(

\right) E[X]=⎝ ⎛​E[X1​]E[X2​]⋮E[Xd​]​⎠ ⎞​

样本平均值为：$\hat{\mathbf{\mu }}=\frac{1}{n}\sum _{i=1}^n{\mathbf{x}}_i,(=mean(\mathbf{D}))\in {\mathbb{R}}^d$

Def.16. 对于 $X_1,X_2$，定义协方差 ${\sigma }_{12}=E[(X_1-E(X_1))(X_2-E(X_2)]=E(X_1{X}_2)-E(X_1)E(X_2)$

Remark:

1. ${\sigma }_{12}={\sigma }_{21}$
2. 若两者独立，则 ${\sigma }_{12}=0$

Def.17. 对于随机变量向量 $\mathbf{X}=(X_1,\cdots ,X_d{)}^T$，定义协方差矩阵：
Σ = E [ ( X − μ ) ( X − μ ) T ] = ( σ 1 2 σ 12 ⋯ σ 1 d σ 21 σ 2 2 ⋯ σ 2 d ⋯ ⋯ ⋯ ⋯ σ d 1 σ d 2 ⋯ σ d 2 ) d × d \boldsymbol{\Sigma}=E\left[(\mathbf{X}-\boldsymbol{\mu})(\mathbf{X}-\boldsymbol{\mu})^{T}\right]=\left(

\right)_{d\times d} Σ=E[(X−μ)(X−μ)T]=⎝ ⎛​σ12​σ21​⋯σd1​​σ12​σ22​⋯σd2​​⋯⋯⋯⋯​σ1d​σ2d​⋯σd2​​⎠ ⎞​d×d​
其为对称矩阵，定义 $\mathbf{X}$ 的广义方差为 $det(\mathbf{\Sigma })$

注：

1. $\mathbf{\Sigma }$ 是实对称矩阵且半正定，即所有特征值非负，${\lambda }_1\ge {\lambda }_2\cdots \ge {\lambda }_d\ge 0$
2. $var(\mathbf{D})=tr(\Sigma )={\sigma }_1^2+\cdots +{\sigma }_d^2$

Def.18. 对于 $\mathbf{X}=(X_1,\cdots ,X_d{)}^T$，定义样本协方差矩阵
Σ ^ = 1 n ( Z T Z ) = 1 n ( Z 1 T Z 1 Z 1 T Z 2 ⋯ Z 1 T Z d Z 2 T Z 1 Z 2 T Z 2 ⋯ Z 2 T Z d ⋮ ⋮ ⋱ ⋮ Z d T Z 1 Z d T Z 2 ⋯ Z d T Z d ) d × d \hat{\boldsymbol{\Sigma}}=\frac{1}{n}\left(\mathbf{Z}^{T} \mathbf{Z}\right)=\frac{1}{n}\left(

\right)_{d\times d} Σ^=n1​(ZTZ)=n1​⎝ ⎛​Z1T​Z1​Z2T​Z1​⋮ZdT​Z1​​Z1T​Z2​Z2T​Z2​⋮ZdT​Z2​​⋯⋯⋱⋯​Z1T​Zd​Z2T​Zd​⋮ZdT​Zd​​⎠ ⎞​d×d​
其中
Z = D − 1 ⋅ μ ^ T = ( x 1 T − μ ^ T x 2 T − μ ^ T ⋮ x n T − μ ^ T ) = ( − z 1 T − − z 2 T − ⋮ − z n T − ) = ( ∣ ∣ ∣ Z 1 Z 2 ⋯ Z d ∣ ∣ ∣ ) \mathbf{Z}=\mathbf{D}-\mathbf{1} \cdot \hat{\boldsymbol{\mu}}^{T}=\left(

x1T−μ^Tx2T−μ^T⋮xnT−μ^T" role="presentation">xT1−μ^TxT2−μ^T⋮xTn−μ^T$$\begin{array}{c}{\mathbf{x}}_1^T-{\hat{\mathit{\mu }}}^T\\ {\mathbf{x}}_2^T-{\hat{\mathit{\mu }}}^T\\ ⋮\\ {\mathbf{x}}_n^T-{\hat{\mathit{\mu }}}^T\end{array}$$

\right)=\left(

−z1T−−z2T−⋮−znT−" role="presentation">−−−zT1zT2⋮zTn−−−$$\begin{array}{ccc}-& {\mathbf{z}}_1^T& -\\ -& {\mathbf{z}}_2^T& -\\ & ⋮\\ -& {\mathbf{z}}_n^T& -\end{array}$$

\right)=\left(

∣∣∣Z1Z2⋯Zd∣∣∣" role="presentation">∣Z1∣∣Z2∣⋯∣Zd∣$$\begin{array}{cccc}\mid & \mid & & \mid \\ Z_1& Z_2& \cdots & Z_d\\ \mid & \mid & & \mid \end{array}$$

\right) Z=D−1⋅μ^​T=⎝ ⎛​x1T​−μ^​Tx2T​−μ^​T⋮xnT​−μ^​T​⎠ ⎞​=⎝ ⎛​−−−​z1T​z2T​⋮znT​​−−−​⎠ ⎞​=⎝ ⎛​∣Z1​∣​∣Z2​∣​⋯​∣Zd​∣​⎠ ⎞​

样本总方差是 $tr(\hat{\mathbf{\Sigma }})$，广义样本方差是 $det(\hat{\mathbf{\Sigma }})\ge 0$

$\hat{\mathbf{\Sigma }}=\frac{1}{n}\sum _{i=1}^n{\mathbf{z}}_i{\mathbf{z}}_i^T$

---