距离相关系数的原理及其实现（Numpy代码+第三方包的实现）

一、原理

最近在做特征选择的练习题时，要考量很多个特征的相关性，并且特征之间是非线性关系的，我们常见的皮尔逊相关系数无法准确使用，考虑使用距离相关系数来度量：

距离相关系数：研究两个变量之间的独立性，距离相关系数为0表示两个变量是独立的。克服了皮尔逊相关系数的弱点，皮尔逊相关系数为0并不一定表示两个变量之间是独立的，也有可能是非线性相关的。

利用$DistanceCorrelation$来研究两个变量$\mu$和$v$之间的独立性，记为$dcorr(\mu ,v)$。

当$dcorr(\mu ,v)$=0时，说明两个变量$\mu$和$v$之间独立；$dcorr(\mu ,v)$越大，说明$\mu$和$v$之间的相关性越强。

设$\{({\mu }_i,v_i),i=1,2,\cdots ,n\}$是总体$(\mu ,v)$的随机样本，$Szekely$等定义两个随机变量$\mu$和$v$的DC样本估计值为：
$$dcorr(\mu ,v)=\frac{dcov(\mu ,v)}{\sqrt{dcov(\mu ,\mu )dcov(v,v)}}$$

其中，$dco{v}^2(\mu ,v)=\widehat{S_1}+\widehat{S_2}-2\widehat{S_3}$，$\widehat{S_1},\widehat{S_2},\widehat{S_3}$分别为：

$$\widehat{S_1}=\frac{1}{n^2}\sum _{i=1}^n\sum _{j=1}^n||{\mu }_i-{\mu }_j|{|}_{d\mu }||v_i-v_j|{|}_{dv}$$

$$\widehat{S_2}=\frac{1}{n^2}\sum _{i=1}^n\sum _{j=1}^n||{\mu }_i-{\mu }_j|{|}_{d\mu }\frac{1}{n^2}\sum _{i=1}^n\sum _{j=1}^n||v_i-v_j|{|}_{dv}$$

$$\widehat{S_3}=\frac{1}{n^3}\sum _{i=1}^n\sum _{j=1}^n\sum _{l=1}^n||{\mu }_i-{\mu }_l|{|}_{d\mu }||v_j-v_l|{|}_{dv}$$

二、Numpy代码实现

from scipy.spatial.distance import pdist, squareform
import numpy as np
from numbapro import jit, float32
def distcorr(X, Y):
    """ Compute the distance correlation function
    >>> a = [1,2,3,4,5]
    >>> b = np.array([1,2,9,4,4])
    >>> distcorr(a, b)
    0.762676242417
    """
    X = np.atleast_1d(X)
    Y = np.atleast_1d(Y)
    if np.prod(X.shape) == len(X):
        X = X[:, None]
    if np.prod(Y.shape) == len(Y):
        Y = Y[:, None]
    X = np.atleast_2d(X)
    Y = np.atleast_2d(Y)
    n = X.shape[0]
    if Y.shape[0] != X.shape[0]:
        raise ValueError('Number of samples must match')
    a = squareform(pdist(X))
    b = squareform(pdist(Y))
    A = a - a.mean(axis=0)[None, :] - a.mean(axis=1)[:, None] + a.mean()
    B = b - b.mean(axis=0)[None, :] - b.mean(axis=1)[:, None] + b.mean()
    
    dcov2_xy = (A * B).sum()/float(n * n)
    dcov2_xx = (A * A).sum()/float(n * n)
    dcov2_yy = (B * B).sum()/float(n * n)
    dcor = np.sqrt(dcov2_xy)/np.sqrt(np.sqrt(dcov2_xx) * np.sqrt(dcov2_yy))
    return dcor
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31

这篇代码来自国外一位大佬所写，原地址为：

https://gist.github.com/satra/aa3d19a12b74e9ab7941

三、第三方包$dcor$实现

3.1安装$dcor$包的正确方法

这个的难点在于安装$dcor$包的$conda$版本，我用pip install dcor总是报错，无法解决错误，也不是博客里提供的错误里类型。

经过一番探索，我确定了最终的安装方法：

conda install -c conda-forge dcor
1

这样能顺利安装成功！

 >>> a = [1,2,3,4,5]
 >>> b = np.array([1,2,9,4,4])
 >>> dcor.distance_correction(a, b)
    0.762676242417
1
2
3
4

具体的操作细节可以看官网：

https://dcor.readthedocs.io/en/latest/apilist.html