《统计学习方法》啃书手册｜核函数构成希尔伯特空间的步骤详解

位置：《统计学习方法》啃书手册 > 第7章 支持向量机 > 核函数构成希尔伯特空间的步骤详解

根据假设，我们已知 $K(x,z)$ 是定义在 $X\times X$ 上的对称函数，并且对任意的 $x_1,x_2,\cdots ,x_m\in X$，$K(x,z)$ 关于 $x_1,x_2,\cdots ,x_m$​ 的 Gram 矩阵是半正定的。

1. 定义映射，构成向量空间 S

先定义映射

$$\varphi :x\to K(\cdot ,x)\text{\hspace{1em}(1)}$$

根据核函数的定义可知，核函数定义为 $K(x,z)=\varphi (x)\cdot \varphi (z)$，从输入空间到特征空间的映射函数可以显式地表达为 $\varphi :x\to \varphi (x)$。但是在核技巧下，我们并不需要显式地定义映射函数，因此采用上式（1）隐式地定义映射函数。

为方便理解，也可以将上式不严谨地理解为：只代入了一个参数 $\varphi (x)$ 的核函数，而 $\cdot$ 表示尚未代入的另一个参数。

根据这一映射，对任意 $x_i\in X$，${\alpha }_i\in R$，$i=1,2,\cdots ,m$，定义线性组合

$$f(\cdot )=\sum _{i=1}^m{\alpha }_{i}K(\cdot ,x_i)\text{\hspace{1em}(2)}$$

于是，上式（2）就是对只代入一个参数 $\varphi (x)$ 的核函数的线性变换结果（加法运算和数乘运算）。

为方便理解，也可以将上式不严谨地理解为：只代入了一个参数 $\varphi ({\sum }_{i=1}^M{\alpha }_i{x}_i)$ 的核函数。

之所以要定义这个线性组合，是因为因为向量空间是带有加法和标量乘法的集合。通过线性组合的方式令包含的元素对加法和数乘运算封闭，从而使 $S$ 成为向量空间。

考虑由线性组合为元素的集合 S。由于集合 S 对加法和数乘运算是封闭的，所以 S 构成一个向量空间。

2. 在 S 上定义内积，使其成为内积空间

在 S 上定义一个运算*；对任意 $f,g\in S$，

$$f(\cdot )=\sum _{i=1}^m{\alpha }_{i}K(\cdot ,x_i)\text{\hspace{1em}(3)}$$

$$g(\cdot )=\sum _{j=1}^l{\beta }_{j}K(\cdot ,z_j)\text{\hspace{1em}(4)}$$

同样地，$f(\cdot )$ 和 $g(\cdot )$ 也可以分别理解为各代入了一个参数的核函数的线性变换结果；同时也可以理解为只代入了一个参数 $\varphi ({\sum }_{i=1}^M{\alpha }_i{x}_i)$ 的核函数和只代入了一个参数 $\varphi ({\sum }_{j=1}^M{\beta }_i{z}_j)$ 的核函数。其中 $\cdot$ 表示另一个尚未被代入的参数，这个参数应该是也是一个带入了一个参数的核函数或它的线性变换结果。

定义运算 $\ast$

$$f\ast g=\sum _{i=1}^m\sum _{j=1}^l{\alpha }_i{\beta }_{i}K(x_i,z_j)\text{\hspace{1em}(5)}$$

证明运算*是空间 $S$ 的内积。为此要证：

$$
\begin{align}

1. \hspace{1em} & (cf) * g = c (f*g),c\in R \tag{6} \
2. \hspace{1em} & (f+g)h = fh + g*h,h \in S \tag{7} \
3. \hspace{1em} & fg = gf \tag{8} \
4. \hspace{1em} & ff \ge 0, \tag{9} \
   & ff=0 \Leftrightarrow f=0 \tag{10}
   \end{align}
   $$

以上四个条件即内积的四个运算性质，若运算 $\ast$ 能够满足内积的所有运算性质，则可以认为运算 $\ast$ 是空间 $S$ 的内积。

$f=0$ 的含义是：当 $f=0$ 时，对任意的 $x$ 都有 $f(\cdot )={\sum }_{i=1}^m{\alpha }_{i}K(\cdot ,x_i)=0$。

$f\ast f=0$ 的含义是：当 $f\ast f=0$ 时，对任意的 $x$ 都有 $f\ast f={\sum }_{i,j=1}^m{\alpha }_i{\alpha }_{j}K(x_i,x_j)=0$。

其中，（6）~（8）由式（2）-式（4）及 $K(x,z)$ 的对称性容易得到。

（6）和（7）的证明直接将 $c\in R$、$h\in S$ 代入到式（2）及式（5）中即可；（8）的证明使用 $K(x,z)$ 是对称函数的性质即可。

现证（9）。由式（2）及式（5）可得：

$$f\ast f=\sum _{i,j=1}^m{\alpha }_i{\alpha }_{j}K(x_i,x_j)\text{\hspace{1em}(11)}$$

由 Gram 矩阵的半正定性知上式右端非负，即 $f\ast f\ge 0$。

根据假设，$K(x,z)$ 关于 $x_1,x_2,\cdots ,x_m$ 的 Gram 矩阵，即 [ K ( x i , x j ) ] m × m

[K(xi,xj)]" role="presentation" style="position: relative;">[K(xi,xj)]$$\left[\begin{array}{c}K(x_i,x_j)\end{array}\right]$$

_{m×m} [K(xi​,xj​)​]m×m​，是半正定矩阵，于是有 x T ( [ K ( x i , x j ) ] m × m ) x ≥ 0 x^T (

[K(xi,xj)]" role="presentation" style="position: relative;">[K(xi,xj)]$$\left[\begin{array}{c}K(x_i,x_j)\end{array}\right]$$

_{m×m}) x \ge 0 xT([K(xi​,xj​)​]m×m​)x≥0。

令 x = [ α 1 α 2 ⋯ α m ] T x =

[α1α2⋯αm]" role="presentation" style="position: relative;">[α1α2⋯αm]$$\left[\begin{array}{cccc}{\alpha }_1& {\alpha }_2& \cdots & {\alpha }_m\end{array}\right]$$

^T x=[α1​​α2​​⋯​αm​​]T，则有

$$
\begin{bmatrix}
\alpha_1 & \alpha_2 & \cdots & \alpha_m
\end{bmatrix}

[K(x1,x1)K(x1,x2)⋯K(x1,xm) K(x2,x1)K(x2,x2)⋯K(x2,xm) ⋮⋮⋱⋮ K(xm,x1)K(xm,x2)⋯K(xm,xm)]" role="presentation" style="position: relative;">[K(x1,x1)K(x1,x2)⋯K(x1,xm) K(x2,x1)K(x2,x2)⋯K(x2,xm) ⋮⋮⋱⋮ K(xm,x1)K(xm,x2)⋯K(xm,xm)]$$\left[\begin{array}{ccccccccccccc}K(x_1,x_1)& K(x_1,x_2)& \cdots & K(x_1,x_m)K(x_2,x_1)& K(x_2,x_2)& \cdots & K(x_2,x_m)⋮& ⋮& \ddots & ⋮K(x_m,x_1)& K(x_m,x_2)& \cdots & K(x_m,x_m)\end{array}\right]$$

[α1 α2 ⋮ αm]" role="presentation" style="text-align: center; position: relative;">[α1 α2 ⋮ αm]$$\left[\begin{array}{c}{\alpha }_1{\alpha }_2⋮{\alpha }_m\end{array}\right]$$

\ge 0
$$

解得 ${\sum }_{i=1}^m{\sum }_{j=1}^m{\alpha }_i{\alpha }_{j}K(x_i,x_j)\ge 0$，即上式（11）的右端。

再证（10）。充分性显然。

充分性：若 $f=0$，则 $f\ast f=0$。当 $f=0$ 时，有 ${\alpha }_i=0$，于是 $f\ast f$ 显然为 0。

必要性：若 $f\ast f=0$，则 $f=0$。

为证必要性，首先证明不等式：

$$|f\ast g{|}^2\le (f\ast f)(g\ast g)\text{\hspace{1em}(12)}$$

设 $f,g\in S$，$\lambda \in R$，则 $f+\lambda g\in S$，于是，

$$(f+\lambda g)\ast (f+\lambda g)\ge 0$$

$$f\ast f+2\lambda (f\ast g)+{\lambda }^2(g\ast g)\ge 0$$

利用 $S$ 是对加法和数乘运算封闭的向量空间，以及已经证明的式（6）-（8）。

其左端是 $\lambda$ 的二次三项式，非负，其判别式小于等于 0，即

$$(f\ast g{)}^2-(f\ast f)(g\ast g)\le 0$$

于是不等式（12）得证。现证若 $f\ast f=0$，则 $f=0$。事实上，若

$$f(\cdot )=\sum _{i=1}^m{\alpha }_{i}K(\cdot ,x_i)$$

则运算 $\ast$ 的定义式（5），对任意的 $x\in X$，有

$$K(\cdot ,x)\ast f=\sum _{i=1}^m{\alpha }_{i}K(x,x_i)=f(x)$$

$K(\cdot ,x)$ 是一个没有经过线性变换的，只代入了一个参数 $\varphi (x)$ 的核函数。根据式（3）和定义式（5）即可得出。

于是，

$$|f(x){|}^2=|K(\cdot ,x)\ast f{|}^2\text{\hspace{1em}(13)}$$

由（12）和（9）有

∣ K ( ⋅ , x ) ∗ f ∣ 2 ≤ ( K ( ⋅ , x ) ∗ K ( ⋅ , x ) ) ( f ∗ f ) = K ( x , x ) ( f ∗ f )

∣K(⋅,x)∗f∣2​≤(K(⋅,x)∗K(⋅,x))(f∗f)=K(x,x)(f∗f)​​

由（13）有

$$|f(x){|}^2\le K(x,x)(f\ast f)$$

此式表明，当 $f\ast f=0$ 时，对任意的 $x$ 都有 $|f(x)|=0$。

至此，证明了 $\ast$ 为向量空间 $S$ 的内积。赋予内积的向量空间为内积空间。因此 $S$ 是一个内积空间。

内积空间是带有内积的向量空间。因为增加了内积，所以允许我们在内积空间中讨论向量的角度和长度。

既然 $\ast$ 为 $S$ 的内积运算，那么仍然用·表示，即若

$$f(\cdot )=\sum _{i=1}^m{\alpha }_{i}K(\cdot ,x_i),g(\cdot )=\sum _{i=1}^l{\beta }_{j}K(\cdot ,z_j)$$

则

$$f\cdot g=\sum _{i=1}^m\sum _{j=1}^l{\alpha }_i{\beta }_{i}K(x_i,z_j)\text{\hspace{1em}(14)}$$

3. 将内积空间 S 完备化为希尔伯特空间

希尔伯特空间是完备化的内积空间。

现在将内积空间 $S$ 完备化。由式（14）定义的内积可以得到范数

$$||f||=\sqrt{f\cdot f}\text{\hspace{1em}(15)}$$

因此，$S$ 是一个赋范向量空间。根据泛函分析理论，对于不完备的赋函向量空间 $S$，一定可以使之完备化，得到完备的赋范向量空间 $H$。一个内积空间，当作为一个赋范向量空间是完备的时候，就是希尔伯特空间。这样，就得到了希尔伯特空间 $H$。

这一希尔伯特空间 $H$ 称为再生核希尔伯特空间。这是由于核 $K$ 具有再生性，即满足

$$K(\cdot ,x)\cdot f=f(x)\text{\hspace{1em}(16)}$$

及

$$K(\cdot ,x)\cdot (\cdot ,z)=K(x,z)\text{\hspace{1em}(17)}$$

称为再生核。

以上两式（16）和（17）可通过式（3）和（5）得出。