机器学习笔记之高斯过程(二)高斯过程回归——权重空间角度

引言

上一节简单介绍了高斯过程，本节将从权重空间角度(Weight-Space)介绍高斯过程回归

回顾

高斯过程

高斯过程(Gaussian Process)本质上是一组随机变量的集合，该集合中任意有限个随机变量均服从高斯分布。
定义基于时间/空间的连续域 为$\mathcal{T}$，对应高斯过程表示为： { ξ t } t ∈ T \{\xi_{t}\}_{t \in \mathcal T} {ξt​}t∈T​。

• 该随机过程中任意时刻$t\in \mathcal{T}$对应的随机变量 ξ t ∈ { ξ t } t ∈ T \xi_t \in \{\xi_t\}_{t \in \mathcal T} ξt​∈{ξt​}t∈T​均服从高斯分布$\mathcal{N}({\mu }_t,{\Sigma }_t)$。
• 并且，从高斯过程 { ξ t } t ∈ T \{\xi_t\}_{t \in \mathcal T} {ξt​}t∈T​中任意选出$n$个时刻对应的随机变量： { ξ t 1 , ξ t 2 , ⋯   , ξ t n } ∈ { ξ t } t ∈ T \{\xi_{t_1},\xi_{t_2},\cdots,\xi_{t_n}\} \in \{\xi_t\}_{t \in \mathcal T} {ξt1​​,ξt2​​,⋯,ξtn​​}∈{ξt​}t∈T​同样服从高斯分布$\mathcal{N}({\mu }_{t_1\to t_n},{\Sigma }_{t_1\to t_n})$。

贝叶斯线性回归

贝叶斯线性回归(Bayesian Linear Regression)本质上是利用贝叶斯方法处理线性回归任务。不同于频率派的点估计(Point Estimation)，贝叶斯派将模型参数$\mathcal{W}$视作随机变量，它针对线性回归问题主要分为两个步骤：

• 关于随机变量$\mathcal{W}$的推断任务(Inference)：基于数据集合$Data$，求解$\mathcal{W}$的后验概率。
  后验概率的高斯分布是基于’高斯分布的自共轭性质’。
  $\mathcal{N}(\mathcal{W}\mid {\mu }_{\mathcal{W}},{\Sigma }_{\mathcal{W}})$这种表示描述的是‘关于$\mathcal{W}$作为后验的条件高斯分布’。
  $$\mathcal{P}(\mathcal{W}\mid Data)\sim \mathcal{N}(\mathcal{W}\mid {\mu }_{\mathcal{W}},{\Sigma }_{\mathcal{W}})$$
  根据贝叶斯定理，将$\mathcal{P}(\mathcal{W}\mid Data)$表示为如下形式。其中似然$\mathcal{P}(\mathcal{Y}\mid \mathcal{W},\mathcal{X})$根据线性回归模型可表示为 包含0均值高斯噪声的线性关系；关于先验分布$\mathcal{P}(\mathcal{W})$，将其假设为一个0均值的高斯分布；
  P ( W ∣ D a t a ) = P ( Y ∣ W , X ) ⋅ P ( W ) P ( Y ∣ X ) ∝ P ( Y ∣ W , X ) ⋅ P ( W ) = N ( W T X , σ 2 ) ⋅ N ( 0 , Σ p r i o r ) P(W∣Data)=P(Y∣W,X)⋅P(W)P(Y∣X)∝P(Y∣W,X)⋅P(W)=N(WTX,σ2)⋅N(0,Σprior)

  P(W∣Data)​=P(Y∣X)P(Y∣W,X)⋅P(W)​∝P(Y∣W,X)⋅P(W)=N(WTX,σ2)⋅N(0,Σprior​)​
  对上式进行求解，可以得到后验概率$\mathcal{P}(\mathcal{W}\mid Data)$的高斯分布形式：
  贝叶斯线性回归推断任务推导过程传送门
  $$\mathcal{N}({\mu }_{\mathcal{W}},{\Sigma }_{\mathcal{W}})\to \{\begin{array}{l}{\mu }_{\mathcal{W}}=\frac{{\mathcal{A}}^{-1}{\mathcal{X}}^T\mathcal{Y}}{{\sigma }^2}\\ {\Sigma }_{\mathcal{W}}={\mathcal{A}}^{-1}\\ \mathcal{A}=\frac{{\mathcal{X}}^T\mathcal{X}}{{\sigma }^2}+{\Sigma }_{prior}^{-1}\end{array}$$

• 基于推断得到的关于$\mathcal{W}$的后验概率，对给定样本$\hat{x}$的标签$\hat{y}$进行预测(Prediction)。
  首先是无高斯噪声估计(Noise-Free)：

  • 这里需要使用‘基于随机变量之间存在线性关系，高斯分布的表达’传送门
  • 公式中的$\mathcal{W}$表示已经通过$Data$学习的后验概率。

  { f ( x ^ ) = W T x ^ = x ^ T W P [ f ( x ^ ) ∣ D a t a , x ^ ] ∼ N ( x ^ T μ W , x ^ T ⋅ Σ W ⋅ x ^ ) {f(ˆx)=WTˆx=ˆxTWP[f(ˆx)∣Data,ˆx]∼N(ˆxTμW,ˆxT⋅ΣW⋅ˆx)

  {f(x^)=WTx^=x^TWP[f(x^)∣Data,x^]∼N(x^TμW​,x^T⋅ΣW​⋅x^)​ 其次是高斯噪声估计(Noise)：
  $$\{\begin{array}{l}\hat{y}=f(\hat{x})+ϵ\\ \mathcal{P}(\hat{y}\mid Data,\hat{x})\sim \mathcal{N}({\hat{x}}^T{\mu }_{\mathcal{W}},{\hat{x}}^T\cdot {\Sigma }_{\mathcal{W}}\cdot \hat{x}+{\sigma }^2)\end{array}$$

引子：贝叶斯方法求解非线性回归任务

假设此时的回归任务不是线性回归，而是非线性回归(Non-Linear)，如何处理该问题：
在核方法与核函数介绍一节中针对样本无法线性可分 的问题，介绍了一种非线性转换(Non-Linear Transformation)函数：$\varphi (\cdot )$。
该函数的作用是将当前样本$x^{(i)}\in \mathcal{X}$的特征转化为高维特征：
$$x^{(i)}\to \varphi (x^{(i)})=z^{(i)}{x}^{(i)}\in {\mathbb{R}}^p;z^{(i)}\in {\mathbb{R}}^q;q>p$$
根据Cover定理思想，就是找到一个合适的$\varphi$，其目的是为了让 非线性 $\to$ 高维线性。
由于$\varphi$函数从低维向高维映射的过程中，可能存在映射结果$z^{(i)}$维度远远高于$x^{(i)}$，首先，计算这个高维映射$\varphi (x^{(i)})$的计算代价就很高；其次，求解内积$[\varphi (x^{(i)}){]}^T\varphi (x^{(j)})$过程中计算代价更高。，实际上，找非线性转换函数的本质是找合适的核函数(Kernal Function)：
$$\kappa (x^{(i)},x^{(j)})=⟨\varphi (x^{(i)}),\varphi (x^{(j)})⟩=[\varphi (x^{(i)}){]}^T\cdot \varphi (x^{(j)})$$

需要知道：内积是从哪里出现的？
观察无高斯噪声估计(Noise-Free)：
P [ f ( x ^ ) ∣ D a t a , x ^ ] ∼ N ( x ^ T μ W , x ^ T ⋅ Σ W ⋅ x ^ ) = N [ x ^ T ( A − 1 X T Y σ 2 ) , x ^ T ⋅ A − 1 ⋅ x ^ ] A − 1 = X T X σ 2 + Σ p r i o r − 1 P[f(ˆx)∣Data,ˆx]∼N(ˆxTμW,ˆxT⋅ΣW⋅ˆx)=N[ˆxT(A−1XTYσ2),ˆxT⋅A−1⋅ˆx]A−1=XTXσ2+Σ−1prior

P[f(x^)∣Data,x^]​∼N(x^TμW​,x^T⋅ΣW​⋅x^)=N[x^T(σ2A−1XTY​),x^T⋅A−1⋅x^]A−1=σ2XTX​+Σprior−1​​
随机变量集合 X = { x 1 , ⋯   , x p } \mathcal X =\{x_1,\cdots,x_p\} X={x1​,⋯,xp​}是一个非线性回归任务，根据上面描述，需要对样本$x^{(i)}$进行非线性转换。假设关于${\mathcal{X}}_{N\times p}$的非线性转换结果为：
$$\varphi (\mathcal{X})={\left[\varphi (x^{(1)}),\varphi (x^{(2)}),\cdots ,\varphi (x^{(\mathcal{N})})\right]}_{N\times q}^T$$
对应的无噪声模型表示为：
$$f(x)={\left[\varphi (x)\right]}_{1\times q}^T{\mathcal{W}}_{q\times 1}x\in \mathcal{X}$$
从而关于$\hat{x}$的预测任务表示为：
实际上就是将所有$\hat{x},\mathcal{X}$替换为$\varphi (\hat{x}),\varphi (\mathcal{X})$.
$$\mathcal{P}[f(\hat{x})\mid Data,\hat{x}]\sim \mathcal{N}\left[[\varphi (\hat{x}){]}^T\left(\frac{{\mathcal{A}}^{-1}[\varphi (\mathcal{X}){]}^T\mathcal{Y}}{{\sigma }^2}\right),[\varphi (\hat{x}){]}^T\cdot {\mathcal{A}}^{-1}\cdot \varphi (\hat{x})\right]\mathcal{A}=\frac{[\varphi (\mathcal{X}){]}^T\varphi (\mathcal{X})}{{\sigma }^2}+{\Sigma }_{prior}^{-1}$$

至此，发现了：内积部分$[\varphi (\mathcal{X}){]}^T\varphi (\mathcal{X})$出现在矩阵$\mathcal{A}$ 中。如何求解${\mathcal{A}}^{-1}$?
最终的目的是将均值、方差${\mu }_{\mathcal{W}},{\Sigma }_{\mathcal{W}}$写成关于‘核函数’$\kappa (\cdot ,\cdot )$的方式,而${\mu }_{\mathcal{W}},{\Sigma }_{\mathcal{W}}$中均是以${\mathcal{A}}^{-1}$出现的。
这里引入一个关于求解矩阵逆 的定理：$\text{Woodbury Formula}$。
仅需要了解如何使用即可。
$$(\mathcal{A}+\mathcal{U}\mathcal{C}\mathcal{V}{)}^{-1}={\mathcal{A}}^{-1}-{\mathcal{A}}^{-1}\mathcal{U}({\mathcal{C}}^{-1}+\mathcal{V}{\mathcal{A}}^{-1}\mathcal{U}{)}^{-1}\mathcal{V}{\mathcal{A}}^{-1}$$

• 观察$\mathcal{A}={\left[\frac{[\varphi (\mathcal{X}){]}^T\varphi (\mathcal{X})}{{\sigma }^2}\right]}_{q\times q}+{\left[{\Sigma }_{prior}^{-1}\right]}_{q\times q}$：
  $\mathcal{A}$自身是$q\times q$的矩阵。下面的步骤是为了直接凑均值项$\frac{{\mathcal{A}}^{-1}\mathcal{X}\mathcal{Y}}{{\sigma }^2}$.

均值表示的推导过程

• 首先，等式左侧$\mathcal{A}$右乘一个${\Sigma }_{prior}$：
  其中，$\mathcal{I}$表示单位矩阵；$q\times q$
  $$\begin{array}{rl}\mathcal{A}{\Sigma }_{prior}& =\frac{{\left[\varphi (\mathcal{X})\right]}^T\varphi (\mathcal{X})}{{\sigma }^2}{\Sigma }_{prior}+{\Sigma }_{prior}^{-1}{\Sigma }_{prior}\\ & =\frac{{\left[\varphi (\mathcal{X})\right]}^T\varphi (\mathcal{X})}{{\sigma }^2}{\Sigma }_{prior}+{\mathcal{I}}_{q\times q}\end{array}$$
• 在上步基础上，继续右乘一个$[\varphi (\mathcal{X}){]}^T$：
  提出一个公因式$\frac{[\varphi (\mathcal{X}){]}^T}{{\sigma }^2}$,将两项合并，将$\varphi (\mathcal{X}){\Sigma }_{prior}[\varphi (\mathcal{X}){]}^T$用核函数$\mathcal{K}(\mathcal{X},\mathcal{X})$这个记号进行表示。
  $$\begin{array}{rl}\mathcal{A}{\Sigma }_{prior}[\varphi (\mathcal{X}){]}^T& =\frac{{\left[\varphi (\mathcal{X})\right]}^T\varphi (\mathcal{X}){\Sigma }_{prior}[\varphi (\mathcal{X}){]}^T}{{\sigma }^2}+[\varphi (\mathcal{X}){]}^T\\ & =\frac{[\varphi (\mathcal{X}){]}^T}{{\sigma }^2}\left\{\varphi (\mathcal{X}){\Sigma }_{prior}[\varphi (\mathcal{X}){]}^T+{\sigma }^2\mathcal{I}\right\}\\ & =\frac{[\varphi (\mathcal{X}){]}^T}{{\sigma }^2}\left[\mathcal{K}(\mathcal{X},\mathcal{X})+{\sigma }^2\mathcal{I}\right]\end{array}$$
• 在上步基础上，左乘一个${\mathcal{A}}^{-1}$：
  此时，等式左侧变成了${\sigma }_{prior}[\varphi (\mathcal{X}){]}^T$;
  $$\begin{array}{r}{\Sigma }_{prior}[\varphi (\mathcal{X}){]}^T=\frac{{\mathcal{A}}^{-1}[\varphi (\mathcal{X}){]}^T}{{\sigma }^2}\left[\mathcal{K}(\mathcal{X},\mathcal{X})+{\sigma }^2\mathcal{I}\right]\end{array}$$
  从而有：
  相当于等式两边同乘$[\mathcal{K}(\mathcal{X},\mathcal{X})+{\sigma }^2\mathcal{I}{]}^{-1}$
  $$\frac{{\mathcal{A}}^{-1}[\varphi (\mathcal{X}){]}^T}{{\sigma }^2}={\Sigma }_{prior}[\varphi (\mathcal{X}){]}^T[\mathcal{K}(\mathcal{X},\mathcal{X})+{\sigma }^2\mathcal{I}{]}^{-1}$$

至此，均值部分相当于上式基础上，左乘一个$[\varphi (\hat{x}){]}^T$，再右乘一个$\mathcal{Y}$：
这里面已知项有：${\Sigma }_{prior}$是先验分布$\mathcal{P}(\mathcal{W})$的协方差矩阵；${\sigma }^2$是回归模型的高斯噪声；$\mathcal{K}(\mathcal{X},\mathcal{X})$是$\varphi (\mathcal{X}){\Sigma }_{prior}[\varphi (\mathcal{X}){]}^T$的表示；
μ x ^ = [ ϕ ( x ) ] T ⋅ μ W = [ ϕ ( x ) ] T [ A − 1 [ ϕ ( X ) ] T σ 2 ] ⋅ Y = [ ϕ ( x ) ] T Σ p r i o r [ ϕ ( X ) ] T [ K ( X , X ) + σ 2 I ] − 1 Y μˆx=[ϕ(x)]T⋅μW=[ϕ(x)]T[A−1[ϕ(X)]Tσ2]⋅Y=[ϕ(x)]TΣprior[ϕ(X)]T[K(X,X)+σ2I]−1Y

μx^​​=[ϕ(x)]T⋅μW​=[ϕ(x)]T[σ2A−1[ϕ(X)]T​]⋅Y=[ϕ(x)]TΣprior​[ϕ(X)]T[K(X,X)+σ2I]−1Y​
小结：实际上上述的均值求解仅是将$\mathcal{A}$带入到均值表达式中的求解过程，并没有使用 $\text{Woodbury Formula}$定理。

方差表示的推导过程

继续求解高维转换后的方差表示。方差部分表示如下：
$$[\varphi (\hat{x}){]}^T\cdot {\mathcal{A}}^{-1}\cdot \varphi (\hat{x})\mathcal{A}=\frac{[\varphi (\mathcal{X}){]}^T\varphi (\mathcal{X})}{{\sigma }^2}+{\Sigma }_{prior}^{-1}$$
这里需要使用$\text{Woodbury Formula}$对${\mathcal{A}}^{-1}$进行求解，或者使用上述拼凑的方式求解：
就是套公式~这里就不写过程了~
A − 1 = ( Σ p r i o r − 1 + 1 σ 2 [ ϕ ( X ) ] T ϕ ( X ) ) − 1 = Σ p r i o r − Σ p r i o r [ ϕ ( X ) ] T [ K ( X , X ) + σ 2 I ] − 1 ϕ ( X ) Σ p r i o r A−1=(Σ−1prior+1σ2[ϕ(X)]Tϕ(X))−1=Σprior−Σprior[ϕ(X)]T[K(X,X)+σ2I]−1ϕ(X)Σprior

A−1​=(Σprior−1​+σ21​[ϕ(X)]Tϕ(X))−1=Σprior​−Σprior​[ϕ(X)]T[K(X,X)+σ2I]−1ϕ(X)Σprior​​

最终，经过非线性转换后的关于样本$\hat{x}$的后验分布表示为：
注意：这个是‘无高斯噪声’(Noise-Free)的分布。
P [ f ( x ^ ) ∣ D a t a , x ^ ] ∼ N [ [ ϕ ( x ^ ) ] T ( A − 1 [ ϕ ( X ) ] T Y σ 2 ) , [ ϕ ( x ^ ) ] T ⋅ A − 1 ⋅ ϕ ( x ^ ) ] = N ( μ x ^ , Σ x ^ ) { μ x ^ = [ ϕ ( x ) ] T Σ p r i o r [ ϕ ( X ) ] T [ K ( X , X ) + σ 2 I ] − 1 Σ x ^ = [ ϕ ( x ^ ) ] T ⋅ { Σ p r i o r − Σ p r i o r [ ϕ ( X ) ] T [ K ( X , X ) + σ 2 I ] − 1 ϕ ( X ) Σ p r i o r } ⋅ ϕ ( x ^ ) P[f(ˆx)∣Data,ˆx]∼N[[ϕ(ˆx)]T(A−1[ϕ(X)]TYσ2),[ϕ(ˆx)]T⋅A−1⋅ϕ(ˆx)]=N(μˆx,Σˆx){μˆx=[ϕ(x)]TΣprior[ϕ(X)]T[K(X,X)+σ2I]−1Σˆx=[ϕ(ˆx)]T⋅{Σprior−Σprior[ϕ(X)]T[K(X,X)+σ2I]−1ϕ(X)Σprior}⋅ϕ(ˆx)

P[f(x^)∣Data,x^]​∼N[[ϕ(x^)]T(σ2A−1[ϕ(X)]TY​),[ϕ(x^)]T⋅A−1⋅ϕ(x^)]=N(μx^​,Σx^​){μx^​=[ϕ(x)]TΣprior​[ϕ(X)]T[K(X,X)+σ2I]−1Σx^​=[ϕ(x^)]T⋅{Σprior​−Σprior​[ϕ(X)]T[K(X,X)+σ2I]−1ϕ(X)Σprior​}⋅ϕ(x^)​​
从简化运算的角度，在从几何角度观察多维高斯分布一节中介绍关于协方差矩阵的定义，可以将其定义为一个对角矩阵，甚至是各向同性。

协方差函数(核函数)

回顾上述公式：
就是上述公式的展开式~
$$\mathcal{N}\left[\underset{{\mu }_{\hat{x}}}{\underbrace{[\varphi (\hat{x}){]}^T{\Sigma }_{prior}[\varphi (\mathcal{X}){]}^T[\mathcal{K}(\mathcal{X},\mathcal{X})+{\sigma }^2\mathcal{I}{]}^{-1}\mathcal{Y}}},\underset{{\Sigma }_{\hat{x}}}{\underbrace{[\varphi (\hat{x}){]}^T{\Sigma }_{prior}\varphi (\hat{x})-[\varphi (\hat{x}){]}^T{\Sigma }_{prior}[\varphi (\mathcal{X}){]}^T(\mathcal{K}(\mathcal{X},\mathcal{X})+{\sigma }^2\mathcal{I}{)}^{-1}\varphi (\mathcal{X}){\Sigma }_{prior}\varphi (\hat{x})}}\right]$$
观察之前定义的符号$\mathcal{K}(\mathcal{X},\mathcal{X})$：
$$\mathcal{K}(\mathcal{X},\mathcal{X})=\varphi (\mathcal{X})\cdot {\Sigma }_{prior}\cdot [\varphi (\mathcal{X}){]}^T$$
这个格式在上述公式中比比皆是：
μ  part : { [ ϕ ( x ^ ) ] T Σ p r i o r [ ϕ ( X ) ] T K ( X , X ) Σ  part : { [ ϕ ( x ^ ) ] T Σ p r i o r ϕ ( x ^ ) [ ϕ ( x ^ ) ] T Σ p r i o r [ ϕ ( X ) ] T K ( X , X ) ϕ ( X ) Σ p r i o r ϕ ( x ^ ) ϕ ( X ) = [ ϕ ( x ( 1 ) ) , ϕ ( x ( 2 ) ) , ⋯   , ϕ ( x ( N ) ) ] N × q T μ part:{[ϕ(ˆx)]TΣprior[ϕ(X)]TK(X,X)Σ part:{[ϕ(ˆx)]TΣpriorϕ(ˆx)[ϕ(ˆx)]TΣprior[ϕ(X)]TK(X,X)ϕ(X)Σpriorϕ(ˆx)

\quad \phi(\mathcal X) = [\phi(x^{(1)}),\phi(x^{(2)}),\cdots,\phi(x^{(N)})]_{N \times q}^T ​μ part:{[ϕ(x^)]TΣprior​[ϕ(X)]TK(X,X)​Σ part:⎩ ⎨ ⎧​[ϕ(x^)]TΣprior​ϕ(x^)[ϕ(x^)]TΣprior​[ϕ(X)]TK(X,X)ϕ(X)Σprior​ϕ(x^)​​ϕ(X)=[ϕ(x(1)),ϕ(x(2)),⋯,ϕ(x(N))]N×qT​

上述的所有格式，都可以用记号$\mathcal{K}(\cdot ,\cdot )$进行表示。这个记号函数$\mathcal{K}(\cdot ,\cdot )$到底是不是核函数？
这个高维转换函数$\varphi$中有可能是一个向量：某一个原始$x_{p\times 1}$；也有可能是一个'数据集合'${\mathcal{X}}_{N\times p}$
观察：由于先验分布的协方差矩阵${\Sigma }_{prior}$至少是半正定的，这里假设它的正定的，因而有：
$${\Sigma }_{prior}={\left[\sqrt{{\Sigma }_{prior}}\right]}^2={\left[\sqrt{{\Sigma }_{prior}}\right]}^T\sqrt{{\Sigma }_{prior}}$$
因此，$\mathcal{K}(x,x^{\prime })$可表示为：
这里的$x,x^{\prime }$只是两个宏观的量，它可以表示上述任意一组格式。
K ( x , x ′ ) = [ ϕ ( x ) ] T Σ p r i o r ϕ ( x ′ ) = [ ϕ ( x ) ] T [ Σ p r i o r ] T Σ p r i o r   ϕ ( x ′ ) = [ Σ p r i o r   ϕ ( x ) ] T Σ p r i o r   ϕ ( x ′ ) K(x,x′)=[ϕ(x)]TΣpriorϕ(x′)=[ϕ(x)]T[√Σprior]T√Σprior ϕ(x′)=[√Σprior ϕ(x)]T√Σprior ϕ(x′)

K(x,x′)​=[ϕ(x)]TΣprior​ϕ(x′)=[ϕ(x)]T[Σprior​ ​]TΣprior​ ​ ϕ(x′)=[Σprior​ ​ ϕ(x)]TΣprior​ ​ ϕ(x′)​
这里令$\psi (x)=\sqrt{{\Sigma }_{prior}}\varphi (x),\psi (x^{\prime })=\sqrt{{\Sigma }_{prior}}\varphi (x^{\prime })$，则有：
$$\mathcal{K}(x,x^{\prime })=⟨\psi (x),\psi (x^{\prime })⟩$$
至此，可以使用核技巧(Kernal trick)将上述格式全部使用核函数 进行表示，从而跳过高维转换函数$\psi (\cdot )$的复杂计算问题。

至此，将 贝叶斯线性回归 + 高维非线性转换 处理非线性回归问题 转换成基于核函数的贝叶斯线性回归问题(Kernal Bayesian Linear Regression,Kernal BLR)

高斯过程回归与线性贝叶斯回归的关系

实际上，贝叶斯线性回归(Bayesian Linear Regression)和核技巧相结合，构成了 高斯线性回归(Gaussian Linear Regression)。

• 核技巧部分包括：非线性转换(Non-Linear Transformation)$\varphi (\cdot )$部分以及内积(Inner Product)$⟨\varphi (\cdot ),\varphi (\cdot )⟩$部分。
• 这个关系就是‘权重空间视角’(Weight-Space)的结论。

高斯过程回归一般从两个视角进行描述：

• (本节介绍的) 权重空间(Weight-Space)视角：即对模型参数$\mathcal{W}$在非线性转换后，由$p\times 1$转换至$q\times 1$的过程。
  关于先验概率分布$\mathcal{P}(\mathcal{W})$的分布也是随着‘非线性转换’维度的变化而变化。
  { f ( X ) = [ X ] N × p T W p × 1 Y = f ( X ) + ϵ ϵ ∼ N ( 0 , σ 2 ) ⇔ { f ( X ) = [ ϕ ( X ) ] N × q T W q × 1 Y = f ( X ) + ϵ ϵ ∼ N ( 0 , σ 2 ) {f(X)=[X]TN×pWp×1Y=f(X)+ϵϵ∼N(0,σ2)

  \quad \Leftrightarrow {f(X)=[ϕ(X)]TN×qWq×1Y=f(X)+ϵϵ∼N(0,σ2)
  {f(X)=[X]N×pT​Wp×1​Y=f(X)+ϵϵ∼N(0,σ2)​⇔{f(X)=[ϕ(X)]N×qT​Wq×1​Y=f(X)+ϵϵ∼N(0,σ2)​
  从贝叶斯线性回归的两个阶段思路也可以理解：先求$\mathcal{W}$的后验，再预测样本标签。

• 函数空间(Function-Space)视角：相比于权重空间视角，它不关注模型参数$\mathcal{W}$，而是关注$f(\mathcal{X})$空间本身。
  这两种视角没有区别，结果相同。

  它将$f(\mathcal{X})$本身看做随机变量，并且$f(\mathcal{X})$本身是一个高斯过程(Gaussian Process)：
  $$f(\mathcal{X})\sim GP[m(\mathcal{X}),\kappa (\mathcal{X},x^{\prime })]$$
  从高斯过程回归的角度，可以将其看做：贝叶斯线性回归 + 核函数的延伸。

下一节将介绍从函数空间视角观察高斯过程回归。

相关参考：
机器学习-高斯过程回归-权重空间角度