模仿学习(DMP与GMM应用)

模仿学习

为了赋予机器人“举一反三”的操作能力，学界提出了机器人操作技能的高效率模仿学习方法，一是基于动态系统的机器人操作技能模仿；二是基于非线性回归模型对运动轨迹进行编码的机器人操作技能模仿
(Q1.法二是与控制系统无关只管轨迹吗，然后设置控制器跟随)
例一：
DMP中是在PD控制器中加入一非线性项（可看做外力），来控制轨迹。非线性项是多个基函数的叠加，基函数的均值和方差根据正则系统确定，基函数叠加的权重系数根据示教数据由训练得到Dynamic Movement Primitives介绍及Python实现与UR5机械臂仿真
Q1 :论文[1]提到：构建DS，一般依赖于两步学习：构建 Lyapunov 函数和求解 DS，知乎这文章中没有稳定性证明，最后非线性项等于0，直接就是稳定的，可以这么说吗？

例二：
GMM-GMR
利用概率混合模型的方法，表征机器人运动轨迹。
写一下自己对高斯混合模型GMM的理解，如何采用GMR 进行数据回归

一维高斯分布：
$$f(x)=\frac{1}{\sqrt{2\pi }\cdot \delta }\cdot e^{-\frac{(x-\mu {)}^2}{2{\delta }^2}}$$
二维高斯分布：
假设两变量$x_1,x_2$相对独立，且都服从高斯分布，存在以下等式：
$$f(x_1,x_2)=f(x_1)\cdot f(x_2)$$
式中$f(x_1)$:
$$f(x_1)=\frac{1}{\sqrt{2\pi }\cdot {\delta }_1}\cdot e^{-\frac{(x_1-{\mu }_1{)}^2}{2{\delta }_1^2}}$$
其中$delt{a}_1$和${\mu }_1$是变量$x_1$的标准差和均值,二维的高斯分布函数可以表示为：
$$f(x_1,x_2)=f(x_1)\cdot f(x_2)$$
$$=\frac{1}{2\pi \cdot {\delta }_1{\delta }_2}\cdot e^{-\frac{{\delta }_2^2(x_1-{\mu }_1{)}^2+{\delta }_1^2(x_2-{\mu }_2{)}^2}{2{\delta }_1^2{\delta }_2^2}}$$

扩展多维高斯分布：

$$N(\overrightarrow{X}|\overrightarrow{\mu },\Sigma )=\frac{1}{(2\pi {)}^{\frac{D}{2}}\cdot |\Sigma {|}^{\frac{1}{2}}}\cdot e^{-\frac{(\overrightarrow{X}-\overrightarrow{\mu }{)}^T\cdot {\Sigma }^{-1}\cdot (\overrightarrow{X}-\overrightarrow{\mu })}{2}}$$
式中：
$\overrightarrow{X}$表示维度为D的向量
$\overrightarrow{\mu }$表示$\overrightarrow{X}$各维度的均值组成的向量
$\Sigma$代表所有向量的协方差矩阵，是一D×D维的矩阵
补充一下协方差的定义，帮助理解：如何理解协方差矩阵（散布矩阵）

高斯混合回归
目的：找出x→y的映射；

高斯混合回归（GMR）的基本假设是，联合输入（x）×输出（y）空间中的数据可以用一组高斯分布很好地表示，这被称为高斯混合模型（GMM）
(Q2 这里的输入x是时间或者相位？参考[6]中x是时间，y是描述路径例如末端执行器的位置）

左图：在20个示例数据点上具有3个高斯的高斯混合模型（gmm）。该模型是在联合输入×输出空间上通过无监督学习（EM）获得的。右图：高斯混合回归，调节输入空间X，获得输出空间Y的均值和方差

通过EM方法训练，得到高斯混合模型。

对于高斯混合回归，我们的目的在于预测：$\overline{y}=E(y|x)$，给定x时y的期望。为此，可以按如下方式分解${\mu }_e$和${\sum }_e$

$${\mu }_e=[{\mu }_{e,X}^T,{\mu }_{e,Y}^T{]}^T$$
Σ e = [ Σ e , X Σ e , X Y Σ e , Y X Σ e , Y ] \Sigma_e= [Σe,XΣe,XYΣe,YXΣe,Y]

Σe​=[Σe,X​Σe,YX​​Σe,XY​Σe,Y​​]
给定输入x,输出y的条件概率为
$$p(y|x)=\sum _{e=0}^E{h}_e(x)N({\mu }_{e,Y}+{\Sigma }_{e,YX}{\Sigma }_{e,X}^{-1}(x-{\mu }_{e,X}),{\Sigma }_{e,YX}{\Sigma }_{e,X}^{-1}{\Sigma }_{e,XY})$$

给定输入x,y的期望为（这算不算找到了x→y的映射）：
$$\overline{y}=\sum _{e=0}^E{h}_e(x)({\mu }_{e,Y}+{\Sigma }_{e,YX}{\Sigma }_{e,X}^{-1}(x-{\mu }_{e,X}))$$

其中$h_e(x)$为
$$h_e(x)=\frac{{\pi }_{e}N(x;{\mu }_{e,X},{\Sigma }_{e,X})}{{\sum }_{l=1}^E{\pi }_{l}N(x;{\mu }_{l,X},{\Sigma }_{l,X})}$$

参考
[1] 基于模仿学习的机械臂运动规划与柔顺控制研究
[2] 漫谈 Clustering (3): Gaussian Mixture Model
[3] 高斯混合模型GMM
[4] Many Regression Algorithms, One Unified Model – A Review
[5] 基于增量高斯混合回归的自适应软测量方法_李德阳
[6] A tutorial on task-parameterized movement learning and retrieval