论文信息
论文标题：Cross-domain Activity Recognition via Substructural Optimal Transport
论文作者：Wang Lu, Yiqiang Chen, Jindong Wang, Xin Qin
论文来源：Neurocomputing
论文地址：download
论文代码：download
1 背景
使用从传感器收集到的原始信号，学习有关人类活动的高级知识。应用于步态分析、手势识别、睡眠阶段检测等领域
跨域活动识别（CDAR）：借助辅助数据集，使用领域自适应的方式为无标签的新活动数据集构建模型
贝叶斯信息准则（BIC）：
-
- 背景：参数估计问题采用似然函数作为目标函数，提高模型复杂度可提高模型精度，但会导致过拟合问题发生，希望在模型复杂度与模型对数据集描述能力之间寻求最佳平衡；
- 公式：BIC=kln(n)−2ln(ˆL)
BIC=kln(n)−2ln(Lˆ) ，其中后项为精度惩罚，LL 表示似然函数的值；前项为复杂度惩罚，kk 表示自由参数数量，nn 表示样本数量； - 解释：增加参数数量会增大似然函数，但是参数过多时，似然函数增速减缓，易产生过拟合现象，选取使BIC最小的自由参数数量即可达到较优状态
最优输运问题（OT）：
-
- 概率向量：元素值在 [0,1]
[0,1] 间，和为 11 的数组 - 离散测度：将概率向量对应给某个数的函数
- 概率向量：元素值在 [0,1]
α=∑ni=1aiδxi
-
- 最优输运问题：对于两个测度，找到最优的映射方式 P，使下式成立（C 为代价矩阵）：
LC(a,b) def. =minP∈U(a,b)⟨C,P⟩ def. =∑i,jCi,jPi,j
2 传统方法简介
分类
-
- 粗糙匹配：域级匹配/类级匹配/域级和类级匹配，通过学习域不变表示/类不变表示来匹配分布；
- 样本级匹配：实现两个域的成对样本对齐；
局部性：两个传感器信号之间的细粒度相似度
缺陷
-
- 粗糙匹配：忽略活动数据的局部信息，可能导致不适应；
- 样本级匹配：易受噪声点或异常值的影响，导致过度适应，学习局部信息时出现过拟合；匹配太多的点，耗时；
实验分析
-
- 源域/目标域分别由高斯混合分别采样得到，对应于两个类和三个不同的簇；
-
由于其中一个类对应两个簇，使用粗糙匹配将忽略这种局部信息；
- 数据携带噪音或扰动，直接对数据样本进行匹配可能出现不匹配的情况；
-
- 域级匹配完全忽略了域内数据结构；
- 类级匹配需要稍微精细的对齐；
- 样本级方法容易受到异常值影响，导致过拟合，且耗时；
3 子结构域自适应（SSDA）
子结构：描述数据的细粒度潜在分布，可理解为类内部簇，对应于局部信息；
优势
-
- 相较于粗略匹配，利用更细粒度的局部性信息（子结构），克服不适应问题；
- 相较于样本级匹配，避免噪声与异常值的过分影响，防止过度适应问题；
- 通用框架，可使用不同算法完成定制；
实现
基于最优传输，提出子结构最优传输（SOT）方法
步骤：
-
-
- 通过聚类方法获得内部子结构；
- 通过部分最优传输方法给出源域的活动子结构权值；
- 学习匹配两个子结构上的概率分布函数的运输计划；
-
理论分析
域级匹配对象 p(x)，类级匹配对象 p(x|y)，进一步将域划分为更精细的子结构：
p(x)=∑yp(x∣y)p(y)=∑y(∑op(x,o∣y))p(y)=∑y∑op(x∣y,o)p(y,o) (For source domain) =∑o∑yp(x∣y,o)p(y∣o)p(o)=∑op(x∣o)p(o). (For target domain)
重点观察
由于类和子结构之间的关系：
p(y∣o)={1o is part of y0o.w
统一源域和目标域的匹配对象：
p(x∣o)
子结构最优运输（SOT）
步骤一：子结构生成和表示
X 表示所有特征数据，Xk∼N(μk,σk) 表示第 k 个聚类的数据，服从高斯混合分布；可使用特征数据 X 借助期望最大值（EM）算法获得高斯混合模型的参数。
针对源域为保持标签一致性，将其视为 C 个高斯混合模型的混合分布，每个模型对应一个类，针对每个模型分别完成聚类；针对目标域由于缺少标签，直接对整个目标域完成聚类。
聚类数量由贝叶斯信息准则（BIC）决定，选取使 BIC 最小的自由参数 k 的数量来决定聚类的数量。
聚类算法可自由定制；
子结构表示：中心表示的 SOTc 表示法（只利用聚类中心，计算简单，效率高）与分布表示的 SOTg 表示法（利用更多聚类中心，计算时需近似）
SOTc 表示法
目标域分布（源域类似）:
μc,t=∑kti=1wt,iδzt,i
其中 z 表示聚类中心， δz 表示聚类中心处的 Dirac 函 数, ω 表示与聚类中心相关的概率质量，和为 1。
使用欧式距离的平方作为两个域间聚类中心的距离 度量: c(zs,i,zt,j)=‖zs,i−zt,j‖22 .
SOTg 表示法
目标域分布（源域类似）：
μg,t=∑kti=1wt,iN(zt,i,σt,i)
使用高斯分布代替聚类中心位置的 Dirac 函数 使用 Wasserstein 距离的平方作为两个域间聚类中 心的距离度量:
c(N(zs,i,σs,i),N(zt,j,σt,j))=W22(N(zs,i,σs,i),N(zt,j,σt,j))
距离度量用于计算最优输运中的代价矩阵 C
将协方差矩阵强制为对角矩阵，经过转化的距离度量：
c(N(zs,i,σs,i),N(zt,j,σt,j))=‖zs,i−zt,j‖2+‖√rs,i−√rt,j‖22=‖(zs,i,√rs,i)−(zt,j,√rt,j)‖22
其中 r 表示簇的协方差矩阵的对角线，聚类中心 z 和 r 共同构成表示子结构的特征。
步骤二：计算子结构权值（概率质量）
对两种子结构表示法进行统一表示：
Ps=ks∑s=1ws,ips,i
对信息过少的目标域将 ωt,i 固定为 1/kt 自适应计算源域的子结构权值
由于 ω 本身的特性 (和为 1）, 可看作概率分布向量，利用部分最优运输问题进行求解，求解最优运输方式对应的优化目标:
π∗1=argminπ⟨π,C⟩F+λ1H(π) s.t πT1ks=wtπ1kt≤1ks1TktπT1ks=1.
其中 π 为两个子结构概率分布函数的朱合合矩阵（co upling matrix)，C 为代价矩阵，⟨⋅⟩F 为 Frobenius 点积，⟨π,C⟩F 即为部分最优输运总代价，H(π) 为便于计算加入的正则化项，定义式
H(π)=∑ijπijlogπij
可保证约束条件后两项必然成立， 因此最终优化目标：π∗1=argminπ⟨π,C⟩F+λ1H(π)
s.t πT1ks=wt.
由于约束条件为的可行解集为凸集，易得问题的封闭形式，可使用拉格朗日方法解决问题：
L=⟨π,C⟩F+λ1H(π)+ϕT(πT1ks−wt)
步骤三：基于最优输运（OT）的子结构映射
子结构最优运输 (SOT) 的总体优化目标:
π∗=argminπ⟨π,C⟩F+λH(π)+ηΩ(π) s.t πT1ks=wtπ1kt=ws.
其中 Ω(π) 为群稀疏正则化器，期望每个目标样本只从具有相同标签的源样本接收质量。
通过广义条件梯度 (GCG) 求解最优输运问题得到 最优耦合矩阵 π∗ 后, 可通过重心咉射计算出变换后的 ps,i 的值:
ˆps,i=argminp∑jπ∗(i,j)c(p,pt,j)
当代价函数为欧式距樆时, 可表示为
ˆPs=diag(π∗1kt)−1π∗Pt
其中 Pt 为目标表示，^Ps 为源映射表示
使用计算出的 ^Ps 和标签 Ys 可建立模型以预测 Pt 对 应标签，将预测出的标签拭予目标域中属于对应聚类的 数据即可最终完成目标域的标签预测任务，即实现跨域活动识别任务。
4 实验结果
https://zhuanlan.zhihu.com/p/356904023
https://www.cnblogs.com/liuzhen1995/p/14524932.html
__EOF__
