EEG-fNIRS跨模态迁移学习优化BCI系统分类精度

基于功能近红外光谱（fNIRS）的脑机接口（BCI）在情感识别方面的巨大应用潜力，该模式受到越来越多的关注。然而，由于特征提取算法的相对不足，限制了其在实践中的应用。最近，科学家提出一种基于正则化空间模式（RSCP）的R-CSP-E方法，即在计算基于转移学习和集合学习理论的fNIRS信号特征时引入EEG信号，使用独立分量分析（ICA）来实现两个信号源之间的对应，然后在改进共同空间模式（CSP）算法的空间滤波器时引入了EEG。实验证明，该方法相对没有迁移算法的传统方法，平均分类精度可提高5%。实现了EEG和fNIRS之间应用迁移学习。证明了迁移学习算法在跨模BCI中的潜力，还为研究混合型脑机接口提供了一个创新视角。

数据采集和处理

任务过程脑电图电极、近红外辐射源和探测器的放置。除了采集fNIR数据的36个通道，还添加了按照10-20系统放置的EEG电极。

算法的总体结构。将脑电信号和fNIRS信号分别进行预处理后，分为训练集和测试集，通过ICA算法调整训练集数据的信道顺序，然后使用RCSP框架生成特征，最后结合LDA和KNN进行分类

特征提取的算法由两部分组成，模型训练和模型测试，在第一部分中，和以往基于单一信号的处理方法不同，该方法在通过基于ICA的源分布关联算法调整信道后，将脑电训练数据集引入到空间滤波器的计算中，然后基于RCSP框架再利用fNIRS数据构建复合空间滤波器。其中，RCSP正则化参数的选择通过集成学习的方法确定。最后，将滤波提取的特征输入线性判别分析（LDA）进行降维，并使用K近邻(KNN)算法进行分类。

实验结果

基于运动想象数据的处理后大脑空间模式

在比较了CSP、R-CSPCV和R-CSP-E的总体平均分类精度后，发现R-CSP-E算法优于传统CSP算法，正确分类率平均提高了7%，说明了集合学习方法相对于传统交叉验证法的优势。与信道特征提取方法和传统的CSP算法相比，R-CSP-E可以将分类准确率平均提高至少6%。在R-CSP-E滤波器引入EEG信号后，比CSP滤波器具有更强的识别能力，这也符合神经生理学研究的预期。

该方法最主要的优势在于计算fNIRS信号特征时考虑了EEG的特征空间，提升了信息维度，从而也提高了分类结果的准确率。运动想象脑机接口在康复训练和神经功能恢复方面有广泛的应用。而fNIRS，基于神经血管耦合性，在监测大脑功能激活模式和神经康复方面也发挥了可靠的作用，可以用来监测病人的运动和认知能力随着时间推移而改善的过程。fNIRS-BCI性能的扩展提高将促进认知神经科学和神经可塑性的发展，同时也为多模态信号训练混合型BCI系统提供了一个可靠的优化思路。

参考文献：

Wang Y, Yang Z, Ji H, et al. Cross-Modal Transfer Learning From EEG to Functional Near-Infrared Spectroscopy for Classification Task in Brain-Computer Interface System[J]. Frontiers in Psychology, 2022, 13.

链接：https://www.frontiersin.org/articles/10.3389/fpsyg.2022.833007/full

仅用于学术交流，不用于商业行为，若有侵权及疑问，请后台留言，管理员即时删侵！

更多阅读

高小榕教授等人：脑机接口技术发展新趋势

—基于2019—2020年研究进展

10-20国际标准导联系统

多动态模型揭示了时变静息功能磁共振成像的强相关性

陶虎：治病救人是脑机接口技术研发的第一要务

国内多所单位联合推出的基于SSVEP可穿戴BCI开放数据集

脑机接口、开源和民主化增强意识的未来

基于脑电的深度学习失眠障碍检测算法

加入社群