论文部分内容阅读
脑机接口可以为大脑和机器之间提供直接的信息交互通道,简单来讲,就是使用户通过意念控制外部设备,在生物、医疗和工程等领域都有着极广泛的应用场景。脑电图是脑机接口最常用的输入,通过在用户的头皮表面放置电极来采集脑电信号,然后基于算法模型从脑电信号中识别大脑的活动模式,从而读取大脑“意图”并转化为外部设备的控制命令。
但是,由于个体差异,即不同用户对相同的刺激会产生不同的神经反应,所以很难建立一个适用于所有用户的通用算法模型。因此,对每个新用户,在使用前通常都需要经过一段长时间的校准来采集标注数据,这在用户体验上不友好。迁移学习研究相邻领域间知识的迁移和复用,被用来解决这个问题。应用迁移学习可以弥补辅助用户(源用户)与新用户(目标用户)之间数据或者模型的差异,使得源用户的标注数据或者模型也可以用于目标用户,从而减少甚至消除目标用户的校准时间。
本文对脑机接口中的迁移学习方法进行了研究,由浅入深,由算法到数据,由简单场景到复杂场景,提出了几种迁移学习方法。首先考虑同构迁移学习场景,本文先提出一种结合迁移学习与空域滤波的算法,可以用于传统算法框架;然后提出两种优化方法,可以用于黎曼几何算法框架;再提出一种针对脑电数据的迁移学习方法,可以用于不同的算法和模型。最后考虑异构迁移学习场景,针对异构类别空间问题提出一种类别对齐的方法,不但可以用于不同的算法和模型,还可以与其它迁移学习方法结合使用。取得的主要成果如下:
1.针对空域滤波算法里最常用的共同空间模式,提出一种结合迁移学习与共同空间模式的方法。具体有两种实现方式,分别以原始脑电信号和协方差矩阵的切空间向量为特征,通过对样本特征加权以减少分布差异;再用源用户的加权样本协方差矩阵帮助目标用户建立空域滤波器,加强目标用户标注样本较少时的滤波效果,实验显示该方法可以提升算法9.34%的性能,优于其它数种相关迁移学习方法。
2.针对黎曼空间中的迁移学习方法,提出两种优化方法:方法一是通过选择脑电通道来减少样本协方差矩阵的维度,从而提高黎曼空间中矩阵计算的效率和准确度;方法二是基于样本协方差矩阵之间的黎曼距离进行聚类,挑选出位于目标用户高密度区域的源用户样本。实验表明这两种优化方法都能加强算法的性能,其中方法一能在平均分类正确率方面提升15.39%,并在计算效率上提升约30倍,而在此基础上使用方法二能进一步在分类正确率上提升2.71%至4.54%。
3.针对脑电多通道时序信号,提出一种无监督的数据对齐方法。以用户的平均协方差矩阵作为参考矩阵,基于仿射不变性对用户进行映射,使得映射后的样本协方差矩阵以单位矩阵为中心。通过对不同用户分别映射,其样本协方差矩阵的分布得以对齐。实验显示该方法的效果显著优于现有最好的迁移学习方法之一,在运动想象数据集上的平均性能提升约11%,在P300数据集上的平均性能提升约9%。
4.针对异构类别空间的迁移学习场景,提出一种对齐异构类别空间的方法。首先为每一个源用户类别设置一个匹配的目标用户类别;然后基于仿射不变性,将源用户每个类别的样本映射到目标用户的匹配类别所在区域,并根据匹配规则更新源用户样本的标签。实验表明,该方法在多种异构类别空间场景下均有效,显著优于未进行对齐的方法,且可以与多种其它迁移学习算法结合使用来进一步提升效果。
综上,本文从不同角度提出了新的迁移学习方法,以实现脑机接口中不同用户、不同设备、不同任务之间的迁移。实验表明,上述方法不仅能够显著地提高算法的分类效果,而且非常高效。这些方法能够减少脑机接口中新用户的校准,提高脑机接口的实用性。
但是,由于个体差异,即不同用户对相同的刺激会产生不同的神经反应,所以很难建立一个适用于所有用户的通用算法模型。因此,对每个新用户,在使用前通常都需要经过一段长时间的校准来采集标注数据,这在用户体验上不友好。迁移学习研究相邻领域间知识的迁移和复用,被用来解决这个问题。应用迁移学习可以弥补辅助用户(源用户)与新用户(目标用户)之间数据或者模型的差异,使得源用户的标注数据或者模型也可以用于目标用户,从而减少甚至消除目标用户的校准时间。
本文对脑机接口中的迁移学习方法进行了研究,由浅入深,由算法到数据,由简单场景到复杂场景,提出了几种迁移学习方法。首先考虑同构迁移学习场景,本文先提出一种结合迁移学习与空域滤波的算法,可以用于传统算法框架;然后提出两种优化方法,可以用于黎曼几何算法框架;再提出一种针对脑电数据的迁移学习方法,可以用于不同的算法和模型。最后考虑异构迁移学习场景,针对异构类别空间问题提出一种类别对齐的方法,不但可以用于不同的算法和模型,还可以与其它迁移学习方法结合使用。取得的主要成果如下:
1.针对空域滤波算法里最常用的共同空间模式,提出一种结合迁移学习与共同空间模式的方法。具体有两种实现方式,分别以原始脑电信号和协方差矩阵的切空间向量为特征,通过对样本特征加权以减少分布差异;再用源用户的加权样本协方差矩阵帮助目标用户建立空域滤波器,加强目标用户标注样本较少时的滤波效果,实验显示该方法可以提升算法9.34%的性能,优于其它数种相关迁移学习方法。
2.针对黎曼空间中的迁移学习方法,提出两种优化方法:方法一是通过选择脑电通道来减少样本协方差矩阵的维度,从而提高黎曼空间中矩阵计算的效率和准确度;方法二是基于样本协方差矩阵之间的黎曼距离进行聚类,挑选出位于目标用户高密度区域的源用户样本。实验表明这两种优化方法都能加强算法的性能,其中方法一能在平均分类正确率方面提升15.39%,并在计算效率上提升约30倍,而在此基础上使用方法二能进一步在分类正确率上提升2.71%至4.54%。
3.针对脑电多通道时序信号,提出一种无监督的数据对齐方法。以用户的平均协方差矩阵作为参考矩阵,基于仿射不变性对用户进行映射,使得映射后的样本协方差矩阵以单位矩阵为中心。通过对不同用户分别映射,其样本协方差矩阵的分布得以对齐。实验显示该方法的效果显著优于现有最好的迁移学习方法之一,在运动想象数据集上的平均性能提升约11%,在P300数据集上的平均性能提升约9%。
4.针对异构类别空间的迁移学习场景,提出一种对齐异构类别空间的方法。首先为每一个源用户类别设置一个匹配的目标用户类别;然后基于仿射不变性,将源用户每个类别的样本映射到目标用户的匹配类别所在区域,并根据匹配规则更新源用户样本的标签。实验表明,该方法在多种异构类别空间场景下均有效,显著优于未进行对齐的方法,且可以与多种其它迁移学习算法结合使用来进一步提升效果。
综上,本文从不同角度提出了新的迁移学习方法,以实现脑机接口中不同用户、不同设备、不同任务之间的迁移。实验表明,上述方法不仅能够显著地提高算法的分类效果,而且非常高效。这些方法能够减少脑机接口中新用户的校准,提高脑机接口的实用性。