毫米波雷达因其无需穿戴、不依赖光线、不泄露隐私且感知精度高的特点,被广泛应用于手语识别,这不仅能够打破听障语障群体在社会公共生活中的沟通障碍,而且可以辅助家庭智能生活交互。传统手语识别系统在面临环境变化、用户位置变化以及用户动作偏差（目标域）时识别性能不佳。现有无线感知技术解决此类问题时需要进行大规模数据采集或是从较多设备部署中提取与域变化无关的识别特征,这会带来很大的数据采集、标记成本和计算成本。本文针对在源域训练样本有限的情况下,如何利用单套毫米波设备提升系统在目标域的识别率和鲁棒性问题进行探索,设计并实现一种基于毫米波信号的跨域手语识别系统mm Sign,其主要研究内容如下:1)针对环境变化导致系统跨环境域识别性能下降的问题,本文从毫米波信号中提取到与环境无关的动态速度信息（Dynamic Velocity Information,DVI）和动态距离信息（Dynamic Range Information,DRI）特征,实现零成本的跨环境域识别系统。针对位置变化导致系统跨位置域识别性能下降的问题,本文充分利用DVI和DRI的时空特性,通过数据增强构造出不同位置域的数据,代替在目标位置域采集到的训练数据,降低mm Sign系统在跨位置域识别的数据采集代价。2)针对不同用户的动作偏差导致系统跨用户域识别性能不佳的问题,本文基于伪标签技术构建了一个域适应神经网络DANet（Domain Adaptation Network）。其核心思想是通过有标签的源域数据和带有伪标签的目标域数据联合训练网络,使DANet学习源域到目标域样本的映射关系,减小域之间数据分布差异对识别系统性能的影响,最终提高系统在目标用户域的识别性能。本文在2个不同环境、5个不同目标位置,对10位用户、20个手语手势进行了毫米波数据采集和识别。所提出的mm Sign系统在源域、跨环境域、跨位置域和跨用户域的平均识别率分别为99.16%、96.5%、91.16%（最高可达96.23%）和90.62%,这证明了mm Sign系统跨域识别的有效性和鲁棒性。