鱼缸和鱼对人的身心健康有积极的作用。鱼缸具有舒缓作用,观察鱼类会产生放松效果,且会吸引人的注意力。此外,鱼缸也是中国家庭常见的观赏设备,构造比较简单、成本也不高。本文研发了一种基于真实鱼缸的混合现实(Mixed Reality,MR)系统,将真实的鱼缸环境与虚拟的水下世界有效融合,提供一个有趣的混合现实环境,用于开发儿童英语学习、孤独症谱系障碍(ASD,原称自闭症)儿童的认知康复训练等应用系统。本文研发的MR鱼缸系统,在真实鱼缸后侧的玻璃中间固化有液晶调光膜,用作投影幕布,投影画面可投在上面与真实鱼缸内的场景融合。而在鱼缸前面的玻璃上则嵌有红外触摸框,将鱼缸表面变身为触控交互面板。在MR鱼缸系统的实际应用中,如ASD儿童的认知康复训练的实际应用中,我们发现,由于玻璃和水的折射影响,投影在液晶调光膜的内容在到达人眼时会产生位置的“漂移”,导致不同用户在鱼缸前的不同位置进行触控交互时,存在“所触非所见”的现象,即产生触控交互不准的问题。此外,鱼缸内真实鱼类的来回游动,对虚拟场景造成一定的遮挡,使用户无法有效地获取虚拟场景信息。为此,本文研究了混合现实鱼缸系统及其交互技术。归纳的,本文的主要工作和贡献概括如下:1.研发了一种基于真实鱼缸的混合现实系统。其通过投影显示技术将丰富的海洋世界和真实鱼缸环境融合在一起,为用户提供了一个具有真实感和趣味性的混合现实环境。该系统集成了多点触控和语音交互技术,可为用户提供自然、简单的交互方式。2.提出了一种非立体显示环境下的MR鱼缸的精确触控交互技术。其针对在非立体显示环境下,用户使用MR鱼缸界面时产生的触摸偏移问题,在给出利用光折射原理和聚类方法的两种触摸偏移补偿方法的基础上,提出一种基于光折射和聚类的触摸偏移补偿方法。实验结果表明,该方法可有效地补偿用户在鱼缸界面上的触摸交互,提高用户触摸准确度。3.针对鱼缸的真实环境,考虑虚实遮挡、光折射偏移等问题,提出了一种立体显示环境下MR鱼缸界面生成技术,实现了 MR鱼缸内容的虚实融合,生成的立体画面更生动、真实,为用户提供一种具有真实感的混合现实体验。该技术可通过对鱼缸内真实鱼类进行实时的检测,获取其坐标位置,再利用光折射方法实时补偿折射对其位置的影响。在此位置信息的基础上,采用立体渲染方法,实时地在真实鱼缸内显示真鱼标签,并实现虚拟鱼与真鱼等实物的碰撞检测和规避。另外,解决了真鱼对虚拟场景的遮挡问题,使用户能够有效获取场景信息。