神经外科手术是治疗各种脑部疾病最直接有效的方法,但同时也是难度最大的术种之一。它要求医生不仅能够准确切除病灶,还要避免对周围神经、血管等正常组织造成损伤,神经外科手术的成功与否很大程度上取决于术前入路计划的准确性和术中病灶定位的精确性。神经导航系统(Image Guided Neurosurgery System, IGNS)以病人术前扫描的影像数据建立图像引导空间,术中通过光学定位仪跟踪手术器械并将它显示在术前图像上,医生通过观察图像上虚拟手术器械的位置来判断真实手术器械同病人之间的相对位置关系,从而帮助医生定位病灶位置并引导手术操作。IGNS系统通过术前准确计划手术入路和术中精确定位病灶,可以减小手术创伤、缩短手术时间以及提高手术质量,已逐渐成为微创神经外科手术中不可或缺的设备。虽然IGNS系统能够弥补传统神经外科手术方式的不足,但是现有导航系统都是将定位和引导信息显示在系统屏幕上,医生通过观察导航屏幕上的图像来进行手术操作。临床应用表明这种导航模式存在以下几个严重缺陷：①导航信息与手术场景相分离。术中,医生为了观察手术器械相对于病人解剖结构的位置,不得不在病人手术部位和导航屏幕之间来回切换视野,这不利于医生将注意力集中于病人头部进行手术,会干扰手术进程并加大导航定位误差。②导航信息不易理解。医生主要利用IGNS系统屏幕上显示的叠加了探针位置信息的断层图像来进行术中定位,而这些图像并不能很好地反映出病人当前体位,使得医生不能直观地理解真实手术场景中探针与实际病人解剖结构间的空间位置关系,造成IGNS系统的作用不能得到充分发挥。这些问题主要是由于现有IGNS系统虚实分离的导航模式引起的,为了解决这些问题,需要把虚拟信息同真实手术场景融合起来,其中最关键的是从虚拟图像中获取肿瘤等病灶的位置信息并将其融入到真实手术场景中。本文围绕上述问题展开研究,提出并建立了一种基于平板电脑的增强现实(Augmented Reality, AR)神经导航系统,简称AR-IGNS,它可以将肿瘤等虚拟信息同真实的手术场景相结合,并将导航信息显示在可移动的平板电脑屏幕上,在不需要医生切换视野的前提下辅助医生手术。新系统的成功实现依赖于基于平板电脑所建立的三种新的导航模式以及术前肿瘤图像的准确分割,具体研究内容如下：1、虚实信息结合下叠加图像导航模式。这是AR-IGNS系统最重要的导航模式,主要利用AR技术将术前分割的肿瘤等病灶信息直接叠加显示在平板电脑摄像机所拍摄的真实手术场景中。该导航模式主要通过空间配准、目标跟踪和摄像机标定三个过程将虚拟空间的图像信息变换到平板电脑屏幕上。首先,我们采用基于人工标记点的空间配准方法,通过奇异值分解法求解虚拟空间到现实空间的变换关系；其次,利用光学定位仪同时跟踪病人、平板电脑和手术器械,获得现实空间到平板电脑空间的变换关系；第三,利用世界坐标系到观察坐标系的变换及基于棋盘格模板的标定方法获得平板电脑空间到平板电脑屏幕的投影关系；最后,综合这三个变换,将虚拟空间中的图像变换到平板电脑屏幕空间,从而在术中将分割出的肿瘤表面等信息叠加到真实的手术场景中,帮助医生定位肿瘤位置。该导航模式在平板电脑上实现虚实叠加,有效地解决了传统导航系统中导航信息与手术场景相分离的问题。2、虚实信息结合下截面图像导航模式。这种模式利用AR技术将虚拟导航信息同真实手术环境相关联,主要根据平板电脑和真实病人之间的相对位置关系,实时生成平板电脑所在平面与病人相交的截面的图像,并将其显示在平板电脑屏幕上进行手术导航。具体地,首先将已分割出的病人肿瘤位置信息融合到原始数据当中；然后利用光学定位仪实时跟踪平板电脑在现实空间中的位置并将其变换到虚拟空间去,通过对虚拟空间中融合了肿瘤信息的扫描数据进行重采样,得到平板电脑平面与图像数据相交的截面图像；最后将断层图像通过无线网络传输技术传输到平板电脑上显示,从而辅助医生进行定位和导航。这种任意截面图像导航模式,将断层导航图像与现实手术场景直接联系起来,避免了医生在导航屏幕和手术区域进行大的视野切换,同时丰富了导航信息量并使导航定位信息更加容易理解。3、虚实信息结合下的投影图像导航模式。这种导航模式同样AR技术将虚拟导航信息同真实手术环境相关联,根据平板电脑相对于真实病人的位置信息,生成图像数据向平板电脑屏幕进行虚拟最大密度投影的图像,并将投影图像显示在平板电脑上进行手术导航。对于血管造影等成像方式,最大密度投影(Maximum Intensity Projection, MIP)图像可以清晰地显示颅内的血管信息,如果同时将其与病灶分割结果相结合,就可以显示血管同病灶之间的相对位置关系,为脑血管相关手术的顺利进行提供方便。通过对平板电脑位置的实时跟踪,当平板电脑的位置发生改变,其显示屏上也能实时显示相应位置处的投影图像。这种以平板电脑为可视化接口的MIP图像导航模式,改变了传统导航系统只能单纯在系统屏幕上显示MIP图像的问题,实现了虚拟导航信息与现实手术场景的融合。4、虚拟图像目标分割算法的研究。根据脑图像的特殊性和复杂性,我们将符合临床需求的交互式随机游走算法用于脑肿瘤的分割。医生只需在任意术前图像上简单选取肿瘤及非肿瘤区域的种子点,随机游走算法即可自动、精确地定位出肿瘤的边界。通过在上述三种导航模式中显示肿瘤的位置和边界,AR-IGNS系统可以更好地在术中指导医生切除肿瘤。综上所述,针对现有神经导航系统虚实分离的导航模式中存在的问题,本文提出了基于叠加图像、截面图像和投影图像的三种新的导航模式,以平板电脑为显示设备利用AR技术实现了虚拟导航信息与现实手术场景的融合。同时采用基于随机游走算法的交互式分割方法准确分割出脑肿瘤,从而在虚拟导航信息中直观准确地显示肿瘤的位置。新的导航模式可以使医生避免术中视野切换,并使导航信息更加容易理解,从而提高导航的精度和方便性,并确保医生集中精力在手术部位进行手术。我们对三种导航模式分别进行了颅骨标本试验和真实病例的临床试验,验证了导航信息的准确性和各种导航模式的临床适用性。本文相关研究结果作为第一作者投稿SCI论文2篇,其中1篇已经发表,1篇修回。另外,还发表国内核心论文一篇,申请发明专利2项。本文建立的系统在第十五届中国国际工业博览会获得高校展区优秀展品奖。