课题研究主要针对医学影像融合技术,因为任何疾病的成功诊断、图像检索、手术治疗、肿瘤鉴别等都取决于从医学成像获取的图像的准确性。完成了几种方案和算法,许多提出用于图像融合,但是不可能设计一种对所有图像融合任务有效的固定通用方法。图像分析主要应用在显微成像、计算机视觉、图案识别、卫星遥感等领域,而医学成像技术作为其应用之一在过去二十年中已经引起了人们极大的关注。医学成像技术被认为是如医疗诊断、健康监测设备和若干药物评估等不同医疗保健应用的关键工具之一。除此之外一些具有特定用途的生物医学成像方式,可供医生尤其是放射科医生描绘活体器官和组织的内部结构信息。医学成像模式主要分为结构模式和功能模式两类。超声、计算机断层扫描（CT）和磁共振成像（MRI）通常提供结构信息,因此属于结构模式;而正电子发射断层扫描（PET）、单光子发射计算机断层扫描（SPECT）和MRI功能成像（f MRI）则归类功能模式为,因为它们提供关于功能性器官和组织的信息。因此每个模式都有自己的优点和缺点,没有一个成像模式能提供良好的对比度和高分辨率的图像。同样也不可能从任何单一医疗模式获得具有完整且准确信息的图像。例如,CT可以清楚地反映骨骼结构的信息,但是它不能指出软组织,而MRI给出了关于病理性软组织的细节信息,但是不能提供关于骨骼的任何信息。同样,PET和SPECT更好地提供了关于功能组织的信息,例如静脉中的血流等,但具有非常低的空间分辨率。因此需要创建一个能够提取重要特征并将其集成到单个图像中的有效方案。而多模式医学图像融合被认为是一个具有挑战性的解决方案,其目的是将来自多个模态图像的信息组合以实现完整、更精确的相同图像。得到的融合图像不仅有助于诊断,而且还降低了存储成本,因为保存一个图像而不是几个不同类型的图像是更好的选择。医学成像的研究中,研究人员最具挑战性的任务是在不会丢失任何信息的前提下融合源图像。由于对从多个多模态图像获得的互补数据进行融合的更精确算法的需求的增加,许多图像融合方案已经广泛应用。根据有价值信息的提取,这些方案可以广泛地分为四个层次,分别为信号级别、像素级别、特征级别和决策级别。在信号级别下,融合通常在两个或多个输入信号之间,融合结果也是一个信号,但存在所有输入的特性。我们知道信号是单变量函数,可以从不同的传感器获得并建模为随机变量,来估计输出的复信号。在像素级别,图像融合意味着以最小的工作程度融合,并参考计算出的实际参数的集成。它利用了任何事件共同注册的栅格信息,通常是地址编码。地址编码执行重要的角色,因为错误注册导致多感觉信息集,例如将会误导理解的特征或人造色彩。它首先集成了图像信息的重采样,以映射投影的典型像素间距,最后考虑地址编码。在特征层面,融合程度提取了许多信息源中已确认的因素,例如使用分割程序。特征涉及从底层图像中提取的属性,这些属性取决于它们的状态,例如角度、形状和邻域。将来自各种来源的这些比较对象（例如区域）彼此分配,并且之后融合用于统计方法或人工神经网络（ANN）的进一步评估。通常医学图像融合采用像素级融合,这是由像素级融合的若干优点决定的。它主要关注输入图像的视觉信息,包含实际测量的数量,且非常容易实现,并显示计算效率。像素级融合也可以在空间域和变换域中完成。空间域融合技术使用局部空间特征,如梯度或空间频率,可能是源图像的标准偏差。在变换域中,源图像被分解为有意义的系数,以便检测显著特征,例如图像的锐度和边缘。近年来最有代表性的变换域融合技术是基于多分辨率分析（MRA）。不同种类的多分辨率变换已经提出并实现,例如金字塔分解、离散小波变换（DWT）、双树复小波变换（DTCWT）、曲线变换（CVT）、轮廓变换（CT）和非子采样轮廓变换（NSCT）。已有方案的关键思想是,在第一步中,这些（MRA）变换分别应用于源图像。在第二步中,图像融合规则被应用于构建图像的组合多标量表示。在最后一步中,应用逆MRA变换来重建所需的融合图像。在视觉感知和识别的情况下,人眼通常对检测边缘特征非常敏感,因此边缘检测在医学图像中非常重要。为了获得更好的融合结果,一些基于计算知识的图像融合规则已经实现,并且可以有效地保留源图像的边缘。这些规则通常基于模糊逻辑、神经网络和神经-模糊逻辑。许多研究人员,特别是放射科医师和神经学家已经证明,与其他方法相比通过这些规则获得的结果更好。首先整个人体由几种类型的细胞和组织组成。脑是一种非常专门且敏感的人体器官。“脑瘤”是对人类极度有害的疾病之一。实际上,脑瘤是由脑内或脑周围的组织不规则生长组成的颅内组织块。在几种成像模式中,可以通过MRI图像检测脑肿瘤。然而,MRI图像在软组织中提供更好的结果,但是不能检测硬组织,并且它们具有非常低的对比度和分辨率。因此通过应用一些图像处理和分析工具,例如将图像增强和其他形态的图像融合等用于医学图像处理,以提高这些图像的质量和分辨率。利用不同的对比度调整,强度色调饱和度（IHS）和阈值技术来强调不同的特征。肿瘤患者的MRI和CT扫描获得的图像会显示出一些具有高强度的区域。通常由于低对比度和分辨率,不能在这些图像上精确地定义具有正常组织的肿瘤的边缘和边缘,因此放射科医师难以清晰分辨肿瘤。因此,本研究的目的和关键是探究能够提供高品质融合图像的医学图像融合方案。为了课题目标,论文中首先介绍一些最近的技术。在基于知识、模糊逻辑和神经网络等的空间域像素级融合中,直接应用于通常抗噪性能好,但不能很好地检测内部特征。为了从给定的源图像中检测或提取各种特征,通过小波融合、曲线图和其他一些变换,在避免物体边缘的不连续性方面较好,但是没有检测到边缘的平滑度。因此,这些变换具有有限的方向信息,并具有高空间分辨率和极低的谱信息。在本研究中,课题提出并提出了一种用于基于轮廓波变换（Contourlet transform）和模糊推理的多模态医学图像（例如计算机断层扫描（CT）,其给出诸如骨骼的硬组织的解剖结构,以及能显示软组织,器官和血管的解剖结构的磁共振成像（MRI））融合算法。在应用Contourlet变换之前,两个源图像都必须正确注册是非常重要的,因为图像注册是用于匹配两个或更多图像的图像融合中的基本任务。这些图像可以在不同的时间,不同的传感器,或从不同的角度或视点来拍摄。通常,评估图像融合任务的所有系统都需要图像的注册,并且它被认为是紧密相关的操作或中间步骤。相同场景的大多数图像都是通过不同的传感器拍摄的,这种图像会发生不对准、旋转、缩放和其他几何变换的问题。几乎所有这些问题都是由于传感器几何布置、传感器空间位置设置、传感器分辨率、传感器的特定时间捕获率以及检测组件的自然错位等各种原因造成的。在将图像融合算法应用于输入图像之前,利用图像配准来确保整个输入图像的像素之间对应的正确对准。它是关于图像的正确几何布置,使得两个图像的相关像素或局部区域完美地映射到被成像的相似区域。注册是非常重要的,以便匹配、比较和整合从各种来源获得的信息和数据。几乎很多注册过程包括以下四个步骤:特征检测物理上或理想地因此识别出明显的物体（闭合边界区域,边缘,形状,交叉点,拐角等）。进一步的处理,所提及的功能可以通过其目的表现（如重心,线尾和特征点）来表征。这些表现在图像分析文献中称为控制点（CP）。功能匹配此步骤将建立被测图像中识别的特征与目标图像中的特征之间的相关性。这一过程可以利用不同的特征描述符和可比性测量以及元素之间的空间连接。变换模型估计评估将检测到的图像调整到目标图像的假定映射函数的种类和参数。映射目标的假定参数通过建立的高亮对应的方法进行处理。图像重采样和变换根据映射函数对检测到的图像进行变换,通过合适的内插技术计算非整数位置的图像度。在选择注册的源图像之后,下一步是分别对每个图像应用Contourlet变换,以便将它们分解成高频带和低频带。Contourlet变换的概念是通过首先应用多尺度变换来获得局部自然图像的稀疏展开,并伴随着定向变换,以将相邻基函数收集到相同尺度的线性结构中。简单来说,这里首先使用小波变换来检测边缘,然后用于轮廓段的检测,考虑局部方向变换。最后一步非常类似于用于线检测的计算机视觉中的霍夫变换。使用这种感知,他们提出了一个双滤波器组结构,以获得具有平滑轮廓的常规图像的稀疏扩展。该双重滤波器组由拉普拉斯金字塔组成,其首先被施加在图像上以捕获点不连续性,然后使用方向滤波器组来将点不连续性相关联成线性形状。拉普拉斯金字塔基本上代表多尺度数据,这是一个很有力的说法。因为它以这样的方式捕获数据,即每个级别对应于降低分辨率的近似。Burt和Adelson为图像编码提出了多尺度分解的最基本且最好的例子是拉普拉斯金字塔（LP）。根据Burt和Adelson的理论,每一步的LP分解产生输入图像的下采样低通版本,原始图像与其预测之间的差异产生带通图像。这里最初输入图像“x”被滤波器H低通滤波,之后它被下采样以产生粗近似c,然后被内插并通过名为G的合成滤波器。从G获得的最终得到的图像是从输入图像“x”中减去获得带通图像“d”。这种方法可以在图像的较粗糙的版本c上多次迭代。由于我们知道在原始的拉普拉斯金字塔重建方案中,通过将粗差信号的预测值加上差值来获得信号。因此,M.N.Do和M.Vetterli提出了新方法,用于轮廓变换,与原始重建方法相比,新方法在噪声存在下更有效率。这里的定理证明,具有正交滤波器的LP提供了一个紧密的框架,框架边界等于1。正交滤波器意味着分析和合成滤波器是时间反转,表示为h[n]=h[-n],并且h[n]参考采样点与M的平移正交。对于这种情况,他们还提出了采用双帧算子（或伪逆）的最优线性重构。这个新的介词与与局部不同,后者只是简单地添加了从粗略预测的不同信号。此外与噪声存在的正常重建相比,这种方法有着相当大的改善。在数字信号处理中,滤波器组（FB）是非常强大而实用的工具。他们在实践和理论方面发挥着非常重要的作用。例如,它们在理论方面产生了分解和分析离散时间信号的非常强大和结构化的方法,因为在连续域中,特定的结构可以导致多分辨率成分,基本的例子是小波。而对于FB及其相关的基础结构的广泛研究已经在一维的情况下进行,但在多方向的情况下存在局限性。1992年,Bamberger和Smith引入了一个二维方向滤波器组（DFB）,可以在完全重构的同时最大程度地消除它们。方向滤波器组通过一级（树结构）分解有效地实现,其导致具有楔形频率段的2个子带。本地DFB的主要缺点是获得特定频率部分,需采用非常复杂的树型扩展规则来实现更好的方向子带。因此对于轮廓变换,M.N.Do和M.Vetterli还提出了一种新的简化实现DFB,它与Bamberger和Smith提出的DFB几乎相反。新提出的DFB使用非常简单的扩展规则,并且可以防止输入图像的调制。它主要由两个阶段组成。第一阶段它使用具有扇形滤波器的两个通道QFB,分别将二维谱分解成水平和垂直方向。对于一级轮廓变换的给定注册源图像,在不同的方向和各种尺度上被分解成一个低通和几个高通子带。低通带是输入给定输入图像的近似值,其中高通子带是细节系数。该过程可以在低通子带上迭代,直到达到最粗的水平。课题已经实现了低频子带（LFS）的基于决策的融合规则。LFS近似系数通常被认为是给定输入图像的平均强度值,因为在分解期间,所有显着特征都被各种尺度的细节系数子带封装。因此,使用这样的规则是非常重要的,这些规则可以维持和保持融合图像的适宜平均强度,具有显着特征,且损失可忽略。许多研究者采用的最简单方法是将LFS的常规平均值用于产生融合的LFS系数。但是在融合医学图像时,可能会隐藏一些信息。课题基于系数的轮廓域中的局部能量提出了LFS的融合方法。可以在显着因素的基础上使用两种不同的组合,分别为系数选择方法和加权平均,称之为M因子。该决定完全基于可与门槛值进行比较的M因子。主要的是显著因素在近似系数的融合中起关键作用。它确定是否使用加权平均模式或选择模式。所以我们有两个条件:一个是如果M因子小于某个阈值,这意味着在这个位置的地方能量是完全不同的。所以选择模式被激活,如果能量很大,系数的选择完全依赖于局部能量,选择第一图像的系数即CT,另一个被丢弃。类似地,如果局部能量小于选择MRI图像的系数。另一个条件是如果M因子大于给定的阈值,这意味着源系数非常相似。因此在这种情况下,平均模式被激活,这意味着可以从输入图像的轮廓系数两者获得信息。该模式的基本优点是噪声可以从输入图像减少到一定程度。任何多分辨率方案的高频子带（HFS）系数被认为是非常重要的,因为它代表源图像的显著特征。这里我们应用了轮廓变换,因此HFS系数可以表示对象的轮廓、边、线和边界。图像分辨率和对比度完全取决于系数的绝对值。根据轮廓变换的实现,拉普拉斯金字塔滤波的高频图像可以通过任意2^l方向的方向滤波器组分解。我们考虑在j^th尺度上存在l^j个指令子带,按照这个比例,高通子带的大小是（?）。在轮廓子带的形状取决于方向参数标度（?）的情况下,形状可以是矩形或正方形是轮廓子带的所需形状。但是在DFB低通图像之前的水平是27)?×27)?的尺度成长为正方形。以类似的方式创建树结构,并且在树结构中,高通带的一个级中的单个系数对应于几个不同数量的低通带,其可以被称为母系数。系数的局部能量代表了考虑这些突出特征的关键用途决策原理。然而众所周知,给定源图像的每个轮廓系数参与所需融合图像的程度是不确定的,因此如何融合相应的系数是轮廓变换域中非常重要的问题。我们提出的技术基于[56]中解释的用于HFS系数的融合的概念,即[（?）]。这里的基本假设是“如果在任何一点的细节频率系数的能量在同一点上都很大,其信息熵必须很大”。因此这意味着所需融合系数的组成在两个关系之间。因此,对于第j^th个尺度和第k^th个方向的b_j,k^HF,A的HF子带中的每一个系数“w”,我们创建了模糊隶属函数"μ₀（w）"说明“信息熵细节频率系数大”的关系;"μ1（w）"说明“细节频率系数的能量大”。对于HFS中的每个像素的能量和熵来实现模糊规则,因此根据输入利用模糊规则确定相应的输出权重。最后,我们将逆轮廓变换应用于LFS和HFS系数,以获得所需的融合图像。一般来说,融合性能主要通过使用随机“主观评价”进行评估,并且如果需要,也可以通过“客观评价”进行评估,以便将结果与其他融合方案进行比较。在图像融合系统的许多应用中,融合图像的质量和性能评估传统上是通过视觉分析完成的。这里的视觉分析是指人的参与,以检查和判断融合图像的质量。视觉分析在医学图像融合中起着非常重要的作用,因为通常医学专家和放射科医师正在设法检查异常组织,并尝试以视觉方式检测肿瘤的大小,边缘和边缘。因此从实验结果可以看出,在我们提出的技术融合图像中存在最大数量的显着特征和详细信息,与其他图像相比。这主要是因为轮廓变换分解具有局部化,各向异性和多尺度方向性优于其他局部变换的优点。其中良好的对比度和高分辨率是由于像素级模糊融合规则。我们不能反驳的是,“人类视觉评估”在探索融合图像的真实特征和特征方面非常重要,但人类的视觉依赖于心理视觉因素,因此很难放置,用于检查所提出技术性能的标准。因此我们已经突出了一些客观参数来检查融合图像的质量。与主观评价不同,用不同的数学方程和算法计算得到的融合图像的客观评价。根据客观评价,图像质量评估（IQA）可以分为两类,一种是标准质量矩阵,例如峰值信噪比（PSNR）,相互信息（MI）熵（H）和归一化交叉通常用于显示融合图像的提取特征的相关（NCC）,其中另一种类型的IQA通常将特征形成源与融合图像,因此应该使用两个图像。因此对主观和客观参数进行了分析,并与不同的技术进行了比较,表明提供的方案是有效的,且具有更好的融合性能。