多模态视网膜成像可以为视网膜疾病的解读与评估提供多方位的信息,将不同模态图像提供的互补信息进行多模态融合可以辅助临床医生进行病情诊断及评估。本文利用图像处理和分析的方法来对视网膜病变图像进行多模态融合,主要包括以下研究内容:（1）提出一种基于频域光学相干断层成像技术（SD-OCT）和相干光断层扫描血管成像（OCTA）体数据的脉络膜新生血管（CNV）多模态融合算法,算法主要包括以下四个部分:预处理、SD-OCT图像处理、OCTA图像处理和图像融合。预处理过程中,首先构建一个三维的U型编码解码网络进行OCT图像视网膜层分割,然后基于层限制对多模态体数据进行投影得到双模态投影图,并对OCTA体数据进行伪影去除。SD-OCT图像处理过程中,结合CNV的病理特性和多模态信息将SD-OCT投影图中的血管及病变区域对比度进行增强。OCTA图像处理过程中,首先对OCTA投影图中的CNV病变区域进行检测,检测流程大体可分为两步:先通过自适应阈值法分别将双模态投影图二值化获得粗略的检测结果,再利用K-means聚类以及形态学处理对检测结果进行细化;获得区域检测结果之后再结合HSV色彩空间对病变区域内部的新生血管进行伪彩色处理。图像融合过程中,对处理过后的双模态投影图采用最大值融合策略进行融合。实验结果表明,本章提出的方法能够有效地融合多模态CNV数据中的互补信息,本算法的融合结果图能够更好地辅助临床诊断。（2）提出一种基于图像增强和字典学习的视网膜分支性静脉阻塞（BRVO）图像多模态融合算法,本算法主要包括三个部分:图像增强、字典构造以及图像融合。图像增强过程中,对彩色眼底图像（CFP）和荧光造影图像（FFA）采用基于标准差的局部对比度增强算法以提高病变区域对比度,并采用基于Frangi滤波的增强算法来增强OCTA图像中的血管。字典构造过程中,首先对增强后的图像进行多尺度下采样,随后通过滑动窗口将多尺度增强图像分块并拉成列向量,接着分别计算图像块的局部能量和以及多尺度空间频率作为亮度和梯度特征,随后分别以亮度和梯度特征作为聚类准则对图像块聚类,最后采用K-SVD算法进行训练生成亮度子字典和梯度子字典并将两个子字典合并。图像融合过程中,采用正交匹配追踪（OMP）算法计算稀疏表示系数,采取绝对值最大的融合策略将稀疏系数进行融合,并借助反滑动窗口技术重构得到融合结果图像。实验结果表明,本章提出的方法能够将多模态BRVO图像中的有效信息进行融合并增强显示。