消化道疾病是人体内发病率仅次于呼吸道疾病的第二大疾病类,消化道的医学检查非常重要。传统的钡餐、胃镜、结肠镜以及B超等消化道图像采集方法都存在不安全、不舒适、检查部位不全面和图像不清晰等缺陷。胶囊内镜(WCE)是一种长约25mm,直径约11mm的消化道内窥镜,患者口服胶囊内镜之后,其能在消化道自然蠕动下拍摄消化道图像。WCE的优势非常明显,即图像采集过程不适感极低、图像清晰以及拍摄部位全面等。因此本文选择WCE作为消化道图像采集的工具。但是WCE存在两个缺陷,(1)WCE图像虽然是序列图像,但是对某一幅带有病灶的图像进行定位有很大难度;(2)一个病人产生的WCE图像达7万幅以上,并且其中有几百至几千幅图像存在高亮或低亮区域,病灶图像也只有几十至几百幅图,专业医生需要通过2.5小时以上的仔细审阅才能找出病灶。上述两个缺陷使得WCE审阅效率不高,增加了其人工成本。针对上述缺陷,本文做了相关研究如下:(1)定位一幅图像所在空间位置需要用到WCE旋转角度、速度和位移等运动参数,为此进行了WCE运动时旋转角度的计算,为WCE定位提供角度信息。该计算首先对图像中值滤波处理,以增强算法鲁棒性。之后将图像局部灰度方差最大的点作为第一幅图像的特征点,通过图像相关性寻找第二幅图对应特征点,建立旋转矩阵并通过奇异值分解法复原旋转矩阵,得到图像绕前进方向的旋转角度。实验表明该方法对10°以内旋转角计算的误差在0-0.15°,能够有效计算旋转角。(2)针对图像高亮区域影响诊断的问题,分析了高亮区域形成的原因和高亮区域的边缘梯度、颜色强度和面积占比后,发现高亮区域对于计算机辅助诊断有较大影响,因此提出了一种两阶段分割和镜像替换的高亮修正方法。第一阶段采用基于自适应阈值方法分割出较强的高亮区域,第二阶段采用基于邻域与差分的非线性模型分割出较弱的高亮区域,将两次分割结果按规则融合后,用镜像替换的方法来填充高亮区域。实验表明该修正方法能够很好的修正大部分高亮区域。(3)针对低亮区域影响辅助诊断的问题,设计了低亮区域修正方法。首先分离RGB三通道,将各通道直方图分割为黑色区域D、低亮区域L和正常区域H,之后拉伸L和H至新的灰度范围以提升整体亮度,再对其应用直方图均衡,最后调整整幅图的平均强度。实验表明该方法能够有效提升图像低亮区域细节。(4)为了使深度学习模型能够更好的提取不同种类特征,对WCE图像做了颜色、形状和纹理特征的增强。分析RGB通道直方图、均值和标准差后,发现R和G通道包含了更多的图像差异信息,因此将R和G组合为一个通道,作为颜色特征增强的通道。将Log变换和直方图均衡化后的通道分别作为形状特征和纹理特征增强的通道。实验表明,将上述三通道输入深度学习模型,比传统RGB通道输入的识别准确率高2.14%,效果显著。(5)设计了基于深度学习的WCE辅助诊断模型,该模型由三个相同神经网络子模型和一个Bagging融合模型组成。每个子模型包含5层卷积层和池化层,每个卷积层之后均进行归一化。经过最终池化层后,输出一维向量。运用Bagging将三个模型输出进行融合与识别。将经过上述图像处理后的三个通道输入模型训练与识别,实验结果表明,本文方法准确率为96.89%,AUC值为0.99,特异度为98.55%,灵敏度为96.51%,识别速率达到58.6图/秒,能够推广应用到实际医疗辅助诊断中,减轻医生工作量。