论文部分内容阅读
目的:在中医诊断学智能化大发展的背景下,本研究以获取对舌图像中舌体目标区域自动、高精提取方法为目标,运用包括深度学习技术在内的多种图像识别方法开展舌体分割模型研究。为进一步验证所构建舌体分割模型的应用价值,本研究以分割后舌象为数据基础构建分析网络,通过血压均值预测实验探索基于深度学习技术的舌象临床研究方法及应用价值。方法:(1)舌体分割模型研究:舌象数据采集自成都中医药大学附属医院体检中心,使用TFDA-1舌面诊仪于2018年9月开始对符合纳入标准的受试者进行舌象数据采集后的原始图像使用Labelme软件进行标注。结束采集后通过Excel软件按样本编号对数据进行80%(训练集)、20%(测试集)随机分配。本研究采用UNet、Deeplab V3两种深度学习技术和动态轮廓(Snake)、颜色分解与阈值化模型(CDT)两种传统图像识别方法对图片中舌体区域进行分割。针对UNet与Deep Lab V3两种深度学习模型,利用训练集数据对模型进行训练,再使用测试集数据做分割测试;动态轮廓(Snake)与颜色分解与阈值化(CDT)模型则使用测试集数据进行分割测试。最后,对四种模型的分割结果使用平均交并比(MIo U)与像素精确度(PA)进行评价。(2)舌象智能化应用研究舌象数据采集自成都中医药大学附属医院内分泌科,使用TFDA-1舌面诊仪于2018年9月开始对符合纳入标准的受试者进行舌象数据采集后的原始图像使用Labelme软件进行标注。结束采集后通过Excel软件按样本编号对数据进行80%(训练集)、20%(测试集)随机分配。所拍摄舌象图片首先使用UNet模型进行舌区域分割并通过Res Net网络提取舌象特征为1*2048的向量;将血压数据扩充为1*2048的数据向量并与Res Net提取的舌象特征使用1*1的卷积操作对两种数据进行卷积融合,获得二者融合数据。以舌象拍摄当日血压(收缩压/舒张压)数据、舌象数据和二者融合数据作为三种自变量,通过迭代决策树(GBRT)、支持向量回归(SVR)、Adaboost、随机森林(RF)4种机器学习算法对未来6日血压(收缩压/舒张压)均值进行回归建模并利用测试集数据对各模型进行测试,测试结果以平均绝对误差(MAE)进行评价。结果:1.舌体分割模型研究:至2019年10月共采集研究所需合格样本2048例,分为训练集1638例与测试集410例。四种舌体分割模型测试结果以平均交并比(MIo U)、像素精确度(PA)进行评价,具体如下:(1)UNet模型测试结果MIo U为91.05%,PA为93.31%(2)Deep Lab V3模型测试结果MIo U为88.35%,PA为84.16%(3)Snake模型测试结果MIo U为76.64%,PA为76.26%(4)CDT模型测试结果MIo U为69.21%,PA为65.42%2.舌象智能化应用研究至2019年11月共采集研究所需合格样本325例,分为训练集260例与测试集65例。实验结果使用平均绝对误差(MAE)进行预测精度评价,具体如下:(1)以当日收缩压数据对未来6日收缩压均值预测误差(MAE)为:SVR为7.31mm Hg,RF为6.54 mm Hg,Adaboost为5.91 mm Hg,GBRT为6.25 mm Hg;以当日舒张压数据对未来6舒张压均值预测:SVR为7.10 mm Hg,RF为8.61 mm Hg,Adaboost为4.43 mm Hg,GBRT为6.17 mm Hg。(2)以舌象数据对未来6日收缩压均值预测误差(MAE)为:SVR为15.41mm Hg,RF为10.39 mm Hg,Adaboost为10.22 mm Hg,GBRT为9.61 mm Hg;以舌象数据对未来6日舒张压均值预测误差(MAE)为:SVR为18.03 mm Hg,RF为13.91 mm Hg,Adaboost为11.87mm Hg,GBRT为15.73 mm Hg。(3)以舌象与当日收缩压融合数据对未来6日收缩压均值预测误差(MAE)为:SVR为7.06mm Hg,RF为5.49 mm Hg,Adaboost为5.54 mm Hg,GBRT为9.61 mm Hg;以舌象与当日舒张压融合数据对未来6日舒张压均值预测误差(MAE)为:SVR为6.32 mm Hg,RF为8.54 mm Hg,Adaboost为4.02mm Hg,GBRT为5.91 mm Hg。结论:(1)深度学习技术相较于传统图像识别方法可更精准完成舌体分割任务,有利于中医舌象的自动化识别。(2)本研究所训练的UNet卷积神经网络模型可有效提高舌体分割精度,通过该模型可实现对舌体目标区域的全自动高精准分割。(3)UNet舌体分割模型联合Res Net网络可实现对舌象特征的自动提取,提取后的特征结合机器学习建模可用于探索舌象与临床数据间的复杂层级数学隐含关联。(4)舌象叠加当日血压相较单独使用当日血压数据能够提高预测精度,提示舌象对提升预测精度的贡献,以及数据融合是挖掘中医舌象临床价值的重要途径。