论文部分内容阅读
目的:本研究期望建立基于深度学习的舌象智能诊断技术,并推动临床舌诊应用,探索舌诊现代临床机制,研究舌诊在病证诊断中的价值,为以舌诊为核心的中医病证诊断体系提供技术支持。方法:（1）针对雾气、过曝、曝光不足、聚焦模糊、伸舌姿势异常、舌上异物等异常的舌象图像,运用深度残差网络卷积神经网络建立舌象图像质量分类（正常、异常两类）模型,实现将高质量的舌象图像质量控制。（2）运用Mask R-CNN网络模型,对舌象图像的边缘、自动分割,对舌体区域进行每一个像素进行精确分割,建立高质量的舌象图像区域自动识别分割模型。（3）运用Res Net等网络模型,对淡红、淡白、红绛、青紫4种舌质颜色,白、黄、灰黑3种舌苔颜色进行高效分类,采用Faster R-CNN对齿痕、裂纹、点刺、瘀点、腻、剥、腐7类舌形与纹理进行目标检测,实现轻量融合多任务机制的舌象智能批处理分析。（4）运用Spearman分析、复杂网络分析方法研究舌象图像指标与临床疾病指标之间的关联,针对体检人群常见的代谢综合征、非酒精性脂肪肝、亚健康状态,采用多元线性回归、logistic回归、不同机器学习方法（SVM、Naive Bayes、Random Forest、Res Net等）探讨舌象图像特征与病证诊断、健康状态之间的关系。结果:（1）建立了基于深度残差网络的舌象图像质量控制的检测模型,测试集平均准确率为97.80%,精确率为97.82%,召回率为97.80%,F1指数为97.81%,可以用于海量舌象图像的质量筛查。（2）运用Mask R-CNN建立了舌象图像区域自动识别与分割的模型,测试集m Io U为95.04%,m PA为99.89%。该模型进行每张原始舌图像分割的Inference time为0.443～0.599s,检测每张原始舌图像的舌体mask用时0.001～0.005s,检测每张原始舌图像的舌体区域用时0.417～0.572s。（3）运用Faster R-CNN实现齿痕、裂纹、点刺、瘀点、腻、剥、腐7类舌形与纹理的识别与定位,平均准确率为93.31%。运用Res Net网络模型实现4种舌质颜色、3种舌苔颜色,舌苔厚薄程度、舌体胖瘦、裂纹严重程度的分类模型。舌质颜色平均分类准确率为90.28%,精确率为88.68%,召回率为85.11%,F1指数为86.86%。苔色平均分类准确率为96.67%,精确率为97.00%,召回率为96.20%,F1指数为96.60%。舌苔厚薄程度平均分类准确率为96.11%,精确率为96.30%,召回率为95.90%,F1指数为96.10%。舌体胖瘦平均分类准确率为93.59%,精确率为93.64%,召回率为93.55%,F1指数为93.60%。裂纹严重程度平均分类准确率为84.68%,精确率为86.31%,召回率为84.89%,F1指数为85.59%。（4）建立了轻量融合多任务卷积神经网络的批处理分析,批处理分析用时5～6秒/张,手动分析舌象图像用时2～3分钟/张,批处理分析的效率较传统方法提升20倍以上,实现舌象图像快速批量处理分析。舌象批处理分析结果与手动分析结果具有较高的一致性,ICC值为0.909～0.989（P＜0.001）。（5）在探讨舌诊在健康评估中的诊断价值的研究中发现:亚健康状态受试者的TB-a、TC-a低于健康状态受试者,per All高于健康状态受试者,腻苔的比例高于健康状态受试者,差异有统计学意义（P＜0.05）。（6）在探讨舌象图像指标与临床数据的关联分析研究中发现:在3601例人群中,经批处理分析得出,裂纹1494例（41.49%）、齿痕1338例（37.16%）、腻苔1068例（29.66%）发生率最高。男性受试者出现裂纹、齿痕的比例高于女性受试者（P＜0.001）。女性受试者的点刺、瘀点的比例显著高于男性受试者（P＜0.001）。随着年龄的增高,裂纹舌、腻苔的比例呈逐渐增高的趋势,点刺舌、齿痕舌的比例呈逐渐减少的趋势。复杂网络分析显示,腻苔、齿痕、裂纹与高尿酸血症、肥胖、高血压、血脂异常、脂肪肝等疾病关系更密切。Spearman关联分析显示,TB-b与BMI、WHR、红细胞、血红蛋白、红细胞压积、TG、SBP、DBP、ALT、r-GT、UA、Scr等指标呈负相关,相关系数为-0.273～-0.394（P＜0.01）,与HDL-C呈正相关,相关系数为0.278（P＜0.01）。（7）在探讨舌诊在病证诊断中的分类价值研究中发现:针对体检人群常见的代谢性疾病代谢综合征（Mets）、非酒精性脂肪肝（NAFLD）,研究发现单用舌象图像进行Mets诊断分类,平均准确率仅为62.65%,单用舌象图像进行NAFLD诊断,准确率仅为60.63%。综合运用舌象图像指标、BMI、腰围、血压的多模态人体生理参数信息的模型,可将Mets诊断分类准确率提升至81.27%,敏感性提升至80.44%,特异性提升至82.08%。综合多模态望诊信息的综合模型将NAFLD诊断分类的准确率提升至76.26%,敏感性提升至71.84%,特异性提升至80.15%,提示舌象在Mets、NAFLD等疾病诊断中的价值。在证候诊断方面,将舌图像应用于NAFLD证候诊断（健康对照、湿浊内停证、肝郁脾虚证、湿热蕴结证、痰瘀互结证5类）,平均分类准确率达64.29%,精确率为66.17%,召回率为64.38%,F1指数为65.26%,说明舌象图像特征在NAFLD证型分类的贡献度,能够为NAFLD的辨证论治提供参考。结论:（1）研究运用深度学习方法,实现了舌象图像的质量控制、舌体区域的像素级分割,舌颜色、形质、纹理的分类识别,初步实现了舌象图像智能诊断。（2）研究实现的轻量融合多任务机制的舌象批处理分析,未来可以应用于舌象图像研究,为舌诊研究从数字化迈向智能化的进程提供了充分的探索。（3）研究探索以舌诊为核心的中医病证分类模型建立方法,针对临床常见的代谢综合征（Mets）、非酒精性脂肪肝（NAFLD）、亚健康状态,以舌象数据为核心,结合其他临床多模态数据,揭示了舌象图像在病证分类中的贡献度。