基于生成对抗网络的甲状腺超声图像文本跨模态检索方法

来源 :生物医学工程学杂志 | 被引量 : 2次 | 上传用户:davidcao1980
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
超声检查是甲状腺病变检查中的常用手段,其检查结果主要由甲状腺超声图像和检查所见文本报告组成。实现医疗图像与文本报告的互相检索(简称:互检)可以为医生及患者提供极大的便利,但目前尚未有将甲状腺超声图像与文本报告相关联的互检方法。本文提出一种基于深度学习的跨模态甲状腺图文互检方法,并在跨模态生成对抗网络的基础上提出改进方法:①将原网络中用于构建公共表示空间的部分全连接层之间的权重共享约束改为余弦相似度约束,能使网络更好地学习不同模态数据的公共表示;②在跨模态判别器前加入全连接层,将权重共享的原网络中图像
其他文献
随着信息化建设在教育领域的逐步推进,物联网技术逐渐开始了与校园内的各种事物之间的关联,从而使得数字化校园得以快速发展,并朝着智慧校园的建设方向拓展与实施,这不仅为学生的学习和教师的教学提供了便利,也为校园的可视化指挥管理提供了良好的支撑。本文从物联网与智慧校园的基本特点出发,就物联网在我校智慧校园中的应用价值及应用策略展开探究,从而为我国其他各高校的智慧校园建设提供一定的参考。
期刊
Researchers have achieved great success in dealing with 2 D images using deep learning. In recent years, 3 D computer vision and geometry deep learning have gained ever more attention. Many advanced t
期刊
In this paper we address the problem of geometric multi-model fitting using a few weakly annotated data points, which has been little studied so far. In weak annotating(WA), most manual annotations ar
期刊
We present a multiview method for markerless motion capture of multiple people. The main challenge in this problem is to determine crossview correspondences for the 2 D joints in the presence of noise
期刊
Monte Carlo based methods such as path tracing are widely used in movie production. To achieve low noise, they require many samples per pixel,resulting in long rendering time. To reduce the cost,one s
期刊
In this paper, we consider salient instance segmentation. As well as producing bounding boxes,our network also outputs high-quality instance-level segments as initial selections to indicate the region
期刊
Quantitatively evaluating the psychological and perceptual effects of objects is an important issue,but is difficult. In cognitive studies, the psychological potential field(PPF), which represents psy
期刊
We propose a novel end-to-end deep learning framework, the Joint Matting Network(JMNet), to automatically generate alpha mattes for human images.We utilize the intrinsic structures of the human body a
期刊
慢性肾脏病是一种在世界范围内广泛存在的肾脏疾病。该疾病一旦发展到晚期,伴随而来的是严重并发症与较高死亡风险。因此,早期筛查对于慢性肾脏病诊治至关重要。超声作为一种无创方法,能动态观察肾脏形态和病理特征,常用于肾脏检查。本文提出一种新的卷积神经网络模型,称为纹理分支网络,基于超声影像作慢性肾脏病筛查。该模型通过在经典卷积神经网络中引入纹理分支来提取和优化纹理特征,可自动生成输入图像的纹理特征和深度特
期刊
相较于以往将靶区作为单独区域进行自动分割的神经网络,本文提出了一种利用靶区周围器官的位置及形状信息来限定靶区形状及位置,并通过多个网络的叠加融合空间位置信息,从而提高医学图像自动分割精度的堆叠式神经网络。本文以格蕾丝眼病为例,基于全卷积神经网络构建了堆叠式神经网络,对其左右两侧放疗靶区分别进行分割。以医生手动勾画结果为标准,计算体积戴斯相似系数(DSC)和双向豪斯多夫距离(HD)。相较于全卷积神经
期刊