图像分析中多视角数据的融合与表示方法研究

来源 :中国科学院大学 | 被引量 : 0次 | 上传用户:ayelili
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网技术的快速发展和数字移动设备的迅速普及,每天都有大量的多媒体数据在互联网上出现并传播,网络多媒体数据呈现爆炸式增长。由于图像具有生动直观、信息含量大、表现力强等特点,针对图像数据的内容语义分析方法受到研究者的广泛关注。为了准确的分析理解图像数据,需要有很好的视觉特征来描述图像的内容。然而仅仅利用单一的视觉特征在表示图像时的描述能力有限,不能很好的预测出图像的语义信息。为了对图像产生更加全面而丰富的描述,我们可以对图像提取出多种多样的视觉特征。由于每种视觉特征都可以看作是在某个角度上对图像数据的一种描述,使用多种视觉特征描述图像就构成了多视角数据。通过利用多个视角的信息,让各个视角之间能够相互补充、相互促进,图像的高层语义信息就能够被更好的发掘出来。  由于多视角数据具有维度高、物理意义和统计特性各不相同等特点,为了在图像分析的任务中有效的使用多视角数据,研究者提出了一系列多视角学习方法。尽管相关的研究工作已经取得了较大进展,但仍然面临着一些挑战。首先,为了有效利用多视角信息,我们需要对多视角数据进行融合。然而不同图像数据的视觉特性各不相同,研究如何根据图像自身的特点来准确的进行多视角信息融合具有重要意义。另外,多视角数据通常维度较高、物理意义和统计特性不同,直接使用原始的多视角特征存在着诸多问题。因此,我们需要对多视角数据学习出适合于后续任务的数据表示,从而更有效的进行图像内容的分析与理解。总之,围绕多视角融合与表示这两个关键问题,本文在多视角图像聚类、多视角图像降维和多视角图像标注三个任务上开展探索和研究。主要研究内容和贡献如下:  (1)基于分组敏感多视角融合的图像聚类方法研究。为了克服传统图像聚类方法在多视角融合时对整个样本空间采用统一的融合权重从而导致融合结果不准确的问题,本文提出一种基于分组敏感多视角融合的图像聚类方法。本方法首先将图像数据分成若干图像组,使得每个组内的图像具有相似的视觉特性,可以使用同一组融合权重进行多视角融合。然后提出了两种多视角融合权重的学习准则,对每个图像组的融合权重进行学习。最后通过交替迭代的方法进行不断的优化,得到最终的多视角融合结果以及图像聚类结果。相比于传统的全局融合方法,本方法能够更灵活的为不同视觉特性的图像数据估计出融合权重,从而得到更准确的多视角数据聚类结果。  (2)基于双阶段子空间学习的多视角降维方法研究。针对多视角数据维度高、物理意义不同以及存在噪声等问题,本文提出一种基于双阶段子空间学习的多视角数据降维方法。每个阶段的子空间学习都是通过非负矩阵分解的方法实现的。在第一阶段学习中,我们学习得到可以相互比较的多视角表示。同时,我们对各视角的独立成分和共享成分加入相应的约束条件,从而让不同视角的信息能够相互补充。在第二阶段学习中,我们把多视角结构信息保留在低维表示中,进一步提升所学表示的判别性。为了克服多视角数据噪声的影响,我们使用l2,1-范数作为损失函数,增强了方法的鲁棒性。  (3)图像多视角表示与标注的联合学习方法研究。针对底层多视角特征与图像的高层语义之间存在“语义鸿沟”的问题,本文提出一种联合学习图像多视角表示与标签预测的方法。为了让所学的图像表示能充分保留多视角信息,我们提出利用softmax激活函数来作为多视角表示学习的损失函数。我们还把图像的语义信息嵌入到所学的子空间中,从而让所学的表示空间更具有判别性。此外,本方法考虑到了多视角表示学习与标签预测这两个任务之间的相关性,把它们的目标函数放到了一个统一的优化框架中。这样两个任务就可以相互促进,从而得到更优的标签预测结果。
其他文献
本文基于现有的技术,研究出一套适用于E-Learning领域的基于内容的检索技术。支持内容检索的流媒体课件开发平台研究主要包括流媒体课件的开发和流媒体课件对内容检索的支持两
三维建模是计算机图形学所研究的重点问题,其主要任务是用几伺或参数的方法表达真实的世界。游戏影视、虚拟现实、3D打印等行业高速发展,高质量、高效率、平民化的三维建模方法
近年来,人脸检测及识别技术日益成熟,已经取得了许多引人瞩目的成果。但是,这些研究成果离这一问题的彻底解决还有很大的距离,因此,这一课题依然是当前研究的热点问题之一。
近年来,随着计算机网络和无线通信技术的发展,移动IP网络备受瞩目。尤其是在Internet上已经出现了丰富的实时业务类型(如音频、视频信息业务等)的今天,移动IP网络中的QoS支持问题
设备到设备连接技术(Device-to-Device,D2D)是5G通信中一项新技术,该技术是在通信运营商的控制下,设备与设备在自主选择的情况下直接连接,将数据直接发送给想要发送的用户,基站可
本论文主要研究了ad hoc网络的安全,侧重于研究ad hoc网络的分布式密钥管理服务。由于ad hoc网络没有或者不能假设基础设施的支持,因此无法像传统的网络那样采用集中式管理机构
随着Internet的发展,网络中使用IP协议传送的数据占据了越来越大的比例,IP协议已经成为传送数据的主要协议.新型实时多媒体应用不断涌现,如远程教育、视频会议等,它们都要求I
近些年来,随着软件的迅速发展,人们开始认识到,要解决软件的供不应求问题,真正实现软件的工业化生产方式,保证软件生产的高效率和高质量,软件复用是一要现实可行的途径.基于
随着信息技术的发展,尤其是计算机网络的发展,高速数据传输网络成为自然科学和工程科学领域的重要媒介。网络环境的性能和效率对于科研活动过程中所需的数据交换具有重要的决定
在经济日益全球化的今天,现代物流作为“第三个利润源泉”正受到广泛的重视,大量企业把信息技术应用到企业商务活动中,实现商务电子化。本文所要开发的“第三方物流企业物流