跨模态间的人脸与人名对齐方法研究

来源 :复旦大学 | 被引量 : 0次 | 上传用户:dvvicky
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着在线和离线多媒体新闻数据呈爆炸性的增长,如何很好的分析这些多模态信息以实现更精确的跨媒体新闻检索,已经在当前成为一个重要的研究热点。通常情况下,这些多模态信息是以一张带有文本标注的新闻图片的形式展现的,而这张带有文本标注的新闻图片大多数都是用于描述某些特定人的相关故事。因此,在这种情况下,用户通过一个有效的检索系统来检索某个特定人的相关新闻图片,这一需求变得越来越紧急和普遍。对于该检索需求,一般的解决方式是通过以用户的输入人名作为文本查询条件,对新闻图片带有的文本标注进行文本查询,返回文本匹配的新闻资源。然而,仅仅通过一个简单的文本查询,得到的查询结果往往是不精确的,而且也很有可能返回较多不相关的结果。因为在此类新闻图片中,可能在文本信息(例如,文本标注中的人名)和视觉信息(例如,图像中的人脸)之间仅存在很弱的关联。因此,在大规模的带有文本标注的新闻图片中,获得更为有效和精确的跨媒体检索结果,自动有效的进行人脸—人名之间的对齐,已成为当前十分有必要和具有挑战的工作。本文提出了一种有效的自动人脸—人名对齐框架,能够更有效和更精确的支持跨媒体新闻检索。首先,本文重点分析文本和带有文本标注图片的人脸图像内容,研究并使用相关技术,从中提取有价值的文本信息和图像视觉信息。对图像及其伴随的文本,进行多层次的分析,能够有效的分析文本中哪些人名具有更高的相对重要性以及人名和人脸之间的内在关联性。同时,对于些在数据集中出现次数很少的人名,为了弥补这些人名对应信息的不足,通过WebMining这一方法,来获得这些人名额外的多模态信息,这些获得的多模态信息,将对于分析这些稀有人名和他们对应人脸之间的关联性,十分有用。此外,本文还特别着重描述了一种有效的度量和优化机制:改进的自适应遗传模拟退火算法(ISSAGA)。通过该机制,能够有效的验证人脸—人名之间可能的各组合所对应的可行性。为提高这些方法的整体性能,本文将人名重要性评估(NSR)、人脸—人名内聚度度量(NFCM)、基于Web的多模态信息挖掘以及改进的自适应的模拟退火遗传算法进行结合,共同构造成一种新颖的人脸—人名对齐框架,该框架能够有效的挖掘人脸和人名之间的内在关联性,进而提高跨媒体检索的性能。最后,本文在官方公开的来自雅虎新闻的大规模数据,进行了大量的实验,这些实验取得了不错的性能结果。
其他文献
进化算法是模拟生物自然进化过程的一种随机搜索方法,遗传规划是进化算法的一个重要分支。近几年的研究和应用十分广泛,主要在机器人路径规划、符号回归和机器学习等方面。 
该文基于分布式虚拟现实技术,分析其构成要素,结合Java API,采用C/S结构,提出了基于VRML的多用户共享虚拟环境,该原型系统具有初步的场景状态的一致性维护和多用户协同感知功
该文以数据聚类技术为主要研究对象,在分析原有聚类算法存在的不完善之处的基础上,采用了计算智能中一些先进的算法对模糊聚类问题进行了优化研究,提出了多种混合聚类算法,取
该文分为两大部分,第一部分是语音评估产品的评估算法和应用系统,第二部分是产品评测方法.第一部分对语音评估系统作了深入的分析,将其分为评估算法和应用系统,评估算法属于
该文简单介绍了网络管理系统、IPv6协议和SNMP协议,对RMON规范进行了系统的分析,并研究和探讨了在IPv6环境下,支持RMON v1/v2规范的代理软件的实现.该项目以支持IPv4/IPv6双
该文介绍了嵌入式系统的基本概念、系统组成、应用开发和未来的发展趋势.着重论述了基于嵌入式实时操作系统uC/OS-Ⅱ的TCP/IP协议栈中IP、ARP和UDP三个模块的研究与实现,并引
为了科研和教学的需要,同时为了完成上海市教委基金项目,我们自主开发了简单实用的EDA平台,作者完成的是VHDL语言在寄存器传输级的开发工具—VHDL-R语言的编译模拟系统.作者
在深入分析同指消解技术难点的基础上,结合多语种同指消解的特殊要求,该文提出了一个多语种同指消解模型.该模型使用了基于规则分析技术的规则消解法和基于语料库统计学方法
在传统的绣花CAD中,花稿设计需要花费大量的专业人员,使得设计周期长,效率低,跟不上市场和生产的需要。针对这些缺点,本文对利用计算机进行花稿的智能设计做了一些研究。通过对花
计算机辅助颅骨面貌复原技术是对三维数字化颅骨数据,应用人类学关于颅骨面貌的软组织厚度数据,采用计算机技术来生成该颅骨对应的面貌,使得生成的面貌尽可能的符合该颅骨的原面