本文以数字图书馆等容纳多种媒体类型的信息资料库为应用目标，总结了当前国内外多媒体检索领域中最活跃的图像检索和视频检索(包括技术路线、相关技术和典型系统)的研究现状，讨论了数字图书馆对多媒体检索技术所提出的新问题和挑战，并对多媒体信息检索技术进行了拓展性研究，重点介绍了三项关键技术：综合时空特性的相关反馈方法，交叉参照索引的多模态检索方法、以及面向多媒体文档的多通道检索方法。 本文深入研究了相关反馈的人机交互方法，分析了基于内容的图像检索中相关反馈信息的时间特性与空间特性，在此基础上首次提出了一种时空约束支持向量机(TSC-SVM)的相关反馈学习方法。在空间和时间维度上有所约束的利用用户在检索(相关反馈的循环)过程中不断反馈的正例(相关图像)和负例(不相关图像)信息，达到合理利用相关反馈信息、准确掌握用户查询需求以及提高检索精度的目的。和普通支持向量机方法相比，该方法能够明显的提高相关反馈的学习能力，提高检索结果的准确率；同时还能在检索过程中准确实时的跟踪用户的查询需求，在用户的查询需求发生转移时显得格外有效。 为实现多种模态数据的综合检索，本文突破传统的文本标注方法，提出了一种多媒体对象的索引方法——交叉参照索引方法。在该方法中，多媒体对象的索引就是一组与该多媒体对象语义相关的多媒体对象。同时，提出了一种全新的多模态检索机制，在检索和相关反馈中结合交叉参照索引与底层特征，实现对多模态数据的统一处理；另外，还提出了能够有效提高检索系统的短期和长期性能的一种交叉参照索引的自动更新算法。 针对数字图书馆等异构信息知识库的特点，本文提出和实现了一个面向多媒体文档的多通道(对应如文本、图像、视频等的多种模态)检索系统；定义了一个新的用来描述多媒体文档内容的框架，该框架不但提取出多媒体文档在各通道下的基于内容的底层特征，而且还记录下多媒体文档中不同多媒体对象间的链接关系；同时，提出了一种基于图模型的交叉参照知识库，用来存储从链接关系中挖掘出的多媒体对象间的语义关系，通过一个有效的语义上下文分析算法，在检索过程中计算每个对象与查询的语义相似度。语义上下文分析算法不仅使得基于内容的多媒体信息检索考虑到多媒体对象的语义信息，而且还支持用户通过通道切换的方式进行相关反馈，提供了一种更为灵活的查询模式。实验表明该系统对多媒体对象的检索性能优于传统的基于内容的多媒体检索方法。