在本论文中，我们从用户的利用需求(exploitation)和探索需求(exploration)角度研究了异构多关系图像检索中的若干问题。在图像检索中，用户不仅希望能够快速定位到想要的图像（利用需求)，而且也能探索不同的相关图像（探索需求)。不同图像领域中用户的这两类需求着重也不一样。在其中，我们选择了三类典型领域：图纸，地标，商品。我们提出了不同结构建模来满足这两类需求上的不同侧重。在方法论上，我们研究了纯基于目标函数的结构抽取和带监督的结构化学习。在图纸图像领域中，我们研究了基于内容的图像检索场景，聚焦于来自外观设计专利审查的利用需求。在地标图像领域中，我们研究了文本输入场景，聚焦于平衡利用需求和探索需求。在商品图像领域中，我们研究了推荐场景，聚焦于用户的个性化需求。　　在图纸检索中，我们提出路径结构(path structure)来建模标引线。标引线是连接图像内容和标识文字，大量存在于图纸图像中，与正常轮廓混杂在一起，干扰了基于内容的检索质量。我们利用图纸图像的特性将其抽象成一张图(graph)，并把标引线检测问题转化为在图上搜索一条分值最高的路径问题。我们定制了带监督的结构化学习来检测标引线。实验结果良好，满足了实际应用需求。在地标检索中，我们提出树结构的层次化摘要来平衡用户的利用需求和探索需求。我们将地标图像组织成一个层次化摘要(tree structure)，使得用户可以灵活在利用需求和探索需求中切换。在层次化摘要的构建过程中，我们引入了细节层次核心概念来描述一张图像反映一个地标的细节程度。在这个概念上，我们基于一致性原则和多样化原则设计了目标函数。我们采用无监督的结构化学习来找到最优的层次化结构摘要。定量的实验结果和用户反馈实验表明最优的层次化结构的确能同时满足用户的利用需求和探索需求。在商品推荐中，我们提出个性化列表(list structure)来满足用户需求的个性化利用和探索需求。在协同式过滤的基础上，我们研究了图像数据和价格数据这两种异构数据对推荐效果的改善。实验结果表明融合协同式过滤和其他数据确实对商品推荐有显著改进。最后我们不局限于领域，在互联网图像的基于异构多关系的多角度标注中，我们采用集合(set structure)来对每张图片的所有正确文字标签做整体建模。图像标注问题就变成了一个从候选标签中选择一个最优子集的问题。我们设计了联合特征来描述每个角度下的标签以及不同角度下标签之间的联系。实验结果表明多角度标注较单角度标注有显著提高。