越来越多的研究人员利用点击数据来表征图像,以克服计算机视觉任务中的“语义鸿沟”障碍。点击数据是依托搜索引擎爬取的用户反馈数据,用来反应图像-查询文本之间的相关性。利用点击数据,图像被表示为查询文本点击次数向量。该向量具有丰富的语义性,同时却也存在着高度稀疏且规模庞大的弱点。为了改善点击特征的稀疏性,本文试图对大规模查询文本进行聚类,并且使用聚类后的查询文本表征图像,然后再基于紧凑的查询文本类点击特征向量来完成高效的细粒度图像识别任务,进而更好地克服“语义鸿沟”障碍。综上,本文围绕基于点击数据的查询文本聚类方法展开研究,具体包括文本表示方法和文本聚类方法两部分内容:(1)基于图像点击特征图的文本表示方法。首先,我们将查询文本表征为规范的点击特征矩阵,接着鉴于点击特征的稀疏性,本文提出2-D点击传播的方法将点击特征矩阵转化为点击特征图。与原始的图像点击特征向量相比,本文提出的点击特征图具有更强的表达能力,连续且光滑。(2)基于弱监督深度学习的文本聚类方法。由于点击特征图与传统视觉图像的巨大差异,本文针对点击特征图量身定制了一个相对较浅的深度文本聚类模型。并且在最小化类内均方误差下,经学习得到了层次性丰富的查询文本的深度点击特征。此外,为了应对查询文本存在的大量噪声,本文为查询文本赋予表征其可靠性的权重向量,然后再使用弱监督学习方法更新查询文本权重。通过迭代优化深度学习模型和查询文本权重,本方法自动地选择可靠性较强的查询文本,进而学习得到更加紧凑、层次性更强的查询文本的深度点击特征。本文在公开的两个点击数据集Clickture-Dog和Clickture-Bird上进行实证检验。实验结果表明:(1)点击特征图能够改善原始点击数据稀疏、不连续的问题,同时基于点击数据特别设计聚类网络结构是必要的;(2)使用弱监督学习方法可以进一步地对抗点击数据中的噪声;(3)该模型学习得到的查询文本的深度点击特征参与细粒度图像识别任务时,得到了更高的图像识别准确率,点击数据有效地削弱了“语义鸿沟”对图像识别的影响。