针对细粒度图像分类识别,提出利用用户点击信息构建图像语义特征,即每一张图片会被表示为它点击的查询文本次数向量。由于包含丰富的语义信息,相比于传统的视觉特征,这种表征往往识别精度高。但是,由于文本集规模巨大、非常冗余,直接使用点击特征进行识别也存在诸多挑战。针对细粒度图像识别的应用,本文提出利用文本聚类降低文本空间并优化原始点击特征,从而建立紧致有效的文本空间来表征图像。特别地,提出了一种新颖的基于点击信息进行文本聚类的方法。与传统的基于文本特征的聚类方法相比,该方法能更好地合并语义相近的文本,同时实现跨语种的文本合并。这种方法有两大特点:一是基于点击信息的文本表示,它将每一个文本表示为一个图像点击次数向量。同时,为了解决这种表征中的稀疏性,提出基于视觉相似一致性的点击传播算法;第二则是基于点击信息的聚类模型。提出了基于热门词汇的稀疏编码的聚类;同时,为了进一步提升聚类效果,构建了一个新颖的深度学习模型实现更有效的聚类。本文在微软发布的Clickture-Dog大数据集上进行了大量的实验。实验结果表明:1)在图像表征上,点击向量特征优于传统图像视觉特征,图像识别任务中的准确率也更高;2)基于视觉相似度的传播算法能帮助提高点击特征的表征能力;3)在大规模文本聚类中,基于稀疏编码的聚类方式优于传统k-means算法的,尤其在稀疏编码中使用了 ’热词’方式取得的字典后,其性能更佳;4)图像的文本点击与深度视觉特征融合后,可以达到更鲁棒的识别性能。