细粒度图像分类相较于粗粒度图像分类,是针对图像大类别下进行精细的子类别的划分,在识别濒危物种的类别、创建物种识别系统等领域有着较为广泛的应用,成为近年来计算机视觉领域受关注的研究课题。对于细粒度图像分类任务,图像的类间差异较大而类内的差异较小,利用传统卷积神经网络进行此种分类任务效果一般,主要是图像之间很高的外观相似度增加了分类误判率和分类的难度。双线性卷积神经网络(B-CNN)在不借助部位标注情况下,采用两路卷积神经网络,协调完成物体的局部特征提取和信息分类,从而提高细粒度图像分类准确率。基于B-CNN设计的低秩双线性卷积分类模型(LRBP)由于能够大幅降低参数的维度,成为双线性网络模型中分类效果较好的模型。但是LRBP模型没有有效解决针对细粒度图像分类任务下将具有典型分辨力的关键图像区域准确定位的问题,以及在已检测的关键图像区域中有效地提取可鉴别的特征进行分类的问题。论文基于双线性卷积神经网络LRBP模型对上述问题进行研究。论文的具体工作如下:(1)设计了一种基于LRBP结合残差与注意力机制的细粒度图像分类模型(LBCNN-RA)。LBCNN-RA模型利用深度残差网络解决了卷积神经网络层数增加时梯度消失问题,同时将深度残差网络与注意力机制结合为残差注意力模块,其中注意力机制部分由通道注意力与空间注意力双模块串联组成,以通道与空间两个维度获得图像的注意力信息,从而有效地定位出具有典型分辨率的关键图像区域,最后进行双线性低秩化聚合并使用softmax进行分类。实验结果表明,LBCNN-RA模型在CUB-200-2011数据集上相较LRBP模型分类准确率提高了2.2%,在Stanford Cars上相较LRBP模型分类准确率提高了1.3%。(2)设计了一种基于LBCNN-RA引入双尺度融合的细粒度图像分类模型(RALBCNN-DS)。RALBCNN-DS模型首先使用LBCNN-RA模型中的深度残差与注意力结合网络进行训练,然后进行双线性网络低秩化聚合,最后在网络分类时,引入中心损失的度量学习方法,将softmax和中心损失两个尺度的分类特征进行融合学习,从而从双尺度维度有效地提取出已检测的关键图像区域可鉴别的特征,达到更好的分类效果。实验结果表明,RALBCNN-DS模型与基础模型LBCNN-RA相比,在CUB-200-2011数据集上分类准确率提高了0.5%,在Stanford Cars上分类准确率提高了0.7%,最后与当前其他细粒度图像分类模型的分类效果进行对比。