深度学习因为具有端到端的表示学习能力,可以自动从输入中学到和目标函数对应的特征,这些特征比手工设计的特征更具判别力和语义信息,因此能取得更好的效果。卷积神经网络是深度学习中最成功的框架之一,目前已经在分类、跟踪、检测、生成等计算机视觉任务上表现出了优异的性能。使用卷积神经网络时最常见的方法是将网络最后全连接层的特征取出用作图像表示,然后送入分类器中完成视觉分类任务。与常见方法不同的是,本文将利用卷积层提取到的深度卷积特征而非全连接层特征作为图像表示,并且在端到端的框架下构建更有判别力的全局特征。为此本文提出了两种新方法来利用深度卷积特征:第一种方法从深度卷积特征的性质出发提出了局部约束特征编码层,它使用局部约束来进行特征编码。在编码过程中,特有的类别信息会被编码字典学习到,这使得编码后的特征更加鲁棒。因为局部约束编码过程是可导的,所以编码特征和编码字典可以在端到端的框架下被迭代优化,使得整个层能够方便地插入到已有的卷积神经网络中。最后本文使用了全局最大池化对所有的编码特征进行聚合,以构建全局特征完成纹理分类任务。第二种方法从池化层性质出发提出了核矩阵编码层,它在卷积层之后利用核矩阵对深度卷积特征进行池化。因为使用了核矩阵,所以编码过后的样本特征位于黎曼流形中,这有利于刻画复杂的样本分布。核矩阵编码比常见的平均池化和最大池化统计了更多的特征交互信息,也比双线性池化统计了更多的非线性特征。特征交互和非线性变换可以使卷积神经网络学习到无序的且细粒度的特征,因此非常适合纹理分类和细粒度分类。本文在三个纹理数据库和两个细粒度图像数据库上进行了测试,实验结果表明本文提出的两种网络结构均取得了比学术界主流算法更好的效果。