图像特征提取是当前计算机视觉领域的重要技术之一,很大程度上决定着许多视觉任务的精度与速度。随着大数据时代的发展,海量的图像数据与各种复杂的实际应用场景使得高效而精准地从图像中提取特征成为了挑战,学术界因此对图像特征提取方法进行了广泛的研究。近年来,基于Transformer提取图像特征的方法被广泛研究,但相关模型仍存在一些需要改进的地方。首先,Transformer的复杂度与输入的序列数量成二次关系,阻碍了基于Transformer设计的图像特征提取网络对高分辨率的图像建模,并且高昂的计算成本使其很难适用于边缘设备。其次,Transformer在建模视觉结构时缺乏归纳偏置,使其需要采用超大数据集进行预训练。最后,与卷积神经网络相比,Transformer模型可优化性较差,对于优化器的选择较为敏感,缺乏稳定性,收敛速度较慢。针对上述问题,本文主要工作如下:（1）提出了两种加速Transformer模型的方法,分别从模型内部和外部两个角度去解决当前Transformer模型计算成本高,模型的复杂度与输入的Token数量成二次关系的问题。首先是将自注意力机制本身的二次复杂度降低为线性,从内部提高模型的处理速度;然后又提出了一个无参数,可以根据不同输入图片自适应采样从而筛掉不重要Token的轻量化剪枝方法,从外部减少无意义的输入。最后将两种方法合并得到了一种新的高效注意力机制（E-Attention）。实验表明,两种方法各自可降低原Transformer模型30%-50%的计算量,而E-Attention可以减少原Transformer模型60%-70%的计算量。（2）在本文提出的E-Attention基础上,进一步结合深度卷积和空洞卷积,从平移不变性,局部性,尺度不变性三个角度引入Transformer模型缺乏的归纳偏置。然后再利用一个轻量化卷积模块改变传统Transformer模型对输入图片的处理方式,从而加快收敛速度,提升稳定性。最终得到了一个结合卷积的高效Transformer图像特征提取网络（CEFormer）。实验表明,CEFormer在性能和运算速度之间均取得了良好的结果。