无监督预训练学习致力于通过设计可适用于大规模数据学习的前置任务,从而帮助神经网络从海量未标注的数据中得到通用的表征。近年来,在计算机视觉和自然语言处理中,无监督预训练模型都取了巨大的成功。在计算机视觉中,无监督预训练模型作为一种通用的网络表征,它对下游任务中图像分类、检索、目标检测、图像分割都有着关键性的影响。大量工作表明,预训练模型的好坏往往决定着下游任务的收敛速度与准确度。对于计算机视觉的任务而言,它们通常可以分为空间位置不敏感（如图像分类、检索任务）与空间位置敏感（物体检测、分割）两大类。本论文从两类出发,总结并分析了现有的预训练算法,提出了两个新的预训练算法以提高他们在下游任务中的表现。针对空间位置不敏感的任务,预训练算法通常关注于网络的判别性。具体而言,这类算法通常针对于主干网络的表征学习。目前的算法主要基于对比学习的形式。即特征网络从大量无监督图片中,拉进相似图片之间的距离,拉远不相似图片之间的距离。由于是无监督的算法,相似图片由同一张图片通过不同的数据增强得到,而两两不同的图片之间彼此构成了负样本。这种算法虽然能很好拓展到大规模的无监督形式,但它没有办法很好的利用好已经标注或者部分标注的图像。而这种已经标注好的图像,在视觉任务中是大量存在的。因此,我们提出了一个更通用的对比学习形式,它能够兼容无监督、半监督、全监督的预训练判别网络的学习。针对空间位置敏感的任务,预训练算法通常关注于网络的空间定位能力。具体而言,这类算法通常针对于视觉网络的检测器设计。对于检测器,之前大部分工作都比较偏轻量级,可以较快的从头开始训练。而随着Detection Transformer（DETR）的提出,检测器开始走向了需要依赖更大规模、更长时间、更端到端的训练。在DETR的基础上,我们提出了一个全新的预训练算法（UP-DETR）,它通过随机补丁定位任务,将目标检测、单样本目标检测、实例分割等定位相关的任务统一在一个框架下,并显著提高这些下游任务的性能。