深度卷积神经网络凭借其超越传统机器学习及信号处理算法的优良性能表现,已经成为了主流的计算机视觉技术。但由于模型参数较多,模型较为复杂,而难以部署在嵌入式设备等算力较低、资源受限的边缘计算设备上。为了减少模型大小,提高模型的计算效率,完成网络的压缩与加速,模型轻量化技术相关研究蓬勃发展,以解决深度卷积神经网络模型高效部署落地的问题。传统实现模型轻量化的方法主要有模型剪枝以及模型量化两种,而目前又新兴起神经网络架构搜索技术（Network Architecture Search,NAS）的热潮。本文将聚焦于基于梯度的轻量化深度卷积神经网络架构搜索研究,创新性地将神经网络架构搜索技术与模型剪枝、量化相结合,利用各技术之间的优势,对模型轻量化技术进行研究改进。具体有以下三个贡献点:（1）为了解决架构搜索结构存在冗余性问题,将神经网络架构搜索结合剪枝,提出了基于NAS的神经网络模型剪枝算法。通过给细胞中的每一条边分配一个权重,并设定一个权重阈值来去除模型中边权重小于阈值的边,以降低基于细胞的网络架构在推理时需要进行堆叠可能会产生较大的冗余性,避免造成过多的计算资源开销和较慢的推理速度。同时提出了基于信息熵损失的拓扑引导,能够有效减少剪枝带来的性能损失。（2）为了解决多次部署时造成线性增长的计算成本问题,将神经网络架构搜索结合量化,提出了All-in-Once的神经网络模型量化训练算法。通过多位宽量化建模,实现了一个模型下实现多位宽量化的支持。通过最小-随机-最大位宽协同训练以及在线自适应标签算法,使得一个模型得以应用于任意次量化部署任务,极大降低多次部署时的量化训练成本。另外在极低位宽场景下也进行了量化训练优化,能够实现模型的量化性能提升。（3）为了实现多位宽超网的自动化部署,在All-in-Once的神经网络模型量化训练算法的基础上,提出了All-in-Once的神经网络模型量化搜索算法。通过量化感知的准确率预测器来进行量化模型的性能预测,并提出蒙特卡洛采样方法来提升准确率预测器在边缘位宽情况时的预测性能,以及实现搜索时的加速。最后利用基于遗传算法的混合精度搜索实现目标模型的获取。