基于生物原理的神经网络在深度学习领域应用越来越广泛。深度神经网络赋予了各种智能设备新的发展空间。但深度模型往往拥有庞大的参数量并需要昂贵的计算力,这些模型难以在有限的计算、存储资源以及续航能力的智能终端设备上运行,这使得神经网络在终端部署成为新的难题。针对上述问题,本文深入研究生物进化选择原理,提出一种全新网络算法,并基于已有模型压缩方法,研究出一种新型优化学习算法。本文的工作可以分为以下三个方面:1)参数自由度对模型压缩效果有关键性影响。大规模模型中常含有海量参数,这些参数之间存在较高冗余度,通过降低这些参数的自由度能够有效缩小模型体积。首先分析模型权值参数的分布结构,验证参数之间高自由度的结论;其次对参数进行聚类,找出模型核心参数,其他参数共享对应的核心参数。实验结果表明参数自由度的降低能够更大程度降低模型占用的存储空间。2)设计一种全新神经网络算法BIO-NET。启发于生物学原理,提出“进化”、“随机”、“选择”相结合的新型神经网络算法。首先选择具有较好性能的神经网络,确保重构的网络模型具有进化能力;然后对权值参数聚类,每个类中的参数共享所在类的质心,挑出具有代表性的参数以备进一步的操作;最后在共享质心基础上结合随机微扰值进行参数重构。该算法在保持原有神经网络基础架构的情况下,能够极大简化现有神经网络模型的体量。在图像分类和目标检测两个领域观察重构模型的准确度变化并验证模型稳定性。实验结果充分表明该算法的有效性与稳定性。3)研究一种新型的蒸馏与量化联合学习的BERT优化算法（KD＿DQ）。BERT模型大大提升了各类自然语言处理下游任务的性能,但其具有庞大的参数量,复杂的计算与海量的参数限制了BERT在终端设备上的应用。知识蒸馏能够很好的将体积庞大的教师网络的优秀性能传递给更轻量的学生网络。动态量化降低参数表示位数,以此降低模型计算量与存储空间。本文结合知识蒸馏与动态量化降低BERT模型的存储占用,设计一个规模小、性能优的模型。不同于已有的算法,本文在学生网络学习前进行量化操作,提高学习过程中较高学习价值的参数表现力,以此进一步优化模型蒸馏的学习效果。实验的结果证明KD＿DQ算法的可用性和有效性。