随着高通量技术应用于生物医学研究,生物医学文献的数量急速增长,使用文献挖掘技术自动从文献中准确的提取知识显得尤为重要。而近年来,预训练语言模型如BERT的兴起极大的推动了生物医学文献挖掘领域的发展,其使用基于深层Transformer的模型结构,并通过特定的预训练任务在大规模通用领域语料库上进行预训练的方式,有效的提升了预训练语言模型的语言表征能力,同时通过任务精调的方式在生物医学命名实体识别任务中表现出优秀的实体识别性能。然而,一方面现有将预训练语言模型迁移到生物医学领域仅是通过更换语料库的方式实现,存在较大改进空间;而另一方面,基于预训练语言模型的生物医学命名实体识别模型存在模型规模过大、速度过慢的缺点。针对上述两个问题,本文围绕生物医学领域预训练语言模型展开相关研究。首先,针对如何在预训练语言模型中引入外部生物医学领域知识的问题,本文综合考虑生物医学领域文献特点,提出了两种生物医学领域预训练任务:生物医学实体级遮掩语言模型任务BEMLM和生物医学实体类别预测任务BETP,通过命名实体识别模型对生物医学实体进行自动化抽取,并利用抽取结果完成预测任务的自动化构建。其次,针对如何将预训练语言模型迁移到生物医学文献挖掘领域的问题,本文提出了一种基于BERT的生物医学领域预训练语言模型BioTypeBERT,通过在预测层建立对应任务分类器,结合BEMLM和BETP预训练任务进行联合学习,解决现有研究没有引入外部生物医学领域知识的不足,对于生物医学领域预训练语言模型的发展具有一定的指导意义。并以任务精调的方式用于各生物医学文献挖掘任务的运用。最后通过在五组公开数据集上的有效性实验,验证了 BioTypeBERT的有效性。此外,针对如何高效压缩基于预训练语言模型的生物医学命名实体识别模型,提出了一种基于动态权重的知识蒸馏方法DKG,解决了现有知识蒸馏方法过于依赖经验进行调参的问题,其使用动态权重函数模拟非线性学习曲线并优化知识蒸馏过程,用于对预训练语言模型的高效压缩,对于模型压缩算法具有一定参考意义。同时提出了基于知识蒸馏的生物医学命名实体识别模型FastBioNER,将经过任务精调后的预训练语言模型作为教师模型压缩到规模较小的学生模型中去,最后通过公开数据集对FastBioNER进行了实验验证。