互联网时代,新浪微博（以下简称微博）成为新时代居民表达意见和情感观点的主要阵地之一,微博评论文本集中汇聚了这些意见和情感观点。对微博评论文本进行情感分析,将非结构化信息转化为结构化数据,能有效帮助了解评论文本背后蕴含的用户情感和情绪。这对于消费者消费,企业营销,政府决策,网络舆情监管和控制等诸多方面都有积极意义。2018年,预训练语言模型BERT（Bidirectional Encoder Representations from Transformers）的面世将包括情感分析在内的自然语言处理的多个领域都带入了新的时代。虽然使用了BERT的情感分析模型在微博评论文本情感分析上的效果大幅超越了以往模型,但BERT模型参数量过大,不利于其应用,需要尽可能在保留模型效果的前提下削减模型参数量。在这之后陆续也有优秀的预训练语言模型被提出,但它们在情感分析领域没有受到太多关注。本文针对以上问题,使用预训练语言模型ALBERT（A Lite BERT）和ERNIE（Enhanced Representation from Knowledge Integration）在微博评论文本情感分析上进行了研究,主要工作如下:（1）构建ALBERT＿Bi GRU情感分析模型。针对预训练语言模型BERT参数量过大的问题,将参数量少的预训练语言模型ALBERT和能有效提取上下文信息的双向门限循环单元（Bi GRU）应用在微博评论文本情感分析上,构建了ALBERT＿Bi GRU模型,既保留了ALBERT模型参数量少的优势,又使ALBERT模型情感分析的效果得到了提升。（2）构建ERNIE＿Bi GRU情感分析模型。利用知识增强的语义表示模型ERNIE在中文文本处理上效果更好的优点,结合Bi GRU在获取上下文信息上的优势,构建了一个适用于微博评论文本情感分析的模型ERNIE＿Bi GRU,取得了比BERT模型和ERNIE模型更好的情感分析效果。但ALBERT＿Bi GRU模型和ERNIE＿Bi GRU模型的性能提升不够理想,仍有上升空间。（3）构建ALBERT＿GELE和ERNIE＿GELE情感分析模型。将GELE（Global Encoder and Local Encoder）模型应用于微博评论文本情感分析上,取得了几乎与BERT模型持平的情感分析效果。同时还提出用预训练语言模型ALBERT和ERNIE分别替换GELE模型的Encoder1模块,结合Encoder2模块,构建了ALBERT＿GELE和ERNIE＿GELE两种适合于微博评论文本的情感分析模型,取得了比ALBERT＿Bi GRU和ERNIE＿Bi GRU更好的情感分析效果。本文主要针对预训练语言模型ALBERT和ERNIE进行研究,在ALBERT模型和ERNIE模型的基础上,分别结合Bi GRU构建了ALBERT＿Bi GRU和ERNIE＿Bi GRU两种模型,在微博评论文本情感分析上,表现出比BERT模型更好的效果。在ALBERT和ERNIE的基础上,本文又结合GELE模型,利用GELE模型的Encoder1-Encoder2架构,构建了ALBERT＿GELE和ERNIE＿GELE两种模型,进一步提升了微博评论文本的情感分析效果。