日志是记录软件系统内部组件之间交互的重要信息,能够反映系统的运行状态,在系统的管理和维护中发挥着重要作用。随着系统规模的不断扩大,日志数量呈爆炸式增长,仅靠人工检查日志的传统方法难以满足当前的要求,日志的自动化分析已被视为系统运维的关键技术之一。日志模板提取是日志自动化分析的关键环节,其对非结构化、半结构化的日志进行处理,将日志转换为结构化形式,用于进一步分析。当前已有研究学者从不同角度开展了日志模板提取方法研究,基于深度学习的日志模板提取方法成为主流。然而,现有工作存在以下局限性:1)现有日志模板提取方法需要大量人工标注的日志数据集进行模型训练,在训练数据较少时无法充分利用深层网络的性能;2)模型对日志中各词是否为模板词进行判别,输出词标签序列,需要依赖额外的后处理以生成日志模板。针对上述问题,本文聚焦于预训练模型对深层网络的充分利用,提出了基于预训练模型的日志模板提取方法,并采用端到端网络简化日志模板提取处理流程,提高了模型的学习速度与日志模板提取的准确度,降低了模型训练与预测的时间消耗。本文的主要工作与贡献如下:针对现有日志模板提取方法受限于日志训练集大小、无法充分利用深层网络性能的问题,提出了基于LUKE预训练模型的日志模板提取方法,采用LUKE模型作为文本表示模型进行参数初始化,优化了日志中各词与其向量表示的转换;为充分获取单词之间的上下文表示,提出了模板感知的自注意力机制,并采用CRF模型根据上下文表示进行模板词判别。实验结果证明了相较于现有方法,提出的基于LUKE模型的日志模板提取方法收敛性更好,在较少的日志训练集上实现了较高的日志模板提取准确率,并在相同条件下降低了模型的训练与预测时间消耗。针对现有日志模板提取方法依赖额外后处理生成日志模板的问题,提出了基于BART预训练模型的端到端日志模板提取方法,采用BART模型作为文本表示模型,实现了上下文表示的获取与日志模板预测的生成,去除了现有方法的模板词判别阶段,简化了日志模板提取的处理流程;针对BART模型在日志模板提取任务中存在的词汇表之外的词处理问题,提出了基于Pointer-Generator模型的优化方法,限制了BART模型进行日志模板生成的词汇表。实验结果证明了所提出的基于BART模型的日志模板提取方法在效果上与基于LUKE模型的日志模板提取方法相近,其虽然在模型的学习速度上稍有损失,但进一步降低了预测时间消耗。基于所提出的两种日志模板提取方法,本文设计了基于预训练模型的日志模板提取系统,实现了日志采集与存储、日志模板提取、日志查询与展示等功能。本文将系统应用于实验室物联网平台项目中,验证了所提方法的可行性与系统的可用性,对日志自动化分析有一定的促进作用。