与文本排布整齐,背景干净的印刷体不同,自然场景图像中的文本具有背景杂乱、分布随意、长度大小不一、颜色字体多样的特点,使用传统的光学字符识别（OCR）不能满足实际的需求。注意力机制广泛地用于当前文本识别深度网络模型中的编码器/解码器框架,它通过给定一个查询向量,计算其和输入向量的相关性,得到每个输入向量的重要性,从而可以从大量的信息中选择出重要信息。但是其并不知道查询向量与输入向量是否相关或者相关程度如何,这可能会得到一个不是下游任务所期望的结果,从而对下游任务产生误导。本文引入“Attention on Attention”（AoA）模块,该模块扩展了常规的注意力机制,以确定注意力结果和查询之间的相关性。构建了一个基于编码器-解码器架构的模型来解决自然场景文本识别的问题,模型由转换（Transformation,Trans.）、特征提取（Feature extraction,Feat.）、优化模块（Refine Module）、序列建模（Sequence modeling,Seq.）、预测（Prediction,Pred.）五阶段组成。分别在优化模块和预测模块中加入了AoA模块,对于优化模块,AoA有助于更好地建模图像中不同字符之间的关系;对于预测模块,AoA过滤掉无关的注意力结果,只保留有用的信息。经实验验证,本文提出的基于注意力机制的自然场景文本识别模型在当下具有代表性的数据集IIIT5K、SVT、SP、CT、IC03、IC13、IC15上均有良好的表现,分别获得了88.4%、89.7%、80.6%、75.3%、94.7%、95.0%、79.1%的准确率,比本文对比的表现最差和最好的模型在所有数据集上的平均准确率分别高了6.7%和1.4%。本文基于实验室的教育质量评估项目,对黑板知识点进行提取。黑板知识点提取分为黑板检测、文本检测、文本识别三个步骤。黑板检测方面,教室中黑板具有背景单一、位置相对固定的特点,通过简化YOLOv3模型,提高了黑板检测的速度。在采集的数据集上,获得了95%的准确率;文本检测方面,采用了先进的CRAFT算法,在采集的数据集上,获得了较高的准确率;文本识别方面,由于中文字符比较多,如果采用one-hot编码,参数量和计算开销比较大。本文采用基于Skip-Gram wif Negative Sampling（SGNS）方法在百度百科训练的字嵌入对文本标签进行编码,降低文本标签向量特征表示的维度,构建了一个可识别4993个字符的自然场景中英文文本识别模型。为了评估模型在实际场景中的有效性,对湖南大学课堂进行数据采集和标记,制作了一个包含889张图片的自然场景中英文文本识别数据集。经实验验证,本文提出的文本识别模型识别准确率为83%。