随着人工智能的飞速发展,为专注于对计算机推理能力的挖掘,微软推出数学图表类数据集Figure QA,旨在用简单的图形图表组合让计算机完成数学推理任务。而对于计算机而言,要完成对图像信息的整合并结合文字信息进行推理,首先需要完成的就是对图片信息的提取,也就是对图片进行目标检测。因此本文的主要研究内容为图像问答过程中所涉及到的的目标检测过程。对于数学图表类图像而言,与主流目标检测模型中通常采用的真实场景中的照片不同,一张折线图中,每一个包含折线目标的标注框里,折线目标本身所占的像素值远小于背景空白部分所占的像素值。同时,在对真实场景图片的标注中,一个目标只需使用一个标注框,但对于折线图的目标检测来说,要为后续问答任务提供足够多的图像信息就需要用多个边界框尽可能地使折线全部包含在其中。基于以上的与现有目标检测所适用的图片所不同的特点,本文以数学图表类数据集Figure QA中的折线图为主要研究对象,研究对其进行目标检测的过程。本文首先针对折线图在现有模型中检测准确率偏低的原因进行分析。现有的目标检测模型中在对候选的样本进行筛选时,通常使用计算候选框与真实框交并比的方式来对标注框中是否有目标进行判定。使用这种方式对折线图中的候选框进行检测时,就可能会出现即使候选框中存在折线目标,但却因为位于两个真实框位置之间导致与左右两个真实框的重叠部分都没有达到阈值而被判作是没有目标的样本的情况,从而导致在样本的筛选过程出现偏差。因此,在此分析的基础上,本文针对此类数学图表类数据集中的折线图,设计了在筛选样本时将边界框转为点来处理的多种方法,根据点与点之间的位置关系来判定候选区域是否有目标的方式,并对改进方法进行实验验证,分析实验结果。同时,本文分析了在现有的目标检测模型预测结果的评判标准下,通常以标注的真实框为基准,预测框与真实框越接近,证明预测结果越正确。但对于折线图来说,标注框只是多种标注方案中的其中一种。因此使用这种方法对折线图的预测结果进行评判时,同样会出现预测框位于折线上,却因为与标注框重叠程度没有达到阈值而被认为是预测错误。因此,本文设计了以折线本身为基准通过判断候选框与折线位置关系的评价标准来对预测结果进行评判的方法。弱化数据集给出的标注框在评价标准中的比重,引入新的评价标准,对以折线本身为基准,来对预测框进行评价,并对设计的评判标准进行实验验证。