本论文实现一种用于增强对多媒体显示屏幕实时识别可靠性的方法,同时基于图像关键点特征与深度学习手段并行处理以增强识别结果的准确率可靠性,可用于具有显示界面的多媒体自动化检测中。由于主机在软件设计上就已决定所有可能出现的界面都是可知的,故本课题的研究核心从图像检索方式出发,即对屏幕目标识别任务采用在样本库中检索方式完成,与目标图像具有最高相似度的模板类别即被认作为当前屏幕显示的内容。首先提出基于哈希算法和颜色直方图的相似度检索方法,通过定义几种衡量图像间相似性方法来完成搜寻与目标能构成最佳匹配显示界面的已知模板类作为预测类别,但最终实验数据表明,当输入图像受到微小扰动后带来了稳定性不足和识别率不高的问题。然后设计一种基于图像稳定特征点集几何配准的图像相似度检索算法,对目标图像和参考模板提取特征点并进行匹配,然后挑选具有最佳匹配度的若干个特征点完成几何配准的计算分析过程,当配准后的目标图像与某模板在特征点的空间分布上具有足够高的相似度时,可认为目标一致,该模板类型即为目标图像的类型。卷积神经网络已经十分广泛的应用在图像处理和目标检测中,各种发展成熟的网络框架和辅助手段也为在各种场合下的应用减少了许多工作量。通过对此次课题任务的具体分析,首先尝试Yolo网络的应用效果,这种基于深度学习的端对端检测方法能够基本满足精度要求,快速性也达到了实时水平。合理设置网络输出置信度阈值,能够在最短的时间内获得具有最高准确性的检测结果。但如发生异常干扰或其它偶然的意外情况,最高相似度低于门限阈值时,为避免识别出错此时可激活系统内嵌入的基于特征集合的几何配准的识别子系统。由于多媒体检测平台需长期运行并同时对操作及UI切换次数计数,这种安全机制能够保障在少数情况下由未知因素引起的错误,进而对高度自动化水平的测试结论产生无法挽回的影响。双重检测机制的设置使二次识别后的结果具有了极高的可靠性,将其为该周期下的最终识别结果,以上工作内容在目标图像输入到控制系统瞬态完成,可大幅度提高系统识别精度。最终结果表明,这种多核心可靠性增强的方法进一步加强了系统的灵活性和适应性,在相机相对高度、位置、视角或光线强弱发生较大变化时,甚至屏幕小部分出现暂时遮挡的情况下,在同等条件下测试准确率可达99%以上,快速性提升至20fps,完全满足系统使用要求。