视频脑电图是惊厥检测的金标准,其中的视频对于提高惊厥诊断的准确率有重要作用,但现有研究主要通过对脑电信号的分析来检测惊厥,基于视频的惊厥检测研究很少。婴儿的体型较小,四肢易被其他物体所遮挡,现有工作中直接对视频中每帧图像进行分析的做法难以有效捕捉婴儿的运动。针对此问题,论文提出一种基于视频的婴儿惊厥检测方案,该方案先从视频中检测婴儿的关键点,使用关键点组成的人体骨架来更加细致地刻画婴儿的运动,再通过对人体骨架的分析来判断婴儿是否发生惊厥。论文的主要工作和贡献点如下:第一,针对现有关键点检测工作缺少对决策级信息融合研究的不足,论文提出了视图融合模块,融合含有大量语义信息的不同层次的决策级信息,以此来得到一个综合的关键点检测结果。此外,论文设计了辅助任务模块来克服特征提取器与视图融合模块之间特征不匹配的问题,并为决策级信息提供先验知识,还采用了不同的学习策略让模型将注意力逐步转移到检测结果不够好的关键点上。实验结果表明该方法有效提升了被遮挡关键点的检测精度,且能提升多种特征提取器的性能。第二,针对检测框精度较低场景下,现有关键点检测模型的精度下降明显的问题,论文提出了一种数据增强方法,让模型在训练过程中学习在不同检测框精度下检测关键点,使得模型在推理阶段无需依赖额外目标检测器,降低了计算资源消耗。针对实际应用场景中数据缺少标注的问题,论文设计了一种渐进式的数据标注方法,利用迭代的方式一边优化模型,一边利用优化后的模型标注更多的数据,以此来降低数据标注成本。该方法在惊厥数据的关键点标注任务上取得较好效果。第三,针对现有基于视频的惊厥检测工作只利用单一粒度信息来学习惊厥特征的不足,论文设计了多粒度的信息流让模型从不同角度学习惊厥特征,并提出了正反向一致性约束来加强模型对实例级别特征的提取,同时降低模型对标注数据的依赖。除此之外,论文首次将基于骨架的行为识别方法引入到惊厥检测任务中,该方法不仅能充分提取人体骨架序列中的语义信息,还能降低关键点缺失或位置预测不准确的情况对惊厥检测的影响。论文还设计了重要性感知模块,让模型自适应地将注意力集中在信息量较大的视频帧上。实验结果表明,在使用较少参数的情况下,该方法能够以较高的准确性检测出婴儿惊厥。