自闭症谱系障碍(Autism Spectrum Disorder,ASD,以下简称自闭症)是一种神经发育障碍,对自闭症儿童生理信号分析可以用于其认知发展的客观评价。在个体社会发展中情绪认知能力十分重要,自闭症儿童的情绪认知缺陷对其社会互动能力造成了极大的影响,阻碍了自闭症儿童的社会性发展。研究表明,自闭症儿童在发育早期表现出异常的情绪认知能力可用来辅助筛查自闭症与典型发展儿童(Typical Developing,TD)。生理信号可以客观反映儿童的情绪认知状态,脑电信号以及眼动数据的非侵入式研究能够从多角度观察大脑的认知活动。本研究共采集40名自闭症儿童和40名典型发展儿童的脑电数据和眼动数据,分别对两类数据进行差异化分析探索显著性特征,并提出CNN-LSTM(Convolutional Neural Networks-Long Short-Term Memory)与 MLP(Multilayer Perceptron)混合模型融合这些特征提升自闭症与典型发展儿童分类的精度。具体研究内容如下:研究采用2(儿童类型:ASD,TD)×2(情绪类别:正面情绪,负面情绪)双因素混合方法实验设计,以实验中儿童类型作为主体间变量,以情绪类别作为主体内变量,以儿童观看两类视频的脑电及眼动指标作为因变量,探究两类儿童在不同情绪视频诱发下的各自表现以及数据差异。研究通过对被试儿童在情绪视频诱发条件下额叶、颞叶、枕叶等脑区的脑电活动进行分析,结合情绪性能指标和认知水平发现自闭症儿童脑波总体呈现出低频(Delta,Theta)和高频(Beta,Gamma)功率过大而Alpha频段功率较低的特点,不同脑区的差异程度不同。自闭症儿童在不同情绪刺激下的情绪变化远小于典型发展儿童,并在正面情绪下有更高的兴趣度与参与度;同时分析了两类儿童在不同情绪视频材料诱发过程中的眼动追踪,探究自闭症儿童和典型发展儿童的眼动加工情况的差异性。结果表明,五项眼动指标(注视点数、平均注视时间、平均眼跳距离、注视时间比和社会优先性分数)的分析结果均表现为儿童类型主效应显著,自闭症儿童在正面情绪下,对视频材料的兴趣度更高。根据上述两类生理信号的差异化分析,本研究选择主体间差异显著的指标进行深入分析,提出CNN-LSTM与MLP的混合模型对被试儿童生理信号进行特征提取与数据融合,完成两类儿童的分类。该模型将经CNN-LSTM提取到的脑电特征、与经MLP提取到的眼动特征进行特征层融合后使用Sigmoid函数进行二分类,实验结果显示,通过CNN-LSTM模型基于脑电信号对两组儿童进行分类,准确率达到了 69.9%;通过MLP基于眼动数据对两组儿童进行分类,准确率达到了 67.1%;而将二者融合后分类效果有所提升,准确率达到了 75.2%,相较于只选择单一数据的分类,准确率有了 5%左右的提高。本文以自闭症儿童的情绪认知异常为切入点,采用双因素混合实验设计方法对两组儿童选取的特征进行分析释义与对比,构建基于CNN-LSTM与MLP的混合模型对生理信号进行数据融合与分类,取得了较好的分类结果,为自闭症儿童辅助诊断提供了有效的客观依据。