在自动驾驶场景中,准确预测行人行为意图是至关重要的技术之一。现有方法中,行人意图的预测多是基于轨迹预测和交互建模,对行人身体固有的信息利用较少。因此,本文在使用行人过马路时的骨骼关键点信息的同时,增加面部关键点信息,两者共同作为预测网络的输入。构建基于图卷积神经网络(Graph Convolutional Network,GCN)和长短时记忆神经网络(Long Short-Term Memory,LSTM)的行人通行意图预测网络,提取空间序列特征和时间序列特征,以获得良好的预测结果。本文的主要研究内容如下:(1)制作行人马路通行行为数据集。通过摄像机进行学校内部以及周围区域行人通行视频的采集,视频分为两类采集,分别是行人过马路和不过马路的视频。将采集到的行人视频进行合理的裁剪并进行视频帧分离,针对分辨率不高的视频帧进行分辨率的重建以提高视频帧质量。(2)骨骼关键点和面部关键点的提取。本文中需要对处理后的视频帧进行行人骨骼关键点和面部关键点的检测,从而根据提取到的关键点的位置信息来预测行人是否会过马路。将提取到的行人关键点位置制作成CSV格式的数据集,便于输入预测网络。本文选用开源库Openpose进行关键点信息的提取,保证检测的准确度和鲁棒性。关键点包括人体骨骼的25个关键点和面部的70个关键点,共95个关键点。(3)基于图卷积神经网络(GCN)和LSTM网络来预测行人通行意图。将CSV格式的数据经过处理后,输入到图卷积神经网络和长短时记忆模型结合的预测网络中,对视频帧的关键点信息进行时间和空间上的特征提取。通过训练网络,找到行人通行意图与行人的骨骼关键点和面部关键点的位置之间的内在联系,使得该预测网络能够根据行人的关键点的位置变化对行人是否通过马路进行判断。骨骼关键点的变化直接反应了行人的行走动作规律。面部关键点的变化可以从侧面反映出人的意图从而预测人的行为。因此,我们使用骨骼关键点与面部关键点双重信息,将其输入到神经网络进行训练,结合图卷积神经网络处理空间序列信息的能力和长短时记忆模型处理时间序列信息的能力,从而使得网络能够学会根据关键点信息预测行人是否过马路,更有效的预测行人的通行意图。