随着人工智能技术的迅猛发展,使用图像或声音信息表征目标的方法日益增多。由于目标所处物理环境的信息多样性和复杂性,单独使用视觉或听觉信息难以完整表征感知目标。为此,本文围绕视听觉信息特征提取与融合方法展开研究,实现低信噪比环境条件下对目标视听觉信息的综合处理、融合与感知。主要研究工作如下:首先,本文建立了包含900秒声音和1150张图片的数据集,并根据实际环境中的噪声干扰、增益异常等情况,通过设定信噪比、增益等参数,对初始数据集进行扩增,获得了包含9955秒音频和12595张图片的扩增数据集。然后,本文分析了残差结构的顺序对网络性能的影响,提出了一种基于改进残差结构的听觉信息特征提取模型和基于多层卷积神经网络的视觉信息特征提取模型。对于提出的模型,分别在公开数据集ESC-50、CIFAR-10以及本文建立的测试集上进行了分类实验,并与预训练模型VGGish和VGG19进行了对比,证明了特征提取模型的有效性。接着,本文在模型融合、特征拼接和互关联自编码器三种视听觉信息融合方法的理论基础上,提出了一种改进的基于互关联自编码器的视听觉信息融合模型,该模型在自编码器的基础上添加了视听觉信息的隐层关联损失,从而获得视听觉信息相互关联的隐层表示,并在损失函数中添加了正则化项,从而避免视听觉信息隐层表示的过拟合倾向,保持隐层信息的可利用性。最后,本文使用F1分数评价指标与T-SNE评价方法对上述特征提取与融合方法的分类实验结果进行了评价分析。结果表明,仅使用听觉信息表征时,目标识别准确率最高为47.5%,F1分数最高为0.407;仅使用视觉信息表征时,目标识别准确率最高为60.8%,F1分数最高为0.611;使用基于互关联自编码器的视听觉信息融合方法时,目标识别准确率最高为84.2%,F1分数最高为0.846,比单独使用视觉或听觉信息表征时识别准确率提高了至少23.4%,F1分数提高了至少0.235,有效提升了低信噪比环境条件下的目标感知性能。