基于多光谱信息融合的行人检测是无人驾驶、智能视频监控等全天候应用中的核心技术,其具体指针对同一场景,同时采用红外和可见光两种视觉传感器获取多光谱（红外和可见光）图像作为输入源,并利用两者的互补性,区分行人目标和背景,完成场景中行人目标的定位,弥补只使用可见光作为输入源的传统行人检测难以应对光照变化、恶劣天气的缺陷。由于多光谱行人检测性能的优劣极大程度上依赖红外与可见光融合机制的优劣,且红外与可见光属于两种模态,两者融合时,各模态对行人检测网络的贡献比重也不能单纯依据白天和夜晚划分,所以多光谱行人检测不仅具有实际应用价值,还面临着诸多挑战,成为学术界研究的热点和难点。论文主要针对选取合适的融合时机和融合方式等方面,设计一种基于红外和可见光两种模态的融合机制,以融合红外和可见光模态,为行人检测提供互补的信息,从而提升行人检测的性能。主要研究内容及成果如下:（1）多阶段特征融合信息复用机制下的多光谱行人检测网络。针对现有一些多光谱行人检测算法只选用某单一特征层做红外和可见光的特征融合,导致特征信息浪费,从而造成行人漏检和误检的问题,提出了基于多阶段特征融合的多光谱行人检测网络。首先,成对的红外和可见光图像经由双流VGG16网络分别提取中间层特征做早期特征堆叠融合,获得早期融合特征,并基于融合特征生成行人建议。区别于单阶段融合直接使用早期融合特征完成后续检测任务,多阶段特征融合策略将生成的每一个行人建议先映射回三个多模态特征进行多特征池化,再进行高层池化特征加权融合,同时使用高低层特征池化策略组合池化特征,以完成高低层特征的联合。最后将池化特征送入全连接层完成检测任务。实验结果表明:在Kaist多光谱行人检测数据集上,获得76.24%的行人检测精度,行人平均漏检率下降至27.63%。（2）模态自适应权值学习机制下的多光谱行人检测网络。针对目前基于红外与可见光模态融合的行人检测算法难以自适应外界环境变化的问题,提出基于红外和可见光信息融合权值学习的行人检测网络。首先,区别于目前大多数研究采用的两模态直接堆叠融合策略,权值学习融合网络考虑两种模态在不同环境条件下对行人检测任务的不同贡献比重,通过双流网络学习二者差异;再根据各模态特征的当前特性自主获得各模态特征的相应权重,进行加权融合得到融合特征。最后基于融合特征生成新的特征金字塔,并改变先验框的尺寸和密集度以丰富行人先验信息,完成行人检测任务。实验结果表明:在Kaist多光谱行人检测数据集上,获得76.55%的行人检测精度,行人平均漏检率下降至26.96%。（3）多模态交叉指导学习机制下的多光谱行人检测网络。针对目前基于红外与可见光模态的特征生成模块大多相互独立,缺乏模态间长期依赖关系,导致不同模态特征差异较大,影响融合效果,造成目标误检和漏检的问题,提出基于双流多模态交叉指导学习的行人检测网络。首先,成对多模态图片送入特征生成模块生成高低层特征,从中间层特征开始,成对多模态特征送入权重感知模块。区别于一般融合机制只用来生成融合特征,权重感知模块还输出各模态的加权特征,并将其分别返回另一模态的特征生成模块,从而将加权信息以联合交叉指导的方式逐步传输到下一层,建立模态间的长期依赖关系;然后融合特征输入下一阶段的权重感知模块,以加强不同阶段融合特征之间的联系,获得更具判别力的特征。最后提取不同尺度的特征层送入检测层,生成行人目标的位置和得分。实验结果表明:在Kaist多光谱行人检测数据集上,获得77.16%的行人检测精度,行人平均漏检率下降至25.03%。