可视化问答是一个跨领域的机器学习问题,可谓是人工智能的明日之星。可视化问答系统要求系统能够根据任意图像和自然语言问题输入,给出正确的答案。该任务要求系统能够有效提取图像特征和问题特征,并结合起来,通过推理得出结果。提取图像的局部特征多使用卷积神经网络,而卷积神经网络无法补充远距离依赖关系;提取文本的序列特征多使用长短时记忆,但长短时记忆无法获取局部依赖关系。针对上述问题,本文以可视化问答系统为中心目标课题,设计并实现了多渠道卷积-长短时记忆模型。该模型充分发挥卷积神经网络提取区域特征的能力,以及长短期记忆模型处理序列的能力。为了验证模型的有效性,本文先将所提出的多渠道卷积-长短期记忆模型用于文本分类。通过构建由词嵌入层,多渠道卷积-长短期记忆模型,全连接层的神经网络,尝试解决了SemEval测试中Twitter消息情感分析任务。通过数据采集,数据预处理,神经网络训练,分析实验结果等步骤,验证了新模型在文本分类任务上的可行性。对于可视化问答系统,将输入的图像内容通过基于卷积网络的模型提取特征,输入的文本内容通过多渠道卷积-长短期记忆模型提取特征,再将特征结合在一起,给出答案。通过对比基线模型和使用多渠道卷积-长短期记忆模型的实验结果,我们发现使用新模型可以提高正确率和训练速度。这也证明了多渠道卷积-长短期记忆能够有效提取所需特征,具有泛用性和实用价值,可以推广至其他领域。