随着互联网的发展，移动终端的普及，海量数据正在以指数级速度爆炸式增长。随着数据不断积累以及计算能力不断提高，以深度学习手段为代表的数据驱动式机器学习方法逐渐成为了学术界研究与产业应用的热点。　　当前深度学习方法往往依赖大量标注训练数据，依据具体任务，来设计针对特定目标损失函数，通过逐层前向传播与误差反向传播算法，以“端到端”方式逐步优化整个网络。这种“端到端”的做法将一些可灵活引入先验知识的手段（如特征设计与选择等）交由模型来处理。虽其可减轻研究人员负担，但这一“数据驱动”方法却带来了学习结果解释性差、泛化能力不强等不足。　　将数据中所隐含的特定先验知识与深度学习算法相结合，可使算法优化有的放矢，避免其在求解空间中盲目搜索，从而得到性能更加优良，用途更加广泛的模型。为此，本文主要研究了将不同类型与来源的先验知识与深度学习相结合，以设计有效算法来解决实际问题的思路与方法:　　1)结合跨媒体组合语义知识的深度学习方法。在跨媒体数据中存在着大量的组合语义，这些组合语义刻画了大量知识（如文本中主谓宾三元组知识及图像中视觉对象空间知识）。跨媒体数据中不同模态知识之间存在着对应关系（本文将其称为跨媒体组合语义关联知识）。例如在一篇描述观众在路边观看运动员骑自行车比赛的新闻报道中，文本中包含了<运动员，骑，自行车>，<观众，观看，比赛>等三元组知识，图像中包含了“骑车的运动员”及“看比赛的观众”这样的视觉对象空间知识。同时，文本内容与图像视觉内容相互对应，协同表达了高层语义，体现了跨媒体组合语义关联知识。这些知识在人看来是显而易见的，但是许多算法却没有很好利用这些知识。跨媒体组合语义知识在语义层面，将不同媒体内容有效关联在了一起，为跨越多媒体数据语义鸿沟提供了十分重要的线索。因此，本文介绍的算法将跨媒体组合语义知识与深度学习相结合，更有效地学习跨媒体数据分布式表示，其本质在于通过特征表示与语义对齐学习跨媒体数据中丰富的组合语义知识。将该方法应用到跨媒体数据分布式表示学习中，能使学习到的分布式表示更加充分地表达数据语义。该方法在跨媒体检索，跨媒体推理等应用中均能取得不错的成绩。　　2)结合用户隐性行为知识的循环神经网络方法。互联网应用中积累的大量用户行为信息是学习与分析用户行为的重要资源。用户历史行为会对后续行为产生指导与影响。例如:在互联网上买过衣服的用户很可能也会在互联网上买裤子;去过故宫的用户很可能也会去北海公园。在使用深度学习方法学习用户行为时，如何有效从用户隐性行为知识中学习出用户行为模式与习惯是值得探讨的研究内容。因此，本文设计了一种结合用户隐性行为知识的循环神经网络方法。通过多层循环神经网络结合方法，对用户短时行为和长时行为分别建模，再利用注意力机制将用户历史行为中隐性知识作为辅助参考，有效计算并预测用户未来行为。本文将该方法应用于地图检索推荐任务，通过分析学习大量地图检索记录数据，其能有效计算并预测用户下一次检索行为。利用该方法同时还能学习到富含语义信息的地图关键词分布式表示。　　3)结合局部知识与全局知识的记忆神经网络方法。在大量记录所包含的知识中，一些知识体现了个体特征，可称之为局部知识;另一些则体现了群体特征，可称之为全局知识。例如:局部知识可为某个人是否对某种药物过敏，全局知识可为几乎所有人感冒了都会发热。在深度学习模型中使用不同方式学习局部知识与全局知识将能更好的在模型层面体现出这两种知识的差异，并且使模型同时具有理解个体特征与理解全体特征的能力。因此，本文将局部知识与全局知识和深度学习方法结合起来，提出了结合局部知识与全局知识的记忆神经网络方法。通过将局部知识记录在局部记忆模块中，同时将全局知识记录在全局记忆模块中，该方法有效学习了大量记录中的隐含信息。本文将该方法用于分析预测医疗病历数据，将某种疾病单个病人个体知识作为局部知识，该种疾病群体知识作为全局知识，并据此计算并预测病人病情发展，以及需要使用的药物。　　4)结合短距离关联知识与长距离交互知识的深度学习方法。在一个以实体为节点和以关系为边的知识库中，每一条联结两个节点的边都表示了一种短距离关联知识（如节点“Andrew”通过边“son”与节点“James”相连，又如节点“James”通过边“mother”与节点“Christine”相连）。两个有边相连的节点之间通过多条边组成的路径刻画了长距离交互知识（如节点“Andrew”通过边“wife”与节点“Christine”相连，同时节点“Andrew”通过边“son”与“James”相连，继而通过边“mother”与“Christine”相连，这表示了边“wife”与路径“son→mother”在某种程度上具有等效语义）。知识库中短距离关联知识与长距离交互知识均包含了丰富语义。在学习知识库中实体和关系表示时，若能同时学习其中的短距离关联知识与长距离交互知识，就能学习到具有丰富语义信息，且能保持知识库原有结构的表示方式。因此本文将短距离关联知识与长距离交互知识和基于深度学习的分布式表示学习方法相结合，提出了结合短距离关联知识与长距离交互知识的深度学习方法。该方法通过挖掘知识库中有价值的长距离交互知识，并将其用于知识库分布式表示学习中，在约束短距离关联知识的同时约束长距离交互知识，从而学习到能用于有效补全知识，发现新关系的知识库分布式表示。　　本文围绕将数据中所包含的先验知识与深度学习算法相结合这一思路，研究了包括将跨媒体组合语义知识、用户隐性行为知识和局部知识与全局知识，以及短距离关联知识与长距离交互知识与深度学习方法相结合的多种模型。本文所设计的方法通过挖掘与合理利用数据中知识，并将其与深度学习模型相结合，得到了与应用结合更为紧密的机器学习模型。