得益于互联网和移动设备的广泛应用,以信息流形式为基础的电子商务平台和短视频平台正在占用更多的流量和用户时长。为了解决“信息过载”问题,个性化推荐系统成为了互联网厂商重点发展的核心技术。本文以多媒体推荐系统为研究课题,主要关注大规推荐排序算法中普遍存在的挑战,重点研究了利用深度学习和多模态学习解决用户冷启动,物品冷启动,小样本量等问题。主要内容分为三部分。第一,物品冷启动。物品冷启动指的是新的物品加入推荐系统中,由于不存在过往的用户行为数据,导致系统无法准确将该物品推荐给合适的用户。而传统的推荐算法往往无法高效利用物品本身的多媒体内容信息,例如标题,描述,图片等,因此可以利用对物品内容的刻画预估对该物品感兴趣的用户。相比于对比方法,本文提出一种基于对抗学习的多模态学习方法,为冷启动物品的内容表达自动提升权重,从而提高了冷启动物品的推荐效率。该方法在Pinterest公开数据集上验证了有效性,在点击率和排序效果上均提升超过14%。第二,用户冷启动。用户冷启动指的是新的用户加入推荐系统中,由于系统缺乏其基本信息和过往行为数据,无法准确为其提供推荐。本文提出了一种混合兴趣表达模型,将用户对物品的兴趣分解个性化兴趣与半个性化兴趣,半个性化兴趣被表示成用户到不同群组的相似度与这些群组对物品的加权兴趣概率的乘积。并提出了一种可以端到端训练的用户兴趣建模模型,其中可以按批实现聚类。作为一个兴趣表达框架,混合兴趣表达模型可以融入当前主流的任意推荐算法,并通过用户群组建模推高其结果。该方法在2个公开数据集和1个工业界真实数据集上验证了有效性和普适性,大幅度提高对低活跃度用户和冷启动用户兴趣预估的准度。第三,小数据量场景下的多媒体推荐算法。深度学习尽管在数据量充足且标注准确的情况下,能够超过传统方法,但在数据量不足的情况下,决策树可能更为适合。本文为基于会话的推荐引入了一种称为TSE的新嵌入方法。给定用户的观看列表（会话）和目标物品,TSE将每个物品联合嵌入会话中,同时考虑会话中所有项目之间的相对位置和关系。这种嵌入方法使推荐系统可以对最近的观看项目进行更多加权,并挖掘用户的长短兴趣。同时使用多头注意力对序列嵌入再进行非线性变换。嵌入之后,推荐就归结为分类问题。通过创新的使用梯度提升决策树处理神经网络嵌入,TSE获得了更好的性能。TSE方法在2019年ACM世界多媒体年会和Hulu主办的基于内容的视频关系预测大赛中获得冠军。