随着电子商务市场规模的持续扩大,商品种类不断增多,面对琳琅满目的商品,用户如何快速、准确的寻找自己最喜欢或最需要的商品成为用户和电商商家最关心的问题。商品推荐系统能够自发为用户寻找最符合其偏好的商品,成为解决“信息过载”问题的重要方法,因此,研究如何提升商品推荐精准度是一个兼具学术价值和商业价值的课题。传统推荐方法存在数据稀疏、冷启动、特征识别等问题。而深度强化学习在强化学习的基础上引入深度神经网络,使其同时具备深度学习的自动特征识别能力和强化学习的策略决策能力。为了解决传统推荐方法存在的问题,本文基于深度Q网络(DQN)引入竞争架构(Dueling Network)和长短期记忆网络(LSTM),提出一种考虑用户负反馈和商品购买时序性的深度神经网络结构,同时构建基于深度强化学习的商品推荐模型,使其更适用于用户-商品特征识别和商品推荐策略决策。本文的主要工作如下:(1)对传统推荐技术和当前流行的推荐技术进行详细评述,总结目前推荐技术中存在的缺点和不足,提出本文的研究内容;(2)分析传统DQN网络结构用于商品推荐的不足,并针对不足设计考虑用户负反馈和商品购买时序性的深度神经网络结构。该网络采用竞争架构(Dueling Network)和长短期记忆网络(LSTM)对传统DQN网络结构进行改进,一定程度上解决了无法对正负反馈数据区分性训练,以及无法对商品购买中存在的时序性特征进行提取的问题;(3)构建基于深度强化学习的商品推荐模型。该模型基于上述改进的DQN网络结构,分为数据获取、线下训练和线上更新三个部分。首先构建用户和商品相关特征存放于用户-商品特征数据库;然后利用用户和商品间的交互日志线下训练得到离线模型;最后将预处理后的数据输入到训练好的改进DQN网络中,进行线上模块的更新;(4)设置多组对照实验对所构建的模型进行实证,验证模型在商品推荐精准度和多样性上的优越性。本文提出的考虑用户负反馈和商品购买时序性的深度神经网络结构,在一定程度上解决了传统DQN网络无法对正负反馈数据区分性训练,以及无法对商品购买中存在的时序性特征进行提取的问题;构建基于深度强化学习的商品推荐模型,解决了传统商品推荐模型中的两个问题,一是只考虑最大化当下回报而忽略未来回报,二是利用历史数据中频繁出现的特征进行学习和推荐,使用户感到厌倦。实验结果表明,本文提出的基于深度强化学习的商品推荐模型与对照组模型相比,在准确率、召回率、MAP、NDCG和商品多样性这五组指标中均具有突出表现,未来可在本文研究内容基础上继续拓展,进一步提升商品推荐的精准度。