互联网的快速发展加速了信息的流通,大数据时代的到来更让商品买家面对成千上万的商品无从下手,商品推荐系统需要在海量数据中满足用户的多元化需求。当前商品推荐系统生成推荐列表大多是处于用户特征不再发生改变的前提下,然而用户和推荐系统的交互会使用户的购物状态发生改变,若商品推荐系统未能记录相应状态改变并依据当前状态进行推荐就会存在未能更好的揭示用户状态特征的问题。研究和实现一种能揭示用户与推荐系统交互下用户特征的商品推荐系统将具有重要的研究和实用价值。本文有两个创新点。第一个创新点是提出了将商品品类、商品品牌和商品ID多种元素通过多层深度学习网络生成包含更多商品信息的向量。第二个创新点是提出了状态分组机制,把用户相关商品行为设计分数并按照同一分数纳入同一分组,方便后续根据余弦相似度预测相关商品行为减少计算量,这也是在为生推荐列表提速。然后本文在前述研究的基础上,一是实现了基于深度强化学习的Actor-Critic框架;二是设计和实现能调用Actor-Critic框架生成推荐列表的商品推荐系统,从注册用户、商家、管理者用户这三类角色进行核心功能的划分,实现了用户注册、商品查询、商品购买、订单评价等商品推荐系统常有的功能;三是储存注册用户的商品行为日志,以便为推荐模型下一次迭代优化提供数据集。本课题完成了对核心功能的测试,验证了基于深度强化学习的商品推荐系统能够有效完成用户注册、商品查询、商品购买、订单评价等功能,并且能根据用户当前状态进行相应的推荐列表生成。该系统在推荐准确度上与多个推荐算法进行短长期的准确度比较,短期准确度达到40.5%,长期准确度达到63%,同时与多个模型的AUC指标比较达到77.94%,可有效保证依据用户状态生成推荐列表的准确性。