近年来,随着抖音等移动应用的广泛使用,交互式推荐系统受到了广泛关注。传统的推荐系统通常关注于预测用户在特定时间点的兴趣,通常是下一个时刻,而在交互式推荐中,系统不仅需要关注用户当前兴趣,还需捕捉用户由于当前推荐产生的兴趣变化,进行长远规划,增加用户使用时间,获得收益。因此传统推荐方法无法适用于交互式推荐场景,而强化学习依靠智能体与环境不断进行交互自主学习,符合交互式推荐形式。但强化学习应用于推荐系统存在着挑战:智能体对应于推荐系统,环境对应于真实用户,强化学习需要海量交互进行训练,使用真实用户是不切实际的;智能体依赖环境的奖励反馈进行策略调整,但用户的奖励函数是未知的;现有强化学习推荐算法使用的价值网络存在高估值偏差,影响推荐效果。为解决上述问题,本文提出基于离线用户环境的深度强化学习推荐算法（Offline User Environment Based Deep Reinforcement Learning,UEDR）,构建一个离线用户环境进行用户行为仿真,利用循环神经网络从用户历史记录中学习用户行为的潜在分布,从而模拟用户行为,并将神经网络作为函数近似器学习用户的奖励函数,利用生成对抗网络的思想,使用户真实点击的项目的奖励尽可能大,用户未点击的项目的奖励尽可能小,从而进行离线用户环境的训练。同时设计一个演员-评论家架构的深度强化学习推荐算法,改进双延迟深度确定性策略梯度（Twin Delayed Deep Deterministic Policy Gradient,TD3）完成模型的训练,使用孪生价值网络解决现有强化学习推荐算法中价值网络的高估值偏差,提高推荐性能。利用真实数据集Movie Lens 100k,建立离线用户环境作为强化学习环境,训练UEDR模型并完成相关对比试验。实验结果显示UEDR相较于对比算法有较好的推荐效果,进一步的消融实验表明离线用户环境和孪生价值网络均能有效提升推荐效果。