由于电子商务的便捷性和多样性,用网络购物已经成为一种流行。但是,诚信的问题也成为电子商务发展的一个大挑战。为了提高店铺声誉、提高交易量,许多卖方雇佣水军进行虚假交易、给出虚假评价。大量虚假交易和虚假评价严重误导消费者的购买决策,并且带来极其消极的社会影响。传统的虚假检测方法主要集中于对造假卖方的甄别和过滤方法研究,很难从根本上解决问题。与这些方法不同,机制设计理论旨在从动机角度研究造假动机抑制模型(或称诚信激励模型)。现有的基于机制设计的造假动机抑制模型,虽然能够从源头角度减少卖方欺诈行为,但在动作空间扩展性和抑制卖方欺诈效果方面均存在局限性。针对上述问题,本文从减少卖方造假动机的角度出发,给出了平台与卖方的序贯博弈模型框架,并在该框架基础上提出了一种融合印象分配和惩罚的欺诈防范模型(A Fraud Prevention Model Combining Impression Allocation and Punishment,简称 IA&PR),利用深度强化学习对电子商务中减少卖方欺诈行为的问题进行了研究。具体地,本文完成的工作如下:(1)对博弈过程进行建模,给出多Agent序贯博弈模拟系统的总体架构。基于博弈理论及多Agent理论,给出了一个平台与卖方的序贯博弈模型。同时,给出多Agent模拟系统框架,作为实验模拟系统、模拟实验环境,并且用于生成和存储模拟数据。(2)给出了一个融合印象分配与惩罚的欺诈防范模型,实现了平台Agent模型。给出平台Agent的自适应惩罚规则,并根据排名对卖方进行印象分配。将平台Agent的决策过程建模为一个马尔可夫决策过程,并基于深度强化学习对平台的马尔科夫决策过程进行求解。(3)给出卖方Agent模型。设计三种类型的不诚实卖方,分别为不敏感型卖方、敏感型卖方和普通卖方。对这三类卖方的行为进行建模。(4)设计并实现了多种环境(一种卖方策略组合称为一种环境)下的模拟实验,并复原了基准算法DDPG-ANP。本文通过四套实验,比较本文给出的IA&PR算法与基准算法DDPG-ANP在抑制卖方造假动机的有效性、平台效用以及算法可扩展性三个方面的性能。实验结果表明,本文提出的算法的性能均优于对比算法,且本文算法更适合复杂且多变的电子商务环境。