在大数据时代背景下,电子商务、第三方支付等线上业务爆发式增长,随之而来的是日益猖獗的线上欺诈案件,在线欺诈检测技术作为企业风控能力的基石,通过对业务行为建模,更加精准、高效地识别欺诈案件,为广大用户和线上平台挽回损失、规避风险,发挥着巨大的作用。由于线上欺诈案件与正常交易的极度不平衡性,在线欺诈检测需要重点解决不平衡学习问题。除此以外,随着线上业务量日益增长,在线欺诈检测系统作为业务系统的核心组件,对其性能要求也越来越严格,将大数据技术和在线欺诈检测有机结合将极大地提升企业的风控防御能力。本论文从相关技术介绍切入,详细讨论了包括分布式计算框架Spark,实时流计算组件Spark Streaming在内的大数据技术,同时介绍了在线欺诈检测研究的进展。结合大数据背景,本文提出了基于聚类的数据集自平衡构建算法和分布式资损敏感Lasso算法,将两者有机结合基于Spark分布式计算框架进行了实现,并在实际在线欺诈检测数据集上进行了相关指标的测评。本论文的主要贡献有:1)提出了一种基于聚类的数据集自平衡增量构建算法,利用增量聚类算法度量类内样本的相似度,选择类内具有代表性的多个样本点构成训练集,在能够保留时序数据信息的情况下,有效解决在线欺诈检测数据集的类内、类间不平衡等问题;2)结合在线支付欺诈检测场景,提出了分布式资损敏感Lasso算法,在大数据背景下能够高效地进行模型训练,并能有效提高在线欺诈检测模型的资损率;3)基于Spark分布式计算框架和Spark Streaming实时流处理组件,无缝集成基于聚类的数据集自平衡增量构建算法和分布式资损敏感Lasso算法,验证了上述方法在大数据背景下的在线欺诈检测场景的有效性。