基于KNN的缺失数据在线填补方法及其在信用评估中的应用研究

来源 :湖南大学 | 被引量 : 0次 | 上传用户:ZDLANJIBA
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着云计算、物联网等技术的发展,我国的信贷业务规模越来越大。如何全面的地准确地评估客户的信用风险,展开个性化的授信金融服务,既是商业银行、小额贷款公司等传统金融机构风险控制的核心环节,也是新兴互联网金融机构业务经营的痛点,持续攀升的不良贷款率更是逼迫着各类金融机构不断提升其风险管理水平。过去针对信用评估的研究多集中于信用评估机器学习模型的设计,而忽视了对数据集中缺失值预处理的研究。事实上,研究人员在不断深入客户信用评估理论与实践研究的过程中发现客户数据常常拥有许多的缺失数据,这在很大程度上会影响到客户信用评估模型的效果。其次,当今众多的信用业务数据都是动态到达的流式数据,在面对这类数据时,数据仅能访问一次,如何利用有限的计算资源对实时的数据流信息进行快速的缺失数据处理是一个很值得研究的话题。
  K近邻算法是一种在线技术,可以充分利用新数据带来的信息,但是在数据量较大的情况下,其近邻的搜索具有较高的时间复杂度。K近邻算法常用的距离度量指标——欧式距离认为所有属性都是同等重要的,这容易导致填补效果受到无关属性的误导。鉴于此,本文提出了一种结合层次聚类树、最大信息系数的K近邻缺失数据在线填补方法。该方法的核心过程有两个,一个是聚类树的构建,另一个是K近邻的应用。而这两个过程都依赖于样本间的相似性度量,本文采用一种近似的欧式距离,即用最小外接矩形的概念来表示聚类树中某个内部节点包含的所有数据点的空间范围,在保证一定精确度的情况下确保提高数据的处理效率。该方法在流数据点的接收过程和处理过程是同步进行的,可以实时地反馈填补结果,可以不需要等在线数据流中的全部数据都存储在本地内存中之后才进行缺失值的填补。同时,在对缺失数据进行填补的过程中考虑属性间的非线性相关关系,即使用最大信息系数来衡量属性间的相对权重,充分发挥与待填补变量相关性较强的变量的作用,降低相关度较弱的变量对缺失数据填补的影响,从而提高数据填补的准确度。
  为了验证本文提出的填补方法在客户信用缺失数据填补方面的准确性,高效性和稳定性,本文通过四个信用数据集进行了对比实验。实验结果表明,本文所提出的算法在各个方面都要优于其他填补方法。
其他文献
前两天不小心患了感冒,本来像这种小病我一般都自行买药解决,但这次吃了三四天药,病情都没有一点儿减轻的迹象。没办法,只好给哥们儿小王打电话,打算去他那瞧瞧。  小王以前在一家社区医院当医生,工作甚是轻闲。这家伙头脑灵活,会来事,去年底不知通过什么关系,竟然离开社区医院,到了一家二级甲等医院坐診,一下子风光起来。前阵子,我在大街上碰到小王,他得意地告诉我最近买了一套三室大房子,年底搬进去,让我一定过去
期刊
前段时间,闺蜜和我讲了她前半生做得最错的一件事。从小到大,闺蜜一直觉得自己的不幸福是父亲一手造成的,因为她清楚地记得是父亲提出了离婚,即便他净身出户,也在她幼小的心里埋下一颗怨恨的种子。母亲也常在她面前数落父亲的不是,这让她更加仇视父亲。父亲到学校给她送生活费时,她接过钱,扭头就走。  几年后,闺蜜和母亲的家拆迁了,搬到另外一个城市居住,就这样如她所愿和父亲断了联系。再后来,她上了大学。  一天,
期刊
网瘾少年  “120远点有人。”  “后面一个,别被偷了!”  “救我救我!”  距离成都市中心几十公里外的翼都电竞学院里,二十几名少年正在“疯狂厮杀”。3月寒气刚退,照理说,这群未满18岁的孩子应该在教室迎接新学期的开始。现在,迎接他们的是为期两个月的封闭训练。  电竞学院走廊的玻璃墙上,除了校长和教练的个人介绍,大篇幅是关于“电竞劝退”的新闻报道。少年每天都会穿廊而过,但很少有人駐足。对他们来
期刊
100多年前,安徽都督柏文蔚不会想到,自己租住的这幢环龙路老渔阳里2号(今上海市南昌路100弄2号)的“柏公馆”石库门,因为给同乡好友陈独秀居住,在一个世纪后,与霞飞路新渔阳里6号(今淮海中路567弄6号)石库门,同被认定为中国共产党的发源地、中共创建初期的重要活动场所。  40多年前,上海市民赵文来也不会料到,自己因为住进老渔阳里2号,这幢普通的石库门,而成为“名人”,众多来到这里的瞻仰者,在缅
期刊
凌晨4点的烟火气  要说疫情中最悲剧的亚洲国家,除了印度,非泰国莫属了。受疫情影响,2020年泰国遭受了1997年亚洲金融危机以来最大的经济滑坡:GDP同比下降6.1%,失业人口占到了总人口的10%。  疫情不仅给泰国人民带来了巨大影响,由于国门关闭,普吉岛、清迈、苏梅、芭提雅的明媚阳光、水清沙白,也让众多国外驴友直呼——好怀念,馋极了。泰国的一众网红海岛当然是泰国之行的打卡地,但今天笔者要说的,
期刊
刘姨前几年退休了,每个月的退休金数额,时常让我这个上班族心生羡慕。和一些老年人一样,刘姨退休后迷上了买保健品,并对此深信不疑。一年到头,退休金基本全投进去了,有时可能还不止这些。家人别提多着急了——花钱没事,但往骗局里扔,搁谁都心疼。大家开始轮番上阵劝说,又是举案说法,又是理论说服。可惜,不但没收到理想效果,反倒巩固刘姨“坚持到底”的决心了。  这也难怪,那个推销员对刘姨是真用心,不定时的关心十分
期刊
我到北京闯荡,做小生意赔光了钱,只能回家。临走时,同住地下室的咏梅送给我两盒她母亲从新疆寄来的奶豆腐月饼。  我第一次听说奶豆腐月饼,还是从几千里外的新疆寄来的,这两盒月饼对我来说特别珍贵。  坐上火车,离家越来越近,心却越来越焦躁,当初意气风发地辞职,如今却落魄而归,回家再找工作也非易事。说来也巧,我下火车等公交时,偶遇原单位负责人事的石经理,在单位时她对我不错,人也和气,我打算让她帮我问问老板
期刊
择友进行时  商君也是一个王老五,但级别差点儿,算不上钻石。  我们几个朋友凑在一起,曾专门为商君清算了一下个人资产,明细如下:两厢宝来汽车一辆(七成新);闹市区80平方米的商住房和二环外90平方米的回迁楼共两套;股票账户有资金50万元(缩水前,现有剩余约28万元,等待解套);银行账户存款23万元(包括建行、工行、招商行、农业银行等各个户头),信用卡两张忽略不计;如果单位不亏损自己不下岗还能保证月
期刊
曲线之美  当那些曾经登上《时代》周刊封面的第一代“打工妹”逐渐老去,当作为立国之本、强国之基的中国制造业,进入技术升级与劳动力结构转型加速的进程中,当社会经济文化和价值观处于更加多元的背景下,我们不禁发问:那些从校园走入工厂的95后甚至00后女孩,为何仍会选择在隆隆机器声中绽放青春?  昔日工厂中的第一批女工,很多是来自偏远地区的进城务工者,她们大多没有接受过良好的教育,初中毕业后便结伴外出打工
期刊
随着互动式社交平台的发展和Web2.0技术的落地,新的商业模式不断应运而生,而众包便是其中最有前景的模式之一。众包模式通过广泛的聚集整个互联网社区的生产力和创造力,使得组织和个人能够充分地利用互联网社区的群体智慧资源来解决实际问题得到了快速的发展。然而,近些年随着众包型平台和网站的蓬勃发展,众包任务和群体智慧资源的数量不断激增,按照传统的自主搜索的方式进行选择和匹配,出现了众包平台运行效率低下、搜索成本极高、定价机制不合理和群体资源流失等问题。因此,研究众包平台下发包方(即任务发布方)和接包方(即资源提供