缺失数据的半参方法与其他方法的比较及应用

来源 :长春理工大学 | 被引量 : 1次 | 上传用户:dianzishu1981
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
数据缺失问题在实验研究过程中是普遍存在的问题.多协变量存在缺失数据的情况时常出现.如果仅仅忽略存在不完整信息的样本,可能会造成大量的信息丢失,甚至造成偏差.具有非单调缺失模式随机缺失机制性质的数据是最常见的数据缺失类型.本文针对非单调缺失模式随机缺失机制的数据,主要研究半参数方法对缺失数据的处理问题,将半参数方法与包括完全案例分析法、均值插补法、多重插补法、EM算法以及BP神经网络法在内的常见缺失数据处理方法进行比较,比较其包括偏差、标准误差和覆盖率在内的性能,并在缺失数据处理后的基础上进行回判,得到不同方法在不同缺失率下的准确率.本文主要的工作内容和结果如下:首先,选取两组完全数据集,鸢尾花数据和乳腺癌临床医学数据,分别设定含有缺失数据的协变量数量为2和3,模拟非单调缺失模式随机缺失机制下缺失率为3%、5%、10%、20%、30%和40%的情况,分别在不同缺失率下运用完全案例分析法、均值插补法、多重插补法、EM算法、BP神经网络法和半参数方法处理缺失数据.然后,选择一组不完全的脂肪肝临床医学数据集.模拟与该不完全数据集相似的数据,分别采用完全案例分析法、均值插补法、多重插补法、EM算法、BP神经网络法和半参数方法进行处理,比较各种方法处理后得到的性能和回判准确率值,选取性能较好准确率较高的半参数方法和BP神经网络法以及医学研究中最常用的完全案例分析法,应用于实际脂肪肝临床医学数据中进行对比.模拟实验证明,当缺失率较低时,用完全案例分析方法处理缺失数据效果稍好;随着缺失率的上升,完全案例分析法、均值插补法和多重插补法的准确率下降较快;EM算法的稳定性稍优于前三种方法;BP神经网络方法在缺失率为20%-30%时优于其他几种方法;半参数方法受缺失率的上升影响最小.实际应用于不完全的脂肪肝临床医学数据上,完全案例分析法的准确率最低为69.7905%,半参数方法和BP神经网络方法处理缺失数据后的准确率较高一些,分别为75.9283%和79.9436%.
其他文献
随着深度学习的不断发展,深度学习已经在图像、语音、自然语言处理、大数据特征提取等方面获得广泛的应用。越来越多的领域在融入深度学习技术之后,使得原本比较难处理的任务
“互联网+”的发展使得企业创新生态系统的内外部环境发生巨大变化,催生出多样化的价值共创模式,对于企业创新生态系统价值共创模式的研究有助于企业转变价值创造思维,更好地
计算机自适应测验(CAT)选题在实际应用中不仅需要考虑统计优化问题而且需要满足非统计约束。统计优化指测验要保证有较高的测量精度,而非统计约束指测验的组成满足一定的测验规范,如内容约束、题型约束、维度约束以及项目曝光控制等。同传统CAT一样,满足非统计约束也是多级评分多维CAT应用中需要解决的重要问题。多维计算机化自适应测验(MCAT),不仅可以获取被试在多个维度上的能力和特质信息,还可以提高测验的
随着物联网时代的到来,海量数据对网络的带宽、计算吞吐量带来严重负担,同时对计算与通信有苛刻的实时性要求,而传统的云计算方法无法解决这一瓶颈。为缓解这一问题,欧洲电信
在信息时代下,随着互联网技术的发展以及信息传输速率的加快,海量的数据等待着挖掘,数据的种类不断增多,因此,在海量数据中通过某种模态数据去检索其他种类的模态数据是这个
视网膜眼底血管作为人体内在无创伤条件下,唯一可供观察的内部血管系统,一直受到研究人员的广泛关注。眼底图像包含了与疾病相关的丰富信息,人体很多重要的全身性系统疾病都
随着软件定义网络在网络虚拟化、数据中心网、物联网、云计算等领域的飞速发展和大规模商业应用。软件定义网络的安全性问题愈来愈得到关注,针对软件定义网络的侧信道攻击是其面临的重大安全性问题之一。提出了一种面向软件定义网络的侧信道攻击的检测和防御的手段。通过准实时计算控制器收到的Packet-In请求的速率并对接收到的Packet-In消息进行信息统计,实现侧信道攻击的检测。并通过流规则预安装、流规则动态
近年来,科学技术迅猛发展,以视频为主的多媒体技术也迅猛崛起,大量日益增长的视频数据不断进入日常的生活。从海量视频中寻找所需要的视频,成为关注的热点问题。传统的基于文
当建筑物发生火灾时,常需要消防员进入室内进行灭火和救援。由于对建筑物内部结构不了解以及火场动态性的影响,消防员可能无法实时找到最佳救援路线,从而错失最佳自救和营救
骨科疾病种类繁多、专业背景复杂,且极易出现漏诊误诊情况。基于医学图像处理关键技术的骨科疾病计算机辅助诊断系统能够利用二维、三维可视化方式定位显示病灶位置区域、测