C-Vine Copula在复杂数据上的应用研究

来源 :沈阳师范大学 | 被引量 : 0次 | 上传用户:gwxy110
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在海量数据分析过程中,数据质量往往决定数据分析结果的可靠性,影响数据在模型算法上的应用。因此,提高数据质量成为备受关注的问题。影响数据质量的关键因素就是缺失数据。在模型的应用中,缺失数据会造成分析结果的偏差甚至导致错误结论。所以,在统计研究中将缺失数据作为重要的研究对象。现实数据通常是不平衡的,在数据挖掘中经常存在不平衡数据分类问题。所谓不平衡数据,是指数据集中各类别的样本数目极不均衡。与多数类样本相比,少数类样本中可能包含更为重要的信息,带来的价值远远超过多数类。由于传统分类算法默认数据处于平衡状态,应用在不平衡数据时会过多关注多数类,导致少数类的分类性能下降,使得到的分类结果不具代表性甚至无效。因此,研究缺失数据和不平衡数据分类问题具有重要的现实意义。本文针对复杂数据的处理,利用C-Vine copula模型描述数据之间的相关结构,提出了基于C-Vine copula的缺失数据处理方法和虚拟样本生成算法,分别对缺失数据和不平衡数据进行研究。首先,在缺失率为10%、30%、50%和70%时,利用删除法、均值插补法、随机森林插补法、多重插补法、K最近邻插补法及分类回归树插补法处理有缺失的数据集,比较C-Vine copula贝叶斯分类器(CVC)和朴素贝叶斯分类器的分类性能,并说明各缺失数据处理方法对CVC的影响。然后,根据C-Vine copula的相关知识和逆采样方法,在数据集有缺失的情况下对CVC进行优化,提出C-Vine copula缺失数据填补方法,并与常用的缺失数据处理方法对比,结果表明:与其他缺失数据处理方法相比,C-Vine copula缺失数据填补方法能够有效填补缺失数据。最后,将C-Vine copula缺失数据填补方法拓展到多维不平衡数据分类问题中,对不平衡数据集的少数类生成虚拟样本,使数据集各类别数目达到平衡。在人造数据集和实际数据集中分别应用C-Vine copula虚拟样本生成算法和SMOTE、Borderline-SMOTE、ADASYN处理不平衡数据分类问题,实验结果表明利用C-Vine copula虚拟样本生成算法处理不平衡数据分类问题具有更高的合理性,具体表现为算法所生成的虚拟样本更加符合原始样本特征,提高了传统分类器对不平衡数据的分类性能。
其他文献
福利彩票公益金是国家从福利彩票中提取用于公益事业的资金,超过一半的福利彩票公益金用于养老事业方面,即为城乡特殊困难老年群体提供生活扶助和款物接济,也在保障基本生活服务需求基础上,进一步满足老年人个性化需求。福利彩票公益金在养老领域发挥着越来越重要的作用,逐渐成为社会关注的焦点。然而,福利彩票资金的使用管理存在着越来越多急需解决的问题。因此,本文为探究福利彩票公益金养老项目资金是否很好履行了养老社会
“要用好课堂教学主渠道,使各类课程与思想政治理论课同向同行,形成协同效应。”是习近平总书记对高校各门课程任课教师的要求,以“课程思政”为目标,积极进行课程教学改革,将思想政治教育融入到专业课教学之中,推动高校实现立德树人的根本目标,成为目前面临的重要课题。旅游管理专业教师必须积极进行“专业+思政”的课程教学改革,将思政教育因子融入到旅游管理专业教学,在全员育人、全过程育人、全方位育人的原则之下,致力于实现教育与教学的双重作用。因此,构建旅游管理专业本科课程思政的教学模式很
企业面临的全球竞争使企业处于世界无限竞争的环境。全球竞争只为少数具备差异化能力的企业提供了大量的利润创造机会,其他企业正在创造一种在竞争中被边缘化的环境。在这种全球竞争下,企业必须通过差异化技术向市场提供有竞争力的产品,以实现持续增长和生存。因此,近年来对企业技术创新关注度日益高涨,研发的重要性更加突出。论文叙述了国内外学者关于企业文化、企业技术创新的文献,而且整理了有关企业文化和技术创新的概念和
传统观点认为旅游业是低能耗、低污染、低排放的“无烟产业”。但近年来,随着世界各国学者对旅游业生态效率的深入研究,部分学者提出旅游业也具有能源密集型行业的特征。从辽宁省旅游业经济发展状况看,旅游业发展状况总体平稳,稳中求进;但从辽宁省旅游业环境效益情况来看,旅游行业整体效率较低,对旅游活动过程中产生的温室气体排放对旅游环境产生的负面影响关注也较少。因此,如何提升辽宁省旅游业生态效率,以最少的能源消耗
沈阳市城市发展速度较快,城市轨道交通的覆盖范围越来越广,随着覆盖范围的扩大,管理的难度也在加大,因此提升沈阳地铁应急管理能力成为必然。地铁应急管理水平展现是城市建设管理者的公共管理的基本素质能力,也展现着城市公共建设的整体实力。但是仅依靠沈阳地铁内部管理来强化应急管理职能是不够的,还需要政府参与,发挥政府指导作用,构建完善的应急管理办法,从而形成较强的联动应急管理体系,为推进沈阳市地铁建设发挥重要
随着国家机构改革的不断深入,市场监管部门,这一重要的职能部门,承担着市场监管、行政执法、服务地方经济的职责。在市场监管诸多工作领域中,计量监管是其中重要一项,这项工作是否顺利开展直接关系到社会经济生产和百姓民生福祉。自2017年以来,中央先后出台了相应政策,对市场监管执法体制进行了全面部署,对监管人员的能力、素质和管理方法提出了更高的要求。县域计量器具监管不同于大中城市,其特殊性在于检定设备更新缓
随着我国经济社会的不断发展,投融资体制改革的不断深入,政府投资项目作为财政资金参与市场经济的特殊方式,同时发挥着带动经济发展和提高社会效益的双重作用,特别是在非常时期其作用显得更为突出。近年来,各地方政府投资项目的建设规模不断增加、领域持续扩大,如何更为高效的对政府投资项目进行管理也受到了各界强烈关注,传统的管理方式已经很难适应时代的要求。本文运用文献研究法、问卷调查法、访谈法等研究方法,从探究政
审批业务电子化对于理顺政府与市场间的关系,创新政府的管理方式,建立公平公开的市场规则,降低市场准入门槛,增强市场活力,打造良好的营商环境,意义重大。审批业务电子化是我国持续推进“放管服”改革的一个重要切入点,以其便捷、便利、高效的特点,乐于被企业和群众所接受,自试行以来,取得了显著的成绩,但是我们也要看到差距和存在的不足,还有进一步提升的空间。目前审批业务电子化仍是X市的探索实践,在X市仍大量存在
葫芦岛市地处辽宁省西部沿海,与青岛、大连等城市构成环渤海经济圈,作为东北传统重化工业基地的重要一员,目前是最具有上升空间的海滨城市之一。经济实力的快速提升的同时也带来一系列发展问题,建设用地过快扩张就是其中之一。该市发布的土地利用总体规划中指出,截止到2020年建设用地红线要控制在936平方公里以内。然而,截止到2019年底葫芦岛市目前建设用地的面积已经达到1015.38平方公里,与前期规划控制目
课堂教学与信息化技术的深度结合衍生出了一对一数字化环境课堂这个新时代的产物,它包含着教学形式生动形象、教学内容丰富多彩、教学策略科学全面等特点,并因此获得了中外教学界的一片赞誉之声。准确的分析一对一数字化课堂教学的互动行为,掌握其互动规律,不仅能够激发学生的学习热情,还能剔除课堂的无用环节,提高效率。本研究采用文献法、专家调查法、观察法和案例分析法,对一对一数字化环境下的中学课堂教学实录进行分析,