面向大数据基于DEA和RBF/SVM的预测方法研究

来源 :南京邮电大学 | 被引量 : 0次 | 上传用户:zoevivi
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在大数据时代,如何利用大数据进行有效分析已经成为各行各业关注的焦点。由于大数据的来源、数量、结构形式的不同、实时性等多样化的特点使其涵盖的价值很高,但其价值密度却很低。大数据集中存在的数据噪声和数据冗余会对数据分析产生不可估量的负面影响。此外,大数据集中还涵盖了多个变量之间的函数关系,可能会对数据分析结果产生一定的偏差。因此,在利用大数据进行分析研究之前首先要对大数据进行数据预处理,剔除冗余和无效数据。然而传统的大数据预处理方法并没有考虑变量之间的函数关系。数据包络分析(Data Envelopment Analysis,DEA)可以有效处理由变量之间函数关系引发的偏差问题。在利用DEA进行数据预处理的过程中,无需预知输入输出变量之间的函数关系、无需事先设定权重,通过求得的效率值筛选得到最有效的数据,剔除异常值和冗余值,在不改变数据质量的前提下缩减数据的数量,是一种可以应用于机器学习的数据预处理的有效方式。此外,常用的大数据建模工具不能有效地对包含复杂非线性关系的大数据进行建模。目前关于大数据建模比较好的方法有径向基函数(Radial-Basis Function,RBF)和支持向量机(Support Vector Machines,SVM)。RBF可以任意精度逼近任意非线性变量关系,更好的处理变量之间的复杂规律,为预测模型的发展提供了一个新的思路和办法,且预测精度较好,都取得了让人满意的效果。SVM能有效克服样本分布、冗余特征以及过度拟合等因素的不利影响,并在小样本、非线性预测方面具有较大优势,较好地解决了高维数和局部极小点等实际问题,具有很强的泛化能力。因此,本文选择RBF和SVM作为预测研究的主要模型。基于DEA数据预处理的有效性以及RBF和SVM预测精度较高的优点,本文提出了融合DEA和RBF、SVM的两种预测方法(DEA-RBF和DEA-SVM)。利用DEA进行数据预处理,筛选出最有效的数据集,减少RBF和SVM的训练时间。此外,在保持大数据普遍性的前提下消除了异常值,防止将具有负面影响的数据应用到RBF和SVM中,继而使得模型的预测精度更高。本文将DEA-RBF和DEA-SVM这两种改进的模型与单纯的RBF和SVM模型进行了对比研究。从时间成本和预测精度两个方面来看,与单纯的RBF和SVM模型相比,DEA-RBF和DEA-SVM两个模型均在训练时间减少的情况下提高了预测精度,预测效果较好,模型的有效性得以验证。RBF模型与SVM模型各有千秋,目前尚无成熟的理论能够指导在什么情况下选择哪种模型,更多的是依赖管理者或工程师的经验和数据集的特点。本文提出了两种改进的建模方法旨在为管理者或工程师提供更广阔的选择空间。最后,本文将DEA-SVM模型应用于葡萄酒质量评估,为葡萄酒行业的发展与企业的管理提供了决策支持。
其他文献
犬真菌性皮肤病又称癣菌病,俗称圆癣,指皮肤癣菌寄生于犬被毛、表皮、趾爪角质蛋白组织中并大量繁殖,能引起局部皮肤发生一系列器质性病变,是犬常见的传染性皮肤病之一。犬的
通过采取提高铁水装入比和矿石装入比、降低废钢比、减少出钢时间、钢包全程加盖、提高钢包周转率一系列措施,对100t转炉出钢温度和过程温降规律进行分析。结果表明:转炉平均
自2007年以来,邻水县实施了以生猪为主的畜禽标准化规模养殖场(小区)建设项目,取得显著成效。
图论作为数学的一个分支,近年来得到了较快发展和广泛应用,已广泛应用于运筹学,控制论,信息论和计算机科学等各个领域.一般说来,图的着色问题最早起源于著名的”四色问题”.
某污水处理厂一期采用CAST工艺,升级改造工程采用前置反硝化-CAST-磁混凝沉淀处理工艺,工程设计规模为9万吨/日,出水水质由《城镇污水处理厂污染物排放标准》(GB18918-2002)
本文论述了末端限制性片段长度多态性(T-RLFP)技术、变性梯度凝胶电泳(DGGE)技术、荧光原位杂交(FISH)技术、实时荧光定量PCR(RT-PCR)技术、基因芯片(Gene chip)技术及高通量测序(HTS)技
阐述了开发连铸中间包钙质覆盖剂的理论依据,并详细介绍了开发过程、工艺和使用效果,通过试验数据对渣钢界面反应进行了定性的分析和符合实际使用特征的推理。
本文通过对钢丝热处理以后的性能检测,分析了各种加热炉的炉型结构、供热形式和钢丝冷拔后其机械性能之间的相互关系,指出了达到预想质量标准所需要的最佳结构和工艺制度。
潜在照射是指虽然不一定发生,但在引入或改变某项实践后所产生放射性非正常照射的结果.在医院开展的放射治疗医疗活动中,存在较多的潜在照射危险.潜在照射危险通常是以事故形