可伸缩性大数据DEA模型计算研究

来源 :合肥工业大学 | 被引量 : 0次 | 上传用户:formula_lj
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
数据包络分析(Data envelopment analysis,DEA)作为一种评价决策单元相对效率的方法,因其在管理与决策方法中的优异表现,已经被广泛地运用在许多实际场景中。传统的DEA效率计算是依次对每一个决策单元求解DEA模型,随着决策单元数量的增加求解时间将会急速地增加,无法满足现实中求解大规模决策单元应用的需要。在梳理DEA大数据计算领域的相关文献后,本文将现有的方法归纳总结为两大类,分别对应着低密度与高密度大数据环境下的解决方案。本文针对这两种不同数据环境,各自提出了对应的策略来提高计算效率,减少计算时间。在低密度大数据环境下,本文充分利用DEA模型的特性提出一种两阶段计算方法,即第一阶段识别有效单元集,第二阶段使用有效单元集计算余下无效单元效率值。在第一阶段,提出一种具有伸缩性的基于消息传递接口(Message Passing Interface,MPI)的层次分算法,可将大规模数据集分解成多个小的数据集多机并行计算。同时,在小数据集中单机使用MPI开启多进程并行计算,并结合预处理方法快速剔除无效单元以减少计算时间。在第二阶段,针对有效单元数量仍较多不适合做参考集的情况,提出一种改进的试错法,即利用第一阶段求解获得的过程信息来选择更佳的参考点集,随后不断进行最优性检验、重新选择样本点两步骤直至达到最优,得到余下所有无效单元的效率值。后续实验说明在维度较低时,改进的方法可以减少超过一半的迭代次数。在高密度大数据环境下,本文以丹齐格-沃尔夫分解法(Dantzig-Wolfe decomposition)为切入点,针对DEA模型特点进行深入探究。首先将模型转换成对角式结构,再分割为主问题与多个子问题。在MPI主从模式编程与列生成算法的结合中,依次计算每个决策单元的效率值。最后在多个不同来源的数据集中,将本文提出的策略与最新文献中的两种方法进行了实验比较。在低密度大数据环境下,本文的组合策略减少了数倍的时间。在高密度大数据环境下,本文提出的算法与另一高密度算法—试错法进行了实验上的对比,并在实验中发现在大多数情况下计算时间皆少于试错法。
其他文献
随着新能源政策的不断推出,全球电动汽车行业快速发展,带动锂电池市场规模的进一步扩张,但是锂电池的化学特性极其活泼,使用时容易因为过压、过温等出现安全问题。为此,在锂
输电线路杆塔接地极是雷击输电线路时雷电流重要的泄流通道,接地极长埋于土中容易发生腐蚀从而使输电不能安全稳定运行。因此,研究杆塔接地极的状态对于降低输电线路雷电反击跳闸率具有重要意义,现有的接地极状态诊断方法都有或多或少的缺陷。近年来,频谱分析法在电气设备状态检测与诊断、电力系统状态分析中得到了广泛的应用,它不仅被应用于很多故障检测,还可以用于许多需要“黑箱”检测的导体勘测状况下,这与接地极被埋于地
音乐是人们生活中的重要娱乐方式,但在海量的音乐中,找到喜欢的歌曲已经成为了一种挑战。因此,音乐推荐已经成为现代音乐流媒体平台服务中的重要部分,能够减少用户的选择时间
旋转扫描地基SAR系统是一种新兴的地基合成孔径雷达(Ground-based SAR,GBSAR)。该系统利用旋转平台中心延伸出的旋臂末端搭载的天线对系统周围的场景进行旋转扫描。与传统的
配电系统中负载成分日益复杂,在同一配电系统中可能出现若干种电能质量问题。面向配电系统的用户电力技术是解决电能质量问题的重要手段,其中具有综合补偿能力的统一电能质量调节器(UPQC)能够应对多种问题。降低对直流侧电容的要求,有助于减小UPQC的成本。本文针对单相两电平全桥UPQC中直流纹波主要研究工作如下:首先,研究了单相UPQC中并联侧变换器直流纹波产生的原因,分析直流纹波对单相UPQC的影响以及
双波长光纤激光器具有稳定性好、转换效率高、成本低等诸多突出优点,在光通信系统、光纤传感器网络、光谱学和光信息处理等方面均得到了广泛应用。半导体光放大器(SOA)拥有较宽
进入二十一世纪以来,国内经济发展迅速,城市化进程加快,对交通量的需求也与日俱增,使得修建更多车道的公路设施已成为必然的现实需求,但是扁平超大断面公路隧洞因跨度较大,支护结构的受力将变得更加复杂,特别是在松软、破碎、膨胀性大的软弱围岩地层,以及高地应力的大变形隧道中,对支护结构的承载能力提出了更高的要求。我国公路隧道基本采用新奥法施工,格栅钢架和型钢钢架在实际施工和支护效果上都存在一些问题,为应对地
硅烯具有很多优异的物理性质,而且硅烯拥有与传统硅工业技术兼容的优点,被认为是未来高度集成电路、微纳光电子器件的优良候选材料之一。然而硅烯稳定性差和带隙过小的缺点一
研究目的:探寻老年女性以不同增速策略进行行走时其下肢关节承载负荷的情况以及老年女性下肢踝关节跖屈肌功能性不足的补偿机制,进而为老年女性行走经济性的选择提供帮助和指
华北石炭-二叠纪煤田是我国中东部煤矿最主要的可采煤层,随着我国中东部山西组上组煤炭资源的日益减少,向下延伸开采下组煤时,下组煤基底直接覆盖在中奥陶统风化剥蚀面上,中奥陶统为巨厚石灰岩,富含岩溶水,同时煤系地层含有多层薄层灰岩,含水层至煤层底板间距只有几米至几十米不等,岩溶裂隙发育同时隐伏大量的断裂构造,灰岩水压较大,局部可达7-10MPa,常规开采方法容易诱发底板突水。近年来,我国科研学者虽提出了