基于MapReduce的不确定查询处理技术的研究与实现

来源 :东北大学 | 被引量 : 0次 | 上传用户:szgang052809
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
数据的不确定性在诸多现实的应用中广泛存在,如电信、军事、金融、经济、物流等领域。且不确定数据广泛应用于RFID网络、市场分析、移动对象跟踪以及环境维护等应用。由于这些应用的重要性及收集、累积不确定数据数量的猛增,对这些数据进行查询已经成为一个重要的任务,并日益成为数据库研究者关注的焦点。而由于数据规模急剧的海量增长,致使在数目有限的存储服务器上很难容纳这样海量的待处理数据,更无法由有限数目的计算服务器来处理。用并行处理技术来处理这样的海量不确定数据已成为现在发展的一个趋势。本文详细研究了Google的开源Hadoop并行计算模型MapReduce的计算框架以及贝叶斯网络的不确定性推理技术,充分利用了MapReduce在处理海量数据集时的并行性处理特性,提出了一种面向贝叶斯网络不确定性推理的精确推理算法的并行化处理框架。该算法主要实现了利用MapReduce的并行编程模型来处理贝叶斯网络变量消元算法的并行化过程,将贝叶斯网络中节点的联合概率边缘化。本文在提出以上算法的基础上,对贝叶斯网络不确定性推理的并行化处理过程进行了改进。实验表明该算法充分发挥了集群系统的并行计算能力,极大地提高了处理海量数据的运行效率,有效地减少了运算成本及时间,提高了基于不确定数据的查询效率。最后,对本课题进行了工作总结和未来展望并对下一步研究工作提出了建设性的方案。
其他文献
虚拟人(virtual human)是人类各种特性(几何、行为、感知、情感、生理、心理、社会性等)在虚拟空间中的数字化表示,是高度真实的人类特性的数字化再现。而人类的日常行为中最
  本文以计算机电子取证和安全审计的理论为基础,设计并开发了用于电子取证的安全日志审计系统。系统主要包括数据采集、分析引擎、信息发布三大部分。数据采集部分基于分布
因特网因其开放的协议彻底改变了计算机网络,同时也带来了新的风险和威胁。保护计算机网络最好的方法就是使用快速的自动化程序阻止攻击者的入侵。手工的不能防止未知类型攻
随着信息技术的快速发展和数据的爆炸性增长,计算机系统中硬盘的性能和基于平面NAND闪存的存储设备的容量受到了严峻的挑战,而存储介质技术上的创新则为其提供了有效的解决方案
随着Internet的发展,远程教育无论是在公司培训还是学校教学,应用都很普遍了。远程教育的迅速发展导致远程教育资源来源很广、数量很大、种类繁多、结构各种各样。要在诸多的
Internet的迅速发展给传统的分布式计算技术带来了挑战。为了在Internet上进行应用程序的互操作,实现异构系统的集成,Web Services技术应运而生。Web Services利用XML、HTTP
本文作者对基于CTR逻辑的控制流图形式化描述和验证方法进行了深入研究,完善了验证算法,加入了死锁检测功能,使该系统可以对包含死锁的控制流图进行三种验证演算,提高了实用性
随着网络在日常生活中应用范围的逐步扩大,网络的安全和可靠越来越为人们所重视。在所有网络安全机制中,入侵检测系统已经与诸如加密认证和访问控制等基于防御的安全机制一起成
随着互联网络技术和信息技术的日臻成熟,互联网络规模日益扩大,网络用户数量迅猛增加。信息技术也开始在传统商业领域中应用,即电子商务。电子商务具有市场全球化、商业平民
手语是聋哑人使用的语言,是一种靠动作和视觉进行交际的特殊语言,在聋哑人的交流、一些特殊的场合(如嘈杂的环境)和需要保密的情况下都有广泛的应用.手语的识别与合成已经成