分布式RDF数据并行推理方法研究与实现

来源 :福州大学 | 被引量 : 2次 | 上传用户:duokuo1
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
RDF是标记万维网语言的技术规范,能够丰富地表达和描述网络资源的结构与内容。语义万维网中的RDF和OWL标准已在各个领域有着广泛的应用,如医疗健康和生命科学,电子交易市场,地理空间分析等。在海量数据快速增长情况下,研究高效可扩展的大规模RDF数据分布式并行推理方法,发现其中的隐含信息己成为一个亟待解决的问题。本文主要研究固定数据集以及流式数据的分布式并行推理解决方案,结合Spark分布式平台以及MapReduce计算框架,进行递进层次研究,提出了新的RDF数据并行推理算法和流式RDF数据并行推理算法。最后将分布式RDF数据并行推理方法研究应用于实际项目中。论文的主要研究内容如下:首先,本文提出了 DPRS(Distributed parallel reasoning algorithm based on Spark)算法。该算法针对固定数据集,首先根据RDF本体数据构建模式三元组对应的alpha寄存器并广播到集群各节点;预先对规则能够被激活做出判断并标记,仅对可激活的规则进行推理,从而在一次的MapReduce任务实现多条规则的分布式并行推理;最后,实时地删除重复三元组以及更新冲突集数据到相应的寄存器中,进一步提高后续迭代推理的效率。通过大规模RDF数据集的实验验证了本算法能够高效正确地实现并行推理。接着,针对DPRS算法处理实时的流数据推理效率低下问题,本文提出了流式 RDF 数据并行推理算法 PRAS(Parallel Reasoning Algorithm for Streaming RDF Data)算法。该算法首先结合OWL Horst规则和RDF本体文件,构建规则的伪双向网络;新数据添加将触发OWL Horst规则推理,算法加载新添加数据及前次推理产生的数据,结合MapReduce计算框架和伪双向网络架构实现流式的推理;对推理产生的三元组去重并且保存于Redis集群,以便作为下次推理输入的数据,从而提高了流式推理的效率和完整性。实验表明PRAS算法相比于DPRS算法能够在Spark平台和Redis集群中更高效地实现大规模流式数据的并行推理。最后,本文将分布式RDF数据并行推理方法研究运用于优化某部队的微激光装备远程故障诊断系统。首先使用本体构建方法并结合项目中故障案例数据库构造微激光装备故障本体文件,并将历史故障数据转换为RDF数据,然后结合本文提出的分布式流式推理算法实现云端微激光装备故障案例的增量推理功能。论文提出的针对固定数据集和流式数据的分布式RDF数据并行推理方法,对于海量数据的OWL Horst规则推理具有良好的借鉴意义。
其他文献
车间信息管理系统是为了实现福建检修基地车间生产的统一规范管理而设计并运用的重要工具。从国内外工厂化检修生产管理的发展趋势中可看出,检修基地的生产正朝着集中监管、
光纤环形衰荡(Fiber-loop ring-down/FLRD)技术自本世纪出现以来,以其结构灵活、灵敏度高、不受光源波动影响等优势成为光纤传感领域的研究热点,已被应用于多种化学物理参量
本研究以广州市的九所高中的羽毛球教师和参与羽毛球选项课的学生为调查对象,以羽毛球选项课的教学现状以及改革对策为研究对象,运用文献资料法、问卷调查法、访谈法、数理统计法等研究方法对广州市高中羽毛球的教学现状进行研究,并对影响羽毛球教学效果的因素进行较为全面的因子分析。针对教学中存在的问题给予相应的意见和建议,旨在为广州市高中羽毛球选项课教学提供一定的参考。研究结论如下:1.高中羽毛球教师男女比例不均
继承权作为一项重要的民事权利,随着社会经济的发展愈发被重视。现代社会的继承形式多种多样,由于继承产生的纠纷也越来越多,人们对继承的观念也随之变化。继承权向所有权转
目的通过观察奥曲肽(OCT)对实验性肝纤维化大鼠肝脏血清和肝细胞病理学的治疗效果,探索RORα在奥曲肽抗大鼠肝纤维化过程中产生的影响,进一步揭示RORα抗肝脏纤维化的具体作
光子晶体光纤是一种具有波长量级周期性结构的二维微结构光子晶体,作为一种新型的通信媒介,光子晶体光纤不但结构设计十分灵活,导光机制奇特,而且具有传统光纤所不具有的诸多
基于高空平台的临近空间通信与地面蜂窝通信网络相比,具有覆盖范围大、灵活部署、易于维护等特性;与卫星通信网络相比,具有成本低、时延小、路径衰减小等优点。但高空平台网
本论文试图运用汉娜·阿伦特的平庸的恶理论对德国小说家西格弗里德·伦茨(1926-2014)的小说《德语课》中的人物进行分析。全文以小说主角严斯和其子西吉为例,分析平庸的恶在人物身上如何体现,对他们思想与行动造成了怎样的影响和危害,以及探究形成平庸的恶的现实原因。根据这一主题,本文主要分为以下六个部分。第一部分为引言,概述了西格弗里德·伦茨作为小说家的重要性,其作品在国内外的研究现状以及本论文选题的
本翻译实践报告是以笔者实习期间翻译的香港财经文本为分析素材,主要包括各委托公司在香港联合交易所网站上发布的公司通函、年报、季报等部分内容。如今,有很多公司因优惠政策选择在香港上市,香港财经文本翻译发展迅速,在国际贸易活动中起着重要作用。为加强两地经济活动,香港财经翻译需求日益增多。笔者选取的香港财经文本具有很强的专业性,在翻译过程中,如何突破文本自身、香港特殊的语言环境、译者专业知识储备的制约成为
空间调制(SM,Spatial Modulation)技术是近年来多输入多输出(MIMO,Multiple Input Multiple Output)技术的一个重点研究方向,由于其采用单射频模块,任意时隙只选择一根发射天