基于MongoDB和Hadoop的模型转换引擎实现方法研究

来源 :南京大学 | 被引量 : 0次 | 上传用户:shakekele
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
建模和模型转换是软件开发和维护过程中的重要环节。模型转换是一类特殊的操作,是将一种模型自动或者半自动的转换为另一种模型的过程,它是软件自动化开发与维护过程中的重要组成部分。随着计算机技术应用的不断普及,软件系统的规模和复杂性日益增大,模型转换技术不断面临新的挑战。以往的模型转换引擎都是基于单机系统实现,以内存作为信息保存载体,其转换能力受限于单机系统的物理性能,在应对复杂模型转换时,极易出现内存消耗过大、宕机等问题,并且转换后的模型以文件形式呈现,不利于查询使用;在应对多模型同时转换时,只能串行进行转换,执行效率较低。因此,本文的工作主要集中在如何基于分布式存储平台和并行计算平台开发模型转换引擎。MongoDB是一种基于分布式文件存储的NoSQL数据库,它采用了无模式的文档数据模型,能够灵活地存储不同结构的数据,适合用来存储复杂结构模型。利用MongoDB进行模型转换时无需将所有信息读入内存,可有效减少内存使用,并且转换后模型也存储在MongoDB中,有利于模型的查询使用,同时MongoDB支持分布式读写,可有效的进行协同式模型转换。Hadoop是一开源分布式处理框架,可以可靠、高效地进行并行计算,并向用户完全屏蔽底层分布式实现细节。利用Hadoop作为转换引擎实现平台,可并行执行多模型转换任务,缩减模型转换时间。本文基于分布式存储数据库MongoDB和分布式计算平台Hadoop提出了两种模型转换引擎实现方法,主要工作包括:提出一套模型转换引擎实现框架,将模型转换的转换语义分为三层结构,并在各语义层次上封装了一套模型转换执行基本操作(转换原语),为转换引擎的实现打下基础。提出了一种基于MongoDB的转换引擎实现方法,目的是减少复杂模型转换的内存消耗,并且使转换后的模型更易于查询使用。主要包括一种模型存储的算法(利用该算法可以将模型无损的存储至MongoDB中),一套基于MongoDB操作实现转换原语的算法。提出了一种基于Hadoop的转换引擎实现方法,目的是利用分布式计算平台Hadoop并行化执行模型转换任务,从而加快转换速度。主要包括一种模型转换任务的分解策略(提供了将模型转换任务拆分利用Hadoop并行执行的设计思路),一套基于转换原语构造MapReduce任务的方法,以及一种代码生成方法(配合参数可将转换原语转换成MapReduce处理代码)。基于上述研究工作,针对每种实现方法都给出了实例研究和分析,进一步说明和验证方法的可行性和有效性。
其他文献
一家电商如果被厂商证明没有贸易来往,那么势必抹不掉"卖假货"的嫌疑。近期,蜜芽继此前销售的手推车、安全座椅货源存疑后,再次因为奶瓶被戴上了假货的"帽子"。日本奶瓶企业Betta
学生身心健康的发展,是学校教育的终级目标,体育教学是实现这一目标的主渠道。体育课程标准的核心思想就是“健康第一”。体育教学要树立“健康第一”的指导思想,就必须重视
机床导轨直线度误差的测量方法有很多种,其中最常用的是水平仪法、自准直仪法和平尺法。主要介绍的是用激光干涉仪测量直线度误差的方法、原理及误差分析,并提出为减少测量误
"6.18年中大促",加拿大农业食品部(AAFC)副部长Andrea Lyon女士选择在北京介绍加拿大的北极海参,并携手新斯科舍省渔业水产厅厅长Keith Colwell阁下见证加拿大运合公司(United Tra
豪华B级车市场利润丰厚众人皆知,因此觊觎该市场的汽车厂商多如牛毛,但是要想真正分得一杯羹,不拿出点儿真本事肯定不行!
在自主品牌的SUV车型中,奔腾X80是一款特殊的,产品.一汽奔腾多年的轿车生产经验以及充足的技术储备让X80具有了与众不同的产品属性。这些属性也成了这款车:型获得成功的关键。
高档商品一直受到消费者的追捧,但高档并不意味着有质量保障。近日,《北京商报》记者从北京市食药监局了解到,一款标着“高档干果”的良味牌老果园小食品因抽检不合格而遭下架。
近日,美國德克萨斯大学达拉斯分校与韩国首尔国立大学共同研发出一款全新电池,其采用锰基钠离子材料。该材料或将降低电池成本,且生态环保性更佳,所制成的电池可供电动车使用。现今,锂离子电池已成为市场中的主流电池产品,许多智能手机、电动车辆纷纷采用该类电池。随着制造商、用户对电动车需求的不断提升,锂电池产量很可能难以为继,无法满足不断增长的产品需求。若采用钠材料,则有望减少电动车的电池成本,因为钠的价格相
宾利汽车于2013年5月6日在大中华区宣布宾利新飞驰正式上市,重新诠释了4门豪华性能轿车的概念与标准。新车型有两种规格可供选择,分别是飞驰W12和飞驰W12 Mulliner,价格分别为405.80万元和435.80万元。
2015年3月26日-28日,澳大利亚葡萄与葡萄酒管理局(Wine Australia)携手13家参展商组成国家展团,亮相成都糖酒会。此次澳大利亚葡萄酒展团面积达150平方米,集中展示来自澳大利亚