面向大数据处理的基于Spark的异质内存编程框架

来源 :计算机研究与发展 | 被引量 : 0次 | 上传用户:shs20000
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着大数据应用的发展,需要处理的数据量急剧增长,企业为了保证数据的及时处理并快速响应客户,正在广泛部署以Apache Spark为代表的内存计算系统.然而TB级别的内存不但造成了服务器成本的上升,也促进了功耗的增长.由于DRAM的功耗、容量密度受限于工艺瓶颈,无法满足内存计算快速增长的内存需求,因此研发人员将目光逐渐移向了新型的非易失性内存(non-volatile memory,NVM).由DRAM和NVM共同构成的异质内存,具有低成本、低功耗、高容量密度等特点,但由于NVM读写性能较差,如何合理布局数据到异质内存是一个关键的研究问题.系统分析了Spark应用的访存特征,并结合OpenJDK的内存使用特点,提出了一套管理数据在DRAM和NVM之间布局的编程框架.应用开发者通过对本文提供接口的简单调用,便可将数据合理布局在异质内存之中.仅需20%~25%的DRAM和大量的NVM,便可以达到使用等量的DRAM时90%左右的性能.该框架可以通过有效利用异质内存来满足内存计算不断增长的计算规模.同时,"性能/价格"比仅用DRAM时提高了数倍.
其他文献
目的:观察穴位注射治疗慢性萎缩性胃炎的临床疗效。方法:治疗组55例采用穴位注射足三里、胃俞、肝俞的治疗方法;对照组31例口服胃复春片,HP阳性者同时口服丽珠胃三联,12周为
在语文教育当中,实际上朗读教学训练过程是一种语言运用的实践过程,学生们可以通过对范文的朗读能够接触到丰富的词汇以及优美的语言运用。而在传统性的朗读教学训练中,过分的注重于朗读形式的教学,而忽视了教师在朗读训练当中的指导性作用,以及学生自主学习的重要性,从而导致传统朗读教学的教学效率低的结果。  一、当前小学语文朗读教学训练的调查分析  语文朗读教学的目的是为了培养学生语感的促进学生提高语文学习素养
回 回 产卜爹仇贱回——回 日E回。”。回祖 一回“。回干 肉果幻中 N_。NH lP7-ewwe--一”$ MN。W;- __._——————》 砧叫]们羽 制作:陈恬’#陈川个美食 Back to yield
会议
【正】 约翰·杜威(John Dewey 1859—1952)是二十世纪西方著名的哲学家、教育学家和社会政治活动家,是美国实用主义的集大成者,“实用主义神圣家族的家长”。他把实用主
[目的]探讨应用程序(application,APP)”的健康教育在食管胃静脉曲张出血病人延续性护理中的应用效果。[方法]将我院96例肝硬化食管胃静脉曲张出血内镜治疗病人随机分为试验
分析研究了深空测控通信的特点,对频段提高、灵敏度提高、G/T值提高、EIRP提高、编码增益提高、定轨精度提高、极窄带锁相、调制/解调方式等主要技术问题进行了探讨.
回顾国内外卫星测控网的发展过程,提出影响卫星测控网发展的关键技术,如测控站工作体制、测控网工作方式、国际联网合作、建设天基测控网等,指出在建成天基网并全面贯彻CCSDS
Diabase sills with baddeleyite/zircon U-Pb ages of-1.32 Ga have been found in many areas of the North China Craton(NCC)(Peng,2015).Some researchers have propose
回 回 产卜爹仇贱回——回 日E回。”。回祖 一回“。回干 肉果幻中 N_。NH lP7-ewwe--一”$ MN。W;- __._——————》 砧叫]们羽 制作:陈恬’#陈川个美食 Back to yield
回 回 产卜爹仇贱回——回 日E回。”。回祖 一回“。回干 肉果幻中 N_。NH lP7-ewwe--一”$ MN。W;- __._——————》 砧叫]们羽 制作:陈恬’#陈川个美食 Back to yield