【摘 要】
:
近年来科技的发展大大提高了天文观测设备的数据采集能力,各波段的天文数据量呈指数级增长,天文学逐渐走向了全波段巡天的“大数据”时代。面对如此庞大的数据量,使用串行或
论文部分内容阅读
近年来科技的发展大大提高了天文观测设备的数据采集能力,各波段的天文数据量呈指数级增长,天文学逐渐走向了全波段巡天的“大数据”时代。面对如此庞大的数据量,使用串行或者传统的并行处理方法已经很难胜任。如果没有更加高效的手段来解决效率问题,隐含在其中的价值很难快速、有效的发挥出来。随着分布式计算的兴起,以Spark为代表的分布式计算框架改变了并行计算的形式,成为了下一代大数据分析与计算的不二之选。本文在借鉴前人工作的基础上,围绕Spark分布式计算框架和天文数据融合的效率问题和相关技术进行了探讨与研究,并结合天文数据的特点,深入研究Spark的并行计算优化机制,在天文计算中发挥Spark分布式计算的优势。为了解决天文研究过程中面临处理天文大数据效率的问题,本文从以下两个方面进行了研究:一是天文数据的归档。本文提出了一种基于HEALPix索引和Spark框架的高效分布式天区覆盖生成算法。算法通过引入层次化索引思想,在应用HEALPix伪球面索引的基础上,将大规模天文数据层次化、分块、连续存放,从而提升后期交叉证认、漏源监测等天文计算中对数据进行访问、处理的效率。二是天文数据的融合。为了解决大多数在线交叉证认工具无法满足大规模数据下的匹配计算的局限性,本文提出了一种基于Spark的大规模天文数据交叉证认算法。通过分析交叉证认的原理,利用HEALPix球面分区方法解决交叉证认中的距离匹配问题;结合Spark分布式计算框架的特性提出多点优化,以提升交叉证认在大规模数据中计算的效率。以上两个方面均通过实验验证了方法的可行性,均能够在短时间内完成大规模天文数据处理与计算。本文的研究成果可以为天文大数据环境下的天文研究提供综合的技术参考。
其他文献
第一部分基于常规小肠CTE的全肠道CT造影的可行性研究目的:探索利用常规小肠CTE检查观察结直肠情况的效果,以评估其一站式观察全肠道情况的可行性。方法:选择20名健康志愿者进行常规小肠CTE检查,采集图像并重建,由两位经验丰富的诊断医师在重建图像上测量全肠道各组肠段的平均厚度及肠管直径,并观察充盈良好的肠段范围在其所在肠组全长的比例,然后进行评分,1分代表占比<30%,2分代表占比30%-5
葵花籽饼是葵花籽榨油后的副产品,其蛋白质含量丰富,且鲜味氨基酸谷氨酸、天冬氨酸含量高达30%以上,是制备高品质鲜味剂的优质原料。本文以低温脱脂葵花籽饼为原料,制备葵花
多年的水土流失使江苏省山丘区水旱灾害交替频繁。近几年来,江苏省水土保持生态环境建设虽取得了一定的成效,但由于存在资金不足、监督执法力度不大等问题,影响了江苏省水土
随着信息技术的发展,网络虚拟化技术的发展有着很重要的地位。该技术节约了使用成本,减少支出并且保证了网络安全。由于蜂窝网络的快速发展,导致能量消耗也越来越大,因此绿色能源供能不仅节约成本而且减少对环境的污染。在未来小蜂窝网络,它的回程链路非常密集,造成了很大的能源耗费和资源基础设施耗费,所以运营商之间可以组成虚拟化的回程网络,利用其他运营商的基础设施资源进行数据量传输,减少资源耗费。这样的系统中有能
生育是女性与生俱有的能力与权利,由于社会、医疗、环境等因素,近年来不孕患者的比例明显增加。我国是一个有着悠久历史,以家庭组合式为一体的传统国家,尤其在文化水平偏低的农村
近年来,我国石油对外依存度不断上升,国家能源安全受到严重威胁。页岩气作为理想的可替代能源,其开发对于维护我国战略能源安全,实现国民经济的可持续发展具有重大意义。页岩
随着全球工业化进程的不断加快,石油开采、冶金、炼钢、制革、化工、原油泄漏等领域每天都会产生大量的含油废水,这些含油废水的直接排放不仅是不可再生资源的严重浪费,而且
新版《英语(新目标)》的一个明显变化是阅读篇幅长,阅读词汇量大,导致部分教师对于如何处理阅读课的词汇产生困惑。笔者认为,可以在分析文本的基础上,针对不同文本采取不同的策略,在
支护参数优化研究是矿山开采研究的重要组成部分,关系到矿井的安全生产以及生产效益的高低,但是在复杂开采条件下尤其是软岩巷道的支护参数优化研究还不够完善,整条巷道采用统一的支护参数已经不符合煤矿未来的发展趋势,只有在不同开采强度下采取相对应的支护参数,尽可能最大地发挥支护体的作用,起到降本增效的作用,才能对矿山的科学发展提供技术支撑。本文研究重点研究不同开采强度下巷道支护参数优化问题,以棋盘井煤矿为依