面向大规模信号深度搜索的云平台关键技术研究

来源 :国防科技大学 | 被引量 : 0次 | 上传用户:srsyzjks
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
利用卫星、广播等空间电磁信号对目标空域进行探测和搜索为发现入侵飞行器提供了一种新的可行手段。然而,在纯净信号与反射信号的对比过程中,涉及快速傅里叶变换等大量信号处理运算,对后端数据处理带来了数据量庞大,实时性要求高,可靠性要求高等诸多挑战,采用传统计算模式已不能满足需求。为了提供更快速便捷、稳定高效的计算服务,本文从并行算法设计、云平台搭建、计算任务调度三个方面提升了大规模信号搜索云平台的数据处理能力:(1)设计了基于Spark的并行信号深度搜索算法。针对传统算法存储数据量有限,读取数据慢的问题,本文基于MapReduce方法,将数据存储于Spark框架里的弹性分布式数据集,分发计算任务到各个计算节点,完成以并行快速傅立叶变换为核心的信号数据处理。通过分布式存储数据提高系统数据量,在运算过程中采用内存存储中间数据,提升了信号搜索速度。(2)设计实现了面向信号深度搜索的容器化云计算平台。为提升计算资源利用率,简化开发流程,本文采用了容器技术实现计算资源虚拟化,通过Kubernates系统管理应用的开发维护,编排Docker模版以实现容器快速部署,提供稳定强大的计算能力。为更好服务于信号深度搜索应用,在云计算平台中融合GPU设备进行快速傅立叶变换任务,提升了算法处理速度。(3)为了更好利用计算资源,为大规模数据处理任务服务,本文提出了一种基于机器学习的任务调度算法。在云平台处理计算任务时,各主机资源利用不均匀,通过分析预测主机中CPU、内存、存储等资源利用模式,寻找出资源过载和空闲的主机,使用EM算法对将类似的容器进行特征提取分类,通过容器的迁移减少过载和空闲的主机数量,实验证明此调度算法在节约资源的同时提高了系统稳定性。
其他文献
橡胶树是重要的能源作物。橡胶树白粉病是橡胶树生产中重要叶部病害之一。抗病育种是防治植物病害的有效手段之一,基因修饰技术(CRISPR/Cas9,Clustered regularly interspace
随着功率半导体器件工艺技术不断进步,新型器件结构层出不穷。LDMOS(Laterally Double-diffused Metal-Oxide Semiconductor)以其在超大规模集成电路中的理想兼容性,具有高功
随着互联网技术与信息化的不断普及,数字化文档被人们广泛使用。由于数字化文档数量的激增,信息安全问题开始显现,一些需要面向特定人群的特定敏感文档也被错误的上传至文库
重点工程项目对于改善当地民生、带动区域经济发展具有重要意义。此类项目涉及的利益相关方较多、施工过程复杂,导致项目风险要素间存在关联关系。这对风险分析和应对提出了
近年来,基于蜜蜂群觅食行为而设计的一种群智能算法“人工蜂群”算法——简称为ABC算法引起了人们的关注.ABC算法是出于功能优化目的而开发的优化算法,并且已被证明对于解决
船体结构设计是一个多参数、高复杂性的设计问题,且伴随着大量耗时的计算仿真实验。代理模型技术能够利用少量真实样本值预估全局任意设计方案下响应结果,可以为船体结构设计工作者提供设计辅助。如何提高和保证代理模型的预测精度是一个重要的问题,本文开展单一代理模型和混合代理模型序列采样策略研究,论文的主要工作如下:鉴于代理模型序列采样点应均匀化,同时高非线性响应区域应重点关注,提出了一种同时考虑设计空间和响应
基于稠密SLAM(Simultaneous Localization and Mapping)框架的多对象跟踪与重建技术,在机器人导航、人机交互、增强/虚拟现实等领域都具有重要的研究意义与应用价值。然而,系
高校体育教师职称评审是高校体育人才管理工作的重要内容,是加强高校体育教师队伍建设的有力保障。为进一步完善体育专业技术职务评价体系,深入贯彻落实中共中央办公厅、国务
当自然灾害、恐怖袭击、公共突发事件或大型活动安保等情况发生时,一个一体化、响应快、稳定性强的警用专用网络可以保证通信设备的稳定运行。目前我国的警用专用网络包括窄
感应电机由于制造成本低,运行可靠,无退磁风险等特点,被广泛运用于各个控制领域。矢量控制等转速闭环算法能有效提高感应电机控制性能,但是需要安装速度编码器获得转速信号,这种方式增加了成本且降低了系统的可靠性,因此通过定子电压、电流信号和软件算法进行转速估计的无速度传感器方式成为一种实用的方案。无速度传感器方式中转速估计算法包含多个电机参数,因此转速估计精度与电机参数的准确性密切相关,然而电机参数在运行