基于自回归模型和机器学习的大气电场数据分析和应用研究

来源 :南京信息工程大学 | 被引量 : 0次 | 上传用户:lvjieidd
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
大气电场是大气电学的基本参数,晴天时地面具有垂直向下的大气电场,雷暴天气时地面大气电场显著增强。地面大气电场的观测和研究对减少雷电灾害、大气电学研究、保障航空航天活动具有重要的意义。大气电场仪是测量大气电场的基本仪器。大气电场仪的有效标定、数据修正和异常值检测是提高观测数据质量的重要手段。大气电场信号具有非平稳信号的特征,利用非平稳信号处理方法,结合机器学习算法,分析不同天气状况下的大气电场,为雷电预警研究提供思路。本文的主要研究内容和结论包括:(1)为提高电场观测数据的精度和一致性,研究大气电场传感器的校准和标定方法。建立电场传感器标定模型,基于有限元法对标定装置的尺寸、结构等关键参数进行仿真分析。考虑到建筑物对大气电场具有一定的畸变效应,通过改变建筑物高度、宽度、电场仪与建筑物距离和电场仪仰角范围等参数,研究大气电场的实际安装环境对电场畸变的影响,求出畸变系数,对大气电场仪的实际测量值进行修正。(2)地面大气电场序列的清洗是预处理的关键,对后续的挖掘研究具有重要意义。针对传统异常检测算法需要指定相应参数、未能利用时序间相关信息的不足,提出一种基于孤立森林结合Chen-Liu迭代算法的大气电场异常点检测与校正方法。该方法利用求和自回归移动平均(ARIMA)模型对大气电场时间序列进行拟合并得到拟合残差,基于残差序列构建孤立森林模型以确定异常点位置,最后通过Chen-Liu算法进行校正。通过模拟序列和实测大气电场数据实验验证所提方法的可靠性,相对于原序列预测,清洗后大气电场序列预测结果在均方根误差和平均百分比误差分别改善27.8%和34.98%。(3)传统雷电预警方法忽略了大气电场信号的振荡尺度特性导致检测概率低。从大气电场信号的非线性非平稳特征出发,提出一种基于集成经验模态分解(EEMD)和极端梯度提升(XGBoost)的雷电预警方法。该方法采用EEMD分解大气电场仪观测的电场信号,计算原始数据和各模态函数的样本熵,按随机分量、细节分量、趋势分量进行分类重构,分别提取重构分量的统计和自编码器特征,采用XGBoost算法建立预警模型,并对各分量的分类器进行融合。利用大气电场仪和闪电定位系统观测数据进行了实验研究,分析了不同算法的性能,相对于普通投票决策方法,检测概率最高提高了4.8%,且虚警概率降5.2%~6.4%。(4)构建基于大数据的高可用性、高可靠性大气电场监测平台。选用Flume实现电场数据实时采集,使用Spark实现离线分析建模,Kafka实现数据缓存,采用Spark-Streaming读取数据并实时处理。通过实验分析,对比验证了基于大数据的大气电场监测平台在离线建模性能和实时分析方面的优越性和可靠性。电场标定装置结构参数分析及建筑物对电场畸变影响的实验结论、大气电场异常检测与校正、雷电预警方法及基于大数据的大气电场监测平台设计为厂家开发性能更优的基于大气电场雷电预警产品奠定了理论基础。
其他文献
表面等离激元是一种沿金属表面传播并周期性振荡的电子疏密波,由入射光的光子与金属结构表面的自由电子相互作用而产生。表面等离激元具备破坏衍射极限的特性,可在单个纳米器件上实现光特性和电特性的集成,也可在环境检测、太阳能电池以及生物医学等多领域实现应用。本论文研究了周期性金属纳米结构的光学特性,探索了其传感性能,以下是本论文的主要工作:提出了一种利用微球自组装技术制备具有偏振调控光学特性的金属纳米狭缝型
卫星云图在天气分析和预报中起着重要的作用。然而卫星云图的空间分辨率逐渐不能满足气象监测日益增长的需求。使用超分辨率(SR)方法提高分辨率有助于识别和定位天气系统。此外,预测卫星云图中云移动演变信息有助于实现更准确的天气预报。然而卫星云图预测方法的复杂性限制了预测云图的空间分辨率。通过卫星云图SR算法可以得到更高分辨率的预测云图。本文基于深度学习的方法,研究了卫星云图SR和预测问题。主要结论如下:(
本文基于TIGGE资料集下欧洲中期天气预报中心(European Centre for MediumRange Weather Forecasts,ECMWF)的集合预报数据,以及对应的ERA-Interim再分析资料及中国降水融合数据,对中国东南部地区(20°N-36°N,106°E-125°E)24-168h预报时效的2m气温及24h累积降水进行概率预报试验。首先使用前馈式神经网络(Feedf
认证协议在保障智能家居环境下用户数据和隐私安全发挥着重要的作用。然而,当前智能家居认证协议面临着众多的挑战。一方面,智能家居设备大多采用无线连接的方式接入网络,由于其开放性、异构性的特点,易遭受中间人攻击、消息窃听等多种安全威胁。同时,智能家居中还普遍存在密码设置简单、用户认证凭证丢失、缺乏安全加密机制等问题。现有的认证协议未能综合考虑智能家居面临的安全威胁,无法满足用户隐私保护需求。另一方面,智
量子机器学习是量子信息领域内新兴的子课题,其将量子计算潜在的加速能力和经典机器学习模型的学习和适应能力结合在一起,尝试提出全新的量子机器学习算法或经典机器学习算法的对应量子方案。随着量子计算机在计算规模和稳定性方面的突破,量子机器学习的研究也在不断深入。本文主要研究对象是基于参数化量子电路(PQC)的量子生成对抗网络(QGAN),是经典生成对抗网络在量子领域的扩展,通过量子生成器和判别器的对抗性训
气象探测对农业生产、防灾减灾、交通与能源安全、国防等领域都具有重要意义,气象传感器是为气候变化观测、数值天气预报等应用提供原始测量数据,在气象行业发挥不可或缺的作用。本文设计了一种可适用于探空仪搭载的“Y”型结构云水含量传感器,用于测量云中液态水含量,针对性解决了传统测量仪器人工操作困难、消耗功率大等问题;本文亦提出了一种阵列式温度传感器,可降低太阳辐射误差,提高温度观测精度,可用于地面气象站或由
强化学习是机器学习领域重要的研究之一,在移动机器人导航技术方面有许多应用。但是当前强化学习算法都有收敛速度慢,环境适应能力差等很多问题,而且在现实应用中需要高昂的训练成本,所以给移动机器人导航的应用带来了诸多困难。因此,针对以上问题,本文主要完成以下工作:(1)通过Gazebo仿真环境搭建仿真环境和ROS仿真移动机器人,并且通过ROS操作系统在真实环境中搭建移动机器人平台。(2)针对目前机器人导航
日常生活中人类的各种活动都与天气现象息息相关,天气现象的实时自动识别在自动驾驶、智慧交通、智能监控等方面都具有重要的研究价值和广阔的应用前景。近年来,随着深度学习在机器视觉领域的迅速发展,由于卷积神经网络能够提取天气图像中丰富、抽象、深层次的语义信息,本文基于深度学习对天气现象识别算法进行研究。针对目前天气现象识别方法存在的挑战和问题,本文的主要研究工作如下:(1)本文构建了一个含有更多类别的六类
地物覆盖监测在土地资源管理、生态系统保护和可持续发展等方面发挥着越来越重要的作用。利用遥感数据进行地物覆盖分类是量化土地资源并监测其变化的有效方法。作为新型的主动遥感技术,多光谱激光雷达(light detection and ranging,Li DAR)系统可同时获取地物的表面几何和光谱信息,已成为一种快速获取大范围空间数据的手段,为环境建模、灾害响应、地物覆盖分类等研究提供新的数据源。然而,
随着社会经济的发展,雾霾污染变的日益严重,对人们的生活造成了严重的影响。PM2.5作为雾霾浓度数据中的主体,受到了学术界和工业界的广泛关注。目前已有大量的PM2.5预测模型被提出。然而,PM2.5的来源的多样性给准确的预测出其浓度值带来了挑战。不仅如此,雾霾污染数据具备线性化,差分化的特点,普通的预测方法无法兼顾这些特点,这也给雾霾预测带来了挑战。为此,本文从雾霾特征的角度出发,通过寻找各特征间的