函数型数据的异常值检测及其应用

来源 :湖南大学 | 被引量 : 0次 | 上传用户:sdg058229
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
函数型数据分析是近年来统计学研究的热门领域,其中关于函数型数据异常值检测问题的研究目前还比较少,而异常值的存在会影响统计分析的结果。因此,本文主要研究了一维函数型数据异常值检测问题,并提出了三个检测算法。针对Arribas-Gil和Romo提出的基于改进波段深度和改进上境图深度的函数型数据异常值检测算法不能有效识别孤立异常值的问题,本文提出了形变异常度用于补充数据的形状变化信息,并将形变异常度和改进波段深度结合对检测算法进行改进。模拟实验表明,改进后的异常值检测算法不仅可以有效识别孤立异常值,同时也提高了对形状异常值的识别率。受数据深度和形变异常度的启发,本文设计了位置离群度和形状离群度用于定义函数型数据的位置次序和形状次序,以及综合离群度用于涵盖位置和形状两方面的数据信息。基于位置离群度、形状离群度和综合离群度,本文提出了函数型数据异常值检测算法,模拟实验表明,该算法可以有效识别位置异常或形状异常的函数型数据。从主成分分析的角度出发,本文提出了鲁棒主成分分析方法和基于鲁棒主成分分析的函数型数据异常值检测算法。首先,基于本文定义的综合伪深度对数据进行排序和筛选,对筛选出的数据矩阵进行主成分分析得到低维最佳投影空间后,再将所有数据点投影到该空间计算鲁棒主成分得分距离和垂直距离,基于这两个距离识别异常值,模拟实验证明了该方法的有效性。最后应用西班牙天气数据实例横向对比了三种函数型数据异常值检测可视图中曲线的分布情况,比较了可视图对曲线形状、位置的区分度和直观性。
其他文献
自Mulvey提出Quantale的概念以来,Quantale理论的研究和应用得到了很大的发展,其思想和方法对数学、逻辑以及理论计算机科学的若干分支产生了深远的影响.基于Quantale中的蕴涵算子,Rump和杨义川教授在2013年提出量子B-代数的概念,并对其进行了一系列的研究.量子B-代数是一种非交换的逻辑代数,为广泛的非交换代数逻辑提供了统一语义.同余关系与拓扑的研究有助于深入了解量子B-代
非饱和土壤水运动的预测在水资源、石油储层、多相流模型等科学与工程应用中意义重大.随着对描述、理解和预测不同复杂程度的系统动力学需求的不断增长,开发先进的数学模型和具有精准预测能力的求解器是长期所需.非饱和土壤水运动的数学模型Richards方程是依赖于时间的非线性偏微分方程.地质变迁中复杂的物理、化学和生物反应导致方程具有高度非线性,使用合理的数值方法进行高分辨率模拟是解决这类复杂问题的有效手段.
针对能反映股市变动情况的我国A股上证指数,为了能准确预测我国A股的上证指数以及研究最优的组合投资,本文在完成的过程中遵循实证与理论相结合的方法进行研究,从研究事物发展自身的规律,并据此对事物未来的发展做出预测的联系点出发简述了ARIMA和GARCH模型的理论依据,并以我国A股上证指数和四只针对性强的股票的数据建立了模型,并检验了模型的可行性。本文首先对我国A股上证指数每日收盘价的走势进行了拟合,并
学位
二维纳米材料由于具有独特的纳米片结构、大的比表面积等独特的物理化学性质而引起了科学家们的极大兴趣,其中新型二维纳米材料过渡金属碳/氮化物(MXenes)已广泛应用于储能、催化、吸附、生物传感、复合材料等领域。与传统的二维材料相比,Ti3C2MXenes拥有较大的比表面积以及优异的电导率,在400-1200 nm光谱范围内具有广谱吸收,能作为良好的荧光猝灭剂。基于二维纳米材料设计的荧光传感方法,具有
学位
差分方程是应用数学动力系统研究领域的一个重要分支,也是描述现实世界中离散时间系统的重要工具.近年来,随着微分方程定性分析理论的建立,差分方程的动力学性质也得到了广泛的研究.同时,差分方程的应用与自然科学的研究有着密切的联系,并在生物工程、经济金融、自动控制与设计以及医学等重要领域中都有广泛的应用,其中指数型差分方程就出现在种群动力学中.涉及具有指数项的差分方程的动力学研究虽然困难,但是却很有趣.本
多环芳烃(PAHs)是一类典型的持久性有机污染物,具有致癌性、致畸性和致突变性三大特点,受到国内外学者的普遍关注,其中16种已经被列入美国环境保护局(USEPA)的优先控制污染物名单之中。土壤是生态系统中多环芳烃最重要的汇,由于PAHs的疏水性使其容易吸附于土壤颗粒中,一旦PAHs进入土壤中,就会被土壤中的有机质吸附难以分解,进而造成土壤污染。地表灰尘同样是PAHs重要的汇,由于受到交通运输、工农
随着环境问题的日益突显,能源的急剧缩减,热电材料作为能够缓解改善环境、能源问题的有效途径之一,逐渐成为研究重点。低维碳结构热电材料作为一种新型的热电材料,在柔性、低成本电源设备和自供电传感器中具有广阔的应用前景。近年来,它的研究受到广泛关注,关键性能指标不断提高,成为热电领域的重要前沿研究方向之一。本论文采用基于第一性原理的非平衡格林函数方法,系统研究了新型碳纳米结构—双石墨烯纳米带(twin g
荧光共振能量转移(Fluorescence Resonance Energy Transfer,FRET)作为一种高效的光学“分子尺”,在生物大分子相互作用、免疫分析、核酸检测等方面有广泛的应用。基于荧光蛋白的遗传编码FRET传感器具有高灵敏度和非侵入性的特征,对我们理解细胞内的信号组织和信号调控起了重要作用,实现了前所未有的时间和空间分辨率可视化信号检测。FRET要求供体发射光谱与受体吸收光谱有