函数数据降维方法的分析与研究

被引量 : 0次 | 上传用户:wdswdts
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着时代的发展与科技的进步,人们解释了很多规律也同时对更加复杂的客观规律越发好奇.但是人们会发现越是复杂的客观规律背后隐藏的信息量和数据量越是庞大.所关注的客观规律中包含的因素越多,数据量的维数也就越大,而维数的增大伴随而来的是分析数据的难度呈指数型增长.随着科学技术的发展,数据采集技术不断提高,数据采集的精度和频率也随之提高.现如今,每两次采集数据的时间间隔可以变得非常短,虽然采集到的数据实际上是离散的,但是几乎可以看作是连续的曲线或者是连续的函数.这种具有函数特征的数据简称为函数数据.降维方法是用于克服“维数灾难”或者将高维数据模型化的一种典型数据处理技术.在一般情况下,需要将高维数据的维数降到一个合理的大小,与此同时还要尽可能多的保留原始信息,目的是为了剔除掉冗余信息,获得更加合理的表示方式.在获得更加合理的表示方式之后,再将降维后的数据送入处理系统,从而降低处理数据的时间和工作量,达到提高数据处理的效率的目的.本文的目的是研究并综述当下函数数据分析领域几种常见的降维方法和前人的研究成果,为本人今后在金融业从事函数数据分析处理工作打基础.第一章首先介绍了“函数数据”和降维的必要性并对函数数据分析相关概念进行概述.其中包括“维数灾难”的由来:“维数灾难”一词是由Bellman,Richard Emest[1].于1961年首次提出的,指的是估计多变量函数的难度会随着所需采样点个数的线性增加呈指数型增长;什么是函数数据:函数数据最基本的思想是把离散数据光滑成函数,然后从函数数据中提取信息进行统计推断.经典的函数数据是假设整个曲线被完整观测到而且无误差.由于这种假设过于完美,主要应用在气象数据中;“降维”的定义:当数据的维数线性增加的时候处理这些数据时所面临的难度是呈指数趋势增长的,所以当数据维数达到一定程度时便需要采取一定的手段使数据处理系统可以有效的处理这些数据,这种手段便是现在提及越来越多的降维方法;函数数据分析的基本理论:J.O.Ramsay长时间致力于函数数据分析的研究工作.在他和C.J.Dalzell的Some Tools forFunctional Data Analysis中提出了很多实用的用于研究时间上无穷维的函数数据的方法和工具,并且将函数型数据的主成分分析方法应用到对加拿大温度与降水量的关系的实证性研究中.此后, J.O.Ramsay在1997年与B.W.Silcerman合作总结出函数型数据分析的理论和方法,并出版了Functional Data Analysis一书.书中非常全面地阐述了函数型数据的基本特征及其统计分析思想,极大地推动了函数型数据分析的发展与学术界对函数型数据的认知.第二章对近年来函数数据降维的发展和前人们研究成果中主要的函数数据分析方法进行综述,其中函数数据分析方法包括函数数据主成分分析、函数数据典型相关分析和函数数据切片逆回归分析.由于函数数据分析领域中一般的降维方法均是由多元情形下的数据分析降维方法演变而来,所以在第二章先分别介绍这三种降维方法在多元情形下的降维思路,以此和函数数据分析中三种方法进行关联和对比.主成分分析方法[4]要求个成分可以再现全系统的变异性,但大部分变异性常常只用少数个主成分就可以说明.这个主成分中所包含的的信息和那个原变量所包含的几乎一样多.于是由对个变量的次测量值所组成的原始数据就压缩为对个主成分的次测量值所组成的数据集.典型相关分析[7]最早是由霍特林(H.Hotelling)于1936年提出的.典型相关分析的目的的是识别并量化两组变量之间的联系.其研究焦点是:一组变量的线性组合之间的相关关系[8].切片逆回归[10]最早是由Li(1991)在Slicedinverse regression for dimension reduction一书中提出的.在不进行任何参数的或者非参数的建模过程的情况下降低输入变量的维数.切片逆回归方法估计基于逆回归.不同于正向回归中用对做回归分析,逆回归是用对做回归分析.这样做的最直接的好处就是交换了和的位置,可以将维数问题平移.本质上,我们将正向回归的高维问题转变成为解决一维到一维的回归问题.为了挑战维数灾难,我们希望利用低维投影来补偿高维数据中我们感兴趣的特征.第三章对这三种函数数据降维方法的优缺点进行分析与总结,并希望在不久的未来可以研究出相关的函数数据分析软件满足各个行业对于函数数据分析的需求.
其他文献
培育和践行社会主义核心价值观是习近平总书记治国理政思想体系中的一个重要内容。习近平总书记从抓好四大重点人群,立足中华优秀传统文化,在落细、落小、落实上下功夫,贵在
用正己基吡啶六氟磷酸盐作为粘合剂制备了离子液体修饰碳糊电极(CILE),将钯-石墨烯(Pd-GR)复合材料修饰于CILE表面制得修饰电极(Pd-GR/CILE),并利用循环伏安法和示差脉冲伏安法(DPV)
社会主义核心价值体系中,社会主义核心价值观是最为重要的部分之一,认同教育作用于社会主义价值观的实践应用。当前,人们受到多元化思想冲击,要想提高思想水平,必须进行社会
我国房地产业经过二十多年的发展,已是国民经济的重大支柱产业,其对国家经济的贡献巨大。然而,近几年来我国房价上涨迅速,区域性房价不断走高,涨幅远远大于经济增长的总体水
随着人们生活水平的提高和个性化人机交互技术的发展,情感人机交互技术的研究越来越受到学术界和产业界的普遍关注,在此背景下,MIT媒体实验室的Rosalind Picard教授于1995年
随着我国交通运输事业的飞速发展,高速公路网的覆盖面积越来越广。在山区高等级公路的建设过程中,高填方涵洞的应用十分广泛,但是由于目前针对高填方涵洞土压力的计算理论不够完
交通宣传用语作为一种社会用语,是人们比较常见的语言形式之一。随着社会文明的不断进步,交通宣传用语逐渐融入我们的生活,文明的交通宣传用语更是当今时代的具体体现。目前,
随着物联网在我国的大力发展,物联网的神经末梢之一——无线传感器网络,在物联网的发展进程中扮演着越来越重要的角色,被人们越来越广泛的应用于日常生活中的数据采集、工业
加强散打学员的战术训练非常必要。转身鞭拳的最大特点就是攻击力度大,爆发力强,能够给对手以致命的打击且具备攻守的能力,在散打中发挥着重要作用。转身鞭拳科学的训练方法
<正>学段:小学(四)年级学科:数学课题:《认识垂线》第(一)课时指导思想与理论依据《数学课程标准》指出:数学教学活动必须建立在学生的认知发展水平和已有的知识经验基础之上
会议