稀疏恢复与稀疏优化的?1极小化理论及其计算?

来源 :国防科学技术大学 | 被引量 : 0次 | 上传用户:sunqingshu
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
根据模型的低复杂性结构(如向量的稀疏性、矩阵的低秩性等),如何高效地从病态的线性逆问题中唯一且稳健地恢复出特定的信息是当代应用与计算数学家、工程技术人员、以及统计学家们共同关心的重要问题.由于其普遍性,该问题在以稀疏恢复与稀疏优化为重点内容的压缩感知、图像/信号处理、机器学习、大数据处理、高维统计等领域均有重大的理论与应用价值.本文围绕稀疏恢复和稀疏优化的?1极小化理论和计算展开研究并做出了以下四个主要的创新性结果:第一是关于?1极小化的稀疏恢复条件的研究.?1极小化解的唯一性和稳健性条件是稀疏恢复理论的核心内容,文献中已存在大量的相关工作,如连贯性条件、零空间条件、RIP条件等等,这些工作共同关心的是条件的充分性而非必要性,同时,验证这些条件是否成立的有效算法非常匮乏.针对这些问题,本文运用原对偶思想研究了对偶子条件,证明了该条件不仅是充分的还是必要的,并且可用来分析大量的?1极小化相关模型,例如?1分析极小化模型、可分解范数极小化模型、度规函数极小化模型等等.由于对偶子条件将?1极小化解的唯一性和稳健性的分析转化成满足特定条件的对偶子存在性的讨论,从而可设计算法验证特殊对偶子的存在性,以判断?1极小化解的唯一性和稳健性,基于这一思路本文给出了相应的验证算法.第二是关于结构随机矩阵限制特征值的研究.随机矩阵是压缩感知和数据降维问题中的重要分析工具.相对于一般的随机矩阵,结构随机矩阵的优势是具备低复杂度、低存储的快速算法,如结构随机循环矩阵与结构随机Fourier矩阵均可利用快速Fourier算法进行矩阵向量乘法.基于最新的解耦技术和矩阵值Bernstein不等式以及Laplace变换技术,本文针对一类列向量带随机符号的随机循环矩阵证明了聚中性质,进而推导了基于该类随机矩阵的Johnson-Lindenstrauss引理,在某些参数范围内,该引理优于当前文献中最好的结果.新的理论结果可用于随机矩阵RIP性质和一致稀疏恢复条件的研究.第三是关于两类经典的稀疏优化算法的研究.线性Bregman算法和奇异值阈值算法分别是压缩感知和矩阵补全中最有效的算法之一,这两类算法的主要缺陷是参数的选择以及算法的加速缺乏理论依据.为了克服这些缺陷,一方面,本文提出了强凸化的模型并推导了算法中参数的估计公式;另一方面,从强凸化模型出发,在近似点算子理论的框架下,利用对偶分析的思想提出了对偶梯度算法及其Nesterov加速格式.传统的观点认为梯度法的全局线性收敛性依赖于目标函数的强凸性,然而本文的研究表明限制强凸性质(严格弱于强凸性的新型函数性质)是保证全局线性收敛的充分必要条件.新的概念不仅突破了传统的观念,还丰富了凸分析与优化的相关内容.第四是关于近似线性迭代重加权算法的研究.首先,总结出了一类非凸非光滑的最优化问题,该问题囊括了本文涉及到的几乎所有凸型和非凸型的?1极小化模型;其次,结合近似线性化技术和迭代重加权思想以及函数光滑化技术,提出了求解该类问题的近似线性迭代重加权算法;最后,利用Kurdyka-?ojasiewicz性质并定义局部梯度Lipschitz性质,证明了新提出的稀疏优化算法的全局收敛性.值得一提的是,本文提出的算法是第一个具有全局收敛性的非凸非光滑的迭代重加权算法,可广泛应用于大量非凸非光滑模型的求解.本文的结尾总结了七个将来的研究方向:凸型优化与分析的理论和应用、随机采样与投影的技术和理论、基于高维几何的高维估计理论、面向大规模问题的次梯度算法、非凸优化算法及其全局收敛性、大数据背景下的高效并行算法、以及随机化算子分裂和原对偶方法,并遗留了三个公开问题.作者相信未来五到十年,这些方向将是计算与应用数学、信号/图像处理、机器学习、统计等领域中的主流研究方向.
其他文献
法律效果与社会效果相统一的司法政策,导致审判实践过分依赖对法外各种后果的考量,法律规范在司法裁决中的地位日渐式微。由于社会效果论自身所面临的一些难题,导致它向作为
随着改革开放的不断深化,大众文化在中国开始兴起并得到了迅速发展。同时,大众文化研究也被从国外引进过来。大众文化研究肇始于西方二十世纪六十年代,当时正值文化研究发展
朱丹溪为金元四大家之一,曾师从刘完素的二传弟子罗知悌,旁参张从正、李东垣两家,为金元四大家中最晚出者,滋阴派创始人。丹溪成名后,弟子众多,通过师徒授受,学派流传,风行全
目的:探讨人乳头瘤病毒(HPV)亚型感染与宫颈病变的关系。方法:以桂北地区育龄妇女为研究对象,对门诊就诊的1086病例进行HPV分型检测和液基细胞学检查,对细胞学诊断≥ASCUS及H
分析了煤矿信息化建设的发展历程,总结了单机自动化监控系统、全矿井综合自动化系统、数字化矿山系统和智慧煤矿等各阶段的信息化特点,指出当前煤矿信息化建设过程中存在的问
抑郁症是严重威胁人类健康的精神情感性障碍。迄今为止,抑郁症的病因与发病机制尚不明确。该文从抑郁症的病理生理学因素及常用抑郁症动物模型的角度进行综述。通过多种动物
领导—成员交换关系(Leader-Member Exchange)已经成为组织心理学、管理心理学和领导心理学越来越重要的研究课题。本文采用问卷调查法,以515名企业员工为调查对象,考察了员
我国现行贪污贿赂案件刑事立案启动机制经历初创、法制化和规范化与创新三个时期,形成了我国独有的专项刑事诉讼机制。文章分析了它的法理基础、法律特征和价值取向,探讨了相
随着我国加入WTO,企业的经营环境发生了前所未有的变化,传统的管理模式已不能应对日益激烈的企业间竞争。在这种背景下,一种全新的管理模式---全面预算管理在国内企业逐渐流
穷达问题不仅反映个体的人生观和价值观,也反映其处世的哲学,因此很早就成为哲学家所关注的焦点。儒学作为中国古代的重要学派,主张内圣外王的思想,对穷达问题一直十分关注。