作为旋转机械中的关键传动零部件,齿轮与滚动轴承在恶劣的环境下长期运行容易出现局部故障,可能导致灾难性的后果。因此,对旋转机械进行状态监测并及时诊断存在的故障具有重要意义。本文基于稀疏表示与压缩感知理论,深入研究稀疏正则化方法在旋转机械局部故障诊断中的应用。在稀疏表示方面,针对现有l1正则化方法求解精度低及计算复杂度高的问题,基于对故障信号移不变稀疏特性的分析,建立卷积广义极大极小凹罚（GMC）的目标函数并推导其快速求解算法,用于齿轮局部故障诊断。所提方法首先去除信号中能量较大的平稳成分以提高局部故障特征的信噪比,然后采取移不变K-SVD从剩余信号中学习冲击模式,最后通过求解卷积GMC问题获得稀疏系数,实现故障冲击特征提取。相比常用的基于l1正则项的求解方法,在相同的正则化参数设置下,所提方法可有效改善幅值低估问题。齿轮故障的仿真和实验信号分析均验证了所提方法的有效性,且所提方法不会对正常齿轮信号造成误诊。针对压缩感知中现有凸优化重构算法存在计算效率低的问题,提出一种基于特征代理与凸优化算法的滚动轴承压缩故障诊断方法。该方法以移不变K-SVD学习冲击模式,通过分析特征代理的作用及包含的噪声,利用快速迭代收缩阈值算法（FISTA）提取其中的稀疏系数,最后将冲击模式与稀疏系数卷积重构故障特征。与直接利用FISTA从压缩信号中重构冲击特征相比,所提方法在不降低求解精度的同时降低了计算复杂度。相比于常用的贪婪类重构算法,所提方法无需预先估计信号的稀疏度,且能重构出更多的冲击特征。滚动轴承局部故障仿真与实验信号的分析进一步验证了所提方法的可行性。针对l1正则项在压缩故障特征重构中存在的幅值低估问题,提出基于非凸正则化的局部压缩故障诊断方法。所提方法以GMC罚函数作为提升信号稀疏度的正则项,采取对信号分段压缩与重构的策略以提高压缩与重构效率,此外还着重讨论了基于特征代理的正则化参数选取策略。齿轮及滚动轴承故障的仿真和实验对比结果表明,当正则化参数均取推荐值时,GMC罚函数在有效改善l1正则项幅值低估问题的同时还能抑制更多的噪声,可提高局部故障特征的重构精度。