有序回归是模式识别中特殊的有监督学习,其问题来自于有序离散标号结构广泛存在于现实生活之中。而传统的有监督学习因未利用有序信息,难以保证期望的性能。有序回归旨在利用类间自然有序标号划分模式,不仅期望能获得较高的分类精度,同时期望预测标号尽可能接近真实标号。近年来,有序回归引起众多研究者的极大兴趣和广泛关注,涌现出众多经典方法,并可大致分为三类。但据我们所知,最小平方回归(LSR)尚未被改造并用于有序回归场景。LSR作为一种典型回归学习,因其有坚实的理论支撑而在模式识别领域具有广泛应用。其通过优化训练样本与标号间的映射关系,从而最小化误差平方和。但其未被有序改造的可能是因为有序信息难以在LSR中被直接利用。本文首先尝试标号的累积编码以实现有序信息嵌入,发展出最小平方有序回归(LSOR)算法。但注意到LOSR仅体现了有序性,而未体现出离散性,进而通过联合利用累积标号及间隔扩大技术,最终提出了一个新的判别最小平方有序回归(DLSOR)。DLSOR在对回归函数无需施加约束的前提下,仅通过改造标号即实现了有序信息的嵌入和类间间隔的扩大,从而确保DLSOR在与LSR具有相当模型复杂度的同时,既保证了较高的分类精度,又获得了较低的平均绝对误差。在众多数据集中的实验验证了该方法的优越性。进一步考虑到现实中常遇到样本数量有限的场景,致使所学算法的泛化性受到制约。由此通过借鉴边际特征扰动(MCF)思想,对有限训练样本的输入数据和类标号分别进行随机和确定的扰动,并结合LSOR框架,发展出了双重特征扰动的最小平方有序回归(LSOR-DCF),达到进一步提升性能的目的。实验结果表明,LSOR-DCF性能优于无扰动或单一输入/输出扰动的回归方法,且在小数据集上的表现尤其明显。本文主要贡献在于通过对LSR的有序改造,希望产生第四类隐式嵌入有序信息的有序回归算法。其中标号有序改造和双重特征扰动策略同样也能拓展应用于其他算法。