作为一种重要的机器学习范例,有序学习因其广泛的实际应用近年来受到了越来越多的关注和研究。尽管已有不少有序学习算法被提出,并已在不同的有序学习问题上获得了较好结果。但由于这些算法仍未充分地挖掘和利用问题和数据所蕴含的先验知识,从而留下了一个潜在的性能提升空间(按照著名的“没有免费午餐”定理表述:只有充分结合了问题相关先验知识的学习算法才会有效)。为此,本文工作以有序学习为研究出发点,尝试更好地将蕴含在问题和数据中的先验知识嵌入到建模和学习中,达到提升相关问题学习性能的目的。本文所做主要工作总结如下:1)图像空间结构信息在有序回归中的融合利用。首先,本文对现有的与图像空间信息利用有关的研究工作进行了系统性地总结,根据信息的利用方式将现有的方法归纳为三大类,即距离度量嵌入的利用方式、空间结构正则化的利用方式和直接图像操作的利用方式。鉴于在现有的有序图像回归学习中(基于图像向量化的操作),原始图像的空间结构信息未能得到补偿和利用,我们将以上三种空间信息利用策略与图像有序回归学习相结合进行有序学习建模,实现图像空间结构信息利用的图像有序学习。最后,通过实验研究,我们对比了以上三种空间信息利用策略在有序学习中的效能优劣,这为相关研究人员提供了重要的参考。2)有序累积标号内在关系在有序学习中的利用。通过对数据类的有序累积编码矩阵进行结构分析,我们发现编码矩阵蕴含着显式的和隐式的规律性结构关系。为此,通过对编码矩阵施行0阶和1阶差分操作,构建出相应的编码关系矩阵。为实现对上述关系的建模和利用,我们将以上关系刻画成相应的关系正则化项的表达形式(即有序结构正则化CAOSR和临近差分正交正则化CAADOR)。然后,通过将编码关系正则化项与有序累积标号学习结合在一起进行建模,实现有序累积标号内在关系的利用。最后,通过人脸年龄估计实验,验证了所提方法在提升有序学习性能方面的有效性。3)有序学习决策准则信息在有序建模中的利用。受有序学习决策准则的启发,我们以此为建模的准则,构建出了一种新颖的间隔有序的度量学习模型(ORMML),使得数据类样本点在该距离度量空间中按照它们的类标号有序地分布(相比于欧氏度量等其他距离空间,该空间能更好地保持不同数据类之间的序关系)。此外,为了应对复杂的数据跨分布采集的应用场景,还将ORMML推广到了数据跨分布的度量学习场景中(CD-ORMML)。最后,通过在不同有序学习问题上的实验,展示了本文所提度量学习方法的性能优越性。4)辅助性的先验协同信息在有序学习中的利用。为了尝试利用辅助性的先验信息来协助有序学习,我们以性别意识的人脸年龄估计为研究范例,研究了性别空间和年龄空间之间的语义不一致性和不同性别(男性和女性)在年龄老化过程中的差异性,基于这些辅助性的先验信息构建出了性别意识的年龄估计学习框架(GenAge),从而实现性别信息对年龄估计的辅助学习。最后,为了验证GenAge框架的效能,我们对其进行了实例化以及实验对比研究。