在机器学习和模式识别领域中,研究人员常常用样本间距离来衡量样本的相似性。在实际复杂任务场景中,传统的距离度量方式,如欧氏距离、马氏距离、汉明距离等,难以真正表征数据间的相互关系。因此,距离度量学习成为机器学习领域一大活跃的研究课题。距离度量学习从训练数据中自动学习数据间的相关关系,使得数据在新的特征空间中,同类样本分布更加紧凑,不同类样本分布更加松散。在全局度量学习中,度量矩阵可以看做是对数据所做的线性变换。考虑到特征向量表征运动变换的方向,特征值表征对应变化方向上的变化大小。如果现在已经有一个的度量矩阵,微调其各个变换方向上的变换大小,就有可能提高该变换的性能,加强度量矩阵的表达能力。基于这一想法,本论文提出了一种新的基于特征值微调的距离度量学习框架。该框架首先学习得到一个粗略的度量矩阵,然后再通过优化triplet loss来微调特征值,从而提高度量矩阵的性能。最后本论文将该框架应用到全局度量学习、局部度量学习和维度下降等应用场景中,并对其做了理论分析,实验结果表明该方法是确实有效的。此外,本论文根据基于特征值微调的局部度量学习方法提出了基于准线性核的局部度量学习算法。这种算法能利用准线性核,将度量学习问题转化为核支持向量机的分类问题。另一方面,在深度学习领域,为了提升网络性能,网络变得越来越深,网络的计算资源占用和耗时也在不断增加。为了减少计算资源的消耗和加快网络的前向传播速度,网络压缩逐渐成为当前研究领域的热点。为了使网络变得又小又快,研究人员提出了种种优化算法。这些算法能有效缩小、加速模型。但与此同时,变快变小的模型会面临信息丢失从而出现压缩后性能下降的问题。为了尽可能降低压缩对网络性能的影响,老师-学生网络算法逐渐被重新提出。所谓的老师-学生网络算法指的就是让压缩前的网络充当老师,压缩后的网络充当学生。让老师网络指导学生网络学习,提高其泛化能力。现有的老师-学生网络算法大多致力于让学生网络学习出一个老师网络接近的特征空间。然而当老师网络的表达能力远高于学生网络,或者任务数据的分布过于复杂时,学生网络由于本身表达能力有限,难以学到和老师网络相同的特征空间。这种情况下,老师网络对学生网络的帮助就很小,甚至会起误导作用。受度量学习思想的启发,本论文不再关注直接学习相近的特征空间,而是更多的考虑样本间的关系的匹配,从而提出了一种的新的基于度量学习的老师-学生网络算法。这种新的算法致力于保证点与点在一个特征空间中的相对关系,扩大了可行解的空间,从而提升了学生网络的性能。