人际关系是人类社会特有的现象,随着社交媒体的出现,关系的表现形式有了更直观的呈现。近年来,基于图像的人物关系挖掘与识别已成为人脸分析领域的一个新的分支,吸引了越来越多研究者的关注。但是,考虑到数据集的有效性和任务自身的难点,已有研究成果与实际应用间还存在差距。因此,图像中人物关系的辨别仍面临诸多挑战。本文将人物关系分为非亲属和亲属两大类,分别从社交网络好友照片和家庭照片中对其进行挖掘和识别,并有针对性地提出自己的解决方案。本文主要工作概括如下:(1)对图像中好友关系挖掘和亲属关系识别相关的文献进行了回顾,梳理每个任务上的已有方法,介绍其中的代表性工作,包括解决思路和关键算法。(2)针对社交媒体中好友关系挖掘任务,利用推荐系统框架,提出了一种基于协同过滤的照片自动标记算法。类比一般推荐系统为用户推荐可能感兴趣的商品,算法将好友识别任务转换成为推荐最可能在照片中出现的人物身份。此外,针对社交网络照片特点,以人脸视觉特征为基准,加入社交上下文进行辅助识别。通过在公开数据集Gallagher和本文构建的大规模社交网络照片数据集上的实验,验证了本文所提方法的有效性。(3)在已有的亲属关系验证和类型鉴别方法基础上,提出了一种基于图结构模型的家庭树自动构建算法。不同于已有针对单张照片进行识别的工作,本文从相册集角度出发,使得每个家庭成员拥有多个样本,利用它们之间的协同作用,提升亲属相似性挖掘的可靠性。最终,按家庭树的形式对所有成员间亲属关系进行描述。实验结果表明,基于图结构模型的算法能有效提升照片中亲属关系类型判别的准确性。