通过计算机进行人脸的肖像漫画绘制是机器视觉研究的前沿之一。在理论上,机器人肖像漫画绘制技术建立了用计算机对人脸特征进行评估的方法。将人脸各个特征概括为数学描述,并用量化的结果表述出来,这给计算机人脸识别领域提供了一种新的理论方法。用此理论将对人脸分类和身份认证等研究有很好的指导作用和理论基础。在实际应用中,让机器人绘制漫画化的肖像可以广泛地应用于科教,娱乐等方面。其中人脸特征评估技术可以应用于犯人辨认查找、安全验证、信用卡验证、证件核对、网络会议等多种场合,而相关的漫画处理方法则可用于电影,音乐电视以及动画中的特效制作方面。机器人绘制肖像漫画技术的核心问题是,如何用计算机对人脸特征进行漫画化的问题。通过与漫画家的交流和研究一些漫画技法的书籍,本文结合漫画技法和计算机技术将漫画化技术分为两个层次:直观层次和艺术化层次。直观层次包括了特征量化和特征夸张,其主要描述了人脸的客观特性,用此层次的方法能够完成最后的肖像漫画生成;艺术化层次包括了纹理特征、艺术风格、个性化内涵。这些是漫画家的一些主观感受和艺术提炼,可以为漫画提供更好的表现力。本文专注于研究漫画化的直观层次,解决漫画人脸的特征量化和夸张问题。在艺术化层次上则研究了纹理特征的双眼皮识别。为了验证本文提出的算法和理论,我们建立了一个肖像漫画绘制机器人平台。对于本文的研究而言,机器人绘制肖像漫画技术是要实现:首先用CCD拍摄人脸的正面图像,然后用计算机对图像进行理解和处理得到人脸的一些特征生成肖像。为了进一步生成漫画化的肖像,就必须对该人脸的个性化特征进行评估并量化。在得到这些量化的特征后,可对原有肖像画的相应特征进行夸张,得到一个漫画化人脸。最后,将漫画化人脸矢量化为线段,用机器人在纸上绘出。通过研究可以发现漫画化直观层次中的特征量化和夸张可以划分为以下几个关键点:构图规则和特征选择眼睛定位特征点识别特征量化算法特征夸张。构图规则和特征选择主要是解决哪些特征是能够足够表达目标人脸的个性化特征的问题;眼睛定位则为构图规则和特征选择提供参考和基准;特征点识别为特征量化提供基础数据;特征量化则完成对特征的数学描述;特征夸张是根据量化结果将特征夸张到正确的方向和大小。在漫画化的艺术层次中,本文着重讨论了如何有效识别双眼皮,从而为肖像漫画增强了个性化表现力。所以,针对以上论述的关键技术,本文提炼出几个尚未解决或解决不充分的研究点,并提出自己的方法,形成以下几个创新点:1.提出了基于构图规则的漫画特征和特征点选择方法。在本论文以前还没有研究文献提及过如何选择特征点,而且不同的文献选择的特征点不尽相同。这样会造成特征点的选择不够科学,可能选择了很多特征点却最后无法充分表达目标特征,即使能充分表达目标特征也会导致特征点过多不够简洁高效。所以本论文针对以上问题,根据照画家的构图方法引入为数学语言,用公式表达了构图规则,并以此为基础确定特征和特征点的选择。建立人脸特征和特征点模型,为人脸特征的选择和量化提供了坚实的理论基础和指导方法。而且此方法符合漫画和肖像绘制的基本技法,是实用、正确、有效的。事实上,此方法为更广泛的人脸特征量化研究起到了理论指导作用,为个性化识别和ID认证提供了依据和实践方法。2.提出了基于分割纹理的眼睛定位算法。根据构图规则,要得到特征和特征点的前提是识别出眼睛位置。本论文深入分析了傅立叶变换在图像中表达频率分布的特性。通过实验和研究,发现眼睛、皮肤、边缘等各个部分的频率特征都有其独特性。通过分析全局纹理和局部纹理,以及在纹理特征中提取稳定的能代表其基本特性的若干指标对这些分割纹理进行分类,从而分别定位了人脸的大致区域以及眼睛的区域。本论文应用了AR数据库和自有数据库分别做了实验,并和其他方法做了对比,发现此方法具有准确率高和鲁棒性好的特点。眼睛的定位为特征点以及特征的计算提供了识别和研究基础,而且在特征量化中也起到了决定性作用。另外,这样的眼睛定位算法是基于图像傅立叶变换,为在频域范围里进行特征分析的研究提供了参考依据和实用算法。3.提出了基于小波变换的双眼皮识别算法,为肖像漫画提高表现力。本文引入小波变换对图像进行分层处理,得到图像的各层次上不同纹理。小波分析能够迅速分解出图像中的主要成分,而且在变换过程中其不仅能表达出纹理方向,强度特征,而且能够直接反映出其位置,这点是傅立叶变换所无法做到的(窗口傅立叶变换可以确定位置,但是计算比较复杂,而且位置不过精确)。本论文在此研究中提出了用特征点指示出某些潜在的特征,比如双眼皮必然位于上眼线的周围。通过分析此区域的纹理分布,根据上眼线的参数方程计算若干点的法向方向,应用论文中的法向展开算法得到一个3维分布图。计算此图的均值以及惯量,即可得到双眼皮的额外特征点,从而在最后生成的漫画中提供此细节纹理。此方法为人脸细节分析提供了研究基础和方法,可以为皱纹的识别和判定提供有效手段,而这对目标人脸的性别和年龄判断都有指导作用。4.提出了基于自我参考模型的漫画特征量化方法。针对目前的平均人脸模型缺陷和问题,引入自我参考概念。此概念为:在目标人脸中直接寻找参考以表达和计算人脸的特征参数。此方法绕开图像归一化所带来的误差和烦琐计算,可以直接计算特征参数。通过引入统计学方法,用大量数据和图像对基于自我参考的模型进行计算和分析,可以发现基于自我参考的人脸特征基本符合正态分布特性,这与通常的人体测量数据以及自然现象符合正态分布的事实相符合。然后应用正态检验在定量和定性层面上证明了其正态分布特性,并得到了其期望值和方差。期望值反映了人脸在此特征上的趋向性,而方差则反映了人脸在此特征上的差异性。可以发现那些具有更大方差的特征恰恰是那些具有更大差异性的人脸部分,比如下巴和脸型。另外,将漫画家绘制的漫画用自我参考模型进行量化得到的特征取向与用自我参考模型计算的原始人脸特征参数十分相符,从而在理论上证明了其正确性。最后,用自我参考模型生成了漫画化肖像,其符合人们的直观感受,从而在实践上证明了其实用性。所以,自我参考模型提供了一种有效,简单的将人脸特征进行评估的理论方法,能够直接而量化的将目标人脸不同于“普通人脸”的特征表达出来。其为人脸的识别,评估以及排查提供了坚实理论基础和实践手段。最后,本论文应用了灵活的B样条曲线生成肖像和漫画。将各个个性化特征相应的特征点根据特征比例做相应的移动从而产生了漫画效果。本论文通过在以上一些关键技术上提出自己的解决方法,一步一步将照片上的人脸最后生成为矢量化的漫画化人脸线段,并将这些线段传递给机器人在纸上绘出。本文在人脸的机器人肖像漫画技术的直观层次上做了深入研究,为整个漫画化技术提供了基础理论依据和实现手段,使得个性化人脸判别,身份认证以及各种此类应用有了可行的理论基础。实践证明本文提出的方法是有效的,合理的,实用的。而且此系统在东莞科技馆,上海科技馆,2006年中国国际工业博览会上都做了展出。