媒体数据是指数字化的图像、视频、图形、动画、交互内容等形式的信息载体。媒体处理研究媒体内容的获取、存储,处理、传输、播放或展示等理论和技术。在数字创意、交互娱乐、计算机模拟仿真、科学计算可视化、医学可视化、数字教育和出版等领域,媒体处理相关的理论技术是通过特定的媒体处理管线串联起来实现的。媒体处理管线在我们的日常生活中无处不在,例如用照相机拍摄一张照片或者将照片上传到校内、百度等社交网络上,是通过特定的图像处理管线来实现的,是媒体处理管线中的重要部分之一。随着科技的发展,在数字娱乐、影视制作、网络游戏和辅助教学等领域,人们对图像、视频制作要求越来要高。随着媒体数据采集设备的发展,越来越多的大型高分辨率图像库、视频库或场景三维模型成为媒体处理管线的主要输入,然而原有媒体处理管线的复杂的计算流程导致在处理过程中不能满足用户的实时交互性。随着数据源的增大,处理效率有待提高。又如在增强现实应用中,需要依靠含有计算机生成的信息建立混合场景,启发用户在现实中完成一些创造性的工作,这意味着需要更具有艺术表现力和感染力的支持多元数据融合的媒体处理管线。本文提出了一种支持非真实感绘制的媒体处理管线架构,选择图像管线优化这个基础问题作为研究的切入点。进而对管线中关键的图像处理组件及非真实感绘制方法进行了研究。本文主要贡献与创新点:(1)提出了一种支持非真实感绘制的媒体处理管线架构。针对非真实感绘制方法特点,提出了一种支持非真实感绘制的媒体处理管线架构。基于该管线可以方便地实现非真实感绘制图像与图像/视频的分层融合,虚实结合的多种艺术效果。这为现实中的电视制作、网络聊天、卡通动漫制作、游戏的卡通处理等领域中的视频的风格化绘制问题提供了新的解决方案。(2)提出了一种基于智能采样方法的图像管线优化方法。针对媒体处理管线中每个图像处理阶段,通过多种采样技术把在图像上进行的循环计算,改造成更加稀疏的循环,当在后续阶段访问到之前计算遗漏的数据时,可以根据已知的采样结果对丢失的信息进行近似重建。此外,结合一种新型类C语言的解析器,在管线运行效率和图像质量的组合空间中,自适应地选择最优化的采样和重建方法的方法。并基于建立的数据集,与多种图像处理阶段进行了对比和分析。(3)提出了一种基于PatchTable的视频非真实感绘制方法。为了在重建过程中快速找到图像块之间的近似最近邻匹配块,采用PatchTable算法,进而得到一些好的块匹配种子。初始的对应种子可以依靠预计算的k最近邻图得到改善,利用图像的自然一致性可以让这些匹配快速传播到周边区域。总之,整个算法流程在预处理过程耗时稍长,而后续合成新图像的算法步骤则都可以在秒级甚至毫秒级完成,从而达到了即时性的用户体验。该方法能够很好解决对于大数据集进行近似最近邻查询的实时性问题,及基于特定艺术风格的视频非真实感绘制中的时序连贯性问题。(4)提出了一种基于三维网格模型的保证帧间连贯性的非真实感绘制方法。通过计算三维模型的特征线(轮廓、三角面片的法向信息等),基于帧间连贯性的特性对特征线的采样点进行分析,提出了一种在非真实感绘制中为保证帧间连贯性而充分利用采样点的新的参数传递流程,可以将连续两帧间的参数信息从三维空间映射到二维空间,以便后续步骤中,在二维空间中将保持前一帧的风格化元素覆盖到当前帧抽取的特征信息处,从而避免了因在绘制过程中三维拓扑信息的丢失而产生的绘制效果的突变和扰动。该方法可适用于多种模型,包括粗糙网格和非均匀采样的网格,可以产生平滑连贯的风格化绘制的轮廓线。本文对现有的媒体处理管线进行功能扩展并提出自动优化的方法,一方面使其具有更高效率,另外一方面,使其支持非真实感绘制,进而可以对多元数据进行融合实现多种风格化效果,扩大其应用范围。