论文部分内容阅读
随着人机交互技术的日益成熟,基于该技术的图像处理已经成为图像识别领域重要的研究和发展方向之一。本文的主要研究内容为基于VC软件平台的实物目标的识别系统的开发与实现。包括互动音乐桌的硬件构建,基于快速、有效的追踪依附于目标模块的基准性标记、采集与识别系统;基于MIDI的音乐合成以及交互式平台的计算机视觉框架。具体而言,主要包括以下内容:(1)硬件搭建。主要是采集系统的定位,拍摄环境的测试以及模块的设计与可行性分析,同时就硬件搭建的各个模块的性能加以介绍;(2)目标模块的基准性标记、采集与识别,本文首次将手势图案作为操作模块引入该设计,为了互动音乐桌的后期再开发做准备;同时在图像分割部分,针对红外图像的特点,以及摄像头拍摄环境的影响导致多噪声的原因,采用了基于二维最大熵阈值分割的方法,很好的解决了该问题;在音量控制部分,基于控制操作部分,操作模块无几何形状的变化,采用了基于meanshift跟踪算法来进行定位,并较好的实现了跟踪的实时性与准确性,使声音的高低变化得到较为连续的控制;(3)声音与影像合成,主要是基于MIDI软件库的声音合成。通过获得的操作模块的特征,确定模块的图样,进而向系统发送一定得MIDI指令来调取不同的MIDI音色、幅值、频率等不同的信息量,产生音量不同,节奏各异,不同音色的声音,通过调整使其可以产生较为平滑的乐曲。影像合成部分,主要是调用WAV的波形文件实时显示波形;(4)操作平台。系统的操作平台以VS2005为开发工具,生成可以人机交互的操作界面。主要针对图像的采集,分割与识别部分的算法进行集成,使用户可以再此界面上完成操作模块的特征信号提取。