计算机科学把人们带入了奇妙的虚拟数字世界，让我们能在虚拟世界中模拟现实世界的活动。人们对新领域探索的渴望，使我们不再满足于完全沉浸在虚拟世界中而与外界相互隔离。虚拟现实技术的发展深入到了一个更重要方向—增强现实。相对于虚拟现实把人从现实世界完全带入了虚拟世界，增强现实技术可以理解为是把虚拟信息带入到了真实世界中来，使人们在真实世界中能感知到虚拟物体的存在。随着计算机技术和多媒体等技术的快速发展，人们迫切的希望用一些类似于人与人交流的自然方式与虚拟物体进行交互，比如利用人的姿势、表情、语音等自然方式。本文主要研究基于自然图片识别的虚实交互方式及基于人体三维骨骼重建与识别的行为语义分析，实现简单手势进行的虚实交互。论文首先对基于摄像机模型的相关标定技术及算法进行了阐述。然后重点研究了自然特征点的三维注册方法，利用SURF算法对自然特征点进行提取和匹配并采用随机一致性算法剔除了误匹配特征点。结合图像金字塔的L-K光流算法对特征点跟踪，以提高增强现实系统运行效率。考虑到跟踪过程中不稳定出现跟踪失败的情况，本文提出了一种结合上一帧的特征点位置信息进行特征点检测方法，减少检测时无关特征点的数量，提高特征点检测速度。用户在得到生动的视觉感觉的同时也希望能和虚拟物体进行自然的人机交互，所以本文接下来研究基于人体骨骼关节点位置识别的手势交互。首先分析研究了基于深度图的背景剔除和人体轮廓提取方法，然后研究介绍了一种运用机器学习对人体图像各部位进行标记进而获得三维骨骼关节标识的关键技术。最后利用自然交互平台OpenNI结合PrimSense系列摄像头获得人体骨骼关节点位置信息。利用有限状态机原理进行手势姿势定义，完成使用简单灵巧的手势和身体动作控制虚拟物体进行交互。本论文根据上述研究成果运用到实际项目开发中，在Ogre图形引擎上开发了虚拟金沙博物馆文物展示系统的增强现实系统子模块，实现运用手势与对自然图片识别得到的虚拟文物进行实时交互，增强用户的体验。