论文部分内容阅读
虚拟现实已经走进人们的生活,给用户带来沉浸式的感受。对于房地产行业,传统的网上看房模式只能看到房源的局部平面信息。如果利用虚拟现实技术对房屋室内信息进行全景构图,用户可以全方位立体式地查看房源信息,并通过佩戴VR设备更加便捷地实现室内漫游,与室内物体进行智能交互。目前全景图像获取复杂,图像检测识别的研究主要集中在传统图像上。本文为了解决这些问题,设计了一套一键式的全景采集设备,并实现了全景图像中室内物体的检测与分类。通过对全景拼接技术的深入研究,本文给出了一套全景图像采集系统的设计方案,并将整个系统分为图像获取、图像拼接和全景交互三个部分。设备通过三个鱼眼摄像机利用多线程同步技术获取环境实景图像,经过鱼眼校正、图像配准、图像拼接以及图像融合等过程实现全景图自动生成,通过网站服务器实现了全景图像的展示、分享以及数据的保存。最终在嵌入式平台上完成整个采集系统,实现一键式获取全景图像,具有价格低廉、操作简单、便携的特点,实际产品投入使用也验证了系统的稳定性和可靠性。关于全景图像中物体的分类与检测问题,考虑到全景图像中物体会随拍摄角度和拍摄位置的变化产生随机变形而给识别带来很大的难度。本文采用深度学习的方法,利用卷积神经网络提取特征的优势,建立了基于候选区域的物体分类检测系统,通过共享特征提取网络完成候选区域的生成与物体的分类检测两个任务。具体方法是以全景图像作为输入,深度卷积神经网络进行特征提取,候选区域网络利用提取的特征生成目标的候选区域,对每一个候选区域采用特征映射机制以及空间金字塔池化技术得到归一化的特征向量,经物体分类检测网络完成对每个候选目标框的类别判断以及位置精修,最终通过非极大值抑制算法输出检测到的物体类别与位置。大量实验结果验证了整套分类检测系统的可行性和算法的有效性,在我们搭建的全景图像测试集上,全景图像室内物体目标检测的平均准确率达到了68.7%。