随着信息技术的发展，越来越多的图像和视频出现在几们的生活中和互联网上。而且，现有的虚拟现实技术和自由视点视频技术等，使几们越来越倾向于观看数字化的三维场景。于是，将已有的图像和视频组织成为三维场景模型，就成为一个非常有必要而且非常有前景的工作。计算机视觉几十年的长足发展，也为用视觉方法进行三维场景建模奠定了坚实的基础。三维场景建模是计算机视觉和计算机图形学两个学科交叉的重要研究领域。基于视觉的三维场景建模阶段，就是用计算机视觉的方法，将相关图像或视频进行处理，最终得到三维场景模型的过程。基于图形学的相关技术，主要作为后处理，对三维场景模型进行渲染和展示。本文着重于基于视觉的三维场景建模阶段的研究。本文主要研究工作如下：第一，本文详细的总结了三维场景建模领域的重要理论和算法，对Bundler自定标算法进行了改进，大大提高了其迭代优化的效率。第二，本文提出并实现了对光照和设备变化鲁棒的二视图三维场景深度估计方法。本文将SIFT特征和NCC方法相结合，提出了一种对光照和设备变化不敏感的匹配代价函数：SIFT-_NCC，并使用二阶平滑约束下的MRF优化算法进行逐步求精，所得结果比其他该类算法更为精确。第三，本文提出并实现了使用较大规模未定标图像集合进行三维场景建模的方法。本文制定了有效的图像筛选策略，在得到的高质量图像子集上，实现了一种基于集束调整优化策略的自定标方法，并提出了基于多特征融合的MFF—MVS算法，使用定标数据和图像集合重建出了稠密的三维点云数据，并得到了三维表面模型。