本文主要研究自然场景理解中的两个重要问题：图像边界检测和图像分类。边界检测算法的输出结果是图像的一种压缩表示,常作为高级视觉任务的预处理步骤。图像分类使用抽取的图像特征把一幅图像划分到特定的类别。尽管这两个图像任务看起来是弱相关的,我们认为图像的特征表示是连接这两个任务的关键因素。本文在分析了现有算法的优缺点之后,从图像特征表示的角度给出了更加有效的图像边界检测和图像分类算法。本文取得的主要研究成果如下：(1)在计算机视觉和模式识别领域,边界检测问题已被广泛研究。最近,研究人员已经把这项任务归结为监督或无监督学习问题,利用机器学习方法,提高了检测精度。然而,对于边界检测问题中比较重要的纹理边缘抑制,并没有包含在此框架中。为了解决这个限制,也受到心理物理学和神经生理学研究结果的启发,我们提出了一个基于朝向对比度的边界检测模型,把机器学习技术和纹理边缘抑制统一在一个框架里。特别地,该模型尤其适合于检测被自然纹理环绕的对象的边界。在几个标准数据库上的实验都验证了该模型的边界检测性能有所改善。具体来说,在Rug数据集上,其检测精度比当前最好的无监督边界检测算法的性能提高了10%,在BSDS500数据集上,其性能至少能与以前的监督边界检测算法的性能相媲美或者更好。(2)最近,基于稀疏编码的图像分类算法已经在几个常用的图像分类数据库上达到了较高的精度。然而,文献中很少有使用图象的空间信息来改善稀疏编码中的编码或池化操作。本文提出了一种新的空间约束编码方案,它采用局部特征在图像空间上的m-近邻来提高编码的一致性,这隐含的改善了图像的特征表示。具体地,使用这种编码策略,相似的图像特征将被相似的视觉单词进行编码,这降低了常规编码策略的随机性。我们使用当前主流的稀疏编码算法在UIUC体育事件数据库、15自然场景数据库和Caltech101对象数据库上进行了大量的实验,实验结果表明通过使用我们提出的空间约束编码方案,分类性能能够提高,验证了在图像分类问题上我们所提出的方法的通用性和实用性。(3)我们研究了在使用稀疏编码算法进行图像分类时如何对视觉单词选择最佳池化区域的问题。我们指出,通过使用人脸检测领域众所周知的Viola-Jones算法,可以学习到稀疏编码算法中的池化区域。具体来说,我们使用Boosting技术学习池化区域。实验结果表明只使用低维的图像特征和较小规模的字典就能使图像分类的性能提升到当前主流算法的分类精度(UIUC体育事件数据库、15自然场景数据库和Caltech101对象数据库)。此外,可以显式的学到“显著池化区域”。(4)最近利用图像中具有判别能力的图像块提取中层特征的方法,已经显示出其在图像分类问题中的威力。我们通过综合局部特征和中层特征来提高图像特征的表达能力。具体而言,我们首先使用SLIC超像素算法将图像过分割为若干超像素区域。然后在每个区域上,我们在落入该区域的局部特征集合上学习到一个子空间。通过一个子空间映射到点的算法把张成子空间的基向量对应为一个新的中层特征。为了合并这两种类型的特征,我们建立两个字典,一个用于对局部特征编码,另一个用于对中层特征编码。最终由局部特征和中层特征的串联构成图像的特征表示。在Caltech101和Caltech256对象数据库上,实验结果表明通过使用中层特征和局部特征,两个基于稀疏编码的图像分类算法的分类精度都显著提高,验证了融合中层特征对于图像分类的实用性。