论文部分内容阅读
摘要：基于内容的图像检索是图像检索中较高层次的检索，文中对CBIR的各种特征提取方法进行了分析比较，最后指出了当前的研究热点和今后的发展方向。
关键词：CBIR；特征提取；颜色；纹理；形状
中图分类号：TP311文献标识码：A 文章编号：1009-3044(2008)21-30503-02
Research of Content-Based Image Retrieval
LI Cong, ZHANG Ming-xin, QIAO Xiao-ni, ZHANG A-hong
(College of Mathematics and Information Science,Northwest Normal University,Lanzhou 730070,China)
Abstract:Content-Based Image Retrieval is the high level of the retrieval.This paper introduce and compare various methods for feature extraction and similarity measurement.In the end,the hot research and future research trends are presented.
Key words: content-based image retrieval,feature extraction,colour features,texture features,shape features
1 前言
据统计，人类接受的外部信息，70%以上来自视觉，图像作为一种内容丰富，表现直观的多媒体信息被大量广泛的使用，如何有效的管理、检索图像信息成为迫切需要解决的问题。传统的基于文本的检索无法满足海量环境下多媒体信息库的检索要求。为了克服基于文本方法的局限性，出现了基于内容的图像检索。
2 特征检索技术
在基于内容的图像检索中，特征提取是很关键的步骤，所提取的特征直接影响后续的图像相似性匹配过程、检索有效性等。
2.1 颜色特征检索
颜色特征检索是当前绝大多数基于内容的图像和视频检索的多媒体数据库中使用的特征之一。基于颜色特征检索主要采用的方法有：颜色直方图、颜色相关图、颜色矩等。
2.1.1 颜色直方图
颜色直方图法[1]的具体做法是，在确定颜色空间的基础上，计算每种颜色的像素个数，并构造直方图，最后把直方图作为图像的颜色特征进行图像检索。特征的相似性度量是通过对直方图之间的距离的设定，当它们的距离小于给定的阈值时，即认为符合检索结果。其改进方法有Stricker和dimai于1996年提出的基于颜色空间的固定划分方法，既先将图像分割为适当的分块，然后用分块的颜色直方图和分块的颜色矩为每个分块提取响应的局部颜色特征，从而提高图像检索的准确性。文献[2] 采纳Gaussian向量量化技术提出颜色直方图，文献[3] 采用距离角度直方图方法，统计每一种颜色在特定距离和角度内的颜色直方图，文献[4]提出了一种基于位平面直方图的检索方法，文献[5]研究了不同颜色视觉感知强度间的差异，通过构建颜色主观信息量函数，实现对这种差异的量化描述。在此基础上构建了符合视觉感知特性的颜色直方图。
2.1.2 颜色相关图
颜色相关图[6]color correlogram)是图像颜色分布的另一种表达方式。这种特征不但刻画了某一种颜色的像素数量占整个图像的比例,还反映了不同颜色对之间的空间相关性。颜色相关图的图像检索效果很好,但是它的缺点就是计算量很大。
2.1.3 颜色矩
颜色矩[7] （color moments）由Stricker 和Orengo所提出。这种方法的数学基础在于图像中任何的颜色分布均可以用它的矩来表示。此外，由于颜色分布信息主要集中在低阶矩中，因此仅采用颜色的一阶矩（mean）、二阶矩（variance）和三阶矩（skewness）就足以表达图像的颜色分布。与颜色直方图相比，该方法的好处在于无需对特征进行向量化。
2.2 纹理特征检索
一般将图像在局部区域内呈现不规则性,而在整体上表现出某种规律性的特性称为纹理。纹理特征通常被看作图像的某种局部特征，它不仅反映图像的灰度统计信息，而且反映图像的空间分布信息和结构信息。
基于内容的图像检索中常用的纹理特征提取算法,主要有灰度共生矩阵、Tamura纹理特征、小波变换等。
2.3 形状特征检索
形状是图像的可视内容的一个重要特征。对于形状匹配来说,Hough变换是最经典的方法。常用的形状匹配方法还有欧氏距离、马氏距离，几何参数法，小波重要系数法。在众多形状匹配算法中，Barrow等人提出的Chamfer比较法吸引了不少研究者的兴趣，该方法能够以线性的时间复杂度比较两个图像的形状块集合。在形状描述方面,主要包括边界特征法、傅立叶形状描述符法(Fourier shape descriptors)、几何参数法、形状不变矩法、有限元方法(Finite Element Method,FEM)、小波描述子法等。
2.4 图像内容的空间关系
上述的颜色、纹理和形状等多种特征反映的都是图像的整体特征，而无法体现图像中所包含的对象或物体。事实上，图像中对象所在的位置和对象之间的空间关系同样是图像检索中非常重要的特征。
在基于空间关系的图像检索方面国内外学者做了大量的研究，如文献[8]提出的基于空间关系的图像检索，该方法对一幅图像从几个方向的投影作为这幅图像的颜色特征分布，并对图像做小波分解来减少检索时运算的数据量，然后对分解后图像的低频子带做Radon变换得到颜色空间分布的特征向量，并根据这个特征进行检索。文献[9]中提出一种改进的基于模糊量化的颜色量化方法并在此基础上提出了一种基于颜色-空间特征的检索方法。文献[10]中提出一种通过提取颜色特征、灰度特征，获取图像物体的形状和空间特征，综合检索图像的方法，检索结果不受图像大小、旋转和轻微的光照变化的影响，相对于传统的颜色直方图法，这种方法能明显改善检索效果。
3 目前的研究的热点领域
3.1 Mpeg-7在基于内容的图像检索中的应用
MPEG-7标准在一个稳定的底层架构上为用户提供了较大的灵活性。这一标准的发布，对图像低层特征的提取和描述将更具规范性，结合MPEG-7标准的图像检索可在特征及其提取、查询接口、检索引擎、索引等方面进一步深入研究。MPEG-7多媒体内容描述标准的制定将极大的促进CBIR的广泛应用。目前基于MPEG-7的图像检索的研究主要集中在模型的研究。如文献[11]文献[12]的基于MPEG-7标准的图像检索系统的抽象模型。
3.2 图像数据库技术
由于基于内容的图像检索需要将图像的颜色、文理和形状等作为索引，用户通过选择具有代表性的一幅或多幅例子图像来构造图像，因此关系数据库在基于内容的图像检索中面临着诸多问题，基于内容的图像数据库的研究变的由为重要。面向对象数据库所支持的多媒体的各种结构和类型数据能较好的解决目前所面临的问题。文献[13]中提出基于内容图像数据库的结构并构造了一个按内容检索的面向对象数据模型。
3.3 基于内容的图像检索的性能评价的度量方法的研究
对于性能评价的度量方法，目前采用最多的方法还是传统的信息检索领域中普遍采用的查准率和查全率，但查全率和查准率的局限性在于没有考虑检索结果中相似图像所处的位置。研究者们还用以下几种度量方法来评价图像检索的性能：1)3点平均植：查全率为0.2,0.5,0.8处查准率的平均植[14]。2)11点平均植：在11个查准率点处查准率的平均植。3)当准确率下降到0.5时的查全率[14] (4)Berman和Shapiro通过判断相关图像出现在返回的前50幅和前500幅图像中的比例来评判检索性能[15]。5)Hwang et al 所使用的错误率的方法，即检测出的不相关的图像和图像总数的比值来判断检索性能[15]。
4 结束语
自20世纪90年代以来，随着互联网的高速发展、数字图像的广泛应用，使得如何有效组织、管理和检索大规模的图像数据成为亟待解决的问题，因此，CBIR技术成为一个研究热点，目前，世界各国的相关研究人员沿着基于内容的图像检索研究方向也已成功的开发出许多带有商业性质或者研究性质的CBIR系统，但是，在这个领域目前还有很多值得深入研究的课题。正如John Eakins博士所言：基于内容检索的图像分析与检索技术的研究不会是昙花一现，它不像某些过分热情洋溢的学者所期望的那么有效，它也不像某些批评者所想的那么糟糕，它会继续得到
发展和改进。
参考文献：
[1] MichaelSwain,DanaBallard.Colorindexing[J].International Journal of Computer Vision,1991.
[2] Jeong S,Won C S,Gray R M.Image retrieval using color histograms generated by Gauss mixture vector quantization[J].Computer Vision and Image Understanding,2004,9(1-3):44-46.
[3] Ediz Saykol,Ugur Gudukbay,Ozgur Ulusoy.A histogram-based approach for object-based query-by-shape-and-color in image and video databases[J].Image and Vision Computing,2005(23),1170-1180.
[4] 王向阳,胡峰丽.基于位平面颜色直方图的图象检索新方法[J].小型微型计算机系统,2007(4).
[5] 胡珊,郭雷,沈云涛.基于视觉感知特性的颜色直方图[J].计算机应用,2006(12).
[6] Mao A K Jain.Textureclassification and segmentation using multiresolution simultaneous autoregressive models[J].Pattern Recognition,1992,25(2):173-188.
[7] Markus Stricker,Markus Orengo.Similarity of color images[C]//Proc SPIE Storage and Retrieval for Image and Video Databases,1995.
[8] 牛蕾,倪林,苗原.基于颜色空间分布特征的图像检索[J].算机工程与应用,2005(4).
[9] 方俊, 郭雷, 汪子强.一种改进的基于颜色-空间特征的图像检索方法[J].计算机工程与应用,2005(25).
[10] 钱瑛,须文波.基于颜色空间特征的图像检索[J].江南大学学报:自然科学版,2007,6(2).
[11] 李岚,冯刚.MPEG-7与基于内容的图像检索算机工程与应用[J].算机工程与应用,2002(17).
[12] 陈慧.基于内容的图像检索与MPEG-7[J].福建电脑,2007(12).
[13] 孟倩.基于内容查询的图像数据库模型[J].计算机应用与软件,2007(1).
[14] 韦娜.基于内容的图像检索系统性能评价[J].中国图象图形学报,2004,9(11).
[15] Henning Mǖller.Pattern Recognition Letters[J].2001,22(5):593-601.
关键词：CBIR；特征提取；颜色；纹理；形状
中图分类号：TP311文献标识码：A 文章编号：1009-3044(2008)21-30503-02
Research of Content-Based Image Retrieval
LI Cong, ZHANG Ming-xin, QIAO Xiao-ni, ZHANG A-hong
(College of Mathematics and Information Science,Northwest Normal University,Lanzhou 730070,China)
Abstract:Content-Based Image Retrieval is the high level of the retrieval.This paper introduce and compare various methods for feature extraction and similarity measurement.In the end,the hot research and future research trends are presented.
Key words: content-based image retrieval,feature extraction,colour features,texture features,shape features
1 前言
据统计，人类接受的外部信息，70%以上来自视觉，图像作为一种内容丰富，表现直观的多媒体信息被大量广泛的使用，如何有效的管理、检索图像信息成为迫切需要解决的问题。传统的基于文本的检索无法满足海量环境下多媒体信息库的检索要求。为了克服基于文本方法的局限性，出现了基于内容的图像检索。
2 特征检索技术
在基于内容的图像检索中，特征提取是很关键的步骤，所提取的特征直接影响后续的图像相似性匹配过程、检索有效性等。
2.1 颜色特征检索
颜色特征检索是当前绝大多数基于内容的图像和视频检索的多媒体数据库中使用的特征之一。基于颜色特征检索主要采用的方法有：颜色直方图、颜色相关图、颜色矩等。
2.1.1 颜色直方图
颜色直方图法[1]的具体做法是，在确定颜色空间的基础上，计算每种颜色的像素个数，并构造直方图，最后把直方图作为图像的颜色特征进行图像检索。特征的相似性度量是通过对直方图之间的距离的设定，当它们的距离小于给定的阈值时，即认为符合检索结果。其改进方法有Stricker和dimai于1996年提出的基于颜色空间的固定划分方法，既先将图像分割为适当的分块，然后用分块的颜色直方图和分块的颜色矩为每个分块提取响应的局部颜色特征，从而提高图像检索的准确性。文献[2] 采纳Gaussian向量量化技术提出颜色直方图，文献[3] 采用距离角度直方图方法，统计每一种颜色在特定距离和角度内的颜色直方图，文献[4]提出了一种基于位平面直方图的检索方法，文献[5]研究了不同颜色视觉感知强度间的差异，通过构建颜色主观信息量函数，实现对这种差异的量化描述。在此基础上构建了符合视觉感知特性的颜色直方图。
2.1.2 颜色相关图
颜色相关图[6]color correlogram)是图像颜色分布的另一种表达方式。这种特征不但刻画了某一种颜色的像素数量占整个图像的比例,还反映了不同颜色对之间的空间相关性。颜色相关图的图像检索效果很好,但是它的缺点就是计算量很大。
2.1.3 颜色矩
颜色矩[7] （color moments）由Stricker 和Orengo所提出。这种方法的数学基础在于图像中任何的颜色分布均可以用它的矩来表示。此外，由于颜色分布信息主要集中在低阶矩中，因此仅采用颜色的一阶矩（mean）、二阶矩（variance）和三阶矩（skewness）就足以表达图像的颜色分布。与颜色直方图相比，该方法的好处在于无需对特征进行向量化。
2.2 纹理特征检索
一般将图像在局部区域内呈现不规则性,而在整体上表现出某种规律性的特性称为纹理。纹理特征通常被看作图像的某种局部特征，它不仅反映图像的灰度统计信息，而且反映图像的空间分布信息和结构信息。
基于内容的图像检索中常用的纹理特征提取算法,主要有灰度共生矩阵、Tamura纹理特征、小波变换等。
2.3 形状特征检索
形状是图像的可视内容的一个重要特征。对于形状匹配来说,Hough变换是最经典的方法。常用的形状匹配方法还有欧氏距离、马氏距离，几何参数法，小波重要系数法。在众多形状匹配算法中，Barrow等人提出的Chamfer比较法吸引了不少研究者的兴趣，该方法能够以线性的时间复杂度比较两个图像的形状块集合。在形状描述方面,主要包括边界特征法、傅立叶形状描述符法(Fourier shape descriptors)、几何参数法、形状不变矩法、有限元方法(Finite Element Method,FEM)、小波描述子法等。
2.4 图像内容的空间关系
上述的颜色、纹理和形状等多种特征反映的都是图像的整体特征，而无法体现图像中所包含的对象或物体。事实上，图像中对象所在的位置和对象之间的空间关系同样是图像检索中非常重要的特征。
在基于空间关系的图像检索方面国内外学者做了大量的研究，如文献[8]提出的基于空间关系的图像检索，该方法对一幅图像从几个方向的投影作为这幅图像的颜色特征分布，并对图像做小波分解来减少检索时运算的数据量，然后对分解后图像的低频子带做Radon变换得到颜色空间分布的特征向量，并根据这个特征进行检索。文献[9]中提出一种改进的基于模糊量化的颜色量化方法并在此基础上提出了一种基于颜色-空间特征的检索方法。文献[10]中提出一种通过提取颜色特征、灰度特征，获取图像物体的形状和空间特征，综合检索图像的方法，检索结果不受图像大小、旋转和轻微的光照变化的影响，相对于传统的颜色直方图法，这种方法能明显改善检索效果。
3 目前的研究的热点领域
3.1 Mpeg-7在基于内容的图像检索中的应用
MPEG-7标准在一个稳定的底层架构上为用户提供了较大的灵活性。这一标准的发布，对图像低层特征的提取和描述将更具规范性，结合MPEG-7标准的图像检索可在特征及其提取、查询接口、检索引擎、索引等方面进一步深入研究。MPEG-7多媒体内容描述标准的制定将极大的促进CBIR的广泛应用。目前基于MPEG-7的图像检索的研究主要集中在模型的研究。如文献[11]文献[12]的基于MPEG-7标准的图像检索系统的抽象模型。
3.2 图像数据库技术
由于基于内容的图像检索需要将图像的颜色、文理和形状等作为索引，用户通过选择具有代表性的一幅或多幅例子图像来构造图像，因此关系数据库在基于内容的图像检索中面临着诸多问题，基于内容的图像数据库的研究变的由为重要。面向对象数据库所支持的多媒体的各种结构和类型数据能较好的解决目前所面临的问题。文献[13]中提出基于内容图像数据库的结构并构造了一个按内容检索的面向对象数据模型。
3.3 基于内容的图像检索的性能评价的度量方法的研究
对于性能评价的度量方法，目前采用最多的方法还是传统的信息检索领域中普遍采用的查准率和查全率，但查全率和查准率的局限性在于没有考虑检索结果中相似图像所处的位置。研究者们还用以下几种度量方法来评价图像检索的性能：1)3点平均植：查全率为0.2,0.5,0.8处查准率的平均植[14]。2)11点平均植：在11个查准率点处查准率的平均植。3)当准确率下降到0.5时的查全率[14] (4)Berman和Shapiro通过判断相关图像出现在返回的前50幅和前500幅图像中的比例来评判检索性能[15]。5)Hwang et al 所使用的错误率的方法，即检测出的不相关的图像和图像总数的比值来判断检索性能[15]。
4 结束语
自20世纪90年代以来，随着互联网的高速发展、数字图像的广泛应用，使得如何有效组织、管理和检索大规模的图像数据成为亟待解决的问题，因此，CBIR技术成为一个研究热点，目前，世界各国的相关研究人员沿着基于内容的图像检索研究方向也已成功的开发出许多带有商业性质或者研究性质的CBIR系统，但是，在这个领域目前还有很多值得深入研究的课题。正如John Eakins博士所言：基于内容检索的图像分析与检索技术的研究不会是昙花一现，它不像某些过分热情洋溢的学者所期望的那么有效，它也不像某些批评者所想的那么糟糕，它会继续得到
发展和改进。
参考文献：
[1] MichaelSwain,DanaBallard.Colorindexing[J].International Journal of Computer Vision,1991.
[2] Jeong S,Won C S,Gray R M.Image retrieval using color histograms generated by Gauss mixture vector quantization[J].Computer Vision and Image Understanding,2004,9(1-3):44-46.
[3] Ediz Saykol,Ugur Gudukbay,Ozgur Ulusoy.A histogram-based approach for object-based query-by-shape-and-color in image and video databases[J].Image and Vision Computing,2005(23),1170-1180.
[4] 王向阳,胡峰丽.基于位平面颜色直方图的图象检索新方法[J].小型微型计算机系统,2007(4).
[5] 胡珊,郭雷,沈云涛.基于视觉感知特性的颜色直方图[J].计算机应用,2006(12).
[6] Mao A K Jain.Textureclassification and segmentation using multiresolution simultaneous autoregressive models[J].Pattern Recognition,1992,25(2):173-188.
[7] Markus Stricker,Markus Orengo.Similarity of color images[C]//Proc SPIE Storage and Retrieval for Image and Video Databases,1995.
[8] 牛蕾,倪林,苗原.基于颜色空间分布特征的图像检索[J].算机工程与应用,2005(4).
[9] 方俊, 郭雷, 汪子强.一种改进的基于颜色-空间特征的图像检索方法[J].计算机工程与应用,2005(25).
[10] 钱瑛,须文波.基于颜色空间特征的图像检索[J].江南大学学报:自然科学版,2007,6(2).
[11] 李岚,冯刚.MPEG-7与基于内容的图像检索算机工程与应用[J].算机工程与应用,2002(17).
[12] 陈慧.基于内容的图像检索与MPEG-7[J].福建电脑,2007(12).
[13] 孟倩.基于内容查询的图像数据库模型[J].计算机应用与软件,2007(1).
[14] 韦娜.基于内容的图像检索系统性能评价[J].中国图象图形学报,2004,9(11).
[15] Henning Mǖller.Pattern Recognition Letters[J].2001,22(5):593-601.