基于内容的图像分类项目报告

'基于内容的图像分类因真理、得自由、以服务http://blog.sina.com.cn/gusui基于内容的图像分类项目报告一．项目综述本实验项目实现了基于内容的图像分类系统，系统共分为三大模块：特征提取部分和分类器训练与测试，以及界面展示。在特征提取模块采用了HSV、CIE-LAB、RGB颜色特征，小波变换及灰度共生矩阵的纹理特征，基于canny算子不变矩的形状特征；分类器我们选择了SVM、？对于不同特征的处理，我们采取了前期加权融合。最后还有一个对各个特征分类结果的投票决策系统，但投票系统还没有用于最后结果的提交。界面展示使用VisualC++6.0平台。二．设计方案及详细介绍1.特征提取部分在本系统中，图像特征采用了HSV、CIE-XYZ和CIE-LAB颜色空间，小波变换及灰度共生矩阵纹理特征和结构特征。1)颜色特征颜色特征是一种全局特征,描述了图像或图像区域所对应的景物的表面性质。优点是不受图像旋转和平移变化的影响，进一步借助归一化还可不受图像尺度变化的影响，其缺点是没有表达出颜色空间分布的信息。1.1.1.HSV颜色空间HSV颜色空间是与人眼的视觉感受最接近的颜色之一，所以通常在检索中使用HSV颜色空间的效果会比较好。为了使用HSV空间，我们对jpeg图像做了3*3的分块，并对三个分量做了归一化，以使得三个分量在一起计算距离的时候不会因为某个分量数值太大而引起偏差。1.1.2.CIE-LAB颜色空间LAB颜色空间是与设备无关的颜色空间，他的量度方式是人眼的接受方式而不是设备，LAB具有最宽的色域。我们在使用LAB颜色空间时，将JPEG图像做了3*3的分块，以达到较好的效果。RGB需要先转换为CIE-XYZ，然后转换为CIE-LAB。1.1.3.RGB颜色空间1.1.4.利用直方图分离前背景统计特征由于我们观察到：不同分类的图片2)纹理特征图像可以看成是不同纹理区域的组合，纹理通常定义为图像的某种局部性质，或是对局部区域中像素之间关系的一种度量。纹理特征是一种不依赖于颜色或亮度的反映图像中同质现象的视觉特征，是所有物体表面共有的内在特性。纹理特征包含了物体表面结构组织排列的重要信息以及它们与周围环境的联系。纹理描述的难点就在于它与物体的形状间存在密切的关系，千变万化的物体形状与嵌套式分布使纹理的分类变得十分困难。1 基于内容的图像分类因真理、得自由、以服务http://blog.sina.com.cn/gusui纹理特征对模式识别和计算机视觉等领域都具有重要的意义。目前，主要有两种提取纹理特征的方法：灰度共生矩阵法和小波变换法。本系统两种特征均进行了提取，详述如下：1.2.1.共生矩阵纹理表现局部范围内某个方向以某个步长重复的灰度值对。提取的步骤概括为：µ在不同的方向（0，45，90，135度方向），统计不同距离的相同灰度值的对数。存入四个方向矩阵中。每个矩阵元素的意思是：灰度i到灰度j距离小于一个固定步长的对数。实验证明，步长不能太大，也不能太小，我们选择5.µ对每个矩阵计算各种特征：我们选取的特征分别为：能量、熵、惯性矩、局部平稳、和平均、和熵、相关性六个特征µ对四个方向上的六种特征求平均，以达到旋转不变性的特性。µ经过上述步骤处理得到了5×6＝30维度的特征1.2.2.小波分解在小波分解中，我们开始使用了十个维度的特征，对于图像进行三级小波分解，如下图所示：（后来在测试中发现第10个维度没有什么效果，甚至让结果变差了，具体原因还没有去分析）经过三次小波分解（只对上次分解的低频部分递归），得到原图的10个子块，最左上角的f9是原图的一个低分辨率的近似，其余子块f0,...,f8都是原图象在不同分辨率下的高频部分，表示了原图在横向，纵向以及对角线方向上的纹理变化。具体实现上，采用Daubechies小波变换，其中变换矩阵的选取是和图像的大小有关的，当向量的长度超过512时，选择的变换矩阵为DAUB20，当长度小于512大于128时，变换矩阵为DAUB12，当长度小于128时，变换矩阵为DAUB4。由于在递归进行分解时，每次分解的输入是上次分解的输出，其分辨率只有原图象的1/2，这样可以根据输入图像的分辨率来自动选取合适的变换矩阵。3)形状特征形状特征的提取过程如下，先文将按流程顺序分别介绍各步的基本方法[5]：2 基于内容的图像分类因真理、得自由、以服务http://blog.sina.com.cn/gusui形状特征提取流程1.3.1.运用canny算子对图像进行边缘提取，得到边缘图像Canny算子具有不仅能很好的检测边缘，而且具有能抑制点状噪声、把图像中的目标从背景中较好分离出来的优点。基本思想是：先对处理的图像选择一定的Gauss滤波器进行平滑滤波，然后采用一种称之为“非最大值抑制”(Non-maxSuppression)的技术，对平滑后的图像处理后，得到最后的边缘图像。Canny算子的算法实现主要包括5个部分：图像滤波、计算图像梯度、抑制梯度非最大点、搜索边界的起点、跟踪边界。Canny算子的基本流程1.3.2.运用形态学的方法，对图像边缘进行处理3 基于内容的图像分类因真理、得自由、以服务http://blog.sina.com.cn/gusui尽管Canny算子具有良好的特性，但在实际应用中，图像难免会受到各种噪声的干扰。因此，图像的外轮廓可能会存在一些间断点。为了解决这一问题，我们采用形态学上的闭操作：膨胀对图像外部做滤波处理，而腐蚀则表示对图像内部做滤波处理，且膨胀和腐蚀是对偶运算，因而，对得到的目标边缘还存在细小的断线、不连续等不足的情况，引入形态学方法，先对图像先做膨胀，再做腐蚀运算，即能连接不连续的边缘点。另外，形态学也具有边缘检测以及去处噪声的功能。然后进行细化操作。最后得到清晰的连续平滑、单像素、二值化的外轮廓图像；1.3.3..进行种子填充，得到图像的外轮廓线所包围的目标区域此处采用了漫水法。基本方法是：首先在区域内测试一点(x,y)的像素值，看其是否具有原始给定的值，来决定该点在区域内是否被填充过。如果是，则改变其颜色或亮度值，然后再在其邻域内继续测试，通过反复调用，实现区域填充。1.3.4.计算目标区域的不变矩，构成这幅图像的形状特征向量Hu.M.K已经证明七个HU经典不变矩具有平移、旋转、比例尺度变化不变性。这些矩的幅值反映了物体的形状并可用于形状检索和模式识别。在此基础上，还可以退出基于边界的七个特征矩。值得注意的是，这里的二维不变矩是指二维旋转、平移和比例变换下的不变量，对其他类型的变换，如仿射变换、影射变换，上述的不变矩是不成立的，因此还需要引入三个仿射不变矩。按照公式计算目标区域的七个HU经典不变矩特征值和3个仿射不变矩；并在HU不变矩修正后的基础上，计算出图像的边界矩形状特征向量。1.3.5.对形状特征向量进行内部归一化处理，将特征值存入图像特征库特征向量中的每个特征元素具有不同的物理意义，而且它们的幅度也可能大不相同，因此在进行度量时，会产生很大偏差，必须通过特征归一化来消除这种偏差。高斯归一化方法是一种较好的归一化方法，其特点是少量超大或超小的元素值对整个归一化后的元素值分布影响不大。2.分类器及投票系统三．具体实现与运行结果1.界面设计界面结构如下图：4 基于内容的图像分类因真理、得自由、以服务http://blog.sina.com.cn/gusui初始界面通过界面实现分类查询功能2.过程介绍1)选择文件夹作为所有图片和特征文档提取的默认路径5 基于内容的图像分类因真理、得自由、以服务http://blog.sina.com.cn/gusui2)选择一个类别，此时将在对话框下方显示该类的训练集，在上方中间显示该类的测试集。3)单击对话框上方中间的按钮“预测分类”，将在每张测试图片下方显示该图片的预测分类结果。对话框上方右侧显示所有分类的平均准确率。4)单击对话框右上方的按钮“confusionmatrix”，将呈现各个类别分类准确率的柱状图。说明：①所有jpg图片、分类结果文档和柱状图都需保存在对话框左上角指定的同一文件夹中。②运用分类器分类后的结果请保存在统一路径下的“data.txt”文档中，第i行表示测试集中的第i张图片（按文件名顺序），第i行的int数据c表示预测分类的结果所在类别序号。③分类后，根据各个类别的准确率，得到confusionmatrix数据的二位数组，其中(i,i)个元素是第i类图片的分类准确率Ai，据此在matlab中绘图，得到三维柱状图，将该图另存为“matrix.bmp”，并保存在统一路径下。3.试验对比结果1)所有特征的柱状图：6 基于内容的图像分类因真理、得自由、以服务http://blog.sina.com.cn/gusui7 基于内容的图像分类因真理、得自由、以服务http://blog.sina.com.cn/gusui8 基于内容的图像分类因真理、得自由、以服务http://blog.sina.com.cn/gusui2）、柱状图简要分析：四．遇到的问题及解决方案问题：单纯依赖形状特征对背景较复杂的图像进行特征提取分类的准确率较低，主要原因是轮廓的提取误差会比较大，而不变矩虽然解决了轮廓对旋转、平移、伸缩应具有不变性的问题，但它却丢失了图像的颜色信息和纹理信息。解决方法：多种特征提取方法相融合五．项目总结及心得体会本实验项目实现了基于内容的图像检索系统，利用了三种图像特征和两种相似度度量方法，检索效果也比较好。在查找资料的时候，还阅读了其他特征提取和图像匹配的方法，比如用灰度共生矩阵进行纹理特征，在把图像分块之后再进行特征提取和图像匹配，和带反馈的检索等，由于时间关系，在此系统中没有实现，以后可以考虑完成。在形状特征提取方面，当图像的背景比较复杂时，轮廓的提取误差会比较大，虽然不变矩解决了轮廓对旋转、平移、伸缩应具有不变性的问题，但它却丢失了图像的颜色信息和纹理信息。故基于不变矩进行的图像特征检索，适合于背景比较单一而目标比较明显的图像类型的分类检索。六．参考文献1.XiangSeanZhou，YongRui，ThomasS.Huang.Water-Filling:ANovelWayforImageStructuralFeatureExtraction2.马晓凯，黎绍发.利用小波变换和纹理特征实现运动对象检测.计算机应用，2007年，第1期3.AlbertBoggess,FrancisJ.Narcowich.芮国胜，康健.小波与傅立叶分析基础.北京：电子工业出版社,2004,14.杨建国.小波分析及其工程应用.北京：机械工业出版社，2005，75.高中义。基于形状特征的图像分析算法研究。吉林大学硕士学位论文。2006年七．任务分配：1．颜色特征提取：包括RGB、HSV、CIE-LAB颜色特征的提取2．svm分类器的使用3．寻找和学习新的分类器4．投票系统5．文件格式转换，把结果转换成最终提交文件格式：1．形状特征提取：包括基于canny算子的图像分割，边界闭操作，边界细化，种子填充，计算不变矩特征和归一化等过程。9 基于内容的图像分类因真理、得自由、以服务http://blog.sina.com.cn/gusui2．界面设计和实现3．柱形结果展示4．文档撰写1.项目的基础建立：包括基本类库、接口设计等2.纹理特征提取：包括共生矩阵、小波分解3.寻找和使用新的分类器4.（各种）直方图特征提取5.投票系统6.文档撰写10'