基于小波变换的远程监控系统图象处理

'山东大学硕士学位论文基于小波变换的远程监控系统图象处理姓名：李振华申请学位级别：硕士专业：控制理论与控制工程指导教师：孙同景2001.11.16 山东大学硕士学位论文!!：：：：：：======。==!========!烹==========!=!笠摘要f远程监控系统应用场合非常广泛，在远程监控系统的方案设计中，经常会遇到的问题是如何远距离传输监控现场的模拟视频信号。传统的模拟传输系统有以下缺陷：信号容易产生衰耗、畸变、易受干扰；有线模拟视频崎控系统无法联网，只能以点对点的方式监视现场，并且需要综合布线，工作量大，成本高。为克服模拟传输系统的这些缺点，／)我们设计了一种基于共用电话交换网(PSTN)的图象压缩编码传输系统。本课题的主要工作是对摄像机采集的监控现场的图象信号进行压缩编码，减少图象信息的数据量，以满足普通电话线的带宽(50Kbps左右)要求，达到实时传输视频信号的目的。小波变换山于其自身的特点得到越来越广泛的应用，将其应用于图象的压缩编码之中是目前的一个重要研究方向，本课题中考虑到远程视频监控系统实时性要求较高的特点设计了基于小波变换的图象压缩编码方案。对摄像机采集的监控现场的运动图象的压缩编码可分为帧内编码和帧问编码。．U|l!ji内编码是对运动图象的第一帧或场景发生变化后的第一帧进行编码，⋯于没有运动信息可以利用，不能进行运动补偿，故实际上是静态图绿的编码。对静态图象的编码分为三步：小波变换、小波变换系数量化、无损熵编码。课题中采用小波变换作为图象信息正交变换的方法，并且考虑到变换速度及硬件实现简便性的要求，通过比较采用了一种系数为2的负整数次幂的双正交滤波器，为以后采用数字信号处理器DSP实现图象处理奠定了基础。课题中采用的小波变换量化方法是基于S．M．Shapiro提出的EZW方法(即：小波系数的嵌入式零树编码)，并对此算法做了部分改进，在一定程度上改善了其编码速度和编码质量。无损熵编码部分采用了虽比算术编码效率低一些，但编码较简单、易于实现且速度较快的Huffman编码，以满足远程监控系统实时性要求较高的特点。帧间编码是指前后两帧图象的场景基本不变，也即存在时间上的冗余。运动图象压缩最为关键的环节是：运动估计以及运动补偿余量误差图象的处理。在课题中采用了MPEG标准中的基于块匹配的方法，运动补偿工作在宏块(macroblock)～级，宏块的大小定为16X16大小。课题第1页 山东大学硕士学位论文!=======!===============：：：!==：：：：一小剥MPEG标准中的运动图象压缩方案作了改动，以适应远程监控系统实时性要求较高的特点。对运动补偿余量误差图象的处理采用与上面静态图象编码l，II同的编码方法。图象解码是图象编码的逆过程，可桐应得到。夕何通过在微机上模拟，课题中的图象压缩编码方案在编码速度及编码效率上获得了较好的效果，可基本上满足远程监控系统的要求，为以后用硬件实现奠定了基础。【关键词】远程监控、图像压缩、小波变换、嵌入式零树编码、运动补偿第2页 山东大学硕士学位论文：!!!-=：：!：!=!=：=================!====!===!ABSTRACTRemoteciviliansystemsarewidelyusednowadays．Intheschemedesignofremoteciviliansystems，themainproblemweareoftenconfrontedwithishowtotransmittheanalogvideofrequencysignaloflocale．Traditionalanalogtransmissionsystemshavesomelimitation：signalattenuation，signalaberrationandinterference．Itisimpossiblefortraditionalanalogtransmissionsystemstoformanetwork．Inordertoovercometheselimitations，wedesignacodingtransmissionsystembasedonPSTN．ThechiefWOrkofthesubjectistoperformtheimagecompressioncodingontheimagesignaloflocaleacquiredbypickupcamerainordertoreducetheredundancyofdatarequiredtoexpressanimageSOastomeetthebandwidthofPSTN(about50Kbps)andtotransmitvideofrequencysignalillrealtimeWavelettransform，becauseofitsspecialty，isstudiedandappliedinmanyfields．Oneofitsimportantapplicationsisimagecompression．Inthisthesis，takingthefeatherofrealtimeofremotecj、，iliansystemsintoconsideration．wedesignanimagecompressioncodingsystembasedonwavelettransform．Thecompressioncodingonimagesequenceoflocalecanbedividedintotwoclasses：theintra—framecodingandtheinter-framecoding．Intra-framecodingisperformedonthefirstframeoftheimagesequenceorthefirstframeafterthesceneofimagesequencehaschangedacutely．Itis，becauseofnomotioninfon-nationavailable．actuallystaticimagecoding．Therearethreestepstoprocessstaticimagecoding：wavelettransform，thequantificationofwaveletcoefficients，entropycoding．Inthisthesis，weuseabi—onhonormalwaveletfilterthathascoefficientsofnegativeintegerpowerof2．SOastoimprovethespeedofwavelettransforillandtomaketheimplementofhardwaremoresimple．Bytakingthesemeasures，thebasalworkisprovidedforfurtherworkontheimageprocessingbyusingDSRThemethodofthequantificationofwaveletcoefficientsadoptedin、thisthesisiSbasedonEZW(EmbeddedZerotreeWaveletCoding)proposedbyS．M．Shapiroin1993Tomakeitmoresuitableforremoteciviliansystems．wedoa10tofimprovementaboutthisalgorithminordertoimprovethecodingefficiencyandcodingspeed．BecauseofthesimplenessandeasyimplementofHuffman第3页 山东大学硕士学位论文coding，weuseitastheentropycodinginthisthesis．Interframecodingisprocessedontwosuccessiveframesthatthesceneofthetwoframeschangesfeebly，i．e，thereexistsalotoftemporalredundancy．Thetwokeypointsofimagesequencecompressionaremotionestimationandthedisposalofmotioncompensationsurplusimage．ThemotionestimationusedinthisthesisisbasedontheblockmatchingmethodproposedinMPEG．Motioncompensationworksonmacroblocklevel．Thesizeofmacroblockisdefinedas16×16．Tomakeitmoresuitableforremoteciviliansystems．wedoalotofadjustmentaboutthismethodinordertomeetthereal—timerequirementofremoteciviliansystems．ThecompressioncodingofmotioncompensationsurplusimageissimilartOstaticimagecodingmentionedabove．TheimagedecodingisthecontraryprocessofimagecodingandCanbeeasilyobtained．ExperimentshowsthattheproposedschemeismoresuitabletotherequirementofremoteciviliansystemsonPSTNinbothcodingefficiencyandcodingspeed．[Keywordslremoteciviliansystems，imagecompression，wavelettransform，EmbeddedZerotreeWaveletCoding，motioncompensation第4页 山东大学硕士学位论文==：：：===：：-!!!=====!!=========!!=====第一章引言1．1课题提出的背景目前远程监控系统在许多场合得到了比较广泛应用，如钻井平台、风力发电站、无人值守的输水泵站、安防系统等。一般的远程视频监控系统结构如下图所示：!}，，|云台!图r{控制r1通监象}一过控一季卜黼一懂现。J远场j㈦{蔫制}i|}中．心监控室图l—l远程监控系统组成框图在许多涉及远程视频监控系统的方案设计中，经常会遇到的问题是如何远距离传输监控现场的模拟视频信号。传统的模拟传输系统有以下缺点：信号容易产生衰耗、畸变、易受干扰：有线模拟视频监控系统无法联网，只能以点对点的方式监视现场，并且需要综合布线，工作量大，成本高。随着科学技术的不断发展，远距离传输视频的可行方法是将模拟视频信号数字化并压缩编码，在可以利用的数字通讯线路上传输。公用电话交换网(PSTN)不仅在现在，而且在今后很长的时期内都将是我国的主要通讯线路。随着Modem技术的不断发展，特别是V．34高速调制解调器的问世，使得在PSTN上实现视频传输成为可能。基于PSTN的视频传输系统可基本上克服传统的模拟视频传输系统的缺点，利用已有的电话线作为传输介质，无需重新布线，降低成本。由于普通电话线的带宽只有50Kbit左右，为实时传输视频信号，必须将压缩后的视频数据限制在50Kbps以内。而一幅中等分辨率640×480的256狄度等级的黑白图象，共有2．46Mbit，可见，不进行图象处理，根本不可能实现实时传输。目前国际上J下制定低码率图象压缩标准，包括ITU的H．261、H263第5页图像解码11lll 山东大学硕士学位论文：：：====!=====!========!====以及ISO／IEC的MPEG一2，MPEG．4等。现在应用的远程监控系统，如VPON300数字网络监控系统(Webserver)将来自摄像机的影像即时拾取，压缩，然后通过以太网经由Internet、Intranet或通过Modem经一般电话线传送，通过一般浏览器进行监控。影像尺寸为320×240图象时，在使用H．263压缩模式下1秒6张(6fps／H．263)频宽要求为：10Kbyte／second(H．263)。它不仅价格昂贵，而且I侦率较慢，很难满足剥现场的实时监控要求。所以研究较先进的图象压缩编码方法，不仅具有很高的理论意义也具有很大的实用价值。目前图象的压缩编码方法很多，而且还在不断的研究发展之中，其中小波变换(WaveletTransform)编码方法由于其良好的能量聚集特性和良好的时频局部化性质而具有很大的压缩潜力并得到了快速的发展。1．2课题介绍在远程视频监控系统中，列图象的压缩编码具有非常重要的意义，考虑到远程监控系统的复杂性，课题的重点主要放在了图象的编码和解码部分，如下图所示。瓣，，fI虿5现：『”m“场莘{i显示器}中{显下奋f图1—2远程视频监控系统图象的编解码部分任何信息必然至少在统计意义上存在一定的规律性。利用这些统计意义的规律，Shannon的率失真理论为信息的压缩表示提供了一个基本的理论基础。我们可以对数字图象进行一定方式的编码，消除其中的冗余信息，实现不失真压缩、或在容许失真限度内的有失真压缩以得到更高的压缩比。与其他种类的信息不同的是，数字图象中的冗余信息又有其本身特有的规律。因此，数字图象压缩也有其特有的技术方法。第6页】1划N弧．m一№№．罄_!蟹丽 ·信息熵冗余(编码冗余)这是在任何一种信息都或多或少地存在地一种冗余。出现这种冗余的原因是信源本身的相关性以及信息码元在信息流中的概率分布不均匀。shann。n在其著名的信息论中给出了这种冗余度的具体定义，并称之为信，色、熵。·空间冗余处于客观世界中的同一物体或背景(或其中的部分区域)一般具有大致相同的表面物理特性，反映在图象上即表现为有一定的灰度相关性。·时间冗余这是运动图象中所经常包含的冗余。由于物体运动的连续性和较高的图样采样率，两副相邻的图象间有较大的相关性。·结构冗余有些图象从大区域上看有非常强的纹理结构，例如草席图象、海洋波浪图象、航海森林图象。这些图象中，一些小的局部图象模式在整幅图象-}·反复出现，甚至有一定的排列规则。·知识jL余大部分图象都是自然界中客观存在的物体的二维映缘。这样的图象中的区域结构、灰度变化等属性当然也服从自然界的规律，也即一定符合我们的知识结构。例如，当我们看到人脸图象时，已经知道人的脸上必然有对称分柿的口眼鼻耳及它们各自的大体位置和形状。·视觉冗余人类的眼睛并不能“明察秋毫”，而是具有特定的频率特性、方向敏感性。人眼的这些性质与机器眼跟“摄像头”这些性质是不同的。因此，一幅数字图象中一定存在一些人眼不能觉察的信息。对图象的观察者来说，这些信息就是无用的、冗余的。针对不同的冗余信息，产生了图象压缩中各种不同的方法。从理论上来说，最佳的图象压缩系统应能消除图象中的所有冗余信息。但实际上，图象的类型、图象的内容、图象的统计性质千变万化，“在一幅图象中，任何情况都是可能存在的”，因此这种消除所有冗余信息的图象压缩系统只存在于理想之中。但是，一个好的图象压缩系统应该综合各种方法最大限度的消除各种冗余信息。就要求而言，存在两种图象压缩方法。一类是无失真编码，另一类是限失真编码。无失真编码利用图象的信息熵冗余进行数据压缩，其主要第7页 山东大学硕士学位论文：：：：：=：!==：-=：：=!====================!=!思想是对图象数掘中出现的概率大的码元编以短字节的码，而对概率小的码元编以长字节的码，这类压缩方法以Huffman编码方法为其典型代表。限失真编码在满足人眼可接受的图象失真条件下，可大大提高图象的压缩比。限失真编码中也需要用到无失真编码方法，因此着重讨论限失真编码。编码器的结构图象编码器的结构如下：图1—3图象编码器的结构其中信息熵编码模块用到就是无失真编码方法。数据压缩是这三个模块整体作用的结果，任何一个模块的重要性都不低于其他模块。小波变换小波变换属于『F交变换编码中的一种。正交变换编码不是在图象的空间域或时间域上进行，而是用币交变换把图象变换到另一个域中。其中最经典的是K—L变换，小波变换也属于『F交变换编码这一范畴。Karhunen．Loeve变换(KLT)变换是在能量聚集意义上的最优变换，但KLT变换一般只适用用于理论研究。理论和实践都表明Fourier变换是对KLT的一种较好的近似。由于小波变换具有与Fourier变换同样的一些性质，并且具有时频联合分析的优点，因此课题中采用小波变换作为图象信息正交变换的方法，并且考虑到变换速度及硬件实现简便性的要求，通过比较采用了一种系数为2的负整数次幂的双正交滤波器，为以后采用FPGA或DSP实现图象处理奠定了基础。在这一模块并不发生信息丢失，经变换后，图象信息只是变换了一种表示形式，由强相关信号变成信号分布较集中、相关性较低的信号，以便于下一步处理。量化对图象变换后，信息并不丢失，只是相关性发生了变化，表示形式发生了变化，一些冗余信息被除掉了。在量化这一阶段，我们可以根据允许失真限度进一步最大限度去非冗余但不重要的信息。课题中采用量化方法是基于1993年底，s．M．Shapiro提出的EZW方法(即：小波系数的嵌第8页 山东大学硕士学位论文入式零树编码)，并对此算法做了部分改进，该方法考虑利用不同分辨率下同·象索位置所剥应的多个系数叫的棚关性，取得了较其它量化编码方法较好的压缩质量。信息熵编码Shamlon信息论认为，信源中或多或少地含有自然冗余度。这些冗余度即来自信源本身的相关性，又来自于信源概率分斫i的不均匀性。只要找到去除相关性或改变概率分柿不均匀性的方法，也就找到了信息熵编码的方法。白适应算术编码是目filfy-g息熵编码中最好的编码方法，算术编码与Huffman编码都是熵编码，但是算术编码比Huffman编码更精细，它可以对每一个符号使用少于一个比特的码值进行传输，Huffman编码对每一个符号至少要用一个比特的码值进行传输，远不及算术编码的效率高。但由于算术编码算法较复杂，而Huffman编码较简单，易于实现且速度较快，故在课题中信息熵编码部分采用了比算术编码效率低一些的llufflnan编码。图缘解码是图象编码的逆过程，图象解码器的结构可相应的得到。运动图象压缩一组运动图象可看成是按时间顺序的二维静止图象序列。与静止图象不同的是，运动图象序列提供了额外的物体运动信息，而这是不可能由单幅静止图象分析提取出来的。因此在运动图象压缩中，对运动信息的提取和处理十分重要。运动补偿技术在运动图象压缩研究中得到了特别的重视。这一方法在编码器端估计出图象中运动部分在相邻两帧之间的位移。运动估计是基于两个部分的象素灰度差小于一定的域值，那么就只需传送这一部分象素的位移即可，否则附加传送灰度差信号。在课题中采用了MPEG标准中的基于块匹配的方法，运动补偿工作在宏块(macroblock)一级，宏块的大小定为16×】6大小。第9页 山东大学硕士学位论文：=：：：===!======12==!===12======第二章静态图象压缩编码方案设计2．1课题中采用的静态图象压缩编码方案简介静态图象的压缩编码在图象压缩中具有非常重要的地位，它也是运动图象压缩编码的基础。在运动图象压缩编码中，图织的第一帧由于没有前一帧图象的信息，故不能进行运动补偿，只能采用静态图象压缩编码方法：当运动图象的场景发生变化或者说由于前后两帧的图象变化太大而使得运动补偿的效果很不理想时，对当前图象的压缩编码也应采用静态图象的压缩编码(也即运动图象压缩中的帧内编码)方法。因此运动图象的压缩编码中必然包括静态图象的压缩编码。在远程视频监控中，为满足图象实时传输的需要，不仅对压缩比有很高的要求，丽且对压缩编解码的速度也有很高的要求，尤其在采用硬件电路DSP等实现时更要考虑编解码的速度，如果对一帧进行图象编解码处理所需的时间太长，势必会影ll向运动图象的实时传输。所以在对图象进行压缩编码处理时，～方面要考虑提高压缩比，另一方面也要考虑提高编解码的速度。在课题中基于以上考虑，对图象的小波变换作了特殊考虑，采用了⋯种滤波器系数为2的负整数次幂的可逆双『F交小波基。该变换只是使用位移与求和的运算，避免了费时的浮点运算，所以运算速度是相当快的。但山于只采用位移与求和运算，必然在运算过程中会舍弃小波变换系数的小数部分，也就是说，对图象进行小波变换后的系数进行小波逆变换，不能够完全恢复原图象，但能够近似重建。并且对小波变换后的系数进行量化处理时，考虑此原因以及编解码速度的要求，在Shapiro的EZW编码方法的基础上作了部分改进，在压缩比较低时，图象压缩效果不如Shapiro论文中提出的效果，但在压缩比较大时，图象压缩效果较Shapiro论文中提出的效果有所提高。由于基于公用电话交换网(PSn0)的远程视频监控中，限于带宽的要求，对图象的压缩比要求较高，故我认为以上处理方法还是可行的。第10页 山东大学硕士学位论文2．2课题中采用小波变换的原因⋯Ⅲ””，m，m”图象压缩的基本目标是降低传输或存储的比特率并保持zH,。t5够接受的圈蒙质量。压缩是通过减少图象f【1J空间冗余和时问冗余而实现的。变换编码通常是指将某种正交变换作为映射变换，用变换系数来表示原始图缘，对变换系数进行编码。衡量～种变换的性能主要从两个方面：1)变换系数互不相关，2)数值较大的方差在少数系数中，即能量高度集中。这样就可以在允许总的均方误差一定的条件下，将数据减少到最少。KLT变换是一种在此意义下最佳的正交变换，但由于KLT的基向量是原始图象协方差矩阵的特征向量，对于不同的图象，有着不同的最佳基向量，所以基向量不是固定的，且一股没有快速算法，因此只宜于理论分析和实验用。实际用的较多的是离散Fourier变换(DFT)、离散余弦变换(DCT)。它们的基向艟都是固定的，且有快速算法。JPEG、H263、MPEG等国际压缩标准r}1采用的证交变换方法就是离散余弦变换(DC"I、)。小波变换山于其良好的能鲢聚集特性以及时频联合分析特性，在【到琢压缩研究中得到了J“泛的应用。小波变换压缩编码后的图象的PSNR在30左右，对于人的视觉系统不会感到失真，文献[4】曾对小波变换和离散余弦变换进行了比较，在PSNR为30时DCT压缩编码的压缩比为20，而小波变换压缩编码的压缩比为26．8，从上面的数据可以看出小波变换图象压缩编码优于DCT压缩编码。基于小波变换具有良好的能量聚集特性和良好的时频联合分析能力，因此在课题中将小波变换作为正交变换编码方法应用于图象压缩系统的研究中。2．3小波变换简介wm小w”一连续小波变换小波函数的确切定义为：设∥(t)为一平方可积函数，也即q／(t)∈L2(月)，若其Fourier变换∥(co)满足条件第11页 山东大学硕士学位论文⋯』掣酬。。∽。Ⅲ则称∥(t)为一个允许小波或小波母函数，式(2-3—1)办称为允许条件，它蕴含着p(，)础=o，也即y(o)=0。从单一函数∥(t)经伸缩、平移后得到的函数族y。(t)‰(t)2IaI“”y(字)，咖咄“≠o(2-3-2)被称为“小波基函数”。妒(t)被称为“母小波”。将任意r(R)空间中函数厂(，)在小波基下进行展丌，称这种展丌为函数f(t)的连续小波变换(ContinueWaveletTransform，简记为CWT)，其表达式为W，(a，6)=(‰，．厂)=∥”陟(咖(型)at(2—3—3)由连续小波变换的定义可以证明：1．．1朋)2产JJ％(Ⅱ，b)gt(a,6)三扣db(2-3-4)up俨“即信号可以从其连续小波变换的结果中重构出来。小波变换是一种变分辨率的时频联合分析方法。当分析低频(对应大尺度)信号时，其时间窗很大，而当分析高频(对应小尺度)信号叫，其时间窗减小。这恰恰符合实际问题中高频信号的持续时间短、低频信号持续时间长的自然规律。二离散小波变换如果我们将a,b离散化，令口=aom,b=nbo，"，m∈z，‰≠l，bo>0，则‰，(，)=ao-m／29t(尘型磐)=ao-"／2lp,(d。-mf—n60)(2-3-5)ao第12页 山东大学硕士学位论文·==!!!====!============一被称为离敝小波。而(厂，y。)则称为离敞小波系数。特别地，当％=b。=2，称其为二进小波。小波框架的定义：当由基本小波∥(，)经伸缩和位移引出的函数族‰。(2—3-5)具有下述性质tl,l：AIIsll2≤∑rl