專利名稱：估計編碼圖像的方法及裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于估計編碼圖像質(zhì)量的方法和裝置以及該方法和裝置的應(yīng)用。
通常將此信噪比稱為PSNR(峰值信號對噪聲的比)并通過累加最終圖像像素與原始圖像像素之間的平方差獲得此信噪比。
然而，此測量未考慮人視覺(HVS人類視覺系統(tǒng))的心理視覺特征。的確，人的眼睛對特定空間頻率更敏感，并且其對對象細節(jié)的感覺強烈地與對象的相對運動以及對亮度和對比度的感覺聯(lián)系在一起。
因此，根據(jù)傳統(tǒng)質(zhì)量估計方法，如果序列呈現(xiàn)良好編碼結(jié)果，則被假定為具有良好圖像質(zhì)量，但由于觀察者的心理視覺特征，他并不以這種方式感覺該序列。
因此，本發(fā)明的主題是使得對圖像質(zhì)量的估計盡可能地接近觀察者本身的感覺。
在傳統(tǒng)MPEG2型編碼器中，部分考慮了人的因素(HVS)對通過利用8×8圖像塊高頻加權(quán)矩陣解碼圖像的空間頻率的感覺的影響，但是絕對沒有考慮有關(guān)運動對象細節(jié)的感覺。
估量兩個圖像之間不等性的大多數(shù)研究實質(zhì)上均基于缺陷的靜態(tài)分析而沒有考慮運動，要么就是對空間頻率的分析。
此外，少數(shù)現(xiàn)有研究利用當前宏塊與先前圖像內(nèi)相同位置的宏塊之間的差別考慮了瞬時問題，但是未適當考慮運動。
所有這些研究均沒有將人視覺的影響與圖像的運動問題一起進行研究。
為實現(xiàn)上述目的，對圖像質(zhì)量進行估計的方法包括步驟a) 處理表示圖像的信號以獲得處理信號；b) 根據(jù)編碼圖像的信號表示構(gòu)建根據(jù)源序列的運動圖像區(qū)域的信號表示；c) 建立分段的運動區(qū)域的信號表示，并在構(gòu)建運動區(qū)域的步驟中估算的有關(guān)速度矢量確定的地址上存儲具有不同運動區(qū)段的每個區(qū)域的圖像像素表示，以便確定具有不同速度向量的像素；d) 確定或計算將被應(yīng)用的人類心理視覺濾波器作為估算的區(qū)域速度的函數(shù)；e) 對處理信號進行濾波；以及f) 構(gòu)建濾波步驟之后獲得的圖像的信號表示與濾波步驟之后獲得的解碼圖像的信號表示之間非等性的映射。
根據(jù)另一個特定特征，估計圖像質(zhì)量的方法包括對源圖像和解碼圖像應(yīng)用各步驟的步驟。
根據(jù)另一個特定特征，估計解碼圖像質(zhì)量的方法包括在進行濾波步驟之前進行的圖像頻率分解步驟，圖像(FFT、子帶等)的頻率分解步驟包括考慮了估計速度和頻帶的曲線推斷出的系數(shù)進行的加權(quán)，因此考慮了速度和空間頻率對運動圖像感覺的相對影響。
根據(jù)另一個特定特征，一方面，通過表示有關(guān)像素的頻率的局部影響，在加權(quán)之后，心理視覺濾波步驟被應(yīng)用到處理的源圖像的拉普拉斯錐體與處理的解碼圖像的拉普拉斯錐體之間的錐間差值的矩陣，另一方面，通過基于不同速度的各區(qū)域的圖像構(gòu)建的錐體獲得的多分辨率錐體中，從考慮了估計速度和頻帶的濾波曲線推斷的濾波系數(shù)對應(yīng)該像素所屬的拉普拉斯錐體的色階。
根據(jù)另一個特定特征，心理視覺濾波曲線是根據(jù)數(shù)據(jù)庫形式排列并存儲在系統(tǒng)內(nèi)的連續(xù)曲線，以及對這些曲線進行可能的內(nèi)插建立的，或者利用由可以計算各曲線的計算裝置實現(xiàn)的分析表示獲得心理視覺濾波曲線。
根據(jù)另一個特定特征，通過重新組合在先前步驟獲得的濾波多分辨率錐體可以實現(xiàn)構(gòu)建不等性映射的步驟。
根據(jù)另一個特定特征，處理圖像的步驟包括將源圖像和解碼圖像分解為n個色階的拉普拉斯錐體的步驟和構(gòu)建錐間差值的步驟。
根據(jù)另一個特定特征，通過在應(yīng)用構(gòu)建的濾波器之前或在應(yīng)用中間濾波器之前構(gòu)建可能的濾波器可以獲得運動的速度或局部值。
根據(jù)另一個特定特征，該方法包括通過進行伽瑪校正和根據(jù)韋伯定律的校正對圖像進行預(yù)校正的步驟根據(jù)另一個特定特征，伽瑪校正是由實現(xiàn)如下公式的裝置實現(xiàn)的y＝KSVγ其中V＝kaEγa其中y為亮度、V為亮度電壓、E為所分析圖像的照度、γ為指數(shù)，對于黑白圖像顯象管約為2.2以及γa的值為0.45，通常與彩色電視機一致。
根據(jù)另一個特定特征，通過對應(yīng)基于濾波器數(shù)據(jù)庫估計的速度構(gòu)建心理視覺濾波器和對應(yīng)已經(jīng)估計的最靠近該區(qū)域速度的這些區(qū)域的兩個濾波器之間的內(nèi)差獲得濾波。
根據(jù)另一個特定特征，通過對表示有關(guān)像素的相同色階的源錐體與解碼錐體之間的錐間色階差的q次冪的值En進行計算，可以獲得有關(guān)像素pi的相對局部影響(In)。
根據(jù)另一個特定特征，利用如下公式計算InIn=EnΣk<nm(Ek)]]>其中En＝(Diffn(pij))q，如果Ek＞S，則m(Ek)＝Ek并且如果Ek＜S，則m(Ek)＝S，例如S＝0.5％(Ek的最大可能值)。
根據(jù)另一個特定特征，濾波包括以確定的方向而非以另一個方向?qū)D像進行定向濾波。
根據(jù)另一個特定特征，利用實現(xiàn)如下等式的計算裝置實現(xiàn)伽瑪校正 e為像素的柵格電平值，emax為最大值，例如，如果以8位進行編碼則為256，Lmax為對應(yīng)于emax的光強，單位為cd/m2。
根據(jù)另一個特定特征，利用實現(xiàn)如下等式的計算裝置實現(xiàn)韋伯定律 根據(jù)另一個特定特征，利用實現(xiàn)如下等式的計算裝置實現(xiàn)心理視覺濾波器的計算過程G(α，v)＝[6.1+7.3(log(v/3)3)]×vα2exp[-2α(v+2)/45.9]其中α＝2πf，f＝空間頻率，v＝速度。
本發(fā)明的另一個目的是提出使用本發(fā)明的方法。
通過在編碼裝置中使用本發(fā)明的方法獲得這個目的，根據(jù)對編碼裝置在編碼過程中使用的參數(shù)之一進行計算的計算裝置計算的心理視覺不等性的動態(tài)反饋。
根據(jù)另一個特定特征，將計算的不等性與閾值進行比較以對編碼裝置的編碼參數(shù)進行調(diào)整直到超過要求的閾值。
根據(jù)另一個特定特征，編碼參數(shù)之一或者是量化間隔，或者是圖像大小，或者是圖像組GOP的形式。
根據(jù)另一個特定特征，本發(fā)明方法用于對計算的不等性的均勻性進行分析以用作編碼參數(shù)。
根據(jù)另一個特定特征，使用本發(fā)明方法調(diào)整圖像的不同對象的編碼參數(shù)，該圖像的編碼是作為固定要求的非等性函數(shù)的定向?qū)ο蟆?br> 根據(jù)另一個特定特征，本發(fā)明方法用于對分配的位速率進行動態(tài)重新分配。
本發(fā)明的最后一個目的是建議一種實現(xiàn)該方法的裝置。
利用估計裝置實現(xiàn)此目的，估計裝置包括●裝置(1a、1b)，用于對源圖像(10a)和解碼圖像(10b)的信號表示進行處理，以獲得處理的源圖像信號和處理的解碼圖像信號；●裝置(2a、2b)，用于根據(jù)各圖像的信號表示構(gòu)建基于源序列和解碼序列的各圖像的運動區(qū)段的估計的信號表示；●裝置(3a、3b)，用于建立分段的運動區(qū)域的信號表示，并在構(gòu)建運動區(qū)域的步驟中估算的有關(guān)速度矢量確定的地址上存儲具有不同運動區(qū)段的每個區(qū)域的圖像像素表示，以便確定具有不同速度向量的像素；●裝置(4、5)，確定或計算將被應(yīng)用的人類心理視覺濾波器作為估算的區(qū)域速度的函數(shù)；●裝置(6a、6b)，用于對處理的源圖像和處理的解碼圖像進行濾波；以及●裝置(7)，用于構(gòu)建在濾波步驟之后獲得的處理的源圖像的信號表示與濾波步驟之后獲得的處理的解碼圖像的信號表示之間的不等性映射。
根據(jù)另一個特定特征，根據(jù)另一個特定特征，一方面，通過表示有關(guān)像素的頻率的局部影響，在加權(quán)之后，心理視覺濾波步驟被應(yīng)用到處理的源圖像的拉普拉斯錐體與處理的解碼圖像的拉普拉斯錐體之間的錐間差值的矩陣，另一方面，通過基于不同速度的各區(qū)域的圖像構(gòu)建的錐體獲得的多分辨率錐體中，從考慮了估計速度和頻帶的濾波曲線推斷的濾波系數(shù)對應(yīng)該像素所屬的拉普拉斯錐體的色階。
根據(jù)另一個特定特征，構(gòu)建不等性映射的裝置可以實現(xiàn)對濾波多分辨率錐體進行重新組合。
根據(jù)另一個特定特征，處理裝置、建立裝置、確定裝置、構(gòu)建裝置、濾波裝置至少包括一個連接足夠存儲程序的存儲器有關(guān)的微處理器，以便可以連接各種裝置和存儲數(shù)據(jù)庫以及計算所需的中間信息并獲得不等性映射。
通過以下參考附圖對本發(fā)明進行說明，本發(fā)明的其它特定特征和優(yōu)勢將變得更加明顯，附圖包括

圖1a示出該方法的第一實施例的原理圖；圖1b示出預(yù)處理步驟的處理結(jié)果的圖形表示；圖1c示出源圖像矩陣簡圖；圖1d示出對運動分區(qū)進行分段后獲得的矩陣的簡圖；圖2示出該方法的第二實施例的各步驟的原理圖；圖3示出對應(yīng)人視覺的心理視覺的濾波曲線族，這些曲線存儲到用于確定速度的數(shù)據(jù)庫；圖4示出多分辨率錐體；圖5示出拉普拉斯錐體；以下將參考圖1a對本發(fā)明的第一實施例進行說明，利用允許在編碼過程的輸出端對圖形質(zhì)量進行估計的裝置所實現(xiàn)的圖1a所示的各步驟可以通過一方面對源圖像(10a)的信號進行處理另一方面又對解碼圖像(10b)的信號表示進行處理的各種裝置實現(xiàn)。如圖1c所示，各圖像均由以矩陣排列的多個像素pij表示，矩陣的大小依賴于圖像要求的清晰度。對于給定的像素pij，對應(yīng)于特征細節(jié)的大小，一方面利用循環(huán)中的頻率另一方面利用速度(每秒的度數(shù))，將特征細節(jié)大小表示為定義圖像內(nèi)多個像素的矩陣大小的函數(shù)。根據(jù)第一實施例，每個處理步驟應(yīng)用到源圖像和解碼圖像。可以認為表達的解碼圖像是指在允許根據(jù)諸如MPEG的標準進行傳輸?shù)木幋a解碼裝置的輸出端獲得的任何視頻圖像。為了更好地理解，讀者還可以參考附錄1，附錄1表示了根據(jù)第一實例例實施的方法中從1到7編號的各步驟進行了說明。
第一裝置(1a，1b)用于對源圖像(10a)和解碼圖像(10b)進行預(yù)處理，它可以實現(xiàn)被稱為預(yù)處理步驟的第一處理步驟，完成對圖像的信號表示的伽瑪校正和根據(jù)韋伯定律的對比度校正。韋伯定律考慮了人眼對對比度敏感以及當盯著光強為I的背景上、光強為I+dI的光點時，被稱為韋伯比的比值dI/I實質(zhì)上在寬光強閾值范圍上約是2％的常數(shù)，非常低的光強和非常高的光強除外。對對比度進行的校正考慮了人眼的飽和形式，例如，靠著高光強區(qū)域的平均光強區(qū)域比靠著平均光強區(qū)域的低光強區(qū)域更難區(qū)別。
為了考慮此影響，對控制由陰極射線管實現(xiàn)的顯示器光強的電壓信號由下式表示的所謂韋伯定律進行校正 其中Lmax表示最大光強，它接近等于每平米100坎德拉(Lmax≈100cd/m2)，L顯示器表示要求的光強。
此數(shù)學(xué)定律由可以執(zhí)行這些計算的電子裝置實現(xiàn)。作為實例，這種裝置可以由存儲對應(yīng)計算算法的程序的存儲器相連的微處理器實現(xiàn)。
在這方面，伽瑪校正可以排除電視機的響應(yīng)，即允許顯示陰極射線管的特征。的確，陰極射線管顯示裝置為非線性裝置，并且，在缺乏校正時，在陰極射線監(jiān)視器的屏幕上再現(xiàn)的光強不與輸入電壓成正比。伽瑪校正是對此非線性進行補償，以便獲得在輸入電壓的對應(yīng)光強的成正比的校正和再現(xiàn)。屏幕輸出的圖像被細分為以矩陣排列的像素，在矩陣中，像素pij的位置由矩陣的復(fù)數(shù)i和j定義。像素值pij表示要求的光強。為了校正與陰極射線管連接的現(xiàn)象，對旨在獲得要求光強的電壓值應(yīng)用對應(yīng)下述方程的校正定律， 伽瑪(γ)值在2.3與2.6之間，這要根據(jù)陰極射線管的特定特征而定。在該等式中，e是像素pij的柵格電平，emax是e的最大可能值，例如如果以8位表示控制信號，則為256，Lmax對應(yīng)于emax的光強(cd/m2)，Lx接近等于100cd/m2。
如下是伽瑪定律的另一個等式y(tǒng)＝KsVγ其中V＝kaEγa其中y為亮度、V為亮度電壓、E為所分析圖像的照度、γ為指數(shù)，對于黑白圖像顯象管約為2.2、γa的值為0.45，通常與彩色電視機一致，Ks和Ka為比例系數(shù)。
此伽瑪校正過程和韋伯運算過程可以將作為預(yù)處理電路(1a)的輸入接收的圖像值變換為終值P｀ij＝Ig(Pij)PijIg，此終值滿足對應(yīng)于圖1b所示的曲線1的定律。各源圖像(10a)產(chǎn)生多個預(yù)處理像素p｀ij’各解碼圖像(10b)同樣產(chǎn)生另一種多個預(yù)處理像素p｀bij。
在進行此處理運算的同時，根據(jù)各圖像序列，實現(xiàn)允許對各源圖像和解碼圖像構(gòu)建運動圖像分區(qū)的所謂運動估計的第二步驟(如圖1所示的2a、2b)。利用傳統(tǒng)計算方法在t與t-1之間實現(xiàn)運動分區(qū)的構(gòu)建過程，例如在Don Pearson，MacGraw Hill Book Company出版的、標題為“Image processing”“The Essex series in telecommunication andinformation systems”的書籍的第47頁以及以下內(nèi)容說明的方法要求的傳統(tǒng)計算方法。可以利用微分法，或塊匹配方法，或傅里葉方法，或者在3維空間內(nèi)進行估計的方法實現(xiàn)對圖像序列的運動估計。對于各圖像獲得特定數(shù)目的運動向量，并且可以根據(jù)運動信息將圖像劃分為區(qū)域(R1，…，Rivi…，Rnvn，如圖1d所示)，因此各區(qū)域(Rivi)的特征在于此區(qū)域內(nèi)的所有像素具有唯一相關(guān)速度向量(vi)。將圖像劃分為恒定速度區(qū)域即對源圖像和解碼圖像應(yīng)用的所謂將運動分區(qū)分段的第三步驟(3a、3b)。因此利用分段技術(shù)，使運動分區(qū)均一化，因此將靠近的運動像素組織為同一個區(qū)域。這樣分段的此運動分區(qū)更接近圖像所表示的景物對象的真實運動。這樣進行均一化可以消除少量噪聲并可以對應(yīng)少量速度vi減少不同運動的數(shù)目，從而減少了在下一步驟待計算和存儲的濾波器的數(shù)目，這樣對于包括255*255個像素pij的圖像情況，就可以避免計算和存儲(255)2個運動。運動估計過程還可以采用抽取景物中的特定對象的技術(shù)，例如從一個圖像到另一個圖像的這些特定單元運動之后所存在的對象的邊或角。這樣可以提供位于圖像不同位置的運動信息，然后利用內(nèi)插過程對余下的圖像區(qū)域分配運動向量。測量單元的角運動或邊運動的一種方法在于對圖像應(yīng)用高通濾波器以隔離邊，之后采用根據(jù)微分方法的技術(shù)測量運動值?？梢岳玫屯V波器對形成的邊界進行衰減以降低噪聲的影響并允許對大運動進行測量。例如，利用如下矩陣可以建立尺寸3×3的矩陣空間的低通濾波器

例如，利用下列矩陣可以實現(xiàn)尺寸3×3矩陣空間的高通濾波器

因此，表格給出了屬于具有估計速度v的區(qū)域的圖像像素pij的每度周數(shù)的估計速度v以圖1d所示的矩陣形式被存儲到用于將運動分區(qū)分段的裝置的存儲裝置內(nèi)，以便以后使用。
繼續(xù)此過程，同時執(zhí)行第四步驟，各源圖像(10a)和解碼圖像(10b)包括構(gòu)建心理視覺濾波器(4a、4b)。例如，利用包括多條諸如圖3所示的、表示作為運動速度vi和空間頻率fi的函數(shù)的人為因素H的影響的曲線的濾波器曲線數(shù)據(jù)庫實現(xiàn)第四步驟。對于這些值vi、fi，存在對應(yīng)的濾波值H。如果速度Vi在兩條曲線(Hv1、Hv2)的速度v1和速度v2之間，則裝置進行內(nèi)插以確定相應(yīng)的值H。例如，此內(nèi)插過程可以是線性的。還可以通過根據(jù)心理視覺影響的分析模型對給定速度直接計算值H實現(xiàn)此步驟。例如，濾波器的分析模型可以表示為如下方程式G(α，v)＝[6.1+7.3|log(v/3)|3]×vα2exp[-2α(v+2)/45.9]其中α＝2πf。
在第五步驟，對于頻域內(nèi)與速度v和頻率fs有關(guān)的各濾波值H(fs，v)，通過對頻域內(nèi)的濾波值H(fs，v)應(yīng)用快速傅里葉反變換(FFT-1)，裝置合成空間域內(nèi)的濾波值h(s，v)，快速傅里葉反變換被表示為表達式h(s，v)＝FFT-1[H(fs，v)]，其中，fs表示每度周數(shù)的細節(jié)的特征大小，v表示每秒時長內(nèi)顯示的運動，s表示分辨率。
在第五步驟在空間域內(nèi)對源圖像(5a)和解碼圖像(5b)確定的值h被應(yīng)用于第六步驟(分別是6a、6b)，對通過預(yù)處理獲得的源圖像的預(yù)處理像素p｀aij和通過預(yù)處理獲得的解碼圖像的預(yù)處理像素p｀bij分別進行處理的過程。
在每次進行處理時，此第六濾波步驟(6a，6b)均獲得一對濾波像素值p｀afij和p｀bfij，之后將它們用于最后步驟(7)，以通過計算各對像素值之間的平方差構(gòu)建不等性矩陣(Disp)。
Disp＝(p｀afij-P｀bfij)n其中n＝2或其它值此矩陣給出通過人們希望估計的編碼解碼過程引入的人眼感覺失真的對象估計。
現(xiàn)在結(jié)合圖2說明本發(fā)明的第二實施例，圖2示出用于實現(xiàn)根據(jù)此第二實施例方法的各種裝置。
為了更好地理解，讀者還可以參考附錄2，附錄2對在根據(jù)第二實施例實現(xiàn)的方法中從1到7編號的各步驟進行了說明，附錄2也表示通過構(gòu)建拉普拉斯錐體的運算過程獲得的尺寸的減小。
在此實施例中，將第一實施例的前4個步驟應(yīng)用于源圖像(10a)，即預(yù)校正(1a)、構(gòu)建運動分區(qū)(2a)、分段(3a)以及構(gòu)建心理視覺濾波器(4a)。對通過對源圖像(10a)進行處理并經(jīng)過預(yù)處理步驟獲得的像素paij以及對解碼圖像(10b)進行預(yù)處理步驟獲得的像素pbij都屬于步驟(分別在5.1a步驟和5.1b步驟)，以便進行1/2抽取濾波(F1/2)。此濾波過程是低通濾波過程，它可以根據(jù)表示給定第n-1個色階的圖像Pn-1的像素矩陣獲得下一個色階n的圖像Pn?？梢杂萌缦玛P(guān)系式表示此過程Pn＝F1/2(Pn-1)其中n＞0，P0為原始圖像。
利用此例，利用如下矩陣可以建立3×3矩陣空間的抽取濾波器

利用計算裝置進行1/2抽取濾波運算過程會導(dǎo)致將表示源圖像Ps0的大小為m×n的像素矩陣減小到大小為m/2×n/2的色階1的像素矩陣Ps1，色階n的像素矩陣Psn的大小為m/2n×n/2n。同樣，1/2抽取濾波運算過程的結(jié)果是將表示解碼圖像或被變壞圖像Pd0的大小為m×n的像素矩陣減小到大小為m/2×n/n2的色階1像素矩陣Pd1，色階n的像素矩陣Pdn的大小為m/2n×n/2n。因此，對于各源圖像和解碼圖像，計算裝置將色階n和下一個色階n-1存儲到其存儲器內(nèi)。
之后，在下一步驟(分別在步驟5.2a和步驟5.2b)，根據(jù)下式，計算裝置將從各n色階圖像Pn扣除乘以2(E2)的緊接著的連續(xù)色階的圖像Pn+1，以便獲得構(gòu)成與適當?shù)睦绽瑰F體Ln一樣的連續(xù)矩陣Ln＝Pn-E2(Pn+1)其中n＜N，LN＝PN。
利用E2進行的此展開運算過程構(gòu)成了內(nèi)插圖像Pn+1(大小為m/2×n/2)，以便獲得大小為m×n的圖像。
此展開運算過程或內(nèi)插運算過程包括作為待內(nèi)插像素位置的函數(shù)的幾個內(nèi)插矩陣。
這樣就可以對源圖像建立所存儲矩陣的錐體LSn，并對解碼圖像或被變壞圖像建立所存儲矩陣的第二錐體LDn。根據(jù)選擇的濾波器F1/2，在上述步驟結(jié)束時獲得的圖像LSn是包括在以fn＝1/(n+1)為中心的頻帶內(nèi)的能量的良好近似。關(guān)于拉普拉斯錐體、或所謂高斯錐體以及展開矩陣的進一步細節(jié)問題，讀者可以參考“the Laplacian pyramid as acompact code image”published in the journal IEEE transactions oncommunications VOL.COM.31，No.4，April 1983，pages 532 to 540authors P.J.Burt and Ed.H.Adelson。
利用步驟(5.2a和5.2b)可以獲得拉普拉斯錐體(LSn、LDn)。
在下一步驟，根據(jù)以相同速度向量(vi)為特征并在對源圖像應(yīng)用的運動分區(qū)分段步驟(3)的輸出端定義的區(qū)域(RiVi)，該裝置構(gòu)建以原始區(qū)域圖像R0開始的區(qū)域圖像的多分辨率錐體Rn，然后根據(jù)下式，對原始區(qū)域圖像R0應(yīng)用1/2抽取中值濾波器G1/2Rn＝G1/2(Rn-1)R0＝初始區(qū)域圖像關(guān)于本技術(shù)領(lǐng)域內(nèi)的熟練技術(shù)人員公眾的中值濾波器的進一步內(nèi)容請參考“nonlinear digital filters，principles and applications”published in 1990 by Kluwer Academic Publishers，by I.Pitas andA.N.Venetsapoulos這本書的第四章。
僅對源圖像(10a)產(chǎn)生(多分辨率)運動錐體，LSn和LDn的像素值表示存在于其中經(jīng)過Rn具有運動能量的頻帶內(nèi)的能量。
在此步驟，計算裝置不執(zhí)行根據(jù)步驟5.2的計算過程，即不進行將對應(yīng)于各色階n的圖像Rn從緊接著的連續(xù)色階n+1的圖像Rn+1乘以2后所得的值中減去。在此計算步驟，構(gòu)成多分辨率錐體的矩陣被存儲并可以對Rn的各色階n的各像素獲得局部運動值。通過排列像素值并通過保持具有中值的像素，獲得N×m像素窗口的中值濾波器。
對m×n大小的像素矩陣Rn應(yīng)用中值濾波器G1/2可以獲得m/2×n/2大小的像素矩陣Rn+1。抽取運算包括在中值濾波器運算中。中值濾波器對圖像Rn的作用與濾波器F1/2對圖像Pn的作用相同它可以在橫向和縱向?qū)D像矩陣的大小減小2倍，除了不是傳統(tǒng)矩陣濾波器之外，這是一個“中值”濾波器，也就是說，它是一個基于局部統(tǒng)計分析的濾波器。
之后在步驟7使用在步驟5.2計算的拉普拉斯錐體(LSn、LDn)，在步驟7根據(jù)下式計算錐間色階差值Diffn＝LSn-LDn這樣就可以獲得矩陣Diffn，其各系數(shù)分別表示對于相同色階n源拉普拉斯錐體(LSn)矩陣系數(shù)與解碼拉普拉斯錐體(LDn)矩陣系數(shù)的差值并對從0到n的各色階進行此計算過程。在拉普拉斯錐體LSn中，像素值表示存在于頻帶內(nèi)的能量。對于給定頻帶通過計算錐間差值LSn-LDn，可以獲得兩個圖像之間的頻率不等性。
事實上，對頻率fn的活動范圍的相對影響關(guān)系表示的此頻率，這個結(jié)果由眼睛的敏感度進行了加權(quán)。頻率fn的活動范圍的相對影響可以被更高頻率的大活動范圍所掩蔽。為了在掩蔽步驟(8)確定并考慮活動范圍的此相對影響，計算裝置首先估計像素pij的局部影響En，利用對像素pij施加錐間差值所計算的結(jié)果定義像素pij的局部影響En，此結(jié)果被自乘q次冪En＝(Diffn(pij))q此局部影響值可以使計算裝置通過實現(xiàn)下式的電路確定表示活動范圍相對影響的矩陣In=EnΣk<nm(Ek)]]>如果Ek＞S，則m(Ek)＝Ek并且如果Ek＜S，則m(Ek)＝S，例如S＝0.5％(Ek的最大可能值)。
正如在先前的實施例中那樣，利用含有多個表示人為因素對圖像的視覺感受影響的濾波曲線的數(shù)據(jù)庫(BD)，計算裝置進行濾波步驟(4)。根據(jù)頻率值和對應(yīng)像素pij的速度值，這些濾波曲線可以確定此像素的加權(quán)系數(shù)H。因此，對于對應(yīng)于速度區(qū)域Rn的矩陣Ln的各像素pij，計算裝置確定對相對影響In進行加權(quán)的H值。通過利用計算裝置實現(xiàn)下式可以實現(xiàn)加權(quán)步驟(9)Tn(pij)＝In(pij)×H此等式的實現(xiàn)過程可以獲得矩陣錐體。當計算裝置的程序從n色階拉普拉斯錐體矩陣中選擇像素時，對于此色階n存在對應(yīng)的空間頻率fn，并且計算裝置可以將圖像Rn的像素與存在相應(yīng)速度值v的像素相關(guān)。通過利用數(shù)據(jù)庫以及記錄在這些數(shù)據(jù)庫內(nèi)的曲線，計算裝置直接確定或通過在兩條曲線之間進行內(nèi)插確定增益系數(shù)H。在此第二種方法中，對與頻率數(shù)對應(yīng)的對象(拉普拉斯錐體)直接進行處理。因此，不需要轉(zhuǎn)換到空間域，因為所有的計算過程均在頻域內(nèi)實現(xiàn)。此H值對活動范圍的相對影響(In)進行加權(quán)。此加權(quán)步驟(9)可以獲得矩陣錐體，該矩陣錐體應(yīng)用在定向濾波的選擇步驟(10)，以便考慮人眼注視偏愛的心理視覺方向。
因此，利用相對于其它濾波器偏愛一個方向的定向濾波器可以對矩陣Tn構(gòu)建的圖像進行濾波，這些濾波器由對應(yīng)于圖像因數(shù)Tn的大小的n×n大小的系數(shù)矩陣構(gòu)成。例如以下給出5/5大小的0°定向濾波器矩陣。

例如，以下給出90°定向濾波器矩陣。

例如，以下給出45°定向濾波器矩陣。

將此定向濾波步驟(10)的結(jié)果送到加法電路，以在步驟(11)通過等式對多分辨率錐體P｀n進行重新組合P｀n＝E2(P｀n+1)+Tn(n＜N)其中P｀N＝TN這樣就會產(chǎn)生
P｀N-i＝E2(TN)+TN-1用迭代方法重復(fù)此過程以獲得P｀n，P｀n表示構(gòu)成不等性映射的矩陣。
本發(fā)明的這兩個實施例的這些步驟由執(zhí)行適當程序的微處理器電路實現(xiàn)。此外，這些電路還包括用于存儲待執(zhí)行的程序、像素矩陣或區(qū)域矩陣以及中間結(jié)果的存儲裝置，這樣就可以希望對中間結(jié)果或最終結(jié)果應(yīng)用下一個計算步驟以及濾波器。
這可以用于對各種編碼器裝置的主觀性能進行比較并對各種編碼算法的主觀性能進行比較和/或?qū)τ捎趫D像處理過程產(chǎn)生的贗象進行測量。根據(jù)此性能，例如，通過對在編碼過程的全部參數(shù)和/或部分參數(shù)實現(xiàn)的編碼圖像的主觀質(zhì)量回逆進行測量，實現(xiàn)本發(fā)明兩個實施例之一的計算電路可以對編碼過程進行調(diào)節(jié)。例如，可以進行回逆測量的全部參數(shù)可以是平均速率，例如，可以進行回逆測量的局部參數(shù)可以是編碼期間使用的局部量化間隔。在編碼過程中此回逆過程是動態(tài)的，誤差可以回逆到局部量化間隔、圖像的大小、GOP(圖像組)的形式等。當對視盤(DVD)或CD-ROM進行編碼時，可以用迭代方法實現(xiàn)此回逆過程。在這種情況下，只要誤差超過閾值和/或誤差在整個圖像上是不均勻的，則計算電路的回逆過程會在全局和/或局部降低編碼參數(shù)的嚴格度。所以，只要誤差低于閾值，通過計算電路實現(xiàn)的圖像的主觀質(zhì)量的測量過程可以提高編碼參數(shù)的嚴格度。
最后，對從編碼器獲得的圖像序列的主觀質(zhì)量進行估計或進行測量的方法的倒數(shù)第二個應(yīng)用涉及到定向?qū)ο蟮木幋a過程。在這種情況下，使用此裝置實現(xiàn)的方法之一的計算裝置可以保證獲得各種景物對象的固定主觀質(zhì)量或保證獲得對象間相對主觀質(zhì)量。最后，利用統(tǒng)計復(fù)用過程，估計方法和估計裝置可以對已對各廣播信道分配的位速率進行動態(tài)重新分配的情況進行調(diào)節(jié)，這樣可以保證廣播節(jié)目的給定、均勻主觀質(zhì)量。
本技術(shù)領(lǐng)域內(nèi)的熟練技術(shù)人員所做的其它調(diào)整也屬于本發(fā)明的實質(zhì)范圍。
本發(fā)明的變化的實施例在于，例如在MPEG型編碼期間，使用作為運動區(qū)域估計的信號表示的、根據(jù)對解碼圖像進行編碼/解碼獲得的基于宏塊的運動向量。
本發(fā)明的另一個變化的實施例在于，利用噪聲源圖像替代解碼圖像。例如，利用被(在所有空間頻帶內(nèi)隨機變量均勻地)添加白噪聲的源圖像可以構(gòu)建噪聲源圖像?？梢詫⑺@得的不等性映射看作在“事先”，即在進行正確編碼之前最容易感覺到編碼錯誤的圖像區(qū)域的預(yù)測。
然后，可以利用這些不等性映射實現(xiàn)為了在之后的編碼過程避免產(chǎn)生贗象或編碼瑕疵對源圖像進行預(yù)處理的裝置。例如，預(yù)處理裝置包括用于進行預(yù)濾波和/或降低在其編碼贗象可見度最低的圖像區(qū)域內(nèi)以及在由不等性映射提供的區(qū)域內(nèi)的高頻能量的電路。
這些“事先”不等性映射被用于進一步降低在“事先”預(yù)測編碼贗象可見度較低的區(qū)域內(nèi)進行編碼所需的位速率。
這些“事先”不等性映射還被用于局部測量可以被插入源圖像或解碼圖像而不被感覺到的“隱含”信息量(水印)。附錄1方法1步驟1預(yù)校正圖像對屏幕進行的伽瑪校正和對比度校正(韋伯定律)。
步驟2根據(jù)源序列對各圖像構(gòu)建運動圖像分區(qū)。
步驟3對運動分區(qū)進行分段。對于各圖像，可以根據(jù)運動信息分段為區(qū)域。
因此，各區(qū)域(v)以速度向量v為特征。
各圖像(源圖像或解碼圖像)的各像素屬于與估計速度v(每度周數(shù))對應(yīng)的區(qū)域。
步驟4利用BDD濾波器{H(fs，vi)i＝1，...N}以及此濾波器的內(nèi)插過程可以對各區(qū)域(v)構(gòu)建相應(yīng)的心理視覺濾波器。
步驟5利用反FFT對各區(qū)域(v)合成空間濾波器h(s，v)＝FFT-1[H(fs，v)]步驟6對源圖像和解碼圖像進行濾波以獲得兩個其它圖像SouceF和DecodedF根據(jù)P所屬的以P為中心并應(yīng)用于源圖像/解碼圖像的區(qū)域(v)，利用濾波器h(s，v)對源圖像/解碼圖像的各像素P進行濾波。
步驟7構(gòu)建不等性映射或構(gòu)建心理視覺誤差Err＝(SourceF-DecodedF)n(n＝2，等)附錄2方法2步驟1(參考方法1)步驟2(參考方法1)步驟3(參考方法1)步驟4(參考方法1)步驟5將源圖像和解碼圖像分解為N色度的拉普拉斯錐體，步驟5包括兩個步驟●首先，利用對緊接在先前的色度(多分辨率錐體，如圖4所示)進行1/2抽取濾波(低通濾波)獲得各色度的Pn。
Pn＝F1/2(Pn-1) n＞0P0＝初始圖像●然后，從各色度的Pn中將被2乘之后的緊接著的后續(xù)色度減去以獲得Ln(拉普拉斯錐體，如圖5所示)。
Ln＝Pn-E2(Pn+1)n＜NLN＝PN此計算過程根據(jù)圖4可以獲得多分辨率錐體Pn的表示、根據(jù)圖5可以獲得拉普拉斯錐體Ln的表示。
如果選擇濾波器F1/2，則圖像Ln是包括在以fn為中心的頻帶內(nèi)的能量的良好近似fn＝1/(n+1)最后，獲得兩個拉普拉斯錐體LSn(源圖像)和LDn(解碼圖像)。
步驟6根據(jù)相同的原理，通過用G1/21/2抽取/中值濾波器替換F1/2，可以構(gòu)建區(qū)域圖像多分辨率錐體Rn。因此，對于拉普拉斯錐體(步驟5)的各色階的各像素，可以獲得運動的局部值。
步驟7錐間的色階色階差值Diffn＝LSn-LDn步驟8應(yīng)用頻率掩蔽原理(紋理/掩蔽)利用更高頻率(fk＜n)的顯著的獲得范圍，掩蔽頻率fn的活動范圍的相對影響。
然后，利用下式定義像素Pi的相對局部影響In(pi)In=EnΣk<nm(Ek)]]>其中En＝(Diffn(pi))q，其中例如q＝2。
步驟9對源拉普拉斯錐體和解碼拉普拉斯錐體進行濾波利用對應(yīng)于在Rn內(nèi)pi所屬的區(qū)域(v)的值H(fn，v)以及相對影響In對Ln的各像素pi進行加權(quán)。
Tn(pi)＝In(pi)×H步驟10進行定向濾波以考慮人眼注視產(chǎn)生的心理視覺方向，利用相對于其它濾波器適于一個方向的定向濾波器可以對圖像Tn進行濾波。
步驟11構(gòu)建不等性映射或心理視覺誤差重新組合多分辨率錐體P｀nP｀n＝E2(P｀n+1)+Tn(n＜N)P｀N＝TN不等性映射對應(yīng)于P｀0。
權(quán)利要求
1.一種估計編碼圖像質(zhì)量的方法，其特征在于，該方法包括步驟g) 對圖像的信號表示進行處理以獲得處理的信號；h) 根據(jù)編碼圖像的信號表示構(gòu)建根據(jù)源序列的運動圖像分區(qū)的信號表示；i) 建立分段的運動區(qū)域的信號表示，并在構(gòu)建運動區(qū)域的步驟中估算的有關(guān)速度矢量確定的地址上存儲具有不同運動區(qū)段的每個區(qū)域的圖像像素表示，以便確定具有不同速度向量的像素；j) 確定或計算將被應(yīng)用的人類心理視覺濾波器作為估算的區(qū)域速度的函數(shù)；k) 對處理信號進行濾波；以及l(fā)) 構(gòu)建濾波步驟之后獲得的圖像的信號表示與濾波步驟之后獲得的解碼圖像的信號表示之間不等性映射。
2.根據(jù)權(quán)利要求1所述的估計編碼圖像質(zhì)量的方法，其特征在于，該方法包括的步驟在于對源圖像和解碼圖像應(yīng)用各先前步驟。
3.根據(jù)權(quán)利要求1所述的估計編碼圖像質(zhì)量的方法，其特征在于，該方法包括在濾波步驟之前的圖像(FFT、子帶等)的頻率分解步驟，并且該方法包括利用由考慮估計速度和頻帶的曲線推斷的系數(shù)進行加權(quán)，這樣就考慮速度和空間頻率對運動圖像的感覺的相對影響。
4.根據(jù)權(quán)利要求1所述的方法，其特征在于，一方面，通過表示有關(guān)像素的頻率的局部影響，在加權(quán)之后，心理視覺濾波步驟被應(yīng)用到處理的源圖像的拉普拉斯錐體與處理的解碼圖像的拉普拉斯錐體之間的錐間差值的矩陣，另一方面，通過基于不同速度的各區(qū)域的圖像構(gòu)建的錐體獲得的多分辨率錐體中，從考慮了估計速度和頻帶的濾波曲線推斷的濾波系數(shù)對應(yīng)該像素所屬的拉普拉斯錐體的色階。
5.根據(jù)權(quán)利要求1所述的方法，其特征在于，或者由以數(shù)據(jù)庫形式排列的、存儲在系統(tǒng)內(nèi)的連續(xù)曲線并通過對這些曲線進行合理內(nèi)插建立心理視覺濾波曲線，或者利用可以計算各曲線的計算裝置實現(xiàn)的分析表示獲得心理視覺濾波曲線。
6.根據(jù)權(quán)利要求4所述的方法，其特征在于，通過重新組合在先前步驟獲得的濾波多分辨率錐體實現(xiàn)構(gòu)建不等性映射的步驟。
7.根據(jù)權(quán)利要求4或6所述的方法，其特征在于，對處理圖像的步驟包括將源圖像和解碼圖像分解為n色階的拉普拉斯錐體的步驟和構(gòu)建錐間差值的步驟。
8.根據(jù)權(quán)利要求1所述的方法，其特征在于，通過合理構(gòu)建濾波器以及之后應(yīng)用構(gòu)建的濾波器或通過應(yīng)用中值濾波器可以獲得運動的速度和局部值。
9.根據(jù)權(quán)利要求1或4所述的方法，其特征在于，該方法包括通過進行伽瑪校正和根據(jù)韋伯定律的校正對圖像進行預(yù)處理的步驟。
10.根據(jù)權(quán)利要求7所述的方法，其特征在于，以下是伽瑪校正γy＝KsVγa其中V＝kaEγa其中y為亮度、V為亮度電壓、E為所分析圖像的照度、γs為指數(shù)，對于黑白圖像顯象管約為2.2以及γa的值為0.45，通常與彩色電視機一致。
11.根據(jù)權(quán)利要求1所述的方法，其特征在于，通過對應(yīng)基于濾波器數(shù)據(jù)庫估計的速度構(gòu)建心理視覺濾波器和對應(yīng)已經(jīng)估計的最靠近該區(qū)域速度的這些區(qū)域的兩個濾波器之間的內(nèi)插獲得濾波。
12.根據(jù)權(quán)利要求4所述的方法，其特征在于，通過對表示有關(guān)像素的相同色階的源錐體與解碼錐體之間的錐間色階差值的q次冪的值En進行計算，可以獲得有關(guān)像素pi的相對局部影響(In)。
13.根據(jù)權(quán)利要求12所述的方法，其特征在于，利用如下公式計算InIn=EnΣk<nm(Ek)]]>其中En＝(Diffn(pij))q，如果Ek＞S，則m(Ek)＝Ek并且如果Ek＜S，則m(Ek)＝S，例如S＝0.5％(Ek的最大可能值)。
14.根據(jù)權(quán)利要求4所述的方法，其特征在于，濾波過程包括以確定方向而非以另一個方向?qū)D像進行定向濾波的過程。
15.根據(jù)權(quán)利要求9所述的方法，其特征在于，利用實現(xiàn)如下等式的計算裝置實現(xiàn)伽瑪校正 e為像素的柵格電平值，emax為最大值，例如如果以8位進行編碼則為256，Lmax為對應(yīng)于emax的光強，單位為cd/m2。
16.根據(jù)權(quán)利要求9所述的方法，其特征在于，利用實現(xiàn)如下等式的計算裝置實現(xiàn)韋伯定律
17.根據(jù)權(quán)利要求1或4所述的方法，其特征在于，利用實現(xiàn)如下等式的計算裝置實現(xiàn)心理視覺濾波器的計算過程G(α，v)＝[6.1+7.3(log(v/3)3)]×vα2exp[-2α(v+2)/45.9]其中α＝2πf，f＝空間頻率，v＝速度。
18.在編碼裝置中根據(jù)上述權(quán)利要求之一的方法的應(yīng)用，其特征在于，作為由計算裝置計算的心理視覺不等性函數(shù)的動態(tài)回逆根據(jù)由編碼裝置在編碼過程中使用的參數(shù)之一執(zhí)行該方法。
19.根據(jù)權(quán)利要求18所述的方法的應(yīng)用，其特征在于，將計算的不等性與閾值進行比較以對編碼裝置的編碼參數(shù)進行調(diào)整直到超過要求的閾值。
20.根據(jù)權(quán)利要求19所述的方法的應(yīng)用，其特征在于，編碼參數(shù)之一或者是量化間隔，或者是圖像大小，或者是圖像組GOP的形式。
21.根據(jù)權(quán)利要求18所述的方法的應(yīng)用，其特征在于，利用計算裝置對計算的不等性的均勻性進行分析以用作編碼裝置的編碼參數(shù)。
22.根據(jù)上述權(quán)利要求所述的方法的應(yīng)用，其特征在于，圖像編碼是定向?qū)ο蟮牟煌瑢ο蟮木幋a參數(shù)由固定要求的不等性函數(shù)進行調(diào)整。
23.根據(jù)權(quán)利要求18至20所述的方法的應(yīng)用，其特征在于，該方法在于對分配到具有多路復(fù)用的編碼裝置的位速率進行動態(tài)重新分配。
24.一種用于估計編碼圖像質(zhì)量的裝置，其特征在于，該裝置包括●裝置(1a、1b)，用于對源圖像(10a)和解碼圖像(10b)的信號表示進行處理，以獲得處理的源圖像信號和處理的解碼圖像信號；●裝置(2a、2b)，用于根據(jù)各圖像的信號表示構(gòu)建基于源序列和解碼序列的各圖像的運動分域的估計的信號表示；●裝置(3a、3b)，用于建立分段的運動區(qū)域的信號表示，并在構(gòu)建運動區(qū)域的步驟中估算的有關(guān)速度矢量確定的地址上存儲具有不同運動區(qū)段的每個區(qū)域的圖像像素表示，以便確定具有不同速度向量的像素；●裝置(4、5)，用于確定或計算將被應(yīng)用的人類心理視覺濾波器作為估算的區(qū)域速度的函數(shù)；●裝置(6a、6b)，用于對處理的源圖像和處理的解碼圖像進行濾波；以及●裝置(7)，用于構(gòu)建在濾波步驟之后獲得的處理的源圖像的信號表示與濾波步驟之后獲得的處理的解碼圖像的信號表示之間的不等性映射。
25.根據(jù)權(quán)利要求24所述的裝置，其特征在于，一方面，通過表示有關(guān)像素的頻率的局部影響，在加權(quán)之后，心理視覺濾波步驟被應(yīng)用到處理的源圖像的拉普拉斯錐體與處理的解碼圖像的拉普拉斯錐體之間的錐間差值的矩陣，另一方面，通過基于不同速度的各區(qū)域的圖像構(gòu)建的錐體獲得的多分辨率錐體中，從考慮了估計速度和頻帶的濾波曲線推斷的濾波系數(shù)對應(yīng)該像素所屬的拉普拉斯錐體的色階。
26.根據(jù)權(quán)利要求24所述的裝置，其特征在于，構(gòu)建不等性映射的裝置可以實現(xiàn)對濾波多分辨率錐體進行重新組合。
27.根據(jù)權(quán)利要求24至26之一所述的裝置，其特征在于，處理裝置、建立裝置、確定裝置、構(gòu)建裝置、濾波裝置至少包括一個與足夠存儲程序的存儲器相關(guān)的微處理器，以便可以連接各種裝置和存儲計算所需的數(shù)據(jù)庫和中間信息，并獲得不等性映射。
28.根據(jù)權(quán)利要求1所述的方法，根據(jù)MPEG標準對圖像進行編碼，其特征在于，構(gòu)建運動圖像分區(qū)的信號表示的步驟采用在根據(jù)MPEG標準對圖像進行編碼期間計算的每個宏塊的運動向量。
29.根據(jù)權(quán)利要求1所述的方法，其特征在于，解碼圖像是根據(jù)添加白噪聲的源圖像構(gòu)建的噪聲源圖像。
30.根據(jù)權(quán)利要求29所述的方法的應(yīng)用，其特征在于，根據(jù)不等性映射，預(yù)測對編碼誤差“先驗”的最敏感區(qū)域，并對作為此預(yù)測的函數(shù)的區(qū)域進行編碼。
31.根據(jù)權(quán)利要求29所述的方法的應(yīng)用，其特征在于，執(zhí)行作為不等性映射的函數(shù)的源圖像預(yù)濾波。
32.根據(jù)權(quán)利要求29所述的方法的應(yīng)用，其特征在于，局部地確定可以插入圖像(水印)而不會被感覺到的信息量。
全文摘要
本發(fā)明涉及用于估計編碼圖像質(zhì)量的方法,其特征在于,a)對圖像的信號表示進行處理以獲得處理的信號;b)根據(jù)編碼圖像的信號表示構(gòu)建根據(jù)源序列的運動圖像分區(qū)的信號表示;c)建立分段的運動區(qū)域的信號表示,并在構(gòu)建運動區(qū)域的步驟中估算的有關(guān)速度矢量確定的地址上存儲具有不同運動區(qū)段的每個區(qū)域的圖像像素表示,以便確定具有不同速度向量的像素;d)確定或計算將被應(yīng)用的人類心理視覺濾波器作為估算的區(qū)域速度的函數(shù);e)對處理信號進行濾波;以及f)構(gòu)建濾波步驟之后獲得的圖像的信號表示與濾波步驟之后獲得的解碼圖像的信號表示之間不等性映射。
文檔編號G06T7/00GK1343342SQ00804728
公開日2002年4月3日 申請日期2000年2月29日 優(yōu)先權(quán)日1999年3月8日
發(fā)明者菲利普·博爾德, 菲利普·吉約泰爾 申請人:湯姆森許可貿(mào)易公司