專利名稱：估計噪聲電平的裝置及方法、噪聲減少系統(tǒng)及編碼系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及應(yīng)用于數(shù)字視頻信號的噪聲電平估計技術(shù)。這些估計噪聲電平的技術(shù)用于噪聲減少技術(shù)。通常將噪聲減少技術(shù)用于采用采樣矩陣形式的數(shù)字視頻圖像；每一個采樣由亮度信號以及針對彩色信號的色度信號組成。
目前，仍然以模擬形式執(zhí)行視頻圖像信號序列的獲取，因此一但獲取并可能以模擬形式傳送并存儲的圖像在其內(nèi)容中顯示出適當(dāng)共有的噪聲。一但進行了數(shù)字化，還經(jīng)常會對這些圖像進行存儲/編輯，在此過程中又依次引入了數(shù)字特性的噪聲。最后，通常圖像序列經(jīng)歷了連續(xù)的轉(zhuǎn)換，這些轉(zhuǎn)換導(dǎo)致了具有強隨機特性的空域-時域噪聲。
為了得到高性能的功能，采用遞歸濾波的噪聲減少方法考慮了視頻序列的圖像具有非常強的時域相關(guān)性。因此，在有效噪聲減少的精密調(diào)諧中，運動和位移的概念是非常重要的。
將術(shù)語“位移”理解為指在一場景中一目標位置的變化，這種位置的變化被定位并專指此目標。將術(shù)語“運動”理解為指在視頻序列中目標位移的整個集合。
常規(guī)地，利用簡單的圖像到圖像求差或使用運動估計器來檢測運動。
當(dāng)使用運動估計器時，通過計算不同瞬間圖像的差以及通過在幀之間空間性地移動，能夠得到這種位移。利用用于象素(按象素(pixelwise)運動估計)或塊(按塊(blockwise)運動估計)運動矢量場來表示這種位移。因而可以得到被稱作DFD(位移幀差)的按象素或按塊的運動補償圖像差。
在已知系統(tǒng)中，在圖像幀級別進行噪聲電平的估計。這種估計導(dǎo)致噪聲在幀上是一致的，結(jié)果濾波也是一樣，這可能會引起某些缺陷，諸如在某些無噪聲區(qū)損失清晰度，出現(xiàn)模糊或平滑了某些紋理(例如草地)。例如，在以湯姆森多媒體公司名義，于2000年7月24日提交的法國專利申請009684中描述了這種系統(tǒng)。

發(fā)明內(nèi)容
本發(fā)明涉及一種設(shè)備，用于基于噪聲的局部估計的噪聲級別估計，因而考慮到了其強隨機性質(zhì)。上述負面效果在相當(dāng)大的程度上被減少，從而提高了圖像質(zhì)量。
本發(fā)明還關(guān)于一種噪聲減少系統(tǒng)、包括這種設(shè)備的編碼系統(tǒng)以及對應(yīng)的運動補償遞歸濾波器。
出于此目的，本發(fā)明涉及一種用于在編碼之前估計視頻圖像噪聲電平的設(shè)備，包括-存儲部件，用于存儲至少一幅輸入圖像，-塊運動估計模塊，將其設(shè)計為根據(jù)當(dāng)前輸入圖像及之前存儲于所述存儲裝置的至少一幅輸入圖像，產(chǎn)生塊運動補償圖像變化的表示量，-估計部件，用于估計每一幅圖像的全局噪聲電平，所述全局噪聲電平至少是所述運動補償圖像變化的表示量的函數(shù)根據(jù)本發(fā)明，此設(shè)備包括-估計裝置，用于估計每一幅圖像的局部噪聲電平，所述局部噪聲電平是運動補償圖像變化的表示量及全局噪聲電平的函數(shù)。
將表述“運動補償圖像變化的表示量”理解為指通過考慮到運動估計，測量(優(yōu)選地，按塊)圖像序列中在時域的變化量。有優(yōu)勢的，這些量由DFD組成。
DFD能夠清楚地表示視頻序列中包含的噪聲量。如果運動補償是理想的，則DFD甚至還給出了噪聲量的確切表述(即就是說，如果補償是完美的，則可以不考慮運動和變形的性質(zhì))。
通過考慮到噪聲的強隨機性，局部噪聲電平的估計可以減少濾波的人為錯誤；這種人為錯誤是整個幀上噪聲電平一致的直接結(jié)果，這與對噪聲塊和無噪聲塊進行同樣的濾波是同一個意思。
因此，在局部級別對噪聲電平的估計尤其可以減少圖像無噪聲區(qū)清晰性的強損失、模糊的出現(xiàn)以及對某些紋理的平滑，例如草地。
通過估計作為幀全局噪聲電平函數(shù)的局部噪聲電平，可以確定相對于幀全局噪聲電平的當(dāng)前塊噪聲電平，并因而提高全局噪聲電平的估計。
優(yōu)選地，所述用于確定所述全局噪聲電平的運動補償圖像變化的表示量是由塊運動估計模塊計算得到的最小量以及平均量。
優(yōu)選地，所述用于確定所述局部噪聲電平的運動補償圖像變化的表示量是由塊運動估計模塊計算得到的局部量以及平均量。
根據(jù)優(yōu)選實施例，設(shè)計局部噪聲電平估計裝置，以使其確定局部噪聲電平，所述局部噪聲電平是平均DFD和局部DFD之差的函數(shù)以及所述差與平均DFD比率的函數(shù)。
優(yōu)選地，不同地調(diào)整局部噪聲電平，所述局部噪聲電平是所述差的值和至少一個預(yù)定閾值之間比較的函數(shù)。
這使得可以調(diào)整作為預(yù)定閾值函數(shù)的噪聲電平，因而通過禁止局部噪聲電平脫離預(yù)定值的范圍內(nèi)，限制了局部噪聲電平的波動。
本發(fā)明還涉及一種噪聲減少設(shè)備，包括用于根據(jù)本發(fā)明估計噪聲電平的設(shè)備。
本發(fā)明還涉及一種編碼系統(tǒng)，包括用于根據(jù)本發(fā)明估計噪聲電平的設(shè)備。
本發(fā)明還適用于在編碼前估計視頻圖像噪聲電平的方法，其中-存儲至少一幅當(dāng)前的輸入圖像，-根據(jù)當(dāng)前輸入圖像及之前存儲于所述存儲裝置的至少一幅輸入圖像執(zhí)行塊運動估計，從而產(chǎn)生塊運動補償圖像變化的表示量，-確定每一幅圖像的全局噪聲電平，所述全局噪聲電平至少是所述運動補償圖像變化的表示量的函數(shù)，
根據(jù)本發(fā)明，-確定每一幅圖像的局部噪聲電平，所述局部噪聲電平是運動補償圖像變化的表示量及全局噪聲電平的函數(shù)。


參考附圖，利用整體上無限制的有利典型實施例以及實現(xiàn)模式，能更好地理解并演示本發(fā)明，其中-圖1表示了根據(jù)本發(fā)明包括局部噪聲電平估計模塊的噪聲電平估計設(shè)備，-圖2示出了用于估計圖像塊的局部噪聲電平模塊功能的流程圖，以及-圖3表示了對全局噪聲電平進行修改以得到作為預(yù)定閾值函數(shù)的局部噪聲電平的示意圖。
具體實施例方式
使用了下列符號-x，y和t分別表示橫坐標、縱坐標和時間，-u(x，y；t)表示當(dāng)前輸入信號，-u(x，y；t-T)表示延遲了時延T的輸入信號(T表示例如一個視頻幀的時延)，-d(dx，dy)表示位移矢量，dx表示沿橫坐標軸的位移偏移量(移位)，且dy表示沿縱坐標軸的位移偏移量，-v(x，y；t)表示濾波器的輸出，-σglobal表示針對整幅圖像估計的噪聲電平，-σlocal表示針對圖像塊估計的噪聲電平，-DFD(x，y；t)用于一個象素或象素塊的DFD(x，y；t)＝u(x，y；t)-u(x，y；t-T)。
濾波設(shè)備包括用于存儲輸入圖像(信號u(x，y；t))的存儲器1以及根據(jù)當(dāng)前輸入圖像(信號u(x，y；t))和之前存儲于存儲器1中的輸入圖像u(x，y；t-T)產(chǎn)生塊運動矢量d(dx，dy)和DFD的塊運動估計器2。
該設(shè)備還配有模塊3，用于估計作為平均DFD(DFDmean)和最小DFD(DFDmin)函數(shù)的圖像全局噪聲電平。
該設(shè)備還包括用于存儲在時刻t的局部DFD的存儲器5。在遍歷了此幀的所有局部DFD之后，計算平均DFD。
該設(shè)備還包括用于估計塊局部噪聲電平的模塊4，該塊局部噪聲電平是用于估計圖像全局噪聲電平的模塊3計算得到的全局噪聲電平σglobal、局部DFD(DFD(x，y；t))以及平均DFD(DFDmean)的函數(shù)。該模塊的功能詳見圖2。
在計算局部DFD(DFD(x，y；t))之前，預(yù)先計算平均DFD(DFDmean)和最小DFD(DFDmin)。
該設(shè)備最后包括用于減小運動調(diào)節(jié)和/或補償噪聲電平的模塊6，該運動調(diào)節(jié)和/或補償噪聲電平是位移矢量d(dx，dy)和局部噪聲電平σlocal(x，y；t)的函數(shù)模塊6輸出當(dāng)前濾波的圖像v(x，y；t)。
模塊6可以是用于噪聲減少的濾波模塊，或更一般地，是圖像處理模塊。
可以以多種方式計算塊運動估計模塊2輸出的最小DFD(DFDmin)。
根據(jù)第一實施例，可以表示幀的最小DFD。由于為了得到最小DFD，此解決方案滿足較小的DFD之一，因此它簡單而廉價但不準確。因而可以給出DFDmin=MINy=1,x=1resYblockY,resXblockX[DFDlocal(x,y;t)]]]>其中-resX(分別地，resY)電平(分別地，垂直)分辨率，-blockX(分別地，blockY)電平塊的大小，一般大小是16個象素電平(分別地，一般垂直塊大小是8個象素)。
根據(jù)第二實施例，DFDmin表示此幀中最小DFD的百分比。因此在此實施例中，根據(jù)一組值計算DFDmin，且因此不會象前面的實施例一樣用單個值來表示。由于這需要排列此幀中所有的DFD，所以這種解決方案更準確，但更復(fù)雜。
平均DFD，即DFDmean表示一幀中所有DFD的平均值。因此平均DFD是一幀中局部DFD的總和除以DFD的數(shù)目。因而可以給出DFDmean=Σx=1resXblockXΣy=1resYblockYDFDlocal(x,y;t)resYblockY×resXblockX]]>作為演示例子，針對分辨率為720*288的幀且塊大小為16*8，有(720/16)*(288/8)個，即1620個DFD。在這種情況下，計算這1620個DFD的平均值并將其值賦給平均DFD。
此模塊接收處理過的塊局部DFD DFD(x，y；t)、平均DFD DFDmean以及全局噪聲電平σglobal作為輸入。
此模塊執(zhí)行局部噪聲電平調(diào)整，該局部噪聲電平是當(dāng)前塊的平均DFD DFDmean和局部DFD DFD(x，y；t)的函數(shù)。這種調(diào)整一方面由平均DFD和局部DFD之間差(ERROR DFD)控制，另一方面由此差與平均DFD的比率(Ratio DFD)控制。
平均DFD和局部DFD之間的差確定了調(diào)整的變化方向；特別地，當(dāng)此誤差為正時(表示此局部DFD小于平均DFD)，則必須減小此噪聲電平。相反，當(dāng)誤差為負時，應(yīng)引入噪聲電平的增大。
平均DFD和局部DFD之間的差與平均DFD的比率以相對于平均DFD的歸一化形式標記了誤差的產(chǎn)生。
為了不使用會在圖像中建立可見人為錯誤的二元校正，一種解決方案使用了校正，此校正是閾值的函數(shù)。因此將誤差ERROR DFD的變化范圍劃分為幾個區(qū)。
如圖3所示，以下作為演示給出的例子定義了兩個閾值，這兩個閾值將此范圍劃分為四個區(qū)。
-當(dāng)誤差位于0和閾值1(S1)之間時，局部DFD小于平均DFD。因此必須減小噪聲電平；如圖2中步驟E9所示，針對接近0的誤差，這種減小量要小，而針對接近閾值1的誤差，減少量是在此區(qū)間中的最大值。
-當(dāng)誤差位于0和閾值2(S2)之間時，局部DFD大于平均DFD。因此必須增大噪聲電平；如圖2中步驟E4所示，針對接近0的誤差，這種增大量要小，而針對接近閾值2(S2)的誤差，增大量是在此區(qū)間中的最大值。
-當(dāng)誤差大于閾值1(S1)時，如圖2中步驟E10所示，將噪聲電平的減小限制在最大值，此最大值是參數(shù)的函數(shù)。
-當(dāng)誤差小于閾值2(S2)時，局部DFD大于平均DFD，因此必須增大局部噪聲電平。為了執(zhí)行局部噪聲電平的調(diào)整，考慮兩種情況-在出現(xiàn)相當(dāng)大的運動時，認為運動估計器執(zhí)行了較少的補償。因此局部DFD表示了噪聲和有用信號的混合。則如圖2中步驟E6所示，最大值限制了噪聲電平的局部增大。
-在相反情況下，即就是說出現(xiàn)輕微運動，認為運動估計器非?？煽俊ＵJ為運動補償?shù)馁|(zhì)量優(yōu)良。結(jié)果，局部DFD表示噪聲。因此如圖2中步驟E7所示，不限制局部噪聲電平的增大。
加權(quán)系數(shù)β1和β2允許較強或較弱強調(diào)局部調(diào)整的效果?？梢岳枚喾N方式實現(xiàn)這種加權(quán)，給出的典型實施例僅作為演示。
現(xiàn)在我們對圖2進行說明，該圖2描述了用于估計圖像塊局部噪聲電平的模塊4的實施例。
模塊4接收平均DFD DFDmean和局部DFD(DFD(x，y；t))作為輸入，并在步驟E1計算被稱作ERROR_DFD的平均DFD與局部DFD之間的差。
在步驟E2的過程中，執(zhí)行比較測試以確定此差是正還是負。
如果此差是負的，進行步驟E3，將此差與閾值S2進行比較。
如果ERROR_DFD大于或等于閾值S2，則進行步驟E4。在步驟E4的過程中，增大局部噪聲電平。作為演示，可以使用下式執(zhí)行這種增大σlocal＝σglobal-Ratio_DFD×β2如果ERROR_DFD小于S2，則進行步驟E5。在步驟E5的過程中，執(zhí)行測試并將位移矢量d(x，y)與運動閾值S3進行比較。如果d(x，y)大于S3，則進行步驟E7。在步驟E7過程中，增大局部噪聲電平并設(shè)置閾值。作為演示，這可以使用下面的方式來進行σlocal＝σglobal+β2/2如果d(x，y)小于或等于S3，則進行步驟E6，在步驟E6的過程中，增大局部噪聲電平。作為演示，這可以如下進行σlocal＝σreal-Ratio_DFD×β2如果在步驟E2的過程中ERROR_DFD為負，則進行將此差與閾值S1進行比較的步驟E8。
如果ERROR_DFD小于或等于閾值S1，則進行步驟E9。在步驟E9的過程中，減小局部噪聲電平。作為演示，可以使用下式執(zhí)行這種減小σlocal＝σglobal-Ratio_DFD×β1如果ERROR_DFD大于閾值S1，則進行步驟E10。在步驟E10的過程中，根據(jù)作為演示給出的下式減小局部噪聲電平并執(zhí)行閾值的設(shè)置σlocal＝σglobal-β1/2下一步進行步驟E11，在步驟E11的過程中，通過施加最小值αmin和最大值αmax對局部噪聲電平值進行平滑。最后得到的噪聲電平值或者是在步驟E4、E6、E7、E9或E10中得到的值，或者如果此值大于αmax，則最后的噪聲電平值是αmax，而如果此值小于αmin，則最后的噪聲電平值是αmin。
在某些特定實施例中，作為演示，可以將下列值作為不同的閾值。
為了顯示對稱，可以設(shè)S1＝|S2|，且β2＝β1。
S1＝0.5×DFD_mean，S2＝-0.5×DFD_mean，β2＝β1＝6，(這些系數(shù)與β的性質(zhì)相同)S3＝20。
ámin＝3.5ámax＝15.權(quán)利要求
1.一種用于在編碼之前估計視頻圖像噪聲電平的設(shè)備，包括—存儲裝置(1)，用于存儲至少一幅輸入圖像u(x，y；t)，—塊運動估計模塊(2)，將其設(shè)計為根據(jù)當(dāng)前輸入圖像(u(x，y；t))及之前存儲于所述存儲裝置(1)的至少一幅輸入圖像(u(x，y；t-T))，產(chǎn)生第一塊運動補償圖像變化的表示量(DFD)，—估計裝置(3)，用于估計每一幅圖像的全局噪聲電平(σglobal)，所述全局噪聲電平(σglobal)是至少一個所述第一運動補償圖像變化的表示量(DFD)的函數(shù)，其特征在于所述設(shè)備還包括—估計裝置(4)，用于估計每一個圖像塊的局部噪聲電平(σlocal)，所述局部噪聲電平(σlocal)是第二運動補償圖像變化的表示量(DFD)以及全局噪聲電平(σglobal)的函數(shù)。
2.根據(jù)權(quán)利要求1所述的設(shè)備，其特征在于所述用于確定所述全局噪聲電平(σglobal)的第一運動補償圖像變化的表示量(DFD)是由塊運動估計模塊(4)計算得到的最小量(DFDmin)以及平均量(DFDmean)。
3.根據(jù)權(quán)利要求2所述的設(shè)備，其特征在于所述用于確定所述局部噪聲電平(σlocal)的第二運動補償圖像變化的表示量(DFD)是由塊運動估計模塊(2)計算得到的局部量(DFD(x，y；t))和平均量(DFDmean)。
4.根據(jù)權(quán)利要求1或2所述的設(shè)備，其特征在于設(shè)計所述局部噪聲電平(σlocal)估計裝置(4)，使其確定局部噪聲電平，所述局部噪聲電平是平均DFD(DFDmean)和局部DFD(DFD(x，y；t))之差(ERROR_DFD)的函數(shù)以及所述差與平均DFD(DFDmean)比率的函數(shù)。
5.根據(jù)權(quán)利要求4所述的設(shè)備，其特征在于不同地調(diào)整局部噪聲電平(σlocal)，所述局部噪聲電平(σlocal)是所述差(ERROR_DFD)值與至少一個預(yù)定閾值(S1，S2，S3)之間比較的函數(shù)。
6.一種噪聲減少系統(tǒng)，其特征在于包括根據(jù)權(quán)利要求1至5所述的用于估計噪聲電平的設(shè)備。
7.一種編碼系統(tǒng)，包括根據(jù)權(quán)利要求1至5所述的用于估計噪聲電平的設(shè)備。
8.一種用于在編碼前估計視頻圖像噪聲電平的方法，其中—存儲至少一幅當(dāng)前的輸入圖像(u(x，y；t))，—根據(jù)當(dāng)前的輸入圖像(u(x，y；t))以及之前存儲于所述存儲裝置(1)的至少一幅輸入圖像(u(x，y；t-T))執(zhí)行塊運動估計，從而產(chǎn)生第一塊運動補償圖像變化的表示量(DFD)，—確定每一幅圖像(u(x，y；t))的全局噪聲電平(σglobal)，所述全局噪聲電平(σglobal)是至少一個所述運動補償圖像變化的表示量(DFD)的函數(shù)，其特征在于還包括—確定(E4，E6，E7，E9，E10，E11)每一圖像塊的局部噪聲電平(σlocal)，所述局部噪聲電平(σlocal)是第二運動補償圖像變化的表示量(DFD)及全局噪聲電平(σglobal)的函數(shù)。
全文摘要
本發(fā)明涉及一種用于在編碼之前估計視頻圖像噪聲電平的設(shè)備及方法。該設(shè)備包括存儲至少一幅輸入圖像的存儲裝置；塊運動估計模塊，將其設(shè)計為根據(jù)當(dāng)前輸入圖像及之前存儲于所述存儲部件的至少一幅輸入圖像，產(chǎn)生第一塊運動補償圖像變化的表示量；估計裝置用于估計每一幅圖像的全局噪聲電平，所述全局噪聲電平是至少一個所述第一運動補償圖像變化的表示量的函數(shù)。所述設(shè)備包括估計裝置，用于估計每一個圖像塊的局部噪聲電平，所述局部噪聲電平是第二運動補償圖像變化的表示量以及全局噪聲電平的函數(shù)。
文檔編號H04N5/21GK1545812SQ02816323
公開日2004年11月10日 申請日期2002年8月6日 優(yōu)先權(quán)日2001年8月21日
發(fā)明者奧利維爾·勒默爾, 奧利維爾 勒默爾, 讓-伊夫·巴博諾, 頡ぐ筒┡, 格奧爾格斯·約蘭德, 格斯 約蘭德 申請人:法國耐思訊公司