專利名稱：從數(shù)字運(yùn)動(dòng)畫面數(shù)據(jù)中去除噪聲的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及運(yùn)動(dòng)畫面的數(shù)字編碼，并更具體地，涉及一種去除數(shù)字運(yùn)動(dòng)畫面數(shù)據(jù)中的噪聲的方法。
背景技術(shù)：
由于數(shù)字運(yùn)動(dòng)畫面數(shù)據(jù)占據(jù)大量的數(shù)據(jù)，因此數(shù)據(jù)應(yīng)該被壓縮以便于有效地傳輸和存儲(chǔ)。因此，用于改善視頻信號(hào)的再現(xiàn)圖像質(zhì)量和改善數(shù)據(jù)壓縮率的技術(shù)對(duì)于增強(qiáng)相關(guān)產(chǎn)品的競(jìng)爭(zhēng)力是必要的。在需要高清晰度的數(shù)字多媒體產(chǎn)品諸如高清TV(HDTV)和數(shù)字多功能盤(DVD)中，采用諸如運(yùn)動(dòng)圖像專家組(MPEG)-2的壓縮算法作為壓縮方法。
由于實(shí)際圖像輸入系統(tǒng)、傳輸信道、以及處理運(yùn)動(dòng)畫面數(shù)據(jù)的發(fā)射機(jī)和接收機(jī)的技術(shù)局限性，在運(yùn)動(dòng)畫面數(shù)據(jù)的獲得、發(fā)送和接收期間不可避免地產(chǎn)生噪聲。
噪聲可以被定義為其亮度隨時(shí)間突然變化并且是隨機(jī)空間分布的一組像素，(它們不形成一組有意義的幾何形狀)。飛蚊噪聲(mosquito-noise)是一種常見的隨機(jī)噪聲，其沿著利用DCT所壓縮的圖像邊緣出現(xiàn)。
如果我們?cè)跁r(shí)序空間中繪出位于給定空間位置的圖像亮度的強(qiáng)度曲線，那么可觀察到作為強(qiáng)度曲線的突變的噪聲像素。降低噪聲的一個(gè)簡(jiǎn)單方案是使用某種時(shí)間平均濾波技術(shù)來(lái)去除這些突變。然而，快速運(yùn)動(dòng)的像素(例如，場(chǎng)景中運(yùn)動(dòng)物體的一部分)也表現(xiàn)出和噪聲相似的性能，也就是說(shuō)快速移動(dòng)的像素的強(qiáng)度在短時(shí)間周期期間非常劇烈地變化。簡(jiǎn)單的平均技術(shù)將導(dǎo)致恢復(fù)場(chǎng)景中運(yùn)動(dòng)物體的模糊甚至丟失。這樣，將運(yùn)動(dòng)效應(yīng)從噪聲效應(yīng)中分離出來(lái)就成為一個(gè)急待解決的問題。
原則上，三類像素需要被處理靜止像素、運(yùn)動(dòng)像素、和噪聲像素。根本的困難是避免將運(yùn)動(dòng)像素視為噪聲像素。如果對(duì)于快速運(yùn)動(dòng)像素諸如在場(chǎng)景中快速運(yùn)動(dòng)的物體的運(yùn)動(dòng)估計(jì)失敗，那么這些像素將被錯(cuò)誤地濾掉如同它們與噪聲相關(guān)一樣。如果我們可以正確地將像素分為三種類型，那么我們可以避免一些昂貴的計(jì)算(避免針對(duì)靜止像素的運(yùn)動(dòng)估計(jì))并能改善過濾。
包含在(例如壓縮在)圖像(幀)序列中(在數(shù)字運(yùn)動(dòng)畫面數(shù)據(jù)中)的噪聲降低了再現(xiàn)圖像質(zhì)量和壓縮率，因?yàn)樵肼暠蛔R(shí)別為信號(hào)的(射頻)分量。噪聲增加了圖像數(shù)字表示所需的帶寬。由于噪聲也被識(shí)別為數(shù)據(jù)，所以必須壓縮更多有效畫面數(shù)據(jù)以便滿足給定的比特率；然而，更多的壓縮增加了編碼假象，諸如塊假象。
在預(yù)先利用有效降噪算法去除噪聲之后，圖像序列的壓縮率能被大幅提高，并且可以通過數(shù)據(jù)壓縮(按照MPEG-2方法)提高圖像的質(zhì)量。存在傳統(tǒng)的降噪算法例如空間濾波、時(shí)間濾波、和時(shí)空濾波。
由于空間濾波是基于固定模型的，因而噪聲去除之后再現(xiàn)圖像的輪廓不能夠被保存。雖然可以使用額外的輪廓自適應(yīng)濾波器，但是在用于區(qū)分輪廓線的閾值被固定為不考慮噪聲程度的常量的情況或者在產(chǎn)生色斑的情況下，這種方法并不是很有效。因?yàn)橐耘c亮度無(wú)關(guān)的相同方式處理由不同亮度引起的、在電荷耦合器件(CCD)傳感器上構(gòu)建濾色陣列(CFA)的不同信道特性，所以產(chǎn)生色斑。
雖然在處理靜止圖像時(shí)，空間濾波是去除噪聲的一種有效方式，但是如果使用空間濾波方法來(lái)過濾視頻圖像序列，則每幀的噪聲去除程度是不同的。當(dāng)視頻數(shù)據(jù)作為視頻圖像序列再現(xiàn)時(shí)，噪聲去除程度的差別可能表現(xiàn)為閃爍的現(xiàn)象。因此，為了改善傳統(tǒng)的空間濾波處理的性能，用于按照噪聲能量(特別是噪聲能量變化)來(lái)確定輪廓線的閾值應(yīng)該自適應(yīng)地變化，并且為了去除色斑和閃爍現(xiàn)象，除了空間濾波操作之外，還使用時(shí)間濾波方法。
在時(shí)間濾波中，使用運(yùn)動(dòng)補(bǔ)償方法。然而，為了考慮到運(yùn)動(dòng)補(bǔ)償，應(yīng)該為每一幀都估計(jì)物體運(yùn)動(dòng)，應(yīng)該沿著運(yùn)動(dòng)軌跡來(lái)進(jìn)行濾波，并且另外需要更多的計(jì)算操作來(lái)估計(jì)運(yùn)動(dòng)。
已使用基于運(yùn)動(dòng)檢測(cè)算法的時(shí)間濾波方法來(lái)減少運(yùn)動(dòng)補(bǔ)償中的錯(cuò)誤以及減少計(jì)算負(fù)荷。基于運(yùn)動(dòng)檢測(cè)算法的時(shí)間濾波的效率很大程度上依賴于運(yùn)動(dòng)檢測(cè)算法的魯棒性。然而，由于根據(jù)典型運(yùn)動(dòng)檢測(cè)算法，由亮度差來(lái)確定彩色圖像中的運(yùn)動(dòng)，因此這種算法不能識(shí)別由顏色差表示的運(yùn)動(dòng)。因此，當(dāng)物體和背景的亮度差不足夠大時(shí)，運(yùn)動(dòng)檢測(cè)中可發(fā)生錯(cuò)誤。
為了解決以上問題，存在一種通過考慮彩色圖像的向量特性來(lái)檢測(cè)RGB向量的量值(亮度)和角度(顏色)的差異的檢測(cè)運(yùn)動(dòng)的方法。當(dāng)系統(tǒng)的輸入信號(hào)是RGB信號(hào)或者算法由軟件處理時(shí)，可以不管計(jì)算負(fù)荷和存儲(chǔ)容量而使用該方法；然而，當(dāng)算法利用硬件進(jìn)行處理時(shí)，這種算法的實(shí)用性具有局限。
YCbCr域(下文中，表示為YCbCr彩色空間)是最常使用的彩色坐標(biāo)系統(tǒng)，其對(duì)于兼容單色視頻以及和專業(yè)視頻處理設(shè)備協(xié)作非常有用。亮度(Y)包含人眼由于對(duì)細(xì)節(jié)的敏感度而給予其重要性的空間信息的大部分。色度通道(Cb、Cr，分別是藍(lán)色差和紅色差)添加了彩色信息。當(dāng)大部分輸入信號(hào)是這樣的YCbCr形式的信號(hào)時(shí)，為了執(zhí)行RGB向量的計(jì)算操作，YCbCr形式的輸入信號(hào)必須被轉(zhuǎn)換成RGB彩色空間信號(hào)。此外，由于計(jì)算用于計(jì)算RGB向量角度(彩色)的差異的反余弦函數(shù)或者正弦函數(shù)需要非線性計(jì)算，所以增加了硬件的復(fù)雜性。
當(dāng)利用RGB向量的角度(彩色)的差異來(lái)檢測(cè)運(yùn)動(dòng)時(shí)，很難設(shè)置閾值來(lái)作為區(qū)分所檢測(cè)到的運(yùn)動(dòng)的參考。該閾值對(duì)濾波性能的影響非常大，如果閾值過大，就會(huì)產(chǎn)生一個(gè)諸如運(yùn)動(dòng)殘留圖像的假象；如果閾值過小，那么就無(wú)法去除噪聲。例如，在使用RGB向量的角度(彩色)差異的運(yùn)動(dòng)檢測(cè)方法中，當(dāng)余弦函數(shù)的輸入值幾乎為0(零)時(shí)，輸出值之間的差異很小，這樣閾值應(yīng)該被設(shè)置為剛好直到十進(jìn)制小數(shù)點(diǎn)(decimal point)從而有效地檢測(cè)運(yùn)動(dòng)。為了克服確定閾值時(shí)的困難并且有效地去除噪聲，必須處理相對(duì)大量的幀。因此，需要大容量的存儲(chǔ)器，并且也增加了硬件的復(fù)雜性。
除了前述的問題外，在基于運(yùn)動(dòng)檢測(cè)的時(shí)間濾波中，運(yùn)動(dòng)檢測(cè)的閾值應(yīng)該根據(jù)場(chǎng)景檢測(cè)而自適應(yīng)變化。否則，如果包含場(chǎng)景數(shù)據(jù)的普通序列僅僅使用運(yùn)動(dòng)檢測(cè)來(lái)處理，那么在不同場(chǎng)景的相鄰幀中包含的像素的亮度或彩色彼此類似的情況下，不同的場(chǎng)景可被過濾掉并且不同的場(chǎng)景可被混合進(jìn)過濾后的幀內(nèi)。因此，為了改善基于運(yùn)動(dòng)檢測(cè)的傳統(tǒng)時(shí)間濾波的性能，應(yīng)該另外使用場(chǎng)景變化檢測(cè)算法。
合并前述兩種濾波方法的傳統(tǒng)時(shí)空濾波方法是將空間濾波擴(kuò)展到時(shí)間濾波的一種方式。雖然噪聲能夠被有效地去除，但是該方法卻包含著時(shí)間濾波和空間濾波的局限。

發(fā)明內(nèi)容
本發(fā)明提供了一種從數(shù)字運(yùn)動(dòng)畫面數(shù)據(jù)中去除噪聲的方法，該方法能最小化時(shí)間濾波處理中使用的幀的數(shù)量，同時(shí)還能容易地檢測(cè)運(yùn)動(dòng)。
在基于運(yùn)動(dòng)檢測(cè)的時(shí)間濾波中，運(yùn)動(dòng)檢測(cè)的閾值應(yīng)根據(jù)場(chǎng)景(變化)檢測(cè)和根據(jù)包含在序列中的噪聲的能量來(lái)適應(yīng)性地變化。為了有效地去除噪聲，當(dāng)噪聲能量小的時(shí)候，可使用小的閾值；而當(dāng)噪聲能量大的時(shí)候，應(yīng)使用大的閾值。在YCbCr彩色空間中，亮度/彩色運(yùn)動(dòng)閾值應(yīng)在不增加計(jì)算負(fù)荷的情況下適應(yīng)性地確定為噪聲能量，以便減少執(zhí)行濾波處理所需的幀的數(shù)量。
所公開的方法可分為空間濾波和時(shí)間濾波，并且最好先(對(duì)輸入圖像)應(yīng)用空間濾波，然后對(duì)空間濾波的結(jié)果應(yīng)用時(shí)間濾波。
根據(jù)本發(fā)明的一方面，提供了一種從數(shù)字運(yùn)動(dòng)畫面數(shù)據(jù)中去除噪聲的方法，其中通過空間濾波操作去除包含在數(shù)字運(yùn)動(dòng)畫面數(shù)據(jù)中的噪聲，該方法包括通過對(duì)像素的彩色分量執(zhí)行空間濾波操作來(lái)計(jì)算(2N+1)×(2N+1)像素局部屏蔽(mask)中的代表值；并通過對(duì)像素的亮度分量執(zhí)行空間濾波操作來(lái)保留圖像(中)的邊緣。
根據(jù)本發(fā)明的另一方面，提供了一種從數(shù)字運(yùn)動(dòng)畫面數(shù)據(jù)中去除噪聲的方法，其中對(duì)圖像的亮度分量Y以及彩色分量Cr和Cb執(zhí)行空間濾波操作，然后對(duì)空間濾波操作的結(jié)果值XY(i，j，n)、XCb(i，j，n)和XCr(i，j，n)執(zhí)行時(shí)間濾波操作，該方法包括檢測(cè)幀間的場(chǎng)景變化；估計(jì)幀間的全局運(yùn)動(dòng)(例如搖鏡頭)，并估計(jì)空間域上噪聲VarnT的相對(duì)值以及每一像素的全局運(yùn)動(dòng)軌跡；計(jì)算用于檢測(cè)圖像中亮度分量的運(yùn)動(dòng)的加權(quán)，并計(jì)算用于檢測(cè)圖像中彩色分量的運(yùn)動(dòng)的加權(quán)；并基于補(bǔ)償其全局運(yùn)動(dòng)的場(chǎng)景檢測(cè)/運(yùn)動(dòng)檢測(cè)，利用用于對(duì)在不包括場(chǎng)景變化的范圍內(nèi)的幀進(jìn)行過濾的加權(quán)、噪聲的相對(duì)值、用于檢測(cè)圖像中亮度分量的運(yùn)動(dòng)的加權(quán)、用于檢測(cè)圖像中彩色分量的運(yùn)動(dòng)的加權(quán)、以及用于標(biāo)準(zhǔn)化的常數(shù)中的全部或一部分來(lái)執(zhí)行濾波操作。
根據(jù)本發(fā)明的另一方面，提供了一種從數(shù)據(jù)運(yùn)動(dòng)畫面數(shù)據(jù)中去除噪聲的方法，該方法包括對(duì)每一個(gè)像素中的亮度分量和彩色分量執(zhí)行空間濾波操作；并基于運(yùn)動(dòng)檢測(cè)，對(duì)空間濾波操作的結(jié)果數(shù)據(jù)執(zhí)行時(shí)間濾波操作。


通過參考附圖對(duì)其示范實(shí)施例的詳細(xì)描述，本發(fā)明的以上和其他特征將變得更加清楚，其中圖1是描述了根據(jù)本發(fā)明實(shí)施例的從數(shù)字運(yùn)動(dòng)畫面數(shù)據(jù)中去除噪聲的方法的流程圖；圖2是圖示了根據(jù)本發(fā)明實(shí)施例的當(dāng)C＝1時(shí)的邊緣自適應(yīng)加權(quán)W(k，l，n)的特性的曲線圖；圖3是圖示了根據(jù)本發(fā)明實(shí)施例的當(dāng)C≠1時(shí)的邊緣自適應(yīng)加權(quán)W(k，l，n)的特性的曲線圖；圖4是圖示了根據(jù)本發(fā)明實(shí)施例的從數(shù)字運(yùn)動(dòng)畫面數(shù)據(jù)中去除噪聲的方法包含的每一個(gè)步驟中所執(zhí)行的計(jì)算的輸入和輸出的方框圖；和圖5是圖示了根據(jù)本發(fā)明另一個(gè)實(shí)施例的從數(shù)字運(yùn)動(dòng)畫面數(shù)據(jù)中去除噪聲的方法包含的每一個(gè)步驟中所執(zhí)行的計(jì)算的輸入和輸出的方框圖。
具體實(shí)施例方式
附示了本發(fā)明的優(yōu)選實(shí)施例。
在下文中，將通過參考附圖解釋本發(fā)明的優(yōu)選實(shí)施例來(lái)對(duì)本發(fā)明進(jìn)行詳細(xì)的描述。附圖中相同的標(biāo)記代表相同的元件。
圖1是描述了根據(jù)本發(fā)明實(shí)施例的從數(shù)字運(yùn)動(dòng)畫面數(shù)據(jù)中去除噪聲的方法的流程圖。
參考圖1，從數(shù)字運(yùn)動(dòng)畫面數(shù)據(jù)中去除噪聲的方法包含本發(fā)明一個(gè)實(shí)施例中的處理空間濾波(110)和本發(fā)明另一個(gè)實(shí)施例中的處理時(shí)間濾波(150)。本發(fā)明的另一個(gè)示范實(shí)施例共同使用這兩個(gè)步驟(110和150)。
根據(jù)本發(fā)明的一個(gè)實(shí)施例(從數(shù)字運(yùn)動(dòng)畫面數(shù)據(jù)中去除噪聲的方法)，對(duì)于YCrCb格式輸入信號(hào)中的像素的亮度分量(Y)，使用基于線性最小均方誤差(LMMSE)的濾波器用于保留邊緣，并且對(duì)于輸入信號(hào)的彩色分量(CrCb)，使用低通(LP)濾波器(用于提高圖像的穩(wěn)定性)。
在步驟111中，計(jì)算彩色分量的代表值意味著獲得彩色分量的平均值或中心值。因此，對(duì)彩色分量應(yīng)用低通濾波器意味著在局部屏蔽(例如圍繞著給定像素的(2N+1)×(2N+1)像素區(qū)域)內(nèi)計(jì)算平均值。
存在對(duì)于亮度分量112應(yīng)用基于LMMSE的濾波器的5個(gè)步驟(子步驟)。
在步驟113中，利用預(yù)定噪聲自適應(yīng)邊緣閾值而計(jì)算關(guān)于每一像素的亮度分量的適應(yīng)于邊緣的代表值。這里，該代表值是每個(gè)像素(在局部屏蔽中)的平均值或中心值，并且利用位于局部屏蔽內(nèi)的邊緣的一個(gè)表面上的像素而計(jì)算適應(yīng)于邊緣的代表值。
預(yù)定噪聲自適應(yīng)邊緣閾值在現(xiàn)有技術(shù)中并非固定不變，而是根據(jù)噪聲量自適應(yīng)地變化。
在步驟114中，通過利用預(yù)定的邊緣自適應(yīng)加權(quán)而估計(jì)每一個(gè)像素的發(fā)散(scattergram)值，該加權(quán)通過使用噪聲自適應(yīng)閾值和邊緣自適應(yīng)代表值而計(jì)算得出。發(fā)散值意味著方差或標(biāo)準(zhǔn)偏差，并且像素的方差(信號(hào)活動(dòng)性)意味著圖像的改變程度或圖像的邊緣程度。
在步驟115中，計(jì)算輸入圖像和圖像的代表值之間的差值(subtract)圖像。該差值圖像包含噪聲分量和輸入圖像的邊緣分量。
在步驟116中，通過比較以上圖像的發(fā)散值和噪聲發(fā)散值而計(jì)算加權(quán)。
在步驟117中，將相對(duì)較大的加權(quán)應(yīng)用于圖像的邊緣分量，而將較小的加權(quán)應(yīng)用于差值圖像中的噪聲分量，并且將應(yīng)用了加權(quán)的差值圖像添加到邊緣自適應(yīng)代表值中。噪聲發(fā)散值的特征在于噪聲方差和噪聲標(biāo)準(zhǔn)偏差，并且該噪聲方差表示噪聲的程度。
在圖像的平面域(domain)上處理了前述5個(gè)步驟(從步驟113到117)之后，因?yàn)閳D像平面域上的差值圖像應(yīng)用了較小的加權(quán)，所以濾波的結(jié)果可與邊緣自適應(yīng)代表值大致相同。此外，因?yàn)閳D像的邊緣域上的差值圖像應(yīng)用了較大的加權(quán)，所以在圖像的邊緣域上，濾波導(dǎo)致邊緣自適應(yīng)代表值和圖像邊緣的相加。
根據(jù)本發(fā)明的另一個(gè)實(shí)施例，從數(shù)字運(yùn)動(dòng)畫面數(shù)據(jù)中去除噪聲的方法150包含4個(gè)步驟(步驟151到154)。
在步驟151中，檢測(cè)幀間的場(chǎng)景變化。
在步驟152中，估計(jì)幀間的全局運(yùn)動(dòng)(例如搖鏡頭)，并且沿著每一個(gè)像素的全局運(yùn)動(dòng)軌跡(利用對(duì)全局運(yùn)動(dòng)的補(bǔ)償)來(lái)估計(jì)時(shí)間域上噪聲的相對(duì)值。
在步驟153中，對(duì)于輸入圖像中的每個(gè)像素沿著全局運(yùn)動(dòng)軌跡(例如利用對(duì)全局運(yùn)動(dòng)的補(bǔ)償)檢測(cè)運(yùn)動(dòng)。在步驟153中，輸入圖像的像素的亮度分量Y和彩色分量(Cr和Cb)被同時(shí)使用，并且使用適應(yīng)于噪聲的運(yùn)動(dòng)閾值來(lái)檢測(cè)該運(yùn)動(dòng)。計(jì)算代表圖像中亮度分量的運(yùn)動(dòng)檢測(cè)的加權(quán)和代表圖像中彩色分量的運(yùn)動(dòng)檢測(cè)的加權(quán)。
在步驟154中，利用在不包括場(chǎng)景變化的幀的范圍(序列)內(nèi)進(jìn)行濾波的加權(quán)、噪聲相對(duì)值、用于檢測(cè)圖像中亮度分量的運(yùn)動(dòng)的加權(quán)、用于檢測(cè)基于圖像中像素的彩色分量的運(yùn)動(dòng)的加權(quán)、以及用于對(duì)運(yùn)動(dòng)進(jìn)行標(biāo)準(zhǔn)化的常量中的全部或部分來(lái)執(zhí)行補(bǔ)償其全局運(yùn)動(dòng)的基于場(chǎng)景檢測(cè)/運(yùn)動(dòng)檢測(cè)的濾波。
根據(jù)本發(fā)明的優(yōu)選實(shí)施例(從數(shù)字運(yùn)動(dòng)畫面數(shù)據(jù)中去除噪聲的方法)，首先執(zhí)行空間濾波操作110，并且對(duì)以上空間濾波所過濾的幀(例如，3個(gè)幀)執(zhí)行補(bǔ)償了全局運(yùn)動(dòng)的基于場(chǎng)景檢測(cè)/運(yùn)動(dòng)檢測(cè)的時(shí)間濾波150。根據(jù)優(yōu)選實(shí)施例，首先執(zhí)行空間濾波，并且由此在一定程度上去除噪聲，并然后可容易地執(zhí)行執(zhí)行時(shí)間濾波所需的運(yùn)動(dòng)檢測(cè)。這樣，期望根據(jù)優(yōu)選實(shí)施例的噪聲去除方法用于去除噪聲。
在根據(jù)本發(fā)明實(shí)施例的去除噪聲的方法中，運(yùn)動(dòng)畫面數(shù)據(jù)的亮度分量中的邊緣被保持以提高色彩的清晰度。在去除噪聲的同時(shí)，保持圖像中的邊緣輪廓，并且彩色分量變得平滑從而改善圖像的穩(wěn)定性。
分別給定亮度分量Y以及彩色分量Cb和Cr的空間濾波值是xY(i，j，n)、xCb(i，j，n)、和xCr(i，j，n)，這些空間濾波值可以通過下列方程式計(jì)算xY(i,j,n)=y‾Y(i,j,n)+σyY(i,j,n)2-σn(i,j,n)2σyY(i,j,n)2(yY(i,j,n)-y‾Y(i,j,n))---(1)]]>xCb(i,j,n)=12N+1Σk=i-Ni+NΣl=j-Nj+NyCb(k,l,n)---(2)]]>xCr(i,j,n)=12N+1Σk=i-Ni+NΣl=j-Nj+NyCr(k,l,n)---(3)]]>這里，N表示(2N+1)×(2N+1)像素的局部屏蔽的量值；i和j表示像素的二維坐標(biāo)；n表示一個(gè)幀，yY(i，j，n)表示噪聲降級(jí)圖像(也就是輸入圖像)的像素的Y分量；yY(i，j，n)表示yY(i，j，n)的平均值；σyY(i，j，n)2是yY(i，j，n)的方差；σn(i，j，n)2是噪聲的方差；yCb(k，l，n)是噪聲降級(jí)的(輸入)圖像的像素的Cb分量；yCr(k，l，n)是噪聲降級(jí)的(輸入)圖像的像素的Cr分量。
在對(duì)方程式1中亮度分量Y的空間濾波操作中，由于在噪聲降級(jí)圖像的平面域區(qū)域中σyY(i,j,n)2≈σn(i,j,n)2,]]>所以濾波后的輸出是噪聲降級(jí)(輸入)圖像的平均值(代表值)yY(i，j，n)；并且由于對(duì)于噪聲降級(jí)(輸入)圖像的RF分量σyY(i,j,n)2>>σn(i,j,n)2,]]>因此預(yù)定的加權(quán)分量(yY(i，j，n)-yY(i，j，n))被添加到噪聲降級(jí)(輸入)圖像的平均值(代表值)中，以保留圖像中的RF分量。
為了使得方程式1應(yīng)用于圖像中的精細(xì)分量，方程式1可適合補(bǔ)償運(yùn)動(dòng)畫面的不穩(wěn)定特性。噪聲降級(jí)(輸入)圖像的平均值和方差由如下所示方程式4和方程式5計(jì)算，其中一部分圖像沒有穿過(2N+1)×(2N+1)局部屏蔽區(qū)域內(nèi)的圖像的輪廓/邊緣(在此，假設(shè)方程式1的噪聲方差能量σn(i，j，n)2是估計(jì)或已知的)y‾Y(i,j,n)=1Σk=i-Ni+NΣl=j-Nj+NW(k,l,n)Σk=i-Ni+NΣl=j-Nj+NW(k,l,n)yY(i+k,j+l,n)---(4)]]>σyY(i,j,n)2=1Σk=i-Ni+NΣl=j-Nj+NW(k,l,n)Σk=i-Ni+NΣl=j-Nj+NW(k,l,n)[yY(i+k,j+l,n)-y‾Y(i,j,n)]2---(5)]]>在此，W(k，l，n)是邊緣自適應(yīng)加權(quán)，用于確定要被過濾的中心像素以及外圍像素是否在基于這個(gè)邊緣的同一(平面)域上。W(k，l，n)可與中心像素和外圍像素的亮度差成反比。因此，當(dāng)外圍像素和中心像素位于基于邊緣的同一(平面)域上時(shí)，W(k，l，n)具有較大的值(例如≈1)；并且當(dāng)外圍像素和中心像素位于基于邊緣的不同(平面)域上時(shí)，W(k，l，n)具有較小的值(例如≈0)。
該邊緣自適應(yīng)加權(quán)W(k，l，n)可以通過如下所示方程式6確定 在此，Δ表示中心像素和外圍像素之間的亮度差，并且可以定義為Δ＝g(|yY(i，j，n)-yY(i+k，j+l，n)|)。函數(shù)g(·)是單調(diào)遞增函數(shù)，例如線性函數(shù)、指數(shù)函數(shù)、或?qū)?shù)函數(shù)；C是等于一(1)或者大于一(1)的常量；并且噪聲自適應(yīng)邊緣閾值f(·)是諸如線性函數(shù)、指數(shù)函數(shù)、或?qū)?shù)函數(shù)的單調(diào)遞增函數(shù)。
和f(σn2)是噪聲自適應(yīng)邊緣閾值。
可根據(jù)傳統(tǒng)知識(shí)而預(yù)先確定噪聲自適應(yīng)邊緣閾值f(·)的最小值(噪聲很小時(shí)的理想值)和最大值(噪聲很大時(shí)的理想值)，并且可將噪聲自適應(yīng)邊緣閾值f(·)定義為與最大值和最小值之間的噪聲方差量值成比例。
圖2是圖示了當(dāng)常量C＝1時(shí)的邊緣自適應(yīng)加權(quán)W(k，l，n)的特性的曲線圖。
圖3是圖示了當(dāng)常量C≠1(例如C＞1)時(shí)的邊緣自適應(yīng)加權(quán)W(k，l，n)的特性的曲線圖。
分別參考圖2和3，當(dāng)C＝1時(shí)，加權(quán)W(k，l，n)可以為1或者0；當(dāng)C大于1時(shí)，可以認(rèn)為加權(quán)函數(shù)W(k，l，n)隨著中心像素和外 圍像素之間的亮度差的增加而線性遞減。同樣，圖3中所示的值 和f(σn2)之間的線性函數(shù)(其表示方程式6的特性)在某些情況下可為單調(diào)遞減函數(shù)。
參考方程式4到6以及圖2和3，當(dāng)中心像素和外圍像素之間的差Δ等于或大于噪聲自適應(yīng)閾值f(σn2)時(shí)，加權(quán)W(k，l，n)變成0(零)，并因而在計(jì)算平均值和方差時(shí)排除對(duì)應(yīng)的外圍像素。當(dāng)使用加權(quán)W(k，l，n)估計(jì)局部平均值/方差時(shí)，在濾波操作中的下列自適應(yīng)特性是值得注意的在估計(jì)局部平均值時(shí)，不使用位于與邊緣/輪廓相對(duì)一側(cè)且與中心像素關(guān)系不密切的(例如，中心像素和外圍像素之間的差Δ大于噪聲自適應(yīng)邊緣閾值f(σn2)時(shí))像素；只使用與中心像素關(guān)系緊密(例如，像素和中心像素位于同一域中時(shí))的外圍像素，因此防止在域邊緣的輪廓上產(chǎn)生模糊效應(yīng)。因?yàn)槲挥谟蜻吘?輪廓上的具有較大Δ值的噪聲分量被排除在計(jì)算之外，因此位于域邊緣/輪廓上的噪聲分量在再現(xiàn)圖像中并不突出。
在方程式6中，域邊緣的輪廓不根據(jù)恒定閾值來(lái)判決，而是根據(jù)噪聲方差函數(shù)來(lái)估計(jì)。如果使用傳統(tǒng)的方法(例如其中噪聲自適應(yīng)邊緣閾值f(·)固定為某一常量)來(lái)判決邊緣的輪廓，那么當(dāng)閾值被設(shè)置得過小時(shí)，許多噪聲不能被去除，而當(dāng)閾值被設(shè)置得過大時(shí)，圖像的精細(xì)分量不能被保留。然而，根據(jù)本發(fā)明的目前公開的從數(shù)字?jǐn)?shù)據(jù)中去除噪聲的方法，由于邊緣閾值f(·)是通過(從噪聲方差)確定噪聲的有效范圍來(lái)自適應(yīng)地判決的，因此能在各種環(huán)境中獲得穩(wěn)定的結(jié)果。
通常，相對(duì)于實(shí)際圖像，噪聲方差估計(jì)算法具有誤差(差別)，并因此，如果估計(jì)的噪聲方差值或者標(biāo)準(zhǔn)偏差值被用作噪聲自適應(yīng)邊緣閾值f(·)，那么該閾值就設(shè)置得不合適了。然而，即使噪聲方差估計(jì)算法具有誤差，噪聲的相對(duì)值也可以精確地檢測(cè)到。因此，當(dāng)噪聲自適應(yīng)邊緣閾值f(·)的最小值和最大值根據(jù)本發(fā)明中的噪聲的相對(duì)值而被映射到函數(shù)上時(shí)，可以可靠地定義該閾值f(·)。
因此，根據(jù)本發(fā)明，通過使用給定部分的噪聲方差函數(shù)來(lái)定義噪聲自適應(yīng)邊緣閾值f(·)，并因此與直接利用噪聲方差值或標(biāo)準(zhǔn)偏差值來(lái)定義閾值的傳統(tǒng)方法相比，本發(fā)明可以更好地適應(yīng)噪聲方差估計(jì)算法的誤差。
圖4是圖示了根據(jù)本發(fā)明實(shí)施例的從數(shù)字運(yùn)動(dòng)畫面數(shù)據(jù)中去除噪聲的方法包含的步驟中所執(zhí)行的計(jì)算的輸入和輸出的方框圖。畫在每一塊中的符號(hào)通常代表這個(gè)塊的輸出，并且指向每個(gè)塊的箭頭通常表示輸入，用于計(jì)算該塊的輸出。
將參考圖4更詳細(xì)地描述構(gòu)成根據(jù)本發(fā)明實(shí)施例的從數(shù)字運(yùn)動(dòng)畫面數(shù)據(jù)中去除噪聲的方法的每一步驟。
參考圖4，根據(jù)本發(fā)明實(shí)施例的從數(shù)字運(yùn)動(dòng)畫面數(shù)據(jù)中去除噪聲的方法包含相對(duì)于噪聲降級(jí)(輸入)圖像的Y分量σyY(i，j，n)2，進(jìn)行噪聲方差σn(i，j，n)2的計(jì)算(410)；相對(duì)于噪聲降級(jí)(輸入)圖像的Y分量σyY(i，j，n)2，利用常量C而獲得邊緣自適應(yīng)加權(quán)W(k，l，n)，以確定將要被過濾的中心像素以及外圍像素是否處于同一域內(nèi)(420)；利用邊緣自適應(yīng)加權(quán)W(k，l，n)和yY(i，j，n)計(jì)算yY(i，j，n)(430)；利用W(k，l，n)、yY(i，j，n)和yY(i，j，n)計(jì)算方差σyY(i，j，n)2(440)；并且利用yY(i，j，n)、yY(i，j，n)、σn(i，j，n)2和σyY(i，j，n)2計(jì)算運(yùn)動(dòng)畫面的亮度分量Y的空間濾波值xY(i，j，n)(450)。
根據(jù)本發(fā)明另一實(shí)施例的從數(shù)字?jǐn)?shù)據(jù)中去除噪聲的方法是基于補(bǔ)償了全局運(yùn)動(dòng)的YCbCr彩色空間中的運(yùn)動(dòng)檢測(cè)和場(chǎng)景(變化)檢測(cè)的時(shí)間濾波操作，并且利用了空間補(bǔ)償后的幀(例如，3個(gè)幀)。下面將描述根據(jù)本發(fā)明實(shí)施例的方法檢測(cè)將被時(shí)間濾波的幀之間是否有場(chǎng)景變化，并且在濾波操作中考慮該場(chǎng)景(變化)的檢測(cè)結(jié)果；估計(jì)幀之間的全局運(yùn)動(dòng)；沿著全局運(yùn)動(dòng)的軌跡檢測(cè)像素的運(yùn)動(dòng)；然后，對(duì)沒有幀間場(chǎng)景變化的幀沿著軌跡全局運(yùn)動(dòng)的軌跡執(zhí)行基于運(yùn)動(dòng)檢測(cè)的時(shí)間濾波。
在下面關(guān)于在YCbCr彩色空間中進(jìn)行的運(yùn)動(dòng)檢測(cè)和時(shí)間濾波的描述中，假設(shè)先前已執(zhí)行了場(chǎng)景(變化)檢測(cè)和全局運(yùn)動(dòng)估計(jì)將解釋自適應(yīng)于噪聲能量的YCbCr彩色空間中的運(yùn)動(dòng)檢測(cè)。在傳統(tǒng)的運(yùn)動(dòng)檢測(cè)算法中，確定由于像素運(yùn)動(dòng)引起的像素間的亮度/彩色差值的閾值是固定的，與噪聲的數(shù)量無(wú)關(guān)。因此，如果閾值是固定的，那么當(dāng)噪聲數(shù)量較小時(shí)，閾值就具有太大的值，并且因此產(chǎn)生假象。相反的，當(dāng)噪聲數(shù)量較大時(shí)，閾值就變得過小了，并因而噪聲不能有效地去除。
因此，在根據(jù)本發(fā)明的從數(shù)字?jǐn)?shù)據(jù)中去除噪聲的方法中，在時(shí)間域上估計(jì)噪聲的數(shù)量，并且根據(jù)噪聲的能量而自適應(yīng)地改變用于檢測(cè)運(yùn)動(dòng)的亮度加權(quán)和彩色加權(quán)。
假設(shè)將要被過濾的當(dāng)前幀的中心像素的亮度分量(Y)是xY(i，j，n)，并且相對(duì)于全局運(yùn)動(dòng)估計(jì)而估計(jì)的前一幀或后一幀的運(yùn)動(dòng)向量分別用垂直和水平分量mv和mh表示，在時(shí)間域內(nèi)的噪聲的相對(duì)值可以通過與前一幀作比較而計(jì)算得出并且還可以通過下面的方程式7計(jì)算得出VarnT=1ΣNijΣi,jNij×g[|xY(i,j,n)-xY(i-mv,j-mh,n-1)|]---(7)]]>在此，g[·]是單調(diào)遞增函數(shù)，并且當(dāng)g[|xY(i，j，n)-xY(i-mv，j-mh，n-1)|]大于閾值nT時(shí)，Nij的值為1，而當(dāng)上述值小于閾值nT時(shí)，Nij的值為0，其中nT可由本領(lǐng)域的技術(shù)人員任意設(shè)置。這樣，方程式7用于在假設(shè)無(wú)噪聲圖像中大部分運(yùn)動(dòng)的差值g[|xY(i，j，n)-xY(i-mv，j-mh，n-1)|]大于閾值nT的情況下計(jì)算能量。
用于檢測(cè)圖像中亮度分量的運(yùn)動(dòng)的加權(quán)變成以下參考值，該參考值確定將要被過濾的當(dāng)前幀的中心像素和其他幀的對(duì)應(yīng)像素之間的運(yùn)動(dòng)是否在亮度域中產(chǎn)生。用于檢測(cè)亮度分量運(yùn)動(dòng)的加權(quán)與像素之間的亮度差成反比，并且當(dāng)像素之間的亮度差大于預(yù)定亮度運(yùn)動(dòng)閾值時(shí)，該加權(quán)的值為0。另外，亮度運(yùn)動(dòng)閾值由與確定亮度域中的運(yùn)動(dòng)的預(yù)定范圍內(nèi)的噪聲的量值成比例的函數(shù)來(lái)確定。
用于檢測(cè)圖像中彩色分量的運(yùn)動(dòng)的加權(quán)是以下參考值，參考值確定將要被過濾的當(dāng)前幀的中心像素與另一幀的對(duì)應(yīng)像素之間的運(yùn)動(dòng)是否在彩色域內(nèi)產(chǎn)生。當(dāng)像素之間的色差大于預(yù)定彩色運(yùn)動(dòng)閾值時(shí)，用于檢測(cè)彩色分量運(yùn)動(dòng)的加權(quán)的值為0。另外，彩色運(yùn)動(dòng)閾值由與確定彩色分量的運(yùn)動(dòng)的預(yù)定范圍內(nèi)的噪聲的量值成比例的函數(shù)來(lái)確定。
用于檢測(cè)亮度域中的運(yùn)動(dòng)的邊緣自適應(yīng)加權(quán)WI(i，j，k)可由下面的方程式8來(lái)確定
在此ΔI代表由像素運(yùn)動(dòng)引起的亮度差，并且ΔI＝g[|xY(i，j，n)-xY(i-mv，j-mh，n-k)|]；g(·)是單調(diào)遞增函數(shù)，例如線性函數(shù)、指數(shù)函數(shù)、或?qū)?shù)函數(shù)；CI是大于1的常數(shù)；并且亮度閾值fI(·)是單調(diào)遞增函數(shù)。在方程式8中，當(dāng)亮度域內(nèi)自適應(yīng)運(yùn)動(dòng)檢測(cè)加權(quán)WI(i，j，k)的值為0時(shí)，意味著已檢測(cè)到對(duì)應(yīng)像素的亮度分量Y的運(yùn)動(dòng)。
另一方面，用于檢測(cè)彩色域上的運(yùn)動(dòng)的加權(quán)WC(i，j，k)可由下面的方程式9來(lái)表示 在此，ΔC代表由像素運(yùn)動(dòng)引起的色差，并且可計(jì)算為ΔC＝g[|xCb(i，j，n)-xCb(i-mv，j-mh，n-k)|+|xCr(i，j，n)-xCr(i-mv，j-mh，n-k)|]；g(·)是單調(diào)遞增函數(shù)，例如線性函數(shù)、指數(shù)函數(shù)、或?qū)?shù)函數(shù)；CC是大于1的常數(shù)；并且彩色閾值fC(·)是單調(diào)遞增函數(shù)。在方程式9中，當(dāng)彩色域中的自適應(yīng)運(yùn)動(dòng)檢測(cè)加權(quán)WC(i，j，k)的值為0時(shí)，意味著已檢測(cè)到對(duì)應(yīng)像素的彩色分量Cb和Cr的運(yùn)動(dòng)。
方程式8和9中的加權(quán)函數(shù)具有與圖2所示波形基本上相同的形狀，并且運(yùn)動(dòng)檢測(cè)算法也適應(yīng)于噪聲能量，象空間濾波操作中的輪廓檢測(cè)一樣。并且，根據(jù)傳統(tǒng)方法，當(dāng)利用RGB向量特性來(lái)檢測(cè)彩色分量之間的差時(shí)，應(yīng)執(zhí)行向量之間的內(nèi)積計(jì)算(inner product calculation)和分?jǐn)?shù)計(jì)算(fractioncalculation)。然而，本發(fā)明的算法可僅用ΔC來(lái)表示色差。并且，方程式9中ΔC的值可以根據(jù)色差而線性變化，從而使彩色檢測(cè)閾值易于設(shè)置。
現(xiàn)在將對(duì)基于補(bǔ)償了全局運(yùn)動(dòng)的YCbCr彩色空間中的運(yùn)動(dòng)檢測(cè)和場(chǎng)景(變化)檢測(cè)的時(shí)間濾波進(jìn)行描述。在傳統(tǒng)時(shí)間濾波中，在大部分的情況下，亮度分量被過濾。當(dāng)噪聲數(shù)量不大時(shí)，傳統(tǒng)的方法是很有效的；但是，當(dāng)噪聲數(shù)量大并且例如色斑的噪聲混雜在彩色域中時(shí)，去除噪聲的性能大大地降低。
在本發(fā)明中，同時(shí)基于上述場(chǎng)景變化檢測(cè)和運(yùn)動(dòng)檢測(cè)算法，對(duì)YCbCr彩空間進(jìn)行過濾。
x^Y(i,j,n)=1ZYΣkWS(k)WI(i,j,k)WC(i,j,k)xY(i-mvk,j-mhk,k)---(10)]]>
x^Cb(i,j,n)=1ZCbΣkWS(k)WI(i,j,k)WC(i,j,k)xCb(i-mvk,j-mhk,k)---(11)]]>x^Cr(i,j,n)=1ZCrΣkWS(k)WI(i,j,k)WC(i,j,k)xCr(i-mvk,j-mhk,k)----(12)]]>在此，(·)是時(shí)間濾波的濾波結(jié)果，而z是用于標(biāo)準(zhǔn)化的常數(shù)。并且，mvk和mhk是第n幀和第k幀之間的全局運(yùn)動(dòng)向量。在方程式10中，WS(k)是用于過濾沒有場(chǎng)景變化的范圍內(nèi)的幀的加權(quán)，而WI(i，j，k)和WC(i，j，k)是由方程式8和方程式9限定的運(yùn)動(dòng)檢測(cè)加權(quán)。
用于檢測(cè)亮度分量的運(yùn)動(dòng)的加權(quán)WI(i，j，k)確定將要被過濾的一幀的像素與另一幀(前一幀或后一幀)的像素之間是否產(chǎn)生亮度分量運(yùn)動(dòng)。加權(quán)WI(i，j，k)與兩個(gè)像素之間的亮度差成反比，并且當(dāng)兩個(gè)像素之間的亮度差大于亮度閾值時(shí)，該加權(quán)的值為0。
亮度閾值由在預(yù)定范圍內(nèi)與時(shí)間域內(nèi)的噪聲量值成比例的函數(shù)確定，利用其可確定由亮度差表示的運(yùn)動(dòng)。
用于檢測(cè)彩色分量的運(yùn)動(dòng)的加權(quán)WC(i，j，k)確定將要被過濾的當(dāng)前幀的像素與前一幀或后一幀的像素之間是否產(chǎn)生彩色分量運(yùn)動(dòng)。加權(quán)WC(i，j，k)與兩個(gè)像素之間的色差成反比，并且當(dāng)兩個(gè)像素之間的色差大于彩色閾值時(shí)，該加權(quán)的值為0。
彩色閾值由在預(yù)定范圍內(nèi)與時(shí)間域上的噪聲量值成比例的函數(shù)確定，利用其可確定由亮度差表示的運(yùn)動(dòng)。
如果在濾波載體(support)的某一幀檢測(cè)到場(chǎng)景變化，那么包含場(chǎng)景變化的這幀之后的幀將被排除在濾波操作之外。另外，如果在該幀的某一像素檢測(cè)到運(yùn)動(dòng)，那么接下來(lái)的幀中的相同位置上的像素將被排除在濾波操作之外。并且，在某些情況中，方程式10至12中不可使用WS(k)和全局運(yùn)動(dòng)向量，并且不可使用WI和WC中的一個(gè)。
圖5是圖示了根據(jù)本發(fā)明另一實(shí)施例的從數(shù)字運(yùn)動(dòng)畫面數(shù)據(jù)中去除噪聲的方法包含的步驟中所執(zhí)行的計(jì)算的輸入和輸出的示意圖。畫在每一塊中的符號(hào)通常表示該塊的輸出，而指向每一塊的一個(gè)或多個(gè)箭頭通常表示用來(lái)計(jì)算該塊的輸出的輸入。
參考圖5，根據(jù)本發(fā)明另一實(shí)施例的從數(shù)字運(yùn)動(dòng)畫面數(shù)據(jù)中去除噪聲的方法包括利用利用xY(i，j，n)確定的預(yù)定的參考值Nij來(lái)估計(jì)時(shí)間域內(nèi)噪聲的相對(duì)能量VarnT、全局運(yùn)動(dòng)估計(jì)向量分量mv和mh、以及閾值nT(未示出)，其中xY(i，j，n)是對(duì)中心像素的亮度分量Y進(jìn)行(上述)空間濾波的結(jié)果，而閾值nT可由本領(lǐng)域技術(shù)人員根據(jù)運(yùn)動(dòng)畫面中的噪聲量來(lái)設(shè)置(510)；利用VarnT、xY(i，j，n)、mv和mh、以及預(yù)定常數(shù)CI來(lái)自適應(yīng)地轉(zhuǎn)變亮度分量的加權(quán)WI(i，j，k)(520)；利用通過對(duì)中心像素的彩色分量Cb和Cr進(jìn)行空間濾波所計(jì)算的xCb(i，j，n)和xCr(i，j，n)、VarnT、mv和mh、以及預(yù)定常數(shù)CC來(lái)自適應(yīng)地轉(zhuǎn)變彩色分量的加權(quán)WC(i，j，k)(530)；并且利用xY(i，j，n)、xCb(i，j，n)、xCr(i，j，n)、WC(i，j，k)、WI(i，j，k)、mv和mh、以及用于對(duì)沒有檢測(cè)到場(chǎng)景變化的范圍(序列)中的幀進(jìn)行過濾的加權(quán)WS(k)來(lái)執(zhí)行補(bǔ)償了全局運(yùn)動(dòng)的時(shí)間濾波操作，該操作獲得了數(shù)據(jù)Y(i，j，n)、Cb(i，j，n)、和Cr(i，j，n)。
雖然本發(fā)明的空間濾波或時(shí)間濾波可單獨(dú)用來(lái)去除噪聲，但是當(dāng)先進(jìn)行空間濾波操作，然后對(duì)空間濾波的結(jié)果數(shù)據(jù)應(yīng)用時(shí)間濾波操作的時(shí)候，能獲得非常好的噪聲去除效果。根據(jù)本發(fā)明優(yōu)選實(shí)施例的從數(shù)字運(yùn)動(dòng)畫面數(shù)據(jù)中去除噪聲的方法順序地采用了空間濾波操作和時(shí)間濾波操作。
根據(jù)本發(fā)明的從數(shù)字運(yùn)動(dòng)畫面數(shù)據(jù)中去除噪聲的方法，可以降低在時(shí)間濾波操作中使用的幀數(shù)，并且可更容易地執(zhí)行運(yùn)動(dòng)檢測(cè)，并因而可將該方法直接應(yīng)用于諸如CCD和CMOS的各種畫面?zhèn)鞲衅?，以便獲得高清晰度的視頻圖像。特別是，本發(fā)明的方法可以用在用于改善壓縮算法中的圖像質(zhì)量的預(yù)處理和后處理中，以提高圖像質(zhì)量和數(shù)據(jù)壓縮率。
雖然已經(jīng)參考本發(fā)明的示范實(shí)施例而具體示出和描述了本發(fā)明，但是本領(lǐng)域普通技術(shù)人員應(yīng)理解在不脫離以下權(quán)利要求所限定的本發(fā)明的精神和范圍的情況下，可在形式上和細(xì)節(jié)上作出各種更改。
本申請(qǐng)要求于2003年12月11日向韓國(guó)知識(shí)產(chǎn)權(quán)局提交的韓國(guó)專利申請(qǐng)第2003-90032號(hào)的優(yōu)先權(quán)，并通過引用而將其公開全部合并在這里。
權(quán)利要求
1.一種從輸入圖像的數(shù)字運(yùn)動(dòng)畫面數(shù)據(jù)中去除噪聲的方法，其中包含在數(shù)字運(yùn)動(dòng)畫面數(shù)據(jù)中的噪聲是通過空間濾波操作去除的，該方法包含對(duì)輸入圖像的像素的彩色分量執(zhí)行第一空間濾波操作；并且對(duì)輸入圖像的像素的亮度分量執(zhí)行第二空間濾波操作；其中在第二空間濾波操作中使用噪聲自適應(yīng)邊緣閾值。
2.如權(quán)利要求1所述的方法，進(jìn)一步包含在圖像中保留邊緣，其中保留邊緣的步驟包含利用噪聲邊緣自適應(yīng)閾值，而計(jì)算局部屏蔽中的像素的邊緣自適應(yīng)代表值；利用預(yù)定的噪聲自適應(yīng)加權(quán)估計(jì)圖像的發(fā)散值，該發(fā)散值通過利用噪聲自適應(yīng)邊緣閾值和邊緣自適應(yīng)代表值而產(chǎn)生；獲得邊緣自適應(yīng)代表值和輸入圖像之間的差值圖像；通過比較圖像的發(fā)散值和噪聲分量的發(fā)散值而計(jì)算加權(quán)；并且在差值圖像中，將大加權(quán)給予圖像的邊緣，而將小加權(quán)給予圖像的噪聲，并且將應(yīng)用了加權(quán)的差值圖像添加到邊緣自適應(yīng)代表值上。
3.如權(quán)利要求2所述的方法，其中該邊緣自適應(yīng)代表值是像素的平均值，并且該發(fā)散值是像素的方差和標(biāo)準(zhǔn)偏差之一。
4.如權(quán)利要求1所述的方法，其中執(zhí)行第一空間濾波操作的步驟包括計(jì)算像素的彩色分量的代表值，并且該局部屏蔽中的彩色分量Cb和Cr的代表值xCb(i，j，n)和xCr(i，j，n)滿足xCb(i,j,n)=12N+1Σk=i-Ni+NΣl=j-Nj+NyCb(k,l,n)]]>xCr(i,j,n)=12N+1Σk=i-Ni+NΣl=j-Nj+NyCr(k,l,n),]]>這里N是局部屏蔽的量值；i和j是像素的二維坐標(biāo)；n表示幀；yCb(k，l，n)是輸入圖像的Cb分量；而yCr(k，l，n)是輸入圖像的Cr分量。
5.如權(quán)利要求2所述的方法，其中每一像素的邊緣自適應(yīng)代表值滿足y‾Y(i,j,n)=1Σk=i-Ni+NΣl=j-Nj+N(k,l,n)Σk=i-Ni+NΣl=j-Nj+NW(k,l,n)yY(i+k,j+l,n),]]>其中N是局部屏蔽的量值；i和j是像素的二維坐標(biāo)；n表示一幀；yY(i，j，n)是輸入圖像的亮度分量；并且其中W(k，l，n)是用于確定坐標(biāo)i和j的像素、以及局部屏蔽中的外圍像素是否在基于邊緣的同一域中的邊緣自適應(yīng)加權(quán)。
6.如權(quán)利要求5所述的方法，其中邊緣自適應(yīng)加權(quán)W(k，l，n)與位于坐標(biāo)(i，j)的中心像素和外圍像素之間的亮度差成反比，并且當(dāng)兩個(gè)像素之間的亮度差大于噪聲自適應(yīng)邊緣閾值時(shí)，加權(quán)W(k，l，n)等于0；并且其中該噪聲自適應(yīng)邊緣閾值是通過在預(yù)定范圍內(nèi)與噪聲量值成比例的函數(shù)確定的。
7.如權(quán)利要求5所述的方法，其中該邊緣自適應(yīng)加權(quán)W(k，l，n)滿足 其中，Δ表示位于坐標(biāo)(i，j)的像素和外圍像素之間的亮度差，并且滿足Δ＝g(|yY(i，j，n)-yY(i+k，j+l，n)|)；C是等于1或者大于1的常量；g(·)是單調(diào)遞增函數(shù)；并且噪聲自適應(yīng)邊緣閾值f(·)是單調(diào)遞增函數(shù)。
8.如權(quán)利要求2或權(quán)利要求7所述的方法，其中所估計(jì)圖像的發(fā)散值滿足σyY(i,j,n)2=1Σk=i-Ni+NΣl=j-Nj+NW(k,l,n)Σk=i-Ni+NΣl=j-Nj+NW(k,l,n)[yY(i+k,j+l,n)-y‾Y(i,j,n)]2,]]>其中N表示局部屏蔽的量值；i和j表示像素的二維坐標(biāo)；n表示一幀；σyY(i，j，n)2是對(duì)于yY(i，j，n)應(yīng)用了邊緣自適應(yīng)加權(quán)W(k，l，n)的的方差；W(k，l，n)是邊緣自適應(yīng)加權(quán)；并且yY(i，j，n)是邊緣自適應(yīng)代表值。
9.如權(quán)利要求2所述的方法，其中該差值圖像滿足yY(i，j，n)-yY(i，j，n)。
10.如權(quán)利要求2所述的方法，其中該加權(quán)滿足σyY(i,j,n)2-σn(i,j,n)2σyY(i,j,n)2.]]>
11.如權(quán)利要求2所述的方法，其中將加權(quán)給予差值圖像的步驟滿足σyY(i,j,n)2-σn(i,j,n)2σyY(i,j,n)2(yY(i,j,n)-y‾Y(i,j,n)),]]>并且將差值圖像添加到邊緣自適應(yīng)代表值的步驟滿足y‾Y(i,j,n)+σyY(i,j,n)2-σn(i,j,n)2σyY(i,j,n)2(yY(i,j,n)-y‾Y(i,j,n)).]]>
12.一種從數(shù)字運(yùn)動(dòng)畫面數(shù)據(jù)中去除噪聲的方法，該方法包含對(duì)輸入圖像中的像素的亮度分量Y執(zhí)行第一空間濾波操作；對(duì)輸入圖像中的像素的彩色分量Cb和Cr執(zhí)行第二空間濾波操作；并然后對(duì)空間濾波操作的各結(jié)果值xY(i，j，n)、xCb(i，j，n)和xCr(i，j，n)執(zhí)行時(shí)間濾波操作。
13.如權(quán)利要求12所述的方法，進(jìn)一步包含檢測(cè)各幀間的場(chǎng)景變化；估計(jì)各幀間的全局運(yùn)動(dòng)；沿著每個(gè)像素的全局運(yùn)動(dòng)軌跡而估計(jì)時(shí)間上相鄰幀之間的噪聲的相對(duì)值VarnT；計(jì)算用于檢測(cè)圖像中每個(gè)像素的亮度分量的運(yùn)動(dòng)的第一加權(quán)(WI(i，j，k))；并且計(jì)算用于檢測(cè)圖像中每個(gè)像素的彩色分量的運(yùn)動(dòng)的第二加權(quán)(WC(i，j，k))。
14.如權(quán)利要求13所述的方法，其中噪聲的相對(duì)值VarnT滿足VarnT=1ΣNijΣi,jNij×g[|xY(i,j,n)-xY(i-mv,j-mh,n-1)|],]]>這里，i和j是二維坐標(biāo)；n表示一個(gè)幀；mv和mh是全局運(yùn)動(dòng)向量分量；g[·]是單調(diào)遞增函數(shù)；當(dāng)g[|xY(i，j，n)-xY(i-mv，j-mh，n-1)|]的值大于閾值nT時(shí)，Nij的值等于1，并且當(dāng)g的值小于閾值nT時(shí)，Nij的值等于0。
15.如權(quán)利要求13所述的方法，其中用于檢測(cè)圖像中每個(gè)像素的亮度分量的運(yùn)動(dòng)的加權(quán)WI(i，j，k)滿足 并且用于檢測(cè)每個(gè)像素的彩色分量的運(yùn)動(dòng)的加權(quán)WC(i，j，k)滿足 這里，ΔI＝g[|xY(i，j，n)-xY(i-mv，j-mh，n-k)|]，ΔC＝g[|xCb(i，j，n)-xCb(i-mx，j-mh，n-k)|+| xCr(i，j，n)-xCr(i-mv，j-mh，n-k)|]，g(·)是任意的單調(diào)遞增函數(shù)；CI和CC是大于1的常量；并且亮度閾值fI(·)和色閾值fC(·)的每一個(gè)是單調(diào)遞增函數(shù)。
16.如權(quán)利要求12所述的方法，進(jìn)一步包含根據(jù)補(bǔ)償了全局運(yùn)動(dòng)的運(yùn)動(dòng)檢測(cè)并利用噪聲的相對(duì)值、用于檢測(cè)圖像中亮度分量的運(yùn)動(dòng)的加權(quán)、用于檢測(cè)圖像中彩色分量的運(yùn)動(dòng)的加權(quán)、以及用于標(biāo)準(zhǔn)化的常量，對(duì)不包括場(chǎng)景變化的幀序列內(nèi)的幀執(zhí)行時(shí)間濾波操作；其中，用于檢測(cè)亮度分量運(yùn)動(dòng)的加權(quán)與像素之間的亮度差成反比，并且當(dāng)亮度差大于預(yù)定的亮度運(yùn)動(dòng)閾值時(shí)，該加權(quán)等于0，該預(yù)定的亮度運(yùn)動(dòng)閾值是通過在預(yù)定范圍內(nèi)與噪聲量值成比例的函數(shù)確定的；其中，當(dāng)像素間的色差大于預(yù)定的彩色運(yùn)動(dòng)閾值時(shí)，用于檢測(cè)彩色分量運(yùn)動(dòng)的加權(quán)等于0，該預(yù)定的彩色運(yùn)動(dòng)閾值是通過在預(yù)定范圍內(nèi)與噪聲量值成比例的函數(shù)確定的。
17.如權(quán)利要求16所述的方法，其中執(zhí)行時(shí)間濾波操作的步驟滿足x^Y(i,j,n)=1ZYΣkWS(k)WI(i,j,k)WC(i,j,k)xY(i-mvk,j-mhk,k)]]>x^Cb(i,j,n)=1ZCbΣkWS(k)WI(i,j,k)WC(i,j,k)xCb(i-mvk,j-mhk,k)]]>x^Cr(i,j,n)=1ZCrΣkWS(k)WI(i,j,k)WC(i,j,k)xCr(i-mvk,j-mhk,k),]]>這里， 是時(shí)間濾波的結(jié)果；WS(k)是用于對(duì)不包含場(chǎng)景變化的幀序列內(nèi)的幀進(jìn)行過濾的加權(quán)；mvk和mhk是第n幀和第k幀之間的全局運(yùn)動(dòng)向量分量；并且z是用于標(biāo)準(zhǔn)化的常量。
18.一種從數(shù)字運(yùn)動(dòng)畫面數(shù)據(jù)中去除噪聲的方法，該方法包含對(duì)每一像素的亮度分量和彩色分量執(zhí)行第一空間濾波操作；對(duì)每一像素的彩色分量執(zhí)行第二空間濾波操作，包括計(jì)算每個(gè)像素的代表值；并且對(duì)第一和第二空間濾波的結(jié)果數(shù)據(jù)執(zhí)行基于運(yùn)動(dòng)檢測(cè)的時(shí)間濾波操作。
19.如權(quán)利要求18所述的方法，其中執(zhí)行時(shí)間濾波的步驟包括通過檢測(cè)沿著每個(gè)像素的全局運(yùn)動(dòng)軌跡的運(yùn)動(dòng)而估計(jì)噪聲的相對(duì)值；計(jì)算用于檢測(cè)圖像中每個(gè)像素的亮度分量的運(yùn)動(dòng)的加權(quán)；計(jì)算用于檢測(cè)圖像中每個(gè)像素的彩色分量的運(yùn)動(dòng)的加權(quán)；并且執(zhí)行用于對(duì)不包含場(chǎng)景變化的幀序列內(nèi)的幀進(jìn)行過濾的時(shí)間濾波操作，補(bǔ)償全局運(yùn)動(dòng)，使用噪聲的相對(duì)值，使用用于檢測(cè)圖像中的亮度分量運(yùn)動(dòng)的加權(quán)，并使用用于檢測(cè)圖像中彩色分量運(yùn)動(dòng)的加權(quán)。
20.如權(quán)利要求18所述的方法，進(jìn)一步包含通過如下步驟保留圖像中的邊緣通過利用預(yù)定的噪聲自適應(yīng)邊緣閾值來(lái)計(jì)算每一個(gè)像素的邊緣自適應(yīng)代表值；通過利用利用噪聲自適應(yīng)邊緣閾值產(chǎn)生的預(yù)定的噪聲自適應(yīng)加權(quán)和邊緣自適應(yīng)代表值來(lái)估計(jì)圖像的發(fā)散值；獲得差值圖像、邊緣自適應(yīng)代表值、和輸入圖像；通過比較圖像的發(fā)散值和噪聲分量的發(fā)散值來(lái)計(jì)算加權(quán)，并將該加權(quán)應(yīng)用于該差值圖像；并且將應(yīng)用了加權(quán)的差值圖像添加到邊緣自適應(yīng)代表值中，其中該代表值是平均值，而發(fā)散值是方差或標(biāo)準(zhǔn)偏差。
全文摘要
提供了一種方法，用于從數(shù)字運(yùn)動(dòng)畫面數(shù)據(jù)中去除噪聲，降低在時(shí)間濾波中使用的幀數(shù)并且可以更容易地檢測(cè)各幀間的運(yùn)動(dòng)。該方法包含空間濾波方法、時(shí)間濾波方法、以及順序執(zhí)行空間濾波和時(shí)間濾波的方法。該空間濾波方法在YCbCr彩色空間內(nèi)應(yīng)用空間濾波，在空間域中保留圖像中的輪廓/邊緣，并且產(chǎn)生自適應(yīng)于噪聲的用于在時(shí)間濾波操作中區(qū)分輪廓/邊緣的加權(quán)。該時(shí)間濾波方法應(yīng)用基于補(bǔ)償了全局運(yùn)動(dòng)的運(yùn)動(dòng)檢測(cè)和場(chǎng)景變化檢測(cè)的時(shí)間濾波，該運(yùn)動(dòng)檢測(cè)考慮到在時(shí)間濾波操作中的各幀之間比較的像素的亮度差和色差、以及在時(shí)間濾波操作中的自適應(yīng)于噪聲的用于檢測(cè)運(yùn)動(dòng)的加權(quán)。最好首先執(zhí)行空間濾波方法，并利用空間濾波的結(jié)果執(zhí)行時(shí)間濾波方法。
文檔編號(hào)H04N9/64GK1665298SQ20041010375
公開日2005年9月7日 申請(qǐng)日期2004年12月13日 優(yōu)先權(quán)日2003年12月11日
發(fā)明者姜文基, 樸成哲 申請(qǐng)人:三星電子株式會(huì)社, 學(xué)校法人延世大學(xué)校