專利名稱：視頻信號(hào)的時(shí)間噪聲分析的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及確定視頻信號(hào)的噪聲特性。
背景技術(shù)：
在試圖從圖像，特別是視頻中過濾出隨機(jī)噪聲時(shí)，知道噪聲表現(xiàn)的特性是有利的。知道噪聲表現(xiàn)的特性允許系統(tǒng)在使被處理的圖像中的不想要的偽像最小化時(shí)更為有效地去除噪聲。噪聲可以其幅度和出現(xiàn)的幅度范圍的直方圖為特征。
經(jīng)常使用的一種表示時(shí)間噪聲的特性的方法是，減去連續(xù)圖像中的空間上共同定位的像素(下文中稱為pel)以形成差值圖。然而，這種噪聲的估計(jì)值很大程度上受到連續(xù)圖像之間的運(yùn)動(dòng)物體的影響，并且產(chǎn)生對(duì)任何后續(xù)處理有不利影響的不可靠的結(jié)果，后續(xù)處理取決于這種噪聲的測(cè)量。噪聲和運(yùn)動(dòng)的混淆是由它們共用由整個(gè)信號(hào)占據(jù)的三維頻譜空間引起的。改進(jìn)可受到噪聲估計(jì)測(cè)量方法的影響，該方法在試圖減少噪聲的同時(shí)，避開最可能由運(yùn)動(dòng)引起的信號(hào)頻譜分量占據(jù)的頻譜的區(qū)域。

發(fā)明內(nèi)容
本發(fā)明的一個(gè)目的是至少改進(jìn)現(xiàn)有技術(shù)中的上述缺點(diǎn)。
根據(jù)本發(fā)明的第一方面，提供了一種確定視頻信號(hào)的噪聲特性的方法，該方法包括以下步驟形成連續(xù)幀的像素之間的亮度和/或色度差的矩陣；確定像素的亮度和/或色度差與多個(gè)相鄰像素的亮度和/或色度差的平均值的絕對(duì)差值；和，計(jì)算差值在預(yù)定范圍內(nèi)的出現(xiàn)次數(shù)。
適當(dāng)?shù)?，絕對(duì)差值是差值的均值的平方與差值的均值的平方的正根這二者之一。
適當(dāng)?shù)?，多個(gè)相鄰像素包括八個(gè)最直接相鄰的像素。
優(yōu)選地，計(jì)算差值在預(yù)定范圍內(nèi)的出現(xiàn)次數(shù)的步驟包括，在存儲(chǔ)器中的地址上存儲(chǔ)的差值出現(xiàn)在預(yù)定范圍內(nèi)的次數(shù)。
適當(dāng)?shù)?，該方法還包括，形成差值在預(yù)定范圍中的出現(xiàn)次數(shù)的直方圖。
優(yōu)選地，為了檢測(cè)像素是否在幀的邊緣上，該方法還包括幾個(gè)初始步驟從中心pel的亮度和/或色度值減去正被處理的中心pel周圍的每一個(gè)pel的亮度和/或色度值，以獲得亮度和/或色度值的差值；將亮度和/或色度值的差值相加以獲得和值；和，確定該和值是否超過閾值，如果不超過閾值，則執(zhí)行權(quán)利要求1的步驟，而如果超過閾值，則將差值歸類，以從中心像素的亮度和/或色度確定最小差值的預(yù)定大小的子集，并使用該子集作為相鄰像素。
適當(dāng)?shù)?，預(yù)定大小的子集包括四個(gè)亮度差。
根據(jù)本發(fā)明的第二方面，提供了一種被設(shè)置成確定視頻信號(hào)的噪聲特性的設(shè)備，該設(shè)備包括減法裝置，其被設(shè)置成形成連續(xù)幀的像素之間的亮度和/或色度差的矩陣；處理裝置，其被設(shè)置成確定像素的亮度和/或色度差和多個(gè)相鄰像素的亮度和/或色度差的平均值之間的絕對(duì)差值；和，計(jì)數(shù)裝置，其被設(shè)置成計(jì)算差值在預(yù)定范圍的出現(xiàn)次數(shù)。
適當(dāng)?shù)?，絕對(duì)差值是差值的均值的平方與差值的均值的平方的正根這二者之一。
適當(dāng)?shù)?，多個(gè)相鄰像素包括八個(gè)最直接相鄰的像素。
優(yōu)選地，計(jì)數(shù)裝置包括存儲(chǔ)器，存儲(chǔ)器被設(shè)置成在地址上存儲(chǔ)差值在預(yù)定范圍中的出現(xiàn)次數(shù)。
適當(dāng)?shù)?，該設(shè)備還包括繪制裝置，繪制裝置被設(shè)置成形成差值在預(yù)定范圍中出現(xiàn)次數(shù)的直方圖。
優(yōu)選地，為了檢測(cè)像素是否在幀的邊緣上，該設(shè)備還包括減法裝置，其被設(shè)置成從中心pel的亮度和/或色度值減去正被處理的中心pel周圍每一個(gè)pel的亮度和/或色度值，以獲得亮度和/或色度值的差值；加法裝置，其被設(shè)置成將亮度和/或色度值的差值相加以獲得和值；和，處理裝置，其被設(shè)置成確定該和值是否超過閾值，如果超過閾值，則將差值歸類以從中心像素的亮度和/或色度確定最小差值的預(yù)定大小的子集，并使用該子集作為相鄰相素。
適當(dāng)?shù)?，預(yù)定大小的子集包括四個(gè)亮度差。
根據(jù)本發(fā)明的第三方面，提供了一種計(jì)算機(jī)程序，其包括代碼裝置，該代碼裝置用于在程序在一個(gè)或多個(gè)計(jì)算機(jī)上運(yùn)行的時(shí)候執(zhí)行上述方法的所有步驟。


現(xiàn)將參照附圖以舉例方式對(duì)本發(fā)明進(jìn)行說明，在附圖中圖1是連續(xù)圖像的空間和時(shí)間域的奈奎斯特立方體；圖2是圖像次序的示意性表示；圖3是根據(jù)本發(fā)明的計(jì)算連續(xù)幀的像素之間的差值的方法的示意性表示；圖4是產(chǎn)生圖3的差值的直方圖的示意性表示；圖5是圖3的方法的示意性表示，增強(qiáng)位于幀的邊緣上或靠近圖像劇烈變化處的像素；圖6是根據(jù)本發(fā)明的確定噪聲特性的方法的流程圖；圖7是根據(jù)本發(fā)明的計(jì)算連續(xù)幀的像素之間的差值的方法的又一實(shí)施例的示意性表示；圖8和9是已在數(shù)字域中被采樣的模擬視頻信號(hào)的二維實(shí)例的圖示，便于理解本發(fā)明；圖10是采樣曲線上的噪聲的效果圖，便于理解本發(fā)明。
在這些附圖中，相同的附圖標(biāo)記表示相同的部分。
具體實(shí)施例方式
圖1將空間和時(shí)間頻率域表示為三維立方體。X和Y軸表示圖像內(nèi)的空間頻率維度，T表示連續(xù)圖像之間的時(shí)間頻率域。如圖1所示的奈奎斯特立方體表示完整的信號(hào)空間。區(qū)域1應(yīng)該包括來自圖像的大部分頻譜能量和基本圖像中的運(yùn)動(dòng)，同時(shí)仍包括一部分存在的白噪聲。
區(qū)域1表示通常由運(yùn)動(dòng)圖像信息占據(jù)的區(qū)域，因?yàn)樵搮^(qū)域一般具有較低的空間頻率，并在高時(shí)間頻率上的占據(jù)減少。區(qū)域2是位于高空間和低時(shí)間頻率處的截然不同的區(qū)域。區(qū)域3是出現(xiàn)高空間和高時(shí)間頻率的空間。一般說來，假設(shè)噪聲為“白色”的，也就是說，其在整個(gè)奈奎斯特立方體中均勻分布。
所以，與現(xiàn)有技術(shù)相比，可通過觀察視頻信號(hào)能量持續(xù)降低的頻譜區(qū)域，來獲得信號(hào)中存在的噪聲的更為可靠的估計(jì)。這出現(xiàn)在空間和時(shí)間維度中的高頻處，其中存在的信號(hào)能量的累加與噪聲更為相關(guān)，而不是存在的圖像和運(yùn)動(dòng)。
在視頻信道的拍攝和處理中，天然的和合成的處理均表示空間噪聲趨于“粉紅”，也就是說，朝向高頻衰減。然而，此衰減趨于恒定，并且高頻分量僅衰減到有限的程度。通過簡(jiǎn)單的比例因數(shù)的方式，直接對(duì)衰減進(jìn)行補(bǔ)償。值得注意的重要特征是，在區(qū)域3中一直有噪聲存在，并且有時(shí)有信號(hào)，從而噪聲占優(yōu)勢(shì)。
以下方法從圖1的高頻區(qū)域3表示圖像噪聲的特性。優(yōu)選地，不需要借助于執(zhí)行例如傅立葉變換的頻域方法所需要的大量計(jì)算和處理功率來完成噪聲線型。該方法還需要在任何時(shí)間僅存儲(chǔ)一幅圖像，使存儲(chǔ)需求和該存儲(chǔ)器的存取帶寬最小化。
噪聲矩陣計(jì)算參考圖2，視頻序列中的第n幅圖像被定義為Fn＝{fn(x，y)}。該圖像的差值矩陣Dn＝{dn(x，y)}由下式給出dn(x，y)＝fn(x，y)-fn-1(x，y)等式1即，當(dāng)前幀和先前的幀中的共同定位的像素之間的差值。
假設(shè)像素和它直接相鄰的周圍像素之間的差值代表噪聲，則絕對(duì)噪聲幅度矩陣An＝{an(x，y)}可由下式計(jì)算an(x,y)=|(Σl=-11Σm=-11dn(x+l,y+m)-9×dn(x,y))8|]]>等式2此等式將an(x，y)設(shè)置成等于該位置(x，y)處的pel相鄰的選定的矩陣中的9個(gè)pel之和與該pel的值的9倍之間的差值的均值的絕對(duì)值，其中被求和的是9個(gè)pel，但僅用8個(gè)來求平均值。該實(shí)例中使用9個(gè)pel的區(qū)域大小，但也可使用其它適當(dāng)?shù)木仃嚧笮　?br> 然而，也可使用其它可替代的測(cè)度來代替，例如，位置(x，y)處的pel的相鄰的選定的矩陣中8個(gè)pel中的每一個(gè)之間的差值的均值的平方，如等式3所示。等式4中的均值的平方的正根也是等效的替代方案。該實(shí)例中的矩陣大小為9個(gè)pel，但也可以是任何適當(dāng)?shù)闹怠?br> an(x,y)=[Σl=-11Σm=-11dn(x+l,y+m)-9×dn(x,y)8]2]]>等式3an(x,y)=[Σl=-11Σm=-11dn(x+l,y+m)-9×dn(x,y)8]2+]]>等式4圖3表示根據(jù)等式2的公式的操作。也可參考圖6，塊31表示幀n-1，并且塊32表示幀n。步驟67的第一階段是從塊32中的幀n中的那些采樣減去塊31中的幀n-1中的所有空間上共同定位的采樣，以提供塊33的新數(shù)據(jù)場(chǎng)。隨后將操作下的pel的差值332周圍的8個(gè)差值331相加并歸一化，并且從中心值減去它們的平均值，輸出該差值的絕對(duì)值34。應(yīng)注意，對(duì)于隔行掃描的圖像，使用來自相同場(chǎng)中相鄰直線的pel，而對(duì)于逐行掃描圖像，使用連續(xù)直線。這保證所有使用的采樣都取自相同的時(shí)刻，因此它們之間不會(huì)受到時(shí)間切變的影響。
差值分布的計(jì)算差值分布P(v)是直方圖，即，an的每一個(gè)可能值v出現(xiàn)在噪聲幅度矩陣An中的次數(shù)的計(jì)算。
P(v)=Σy=1YΣx=1X1|an(x,y)=v0|an(x,y)≠v]]>等式5其中X和Y是圖像的每個(gè)維度中的pel的數(shù)量。
應(yīng)注意，如果如等式1和2中的每個(gè)那樣處理色度信息，則在該進(jìn)一步下游的處理會(huì)分別作用于這些亮度和色度噪聲差值分布的假設(shè)下，將對(duì)那些結(jié)果累加單獨(dú)的差值分布。
在圖4中，依次使用圖3中的每一個(gè)差值34，對(duì)存儲(chǔ)器40編址；
在步驟68，將差值所指向的位置D_OUT處的存儲(chǔ)器的內(nèi)容加1，并寫回到相同的位置D_IN。假設(shè)對(duì)每一個(gè)圖像，在處理開始時(shí)，存儲(chǔ)器中的所有位置都被初始化為零。
在處理圖像結(jié)束時(shí)，在步驟69，存儲(chǔ)器包含差值出現(xiàn)的直方圖數(shù)據(jù)，該數(shù)據(jù)可用于提供高頻噪聲的估計(jì)值。該數(shù)據(jù)可以被讀取41，也可用于本文中沒有說明的其它算法和系統(tǒng)，例如，控制于2006年6月2日提交的該申請(qǐng)人的申請(qǐng)0610967.2中使用的降噪線型。
將會(huì)理解，所說明的方法分兩個(gè)階段工作。第一階段是時(shí)間域?yàn)V波。通過將一個(gè)圖像從下一圖像中減去，來獲得差值圖。
該方法的第二階段根據(jù)數(shù)字視頻的采樣規(guī)格和多數(shù)圖像的性質(zhì)中要求的有限帶寬，將運(yùn)動(dòng)和空間高頻區(qū)分開。
圖8和9示出了已經(jīng)被采樣到數(shù)字域中的模擬視頻的一些兩維的實(shí)例。實(shí)線表示最初的模擬電壓，而虛線顯示的是從一個(gè)pel到下一個(gè)(且僅為一個(gè))pel的兩點(diǎn)線性內(nèi)插。
由于采樣為數(shù)字式需要將帶寬限制在奈奎斯特率以下，所以可看出，對(duì)于許多點(diǎn)，這種粗略的內(nèi)插給出了對(duì)被檢查的采樣之間的pel的合理估計(jì)。
在對(duì)二維圖像執(zhí)行該實(shí)例時(shí)，使用來自操作下的pel的所有方向上的pel來形成估計(jì)值。這表明，來自任何相對(duì)方向的邊緣都對(duì)預(yù)測(cè)值起作用。這種二維平均值的計(jì)算可被認(rèn)為能夠產(chǎn)生三維網(wǎng)格或曲面，其中，使用對(duì)信號(hào)帶寬的基本限制來形成中心pel的估計(jì)值。
假設(shè)噪聲是相對(duì)于它們的期望值隨機(jī)移動(dòng)采樣值而進(jìn)入該處理的。圖10用圖形對(duì)此進(jìn)行了顯示。
假設(shè)從實(shí)際值減去期望值的操作給出噪聲的估計(jì)。該方法的限制可在圖8的圖形中看出。這里，邊緣的曲率導(dǎo)致在僅使用兩個(gè)點(diǎn)時(shí)發(fā)生內(nèi)插錯(cuò)誤。
兩種改進(jìn)估計(jì)的方法是進(jìn)行更好的內(nèi)差，可能使用在每個(gè)方向上都有一些抽頭的FIR濾波器或使用平均值處理中被丟棄的具有較大差值的采樣。
進(jìn)一步擴(kuò)展精確映射噪聲的一個(gè)缺點(diǎn)是，靠近圖像中的物體邊緣的pel趨于產(chǎn)生與平均信號(hào)的差值，該差值不與噪聲相關(guān)，而是與和邊緣位置有關(guān)的采樣的相位相關(guān)。
進(jìn)一步增強(qiáng)以改進(jìn)構(gòu)建的噪聲統(tǒng)計(jì)的精確度是通過檢測(cè)哪些像素屬于此類并減去它們，不是從周圍8個(gè)像素的平均值減去這些像素，而是從具有最接近的相應(yīng)亮度等級(jí)的pel的子集的平均值減去這些像素?？苫谀繕?biāo)區(qū)域內(nèi)的某種適當(dāng)?shù)慕y(tǒng)計(jì)測(cè)量，來決定使用哪種方法。
參考圖5和6，這可以被實(shí)現(xiàn)如下。在圖像51中，從中心pel 512的亮度值中減去52正被處理的pel 512周圍的八個(gè)pel中的每一個(gè)511的亮度值，步驟61。將這些值相加53，步驟62，并將和值的大小與閾值相比較54，步驟63，以產(chǎn)生二進(jìn)制決策，該二進(jìn)制決策是關(guān)于使用輸入到轉(zhuǎn)換器59的哪個(gè)方法?？墒褂每商娲惴▉砣〉迷撔畔?，例如，信號(hào)行為的測(cè)量。
如果相加的差值，或同樣有效的平方和，低于閾值，則選擇八個(gè)周圍的pel的亮度等級(jí)，步驟65，并從正被處理的pel的亮度等級(jí)減去56平均的55和轉(zhuǎn)換的59后的亮度等級(jí)，如前所述。如果超過閾值，則將差值歸類57，步驟64，以找到哪一個(gè)子集與中心pel 512的等級(jí)最接近匹配。隨后，從操作下的pel減去56四個(gè)或其它適當(dāng)數(shù)目的最接近的匹配的平均58和轉(zhuǎn)換59后的絕對(duì)亮度等級(jí)。
參考圖7，在對(duì)圖3和5中顯示的實(shí)施例的進(jìn)一步可選的增強(qiáng)是，選取差值pel場(chǎng)33，并向多維空間內(nèi)插濾波器35輸入相鄰pel 331的較大集合。該塊的輸出被輸入到減法器36，并被從操作下的pel 332中減去。
一種空間內(nèi)插濾波器35的適當(dāng)?shù)男问綄⑹嵌喑轭^FIR濾波器。
權(quán)利要求
1.一種確定視頻信號(hào)的噪聲特性的方法，包括以下步驟a.形成連續(xù)幀的像素之間的亮度差和/或色度差的矩陣；b.確定像素的亮度和/或色度差與多個(gè)相鄰像素的亮度和/或色度差的平均值之間的絕對(duì)差值；和c.計(jì)算差值在預(yù)定范圍的出現(xiàn)次數(shù)。
2.如權(quán)利要求1所述的方法，其中，所述絕對(duì)差值是所述差值的均值的平方與所述差值的均值的平方的正根這二者之一。
3.如權(quán)利要求1或2所述的方法，其中，所述多個(gè)相鄰像素包括八個(gè)最直接相鄰的像素。
4.如權(quán)利要求1所述的方法，其中，所述計(jì)算預(yù)定范圍的差值的出現(xiàn)次數(shù)的步驟包括，在存儲(chǔ)器中的地址上存儲(chǔ)所述差值在預(yù)定范圍內(nèi)的出現(xiàn)次數(shù)。
5.如權(quán)利要求4所述的方法，還包括，形成所述差值在所述預(yù)定范圍中的出現(xiàn)次數(shù)的直方圖。
6.如權(quán)利要求1所述的方法，為了檢測(cè)像素是否在幀的邊緣上，所述方法包括以下初始步驟d.從中心pel的亮度和/或色度值減去正被處理的中心pel周圍的每一個(gè)pel的亮度和/或色度值，以獲得亮度和/或色度值的差值，可選的是，獲得色度差。e.將所述亮度和/或色度值的差值相加以獲得和值；和f.確定所述和值是否超過閾值，如果不超過所述閾值，則執(zhí)行權(quán)利要求1中的步驟，如果超過所述閾值，則將所述差值歸類，以從所述中心像素的所述亮度和/或色度確定最小差值的預(yù)定大小的子集，并使用所述子集作為權(quán)利要求1的所述相鄰像素。
7.如權(quán)利要求6所述的方法，其中，所述預(yù)定大小的子集包括四個(gè)亮度差。
8.一種設(shè)備，其被設(shè)置成確定視頻信號(hào)的噪聲特性，所述設(shè)備包括a.減法裝置，其被設(shè)置成形成連續(xù)幀的像素之間的亮度差和/或色度差的矩陣；b.處理裝置，其被設(shè)置成確定像素的亮度差和/或色度差與多個(gè)相鄰像素的亮度差和/或色度差的平均值之間的絕對(duì)差值；和c.計(jì)數(shù)裝置，其被設(shè)置成計(jì)算所述差值在預(yù)定范圍的出現(xiàn)次數(shù)。
9.如權(quán)利要求8所述的設(shè)備，其中，所述絕對(duì)差值是所述差值的均值的平方與所述差值的均值的平方的正根這二者之一。
10.如權(quán)利要求8或9所述的設(shè)備，其中，所述多個(gè)相鄰像素包括八個(gè)最直接相鄰的像素。
11.如權(quán)利要求8所述的設(shè)備，其中，所述計(jì)數(shù)裝置包括存儲(chǔ)器，所述存儲(chǔ)器被設(shè)置成在地址上存儲(chǔ)所述差值在預(yù)定范圍內(nèi)的出現(xiàn)次數(shù)。
12.如權(quán)利要求11所述的設(shè)備，還包括繪制裝置，所述繪制裝置被設(shè)置成形成所述差值在所述預(yù)定范圍中的出現(xiàn)次數(shù)的直方圖。
13.如權(quán)利要求8所述的設(shè)備，其被設(shè)置成檢測(cè)像素是否在幀的邊緣上，所述設(shè)備還包括g.減法裝置，其被設(shè)置成從中心pel的亮度和/或色度值減去正被處理的所述中心pel周圍的每一個(gè)pel的亮度和/或色度值，以獲得亮度和/或色度值的差值；h.加法裝置，其被設(shè)置成將所述亮度和/或色度值的差值相加，以獲得和值；和i.處理裝置，其被設(shè)置成確定所述和值是否超過閾值，如果超過所述閾值，則將所述差值歸類，以從所述中心像素的亮度和/或色度確定最小差的預(yù)定大小的子集，并使用所述子集作為所述相鄰像素。
14.如權(quán)利要求13所述的設(shè)備，其中，所述預(yù)定大小的子集包括四個(gè)亮度差。
15.一種計(jì)算機(jī)程序，包括代碼裝置，所述代碼裝置用于在所述程序在一個(gè)或多個(gè)計(jì)算機(jī)上運(yùn)行的時(shí)候執(zhí)行權(quán)利要求1至7中的任一個(gè)的方法的所有步驟。
全文摘要
一種確定視頻信號(hào)的噪聲特性的方法，包括形成連續(xù)幀的像素之間的亮度差和/或色度差的矩陣33，和確定像素的亮度差和/或色度差與多個(gè)相鄰像素的亮度差和/或色度差的平均值之間的絕對(duì)差值34。計(jì)算差值在預(yù)定范圍內(nèi)的出現(xiàn)次數(shù)，并形成每一個(gè)范圍中的出現(xiàn)次數(shù)的直方圖。
文檔編號(hào)H04N9/64GK101087436SQ20071010894
公開日2007年12月12日 申請(qǐng)日期2007年6月7日 優(yōu)先權(quán)日2006年6月7日
發(fā)明者A·米切爾, A·R·哈蓋特 申請(qǐng)人:泰德廣播電視公司