專利名稱：量化視頻幀中場間運動的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種量化視頻幀中場間運動的方法。
背景技術(shù)：
繊于用于顯示它們的方法，視頻幀眘,被分類為逐行掃描(progress^)或隔行掃描(interlaced).在逐行掃描幀中，構(gòu)成幀的水平像素行從上至下被逐行顯示。相比而言，隔行掃描幀通過輪流顯示兩個場來創(chuàng)建， 一個場(稱為前場)包含幀的頂行和每隔一后續(xù)(eveiy second subsequent)行，并且另一個場(后場)包含從頂部數(shù)的第二行和每隔一后續(xù)行，從而包括了幀的底行。隔行掃描幀依賴于這樣的事實所顯示像素的第一場需要時間從顯示設(shè)備衰退，在此時間內(nèi)第二場被顯示，以產(chǎn)生單個幀包含所有像素行的錯覺。
隔行掃描視頻幀的場被JI(W地捕獲，這意味著在要捕獲的第一場與要捕獲的第二場之間有小的時間延遲。包含在源視頻幀中的信息在這個時間間隔內(nèi)可能發(fā)生改變，并且由于這個原因，以正確的順序顯示視頻幀的場很重要，如以下將要解釋的。
依賴于構(gòu)成該幀的哪一個場將首先被顯示，隔行掃描視頻幀能夠被描述為"前場優(yōu)先"或"后場優(yōu)先"。由于在顯示第一場與顯示第二場之間有小的時間延遲，所以預(yù)期被第二個顯示的場可包含與包含在預(yù)期被首先顯示的場中的信息不同的信息，例如如果在顯示第一場和第:^湯之間的延遲中幀中發(fā)生了移動。這種在預(yù)期被首先顯示的場與預(yù)期被第二個顯示的場之間的差異被稱為"場間運動"。如果包含場間運動的場以不正確柳,顯示，則在顯示的幀中可能出現(xiàn)失真。例如在隔行掃描顯示器中，由于信息早于其預(yù)期出現(xiàn)，視頻通常會變得顫抖(juddeiy)或抖動。在逐行掃描顯示器中，場的顛倒不會導(dǎo)致這樣顫抖或抖動的視頻，因為場被組合在一起并且以每秒N幀而不是每秒2N場的速度被顯示，但是不考慮場的順序，場間運動將導(dǎo)致給出"梳狀"外觀的梳狀偽像(combing artefact),也就是其中出現(xiàn)線的行(rows of lines)的幀的區(qū)域。
許多視頻應(yīng)用(比如反向電視電影處理(inverse telecine)、隔行掃描到逐行掃描轉(zhuǎn)換以及場優(yōu)勢檢測(field dominance detection))需要將視頻幀分類為隔行掃描或逐行掃描。視頻幀中場間運動的量可用來指示視頻幀是否為逐行掃描還是隔行掃描。存在執(zhí)行這一隔行掃描/逐行掃描分類的不同方法，但是它們都沒有提供對不同圖像分辨率、類型和品質(zhì)保持一致的唯一度量。

發(fā)明內(nèi)容
依據(jù)本發(fā)明的第一方面，提供了一種量化視頻幀中場間運動的方法，該方法包含根據(jù)視頻幀生成前場和后場，對這樣生成的前場和后場進行插值(interpolate)以產(chǎn)生插值的前場和后場圖像以及將所^J菌值的前場和后場圖像相互比較以確定表示所述前場和后場之間存在的場間運動的量的值。
所述插值的前場圖像可Mil平均前場的鄰近行與前場的該鄰近行中間的后場行來產(chǎn)生，并且所述插值的后場圖像可通過平均后場圖像的鄰近行與后場圖像的該鄰近行中間的前場圖像行來產(chǎn)生。
可通過從所述插值的前場圖像和插值的后場圖像中的一個減去所述插值的前場圖像和插值的后場圖像中的另一個來生成差異域幀(difference domainframe )o
該差異域幀的像素的值可M縮放因子來縮放。
該縮放因子可根據(jù)顯示器尺寸(displaysize)來確定。附加地或可選地，該縮放因子可根據(jù)M示器的觀察者到該顯示器的距離來確定。
可為差異域幀的像素塊計算度量，該度量指示所述塊中存在的場間運動的
可通過確定具有非零值的緊鄰的水平和垂直鄰居的該塊的像素的數(shù)目來計算該度量。
所述±央可 :比較該度量與閾值而分類為逐行掃描或隔行掃描。
所述塊的尺寸可基于視頻幀的分辨率來計算。所述閾值可基于該塊的尺寸來計算。
可選地，可為差異域幀計算度量，所述度量指示在所,異域幀中存在的場間運動的量。
所述度量可基于差異域幀中像素值的梯度值。
所述梯度值可用差異域幀中的像素的值的平均絕對偏差來歸一化(normalize )。


現(xiàn)在將參考附圖描述本發(fā)明的嚴格地僅作為示例的實施例，其中
圖1為示出根據(jù)視頻幀生成的前場和后場的示意性圖示；
圖2為示出插值的前場和后場圖像的示意性圖示；
圖3為示出插值的前場和后場圖像的像素塊的相減的示意性圖示；禾口
圖4為示出差異域幀的示范性的3 X 3像素塊的示意性圖示；
具體實施例方式
首先參照圖l，視頻幀一般地示出為io，并且包含構(gòu)成圖像的像素的水平行12、 14。典型地，對于歐洲視頻系統(tǒng)(稱為逐行倒相制式或PAL標(biāo)準(zhǔn))幀包含625行，或者對于美國系統(tǒng)(稱為全國電視系統(tǒng)委員會制式或NTSC標(biāo)準(zhǔn))幀包含525行。
為了對視頻幀10中發(fā)生的場間干擾的量進行量化，視頻幀10必須被劃分為前場和后場。所述前場(一般地示出為圖1中的20) ttt從幀10中抽取像素的頂行12和每隔一后續(xù)像素行，并且在前場20中在它們被從其抽取的幀10中的位置存儲這些行來生成。類似地，所述后場(一般i標(biāo)出為圖l中的30)通過抽取第二像素行14和每隔一后續(xù)像素行，并且在后場30中在它們被從其抽取的幀10中的位置存儲這些行來生成。
所述前場和后場20、 30 ^僅包括在它們從中生成的視頻幀10中包含的信息的一半。這樣，所述前場和后場必須被插值以產(chǎn)生每個包含與所述視頻幀10 —樣多的信息的前場和后場圖像，即擴增包含在前場和后場中的數(shù)據(jù)。
可使用任意的插值方法，盡管有利地使用發(fā)明者稱之為"三路插值(three-way interpolation)"的方法，因為這一方法考慮了發(fā)生在要顯示的第一場與要顯示的第二場之間的時間延遲和人類視覺系統(tǒng)(HVS)的特性。該"三路插值"過程是基于在任何時間點像素對人類視像的影響依賴于觀察者在前一幀(后向時間掩蔽)所看到的、他在下一幀(前向時間掩蔽)將要看到的內(nèi)容以及該像素相對于其鄰居的對比值(空間掩蔽)的原理的方法。該"三路插值"過程也平滑了在幀IO中自然產(chǎn)生的邊緣和輪廓的效應(yīng)，該效應(yīng)在外觀與特性上可能與梳狀偽像相似。
在該"三路插值"方法中，在將要被插值的場中的鄰近的像素行與在該將要被插值的場中的行中間的另一場的行取平均。這樣，例如，為了生成插值的
前場圖像的第二行，如圖2中的40所示，計算前場20的頂行22的每一像素的值與前場20的第二行24的對應(yīng)像素的值和后場30的第一行32的對應(yīng)像素的
值的總和。所得到的像素值總和被除以三以獲得平均像素值，并且根據(jù)以這一方式計算得到的平均像素值而建立前場20的"缺失"第二行。
樹以地，為了生成插值的后場圖像的第二行，如圖2中的50所示，計算后場30的第一行32的每一像素的值與后場30的第二行34的對應(yīng)像素的值和前場20的第二行24的對應(yīng)像素的值的總和。所得到的像素值總和被除以三以獲得平均像素值，并且根據(jù)以這一方式計算得到的平均像素值而建立后場30時'缺失"第二行。
重復(fù)這一過程以根據(jù)前場和后場20、 30生成插值的前場和后場圖像40、50，其每一^&含與從中生成前場和后場20、 30的幀10—樣多的信息。該"三路插值"過程的主要優(yōu)點在于其可被用于代替應(yīng)用圖像處理算法來估計前場和后場20、 30的空間和時間掩蔽的更加耗時的過程。
所M值的前場和后場圖像40、 50實際上是表示在隔行掃描系統(tǒng)中顯^一前場和后場20、 30的時候能夠看到的信息的逐行掃描幀。
一旦生成了插值的前場和后場圖像40、 50，它們必須相互比較以確定在它們之間是否有場間運動，并且如果有的話，則量化所述場間運動。
如果從中得到插值的前場和后場圖像40、 50的視頻幀10為真正的逐行掃描幀，在插值的前場與后場圖像40、 50之間將僅有非常小的由噪聲、壓縮、插值近似和垂直偏差產(chǎn)生的差異。即^A視頻幀10得至啲前場和后場之間沒有運動，所述前場和后場也并非完全相同，因為它們每一，示幀IO的不同部分。
fflil從圖像40、 50中的一個的像素的亮度值減去圖像40、 50中的另一個的對應(yīng)像素的亮度itt執(zhí)行插值的前場和后場圖像40、 50的比較，以生成"差異域"幀。在基于塊的量化器中，關(guān)于圖像40、 50每一個的對應(yīng)的像素±央$^流執(zhí)《m—減法操作，然而在基于幀的量化器中，所述減法在每一個圖像40、 50的全部像素上被同時執(zhí)行。
圖3示出了 "逐±央(block-wise)"減法操作。塊60是從插值的前場圖像40中獲取的尺寸為4像素乘以4像素的塊。塊60中的每一個像素具有一亮度值。例如，像素62具有亮度值235。塊70是,AS值的后場圖像50中獲取的尺寸為4像素乘以4像素的塊，其Affi值的后場圖像50中的與插值的前場圖像的從中取得塊60的位置相對應(yīng)的位置取得的。再一次，塊70中的每一個像素具有一亮度值。
塊80是表示從塊60中減去塊70的結(jié)果的纟M值的"差異塊"。因此在塊80中，每一像素的值表示幀60的對應(yīng)像素的亮度值與幀70的對應(yīng)像素的亮度值之間的差異。
可通過使用縮放因子而使所述減法變精細或粗糙。所述縮放因子可基于目標(biāo)應(yīng)用來確定。場間運動對人眼的影響是顯示器尺寸和觀察者距顯示器的距離的函數(shù)。觀察者招B離為50米處感知的場間運動的影響不同于他鄉(xiāng)巨離為100米處感知的場間運動的影響。相似地，觀察者在觀看計算機屏幕時感知的場間運動的影響不同于他在高分辨率平面屏幕顯示器中觀看同一圖像時將感知的場間運動的影響。這樣，所述縮放因子可依據(jù)顯示器尺寸和/^H察者距顯示器的距離來確定。如Weber定律的簡單方法或如JND (Just Noticeable Distortion,臨
界可見失真)的復(fù)^i十算能夠被用于縮放因子的有效估計。這一過程不影響量化過程，其僅影響量化器尺度和與其相應(yīng)的場間運動水平。塊82 ^!il因子5而縮放的差異塊80，其中非整數(shù)的結(jié)果被四舍五入為最近的整數(shù)?？山M合多個差異塊80、 82以生成差異域幀。
獲得了差異域幀，貝脂^對從中得至嗟異域幀的幀10中的場間運動的量進4請化，并且?guī)?0由此能夠被分類為逐行掃描或隔行掃描。
在本發(fā)明的一個實施例中，使用聚集濾波器(clusterfilter)執(zhí)行對幀10中的場間運動的量化，如以下將會描述的。
像許多其他可視偽像一樣，視頻幀中的場間運動^f盾聚集原理，也就是說如果場間運動偽像在幀內(nèi)密集分布(即，它們是聚集的(clustered)),貝僦它們對觀看所述幀的人來說可察覺的程度而言，它們的影響比其寬泛分布時的影響更大。
將所艘異域幀戈吩為用于處理的多個塊80、 82。對于每一個塊，估計或計數(shù)具有非零差異值的鄰居的像素的數(shù)目。以這種方式，育g夠建立差異域幀中的像素值分布(間隔很寬或聚集的)。由于非零像素差異值僅出現(xiàn)在插值的前場圖像40與插值的后場圖像50之間存在差異(即存在場間運動)的差異域幀中，大量具有非零差異值的鄰居的像素意味著大量的場間運動。
7對于差異域幀的每一個±央80、 82，計算指示幀10中的場間運動的分布性質(zhì)的聚集度量。M對塊80、 82中的每一像素遞增計數(shù)器來計算該聚集度量，所述像素的緊鄰的水平和垂直鄰居不為零。每一像素具有水平坐標(biāo)i和垂直坐標(biāo)J。這樣，對塊80、 82中的每一像素，如果位于(i-lj)、 (i+U)、 (ij國l)和(ij+l)的像素的值都大于O，則遞增計數(shù)器。當(dāng)檢查了塊80、 82中的全部像素時，塊80、 82的聚集度量為計數(shù)器的最終值。
M)l將塊80、 82的所述聚集度量與閾值相比較，所述聚集度量肖娜用于將塊80、 82分類為逐行掃描或隔行掃描。如果塊80、 82的聚集度量低于該閾值，可認為其是逐行掃描，而如果塊80、 82的所述聚集度量高于該閾值則可認為其是隔行掃描。小的過渡范圍可存在于該閾值周圍，其中塊80、 82可被認為M行掃描或隔行掃描。
對其計算聚集度量的差異域幀的塊80、 82的尺寸必須仔細選擇以確保不會因為塊80、 82中的大ifl止像素(即值為O的像素)而低估場間運動的強度。所述i央尺寸將依賴于幀的分辨率，并且已經(jīng)發(fā)現(xiàn)以下的等式能夠提供很好的結(jié)
果
塊尺寸,6X(幀彌率)067
不過將理解肖^^OT其他方法來計算塊尺寸。
用于評估塊80是逐行掃描還是隔行掃描的閾值可根據(jù)塊尺寸例如使用如
下方程來確定閾值^.05X(塊尺寸)06，
不過將再次認識到肖,使用其他方法來計算閾值。
基于根據(jù)聚集濾波fll皮分類為隔行掃描或逐行掃描的塊80、 82的數(shù)目，可將幀10分類為逐行掃描或隔行掃描。例如，如果超過百分之三十的±央80、 82被分類為隔行掃描，幀80可被分類為隔行掃描。結(jié)果能夠被有效地解釋和視覺化。例如，包含一個具有非常高的值的塊的幀和具有多個為中等值的塊的幀對觀測者將具有相同的影響。
在可選實施例中，使用差異域幀的像素的梯度值來量化幀10中的場間運動，如以下將要參照圖4描述的。
像素的梯度值是x和y方向上的方向倒數(shù)，并且指示像素值與相鄰像素值的偏差。由于通過相鄰像素間的差異來表征場間運動，高梯度值可指示場間運動。
圖4示出了差異域幀的示范性的3 X 3像素塊90。每一像素具有水平坐標(biāo)(x)和垂直坐標(biāo)(y)。每一像素具有表示其與水平鄰接像素值的偏差的x梯度值、以及表示其與垂直鄰接像素值的偏差的y梯度值。能夠4OT下列公式
來計算X梯度，其中Pi為水平位置l處的像素的值。
相微也，能夠使用公式<formula>formula see original document page 9</formula>
來計算y梯度，其中Pj為垂直位置j處的像素的值。
這樣，對于圖4中示出的塊90的中心像素92， g = (6- 5)+(5- 4)=1，而
<formula>formula see original document page 9</formula>
育&^(OT方程^ (&l+lG》來確定像素的總梯度值
2
這樣，對于圖4的塊90的中心像素92，
能夠M5W各個像素的總梯度值進行求和并且將該結(jié)果除以幀中的像素總數(shù)來計算，差異域幀的梯度值，艮P
附w
相4姐也，像素亮度值偏離像素亮度值的均值的平均絕對偏差(MAD)育,用于
指^lJ貞中的場間運動的量。
為了確定差異域幀的MAD，可使用如下方程
<formula>formula see original document page 9</formula>
其中P:j為位置U處的像素的值，M為幀中像素的平均值，m為幀中每一水平行的像素數(shù)以及n為幀中每一垂直列的像素數(shù)。
能夠il31用差異域幀的MAD除齡差異域幀的梯度4魏將該梯度值歸一化，以計，度偏差率，如下所示該歸一化過程為場間運動產(chǎn)生落入與視頻幀io的特性或分辨率無關(guān)的統(tǒng)一范圍的值。梯度偏差率典型地產(chǎn)生介于0和1之間的值，該值能用于量化視頻幀中的場間運動，并且從而將視頻幀表征為逐行掃描或隔行掃描?？蔀橹鹦袙呙?隔
行掃描分類的目的提供閾值或一連串閾值。例如，如果GDR小于0.5，該幀可被分類為隔行掃描。如果GDR大于0.7，該巾柯被分類為逐行掃描。如果GDR介于0.5與0.7之間，該幀不能被準(zhǔn)確地分類為逐行掃描或隔行掃描。
也可使用ii^檢測lt碼(mask)(比如Sobel、 Prewitt、 Canny或Frei-Chen)
來計算差異域幀的梯度，并且使用的掩碼可能對由梯度偏差率產(chǎn)生的值或度量的范圍有影響。
雖然這個方法提供了滿意的結(jié)果，但其沒有考慮人類視覺系統(tǒng)的聚集效應(yīng)，從而所述結(jié)果不如由以上討論的聚集濾波器實施例產(chǎn)生的那些結(jié)果精確。
權(quán)利要求
1.一種量化視頻幀中場間運動的方法，該方法包含根據(jù)該視頻幀生成前場和后場，對這樣生成的前場和后場中的每一個進行插值以產(chǎn)生插值的前場和后場圖像以及將該插值的前場和后場圖像相互比較以確定表示在該前場和后場之間存在的場間運動的量的值。
2. 根據(jù)權(quán)利要求1的方法，其中M平均前場的鄰近行與該前場的鄰近行 中間的后場行來產(chǎn)生插值的前場圖像，并且通過平均后場圖像的鄰近行與該后 場圖像的鄰近行中間的前場圖像行來產(chǎn)生插值的后場圖像。
3. 根據(jù)權(quán)利要求1或2的方法，其中ML從所逝爾值的前場圖像和插值的 后場圖像中的一個減去所述插值的前場圖像和插值的后場圖像中的另一個來生 成差異域幀。
4. 根據(jù)權(quán)利要求3的方法，其中用縮放因子來縮放差異域幀的像素的值。
5. 根據(jù)權(quán)利要求4的方法，其中根據(jù)顯示器尺寸來確定縮放因子。
6. 根據(jù)權(quán)利要求4或5的方法，其中根據(jù)從顯示器的觀察者到該顯示器的距離來確定縮放因子。
7. 根據(jù)權(quán)利要求3到6中任一個的方法，其中為差異域幀的像素i央計算度 量，該度量指示在該塊中存在的場間運動的量。
8. 根據(jù)權(quán)利要求7的方法，其中aa確定具有非零值的緊鄰的水平和垂直鄰居的該塊的像素的數(shù)目來計算所述度量。
9. 根據(jù)權(quán)禾腰求8的方法，其中艦將該度量與閾值相比較來將該土央分類 為逐行掃描或隔行掃描。
10. 根據(jù)權(quán)利要求7到9中任一個的方法，其中基于視頻幀的分辨率計算 塊的尺寸。
11. 根據(jù)權(quán)利要求10的方法，其中基于該塊的尺寸計算該閾值。
12. 根據(jù)權(quán)利要求3的方法，其中為差異域幀計算度量，該度量指示在該 差異域幀中存在的場間運動的量。
13. 根據(jù)權(quán)禾腰求12 6妨法，其中iMl:基于薪鄉(xiāng)貞中的像素值^^度值。
14. 根據(jù)權(quán)利要求13的方法，其中用差異域幀中的像素值的平均絕對偏差 來歸一化該梯度值。
全文摘要
本發(fā)明涉及量化視頻幀中場間運動的方法。一種量化視頻幀(10)中場間運動的方法，該方法包含根據(jù)視頻幀(10)生成前場(20)和后場(30)，插值這樣生成的每一個前場(20)和后場(30)以產(chǎn)生插值的前場和后場圖像(40，50)以及將插值的前場和后場圖像(40，50)相互比較以確定表示在前場(20)和后場(30)之間存在的場間運動的量的值。
文檔編號H04N7/26GK101674481SQ200910203909
公開日2010年3月17日 申請日期2009年4月10日 優(yōu)先權(quán)日2008年4月11日
發(fā)明者O·巴頓, P·埃朗戈文 申請人:特克特朗尼克國際銷售有限責(zé)任公司