專利名稱：一種基于運動檢測的去隔行處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種將隔行視頻信號轉(zhuǎn)換成逐行視頻信號的去隔行處 理方法，尤其涉及一種利用像素點的時間相關(guān)性和空間相關(guān)性進行運 動檢測，并根據(jù)像素點的運動狀態(tài)進行插值，從而將隔行視頻信號轉(zhuǎn) 換成逐行視頻信號的去隔行處理方法，屬于計算機視覺技術(shù)領(lǐng)域。
背景技術(shù)：
逐行視頻信號是指每一幀均是由電子束順序地一行接一行連續(xù)掃 描而成的視頻圖像。隔行視頻信號是指電子束在掃描每一幀時，先掃 描奇數(shù)行再掃描偶數(shù)行，通過兩場掃描獲得的視頻圖像。隔行視頻信 號在保留垂直分辨率的同時降低了傳輸所需帶寬，因此一直是電視系統(tǒng) 廣泛使用的信號形式?，F(xiàn)行的PAL、 NTSC、 SECAM等電視系統(tǒng)都將隔行視 頻信號作為基本的輸出信號。
但是，逐行視頻信號也存在許多缺點，如會產(chǎn)生行間閃爍效應(yīng)、 出現(xiàn)并行現(xiàn)象及出現(xiàn)垂直邊沿鋸齒化現(xiàn)象等不良效應(yīng)。自從電視技術(shù) 開始向數(shù)字化方向轉(zhuǎn)型之后，為了得到高品質(zhì)的圖像質(zhì)量，逐行視頻 信號已成為數(shù)字電視的優(yōu)選方案。
隔行視頻信號不能直接在逐行顯示設(shè)備上正常顯示。如果要在逐行 顯示設(shè)備上顯示隔行視頻信號，需要先將隔行視頻信號轉(zhuǎn)換為逐行視頻 信號。由于從模擬電視到數(shù)字電視的過渡時間較長，因此隔行視頻信號 在一定時期內(nèi)還會普遍存在。隨著逐行顯示設(shè)備的日趨普及，將隔行視 頻信號轉(zhuǎn)換成逐行視頻信號的去隔行處理技術(shù)也得到了越來越廣泛的 應(yīng)用。
到目前為止，國內(nèi)外已經(jīng)提出了各種各樣的去隔行處理技術(shù)方案。 這些技術(shù)方案包括以下幾方面的內(nèi)容自適應(yīng)處理與靜態(tài)處理、場內(nèi)相 對于場間、運動自適應(yīng)相對于運動補償。下面分別進行簡單的說明
靜態(tài)處理的典型實例包括線平均和垂直濾波、垂直時間濾波和交織 等。靜態(tài)處理與場內(nèi)的圖像內(nèi)容無關(guān)，復(fù)雜性相對較低，并能在較低分
辨率的顯示器上提供較好的性能，但在HDTV顯示器上性能則較差。自適應(yīng)處理的實例包括運動自適應(yīng)和運動補償，其效果取決于一場或幾個場 內(nèi)的圖像內(nèi)容。自適應(yīng)處理的復(fù)雜性非常高，但可提供非常優(yōu)異的性能。 場內(nèi)處理僅采用一個場(有時也被稱為空間處理)，其曲型實例包括 線平均、垂直濾波和邊緣適應(yīng)。場間處理采用了來自不同場的信息(有時 被稱為時間處理)，典型實例包括交織、垂直時間過濾、運動自適應(yīng)和運 動補償。
運動自適應(yīng)處理通過檢測兩個場之間的運動，根據(jù)運動狀態(tài)的不同 采用不同的插值方法，其處理的復(fù)雜性趨于中等，并具有較好的性能。 運動補償處理通過估計兩個場之間的運動，其復(fù)雜性非常高，具有非常 優(yōu)越的性能。
在實際操作中，視頻場景中通常有多個運動目標(biāo)，且場景常常受到 各種噪聲的影響，這些因素都給去隔行處理造成一定的困難。去隔行處 理實施得不好，會給視頻場景帶來一系列的不良影響，例如拖影、鋸齒 等，給后續(xù)的視頻處理和分析帶來困難。同時，某些系統(tǒng)如視頻監(jiān)控系 統(tǒng)需要同時完成多項處理任務(wù)，可供去隔行處理使用的計算資源非常有 限。因此，研究復(fù)雜度低、實時性好的去隔行處理方法很有必要。

發(fā)明內(nèi)容
針對現(xiàn)有去隔行處理技術(shù)在處理效果和實時性等方面存在的不足， 本發(fā)明的目的在于提出一種新的基于運動像素檢測的去隔行處理方法。 該方法可以快速有效地將隔行視頻信號轉(zhuǎn)換成逐行視頻信號。 為實現(xiàn)上述的發(fā)明目的，本發(fā)明采用下述的技術(shù)方案 一種基于運動檢測的去隔行處理方法，用于將隔行視頻信號轉(zhuǎn)換成 逐行視頻信號，其特征在于
(1) 在隔行視頻圖像的場序列中選擇待插值場，根據(jù)時間相關(guān)性選擇 選擇與所述待插值場采集時間最接近的相鄰兩場，基于空間相關(guān)性選擇 與所述待插值場場掃描線位置相同的前前場，計算所述待插值場與所述 相鄰兩場及前前場的差值；
(2) 將步驟(l)計算出的三個差值分別與預(yù)設(shè)閾值進行比較，如果差值 中的最大值大于所述閾值，則判斷所述待插值場對應(yīng)的點為運動像素點， 否則為背景點；
(3) 對所述運動像素點采用先腐蝕后擴張的方法進行處理；(4)設(shè)計基于邊緣方向的插值濾波器，用所述插值濾波器對所述待插 值場中的每個像素點進行插值，將插值得到的場與所述待插值場進行交 織，形成逐行視頻圖像。
其中，在所述步驟(3)中，腐蝕和擴張選擇大小為3X3的十字型結(jié)構(gòu) 元素。
所述步驟(4)中，在設(shè)計基于邊緣方向的插值濾波器時，對所述待插 值場對應(yīng)的點左右共五個方向進行邊緣檢測，并沿著梯度最小的方向進 行插值。
在進行邊緣檢測時，依據(jù)最相鄰點相關(guān)的可能性最大的原則，給予 各方向不同的邏輯權(quán)重，依次從最相鄰點判斷到距離最遠(yuǎn)的點，取最相 關(guān)方向進行插值。
如果所述待插值場對應(yīng)的點的上、下兩行像素分別處于水平邊緣的 上、下沿，在不同邊緣方向的上、下兩行像素的差值的最小值大于預(yù)定 閾值，則認(rèn)為存在假邊緣；在存在假邊緣的條件下，直接使用所述待插 值場中的上一行像素進行插值。
本發(fā)明所提供的基于運動檢測的去隔行處理方法可以獲得較好的處 理效果，并且具有速度快、抗干擾能力強等優(yōu)點。有關(guān)的測試結(jié)果表明， 本去隔行處理方法對于室內(nèi)、室外各類場景的隔行視頻序列都能取得較 好的處理效果。


下面結(jié)合附圖和具體實施方式
對本發(fā)明作進一步的說明。 圖1為本發(fā)明所述的基于運動檢測的去隔行處理方法的實施流程圖； 圖2為在基于時空相關(guān)性選擇場的基礎(chǔ)上進行運動像素點檢測的示 意圖3為基于邊緣方向的插值濾波器的設(shè)計示意圖。
具體實施例方式
在本發(fā)明中，首先利用時間相關(guān)性和空間相關(guān)性選擇合適的場進 行基于像素的運動檢測，然后利用基于邊緣方向的插值濾波器對插值 場進行插值，從而將隔行視頻信號快速有效地轉(zhuǎn)換成逐行視頻信號。
圖1中顯示了本發(fā)明所提供的去隔行處理方法的基本實施流程首 先，計算隔行視頻的場序列中前前場和當(dāng)前場的對應(yīng)像素差，以及當(dāng)前場分別與前一場和后一場的對應(yīng)像素差，求差的結(jié)果是分別得到一個場 與場的差圖(簡稱場差圖)，將場差圖中的每個差值與閾值進行比較得到 對應(yīng)像素的運動狀態(tài)。綜合考慮當(dāng)前場中與待插值點在空間上具有相關(guān) 性的點的運動狀態(tài)，以及前一場中與待插值點在時間上有相關(guān)性的點的 運動狀態(tài)，來決定待插值點的運動狀態(tài)。其次，通過對已經(jīng)得到的運動 像素點進行區(qū)域平滑處理，以提高運動對象檢測精度。本發(fā)明采用先腐 蝕后擴張的方法進行處理。先腐蝕后擴張的方法通常稱為開運算，該方 法具有對消除細(xì)小物體、在纖細(xì)處分離物體和平滑較大物體的邊緣時不 明顯改變其面積的作用。最后，根據(jù)運動檢測所得到的運動信息和像素 的位置信息設(shè)計插值濾波器進行插值，并將插值得到的場與當(dāng)前場交織 在一起形成一幀圖像。
下面對上述各個步驟的具體實施過程展開詳細(xì)的說明。
1.對待插值場實施基于像素的運動檢測
在本實施例中，將當(dāng)前的待插值場稱為第k場(K為自然數(shù))，最終 插值得到的場與當(dāng)前場交織成一幀逐行視頻圖像。相應(yīng)的，前一場為第k —l場，前前場為k一2場，后一場為k+l場，以此類推。
為了避免單獨考慮時間或空間相關(guān)性選擇場所造成的檢測與插值誤 差，本方法在選擇實施運動檢測的場時，從基于時間相關(guān)性和空間相關(guān) 性兩方面進行選擇。這樣可以減少在時間上由于物體快速運動引起的檢 測誤差，以及在空間上由于掃描線位置不同所造成的檢測誤差。
從時間相關(guān)性考慮，應(yīng)該選擇與待插值場采集時間比較接近的場，
這樣像素點的運動狀態(tài)也會比較接近。因此，本方法從時間上選擇與第^ 場采集時間接近的相鄰兩場第A4與AW場，不選擇與第^場采集時間間
隔較遠(yuǎn)的第A-3場。
從空間相關(guān)性考慮，應(yīng)該選擇與待插值像素點空間位置較近的像素 點。但由于采集設(shè)備在成像時奇、偶場掃描線的空間位置不同，容易引
起檢測誤差，因而從空間上最好選擇與第^場掃描位置相同的第A-2場， 此外，第^ + 2場雖然與第^場的掃描線位置相同，但因其會造成延時而不宜選擇。
在選擇好場之后，根據(jù)所選場檢測待插值場中像素點的運動狀態(tài)。 由于待插值的像素點并不是實際的釆樣點，所以需要通過與其在時間和 空間上相關(guān)的像素點的狀態(tài)來進行判斷。在成像時，由于奇偶場中掃描 線的空間位置是不同的，因而在對應(yīng)像素點求差時，應(yīng)該采用掃描位置 相同的點，這樣可以避免由于奇、偶性不同所造成的檢測誤差，此外還 可以抑制噪聲，檢測結(jié)果會更準(zhǔn)確。
圖2為對像素點進行運動檢測的示意圖。其中，實心點均為原始采 樣點，空心點表示待插值的像素點。
.以待插值的像素點"，力為例，在所選擇的第"2， A-l， 、 A + l場中， 在空間上與待插值像素點"，力接近的點為第A場的像素點L力和 "+ l，力；在時間上與待插值像素點"，力接近的點為第^-l場中的像素點
"，力；通過這三個點來確定待插值像素點"，力狀態(tài)。
在確定三個點的狀態(tài)時，如圖2所示，通過掃描位置相同場的對應(yīng) 像素點求差，分別得到《"-")，《"+ 1，力，力"，力，見式(1)，其中的
代表場A中的像素點"，力的亮度值。
《(X — 1，力=K & — 1，力_ 2 o — 1，力| 《& + 1，力=|/々+ 1,力-/4_2 (X + 1，力|
d/ (x，力=Ia一 (A力—(X，力| (工)
fl ifM—^-l,力,《(x + l，力,《(x,力)〉5;
otherwise ②
式(2)中的M(;c,力表示待插值點的運動狀態(tài)，值為l表示是運動像素 點，值為0表示為背景點。如果三個差值的最大值大于選定的閩值，也
即三個像素點中至少有一個為運動像素點，則判斷待插值點(JC，力為運動
像素點，否則為背景點。這里的判斷依據(jù)是因為在時域上，像素點的運 動應(yīng)該具有一致性，所以如果前后兩場像素點的變化超出了閾值，則檢測待插值點為運動像素點；同理，在空域上，由于待插值點與其空間上
相鄰的點的運動具有一致性，因此如果相鄰點存在運動，則檢測待插值
點為運動像素點。
2.對運動檢測結(jié)果進行形態(tài)學(xué)后處理
通過對已經(jīng)得到的運動像素點進行區(qū)域平滑處理，可以提高運動對 象檢測精度。為此，本發(fā)明采用先腐蝕后擴張的方法進行處理。
腐蝕是消除物體邊緣點的一種過程，對去除尺寸小且無意義的物體
非常有效。
一般腐蝕過程的定義為5'-S(8)S二tc，少ISw^^，由結(jié)構(gòu)元素
S對二值圖像S進行腐蝕，生成二值圖像5'。 二值圖像5'是這樣一些點 (;c，力的集合將圖像5中的點在結(jié)構(gòu)元素的范圍內(nèi)移動，依次與S中的每
個元素相減，并將結(jié)果放到圖像5'中對應(yīng)的位置。
擴張是將與物體接觸的背景點合并到該物體的過程，擴張在填補分
割后物體中的空洞時非常有用。
一般定義為5'-50S二^，;;ISwnS^W，
由結(jié)構(gòu)元素S對二值圖像5進行腐蝕，二值圖像5'是這樣一些點(x，力的集
合將圖像B中的點在結(jié)構(gòu)元素的范圍內(nèi)移動，依次與S中的每個元素相 加，并將結(jié)果放到對應(yīng)的位置。
本發(fā)明在擴張過程中，選擇3X3大小的十字型結(jié)構(gòu)元素，3X3的大 小是根據(jù)需要檢測的精度確定的。選用十字型結(jié)構(gòu)元素可以避免由于物 體的邊緣方向不規(guī)則而造成區(qū)域平滑錯誤。
3.設(shè)計插值濾波器對插值場進行插值
在去隔行處理中，待插值場中的像素點的值需要經(jīng)過插值才能得到， 因而需要設(shè)計插值濾波器。本發(fā)明為了提高插值精度，在得到像素點運 動狀態(tài)的基礎(chǔ)上，結(jié)合像素點的位置信息，設(shè)計了基于邊緣方向的插值 濾波器，以便進行像素點的插值。
由于運動物體邊緣處的場效應(yīng)會更加明顯，為了能夠取得好的插值 效果，在檢測出運動像素點之后，需要檢測其是否處于運動物體的邊緣， 從而根據(jù)像素點所處的位置設(shè)計濾波器，并沿邊緣方向進行濾波，從而 完成對運動物體邊緣處的濾波，有效地消除鋸齒效應(yīng)。
傳統(tǒng)的三方向邊緣檢測方法只根據(jù)梯度值進行檢測邊緣，沒有針對圖像中的弱邊緣或假邊緣進行處理。參照圖3所示的多方向邊緣檢測的
示意圖，本發(fā)明對傳統(tǒng)的邊緣檢測方法進行了改進，利用5個角度進行
邊緣檢測，并通過相鄰點相關(guān)性最大的原則，對弱邊緣和假邊緣兩種邊 緣進行處理，有效提高了邊緣方向檢測的準(zhǔn)確度。
上述的弱邊緣是指如果圖像中A、 B、 C、 D、 G、 H、 I、 J處于同一 亮度漸變的物體區(qū)域，而E、 F兩點處于亮度對比度較小的背景區(qū)域，若
待插值像素點取值為(￡ + 77)/2，容易造成插值不準(zhǔn)確。對于這種情況，在 檢測邊緣時，依據(jù)最相鄰點相關(guān)的可能性最大這一原則，給予各方向不 同的邏輯權(quán)重(例如對于待插值點而言，C和H是其與最相鄰的點，因此 其權(quán)重最大)，依次從最相鄰點判斷到距離最遠(yuǎn)的點，取最相關(guān)方向進行 插值，見式(3)。
Z4-mKH/((針《(y-l))—/((x-o;0+l)〗)Je(0,iJ^ (3)
式(3)中的Dmin代表不同邊緣方向的上下兩行像素差值的最小值，
/(("力，&-1))，的，C^ + i))分別為待插值像素上、下兩行中對應(yīng)于某方
向的像素點亮度值，參數(shù)"隨方向而變化。"=±1時參數(shù)《 = 1/^ 0-7，
0" = ±2時參數(shù)"=1/2， 0" = 0時參數(shù)0; = 1。
假邊緣是指如果待插值像素點的上、下兩行像素分別處于水平邊 緣的上、下沿，也即分屬于亮度差別很大的區(qū)域，如果直接沿最小梯度
方向進行插值，容易造成經(jīng)過插值后的邊緣區(qū)域出現(xiàn)虛像。如果"^大于
某一閾值，我們可以認(rèn)為上下兩行的差值超過了一個范圍，則認(rèn)為存在 假邊緣。
為避免插值結(jié)果出現(xiàn)虛像，待插值點的值可直接選取C或H的像素 點亮度值。當(dāng)灰度值為128左右時，人眼對亮度變化最敏感，敏感度為 10，而閾值隨敏感度線性變化；當(dāng)灰度值為255或0時，人眼對亮度變 化不敏感，此時的敏感度為20;因此取閾值為固定值25。
通過上述對假邊緣和弱邊緣的分析，針對運動像像素點，本發(fā)明設(shè)
計的插值表達(dá)式見式(4)，其中^^4為插值像素點的亮度值，Zc、"表示C與H點的亮度值，
表示取得
時候的c值。
結(jié)合像素點的運動狀態(tài)和位置信息，本發(fā)明設(shè)計的插值濾波器形式 見式(5)，《"，")表示去隔行處理后逐行幀中各像素點的值。
式(5)中參數(shù)"用于表示待插值像素點的運動狀態(tài)。如果為背景點，
"=G，待插值像素點的亮度值取前一場對應(yīng)位置像素點的值F^，" —0，如
果為運動像素點(即M"，力^), A = 1，待插值像素點的亮度值為基于邊
緣的插值輸出^^。
在利用上面提供的基于邊緣方向的插值濾波器對像素點進行插值之 后，將最終插值得到的場與當(dāng)前的待插值場進行交織，即可完成將一幀 隔行視頻圖像轉(zhuǎn)換成逐行視頻圖像的工作。
以上對本發(fā)明所提供的基于運動檢測的去隔行處理方法迸行了詳細(xì) 的說明。對本領(lǐng)域的一般技術(shù)人員而言，在不背離本發(fā)明實質(zhì)精神的前 提下對它所做的任何顯而易見的改動，都將構(gòu)成對本發(fā)明專利權(quán)的侵犯， 將承擔(dān)相應(yīng)的法律責(zé)任。
<formula>formula see original document page 11</formula>
權(quán)利要求
1.一種基于運動檢測的去隔行處理方法，用于將隔行視頻信號轉(zhuǎn)換成逐行視頻信號，其特征在于(1)在隔行視頻圖像的場序列中選擇待插值場，根據(jù)時間相關(guān)性選擇選擇與所述待插值場采集時間最接近的相鄰兩場，基于空間相關(guān)性選擇與所述待插值場場掃描線位置相同的前前場，計算所述待插值場與所述相鄰兩場及前前場的差值；(2)將步驟(1)計算出的三個差值分別與預(yù)設(shè)閾值進行比較，如果差值中的最大值大于所述閾值，則判斷所述待插值場對應(yīng)的點為運動像素點，否則為背景點；(3)對所述運動像素點采用先腐蝕后擴張的方法進行處理；(4)設(shè)計基于邊緣方向的插值濾波器，用所述插值濾波器對所述待插值場中的每個像素點進行插值，將插值得到的場與所述待插值場進行交織，形成逐行視頻圖像。
2. 如權(quán)利要求1所述的基于運動檢測的去隔行處理方法，其特征在于所述步驟(3)中，腐蝕和擴張選擇十字型結(jié)構(gòu)元素。
3. 如權(quán)利要求2所述的基于運動檢測的去隔行處理方法，其特征在于所述十字型結(jié)構(gòu)元素的大小為3X3。
4. 如權(quán)利要求1所述的基于運動檢測的去隔行處理方法，其特征在于所述步驟(4)中，在設(shè)計基于邊緣方向的插值濾波器時，對所述待插 值場對應(yīng)的點左右共五個方向進行邊緣檢測，并沿著梯度最小的方向進 行插值。
5. 如權(quán)利要求4所述的基于運動檢測的去隔行處理方法，其特征在于在進行邊緣檢測時，依據(jù)最相鄰點相關(guān)的可能性最大的原則，給予 各方向不同的邏輯權(quán)重，依次從最相鄰點判斷到距離最遠(yuǎn)的點，取最相 關(guān)方向進行插值。
6.如權(quán)利要求4所述的基于運動檢測的去隔行處理方法，其特征在于如果所述待插值場對應(yīng)的點的上、下兩行像素分別處于水平邊緣的 上、下沿，在不同邊緣方向的上、下兩行像素的差值的最小值大于預(yù)定 閾值，則認(rèn)為存在假邊緣；在存在假邊緣的條件下，直接使用所述待插 值場中的上一行像素進行插值。
全文摘要
本發(fā)明涉及一種將隔行視頻信號轉(zhuǎn)換成逐行視頻信號的去隔行處理方法。該方法中，對待插值場進行基于像素點的運動檢測，并根據(jù)運動檢測的結(jié)果進行相應(yīng)的插值。在運動檢測的過程中，在時間上選擇與當(dāng)前場采集時間最接近的場，在空間上選擇與當(dāng)前場掃描線位置相同的場，綜合考慮時空相關(guān)性來判斷待插值點的運動狀態(tài)。在設(shè)計插值濾波器的時候，通過進行多方向的邊緣檢測以及對假邊緣和弱邊緣的分析，得到圖像中存在的邊緣，根據(jù)像素點的運動狀態(tài)和邊緣方向進行相應(yīng)的插值，將插值得到的場與待插值場進行交織，形成逐行視頻圖像。與現(xiàn)有技術(shù)相比，本發(fā)明能很好地改善視頻的主觀質(zhì)量，且具有處理速度快、抗噪聲能力強的優(yōu)點。
文檔編號H04N7/01GK101309385SQ20081011638
公開日2008年11月19日 申請日期2008年7月9日 優(yōu)先權(quán)日2008年7月9日
發(fā)明者宋建斌, 波 李, 李振亞 申請人:北京航空航天大學(xué)