專利名稱：利用來自壓縮比特流的編碼信息來增強(qiáng)視頻質(zhì)量和/或減少偽像的制作方法
本申請依據(jù)35U.S.C.§120和35USC§365(c)要求以下專利申請的優(yōu)先權(quán)Boroczky等人于2003年1 2月4日提交的題目方“A Unified Metric For DigitalVideo Processing(UMDVP)”的國際專利申請系列號IB2003/0057；Boroczky等人于2003年11月28日提交的題目為“System and Method for Joint VideoEnhancement and Artifact Reduction for Coded Digital Video”的國際專利申請系列號IB2003/0055；以及美國專利申請10/029,828。這里引用所有這些申請的全部內(nèi)容以作參考。
本發(fā)明涉及數(shù)字視頻信號處理，特別是涉及一種利用來自已編碼視頻信號的編碼數(shù)據(jù)來增強(qiáng)視頻質(zhì)量和/或減少已解碼視頻信號中的編碼偽像的系統(tǒng)和方法。
由于要求較少的存儲空間和較小的帶寬，運動畫面專家組(MPEG)視頻壓縮或編碼技術(shù)促進(jìn)了許多當(dāng)前和新興的視頻產(chǎn)品(例如DVD播放器、高清晰度電視解碼器和視頻會議)。然而，眾所周知的是，這種有損壓縮技術(shù)(MPEG-1、MPEG-2、MPEG-4、H.26x等等)會導(dǎo)致編碼偽像的引入并且會降低視頻信號的畫面質(zhì)量。
有時選擇低比特率以實現(xiàn)帶寬效率。比特率越低，由壓縮編碼和解碼處理引入的缺陷就更令人不快。例如，對于標(biāo)準(zhǔn)清晰度視頻的數(shù)字地面電視廣播來說，認(rèn)為6Mbit/s左右的比特率是在畫面質(zhì)量和傳輸帶寬效率之間的良好的折衷(參見P.N.Tudor的“MPEG-2 Video Compressions”，IEEE Electronics&Communication Engineering Journal，1995年12月，第257-264頁)。然而，廣播商經(jīng)常廣播比特率遠(yuǎn)低于6Mbit/s的數(shù)字視頻信號，以便能夠在每個數(shù)字電視頻道中提供更多節(jié)目。因此就產(chǎn)生了偽像并且降低了畫面質(zhì)量。
因此，正如在2003年11月28日提交的題目為“system and Method for JointVideo Enhancement and Artifact Reduction for Coded Digital Video”的國際專利申請?zhí)朓B2003/0055中所討論的那樣，近來已經(jīng)為視頻顯示裝置提供了用于對已解碼視頻信號進(jìn)行后處理的系統(tǒng)和方法以便進(jìn)行顯示，從而增強(qiáng)了畫面質(zhì)量和/或減少了視頻偽像。
同時，數(shù)字視頻源(例如DVD、視頻磁帶、廣播信號等)經(jīng)常提供這樣的已編碼數(shù)字視頻信號，其被數(shù)字壓縮或編碼的視頻格式不同于將對其進(jìn)行顯示的視頻格式。例如，通常按照已經(jīng)使用了數(shù)十年的24幀/秒的幀速率以逐行掃描格式對運動畫面/影片序列進(jìn)行編碼或壓縮。另一方面，許多視頻顯示裝置(例如電視接收機(jī))利用50或60場每秒的隔行掃描視頻顯示格式來顯示視頻信號。


圖1示出用于說明利用來自已編碼數(shù)字視頻信號的編碼信息來增強(qiáng)視頻質(zhì)量和/或減少偽像的系統(tǒng)和方法的示例性框圖。該已編碼數(shù)字視頻信號可能是利用MPEG-1、MPEG-2、MPEG-4、H.26x或任何其他所需視頻編碼標(biāo)準(zhǔn)經(jīng)行編碼的。為了易于解釋說明，在下文中將假設(shè)該已編碼數(shù)字視頻信號是根據(jù)MPEG-2標(biāo)準(zhǔn)進(jìn)行編碼的。此外，在圖1的例子中，該已編碼數(shù)字視頻信號表示以24幀/秒的源幀速率編碼的影片序列。
在方框110中，視頻解碼器對該已編碼或已壓縮數(shù)字視頻信號進(jìn)行解碼。方框110根據(jù)已被用于編碼該已編碼數(shù)字視頻信號的任何標(biāo)準(zhǔn)提供適當(dāng)?shù)慕獯a。方框110輸出具有視頻源格式(例如24幀/鈔的逐行掃描)的已解碼數(shù)字視頻信號。對于本領(lǐng)域技術(shù)人員來說，這樣的視頻解碼器的操作和構(gòu)造是很容易理解的。
然后，在方框120中，格式轉(zhuǎn)換器將該已解碼數(shù)字視頻信號的視頻源格式轉(zhuǎn)換為用于通過特定電視接收機(jī)或顯示裝置進(jìn)行顯示的適當(dāng)?shù)囊曨l顯示格式。在圖1的例子中，采用標(biāo)準(zhǔn)3∶2下拉算法將該已解碼數(shù)字視頻信號從24幀/秒的逐行掃描的視頻源格式轉(zhuǎn)換為大約60場每秒的隔行掃描視頻顯示格式。或者，該顯示格式可以是大約50場/秒的隔行掃描，在這種情況下將替換地執(zhí)行2∶2下拉。方框120輸出具有視頻顯示格式(例如60場/鈔的隔行掃描)的經(jīng)過格式轉(zhuǎn)換的已解碼數(shù)字視頻信號。同樣地，對于本領(lǐng)域技術(shù)人員來說，實施3∶2或2∶2下拉算法的所述格式轉(zhuǎn)換器的操作和構(gòu)造是很容易理解的。
同時，在方框130中，視頻編碼量度計算模塊利用已編碼數(shù)字視頻信號的編碼信息和/或其他特征為該已編碼數(shù)字視頻信號計算一個或多個視頻編碼量度。例如，當(dāng)該已編碼數(shù)字視頻信號是MPEG-2視頻數(shù)據(jù)流時，該編碼信息可能包括量化參數(shù)(q_scale)和用于編碼亮度塊的比特數(shù)量(num_bits)等等?？梢栽谝丫幋a數(shù)字視頻信號的比特流中提供這種編碼信息。例如在2003年12月4日提交的題目為“A Unified Metric For Digital Video Processing(UMDVP)”的國際專利申請序列號IB2003/0057中描述了示例性算法。方框130輸出對應(yīng)于具有視頻源格式(例如對于影片序列來說是24幀/鈔)的已解碼數(shù)字視頻信號的視頻編碼量度。
接下來，在方框140中，視頻編碼量度轉(zhuǎn)換模塊將由方框130輸出的視頻編碼量度信息轉(zhuǎn)換為與在方框120中由格式轉(zhuǎn)換器輸出的經(jīng)過格式轉(zhuǎn)換的已解碼數(shù)字視頻信號相對應(yīng)的格式。也就是說，方框140在其輸入端接收與具有視頻源格式(例如對于影片序列來說是24幀/秒)的已解碼數(shù)字視頻信號相應(yīng)的一個或多個視頻編碼量度的輸出；對所接收的一個或多個視頻編碼量度執(zhí)行轉(zhuǎn)換算法；以及輸出經(jīng)過轉(zhuǎn)換的一個或多個視頻編碼量度，其與由方框120輸出的具有視頻顯示格式(例如60場/秒的隔行掃描)的經(jīng)過格式轉(zhuǎn)換的已解碼數(shù)字視頻信號相對應(yīng)。
最后，在方框150中，所述經(jīng)過轉(zhuǎn)換的一個或多個視頻編碼量度被用在一種算法中，以便在經(jīng)過格式轉(zhuǎn)換的已解碼數(shù)字視頻信號中增強(qiáng)畫面質(zhì)量(例如銳度增強(qiáng)、分辨率增強(qiáng)等等)和/或減少視頻壓縮偽像。
因此，在解碼之后并且在顯示裝置上進(jìn)行顯示之前的視頻信號中，上述系統(tǒng)和方法可以增強(qiáng)質(zhì)量和/或減少視頻偽像。
然而，這樣的系統(tǒng)和方法存在幾個缺點。為使其能應(yīng)用于具有視頻顯示格式的經(jīng)過格式轉(zhuǎn)換的已解碼數(shù)字視頻信號而轉(zhuǎn)換視頻編碼量度(或多個量度)在計算上負(fù)擔(dān)較重。此外，偽像減少算法往往會在空間上相鄰的像素中尋找偽像。將這些算法應(yīng)用于隔行掃描視頻數(shù)據(jù)是相當(dāng)復(fù)雜的。此外，由畫面質(zhì)量增強(qiáng)和/或視頻壓縮偽像減少算法產(chǎn)生的結(jié)果的質(zhì)量被削弱。必須關(guān)于如何將用于幀速率為24幀/秒的逐行掃描信號的視頻編碼量度(或多個量度)應(yīng)用于例如視頻顯示速率為50或60場/秒的隔行掃描信號的各場作出假設(shè)。
因比，希望提供一種利用從已編碼數(shù)字視頻信號的編碼信息和/或其他特征得出的一個或多個視頻編碼量度來增強(qiáng)視頻質(zhì)量和/或減少偽像的改進(jìn)的系統(tǒng)和方法。本發(fā)明旨在解決這些問題當(dāng)中的一個或多個。
在本發(fā)明的一個方面中，一種處理數(shù)字視頻信號的方法包括對已編碼數(shù)字視頻信號進(jìn)行解碼，以便產(chǎn)生具有幀速率大約為24幀/鈔的逐行掃描格式的已解碼數(shù)字視頻信號；從該已編碼數(shù)字視頻信號中計算至少一個視頻編碼量度；利用所計算出的視頻編碼量度，對該具有幀速率大約為24幀/秒的逐行掃描格式的已解碼數(shù)字視頻信號執(zhí)行視頻質(zhì)量改進(jìn)算法，以便產(chǎn)生具有幀速率大約為24幀/秒的逐行掃描格式的經(jīng)過處理的已解碼數(shù)字視頻信號；已經(jīng)將該經(jīng)過處理的已解碼數(shù)字視頻信號從幀速率大約為24幀/秒的逐行掃描格式轉(zhuǎn)換為大約50場/秒或大約60場/秒的隔行掃描格式。
在本發(fā)明的另一個方面中，一種處理數(shù)字視頻信號以便在顯示裝置上進(jìn)行顯示的方法包括對已編碼數(shù)字視頻信號進(jìn)行解碼，以便產(chǎn)生具有視頻源格式的已解碼數(shù)字視頻信號；從該已編碼數(shù)字視頻信號中計算至少一個視頻編碼量度；利用所計算出的視頻編碼量度對具有所述視頻源格式的該已解碼數(shù)字視頻信號執(zhí)行視頻質(zhì)量改進(jìn)算法，以便產(chǎn)生具有該視頻源格式的經(jīng)過處理的已解碼數(shù)字視頻信號；以及將該經(jīng)過處理的已解碼數(shù)字視頻信號從該視頻源格式轉(zhuǎn)換為適于在該顯示裝置上進(jìn)行顯示的視頻顯示格式。
在本發(fā)明的另一個方面中，一種用于處理數(shù)字視頻信號以便在顯示裝置上進(jìn)行顯示的系統(tǒng)包括解碼器，其用于對已編碼數(shù)字視頻信號進(jìn)行解碼，以便產(chǎn)生具有源幀速率的已解碼數(shù)字視頻信號；視頻編碼量度計算模塊，其用于從該已編碼數(shù)字視頻信號中計算視頻編碼量度；后處理器，其利用所計算出的視頻編碼量度對具有所述源幀速率的該已解碼數(shù)字視頻信號執(zhí)行視頻質(zhì)量改進(jìn)算法，以便產(chǎn)生經(jīng)過處理的已解碼數(shù)字視頻信號；以及格式轉(zhuǎn)換器，其用于將該經(jīng)過處理的已解碼數(shù)字視頻信號從該源幀速率轉(zhuǎn)換為適于在該顯示裝置上進(jìn)行顯示的顯示幀速率。
圖1示出用于說明利用來自已編碼視頻信號的編碼信息來增強(qiáng)視頻信號和/或減少偽像的系統(tǒng)和方法的示例性框圖。
圖2示出用于說明根據(jù)本發(fā)明的一個或多個方面的利用來自已編碼視頻信號的編碼信息來增強(qiáng)視頻信號和/或減少偽像的系統(tǒng)和方法的示例性框圖。
圖2示出用于說明根據(jù)本發(fā)明的一個或多個方面的利用來自已編碼視頻信號的編碼信息來增強(qiáng)視頻信號和/或減少偽像的系統(tǒng)和方法的示例性框圖。
該已編碼數(shù)字視頻信號可以是利用MPEG-1、MPEG-2、MPEG-4、H.26x或任何其他所需的視頻編碼標(biāo)準(zhǔn)經(jīng)行了編碼的。為了易于解釋說明，在下文中將假設(shè)該已編碼視頻信號已經(jīng)根據(jù)MPEG-2標(biāo)準(zhǔn)進(jìn)行了編碼。此外，在圖2的例子中，該數(shù)字視頻信號表示以24幀/秒的源幀速率進(jìn)行了編碼的影片序列。
在方框210中，視頻解碼器對該已編碼或已壓縮數(shù)字視頻信號進(jìn)行解碼。方框210根據(jù)已被用于編碼該數(shù)字視頻信號的任何標(biāo)準(zhǔn)提供適當(dāng)?shù)慕獯a。方框210輸出具有視頻源格式(例如24幀/秒的逐行掃描)的已解碼數(shù)字視頻信號。對于本領(lǐng)域技術(shù)人員來說，這樣的視頻解碼器的操作和構(gòu)造是很容易理解的。
同時，在方框220中，視頻編碼量度計算模塊利用該已編碼數(shù)字視頻信號的編碼信息和/或其他特征為該已編碼數(shù)字視頻信號計算一個或多個視頻編碼量度。例如，當(dāng)該已編碼數(shù)字視頻信號是MPEG-2視頻數(shù)據(jù)流時，所述編碼信息可能包括量化參數(shù)(q_scale)和用于編碼亮度塊的比特數(shù)量(num_bits)等等。可以在該已編碼數(shù)字視頻信號的比特流中提供這種編碼信息。例如在2003年12月4日提交的題目為“A Unified Metric For Digital Video Processing(UMDVP)”的國際專利申請序列號IB2003/0057中描述了示例性算法。方框220輸出對應(yīng)于具有該視頻源格式(例如對于影片序列來說是24幀/秒)的已解碼數(shù)字視頻信號的所述一個或多個視頻編碼量度。
然后，在方框230中，通過在一個或多個畫面質(zhì)量增強(qiáng)和/或視頻壓縮偽像減少算法中采用所述量度(或多個量度)，后處理器利用所計算出的視頻編碼量度(或多個度量)來增強(qiáng)畫面質(zhì)量(例如銳度增強(qiáng)、分辨率增強(qiáng)等等)和/或減少已解碼數(shù)字視頻信號中的視頻壓縮偽像。有利的是，在該已解碼數(shù)字視頻信號仍然具有原來的視頻源格式時，該后處理器230對該已解碼數(shù)字視頻信號進(jìn)行操作。因此，在空間相鄰的像素中識別偽像的操作被簡化。此外，由于例如不必關(guān)于如何將對于幀速率為24幀/秒的逐行掃描信號獲得的量度(或多個量度)應(yīng)用于例如視頻顯示速率為50或60場/秒的隔行掃描信號的各場作出假設(shè)，因而由所述畫面質(zhì)量增強(qiáng)和/或視頻壓縮偽像減少算法(或多個算法)產(chǎn)生的結(jié)果的質(zhì)量得到了改善。
最后，在方框240中，格式轉(zhuǎn)換器將該經(jīng)過處理的已解碼數(shù)字視頻信號的該視頻源格式轉(zhuǎn)換為用于通過特定電視接收機(jī)或顯示裝置進(jìn)行顯示的適當(dāng)?shù)囊曨l顯示格式。在圖2的例子中，采用標(biāo)準(zhǔn)3∶2下拉算法將該經(jīng)過處理的已解碼數(shù)字視頻信號從24幀/秒的逐行掃描的視頻源格式轉(zhuǎn)換為大約60場/秒的隔行掃描視頻顯示格式?；蛘?，該顯示格式可以是大約50場/秒的隔行掃描，在這種情況下將替換地執(zhí)行2∶2下拉。方框240輸出具有視頻顯示格式(例如大約60場/秒或大約50場/佬的隔行掃描)的經(jīng)過格式轉(zhuǎn)換的、經(jīng)過處理的已解碼數(shù)字視頻信號。同樣地，對于本領(lǐng)域技術(shù)人員來說，實施3∶2或2∶2下拉算法的所述格式轉(zhuǎn)換器的操作和構(gòu)造是很容易理解的。
因此，上面描述的系統(tǒng)和方法能夠在視頻信號被解碼之后并且在顯示裝置上進(jìn)行顯示之前增強(qiáng)質(zhì)量和/或減少視頻信號中的視頻偽像。與圖1所示的系統(tǒng)和方法相比，顯著減輕了計算上的負(fù)擔(dān)。
雖然這里揭示了各實施例，但是在本發(fā)明的概念和范圍內(nèi)可以有多種變型。在閱讀了說明書、附圖和權(quán)利要求書后，對本領(lǐng)域普通技術(shù)人員來說，這些變型是顯而易見的。因此，除了在所附權(quán)利要求書的精神和范圍之內(nèi)，不對本發(fā)明進(jìn)行限制。
權(quán)利要求
1.一種處理數(shù)字視頻信號的方法，包括對已編碼數(shù)字視頻信號進(jìn)行解碼(210)，以便產(chǎn)生具有幀速率大約為24幀/秒的逐行掃描格式的已解碼數(shù)字視頻信號；從該已編碼數(shù)字視頻信號中計算(220)至少一個視頻編碼量度；利用所計算出的視頻編碼量度對具有幀速率大約為24幀/秒的逐行掃描格式的該已解碼數(shù)字視頻信號執(zhí)行視頻質(zhì)量改進(jìn)算法(230)，以便產(chǎn)生具有幀速率大約為24幀/秒的逐行掃描格式的經(jīng)過處理的已解碼數(shù)字視頻信號；以及將該經(jīng)過處理的已解碼數(shù)字視頻信號從幀速率大約為24幀/秒的逐行掃描格式轉(zhuǎn)換(240)為大約50場/秒或大約60場/秒的其中之一的隔行掃描格式。
2.如權(quán)利要求1所述的方法，其中，計算(220)至少一個視頻編碼量度包括計算用于數(shù)字視頻處理的統(tǒng)一量度(UMDVP)值。
3.如權(quán)利要求1所述的方法，其中，所述視頻編碼量度是利用量化參數(shù)或用于對所述已編碼數(shù)字視頻信號的亮度塊進(jìn)行編碼的比特數(shù)量當(dāng)中的至少一個來計算的。
4.如權(quán)利要求1所述的方法，其中，將所述經(jīng)過處理的已解碼視頻信號從幀速率大約為24幀/秒的逐行掃描格式轉(zhuǎn)換(240)為大約60場/秒的隔行掃描格式包括執(zhí)行3:2下拉算法。
5.如權(quán)利要求1所述的方法，其中，將所述經(jīng)過處理的已解碼視頻信號從幀速率大約為24幀/秒的逐行掃描格式轉(zhuǎn)換(240)為大約50場/秒的隔行掃描格式包括執(zhí)行2:2下拉算法。
6.一種處理數(shù)字視頻信號以用于在顯示裝置上進(jìn)行顯示的方法，包括對已編碼數(shù)字視頻信號進(jìn)行解碼(210)，以便產(chǎn)生具有視頻源格式的已解碼數(shù)字視頻信號；從該已編碼數(shù)字視頻信號中計算(220)至少一個視頻編碼量度；利用所計算出的視頻編碼量度對具有所述視頻源格式的該已解碼數(shù)字視頻信號執(zhí)行視頻質(zhì)量改進(jìn)算法(230)，以便產(chǎn)生具有該視頻源格式的經(jīng)過處理的已解碼數(shù)字視頻信號；以及將該經(jīng)過處理的已解碼數(shù)字視頻信號從該視頻源格式轉(zhuǎn)換(240)為適于在該顯示裝置上進(jìn)行顯示的視頻顯示格式。
7.如權(quán)利要求6所述的方法，其中，所述視頻源格式是大約24幀/秒的逐行掃描。
8.如權(quán)利要求6所述的方法，其中，所述視頻顯示格式是大約60場/秒的隔行掃描。
9.如權(quán)利要求6所述的方法，其中，所述視頻顯示格式是大約50場/秒的隔行掃描。
10.如權(quán)利要求6所述的方法，其中，計算(220)至少一個視頻編碼量度包括計算用于數(shù)字視頻處理的統(tǒng)一量度(UMDVP)值。
11.如權(quán)利要求6所述的方法，其中，所述視頻編碼量度是利用量化參數(shù)或用于對所述已編碼數(shù)字視頻信號的亮度塊進(jìn)行編碼的比特數(shù)量當(dāng)中的至少一個來計算的。
12.如權(quán)利要求6所述的方法，其中，將所述經(jīng)過處理的已解碼視頻信號從所述視頻源格式轉(zhuǎn)換(240)為所述視頻顯示格式包括執(zhí)行3:2下拉算法。
13.如權(quán)利要求6所述的方法，其中，將所述經(jīng)過處理的已解碼視頻信號從所述視頻源格式轉(zhuǎn)換(240)為所述視頻顯示格式包括執(zhí)行2:2下拉算法。
14.一種用于處理數(shù)字視頻信號以便在顯示裝置上進(jìn)行顯示的系統(tǒng)，包括解碼器(210)，其用于對已編碼數(shù)字視頻信號進(jìn)行解碼，以便產(chǎn)生具有源幀速率的已解碼數(shù)字視頻信號；視頻編碼量度計算模塊(220)，其用于從該已編碼數(shù)字視頻信號中計算視頻編碼量度；后處理器(230)，其利用所計算出的視頻編碼量度對具有所述源幀速率的該已解碼數(shù)字視頻信號執(zhí)行視頻質(zhì)量改進(jìn)算法，以便產(chǎn)生經(jīng)過處理的已解碼數(shù)字視頻信號；以及格式轉(zhuǎn)換器(240)，其用于將該經(jīng)過處理的已解碼視頻信號從該源幀速率轉(zhuǎn)換為適于在該顯示裝置上進(jìn)行顯示的顯示幀速率。
15.如權(quán)利要求14所述的系統(tǒng)，其中，所述視頻源格式是大約24幀/秒的逐行掃描。
16.如權(quán)利要求14所述的系統(tǒng)，其中，所述視頻顯示格式是大約50場/秒或大約60場/秒的隔行掃描。
17.如權(quán)利要求14所述的系統(tǒng)，其中，所述視頻編碼量度計算模塊(220)計算用于數(shù)字視頻處理的統(tǒng)一量度(UMDVP)值。
18.如權(quán)利要求14所述的系統(tǒng)，其中，所述提取的編碼信息包括量化參數(shù)或用于對所述已編碼數(shù)字視頻信號的亮度塊進(jìn)行編碼的比特數(shù)量當(dāng)中的至少一個。
19.如權(quán)利要求14所述的系統(tǒng)，其中，所述格式轉(zhuǎn)換器(240)執(zhí)行3:2下拉算法。
20.如權(quán)利要求14所述的系統(tǒng)，其中，所述格式轉(zhuǎn)換器(240)執(zhí)行2:2下拉算法。
全文摘要
一種處理數(shù)字視頻信號以用于在顯示裝置上進(jìn)行顯示的系統(tǒng)和方法，包括對已編碼數(shù)字視頻信號進(jìn)行解碼，以便產(chǎn)生具有視頻源格式的已解碼數(shù)字視頻信號；從該已編碼數(shù)字視頻信號中提取編碼信息；利用所提取的編碼信息對具有所述視頻源格式的該已解碼數(shù)字視頻信號執(zhí)行視頻質(zhì)量改進(jìn)算法，以便產(chǎn)生具有該視頻源格式的經(jīng)過處理的已解碼數(shù)字視頻信號；以及將該經(jīng)過處理的已解碼數(shù)字視頻信號從該視頻源格式轉(zhuǎn)換為適于在該顯示裝置上進(jìn)行顯示的視頻顯示格式。在所述視頻信號被解碼之后并且在該顯示裝置上進(jìn)行顯示之前，所述系統(tǒng)和方法增強(qiáng)其質(zhì)量和/或減少該視頻信號中的視頻偽像。
文檔編號H04N7/01GK1939063SQ200580010003
公開日2007年3月28日 申請日期2005年3月24日 優(yōu)先權(quán)日2004年3月29日
發(fā)明者S·達(dá)拉爾, Y·楊, L·博羅茨基, C·C·A·M·范宗 申請人:皇家飛利浦電子股份有限公司