專利名稱：視頻信號的魯棒去隔行的制作方法
技術領域：
本發(fā)明涉及一種用于去隔行(特別是基于GST的去隔行)一個視頻信號的方法，包括為來自所述視頻信號的像素估計運動矢量、定義來自所述視頻信號的輸入像素的當前場以便用于計算一個內(nèi)插的輸出像素、以及從所述輸入像素的加權和計算一個內(nèi)插的輸出像素。本發(fā)明還涉及一種顯示設備和一種用于去隔行視頻信號的計算機程序。
去隔行是高端視頻顯示系統(tǒng)的主要的分辨率確定方式，重要的新興的非線性縮放技術(比如DRC和Pixel Plus)僅僅可以向所述系統(tǒng)添加更精細的細節(jié)。隨著新技術(比如LCD和PDP)的出現(xiàn)，在圖像分辨率中的限制不再存在于顯示設備本身中，而是存在于信源或傳輸系統(tǒng)中。同時，這些顯示器需要逐行掃描的視頻輸入。因此，高質(zhì)量的去隔行是在這樣的顯示設備中達到優(yōu)越的圖像質(zhì)量的重要的先決條件。
去隔行的第一步從P.Delonge等人的文章“Improved Interpolation，Motion Estimation and Compensation for Interlaced Pictures(用于隔行圖像的改進的內(nèi)插、運動估計和補償)”(IEEE Tr.on Im.Proc.，第三卷第五期，1994年9月，第482頁至第491頁)中可以得知。
該公開的方法也被稱為一般樣本原理(GST)去隔行方法。該方法在

圖1中示出。圖1示出在時間連續(xù)的n-1到n中、在偶數(shù)垂直位置y+4到y(tǒng)-4上的垂直線中的像素2的場。為了去隔行，需要兩個獨立的像素樣本組。通過將像素2從先前場n-1向當前時間事例n移動運動矢量4而到達運動補償?shù)南袼貥颖?來建立第一組獨立的像素樣本。第二組像素8位于奇數(shù)垂直線y+3到y(tǒng)-3上。除非運動矢量6足夠小，例如除非所謂的“臨界速度”出現(xiàn)(也就是導致兩個連續(xù)像素場之間的奇整數(shù)像素位移的速度)，像素樣本6和像素8就可以假定為獨立的。通過從當前場加權像素樣本6和像素8，輸出像素樣本10作為樣本的加權和(GST濾波器)而得到。
在數(shù)學上，輸出樣本像素10可以如下描述。將 用作圖像號n中的位置 處的像素的亮度值，并且將Fi用作缺少的線(例如奇數(shù)線)處的內(nèi)插的像素的亮度值，那么GST去隔行方法的輸出是Fi(x→,n)=ΣkF(x→-(2k+1)u→y,n)h1(k,δy)+]]>ΣmF(x→-e→(x→,n)-2mu→y,n-1)h2(m,δy)]]>其中用h1和h2定義GST濾波器系數(shù)。第一項表示當前場n，第二項表示先前場n-1。運動矢量 被定義為e→(x→,n)=dx(x→,n)2Round(dy(x→,n)2)]]>其中用Round()來舍入到最接近的整數(shù)值，并且垂直運動部分δy被定義為δy(x→,n)=|dy(x→,n)-2Round(dy(x→,n)2)|]]>該GST濾波器由線性GST濾波器h1和h2構(gòu)成，其取決于垂直運動部分 和子像素內(nèi)插器類型。
Delonge提出，只使用垂直內(nèi)插器，并且因此只在y方向中使用內(nèi)插。如果逐行圖像Fp是可獲得的，則用于偶數(shù)線的Fe能從奇數(shù)線的亮度值Fo確定Fe(z，n)＝(Fp(z，n-1)H(z))e＝Fo(z，n-1)Ho(z)+Fe(z，n-1)He(z)在z域中，F(xiàn)e是偶數(shù)圖像，而Fo是奇數(shù)圖像。于是Fo可被重寫為Fo(z,n-1)=Fo(z,n)-Fe(z,n-1)Ho(z)He(z)]]>其導致Fe(z，n)＝H1(z)Fo(z，n)+H2(z)Fe(z，n-1)線性內(nèi)插器可被寫作H1(z)=Ho(z)He(z)]]>當使用Sinc波形內(nèi)插器來導出濾波器系數(shù)時，所述線性內(nèi)插器H1(z)和H2(z)在k域中可被寫作h1(k)=(-1)ksinc(π(k-12))sin(πδy)cos(πδy)]]>h2(k)=(-1)ksinc(π(k+δy))cos(πδy)]]>當使用一階線性內(nèi)插器時，GST濾波器有三個抽頭。該內(nèi)插器使用幀柵格上的兩個相鄰像素。通過將樣本從先前時間幀移動到當前時間幀來導出濾波器系數(shù)。這樣，用于一階線性內(nèi)插器的線性區(qū)域在經(jīng)運動補償?shù)臉颖镜奈恢锰庨_始。當將該線性區(qū)域居中到最近的原始和經(jīng)運動補償?shù)臉颖镜闹行臅r，所得到的GST濾波器可以有四個抽頭。因此，GST濾波器的魯棒性增加了。
但是，當前GST濾波器不考慮位于水平方向中的任何像素。只有樣本像素的垂直鄰近的像素和來自時間先前場(例如經(jīng)運動補償)的像素被用于內(nèi)插像素樣本。
因此，本發(fā)明的一個目的是提供一種更魯棒的去內(nèi)插器。本發(fā)明的另一目的是提供一種用于提供更精確的像素樣本的去內(nèi)插器。
本發(fā)明通過提供一種用于去隔行視頻信號的方法來實現(xiàn)這些目標，其中根據(jù)所述估計的運動矢量的水平分量對來自輸入像素的所述當前場的至少第一像素進行加權，以用于計算所述內(nèi)插的輸出像素。
在2-D不可分離的GST濾波器中的水平內(nèi)插與GST垂直內(nèi)插的組合產(chǎn)生更魯棒的內(nèi)插器。因為視頻信號是時間和兩個空間方向的函數(shù)，所以處理兩個空間方向的去隔行產(chǎn)生更好的內(nèi)插。從而改進了圖像質(zhì)量。在所述內(nèi)插中使用的像素分布比只在垂直方向中的內(nèi)插更為緊密。這意味著用于內(nèi)插的像素在空間上靠近內(nèi)插的像素。為了內(nèi)插而從中征集像素的區(qū)域可以更小。通過使用基于GST的同時利用水平和垂直相鄰像素的去隔行，改進了內(nèi)插器的性價比。
運動矢量可以從視頻信號中的像素的運動分量中導出。運動矢量表示視頻圖像中的像素的運動方向。輸入像素的當前場可以是一組像素，其是視頻信號中的在時間上當前顯示的或者接收的一組像素。輸入像素的加權和可以通過根據(jù)內(nèi)插參數(shù)對輸入像素的亮度或色度值進行加權而獲得。
與垂直GST濾波器內(nèi)插相組合地執(zhí)行水平方向中的內(nèi)插可以產(chǎn)生10抽頭濾波器。這可以稱作1-D GST、4抽頭內(nèi)插器，其中的“4”僅是指垂直GST濾波器。如上所述，線性區(qū)域可以通過2-D線性區(qū)域為垂直和水平內(nèi)插而限定。在數(shù)學上，這可以通過找到一個頻譜的互易點陣(reciprocal lattice)來實現(xiàn)，其可以用一個簡單的等式來表示f→x→=1]]>其中f→=(fh,fv)]]>是x→=(x,y)]]>方向中的頻率。線性區(qū)域是對角線等于一個像素尺寸的正方形。在2-D情況中，所述點陣的位置可以在水平方向中自由移動。三角波內(nèi)插器的中心可以在水平方向中的位置x+p+δx處，其中p是任意整數(shù)。通過移動2-D線性區(qū)域，GST濾波器在水平方向中的孔徑可以增加。通過移動三角波內(nèi)插器的中心的垂直坐標y+m，可以實現(xiàn)具有5抽頭的內(nèi)插器。采樣的像素可以被表示為P(x,y,n)=-δy|δx|(1-|δx|)A(x-1,y+sign(δy),n)1-δy]]>-δy(|δx|2+(1-|δx|)2)A(x,y+sign(δy),n)1-δy]]>-δy|δx|(1-|δx|)A(x+1,y+sign(δy),n)1-δy]]>+(1-|δx|)C(x+δx,y+δy,n±1)+|δx|C(x+δx+sign(δx),y+δy,n±1)1-δy]]>其中A和C是對采樣的像素有貢獻的像素。
權利要求2的方法可以增加內(nèi)插器的魯棒性。水平相鄰的像素同樣可以對采樣的像素有貢獻。內(nèi)插因而同樣依賴于水平相鄰的像素。
權利要求3的方法導致使用不在2-D線性區(qū)域中的像素。因此，采樣的像素也依賴于空間上遠離該采樣的像素的像素值。
根據(jù)權利要求4的方法，限定輸入像素的先前場，這意味著時間上的先前圖像被用于限定輸入像素。先前場的輸入像素可以通過使用運動矢量而被運動補償。根據(jù)權利要求4，在運動補償時最靠近采樣像素的像素被用于計算采樣的輸出像素。
根據(jù)權利要求5，水平相鄰的垂直線可以被用于計算采樣的輸出像素。因此，垂直分量也被用于該采樣的輸出像素。
運動矢量的符號和絕對值可以根據(jù)權利要求6和7使用。
根據(jù)權利要求8(其中先前場、下一場和當前場的輸入像素被用于計算第一、第二和第三輸出像素并且其中最后的輸出像素是基于這些輸出像素的加權和而計算的)，時間和空間相鄰的像素可以被用于計算采樣的輸出像素。這增加了去隔行的魯棒性。
根據(jù)權利要求9的方法允許利用輸入像素之間的特定關系，所述輸入像素在時間上被當前像素分離。
本發(fā)明的另一方面是一種用于顯示去隔行的視頻信號的顯示設備，其包括用于估計像素的運動矢量的估計裝置；用于限定來自所述視頻信號的輸入像素的當前場以用于計算一個內(nèi)插的輸出像素的限定裝置；用于從所述輸入像素的加權和計算一個內(nèi)插的輸出像素的計算裝置；以及加權裝置，其用于根據(jù)所述估計的運動矢量的水平分量對來自所述輸入像素的當前場的至少第一像素進行加權，以便計算所述內(nèi)插的輸出像素。
本發(fā)明的另一方面是一種用于去隔行視頻信號的計算機程序，其適于使處理器執(zhí)行以下步驟為來自所述視頻信號的像素估計運動矢量；限定來自所述視頻信號的輸入像素的當前場以用于計算一個內(nèi)插的輸出像素；根據(jù)所述輸入像素的加權和計算一個內(nèi)插的輸出像素；以及根據(jù)所述估計的運動矢量的水平分量對來自所述輸入像素的當前場的至少第一像素進行加權，以用于計算所述內(nèi)插的輸出像素。
參照下面描述的實施例，本發(fā)明的這些和其它方面將是明顯的并且被說明，其中圖1示出根據(jù)GST去隔行的內(nèi)插；圖2示出一階線性內(nèi)插；圖3示出線性區(qū)域；圖4示出用于本發(fā)明內(nèi)插器的線性區(qū)域的位置，其中的像素對于輸出像素有水平貢獻；圖5示意性地示出本發(fā)明的方法；圖6示出本發(fā)明的顯示設備。
圖2示出一階線性內(nèi)插器的結(jié)果，其中與圖1中相同的附圖標記表示相同的元素。由于內(nèi)插的樣本像素10是相鄰像素的加權和，所以每個像素的權重應該通過內(nèi)插器來計算。在一階線性內(nèi)插器H(z)＝(1-δy)+δyz-1(其中0≤δy≤1)的情況下，內(nèi)插器H1(z)和H2(z)可以如下給出H1(z)=δy1-δyz-1]]>H2(z)=(1-δy)-(δy)21-δyz-2]]>運動矢量對于每個像素的加權可能是相關的。在給出每場0.5像素的運動的情況下(也就是δy＝0.5)，偶數(shù)場Fe(z，n)的逆z變換產(chǎn)生Fe(y，n)的空間-時間表示Fe(y,n)=Fo(y+1,n)+12Fe(y,n-1)-12Fe(y+2,n-1)]]>
如從圖2中所示，先前場n-1的相鄰像素2用0.5加權，當前場n的相鄰像素用1加權。如圖2中示出的一階線性內(nèi)插器產(chǎn)生一個三抽頭GST濾波器。以上計算假定幀柵格上的兩個相鄰像素之間的線性。在線性區(qū)域以最近的原始和經(jīng)運動補償?shù)臉颖緸橹行亩又械那闆r下，所得到的GST濾波器可以具有四個抽頭。在這些四抽頭GST濾波器中的附加抽頭增加了空間相鄰的樣本值的貢獻。被移動過運動矢量的來自當前場和先前/下一時間場的兩組獨立樣本可以用于根據(jù)現(xiàn)有技術的、只在垂直方向中的GST濾波。由于內(nèi)插器只能用在所謂的線性區(qū)域上，所以其具有一個像素的尺寸，抽頭的數(shù)量取決于線性區(qū)域的位置。這意味著在垂直方向中的高達四個相鄰像素可以用于內(nèi)插。
由于使用的像素更多就會獲得更好的結(jié)果，所以應該可能使用更多的像素。這可以通過使用位于采樣的像素的水平鄰近的像素來實現(xiàn)。當使用在水平方向被移動的像素時，一個平均值可以被用于內(nèi)插，它是Cav(x，y+δy，n±1)＝(1-|δx|)C(x+δx，y+δy，n±1)+|δx|C(x+sign(δx)+δx，y+δy，n±1)±符號是指在內(nèi)插中使用的是先前場還是下一場。這樣的水平內(nèi)插與垂直GST濾波器內(nèi)插的組合允許使用一個可分離的10抽頭濾波器。
為了同時使用垂直和水平方向中的像素，必須相應地選擇線性區(qū)域。特別在視頻信號中，其是時間和兩個空間方向的函數(shù)。因此，可能定義一種同等處理兩個空間方向的去隔行算法。
在考慮水平和垂直相鄰的像素的情況下，所述線性區(qū)域可以被限定為一個柵格，該柵格限定一個2-D線性區(qū)域。該2-D線性區(qū)域可以在頻譜的一個互易點陣中找到。
圖3分別示出頻域和空間域中的互易點陣12。點陣12限定一個現(xiàn)在是平行四邊形的線性區(qū)域。在 方向中以距離 分離的像素之間建立線性關系。另外，在1維內(nèi)插器中使用的三角形內(nèi)插器可以采用金字塔形內(nèi)插器的形狀。在垂直或水平方向中移動該線性區(qū)域?qū)е虏煌瑪?shù)量的濾波器抽頭。特別地，如果金字塔形內(nèi)插器以位置(x+p，y)為中心(其中p是任意整數(shù))，則可以得到1-D的情況。
在2-D情況下，水平方向中的點陣12的位置可以自由移動。最簡單的移動可以導致將金字塔形居中在水平方向中的位置x+p+δy處，其中p是任意整數(shù)。這導致水平方向中的GST濾波器的更大孔徑。在金字塔形內(nèi)插器的中心的垂直坐標是y+m的情況下，可以獲得5抽頭的內(nèi)插器。采樣的像素可以被表示為P(x,y,n,)=-δy|δx|(1-|δx|)A(x-1,y+sign(δy,n))1-δy]]>-δy(|δx|2+(1-|δx|)2)A(x,y+sign(δy),n)1-δy]]>-δy|δx|(1-|δx|)A(x+1,y+sign(δy),n)1-δy]]>+Cav(x+δx,y+δy,n+1)1-δy]]>如圖4中所示，可能內(nèi)插其位置相對于像素P(x，y，n)對稱的像素。如圖4a所示，這些像素可以是來自當前場的B(x-1，y-sign(δy)，n、B(x，y-sign(δy)，n)和B(x+1，y-sign(δy)，n)。另外可以從先前場和下一場選取D(x+δx，y-2sign(δy)+δy，n±1)、D(x+sign(δx)+δx，y-2sign(δx)+δy)+δy，n±1)。如圖4a中所示，5抽頭內(nèi)插器考慮上述像素值。當在運動矢量的方向上移動線性區(qū)域時，可以使用其它的值C(x+δx，y+δy，n±1)。
根據(jù)本發(fā)明，在水平方向上擴展對內(nèi)插有貢獻的像素的區(qū)域。從而內(nèi)插結(jié)果被改進，特別是對于具有對角線運動的序列。
圖5示出根據(jù)本發(fā)明的方法。在步驟50，從輸入視頻信號48估計運動矢量。在步驟52，對于當前場、先前場和下一場，輸入視頻信號48被劃分成線性區(qū)域。之后，在步驟54，根據(jù)運動矢量對使用運動矢量的水平分量的水平相鄰像素以及經(jīng)運動補償?shù)南袼剡M行加權。在步驟56，根據(jù)運動矢量對垂直相關的像素進行加權。
在步驟58，經(jīng)加權的像素值被相加并被內(nèi)插，從而得到一個內(nèi)插的像素樣本。當在視頻信號48中只傳送偶數(shù)線的像素時，該內(nèi)插的像素樣本可以被用于建立奇數(shù)線的像素。從而可以提高圖像質(zhì)量。
圖6示出一個顯示設備60。輸入視頻信號48被饋送到所述顯示設備60，并且在接收器62中被接收。接收器62將所接收的圖像提供到存儲器64。在運動估計器66中，從所述視頻信號估計運動矢量。來自當前場、先前場和下一場的像素被從存儲器64中取出，并且在加權裝置68被加權，特別是根據(jù)所估計的運動矢量而被加權。經(jīng)加權的像素值被提供到加法器70，其中計算一個加權和。所得到的值被饋送到輸出端72。
利用本發(fā)明的方法、計算機程序和顯示設備，可以提高圖像質(zhì)量，而無需增加傳輸帶寬。當可以獲得能夠比傳輸帶寬提供更高的分辨率的顯示設備時，本發(fā)明是特別相關的。
權利要求
1.用于對視頻信號進行去隔行、特別是基于GST的去隔行的方法，包括對于來自所述視頻信號的像素估計運動矢量；限定來自所述視頻信號的輸入像素的當前場，以便用于計算一個內(nèi)插的輸出像素；根據(jù)來自所述視頻信號的輸入像素的加權和計算一個內(nèi)插的輸出像素，其中根據(jù)所述估計的運動矢量的水平分量對來自所述輸入像素的當前場的至少第一像素進行加權，以用于計算所述內(nèi)插的輸出像素。
2.按照權利要求1的方法，其中為了計算所述輸出像素，與所述輸出像素相鄰的所述輸入像素的當前場中的單個線中的至少一個水平相鄰像素被加權。
3.按照權利要求1的方法，其中為了計算所述輸出像素，與所述當前場相鄰的輸入像素的一個場中的至少一個附加像素被加權。
4.按照權利要求1的方法，其中限定輸入像素的一個先前場，并且為了計算所述輸出像素，在用所述運動矢量的整數(shù)部分對所述先前場進行運動補償時表現(xiàn)為最靠近所述輸出像素的一個附加像素被加權。
5.按照權利要求1的方法，其中為了計算所述輸出像素，與所述輸出像素相鄰的所述當前場中的兩線當中的每一線中的至少三個水平相鄰像素分別被加權。
6.按照權利要求1的方法，其中所述像素加權取決于所述運動矢量的分數(shù)部分。
7.按照權利要求1的方法，其中所述像素加權取決于所述運動矢量的符號。
8.一種用于去隔行一個視頻信號的方法，其中根據(jù)權利要求1，基于來自當前場的至少一個像素來計算第一輸出像素；限定輸入像素的先前場，并且其中基于來自所述當前場的至少一個像素和來自所述先前場的至少一個像素計算第二輸出像素；限定輸入像素的下一場，并且其中基于來自所述當前場的至少一個像素和來自所述下一場的至少一個像素來計算第三輸出像素；以及基于所述第一輸出像素、所述第二輸出像素和所述第三輸出像素的加權和來計算所述輸出像素。
9.根據(jù)權利要求8的方法，其中基于所述第二輸出像素和所述第三輸出像素之間的關系來計算所述輸出像素。
10.用于顯示一個去隔行的視頻信號的顯示設備，包括估計裝置，用于估計像素的運動矢量；限定裝置，用于限定來自所述視頻信號的輸入像素的當前場，以便計算一個內(nèi)插的輸出像素；計算裝置，用于根據(jù)所述輸入像素的加權和計算一個內(nèi)插的輸出像素；以及加權裝置，用于根據(jù)所述估計的運動矢量的水平分量對來自所述輸入像素的當前場的至少第一像素進行加權，以用于計算所述內(nèi)插的輸出像素。
11.用于去隔行一個視頻信號的計算機程序，其適于使處理器執(zhí)行下列步驟對于來自所述視頻信號的像素估計運動矢量；限定來自所述視頻信號的輸入像素的當前場，以便計算一個內(nèi)插的輸出像素；根據(jù)所述輸入像素的加權和計算一個內(nèi)插的輸出像素；以及根據(jù)所述估計的運動矢量的水平分量對來自所述輸入像素的當前場的至少第一像素進行加權，以便計算所述內(nèi)插的輸出像素。
全文摘要
本發(fā)明涉及一種具有取決于運動矢量值的系數(shù)的內(nèi)插濾波器，其使用存在于當前場中的樣本和來自移動了運動矢量的一部分的相鄰場的附加樣本。使用來自其矢量不在一個垂直線上的當前場和經(jīng)運動補償?shù)南惹皥龅臉颖?，增強了去隔行的魯棒性。因此?nèi)插質(zhì)量可以更好，而無需增加輸入像素的數(shù)量。
文檔編號H04N5/44GK1846435SQ200480025378
公開日2006年10月11日 申請日期2004年8月25日 優(yōu)先權日2003年9月4日
發(fā)明者G·德哈安, C·休胡 申請人:皇家飛利浦電子股份有限公司