專利名稱：視頻數(shù)據(jù)的面向邊緣內(nèi)插的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于視頻圖像的面向邊緣的空間內(nèi)插的方法和設(shè)備。
通過(guò)對(duì)面向邊緣的空間內(nèi)插和標(biāo)準(zhǔn)內(nèi)插的結(jié)果進(jìn)行比較，并利用面向邊緣內(nèi)插的可靠性對(duì)這些內(nèi)插結(jié)果進(jìn)行加權(quán)處理，使得內(nèi)插的輸出得到增強(qiáng)。這在空間縮放，去交織后生成逐行掃描視頻圖像，還有對(duì)于已去交織的圖像的后期處理中都是可行的。
當(dāng)在輸入視頻信號(hào)中一個(gè)視頻行上像素個(gè)數(shù)或者視頻行的數(shù)量與用于顯示所需的數(shù)目不同時(shí)，就必須進(jìn)行空間縮放。在隔行掃描的視頻信號(hào)需要去交織從而提供逐行掃描信號(hào)時(shí)，或者在顯示設(shè)備需要的長(zhǎng)寬比與原始信號(hào)可以提供的寬高比不同而進(jìn)行調(diào)整時(shí)都需要空間縮放。高質(zhì)量的空間縮放可以使用內(nèi)插低通濾波器進(jìn)行的上調(diào)來(lái)實(shí)現(xiàn)。在此濾波器中，首先將輸入的信號(hào)采樣，采樣頻率兩倍于需要的帶寬。對(duì)樣本進(jìn)行內(nèi)插然后通過(guò)填充零的辦法來(lái)進(jìn)行分樣。雖然輸入信號(hào)的帶寬沒(méi)有降低，但是也沒(méi)有額外的頻譜成分可以用來(lái)改善圖像質(zhì)量。
US 5,661,525描述了對(duì)于一系列視頻幀進(jìn)行轉(zhuǎn)換或去交織的一種方法和設(shè)備，這種方法和設(shè)備可以將使用隔行掃描格式表示的一系列視頻幀轉(zhuǎn)換成逐行掃描的格式。根據(jù)該公開(kāi)，在輸入的視頻圖像中執(zhí)行了多次內(nèi)插。需要精確內(nèi)插的像素在那些不需要精確內(nèi)插的像素之后進(jìn)行內(nèi)插。為了將預(yù)測(cè)出的像素值的誤差降低到最小，內(nèi)插就按照這個(gè)順序進(jìn)行。每次內(nèi)插都根據(jù)其估計(jì)的可靠性進(jìn)行加權(quán)。通過(guò)將被插值的數(shù)值加權(quán)，去交織幀的像素值只包含最小的誤差。
這種方法的缺點(diǎn)是計(jì)算量非常之大。通過(guò)使用不同內(nèi)插方法來(lái)進(jìn)行像素內(nèi)插，生成了大量數(shù)據(jù)。當(dāng)每個(gè)像素值都被加權(quán)后，計(jì)算開(kāi)銷就會(huì)增加，這就使得用于視頻圖像去交織的設(shè)備相當(dāng)昂貴。這種早期技術(shù)系統(tǒng)的另一個(gè)缺點(diǎn)是對(duì)于有些內(nèi)插方法，不容易估計(jì)出其可靠性。
本發(fā)明的目的是提供一種便宜的方法和設(shè)備，以用于在視頻圖像的現(xiàn)有像素之間進(jìn)行內(nèi)插，被內(nèi)插的視頻圖像不需要對(duì)于所有的內(nèi)插方法估計(jì)/計(jì)算可靠性。本發(fā)明由獨(dú)立的權(quán)利要求中進(jìn)行限定。附屬的權(quán)利要求書(shū)中限定了這種有優(yōu)勢(shì)的實(shí)施例。
有利的是，提供了一種快速內(nèi)插的手段，減少了需要的計(jì)算時(shí)間。
在面向邊緣的去交織或空間縮放的情況中，當(dāng)邊緣定位被錯(cuò)誤估計(jì)時(shí)就會(huì)有嚴(yán)重的假像出現(xiàn)。使用目前已知的方法無(wú)法避免這種邊緣定位中的檢測(cè)誤差，尤其是在圖像細(xì)節(jié)內(nèi)容很少的局部，這就需要進(jìn)行誤差校正。對(duì)于面向邊緣內(nèi)插的圖像，通過(guò)根據(jù)本發(fā)明混合不同內(nèi)插方法進(jìn)行的后期處理之后，就可以獲得好的計(jì)算結(jié)果。越是可靠的邊緣相關(guān)內(nèi)插法，使用不同內(nèi)插器的輸出就越少，反之亦然。通過(guò)混合內(nèi)插的結(jié)果，該輸出值至少和進(jìn)行后期處理之前一樣好。
在文章“使用邊緣信息進(jìn)行逐行掃描轉(zhuǎn)換”(Progressive scanconversion using edge information) T.Doyle和M.Looymans，HDTV信號(hào)處理(Signal Processing in HDTV)，II，L.Chiariglione(ed)，1990，pp.711-721中描述了一個(gè)適合在目前發(fā)明中應(yīng)用的邊緣相關(guān)內(nèi)插法的實(shí)例。
在檢測(cè)到長(zhǎng)的且清晰的邊緣時(shí)，邊緣相關(guān)內(nèi)插是一種可靠的方法。相對(duì)于那些圖像中細(xì)節(jié)不清楚和沒(méi)有邊緣的情況，這種情況下的輸出值就應(yīng)該有更高的加權(quán)。
根據(jù)權(quán)利要求2所述，第二組像素被優(yōu)選地內(nèi)插，因?yàn)檫@些內(nèi)插法確保健壯的內(nèi)插過(guò)程，從而得到良好結(jié)果。這些內(nèi)插法存在的模糊現(xiàn)象和其他缺點(diǎn)都得以減少。
根據(jù)權(quán)利要求3所述的方法是進(jìn)一步優(yōu)選的。通過(guò)不受健壯性問(wèn)題影響的一種健壯的內(nèi)插法可以改善邊緣相關(guān)內(nèi)插法的結(jié)果。這兩種內(nèi)插法的缺點(diǎn)在一定程度上是相同的，所以總的結(jié)果可以得到改善。當(dāng)將混合參數(shù)進(jìn)行這樣的設(shè)定，以便總體輸出和邊緣相關(guān)輸出的絕對(duì)差是沿邊緣的現(xiàn)有像素之間的恒定分?jǐn)?shù)倍時(shí)，所得的輸出就是健壯的。
根據(jù)權(quán)利要求4或5所述，進(jìn)一步提出了混合因數(shù)。通過(guò)調(diào)整混合因數(shù)，就可以調(diào)整輸出結(jié)果。該常量取決于現(xiàn)有像素之間的被內(nèi)插像素的空間位置，這些現(xiàn)有像素就是內(nèi)插的基礎(chǔ)。該方法的本質(zhì)是，輸出和邊緣相關(guān)內(nèi)插像素之間的絕對(duì)差等于用于邊緣相關(guān)內(nèi)插處理的原始像素的絕對(duì)差的固定倍數(shù)，如果內(nèi)插輸出位于內(nèi)插輸入中間的位置，這個(gè)倍數(shù)優(yōu)選為2。
根據(jù)權(quán)利要求6所述，混合因數(shù)取決于兩個(gè)值，第一是角度差，角度差用于衡量已經(jīng)被發(fā)現(xiàn)邊緣的精確程度；第二是環(huán)境差，尤其是垂直或水平方向的差，用于衡量角度內(nèi)插在這點(diǎn)的相關(guān)度。常數(shù)W可以用來(lái)強(qiáng)調(diào)角度或環(huán)境平均值之中的一個(gè)，強(qiáng)調(diào)哪個(gè)值取決于個(gè)人選擇和特定應(yīng)用的要求。這里優(yōu)選的是混合因數(shù)固定在1。
根據(jù)權(quán)利要求7所述，混合因數(shù)用于混合角度平均值和第二個(gè)內(nèi)插器的原始輸出值，這個(gè)第二內(nèi)插器可以是一個(gè)運(yùn)動(dòng)補(bǔ)償去交織器。只有一種去交織的方法提供誤差測(cè)量，而混合過(guò)程的完成則只能根據(jù)此測(cè)量而定。
本發(fā)明的另一個(gè)方面是在掃描率轉(zhuǎn)換器、視頻壓縮器、或者去交織設(shè)備、顯示系統(tǒng)或者電視中使用了所描述的一種裝置或方法。
參考下面描述的實(shí)施例，本發(fā)明的所述和其他方面將變得顯而易見(jiàn)。
在圖中

圖1顯示了一個(gè)顯示矩陣；圖2顯示了輸出像素的計(jì)算；和圖3顯示了執(zhí)行設(shè)備的框圖。
圖1描述了具有垂直行L和水平列C的顯示矩陣。每個(gè)行L和列C的交點(diǎn)都包含一個(gè)像素，像素的值是一個(gè)八位顏色，代表將被顯示圖像中的原始點(diǎn)。圖示的像素有a，b，c，d和e。像素a和b沿著圖像上的一條檢測(cè)邊緣。像素c，d在將被內(nèi)插的像素e周圍垂直排列。在隔行掃描的視頻信號(hào)中，每?jī)尚兄芯陀幸恍蠰不被傳輸，缺少的信息通過(guò)內(nèi)插產(chǎn)生，令內(nèi)插出的值接近于原始值是非常重要的。通過(guò)沿邊緣的像素a，b的內(nèi)插和垂直偏移于被內(nèi)插像素e的像素c，d的內(nèi)插，可以改善計(jì)算結(jié)果的正確性。
圖2中，顯示了計(jì)算輸出值F0(x，y，n)，該計(jì)算是通過(guò)將邊緣相關(guān)內(nèi)插的輸出Fi(x，y，n)和運(yùn)動(dòng)補(bǔ)償內(nèi)插的輸出Fi2(x，y，n)與混合因數(shù)k相加而計(jì)算出的。邊緣相關(guān)內(nèi)插法的輸出是Fi(x，y，n)，它取決于初始像素值a，b。當(dāng)檢測(cè)到內(nèi)插角度后，就可以從b預(yù)測(cè)出a，反之亦然。如果內(nèi)插像素e正好處于a，b之間，那么預(yù)測(cè)到的誤差就是直接使用a來(lái)預(yù)測(cè)b的誤差的一半。這就意味著正確的e值會(huì)偏離于通過(guò)內(nèi)插角計(jì)算出的值，但是此偏離比a，b使之間絕對(duì)差小兩倍。
當(dāng)改進(jìn)邊緣相關(guān)內(nèi)插法的健壯性時(shí)，就需要第二種不受健壯性問(wèn)題影響的內(nèi)插法。這種方法可以是沿著c，d的線性內(nèi)插。使用按照?qǐng)D2所示的混合器混合第二個(gè)內(nèi)插法的輸出Fi2(x，y，n)和邊緣相關(guān)內(nèi)插法的輸出Fi(x，y，n)，這里的K設(shè)定成使F0(x，y，n)和Fi(x，y，n)之間的絕對(duì)差等于像素b，a之間的絕對(duì)差的一半，就可以改善內(nèi)插的計(jì)算結(jié)果。
在形式上，混合因數(shù)通過(guò)下式計(jì)算|a-b|＝2*|F0(x，y，n)-Fi(x，y，n)|輸出可以進(jìn)一步定義為F0(x，y，n)＝k Fi(x，y，n)+(1-k)Fi2(x，y，n)這可以推導(dǎo)出(1-k)=|a-b|2|Fi2(x,y,n)-Fi(x,y,n)|+δ]]>σ用來(lái)保證除數(shù)不為零。這里優(yōu)選的是將k固定到1。分母中的因數(shù)2由a，b之間的距離關(guān)系決定。
圖3顯示的是一種改進(jìn)的內(nèi)插器的實(shí)現(xiàn)框圖。輸入信號(hào)1輸入到行存儲(chǔ)器2，行像素的值存儲(chǔ)在此，以供行間內(nèi)插使用。該輸入信號(hào)1進(jìn)一步供給邊緣相關(guān)內(nèi)插4和行內(nèi)插6。前一行的存儲(chǔ)的像素值從行存儲(chǔ)器2被提供給邊緣相關(guān)內(nèi)插4和行內(nèi)插6?；旌弦驍?shù)K和1-K是通過(guò)混合因數(shù)計(jì)算設(shè)備7計(jì)算得出的。邊緣相關(guān)內(nèi)插4的輸出Fi(x，y，n)與混合因數(shù)K加權(quán)。行內(nèi)插6的輸出與(1-K)加權(quán)。這些加權(quán)后的輸出值加在一起得到了輸出值F0(x，y，n)，通過(guò)顯示設(shè)備D顯示。
根據(jù)本發(fā)明將輸出值加權(quán)，就有可能按照當(dāng)前圖片的特性來(lái)提供內(nèi)插結(jié)果。在邊緣相關(guān)內(nèi)插法比其他內(nèi)插方法優(yōu)越時(shí)，其輸出就被加強(qiáng)，反之亦然。
值得注意的是，所述的實(shí)施例是為了舉例闡述而不是限制本發(fā)明，本領(lǐng)域的技術(shù)人員可以在不脫離所附的權(quán)利要求書(shū)范圍的情況下設(shè)計(jì)出很多種替換的實(shí)施例。在權(quán)利要求書(shū)中，任何在括號(hào)內(nèi)的附圖標(biāo)記都不應(yīng)被解釋為對(duì)于權(quán)利要求的限制?！鞍ā币辉~并不排除那些未在權(quán)利要求當(dāng)中列出的元件或步驟的存在。在某些元件前面的量詞“一個(gè)”不排除多個(gè)這樣元件的存在。本發(fā)明可以通過(guò)硬件手段實(shí)現(xiàn)，該硬件包括一些獨(dú)立元件，也可以通過(guò)適合于編程的計(jì)算機(jī)實(shí)現(xiàn)。在設(shè)備的權(quán)利要求中列舉了幾種裝置，其中的一些裝置可以通過(guò)一個(gè)或相同的硬件來(lái)實(shí)現(xiàn)。某些方法在互不相同的從屬權(quán)利要求中被敘述的事實(shí)并不意味著不能將這些方法結(jié)合后應(yīng)用以實(shí)現(xiàn)本發(fā)明的優(yōu)點(diǎn)。
權(quán)利要求
1.一種用于在視頻圖像的面向邊緣空間內(nèi)插中降低誤差的方法，該方法包括以下步驟在沿著所述視頻圖像中的空間邊緣的現(xiàn)有像素(a，b)之間計(jì)算第一內(nèi)插像素(F1)，在現(xiàn)有像素之間內(nèi)插第二內(nèi)插像素(F2)，計(jì)算混合因數(shù)(K)，該混合因數(shù)(K)反映所述第一內(nèi)插像素(F1)的可靠性，以及通過(guò)使用所述混合因數(shù)(K)混合所述第一內(nèi)插像素(F1)和所述第二組內(nèi)插像素(F2)，從而計(jì)算出輸出內(nèi)插像素(F0)。
2.如權(quán)利要求1所述的方法，其特點(diǎn)在于基于運(yùn)動(dòng)補(bǔ)償或運(yùn)動(dòng)適應(yīng)或線性內(nèi)插來(lái)計(jì)算所述的第二像素(F2)。
3.如權(quán)利要求1所述的方法，其特點(diǎn)在于測(cè)量在沿著所述空間邊緣的現(xiàn)有像素的像素值之間的第一絕對(duì)差，測(cè)量在所述輸出的內(nèi)插像素的像素值和所述第一內(nèi)插像素的像素值之間的第二絕對(duì)差，計(jì)算所述的混合因數(shù)，使得所述第二絕對(duì)差是所述第一絕對(duì)差的常數(shù)倍。
4.如權(quán)利要求3所述的方法，其特點(diǎn)在于當(dāng)所述內(nèi)插輸出像素的內(nèi)插位置在空間上處于沿所述邊緣的所述現(xiàn)有像素之間正中時(shí)，所述常數(shù)為2。
5.如權(quán)利要求3所述的方法，其特點(diǎn)在于所述常數(shù)取決于相對(duì)于沿所述邊緣的所述現(xiàn)有像素的空間位置。
6.如權(quán)利要求1所述的方法，其特點(diǎn)在于測(cè)量在沿著所述空間邊緣的現(xiàn)有像素的像素值之間的第一絕對(duì)差(|a-b|)，測(cè)量在空間上位于所述輸出像素周圍的像素值之間的第二絕對(duì)差(|c-d|)；并且計(jì)算所述混合因數(shù)，使得該混合因數(shù)為|a-b|/(w*|c-d|)，w是常數(shù)。
7.如權(quán)利要求1所述的方法，其特點(diǎn)在于計(jì)算所述的輸出像素值，使得F0＝k*F1+(1-k)*ab。
8.用于在視頻圖像的現(xiàn)有像素之間內(nèi)插像素的設(shè)備，該設(shè)備包括第一內(nèi)插裝置(4)，用于在沿著所述視頻圖像中的檢測(cè)到的邊緣的現(xiàn)有像素之間內(nèi)插第一像素(F1)，第二內(nèi)插裝置(6)，用于在現(xiàn)有像素之間內(nèi)插第二像素(F2)，計(jì)算裝置(7)，用于計(jì)算反映所述第一像素(F1)可靠性的混合因數(shù)(k)，以及混合設(shè)備(+)，用于按照所述的混合因數(shù)(k)來(lái)混合所述的第一內(nèi)插像素(F1)和所述的第二內(nèi)插像素(F2)，從而得到輸出信號(hào)(F0)。
9.顯示設(shè)備，包括一個(gè)如權(quán)利要求8所述的內(nèi)插裝置；和一個(gè)用于顯示輸出信號(hào)(F0)的顯示裝置(D)。
全文摘要
本發(fā)明涉及一種用于在視頻圖像中沿邊緣進(jìn)行內(nèi)插像素期間降低誤差的方法。通過(guò)結(jié)合兩種內(nèi)插方法(4，6)的輸出和只用一種內(nèi)插法的輸出計(jì)算出的混合因數(shù)(K)，可以進(jìn)一步改善內(nèi)插結(jié)果。把邊緣相關(guān)內(nèi)插估計(jì)的誤差應(yīng)用在通過(guò)第二種內(nèi)插方法獲得的像素上，輸出結(jié)果就得到改善。
文檔編號(hào)H04N5/44GK1582572SQ02821849
公開(kāi)日2005年2月16日 申請(qǐng)日期2002年10月18日 優(yōu)先權(quán)日2001年11月1日
發(fā)明者R·洛德, G·德哈安 申請(qǐng)人:皇家飛利浦電子股份有限公司