專利名稱：正交歸一時空變換的基于提升的實現(xiàn)方式的制作方法
技術(shù)領(lǐng)域：
本申請總地來說涉及視頻壓縮。更加具體地講，本發(fā)明涉及視頻編碼中的空域-時域變換。
版權(quán)聲明/許可本專利文獻的公開內(nèi)容的一部分包含受版權(quán)保護的素材。版權(quán)所有人不反對任何人對專利文獻或?qū)＠_文本按照它出現(xiàn)在專利和商標局專利文件或記錄中那樣對其進行拓制，但是對別的方式不管怎樣都保留所有的版權(quán)權(quán)益。此后的聲明適用于下文中介紹的和附圖中的軟件和數(shù)據(jù)Copyright2004，Sony Electronics，Inc.，保留所有版權(quán)。
背景技術(shù)：
大量當前的視頻編碼算法都基于運動補償預測編碼方案。按照這樣的方案，使用運動補償來降低時間冗余度，同時通過對運動補償?shù)臍堄嗖糠诌M行變換編碼來降低空間冗余度。運動補償預測編碼方案的一個組成部分是運動補償時域濾波(MCTF)，進行運動補償時域濾波是為了降低時間冗余度。
MCTF典型地包括沿著運動方向?qū)M行時域濾波。MCTF可以與空域變換(例如，小波和離散余弦變換(DCT))和熵編碼相結(jié)合，來創(chuàng)建編碼位流。
在時域濾波期間，由于場景中運動的性質(zhì)和對象的遮擋/未遮擋的影響，某些像素可能涉及不到或者可能涉及多次。涉及不到的像素稱為不相關(guān)(unconnected)像素，而多次涉及的像素稱為多次相關(guān)(connected)像素。由傳統(tǒng)MCTF算法進行的不相關(guān)像素處理一般來說需要特殊的處理，這種處理會導致編碼效率降低。在多次相關(guān)像素的情況下，傳統(tǒng)MCTF算法一般來說會將整個時域變換實現(xiàn)為一連串局部時域變換，這樣做會破壞變換的正交歸一化，在解碼器處造成量化噪聲傳播效應(yīng)。

發(fā)明內(nèi)容
介紹了一種用于對視頻幀進行編碼的方法和設(shè)備。一種示范性編碼方法包括使用正交歸一變換將一組像素共同變換成高通數(shù)據(jù)。該組像素包括至少一個參考像素和多個預測像素。該方法此外還包括使用參考像素和高通數(shù)據(jù)生成低通數(shù)據(jù)。


通過下面給出的詳細介紹并且通過本發(fā)明的各種實施方式的附圖，本發(fā)明將會得到更加完全的理解，不過，不應(yīng)將這些詳細介紹和附圖理解成是用來將本發(fā)明限制于具體的實施方式，而是僅僅用來解釋和進行理解。
附圖1是編碼系統(tǒng)的一種實施方式的框圖。
附圖2圖解說明示范性的相關(guān)、不相關(guān)和多次相關(guān)像素。
附圖3圖解說明多次相關(guān)像素的示范性時域濾波。
附圖4圖解說明示范性幀內(nèi)預測處理。
附圖5圖解說明可以采用正交歸一變換的示范性幀內(nèi)預測策略。
附圖6是按照本發(fā)明的某些實施方式利用正交歸一變換的編碼處理的流程圖。
附圖7是按照本發(fā)明的某些實施方式利用提升方案的編碼處理的流程圖。
附圖8圖解說明示范性雙向濾波。
附圖9是按照本發(fā)明的某些實施方式的對雙向濾波利用提升方案的編碼處理的流程圖。
附圖10是適于實現(xiàn)本發(fā)明的實施方式的計算機環(huán)境的框圖。
具體實施例方式
在下面的本發(fā)明的實施方式的詳細介紹中，對附圖進行了參照，在這些附圖中，相同的附圖標記代表相同的元件，并且在這些附圖中通過圖解說明而示出了可以實踐本發(fā)明的具體實施方式
。對這些實施方式進行了足夠詳細的介紹，以致使得本領(lǐng)域的技術(shù)人員能夠?qū)崿F(xiàn)本發(fā)明，并且要理解，也可以利用其它的實施方式，并且在不超出本發(fā)明范圍的前提下，可以進行邏輯上、機械上、電氣上、功能上和其它的改變。因此，不要從限定的意義上理解下面的詳細介紹，本發(fā)明的范圍僅僅由所附的權(quán)利要求限定。
我們從本發(fā)明的操作過程的概述開始。附圖1圖解說明編碼系統(tǒng)100的一種實施方式。編碼系統(tǒng)100依照諸如聯(lián)合視頻組(JVT)標準、運動畫面專家組(MPEG)標準、H-26x標準之類的視頻編碼標準進行視頻編碼。編碼系統(tǒng)100可以用硬件、軟件和二者的組合來實現(xiàn)。在軟件實現(xiàn)的情況下，編碼系統(tǒng)100可以在各種各樣的傳統(tǒng)計算機可記錄介質(zhì)上進行存儲和發(fā)布。在硬件實現(xiàn)的情況下，編碼系統(tǒng)100的各個模塊是用數(shù)字邏輯(例如，用集成電路)實現(xiàn)的。一些功能最好實現(xiàn)在計算機外圍的專用數(shù)字邏輯裝置中，以分擔主計算機的處理負擔。
該編碼系統(tǒng)100包括信號接收器102、運動補償時域濾波(MCTF)單元108、空域變換單元110和熵編碼器112。信號接收器102負責接收具有多幀的視頻信號和將單獨的幀傳遞給MCTF單元108。按照一種實施方式，信號接收器102將輸入視頻分成畫面組(GOP)，將其作為一個整體對其進行編碼。GOP可以包括預定數(shù)量的幀，或者GOP中幀的數(shù)量可以是在操作期間根據(jù)諸如帶寬、編碼效率和視頻內(nèi)容之類的參數(shù)動態(tài)確定的。例如，如果視頻由快速場景變化和高速運動組成，則使GOP較短會比較有效率，而如果視頻由大部分靜止的對象構(gòu)成，則使GOP較長會比較有效率。
MCTF單元108包括運動估測器104和時域濾波單元106。運動估測器104負責對所接收的幀進行運動估測。按照一種實施方式，運動估測器104將GOP的幀中的像素組或區(qū)域與同一GOP的其它幀中的相似像素組或區(qū)域進行匹配。因此，GOP中的其它幀是所處理的各個幀的參考幀。
按照一種實施方式，運動估測器104進行后向預測。例如，可以將GOP的一個或多個幀中的像素組或區(qū)域與同一GOP的一個或多個在前幀中的相似像素組或區(qū)域加以匹配。在這個例子中，GOP中的在前幀是所處理的各個幀的參考幀。
按照另一種實施方式，運動估測器104進行前向預測。例如，可以將GOP的一個或多個幀中的像素組或區(qū)域與同一GOP的一個或多個在后幀中的相似像素組或區(qū)域加以匹配。在這個例子中，GOP中的在后幀是所處理的各個幀的參考幀。
按照再另一種實施方式，運動估測器104進行雙向預測。例如，可以將GOP的一個或多個幀中的像素組或區(qū)域與同一GOP的在前和在后幀的相似像素組或區(qū)域都加以匹配。在這個例子中，GOP中的在前和在后幀是所處理的各個幀的參考幀。
上面介紹的匹配的結(jié)果是，運動估測器104向時域濾波單元106提供運動向量并且為時域濾波單元106識別相似像素或塊的集合。相似像素或塊的集合包括來自一個或多個參考幀的一個或多個參考像素或塊和正在加以預測的幀中的一個或多個預測像素或塊。
按照一種實施方式，對于預測幀中的某些塊或像素，運動估測器104可能在(多個)參考幀中找不到良好的預測依據(jù)。這樣的像素稱為不相關(guān)像素。附圖2中示出了相關(guān)、不相關(guān)和多次相關(guān)像素的例子。
參照附圖2，幀A是參考幀，而幀B是正在加以預測的幀。像素201、202和203是多次相關(guān)像素。像素204、205和206是不相關(guān)像素。剩下的像素是相關(guān)像素。
回過頭來再看附圖1，按照一種實施方式，運動估測器104為時域濾波單元106識別參考幀中的不相關(guān)像素，然后該時域濾波單元106進行不相關(guān)像素的特殊處理。另外，運動估測器104為空域變換單元110識別不相關(guān)像素，然后該空域變換單元110對它們進行如下所述的處理。
時域濾波單元106負責除掉依照運動向量的幀之間的時間冗余度和由運動估測器104提供的相似像素或塊的標識符。按照一種實施方式，時域濾波單元106為相似像素或塊的集合產(chǎn)生低通和高通系數(shù)。按照一種實施方式，時域濾波單元106通過使用正交歸一變換(比如，正交歸一變換矩陣)對多次相關(guān)像素或塊的集合進行共同變換為多次相關(guān)像素或塊產(chǎn)生低通和高通系數(shù)。按照另一種實施方式，使用提升方案來將多次相關(guān)像素的變換分成兩個步驟預測步驟和更新步驟。例如，預測步驟可以包括使用正交歸一變換將多次相關(guān)像素或塊的集合共同變換為高通系數(shù)，而更新步驟可以包括由一個或多個參考像素或塊和在預測步驟中產(chǎn)生的相應(yīng)的高通系數(shù)來生成一個或多個低通系數(shù)。
應(yīng)當理解，上面介紹的濾波技術(shù)并不局限于多次相關(guān)像素或塊，而是也可以對雙向相關(guān)的像素、多參考幀的像素和單向相關(guān)的像素進行。
空域變換單元110負責使用例如小波變換或離散余弦變換(DCT)降低由MCTF單元108提供的幀中的空間冗余度。例如，空域變換110可以依照2D小波變換將從MCTF單元108接收到的幀變換為小波系數(shù)。
按照一種實施方式，空域變換單元110負責進行幀內(nèi)預測(即，由幀內(nèi)的像素進行的預測)。幀內(nèi)預測可以例如對不相關(guān)像素或塊、在幀內(nèi)和幀外都有預測依據(jù)的像素或塊等進行。按照一種實施方式，其中幀內(nèi)預測是對不相關(guān)像素進行的，空域變換單元110在正在進行預測的幀內(nèi)找到不相關(guān)像素或塊的預測依據(jù)，并且進行不相關(guān)像素或塊和相關(guān)預測依據(jù)的共同變換。按照一種實施方式，空域變換單元110使用正交歸一變換(例如，正交歸一變換矩陣)生成不相關(guān)像素或塊的余量。
熵編碼器112負責通過對從空間變換單元110接收到的系數(shù)應(yīng)用熵編碼技術(shù)來創(chuàng)建輸出位流。熵編碼技術(shù)也可以應(yīng)用于由運動估測器104提供的運動向量和參考幀編號。將這一信息包含在輸出位流中，以便使得解碼能夠進行。適當?shù)撵鼐幋a技術(shù)的例子可以包括可變長編碼和算術(shù)編碼。
現(xiàn)在將結(jié)合附圖3更加詳細地討論多次相關(guān)像素的時域濾波。
參照附圖3，參考幀中的像素A與n個像素B1到Bn相關(guān)?，F(xiàn)有的時域濾波方法一般使用Haar變換對像素對A和B1進行第一次變換，以得到低通系數(shù)L1和高通系數(shù)H1。然后，對由A和像素B2到Bn之一組成的各個對重復進行這一局部變換，產(chǎn)生低通系數(shù)L2到Ln和高通系數(shù)H2到Hn，從中丟棄掉低通系數(shù)L2到Ln。結(jié)果，為像素A、B1、B2、...、Bn產(chǎn)生了低通系數(shù)L1和一組高通系數(shù)H1、H2、...、Hn。不過，這種局部變換的連續(xù)進行破壞了變換的正交歸一化，在解碼器處造成量化噪聲傳播效應(yīng)。
本發(fā)明的一種實施方式通過執(zhí)行多次相關(guān)像素(例如，像素A、B1、B2、...、Bn)的共同變換降低了MCTF中的量化噪聲傳播效應(yīng)。這一共同變換是使用正交歸一變換來進行的，該正交歸一變換可以是根據(jù)諸如Gram-Schmit正交歸一化處理、DCT變換之類的正交歸一化處理的應(yīng)用而開發(fā)出來的。變換的正交歸一屬性消除了量化噪聲傳播效應(yīng)。
按照一種實施方式，正交歸一變換是聯(lián)機創(chuàng)建的。按照另外一種可選方案，正交歸一變換是脫機創(chuàng)建的并且存儲在查詢表中。
按照一種實施方式，正交歸一變換是大小為(n+1)×(n+1)的變換矩陣，其中n是預測幀中預測像素的數(shù)量。正交歸一變換的輸入是多次相關(guān)像素(例如，A、B1、B2、...、Bn)，并且輸出是低通系數(shù)L1和高通系數(shù)H1、H2、...、Hn。利用3×3矩陣對附圖3中所示的多次相關(guān)像素A、B1和B2進行的示范性酉變換(unitarytransformation)可以表示為下式L10H10H20=13131326-16-16012-12AB1B2---(1)]]>其中L01是低通系數(shù)，而H10和H20是分別對應(yīng)于B1和B2的高通系數(shù)。
某些像素和塊可以使用幀內(nèi)預測來加以預測。幀內(nèi)預測可以例如對不相關(guān)像素或塊、在幀內(nèi)或幀外都具有預測依據(jù)的像素或塊等進行。例如，可以對在MTCF期間不能(例如，由MCTF單元108)從參考幀中找到好的預測依據(jù)的塊進行幀內(nèi)預測(即，由幀內(nèi)的像素進行預測)。附圖4表示可以例如由空域變換器110進行的像素的幀內(nèi)預測。
參照附圖4，使用像素A來預測像素X1、X2、X3和X4。該預測包括用余量(A，X1-A，X2-A，X3-A，X4-A)替換像素集合(A，X1，X2，X3，X4)。這樣的預測并不相當于像素的正交歸一變換，因此，會在解碼器處導致量化噪聲傳播效應(yīng)。
按照一種實施方式，將該組像素(A，X1，X2，X3，X4)共同變換為一組值，包括平均像素值和四個余值。這一共同變換是使用可以根據(jù)諸如Gram-Schmit正交歸一處理、DCT變換等之類的正交歸一處理的應(yīng)用開發(fā)出來的正交歸一變換進行的。變換的正交歸一屬性消除了量化噪聲傳播效應(yīng)。
按照一種實施方式，正交歸一變換是聯(lián)機創(chuàng)建的。按照另外一種可選方案，正交歸一變換是脫機創(chuàng)建的并且將其存儲在查詢表中。
按照一種實施方式，正交歸一變換是大小為(n+1)×(n+1)的變換矩陣，其中n是預測幀中預測像素的數(shù)量。正交歸一變換的輸入包括預測依據(jù)A和一組預測像素X1、X2、...、Xn，而輸出包括平均像素L和一組余量R1、R2、...、Rn。利用5×5矩陣對附圖4中所示的預測像素X1到X4進行的示范性酉變換可以表達為下式LR1R2R3R4=1515151515-4201201201201200-31311211211200-261616000-1212AX1X2X3X4---(2)]]>其中L是平均像素值，而R1到R4分別是像素X1到X4的余量。
正交歸一變換可以用于各種不同的幀內(nèi)預測策略，包括，例如，垂直預測、水平預測、左下對角線預測、右下對角線預測、垂直向右預測、水平向下預測、垂直向左預測、水平向上預測等等。附圖5表示可以采用正交歸一變換的示范性幀內(nèi)預測策略。
可以將用在表達式(1)或(2)中的矩陣重寫為大小為n的通用正交歸一變換矩陣，其中n代表預測像素的數(shù)量加一。大小為n的通用正交歸一變換矩陣的整數(shù)形式可以表達為下式
T=1111.....1-(n-1)111.....10-(n-2)11.....100-(n-3)1.....1::---:::---11---(3)]]>在下列表達式中可以給出相應(yīng)的輸入/輸出關(guān)系[LH1H2H3::]=[1111.....1-(n-1)111.....10-(n-2)11.....100-(n-3)1.....1::---:::---11][PY1Y2Y3::]---(4)]]>其中P是預測依據(jù)(這里也稱為參考像素)，像素(Y1，Y2，Y3，...)是由P進行預測的像素，L是低通數(shù)據(jù)(例如，低通系數(shù)或平均像素值)，而值(H1，H2，H3，...)是對應(yīng)于預測像素的高通數(shù)據(jù)(例如，高通系數(shù)或余值)。
按照一種實施方式，可以使用來自不同幀的預測依據(jù)和來自當前幀的預測依據(jù)來預測當前幀中的像素。按照這種實施方式，使用空域和時域預測的組合來創(chuàng)建余(高通)值，并且為解碼器提供了用于預測的模式。該模式可以指定時域預測、空域預測或空域和時域預測的組合。對于當前幀C0的高通余量可以表達為下式H0＝αP0+βP1-C0(5)其中P0是來自不同(參考)幀的預測依據(jù)，P1是來自同一幀的預測依據(jù)，并且α+β＝1，其中對于時域預測α＝1并且僅對于幀內(nèi)預測β＝1。
附圖6是按照本發(fā)明的某些實施方式利用正交歸一變換的編碼處理600的流程圖。處理600可以由附圖1的MCTF單元108或空域變換單元110執(zhí)行。處理600可以由這樣的處理邏輯來進行該處理邏輯可以包括硬件(例如，電路、專用邏輯等)、軟件(比如在通用計算機系統(tǒng)或?qū)Ｓ脵C器上運行的軟件)或二者的組合。
對于用軟件實現(xiàn)的處理，流程圖的說明使得本領(lǐng)域技術(shù)人員能夠開發(fā)出這些程序，這些程序包括在適當配置的計算機上實施這些處理的指令(計算機的處理器執(zhí)行來自計算機可讀介質(zhì)(包括存儲器)的指令)。計算機可執(zhí)行指令可以是用計算機編程語言寫成的，或者可以包含在固件邏輯中。如果用編程語言進行的編寫符合公認的標準，則這些指令可以在各種各樣的硬件平臺上運行并且可以針對各種各樣的操作系統(tǒng)運行。此外，本發(fā)明的實施方式不是針對任何一種編程語言來加以介紹的。將會意識到，可以使用各種各樣的編程語言來實現(xiàn)本文所闡述的教導。而且，在本領(lǐng)域中大家都知道，可以將具有這樣或那樣的形式(例如，程序、進程、處理、應(yīng)用程序、模塊、邏輯等)的軟件說成是采取行動或造成結(jié)果。這樣的表達方式僅僅是表述由計算機運行軟件促使計算機的處理器來進行行動或產(chǎn)生結(jié)果的簡述方式。將會意識到，在不超出本發(fā)明范圍的前提下，可以將或多或少的操作加入到本文所介紹的處理中，并且本文所給出和介紹的方框的排列方式并沒有暗示特定的順序。
參照附圖6，處理邏輯由識別一組相似的像素(處理方框602)開始。該組中的像素是相似的，因為它們由參考像素和可由這一參考像素預測出來的像素組成。按照一種實施方式，相似像素是在運動估測期間(例如，由運動估測器104)定義的，并且包括多次相關(guān)像素，其中參考像素來自第一(參考)幀并且預測像素來自第二(預測)幀。按照這種實施方式，處理600是以時域預測模式進行的。
按照另一種實施方式，相似像素是在空域變換期間(例如，由空域變換單元110)中定義的，并且包括來自同一幀的參考和預測像素(例如，在不相關(guān)像素的情況下)，按照這一另一種實施方式，處理600是以空域預測模式進行的。
在處理方框604中，處理邏輯使用正交歸一變換將該組相似像素共同變換為系數(shù)。按照一種實施方式，正交歸一變換是大小為(n+1)×(n+1)的變換矩陣，其中n是預測像素的數(shù)量。按照一種實施方式，正交歸一變換是使用Gram-Schmit正交歸一處理開發(fā)出來的。
按照一種實施方式，其中處理600是以時域預測模式進行的，在處理方框604中產(chǎn)生的系數(shù)包括低通值和一組與預測值對應(yīng)的高通值。
按照另一種實施方式，其中處理600是以空域預測模式進行的，在處理方框604中產(chǎn)生的系數(shù)包括平均像素值和一組與預測值對應(yīng)的余值。
應(yīng)當理解，處理600并不局限于像素的處理，而是也可用于處理幀區(qū)域(例如，在諸如JVT之類的基于塊的編碼方案中)。
按照某些實施方式，正交歸一變換是使用提升方案進行的。這樣的基于提升的實現(xiàn)方式分兩個步驟來完成生成低通和高通數(shù)據(jù)的任務(wù)預測步驟和更新步驟。在預測步驟中，由參考像素生成高通數(shù)據(jù)。在更新步驟中，使用參考像素和高通數(shù)據(jù)生成低通數(shù)據(jù)。當在時域預測模式下使用時，這種基于提升的實現(xiàn)方式有助于在編碼器處實現(xiàn)較為簡單的輸入到輸出的變換并且有助于在解碼器處實現(xiàn)較為簡單的從輸出到輸入的還原。
按照某些實施方式，基于提升的實現(xiàn)方式是針對幀內(nèi)預測以空域預測模式來使用的。這樣能夠?qū)崿F(xiàn)使用多個像素作為預測依據(jù)(例如，對一組像素Y1、...、Yn使用預測依據(jù)P1、...、Pm)，因為提升實現(xiàn)方式能夠創(chuàng)建相應(yīng)的多個平均像素值和余值。此外，基于提升的實現(xiàn)方式為運用遍布幀的幀內(nèi)預測提供了條件，因為它能夠?qū)崿F(xiàn)將預測依據(jù)塊重新用作其它塊的預測依據(jù)。隨后，在解碼器處，可以從經(jīng)過解碼的預測依據(jù)中恢復出相應(yīng)的平均像素值，并且可以使用反向的預測步驟還原出預測像素。
附圖7是按照本發(fā)明的某些實施方式利用提升方案的編碼處理700的流程圖。處理700可以由附圖1的MCTF單元108或空域變換單元110執(zhí)行。處理700可以由這樣的處理邏輯進行該處理邏輯包括硬件(例如，電路、專用邏輯等)、軟件(比如在通用計算機系統(tǒng)或?qū)Ｓ脵C器上運行的軟件)或二者的組合。
參照附圖7，處理邏輯由使用正交歸一變換將一組像素共同變換為高通數(shù)據(jù)(處理方框702)開始。該組像素包括一個或多個參考像素和可由參考像素預測出來的像素。按照一種實施方式，該組像素是在運動估測期間(例如，由運動估測器104)定義的，并且包括多次相關(guān)像素，其中參考像素來自于參考幀并且預測像素來自于預測幀。按照這種實施方式，處理700是以時域預測模式進行的。按照一種實施方式，運動估測利用子像素內(nèi)插處理。
按照另一種實施方式，該組像素是在空域變換期間(例如，由空域變換單元110)定義的，并且包括來自同一幀的參考和預測像素(例如，在不相關(guān)像素的情況下)。按照這一另一種實施方式，處理700是以空域預測模式進行的。
按照一種實施方式，正交歸一變換是大小為n×n的變換矩陣，其中n＝N+1，N是預測像素的數(shù)量。示范性正交歸一變換可以表達為輸入/輸出矩陣表達式(4)，只是沒有第一個等式。
按照一種實施方式，其中處理700是以時域預測模式進行的，在處理方框702中產(chǎn)生的高通數(shù)據(jù)包括一組與預測值對應(yīng)的高通值。
按照另一種實施方式，其中處理700是以空域預測模式進行的，在處理方框604中產(chǎn)生的高通數(shù)據(jù)包括一組與預測值對應(yīng)的余值。
在處理方框704中，處理邏輯使用(多個)參考像素和高通數(shù)據(jù)生成低通數(shù)據(jù)。用于生成低通數(shù)據(jù)的示范性表達式可以表示為L＝nP+H1(6)其中L可以是低通系數(shù)或平均像素值，P是相應(yīng)的預測依據(jù)，而H1可以是與第一預測像素對應(yīng)的高通系數(shù)或與第一預測像素對應(yīng)的余值。
按照一種實施方式，將基于提升的時域濾波的實現(xiàn)方式用于多參考幀和雙向濾波。附圖8圖解說明示范性雙向濾波。
參照附圖8，像素Yb11到Y(jié)b1N與像素X01和X21雙向相關(guān)關(guān)系(例如，它們與X01和X21的加權(quán)組合很好地匹配)。此外，像素Yu11到Y(jié)u1M與像素X01有單向相關(guān)關(guān)系。按照一種實施方式，分兩個步驟進行幀1中像素的時域濾波。
附圖9是按照本發(fā)明的某些實施方式對雙向濾波利用提升方案的編碼處理900的流程圖。處理900可以由附圖1的MCTF單元108執(zhí)行。處理900可以由這樣的處理邏輯進行該處理邏輯可以包括硬件(例如，電路、專用邏輯等)、軟件(比如在通用計算機或?qū)Ｓ脵C器上運行的軟件)或二者的組合。
在處理方框902中，處理邏輯使用正交歸一變換對雙向相關(guān)像素進行共同變換，以創(chuàng)建高通數(shù)據(jù)，和上面討論的預測步驟中一樣。例如，可以對雙向相關(guān)像素Yb11到Y(jié)b1N進行共同變換，以創(chuàng)建高通系數(shù)Hb11到Hb1N。用于這樣的濾波的示范性表達式可以表達為下式LHb11···Hb1N=DN-1/2ANαX01+βX21Yb11···Yb1N---(7)]]>其中α和β是像素X01和X21的線性組合所使用的加權(quán)值，而DN-1/2AN代表正交歸一變換矩陣(例如，表達式(3)的矩陣T)，其中DN-1/2是各項代表矩陣AN各行的范數(shù)(norm)的對角陣(用于正交歸一化)。
按照一種實施方式，結(jié)果得到的值L并沒有發(fā)送給解碼器，而是由重構(gòu)的像素X01和X21還原出來的。
接下來，處理邏輯使用正交歸一變換對單向相關(guān)像素進行共同變換，以創(chuàng)建相應(yīng)的的低通和高通數(shù)據(jù)。例如，可以對單向相關(guān)像素Yu11到Y(jié)u1M連同參考像素一起進行共同濾波，以創(chuàng)建相應(yīng)的低通值L01和高通值Hu11到Hu1M。用于這一濾波的示范性表達式可以是下式L01Hu11···Hu1M=DN-1/2AMX01Yu11···Yu1M---(8)]]>按照一種實施方式，解碼器使用相反的處理首先對與單向相關(guān)像素對應(yīng)的值Hu11到Hu1M和L01進行反向濾波，以還原出X01和Yu11到Y(jié)u1M，然后使用反向預測步驟可以恢復出雙向相關(guān)像素Yb11到Y(jié)b1N。
本領(lǐng)域的技術(shù)人員應(yīng)當理解，處理900并不局限于雙向濾波，并且不失一般性地可以用于多參考幀。
下面附圖10的說明是用來給出適用于實現(xiàn)本發(fā)明的計算機硬件和其它操作組成部分的概述，但并不是用來限制可應(yīng)用的環(huán)境。附圖10圖解說明適于用作附圖1的編碼系統(tǒng)100或者僅僅是MCTF單元108或空域變換單元110的計算機系統(tǒng)的一種實施方式。
計算機系統(tǒng)1040包括處理器1050、存儲器1055和與系統(tǒng)總線1065相連的輸入/輸出能力1060。存儲器1055配置成用于存儲指令，在這些指令由處理器1050執(zhí)行時，執(zhí)行本文介紹的方法。輸入/輸出1060還包括各種不同類型的計算機可讀介質(zhì)，包括可由處理器1050訪問的任何類型的存儲裝置。本領(lǐng)域技術(shù)人員會立即認識到，術(shù)語“計算機可讀介質(zhì)/媒介”此外還涵蓋了對數(shù)據(jù)信號進行編碼的載波。還會意識到，系統(tǒng)1040是由在存儲器1055中運行的操作系統(tǒng)軟件來控制的。輸入/輸出和相關(guān)媒介1060存儲著用于操作系統(tǒng)和本發(fā)明的方法的計算機可執(zhí)行指令。附圖1中所示的MCTF單元108或空域變換單元110可以是與處理器1050相連的獨立組成部分，或者可以用由處理器1050執(zhí)行的計算機可執(zhí)行指令來實現(xiàn)。按照一種實施方式，計算機系統(tǒng)1040可以是通過輸入/輸出1060經(jīng)因特網(wǎng)發(fā)送或接收圖像數(shù)據(jù)的I SP(因特網(wǎng)服務(wù)提供方)的一部分或與之相連。顯而易見，本發(fā)明并不局限于因特網(wǎng)訪問和基于網(wǎng)頁的因特網(wǎng)站點；也可以考慮直接連接和私人網(wǎng)絡(luò)。
將會意識到，計算機系統(tǒng)1040是很多具有不同體系結(jié)構(gòu)的可行計算機系統(tǒng)的一個例子。典型的計算機系統(tǒng)通常包括至少處理器、存儲器和將存儲器與處理器連起來的總線。本領(lǐng)域的技術(shù)人員立刻會意識到，本發(fā)明可以用其它計算機配置來實現(xiàn)，包括多處理器系統(tǒng)、迷你計算機、大型計算機等。本發(fā)明也可以在分布式運算環(huán)境下實現(xiàn)，在這種環(huán)境下，任務(wù)是由通過通信網(wǎng)絡(luò)鏈接起來的遠程處理裝置執(zhí)行的。
已經(jīng)介紹了選擇最佳比例因子的各種不同方面。雖然本文圖解說明和介紹了具體實施方式
，但是本領(lǐng)域的技術(shù)人員將會意識到，目的在于實現(xiàn)相同用途的任何方案都可以取代所給出的具體實施方式
。本申請目的是用來覆蓋本發(fā)明的任何修改或改變。
權(quán)利要求
1.一種計算機化編碼方法，包括使用正交歸一變換將一組像素共同變換為高通數(shù)據(jù)，該組像素包括至少一個參考像素和多個預測像素；和使用所述至少一個參考像素和高通數(shù)據(jù)生成低通數(shù)據(jù)。
2.按照權(quán)利要求1所述的方法，其中所述像素組是由運動估測處理定義的。
3.按照權(quán)利要求2所述的方法，其中高通數(shù)據(jù)包括一組高通系數(shù)，并且低通數(shù)據(jù)包括低通系數(shù)。
4.按照權(quán)利要求1所述的方法，其中正交歸一變換是變換矩陣。
5.按照權(quán)利要求4所述的方法，其中變換矩陣具有(n+1)×(n+1)的大小，其中n是所述多個預測像素的數(shù)量。
6.按照權(quán)利要求2所述的方法，其中所述像素組包括多次相關(guān)像素。
7.按照權(quán)利要求2所述的方法，其中所述至少一個參考像素來自于參考幀，所述多個預測像素來自于正在加以預測的幀。
8.按照權(quán)利要求1所述的方法，此外還包括定義所述像素組。
9.按照權(quán)利要求8所述的方法，其中所述至少一個參考像素和多個預測像素來自于正在加以預測的幀。
10.按照權(quán)利要求8所述的方法，其中所述多個系數(shù)包括平均像素值和一組余值。
11.按照權(quán)利要求9所述的方法，其中所述至少一個參考像素包括兩個或多個參考像素。
12.按照權(quán)利要求2所述的方法，其中運動估測處理采用子像素內(nèi)插。
13.一種計算機化編碼方法，包括使用正交歸一變換對多個雙向相關(guān)像素進行共同變換，以創(chuàng)建與所述多個雙向相關(guān)像素相對應(yīng)的高通數(shù)據(jù)，所述多個雙向相關(guān)像素包括來自于參考幀的參考像素和來自于預測真的第一組預測像素；和使用正交歸一變換對多個單向相關(guān)像素進行共同變換，以創(chuàng)建與所述多個單向相關(guān)像素對應(yīng)的低通和高通數(shù)據(jù)，所述多個單向相關(guān)像素包括參考像素之一和來自于預測幀的第二組預測像素。
14.按照權(quán)利要求13所述的方法，其中所述多個雙向相關(guān)像素和多個單向相關(guān)像素是由運動估測處理定義的。
15.按照權(quán)利要求13所述的方法，其中所述高通數(shù)據(jù)包括一組高通系數(shù)，所述低通數(shù)據(jù)包括低通系數(shù)。
16.按照權(quán)利要求13所述的方法，其中正交歸一變換是變換矩陣。
17.一種計算機可讀介質(zhì)，該計算機可讀介質(zhì)提供當在處理器上執(zhí)行時促使處理器執(zhí)行這樣一種方法的指令，該方法包括使用正交歸一變換將一組像素共同變換為高通數(shù)據(jù)，該組像素包括至少一個參考像素和多個預測像素；和使用所述至少一個參考像素和高通數(shù)據(jù)生成低通數(shù)據(jù)。
18.按照權(quán)利要求17所述的計算機可讀介質(zhì)，其中高通數(shù)據(jù)包括一組高通系數(shù)，并且低通數(shù)據(jù)包括低通系數(shù)。
19.按照權(quán)利要求17所述的計算機可讀介質(zhì)，其中正交歸一變換是變換矩陣。
20.按照權(quán)利要求17所述的計算機可讀介質(zhì)，其中所述像素組包括多次相關(guān)像素。
21.按照權(quán)利要求20所述的計算機可讀介質(zhì)，其中所述至少一個參考像素來自于參考幀，所述多個預測像素來自于正在加以預測的幀。
22.按照權(quán)利要求17所述的計算機可讀介質(zhì)，其中所述至少一個參考像素和多個預測像素來自于正在加以預測的幀。
23.按照權(quán)利要求22所述的計算機可讀介質(zhì)，其中所述多個系數(shù)包括平均像素值和一組余值。
24.按照權(quán)利要求22所述的計算機可讀介質(zhì)，其中所述至少一個參考像素包括兩個或多個參考像素。
25.一種計算機可讀介質(zhì)，該計算機可讀介質(zhì)提供當在處理器上執(zhí)行時促使處理器執(zhí)行這樣一種方法的指令，該方法包括使用正交歸一變換對多個雙向相關(guān)像素進行共同變換，以創(chuàng)建與所述多個雙向相關(guān)像素相對應(yīng)的高通數(shù)據(jù)，所述多個雙向相關(guān)像素包括來自于參考幀的參考像素和來自于預測真的第一組預測像素；和使用正交歸一變換對多個單向相關(guān)像素進行共同變換，以創(chuàng)建與所述多個單向相關(guān)像素對應(yīng)的低通和高通數(shù)據(jù)，所述多個單向相關(guān)像素包括參考像素之一和來自于預測幀的第二組預測像素。
26.按照權(quán)利要求25所述的計算機可讀介質(zhì)，其中所述多個雙向相關(guān)像素和多個單向相關(guān)像素是由運動估測處理定義的。
27.按照權(quán)利要求25所述的計算機可讀介質(zhì)，其中所述高通數(shù)據(jù)包括一組高通系數(shù)，所述低通數(shù)據(jù)包括低通系數(shù)。
28.按照權(quán)利要求25所述的計算機可讀介質(zhì)，其中正交歸一變換是變換矩陣。
29.一種計算機化系統(tǒng)，包括存儲器；和至少一個與存儲器相連的處理器，該至少一個處理器執(zhí)行這樣一組指令，該組指令促使所述至少一個處理器使用正交歸一變換將一組像素共同變換為高通數(shù)據(jù)，該組像素包括至少一個參考像素和多個預測像素；和使用所述至少一個參考像素和高通數(shù)據(jù)生成低通數(shù)據(jù)。
30.按照權(quán)利要求29所述的系統(tǒng)，其中高通數(shù)據(jù)包括一組高通系數(shù)，并且低通數(shù)據(jù)包括低通系數(shù)。
31.按照權(quán)利要求29所述的系統(tǒng)，其中正交歸一變換是變換矩陣。
32.按照權(quán)利要求29所述的系統(tǒng)，其中所述像素組包括多次相關(guān)像素。
33.按照權(quán)利要求29所述的系統(tǒng)，其中所述至少一個參考像素和多個預測像素來自于正在加以預測的幀。
34.按照權(quán)利要求33所述的系統(tǒng)，其中所述多個系數(shù)包括平均像素值和一組余值。
35.一種計算機化系統(tǒng)，包括存儲器；和至少一個與存儲器相連的處理器，該至少一個處理器執(zhí)行這樣一組指令，該組指令促使所述至少一個處理器使用正交歸一變換對多個雙向相關(guān)像素進行共同變換，以創(chuàng)建與所述多個雙向相關(guān)像素相對應(yīng)的高通數(shù)據(jù)，所述多個雙向相關(guān)像素包括來自于參考幀的參考像素和來自于預測真的第一組預測像素；和使用正交歸一變換對多個單向相關(guān)像素進行共同變換，以創(chuàng)建與所述多個單向相關(guān)像素對應(yīng)的低通和高通數(shù)據(jù)，所述多個單向相關(guān)像素包括參考像素之一和來自于預測幀的第二組預測像素。
36.按照權(quán)利要求35所述的系統(tǒng)，其中所述多個雙向相關(guān)像素和多個單向相關(guān)像素是由運動估測處理定義的。
37.按照權(quán)利要求35所述的系統(tǒng)，其中所述高通數(shù)據(jù)包括一組高通系數(shù)，所述低通數(shù)據(jù)包括低通系數(shù)。
38.按照權(quán)利要求35所述的系統(tǒng)，其中正交歸一變換是變換矩陣。
39.一種編碼設(shè)備，包括用于使用正交歸一變換將一組像素共同變換為高通數(shù)據(jù)的裝置，該組像素包括至少一個參考像素和多個預測像素；和用于使用所述至少一個參考像素和高通數(shù)據(jù)生成低通數(shù)據(jù)的裝置。
40.一種編碼設(shè)備，包括用于使用正交歸一變換對多個雙向相關(guān)像素進行共同變換、以創(chuàng)建與所述多個雙向相關(guān)像素相對應(yīng)的高通數(shù)據(jù)的裝置，所述多個雙向相關(guān)像素包括來自于參考幀的參考像素和來自于預測真的第一組預測像素；和用于使用正交歸一變換對多個單向相關(guān)像素進行共同變換、以創(chuàng)建與所述多個單向相關(guān)像素對應(yīng)的低通和高通數(shù)據(jù)的裝置，所述多個單向相關(guān)像素包括參考像素之一和來自于預測幀的第二組預測像素。
全文摘要
用于對視頻幀進行編碼的方法和設(shè)備(圖1)。按照一種實施方式，編碼方法包括使用正交歸一變換(圖1的110)將一組像素共同變換成高通數(shù)據(jù)(圖1的106)。該組像素包括至少一個參考像素和多個預測像素(圖2)。該方法此外還包括使用參考像素和高通數(shù)據(jù)(圖1的110)生成低通數(shù)據(jù)。
文檔編號H04B1/66GK1947346SQ200480038723
公開日2007年4月11日 申請日期2004年10月25日 優(yōu)先權(quán)日2003年10月24日
發(fā)明者D·S·圖拉加, R·普里, A·塔巴塔拜 申請人:索尼電子有限公司