專利名稱：采用運(yùn)動相關(guān)預(yù)測壓縮視頻信息的方法和裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及數(shù)字圖像信號處理領(lǐng)域，特別是用于壓縮選自一組運(yùn)動相關(guān)預(yù)測的視頻信息的方法和裝置。
視頻信息傳輸系統(tǒng)使用視頻壓縮來降低所傳送的視頻數(shù)據(jù)量。這就允許使用更少的傳輸帶寬、傳輸時(shí)間和存貯容量。壓縮視頻信息，例如包含在電視信號中的視頻信息的一種常用技術(shù)是減少在一個(gè)圖像序列的連續(xù)幀中出現(xiàn)的冗余瞬時(shí)圖像信息。冗余瞬時(shí)圖像信息是與靜態(tài)圖像部分或在連續(xù)幀之間只是經(jīng)過平移的圖像部分有關(guān)的信息。識別出這些圖像部分并對其編碼就從所發(fā)送的視頻數(shù)據(jù)中去除了大量冗余瞬時(shí)圖像信息。對發(fā)送的視頻數(shù)據(jù)適當(dāng)進(jìn)行編碼，使得在接收機(jī)中通過其它發(fā)送的圖像和插入這些經(jīng)過編碼的圖像部分來重建圖像。這種瞬時(shí)信息壓縮技術(shù)要求預(yù)測值由一幅圖像的各子塊相對于其它之前或之后圖像所發(fā)生的運(yùn)動程度構(gòu)成。這些被稱作運(yùn)動矢量的運(yùn)動預(yù)測值用于對視頻數(shù)據(jù)編碼。從而使得可以從過去或未來的圖像中預(yù)測出一幅圖像。這個(gè)過程被稱作運(yùn)動補(bǔ)償預(yù)測，并廣為人知。
使用運(yùn)動補(bǔ)償預(yù)測的一種常用視頻壓縮標(biāo)準(zhǔn)是MPEG(活動圖像專家組)圖像編碼標(biāo)準(zhǔn)(ISO/IEC 13818-2，1994年5月10日)。這種格式編碼的視頻數(shù)據(jù)由編碼后數(shù)據(jù)的連續(xù)圖像或幀的周期序列組成。有些圖像(I圖)是幀內(nèi)編碼的，也就是只使用本圖像內(nèi)部的信息進(jìn)行編碼。另一些圖像(P圖)進(jìn)行的是前向預(yù)測編碼，也就是使用來自過去的I圖或P圖的運(yùn)動補(bǔ)償預(yù)測進(jìn)行編碼。剩下的圖像(B圖)同時(shí)進(jìn)行前向和后向預(yù)測編碼，也就是說，它們使用來自過去或未來的I圖或P圖的運(yùn)動補(bǔ)償預(yù)測進(jìn)行編碼。因此P圖和B圖進(jìn)行的是預(yù)測編碼，從而使得從P或B圖得到的圖像再現(xiàn)要求有來自先前經(jīng)譯碼的I或P圖的信息。與此相反，I圖進(jìn)行的不是預(yù)測編碼，圖像可以從單個(gè)的I圖或幀中重現(xiàn)。
為了形成經(jīng)壓縮和預(yù)測編碼的MPEGP和B圖必須計(jì)算許多運(yùn)動矢量。這就產(chǎn)生了一個(gè)問題，因?yàn)檫\(yùn)動矢量計(jì)算是一項(xiàng)費(fèi)時(shí)、計(jì)算量繁重的工作。結(jié)果就要求有昂貴、復(fù)雜的硬件去完成產(chǎn)生發(fā)送的壓縮視頻數(shù)據(jù)所需要的運(yùn)動矢量計(jì)算。
根據(jù)本發(fā)明的理論所公開的視頻信號壓縮系統(tǒng)使用簡化的運(yùn)動矢量計(jì)算完成基于運(yùn)動矢量的預(yù)測。所公開的視頻信號壓縮系統(tǒng)計(jì)算一個(gè)或多個(gè)運(yùn)動矢量，并根據(jù)這些初始計(jì)算值外推所要求的其它運(yùn)動矢量值。外推的運(yùn)動矢量通過對初始計(jì)算的運(yùn)動矢量值進(jìn)行瞬時(shí)比例換算(scale)來計(jì)算。
樣本圖像，MPEG兼容型視頻輸入數(shù)據(jù)被轉(zhuǎn)換成輸入像素塊。為處于圖像指定區(qū)域內(nèi)的輸入像素塊確定最佳預(yù)測塊和相關(guān)運(yùn)動矢量。另外，為其它輸入像素塊確定候選預(yù)測塊。這是通過由前面確定的相關(guān)運(yùn)動矢量外推運(yùn)動矢量，并使用這些外推運(yùn)動矢量識別候選預(yù)測塊來進(jìn)行的。相互比較這些候選預(yù)測塊并選擇符合壓縮數(shù)據(jù)速率要求的一個(gè)塊。壓縮所選塊得到一個(gè)數(shù)據(jù)包格式的輸出塊，以提供壓縮視頻輸出數(shù)據(jù)。
作為本發(fā)明的一個(gè)特點(diǎn)，通過使用塊匹配搜索識別候選場預(yù)測塊和相關(guān)運(yùn)動矢量來確定候選MPEG場預(yù)測塊。其它運(yùn)動矢量由相關(guān)運(yùn)動矢量外推并用于識別其它場預(yù)測塊。
作為本發(fā)明的另一特點(diǎn)，給出了使用運(yùn)動矢量外推在輸出端提供壓縮視頻輸出塊的裝置。
附圖簡述在附圖中

圖1說明了場奇偶性相同(SFP)和場奇偶性相反(OFP)的運(yùn)動矢量所涉及的場特性關(guān)系。
圖2說明了將要編碼的圖像的左邊緣和上邊緣宏塊，對于該圖像計(jì)算了所需要的所有運(yùn)動矢量。
圖3說明了要編碼的圖像中當(dāng)前宏塊(CM)上方的塊(TB)和當(dāng)前宏塊左方的塊(LB)場奇偶性相同的情況。
圖4說明了要編碼的圖像中當(dāng)前宏塊上方的塊(TB)和當(dāng)前宏塊左方的塊(LB)具有混合場奇偶性的情況。
圖5-6表示的是流程圖，它們根據(jù)本發(fā)明詳細(xì)描述了使用簡化的運(yùn)動矢量計(jì)算確定用于壓縮的最佳預(yù)測宏塊的方法。
圖7說明了圖5-6流程圖中所用的運(yùn)動矢量比例換算。
圖8說明了圖5-6流程圖中用來改善運(yùn)動矢量估值的微擾搜索過程。
圖9表示一個(gè)流程圖，它用于根據(jù)本發(fā)明確定最佳幀預(yù)測宏塊和相關(guān)運(yùn)動矢量MVI。
圖10表示基于本發(fā)明理論的MPEG兼容型編碼器裝置。
MPEG標(biāo)準(zhǔn)允許用不同的方法對P圖和B圖預(yù)測編碼。每種方法都要求計(jì)算運(yùn)動矢量。要進(jìn)行預(yù)測編碼的圖像被分成塊(當(dāng)前塊)，使用計(jì)算出的運(yùn)動矢量在逐塊的基礎(chǔ)上對這些塊進(jìn)行預(yù)測。在MPEG標(biāo)準(zhǔn)中，這些塊被稱作宏塊，并將其大小定義為16×16個(gè)圖像元素(像素)。對于每個(gè)當(dāng)前預(yù)測的宏塊，可以使用諸如基于幀的、基于場的和“雙質(zhì)數(shù)”編碼產(chǎn)生幾個(gè)候選預(yù)測宏塊。從這些候選預(yù)測宏塊中選擇出某個(gè)當(dāng)前宏塊(CM)的最佳預(yù)測以進(jìn)行壓縮和傳輸。
MPEG標(biāo)準(zhǔn)的7.633節(jié)和表7-9、7-10定義了為產(chǎn)生候選P圖宏塊預(yù)測可以被計(jì)算的5個(gè)不同運(yùn)動矢量和用于候選B圖宏塊預(yù)測的10個(gè)不同運(yùn)動矢量(MPEG圖像編碼標(biāo)準(zhǔn)，ISO/IEC 13818-2，1994年5月10日)。在B圖預(yù)測中，5個(gè)P圖預(yù)測運(yùn)動矢量不僅用于前向預(yù)測，也用于后向預(yù)測。將要描述的本發(fā)明理論適用于10個(gè)B圖運(yùn)動矢量，但為簡單起見，只描述了P圖預(yù)測。
5個(gè)P圖運(yùn)動矢量定義如下。場運(yùn)動矢量MV2-MV5的場特性關(guān)系如圖1所示。運(yùn)動矢量MV2和MV3場奇偶性相同(SFP)，因?yàn)樗鼈兪遣煌瑘D像幀的同一場之間的矢量，每個(gè)矢量被稱作一個(gè)相同場奇偶性運(yùn)動矢量(SFPMV)。運(yùn)動矢量MV4和MV5場奇偶性相反(OFP)，因?yàn)樗鼈兪侨鐖D1所示不同圖像幀的不同場之間的矢量，每個(gè)矢量被稱作一個(gè)相反場奇偶性運(yùn)動矢量(OFPMV)。MV1—從當(dāng)前被編碼的圖像到被存貯圖像的幀運(yùn)動矢量。MV2—從當(dāng)前被編碼圖像的場1(f1)到所存圖像場1(f1)的運(yùn)動矢量(一個(gè)SFPMV)。MV3—從當(dāng)前被編碼圖像的場2(f2)到所存圖像場2(f2)的運(yùn)動矢量(一個(gè)SFPMV)。MV4—從當(dāng)前被編碼圖像的場2(f2)到所存圖像場1(f1)的運(yùn)動矢量(一個(gè)DFPMV)。MV5—從當(dāng)前被編碼圖像的場1(f1)到所存圖像場2(f2)的運(yùn)動矢量(一個(gè)OFPMV)。
圖5-6公開了一種根據(jù)本發(fā)明為一幀的每個(gè)當(dāng)前宏塊產(chǎn)生一個(gè)最佳預(yù)測宏塊的方法。這是通過使用簡化計(jì)算以得到所要求的運(yùn)動矢量來進(jìn)行的，因此允許使用更簡單、成本更低的硬件裝置。所獲得的優(yōu)點(diǎn)是在成本和大小受限的視頻編碼應(yīng)用，例如攝像機(jī)中特別具有價(jià)值。具體地說，圖5-6的方法在識別候選預(yù)測宏塊和得到其相關(guān)MV1-MV5運(yùn)動矢量及均方誤差(MSE)值時(shí)簡化了計(jì)算。候選預(yù)測塊MSE值是所計(jì)算的候選預(yù)測塊像素值和它所預(yù)測的當(dāng)前宏塊對應(yīng)像素值之間的均方誤差。盡管圖5-6的方法是在一個(gè)MPEG編碼系統(tǒng)的環(huán)境中描述的，本發(fā)明的理論也適用于其它視頻壓縮系統(tǒng)。
概括說來，在圖5跟隨在開始步驟10之后的步驟15中，為上邊緣和左邊緣的圖像宏塊確定最佳預(yù)測塊和相關(guān)運(yùn)動矢量MV1-MV5。然后在步驟23-70中，為其它當(dāng)前宏塊確定要編碼幀的場1和場2的兩個(gè)最佳場預(yù)測塊和相關(guān)場運(yùn)動矢量。這是通過使用本發(fā)明的方法由簡化計(jì)算來完成的。在步驟80中，其它圖像當(dāng)前宏塊的幀預(yù)測宏塊和相關(guān)幀運(yùn)動矢量MV1也被確定了。這是通過使用本發(fā)明的方法由簡化計(jì)算來完成的。最后在步驟85中，互相比較幀和場預(yù)測宏塊，根據(jù)MSE為剩下的每個(gè)圖像宏塊選擇符合傳輸系統(tǒng)數(shù)據(jù)速率要求的最佳預(yù)測塊。既可能為場預(yù)測宏塊，也可能為幀預(yù)測宏塊的所選最佳預(yù)測宏塊是最終被壓縮和傳輸?shù)暮陦K。
仔細(xì)研究圖5-6，被預(yù)測幀的當(dāng)前宏塊是圖5中跟隨步驟10開始之后的步驟15的輸入。在步驟15中，為幀中指定“參考區(qū)”內(nèi)的每個(gè)當(dāng)前宏塊確定最佳預(yù)測宏塊。在最佳實(shí)施例中，由如圖2所示幀的上邊緣和左邊緣組成的參考區(qū)域內(nèi)的當(dāng)前宏塊被確定。每個(gè)最佳預(yù)測宏塊是通過執(zhí)行完“塊匹配搜索”得到的。這種完全“塊匹配搜索”是一種在所存圖像中識別與當(dāng)前宏塊“最匹配”的搜索宏塊的已知方法。選擇這個(gè)“最匹配”搜索宏塊作為對應(yīng)當(dāng)前宏塊的預(yù)測宏塊。
在進(jìn)行塊匹配搜索時(shí)，比較當(dāng)前宏塊與被預(yù)測圖像區(qū)域內(nèi)的所有搜索宏塊。宏塊比較是通過計(jì)算每個(gè)搜索宏塊和當(dāng)前宏塊的MSE，該值作為兩個(gè)宏塊之間相關(guān)度的一標(biāo)志。選擇MSE值最低的“最匹配塊”作為預(yù)測宏塊。作為MSE的替代值，其它比較標(biāo)準(zhǔn)，例如平均絕對誤差(MAE)也可以作為相關(guān)量度用于塊匹配搜索或其它類型的選擇過程。
在步驟15中，使用塊匹配搜索過程確定上邊緣和左邊緣當(dāng)前宏塊的運(yùn)動矢量MV1-MV5。每個(gè)當(dāng)前宏塊的運(yùn)動矢量MV1-MV5由當(dāng)前宏塊和搜索過程識別出的對應(yīng)預(yù)測宏塊之間的矢量位移給出。所述塊匹配搜索過程是已知的，可以使用市場上可獲取的運(yùn)動預(yù)測集成電路，例如SG5ThomsonSTI3220器件實(shí)現(xiàn)。
然后確定圖像其它每個(gè)當(dāng)前宏塊的最佳預(yù)測宏塊和相關(guān)運(yùn)動矢量。步驟15規(guī)定按順序提取當(dāng)前宏塊，從被預(yù)測幀場1的左下方到右下方，接著是該幀的場2。這就確保當(dāng)前宏塊上方的塊(TB)和左邊的塊(LB)的最佳預(yù)測已經(jīng)確定。當(dāng)前宏塊也可以按滿足該要求的其它次序提取。
使用本發(fā)明的簡化計(jì)算確定場預(yù)測宏塊開始于步驟20。步驟20完成塊匹配搜索并通過執(zhí)行步驟23和70之間相應(yīng)的路徑流程計(jì)算運(yùn)動矢量MV2-MV5。首先為當(dāng)前宏塊的場1，然后為場2執(zhí)行步驟23及其后相應(yīng)的路徑流程。
在圖5的步驟23中，檢查當(dāng)前場中當(dāng)前宏塊TB和LB最佳預(yù)測宏塊的運(yùn)動矢量場奇偶性．例如，如果TB和TB的最佳預(yù)測宏塊都在各自圖像的場1(f1)或場2(f2)中，則TB是具有相同場奇偶性運(yùn)動矢量(SFPMV)的相同場奇偶性(SFP)宏塊。同樣，如果LB和LB的最佳預(yù)測宏塊在各自圖像的不同場內(nèi)，則LB是具有相反場奇偶性運(yùn)動矢量(OFPMV)的相反場奇偶性(OFP)宏塊。圖3說明了TB和LB都是SFB，也就是都有與當(dāng)前宏塊相同的場奇偶性的情況。圖4說明了TB是SFP宏塊，LB是OFP宏塊，也就是說TB和LB是混合場奇偶性的，具有混合場奇偶性運(yùn)動矢量(MFPMV)的情況。因此，取決于步驟23中TB和LB奇偶性的確定，TB和LB將或是都具有相同場奇偶性運(yùn)動矢量(SFPMV)，或是都具有相反場奇偶性運(yùn)動矢量(OFPMV)，或是具有混合場奇偶性運(yùn)動矢量(MFPMV)。如果TB和LB是SFPMV型的，執(zhí)行步驟25、30、32、35和37。同樣，如果TB和LB是OFPMV型的，執(zhí)行步驟45、50、52、55和57。如果TB和LB是MFPMV型的，執(zhí)行步驟65和70。在步驟70中，取決于具有最低MSE值的TB和LB宏塊運(yùn)動矢量場奇偶性，執(zhí)行SFPMV(步驟25-37)或OFPMV(步驟45-57)的路徑流程。
圖5-6的流程圖在步驟23之后將步驟25-70分成3條路徑。如果TB和LB最佳預(yù)測宏塊都是SFPMV型的，執(zhí)行第一條路徑(步驟25-37)。這樣步驟25的條件滿足，進(jìn)程繼續(xù)到步驟30。在步驟30中，執(zhí)行前面所述的已知塊匹配搜索。根據(jù)均方誤差(MSE)在當(dāng)前場中為當(dāng)前宏塊識別所存圖像中的一個(gè)最佳匹配宏塊。這種搜索是在與所預(yù)測幀中當(dāng)前宏塊場相同的所存圖像相關(guān)場(f1或f2)中進(jìn)行的。然后由當(dāng)前宏塊與所存圖像中最佳匹配宏塊之間的矢量位移計(jì)算相同場奇偶性運(yùn)動矢量(SFPMV)。
在步驟32中選擇比例換算系數(shù)K的優(yōu)化在步驟35中執(zhí)行的運(yùn)動矢量估值。在步驟32中，選擇對步驟30所得相同場奇偶性運(yùn)動矢量(SFPMV)線性比例換算的比例換算系數(shù)K，以給出對相反場奇偶性運(yùn)動矢量(OFPMV)的估值，根據(jù)當(dāng)前宏塊與對應(yīng)SFPMV的預(yù)測宏塊之間的過渡時(shí)間以及當(dāng)前宏塊與對應(yīng)OFPMV估值的預(yù)測宏塊之間的過渡時(shí)間的不同對SFPMV進(jìn)行線性比例換算。例如，圖7說明了兩種情況下確定用于估計(jì)OFPMV的K值，在例1中，對于宏塊中心點(diǎn)A(幀2，場1)和B(幀1，場1)之間算出的SFPMV1，求得K值為0.5，宏塊中心點(diǎn)A和B1(幀1，場2)之間的OFPMV1被估計(jì)為0.5*SFPMV1。這是因?yàn)樵谝患壗粕?，A和B1之間的時(shí)間(T)是A和B之間的時(shí)間(2T)的0.5。同樣在例2中，對于宏塊中心點(diǎn)C(幀2，場2)和D(幀1，場2)之間的SFPMV2，求得K值是1.5，宏塊中心點(diǎn)C和D1(幀1，場1)之間的OFPMV2被估計(jì)為1.5*FPMV2，這是因?yàn)樵谝患壗粕?，C和D1之間的時(shí)間(3T)是C和D之間的時(shí)間(2T)的1.5倍。這些例子中T是連續(xù)場之間的時(shí)間間隔，類似的瞬時(shí)比例換算運(yùn)動矢量估值用于“雙質(zhì)數(shù)”型預(yù)測(MPEG圖像編碼標(biāo)準(zhǔn)7.6、3.6節(jié)，ISO/IEC 13818-2，1994年5月10日)中。
盡管在最佳實(shí)施例中采用的是一級線性比例換算，也可以使用其它比例換算方法。前面討論的比例換算方法也可以很容易地?cái)U(kuò)展到諸如非連續(xù)圖像，和相隔時(shí)間可變的圖像之間的運(yùn)動矢量估值中去。這種比例換算還可以象MPEG“雙質(zhì)數(shù)”型預(yù)測中使用的那樣補(bǔ)償場奇偶性不同的行之間的垂直位移。盡管本發(fā)明是在由兩個(gè)隔行掃描場組成的圖像環(huán)境中描述的，但本發(fā)明及運(yùn)動矢量估值過程的理論也可用于由非隔行掃描(逐行掃描型)的幀序列構(gòu)成的圖像序列中。在這種序列中，序列中的每個(gè)圖像可以認(rèn)為是一幀。
在步驟35(圖5-6)中，如上述例1和例2所示步驟32所確定的K值與步驟30得到的SFPMV相乘以給出一個(gè)OFPMV估值。使用這個(gè)初始OFPMV估值在所存圖像中識別一個(gè)場預(yù)測宏塊。在步驟35中通過在圍繞所識別的宏塊中心的一個(gè)區(qū)域內(nèi)對(OFPMV)運(yùn)動矢量微擾以找到其它局部預(yù)測宏塊來進(jìn)一步優(yōu)化初始OFPMV估值。然后就可以通過計(jì)算這些局部預(yù)測塊對應(yīng)的MSE值識別最佳OFPMV估值。選擇MSE最低的局部宏塊作為最佳局部宏塊，選擇它所對應(yīng)的OFPMV作為最佳OFPMV值。
圖8描述了圍繞與初始識別宏塊對應(yīng)的中心像素(W)對初始OFPMV估值進(jìn)行的微擾。對以標(biāo)為“Z”的八個(gè)像素為中心點(diǎn)的八個(gè)宏塊進(jìn)行OFPMV微擾搜索。因此W的搜索區(qū)域可以擴(kuò)大或縮小以滿足系統(tǒng)對計(jì)算量的要求?？梢愿鶕?jù)估計(jì)質(zhì)量標(biāo)準(zhǔn)，例如OFPMVMSE值的幅度對微擾搜索進(jìn)行判決。微擾搜索區(qū)的大小同樣可以根據(jù)這一質(zhì)量標(biāo)準(zhǔn)變化。在流程圖(圖6)的步驟37中，選擇所識別的MSE值最低的SFPMV或OFPMV宏塊作為當(dāng)前場中當(dāng)前宏塊的最佳預(yù)測宏塊。
如果TB和LB最佳預(yù)測宏塊都是OFPMV型的，執(zhí)行圖5-6流程圖中跟隨在步驟23之后，包括步驟45-57的第二條路徑。如果步驟45的條件滿足執(zhí)行步驟50-57。步驟45-57與步驟25-37等效，只是在步驟50中計(jì)算OFPMV。這是通過執(zhí)行一次塊匹配搜索以在所存圖像與當(dāng)前宏塊所在場相反的場中識別一個(gè)最佳匹配宏塊來進(jìn)行的。然后，在步驟52確定比例換算系數(shù)K，以優(yōu)化步驟55執(zhí)行的從OFPMV估計(jì)SFPMV。使用步驟32所述方法，根據(jù)基于OFPMV和SFPMV當(dāng)前及預(yù)測宏塊之間過渡時(shí)間之間之差的線性比例換算確定比例換算系數(shù)K。在步驟55中，使用結(jié)合步驟35所描述的微擾搜索方法確定所存圖像中的最佳場預(yù)測宏塊、對應(yīng)的最佳SFPMV估值以及MSE值。在步驟57中，選擇所識別的MSE值最低的SFPMV或OFPMV宏塊作為當(dāng)前場中當(dāng)前宏塊的最佳預(yù)測宏塊。
如果TB和LB最佳預(yù)測宏塊是MFPMV型的，執(zhí)行圖5-6流程圖中跟隨在步驟23之后，包括步驟65和70的第三條路徑。如果步驟65的條件滿足，執(zhí)行步驟70。在步驟70中，比較TB和LB最佳預(yù)測宏塊的MSE值。MSE值最低的TB或LB最佳預(yù)測宏塊的場奇偶性類型(SFPMV或OFPMV)就被確定了。如果MSE值最低的TB或LB宏塊是SFPMV型的，執(zhí)行SFPMV路徑(步驟30-37)。如果MSE值最低的TB或LB宏塊是OFPMV型的，執(zhí)行OFPMV路徑(步驟50-57)。例如，如果在比較TB和LB最佳預(yù)測塊的MSE值時(shí)，LB預(yù)測宏塊有更低的MSE值而且是OFPMV型的，就執(zhí)行OFPMV路徑。
對當(dāng)前被預(yù)測幀的下一場重復(fù)步驟23-70所述的場預(yù)測過程。通過這種方法為當(dāng)前被預(yù)測幀每個(gè)宏塊的場1和場2都產(chǎn)生一個(gè)最佳預(yù)測宏塊及相關(guān)運(yùn)動矢量。
在步驟80中，為其余當(dāng)前宏塊確定幀預(yù)測宏塊及相關(guān)幀運(yùn)動矢量MV1。這是通過使用圖9流程圖中詳細(xì)描述的方法來進(jìn)行的。這種方法根據(jù)本發(fā)明簡化了計(jì)算。
在圖9跟隨步驟100開始之后的步驟105中，步驟37或57(圖6)中確定的當(dāng)前被編碼幀場1的SFPMV(SFPMV-f1)用于幀預(yù)測。在步驟105中，使用這個(gè)SFPMV-f1運(yùn)動矢量作為幀運(yùn)動矢量MV1為被預(yù)測的當(dāng)前宏塊在所存圖像中識別幀預(yù)測宏塊．在步驟110中，在圍繞由矢量SFPMV-f1識別的幀預(yù)測宏塊的所存圖像場1中執(zhí)行局部搜索。這樣做是為了優(yōu)化初始SFPMV-f1預(yù)測。進(jìn)行局部搜索的方法與前面所述用于步驟35和55(圖5)微擾搜索的方法相同。也就是說，計(jì)算其中心像素圍繞所識別的SFPMV-f1宏塊中心像素的八個(gè)宏塊的MSE值(圖9、步驟110)。在步驟115中，比較八個(gè)宏塊的MSE值，選擇MSE值最低的宏塊作為第一幀預(yù)測宏塊。同樣在步驟120中，計(jì)算在所存圖像場2內(nèi)其中心像素圍繞所識別的SFPMV-f1宏塊中心像素的八個(gè)宏塊的MSE值。在步驟125中，比較這八個(gè)宏塊的MSE值，選擇MSE值最低的宏塊作為第二幀預(yù)測宏塊。選擇MSE最低的第一或第二幀預(yù)測宏塊作為幀預(yù)測宏塊(MV1-f1)，選擇其對應(yīng)的運(yùn)動矢量作為MV1-f1運(yùn)動矢量(步驟125)。
在步驟130-150中基本是重復(fù)步驟105-125以確定場2幀預(yù)測宏塊(MV1-f2)和對應(yīng)的運(yùn)動矢量(MV1-f2)。在步驟130中，前面確定的(圖6步驟37或57)SFPMV-f2運(yùn)動矢量用作幀運(yùn)動矢量MV1為預(yù)測的當(dāng)前宏塊在所存圖像中識別幀預(yù)測宏塊。在步驟135中，在圍繞由矢量SFPMV-f2識別的幀預(yù)測宏塊的所存圖像場1中執(zhí)行局部搜索。在步驟135中計(jì)算其中心像素圍繞所識別的SFPMV-f2宏塊中心像素的八個(gè)宏塊的MSE值。在步驟140中比較這八個(gè)宏塊的MSE值，選擇MSE值最低的宏塊作為第三幀預(yù)測宏塊。在步驟145中，還要計(jì)算在所存圖像場2內(nèi)其中心像素圍繞所識別的SFPMV-f2宏塊中心像素的八個(gè)宏塊的MSE值。在步驟150中比較這八個(gè)宏塊的MSE值，選擇MSE值最低的宏塊作為第四幀預(yù)測宏塊。另外，選擇MSE值最低的第三或第四幀預(yù)測宏塊作為幀預(yù)測宏塊(MV1-f2)，選擇其對應(yīng)的運(yùn)動矢量作為MV1-f2運(yùn)動矢量(步驟150)。然后在步驟155中，選擇場1和場2組合MSE值最低的MV1-f1或MV1-f2宏塊作為最佳幀預(yù)測宏塊。對應(yīng)的MV1-f1或MV1-f2矢量是對應(yīng)的MV1幀預(yù)測運(yùn)動矢量。這樣圖9的幀預(yù)測流程就完成和結(jié)束了(步驟160)。
完成圖9流程(圖6步驟80)之后，繼續(xù)執(zhí)行圖6的步驟85。在步驟85中，根據(jù)MSE比較當(dāng)前宏塊的最佳幀和最佳場預(yù)測宏塊。如果選擇判決不受數(shù)據(jù)速率控制要求限制，就選擇場1和場2組合MSE值最低的最佳幀或最佳場預(yù)測宏塊用于傳輸。但是如果數(shù)據(jù)速率控制要求表明還需要進(jìn)一步的數(shù)據(jù)壓縮，就選擇符合允許數(shù)據(jù)速率要求的最佳預(yù)測宏塊用于傳輸。例如，可以傳輸壓縮度更高的幀預(yù)測宏塊而不是仍要求更高壓縮的場預(yù)測宏塊。一旦在步驟85選定用于傳輸?shù)暮陦K，確定用于壓縮的最佳預(yù)測宏塊的過程就完成和結(jié)束了(步驟95)。
盡管圖5-6給出了從候選場或幀預(yù)測宏塊中選擇最佳預(yù)測宏塊的一種方法，還可以使用其它類型的預(yù)測提供更多候選塊。例如，可以在步驟80(圖6)幀預(yù)測之前或之后使用“雙質(zhì)數(shù)”預(yù)測提供其它候選宏塊。然后在步驟85中就不是從前面描述的場和幀候選宏塊中而是從幀、場和雙質(zhì)數(shù)預(yù)測候選宏塊中選擇最佳預(yù)測塊。另外，本發(fā)明并不限于圖5-6中描述的步驟執(zhí)行次序?？梢圆捎媚軌?yàn)槊總€(gè)當(dāng)前宏塊產(chǎn)生一個(gè)最佳預(yù)測宏塊的任意次序。
圖10表示適合使用本發(fā)明原理的MPEG兼容型壓縮器裝置。圖5-6的方法由移動估值器85與預(yù)測單元95聯(lián)合實(shí)現(xiàn)。簡單地說，我們知道變換器57把像素亮度值形式的數(shù)字視頻信號轉(zhuǎn)換成將被編碼的當(dāng)前宏塊。當(dāng)前宏塊是數(shù)據(jù)壓縮器60的輸入。圖10系統(tǒng)工作在這樣一種已知環(huán)境中，由單元57提供當(dāng)前宏塊是受控的，例如受單元57中控制緩沖器控制。這樣做是為了能完成一次宏塊預(yù)測操作并產(chǎn)生每個(gè)當(dāng)前宏塊的輸出被壓縮塊。壓縮器60對每個(gè)當(dāng)前宏塊進(jìn)行場和幀宏塊預(yù)測，并以解壓縮形式在預(yù)測單元95的存儲器91中存儲所得宏塊預(yù)測結(jié)果。這些預(yù)測是可以從中為當(dāng)前宏塊選擇最佳宏塊預(yù)測的“候選”預(yù)測。預(yù)測單元95中的選擇器97從存儲器91存儲的場和幀候選預(yù)測中選擇用于傳輸?shù)淖罴杨A(yù)測宏塊。然后通過減法器65從預(yù)測的對應(yīng)當(dāng)前宏塊中減去最佳預(yù)測宏塊。單元70對減法器所得剩余值進(jìn)行壓縮，以提供用于傳輸進(jìn)一步處理的輸出數(shù)據(jù)。對每個(gè)當(dāng)前宏塊重復(fù)這一過程。
在更詳細(xì)地描述圖10編碼器裝置的操作時(shí)，只討論壓縮器60對I圖和P圖宏塊的操作。圖10裝置的工作原理很容易適應(yīng)B圖宏塊的操作。首先，假定I圖預(yù)測是基于幀的預(yù)測，I幀宏塊不經(jīng)改變地通過減法器65到達(dá)編碼單元70。我們已知單元70要對8×8像素塊進(jìn)行離散余弦變換(DCT)以產(chǎn)生DCT系數(shù)。然后這些系數(shù)在單元70中量化。DCT和單元70中量化的組合使得許多DCT頻率系數(shù)為零。然后單元70對系數(shù)進(jìn)行游程統(tǒng)計(jì)編碼，產(chǎn)生很長的連零以使所產(chǎn)生的輸出數(shù)據(jù)最少。因此，單元70通過去除輸入宏塊數(shù)據(jù)空間冗余壓縮I幀宏塊。對每個(gè)當(dāng)前宏塊重復(fù)這一過程。所得壓縮I幀宏塊系列由格式器100處理，它將來自單元70的壓縮宏塊編排成包括含有識別代碼的信息頭及其它信息的數(shù)據(jù)包。
來自單元70的壓縮I幀宏塊還被提供給解壓縮器75，它完成DCT和單元70執(zhí)行的量化過程的反向變換。單元75的輸出是對壓縮器60輸入I幀宏塊的重建。然后解壓縮的I幀宏塊不經(jīng)改變地通過加法器80并在存儲器90中存儲用于其后P幀宏塊的預(yù)測壓縮。重復(fù)上述I幀宏塊壓縮過程直到一個(gè)完整的I幀宏塊存儲在存儲器90中。
對于P幀預(yù)測，被預(yù)測的輸入P幀當(dāng)前宏塊被加到運(yùn)動估值器85上。單元85使用圖5-6的方法確定當(dāng)前宏塊的場和幀運(yùn)動矢量。為此，TB和LB宏塊的場奇偶性，也就是SFPMV或OFPMV型，與TB和LB宏塊MSE值被存儲在圖10單元85內(nèi)的存儲區(qū)(未詳細(xì)標(biāo)出)中。被編碼幀左邊緣和上邊緣宏塊的同樣信息也被存儲下來。所要求的附加存儲區(qū)極小，因?yàn)閷γ總€(gè)宏塊用四個(gè)(或更少)八比特字節(jié)存儲MSE值和場奇偶性就足夠了。通過優(yōu)化當(dāng)前宏塊被預(yù)測的次序可以使所要求的存儲區(qū)最小。
單元85(圖10)執(zhí)行圖5-6流程圖中到步驟80的進(jìn)程，以為當(dāng)前宏塊提供兩個(gè)場預(yù)測和一個(gè)幀預(yù)測宏塊的運(yùn)動矢量。為了執(zhí)行圖5-6的流程，單元85使用所存儲的TB和LB信息。另外，單元85對存儲器90中所存幀的宏塊訪問以進(jìn)行所要求的塊匹配搜索。單元85根據(jù)當(dāng)前宏塊與圖10存儲器90中所存宏塊的已知瞬時(shí)關(guān)系確定K值(圖5步驟32和52)。然后單元85使用所求得的K值進(jìn)行如前所述圖5步驟35和55所要求的運(yùn)動估值。根據(jù)圖5-6使用這些技術(shù)如上所述地執(zhí)行其它流程步驟，以產(chǎn)生兩個(gè)場預(yù)測和一個(gè)幀預(yù)測宏塊的運(yùn)動矢量。
一旦執(zhí)行完流程圖步驟80(圖5-6)，由單元85產(chǎn)生的兩個(gè)場預(yù)測宏塊和一個(gè)幀預(yù)測宏塊的運(yùn)動矢量就由預(yù)測單元95中的提取器93所使用。提取器93使用這些運(yùn)動矢量從存儲器90所存的幀中提取兩個(gè)場預(yù)測宏塊和一個(gè)幀預(yù)測宏塊。這些場和幀預(yù)測宏塊與當(dāng)前宏塊最相似，由提取器93作為候選預(yù)測宏塊存儲在存儲器91中，該實(shí)施例可以很容易地?cái)U(kuò)展，包括其它預(yù)測，例如如前所述的“雙質(zhì)數(shù)”預(yù)測。這種情況下存儲器91還將包括“雙質(zhì)數(shù)”預(yù)測候選宏塊。
選擇器97(圖10)執(zhí)行圖5-6流程圖的步驟85，選擇一個(gè)候選預(yù)測作為最佳宏塊預(yù)測。選擇器97根據(jù)MSE值選擇符合允許傳輸數(shù)據(jù)速率要求的最佳場或幀預(yù)測宏塊用于壓縮。減法器65逐個(gè)像素地從要壓縮的輸入當(dāng)前P幀宏塊中減去選擇器97輸出的最佳預(yù)測宏塊，然后減法器65的差值或剩余輸出由單元70進(jìn)行壓縮并經(jīng)過與I幀宏塊數(shù)據(jù)相似的處理。所得壓縮P幀宏塊由格式器100處理，它將來自單元70的壓縮宏塊序列編排成包括識別代碼頭的數(shù)據(jù)包。
和I幀宏塊一樣，來自單元70的被壓縮P幀宏塊剩余值在被送到加法器80之前由單元75解壓縮。同時(shí)，由減法器65從被預(yù)測宏塊中減去的最佳預(yù)測宏塊被加回到解壓縮后的宏塊剩余中。這是通過選擇器97把最佳預(yù)測宏塊值加到加法器第二輸入端來進(jìn)行的，加法器逐個(gè)像素地相加數(shù)據(jù)以恢復(fù)宏塊。這個(gè)被恢復(fù)的P幀宏塊形成重建圖像的一個(gè)部分，存儲在存儲器90中以用于其后P幀宏塊的預(yù)測壓縮。對每個(gè)當(dāng)前宏塊重復(fù)這一過程。
圖10裝置也可用其它方法實(shí)現(xiàn)。例如，圖5-6確定用于壓縮的最佳預(yù)測宏塊的方法可以在一個(gè)單獨(dú)的判決控制單元內(nèi)實(shí)現(xiàn)，例如一個(gè)帶有與壓縮器60接口的微處理器，而不是象最佳實(shí)施例所示那樣分散在功能單元85和95之間。另外，我們知道還有其它已知的壓縮器60結(jié)構(gòu)和實(shí)現(xiàn)壓縮器60的方法。例如，作為對串行預(yù)測方法的一種替代，可以使用復(fù)合并行預(yù)測方法實(shí)現(xiàn)對當(dāng)前宏塊的預(yù)測。
權(quán)利要求
1.在一個(gè)MPEG信號處理系統(tǒng)中，提供壓縮圖像樣本視頻數(shù)據(jù)的方法，其特征在于以下步驟(a)提供視頻輸入數(shù)據(jù)；(b)將所述視頻輸入數(shù)據(jù)轉(zhuǎn)換成輸入像素塊；(c)為所述圖像指定參考區(qū)域內(nèi)的第一輸入像素塊確定最佳預(yù)測塊和對應(yīng)的第一運(yùn)動矢量；(d)為第二輸入像素塊確定一組候選預(yù)測塊，這一確定步驟包括(1)進(jìn)行一次塊匹配搜索，以確定所述第二輸入像素塊的第一候選預(yù)測塊；(2)求出與所述第一候選預(yù)測塊對應(yīng)的第二運(yùn)動矢量；(3)從這個(gè)第二運(yùn)動矢量外推一個(gè)運(yùn)動矢量。(e)相互比較這些候選預(yù)測塊；(f)根據(jù)上述的相互比較選擇符合壓縮數(shù)據(jù)速率要求的一個(gè)候選預(yù)測塊；(g)壓縮這個(gè)所選預(yù)測塊以提供一個(gè)輸出塊；且(h)對該輸出塊進(jìn)行格式化，產(chǎn)生一個(gè)數(shù)據(jù)包。
2.權(quán)利要求1定義的方法，其特征在于，步驟(d3)中的外推是瞬時(shí)外推。
3.權(quán)利要求1定義的方法，其特征還在于，識別候選預(yù)測塊的步驟(d4)使用上述外推運(yùn)動矢量。
4.權(quán)利要求3定義的方法，其特征在于，步驟(d4)還包括在以上述識別的候選預(yù)測塊為中心的周圍區(qū)域內(nèi)識別其它所述多個(gè)候選預(yù)測塊的步驟。
5.權(quán)利要求4定義的方法，其特征在于，步驟(d4)中識別其它候選預(yù)測塊涉及對該外推運(yùn)動矢量的微擾。
6.權(quán)利要求5定義的方法，其特征在于，步驟(d3)包括從所述第二運(yùn)動矢量瞬時(shí)外推上述運(yùn)動矢量。
7.權(quán)利要求1定義的方法，其特征在于，步驟(d3)包括下一步驟根據(jù)與所述第二輸入像素塊有關(guān)的相鄰輸入像素塊預(yù)測塊的運(yùn)動矢量類型選擇外推運(yùn)動矢量的類型。
8.權(quán)利要求1定義的方法，其特征在于，上述第二輸入像素塊位于除所述參考區(qū)之外的圖像區(qū)域內(nèi)。
9.在一個(gè)MPEG信號處理系統(tǒng)中，提供壓縮圖像樣本視頻數(shù)據(jù)的方法，其特征在于以下步驟(a)提供視頻輸入數(shù)據(jù)；(b)將所述視頻輸入數(shù)據(jù)轉(zhuǎn)換成輸入像素塊；(c)為第一輸入像素塊確定一組候選預(yù)測塊，這一確定步驟包括(1)進(jìn)行一次性匹配搜索，確定上述第一輸入像素塊的第一候選MPEG場預(yù)測塊；(2)求出與第一候選場預(yù)測塊對應(yīng)的第一運(yùn)動矢量；(3)從上述第一運(yùn)動矢量外推一個(gè)運(yùn)動矢量；(4)使用上述外推運(yùn)動矢量識別一個(gè)MPEG場預(yù)測塊作為第二候選預(yù)測塊；(d)相互比較上述候選預(yù)測塊；(e)根據(jù)上述的相互比較選擇一個(gè)所述候選預(yù)測塊；(f)壓縮這個(gè)所選預(yù)測塊以提供一個(gè)輸出塊；并(g)對該輸出塊進(jìn)行格式化，產(chǎn)生一個(gè)數(shù)據(jù)包。
10.權(quán)利要求9定義的方法，其特征在于，步驟(c)包括使用外推運(yùn)動矢量識別一個(gè)MPEG幀預(yù)測塊作為第三候選預(yù)測塊的步驟。
11.權(quán)利要求9定義的方法，其特征在于，步驟(c)包括使用上述外推運(yùn)動矢量識別一個(gè)MPEG雙質(zhì)數(shù)預(yù)測塊作為第三候選預(yù)測塊的步驟。
12.權(quán)利要求9定義的方法，其特征在于，步驟(c3)包括根據(jù)與第一輸入像素塊有關(guān)的相鄰輸入像素塊預(yù)測塊的運(yùn)動矢量類型選擇外推運(yùn)動矢量類型的步驟。
13.權(quán)利要求9定義的方法，其特征在于，步驟(c4)還包括在以識別的MPEG場預(yù)測塊為中心的周圍區(qū)域內(nèi)識別這一組的其它候選預(yù)測塊的步驟。
14.權(quán)利要求9定義的方法，其特征在于，步驟(c3)包括從上述第一運(yùn)動矢量瞬時(shí)外推上述運(yùn)動矢量。
15.權(quán)利要求1或9定義的方法，其特征在于，上述輸入像素塊和預(yù)測塊是宏塊。
16.用于壓縮輸入像素塊形式的圖像樣本輸入數(shù)字視頻數(shù)據(jù)和在輸出端提供壓縮視頻輸出塊的裝置，其特征在于提供代表該輸入像素塊的輸出壓縮像素塊的壓縮網(wǎng)絡(luò)(70)；對該壓縮像素塊解壓縮以提供解壓縮像素塊的解壓縮網(wǎng)絡(luò)(75)；提供與該輸入像素塊候選預(yù)測塊對應(yīng)的運(yùn)動矢量的運(yùn)動估值器(85)，其中(a)對位于該圖像第一區(qū)域內(nèi)的輸入像素塊，運(yùn)動估值器使用塊匹配搜索得到運(yùn)動矢量；以及(b)對位于該圖像第二區(qū)域內(nèi)的輸入像素塊，所述運(yùn)動估值器使用塊匹配搜索得到第一運(yùn)動矢量，并從所述第一運(yùn)動矢量瞬時(shí)外推第二運(yùn)動矢量；以及使用上述運(yùn)動矢量從所述解壓縮塊中識別所述候選預(yù)測塊以及從上述候選預(yù)測像素塊中選擇最佳預(yù)測塊的預(yù)測網(wǎng)絡(luò)(95)，其中上述壓縮網(wǎng)絡(luò)(70)壓縮所選預(yù)測塊，以在輸出端產(chǎn)生一個(gè)輸出壓縮塊。
17.權(quán)利要求16定義的裝置，其特征在于，所述第一圖像區(qū)域在所述第二圖像區(qū)域之外。
18.權(quán)利要求16定義的裝置，其特征在于，上述運(yùn)動估值器提供與候選MPEG場預(yù)測塊對應(yīng)的運(yùn)動矢量。
19.權(quán)利要求16定義的裝置，其特征在于，上述運(yùn)動估值器提供與候選MPEG幀預(yù)測塊對應(yīng)的運(yùn)動矢量。
全文摘要
本發(fā)明的方法和裝置減少了計(jì)算量，簡化了提供壓縮視頻輸出數(shù)據(jù)所需要的硬件。視頻輸入數(shù)據(jù)被轉(zhuǎn)換成(57)輸入象素塊。確定(91，93，97)位于圖像指定區(qū)域內(nèi)輸入象素塊的最佳預(yù)測塊和對應(yīng)的運(yùn)動矢量，和其它輸入象素塊的候選預(yù)測塊。比較(65)這些候選預(yù)測塊，選擇符合壓縮數(shù)據(jù)速率要求的一個(gè)塊。壓縮(70)所選塊以提供一數(shù)據(jù)包格式的輸出塊。輸出數(shù)據(jù)包進(jìn)行塊匹配搜索(85，95)其它運(yùn)動矢量由上述運(yùn)動矢量外推得到，并用于識別另外的預(yù)測塊。
文檔編號G06T9/00GK1149233SQ9611149
公開日1997年5月7日 申請日期1996年8月23日 優(yōu)先權(quán)日1995年8月25日
發(fā)明者W·M·林 申請人:湯姆森消費(fèi)電子有限公司