專利名稱：復(fù)雜性可伸縮的視頻編碼和解碼方法和設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明一般涉及視頻編碼和解碼，并且尤其涉及一種復(fù)雜性可伸縮的視頻編碼和解碼方法和設(shè)備。
背景技術(shù)：
人們希望廣播視頻應(yīng)用能為各種用戶設(shè)備提供支持，而不引起同時(shí)聯(lián)播編碼的位速率損失。視頻解碼是一種復(fù)雜操作，且復(fù)雜性特別取決于被編碼視頻的分辨率。低功率便攜式設(shè)備典型地具有非常嚴(yán)格的復(fù)雜性限制和低分辨率顯示器。與不同分辨率相應(yīng)的兩個(gè)或多個(gè)視頻位流的同時(shí)聯(lián)播廣播可用于，解決較低分辨率設(shè)備的復(fù)雜性要求，但是需要比根據(jù)本發(fā)明的復(fù)雜性可伸縮系統(tǒng)更高的總位速率。因此，需要一種在維持高視頻編碼位速率效率的同時(shí)，允許復(fù)雜性可伸縮解碼器的解決方法。
在運(yùn)動(dòng)圖像專家組2(MPEG-2)和運(yùn)動(dòng)圖像專家組4(MPEG-4)標(biāo)準(zhǔn)的可伸縮性配置(profile)中，廣泛研究和標(biāo)準(zhǔn)化了多種不同的可伸縮性方法，包括信噪比(SNR)可伸縮性、空間可伸縮性、時(shí)間可伸縮性和細(xì)粒度可伸縮性。大多數(shù)可伸縮編碼工作都針對(duì)位速率可伸縮性，其中低分辨率層具有有限帶寬。如圖1所示，一般用附圖標(biāo)記100來表示典型的空間可伸縮性系統(tǒng)。系統(tǒng)100包括用于接收視頻序列的復(fù)雜性可伸縮視頻編碼器110。復(fù)雜性可伸縮視頻編碼器110的第一輸出以信號(hào)通信方式與窄帶網(wǎng)120及復(fù)用器130的第一輸入相連。復(fù)雜性可伸縮視頻編碼器110的第二輸出以信號(hào)通信方式與復(fù)用器130的第二輸入相連。窄帶網(wǎng)120的輸出以信號(hào)通信方式與低分辨率解碼器140的輸入相連。復(fù)用器130的輸出以信號(hào)通信方式與寬帶網(wǎng)150的輸入相連。寬帶網(wǎng)150的輸出以信號(hào)通信方式與解復(fù)用器160的輸入相連。解復(fù)用器160的第一輸出以信號(hào)通信方式與高分辨率解碼器170的第一輸入相連，且解復(fù)用器160的第二輸出以信號(hào)通信方式與高分辨率解碼器170的第二輸入相連。低分辨率解碼器140的輸出可用作系統(tǒng)100的基層位流輸出，且高分辨率解碼器170的輸出可用作系統(tǒng)100的可伸縮位流輸出。
因?yàn)榫幋a器和解碼器復(fù)雜性的大大增加，并且可伸縮編碼器的編碼效率典型地大大低于非可伸縮編碼器，所以可伸縮編碼實(shí)際上并沒有被廣泛采用。
空間可伸縮編碼器和解碼器典型地要求，高分辨率可伸縮編碼器/解碼器提供除正常高分辨率編碼器/解碼器中存在的功能性以外的附加功能性。在MPEG-2空間可伸縮編碼器中，決定是從低分辨率參考圖像還是從高分辨率參考圖像來執(zhí)行預(yù)測(cè)。MPEG-2空間可伸縮解碼器必須能夠從低分辨率參考圖像或高分辨率參考圖像進(jìn)行預(yù)測(cè)。MPEG-2空間可伸縮編碼器/解碼器需要兩組參考圖像存儲(chǔ)器，一組用于低分辨率圖像，另一組用于高分辨率圖像。圖2示出了根據(jù)現(xiàn)有技術(shù)的，支持兩層的低復(fù)雜性空間可伸縮編碼器200的框圖。圖3示出了根據(jù)現(xiàn)有技術(shù)的，支持兩層的低復(fù)雜性空間可伸縮解碼器300的框圖。
轉(zhuǎn)到圖2，一般用附圖標(biāo)記200來表示支持兩層的空間可伸縮視頻編碼器。視頻編碼器200包括用于接收高分辨率輸入視頻序列的下采樣器210。下采樣器210以信號(hào)通信方式與低分辨率非可伸縮編碼器212相連，低分辨率非可伸縮編碼器212又以信號(hào)通信方式與低分辨率幀存儲(chǔ)器214相連。低分辨率非可伸縮編碼器212輸出低分辨率位流，并進(jìn)一步以信號(hào)通信方式與低分辨率非可伸縮解碼器220相連。
低分辨率非可伸縮解碼器220以信號(hào)通信方式與上采樣器230相連，上采樣器230又以信號(hào)通信方式與可伸縮高分辨率編碼器240相連?？缮炜s高分辨率編碼器240也接收高分辨率輸入視頻序列，以信號(hào)通信方式與高分辨率幀存儲(chǔ)器250相連，并輸出高分辨率可伸縮位流。低分辨率非可伸縮編碼器212的輸出和可伸縮高分辨率編碼器240的輸出可用作空間可伸縮視頻編碼器200的輸出。
因而，高分辨率輸入視頻序列被低復(fù)雜性編碼器200接收、并被下采樣，以生成低分辨率視頻序列。利用非可伸縮低分辨率視頻壓縮編碼器對(duì)該低分辨率視頻序列進(jìn)行編碼，由此生成低分辨率位流。利用非可伸縮低分辨率視頻壓縮解碼器對(duì)該低分辨率位流進(jìn)行解碼?？梢栽诰幋a器內(nèi)部執(zhí)行該功能。解碼的低分辨率序列被上采樣，并作為兩個(gè)輸入之一被提供給可伸縮高分辨率編碼器。該可伸縮高分辨率編碼器對(duì)視頻進(jìn)行編碼，以生成高分辨率可伸縮位流。
轉(zhuǎn)到圖3，一般用附圖標(biāo)記300來表示支持兩層的空間可伸縮視頻解碼器。視頻解碼器300包括用于接收低分辨率位流的低分辨率解碼器360，該低分辨率解碼器360以信號(hào)通信方式與低分辨率幀存儲(chǔ)器362相連，并輸出低分辨率視頻序列。低分辨率解碼器360進(jìn)一步以信號(hào)通信方式與上采樣器370相連，該上采樣器370又以信號(hào)通信方式與可伸縮高分辨率解碼器380相連。
可伸縮高分辨率解碼器380進(jìn)一步以信號(hào)通信方式與高分辨率幀存儲(chǔ)器390相連?？缮炜s高分辨率解碼器380接收高分辨率可伸縮位流，并輸出高分辨率視頻序列。低分辨率解碼器360的輸出和可伸縮高分辨率解碼器380的輸出可用作空間可伸縮視頻解碼器300的輸出。
因而，低復(fù)雜性解碼器300接收高分辨率可伸縮位流和低分辨率位流。利用非可伸縮低分辨率視頻壓縮解碼器來對(duì)低分辨率位流進(jìn)行解碼，該非可伸縮低分辨率視頻壓縮解碼器使用低分辨率幀存儲(chǔ)器。解碼后的低分辨率視頻被上采樣，然后被輸入到高分辨率可伸縮解碼器中。高分辨率可伸縮解碼器使用一組高分辨率幀存儲(chǔ)器，并生成高分辨率輸出視頻序列。
轉(zhuǎn)到圖4，一般用附圖標(biāo)記400來表示非可伸縮視頻編碼器。視頻編碼器400的輸入以信號(hào)通信方式與求和點(diǎn)410的非反相輸入相連。求和點(diǎn)410的輸出以信號(hào)通信方式與變換器/量化器420相連。變換器/量化器420的輸出以信號(hào)通信方式與熵編碼器440相連。熵編碼器440的輸出可用作編碼器400的輸出。
變換器/量化器420的輸出進(jìn)一步以信號(hào)通信方式與逆變換器/量化器450相連。逆變換器/量化器450的輸出以信號(hào)通信方式與解塊濾波器460的輸入相連。解塊濾波器460的輸出以信號(hào)通信方式與參考圖像存儲(chǔ)器470相連。參考圖像存儲(chǔ)器470的第一輸出以信號(hào)通信方式與運(yùn)動(dòng)估計(jì)器480的第一輸入相連。編碼器400的輸入進(jìn)一步以信號(hào)通信方式與運(yùn)動(dòng)估計(jì)器480的第二輸入相連。運(yùn)動(dòng)估計(jì)器480的輸出以信號(hào)通信方式與運(yùn)動(dòng)補(bǔ)償器490的第一輸入相連。參考圖像存儲(chǔ)器470的第二輸出以信號(hào)通信方式與運(yùn)動(dòng)補(bǔ)償器490的第二輸入相連。運(yùn)動(dòng)補(bǔ)償器490的輸出以信號(hào)通信方式與求和點(diǎn)410的反相輸入相連。
轉(zhuǎn)到圖5，一般用附圖標(biāo)記500來表示非可伸縮視頻解碼器。視頻解碼器500包括用于接收視頻序列的熵解碼器510。熵解碼器510的第一輸出以信號(hào)通信方式與逆量化器/變換器520的輸入相連。逆量化器/變換器520的輸出以信號(hào)通信方式與求和點(diǎn)540的第一輸入相連。
求和點(diǎn)540的輸出以信號(hào)通信方式與解塊濾波器590相連。解塊濾波器590的輸出以信號(hào)通信方式與參考圖像存儲(chǔ)器550相連。參考圖像存儲(chǔ)器550以信號(hào)通信方式與運(yùn)動(dòng)補(bǔ)償器560的第一輸入相連。運(yùn)動(dòng)補(bǔ)償器560的輸出以信號(hào)通信方式與求和點(diǎn)540的第二輸入相連。熵解碼器510的第二輸出以信號(hào)通信方式與運(yùn)動(dòng)補(bǔ)償器560的第二輸入相連。解塊濾波器590的輸出可用作視頻解碼器500的輸出。
已經(jīng)建議擴(kuò)展H.264/MPEG AVC(高級(jí)視頻編碼)，以使用降分辨率更新(RRU)模式。RRU模式通過減少待編碼的殘差宏塊(MB)數(shù)、同時(shí)對(duì)全分辨率圖像執(zhí)行運(yùn)動(dòng)估計(jì)和補(bǔ)償，來提高低位速率的編碼效率。轉(zhuǎn)到圖6，一般用附圖標(biāo)記600來表示RRU視頻編碼器。視頻編碼器600的輸入以信號(hào)通信方式與求和點(diǎn)610的非反相輸入相連。求和點(diǎn)610的輸出以信號(hào)通信方式與下采樣器612的輸入相連。變換器/量化器620的輸入以信號(hào)通信方式與下采樣器612的輸出或求和點(diǎn)610的輸出相連。變換器/量化器620的輸出以信號(hào)通信方式與熵編碼器640相連。熵編碼器640的輸出可用作視頻編碼器600的輸出。
變換器/量化器620的輸出進(jìn)一步以信號(hào)通信方式與逆變換器/量化器650的輸入相連。逆變換器/量化器650的輸出以信號(hào)通信方式與上采樣器655的輸入相連。解塊濾波器660的輸入以信號(hào)通信方式與逆變換器/量化器650的輸出或上采樣器655的輸出相連。解塊濾波器660的輸出以信號(hào)通信方式與參考圖像存儲(chǔ)器670的輸入相連。參考圖像存儲(chǔ)器670的第一輸出以信號(hào)通信方式與運(yùn)動(dòng)估計(jì)器680的第一輸入相連。編碼器600的輸入進(jìn)一步以信號(hào)通信方式與運(yùn)動(dòng)估計(jì)器680的第二輸入相連。運(yùn)動(dòng)估計(jì)器680的輸出以信號(hào)通信方式與運(yùn)動(dòng)補(bǔ)償器690的第一輸入相連。參考圖像存儲(chǔ)器670的第二輸出以信號(hào)通信方式與運(yùn)動(dòng)補(bǔ)償器690的第二輸入相連。運(yùn)動(dòng)補(bǔ)償器690的輸出以信號(hào)通信方式與求和點(diǎn)610的反相輸入相連。
轉(zhuǎn)到圖7，一般用附圖標(biāo)記700來表示RRU視頻解碼器。視頻解碼器700包括用于接收視頻序列的熵解碼器710。熵解碼器710的輸出以信號(hào)通信方式與逆量化器/變換器720的輸入相連。逆量化器/變換器720的輸出以信號(hào)通信方式與上采樣器722的輸入相連。上采樣器722的輸出以信號(hào)通信方式與求和點(diǎn)740的第一輸入相連。
求和點(diǎn)740的輸出以信號(hào)通信方式與解塊濾波器790相連。解塊濾波器790的輸出以信號(hào)通信方式與全分辨率參考圖像存儲(chǔ)器750的輸入相連。解塊濾波器790的輸出也可用作視頻解碼器700的輸出。全分辨率參考圖像存儲(chǔ)器750的輸出以信號(hào)通信方式與運(yùn)動(dòng)補(bǔ)償器760相連，運(yùn)動(dòng)補(bǔ)償器760以信號(hào)通信方式與求和點(diǎn)740的第二輸入相連。
已經(jīng)建議使用RRU概念來設(shè)計(jì)復(fù)雜性可伸縮的編解碼器。為系統(tǒng)提供一個(gè)支持兩種不同級(jí)別的解碼器復(fù)雜性和分辨率的例子。低分辨率解碼器具有較小的顯示尺寸，且具有非常嚴(yán)格的解碼器復(fù)雜性約束。全分辨率解碼器具有較大的顯示尺寸，且具有不太嚴(yán)格、但仍然重要的解碼器復(fù)雜性約束。廣播或組播系統(tǒng)發(fā)送兩個(gè)位流位速率為BRbase的基層，以及位速率為BRenhan的增強(qiáng)層?？梢詫⑦@兩個(gè)位流復(fù)用在一起，并在單個(gè)傳輸流中發(fā)送。轉(zhuǎn)到圖8，一般用附圖標(biāo)記800來表示復(fù)雜性可伸縮的廣播系統(tǒng)。系統(tǒng)800包括復(fù)雜性可伸縮的視頻編碼器和低分辨率解碼器及全分辨率解碼器。復(fù)雜性可伸縮廣播系統(tǒng)800包括復(fù)雜性可伸縮視頻編碼器810。復(fù)雜性可伸縮視頻編碼器810的第一輸出以信號(hào)通信方式與復(fù)用器820的第一輸入相連。復(fù)雜性可伸縮視頻編碼器810的第二輸出以信號(hào)通信方式與復(fù)用器820的第二輸入相連。復(fù)用器820的輸出以信號(hào)通信方式與網(wǎng)絡(luò)830相連。網(wǎng)絡(luò)830的輸出以信號(hào)通信方式與第一解復(fù)用器840的輸入及第二解復(fù)用器860的輸入相連。第一解復(fù)用器840的輸出以信號(hào)通信方式與低分辨率解碼器850的輸入相連。第二解復(fù)用器860的第一輸出以信號(hào)通信方式與全分辨率解碼器870的第一輸入相連。第二解復(fù)用器860的第二輸出以信號(hào)通信方式與全分辨率解碼器870的第二輸入相連。低分辨率解碼器850的輸出可用作系統(tǒng)800的基層位流輸出，且全分辨率解碼器870的輸出可用作系統(tǒng)800的可伸縮位流輸出。
低分辨率解碼器850只處理基層位流，且全分辨率解碼器870處理基層位流和增強(qiáng)層位流兩者。RRU用于基層中，其可以在解碼器中被解碼為具有不同復(fù)雜性的低分辨率和高分辨率序列。增強(qiáng)層位流包括全分辨率誤差信號(hào)，該全分辨率誤差信號(hào)要加到基層位流解碼結(jié)果上，這是利用全分辨率運(yùn)動(dòng)補(bǔ)償來實(shí)現(xiàn)的。增強(qiáng)層的位速率可以終止于比基層位速率低，這不同于基層位速率典型地小于增強(qiáng)層位速率的典型空間可伸縮性情況。不必為每個(gè)編碼宏塊或片/圖像都發(fā)送全分辨率誤差信號(hào)。

發(fā)明內(nèi)容
本發(fā)明解決現(xiàn)有技術(shù)的這些及其它缺陷和缺點(diǎn)，且本發(fā)明涉及一種復(fù)雜性可伸縮的視頻編碼和解碼方法和設(shè)備。
根據(jù)本發(fā)明的一方面，提供一種用于對(duì)視頻位流進(jìn)行解碼的復(fù)雜性可伸縮視頻解碼器。該視頻解碼器包括第一組合器、第二組合器和解塊濾波器。該第一組合器用于對(duì)全分辨率運(yùn)動(dòng)補(bǔ)償?shù)念A(yù)測(cè)和解碼的上采樣基層殘差進(jìn)行組合，以形成重構(gòu)的上采樣基層圖像以供顯示，而不對(duì)其應(yīng)用解塊操作。該第二組合器以信號(hào)通信方式與第一組合器相連，用于對(duì)重構(gòu)的上采樣基層圖像和解碼的增強(qiáng)層殘差進(jìn)行組合，以形成重構(gòu)的全分辨率增強(qiáng)層圖像。該解塊濾波器以信號(hào)通信方式與第二組合器相連，用于只對(duì)重構(gòu)的全分辨率增強(qiáng)層圖像執(zhí)行解塊操作，以輸出經(jīng)過濾波的重構(gòu)的全分辨率增強(qiáng)層圖像以供顯示。
根據(jù)本發(fā)明的另一方面，提供一種用于對(duì)視頻位流進(jìn)行解碼的空間可伸縮視頻解碼器。該視頻解碼器包括上采樣器和解塊濾波器。該上采樣器用于對(duì)與視頻位流相對(duì)應(yīng)的編碼的預(yù)測(cè)殘差執(zhí)行上采樣操作，以形成上采樣預(yù)測(cè)殘差。該解塊濾波器用于在上采樣操作之前或之后執(zhí)行解塊操作。
根據(jù)本發(fā)明的又一方面，提供一種用于對(duì)視頻位流進(jìn)行解碼的空間可伸縮視頻解碼器。該視頻解碼器包括上采樣器和參考圖像存儲(chǔ)器。該上采樣器用于對(duì)基層預(yù)測(cè)殘差進(jìn)行上采樣，以形成上采樣基層預(yù)測(cè)殘差。該參考圖像存儲(chǔ)器用于存儲(chǔ)由上采樣基層預(yù)測(cè)殘差形成的上采樣基層參考圖像、以及相應(yīng)的先前的全分辨率參考圖像。
根據(jù)本發(fā)明的又一方面，提供一種用于對(duì)多幅圖像的視頻信號(hào)數(shù)據(jù)進(jìn)行編碼的空間可伸縮視頻編碼器。該視頻編碼器包括幀內(nèi)編碼裝置和幀間編碼裝置。該幀內(nèi)編碼裝置用于利用分層編碼技術(shù)執(zhí)行幀內(nèi)編碼，以形成幀內(nèi)編碼的圖像。該幀間編碼裝置用于利用RRU技術(shù)執(zhí)行幀間編碼，以形成幀間編碼的圖像。該幀間編碼裝置包括用于對(duì)預(yù)測(cè)殘差進(jìn)行下采樣、以形成下采樣低分辨率預(yù)測(cè)殘差的下采樣器。該幀間編碼裝置進(jìn)一步包括變換器/量化器，該變換器/量化器以信號(hào)通信方式與下采樣器相連，用于對(duì)下采樣低分辨率預(yù)測(cè)殘差進(jìn)行編碼。
根據(jù)本發(fā)明的又一方面，提供一種用于對(duì)視頻位流進(jìn)行解碼的復(fù)雜性可伸縮方法。該方法包括以下步驟對(duì)全分辨率運(yùn)動(dòng)補(bǔ)償?shù)念A(yù)測(cè)和解碼的上采樣基層殘差進(jìn)行組合，以形成重構(gòu)的上采樣基層圖像以供顯示，而不對(duì)其應(yīng)用解塊操作。該方法進(jìn)一步包括以下步驟對(duì)重構(gòu)的上采樣基層圖像和解碼的增強(qiáng)層殘差進(jìn)行組合，以形成重構(gòu)的全分辨率增強(qiáng)層圖像。該方法也包括以下步驟只對(duì)重構(gòu)的全分辨率增強(qiáng)層圖像執(zhí)行解塊操作，以輸出經(jīng)過濾波的重構(gòu)的全分辨率增強(qiáng)層圖像以供顯示。
根據(jù)本發(fā)明的又一方面，提供一種用于對(duì)視頻位流進(jìn)行解碼的空間可伸縮方法。該方法包括以下步驟對(duì)與視頻位流相應(yīng)的編碼的預(yù)測(cè)殘差執(zhí)行上采樣操作，以形成上采樣預(yù)測(cè)殘差。該方法進(jìn)一步包括以下步驟在上采樣操作之前或之后執(zhí)行解塊操作。
根據(jù)本發(fā)明的附加方面，提供一種用于對(duì)視頻位流進(jìn)行解碼的空間可伸縮方法。該方法包括以下步驟對(duì)基層預(yù)測(cè)殘差進(jìn)行上采樣，以形成上采樣基層預(yù)測(cè)殘差。該方法進(jìn)一步包括以下步驟存儲(chǔ)由上采樣基層預(yù)測(cè)殘差形成的上采樣基層參考圖像、以及相應(yīng)的先前的全分辨率參考圖像。
根據(jù)本發(fā)明的又一附加方面，提供一種用于對(duì)多幅圖像的視頻信號(hào)數(shù)據(jù)進(jìn)行編碼的空間可伸縮方法。該方法包括以下步驟利用分層編碼技術(shù)執(zhí)行幀內(nèi)編碼以形成幀內(nèi)編碼的圖像該方法也包括以下步驟利用RRU技術(shù)執(zhí)行(1706)幀間編碼，以形成幀間編碼的圖像。幀間編碼步驟包括對(duì)預(yù)測(cè)殘差進(jìn)行下采樣、以形成下采樣低分辨率預(yù)測(cè)殘差的步驟。幀間編碼步驟進(jìn)一步包括對(duì)下采樣低分辨率預(yù)測(cè)殘差進(jìn)行編碼的步驟。
根據(jù)以下將要連同附圖一起閱讀的示范性實(shí)施例的詳細(xì)描述，本發(fā)明的這些及其它方面、特征和優(yōu)點(diǎn)將變得很清楚。


根據(jù)以下附圖，可以更好地理解本發(fā)明，其中圖1示出了根據(jù)現(xiàn)有技術(shù)的典型空間可伸縮性系統(tǒng)的框圖；圖2示出了根據(jù)現(xiàn)有技術(shù)的、支持兩層的空間可伸縮編碼器的框圖；圖3示出了根據(jù)現(xiàn)有技術(shù)的、支持兩層的空間可伸縮解碼器的框圖；圖4示出了根據(jù)現(xiàn)有技術(shù)的、H.264/MPEG AVC標(biāo)準(zhǔn)中所使用的正常非可伸縮視頻編碼器的框圖；圖5示出了根據(jù)現(xiàn)有技術(shù)的、H.264/MPEG AVC中所使用的正常非可伸縮視頻解碼器的框圖；
圖6示出了根據(jù)現(xiàn)有技術(shù)的RRU視頻編碼器的框圖；圖7示出了根據(jù)現(xiàn)有技術(shù)的RRU視頻解碼器的框圖；圖8示出了根據(jù)現(xiàn)有技術(shù)的復(fù)雜性可伸縮性廣播系統(tǒng)的框圖；圖9示出了本發(fā)明可應(yīng)用的低分辨率復(fù)雜性可伸縮視頻解碼器的框圖；圖10示出了本發(fā)明可應(yīng)用的高分辨率復(fù)雜性可伸縮視頻解碼器的框圖；圖11示出了本發(fā)明可應(yīng)用的復(fù)雜性可伸縮視頻編碼器的框圖；圖12示出了根據(jù)本發(fā)明原理的復(fù)雜性可伸縮性的示圖；圖13示出了根據(jù)本發(fā)明原理的、以全分辨率對(duì)視頻數(shù)據(jù)進(jìn)行解碼的方法的流程圖；圖14示出了根據(jù)本發(fā)明原理的片頭句法表；圖15示出了根據(jù)本發(fā)明原理的NAL單元類型碼表；圖16示出了根據(jù)本發(fā)明原理的、以低分辨率對(duì)視頻數(shù)據(jù)進(jìn)行解碼的方法的流程圖；以及圖17示出了根據(jù)本發(fā)明原理的視頻數(shù)據(jù)編碼方法的流程圖。
具體實(shí)施例方式
本發(fā)明涉及一種復(fù)雜性可伸縮的視頻編碼和解碼方法和設(shè)備。在本發(fā)明的一個(gè)實(shí)施例中，在維持最低分辨率層的低復(fù)雜性的同時(shí)，優(yōu)化兩層或多層的總位速率。
本說明書闡明了本發(fā)明的原理。因而，應(yīng)該理解，本領(lǐng)域技術(shù)人員將能夠設(shè)計(jì)出雖然未在此明確描述或顯示，但體現(xiàn)本發(fā)明的原理、且被包括在本發(fā)明精神和范圍內(nèi)的各種配置。
在此列舉的所有例子和條件語言都預(yù)定以教學(xué)為目的來幫助讀者理解本發(fā)明的原理、以及發(fā)明者所提出的用于促進(jìn)本領(lǐng)域的概念，并且應(yīng)該被看作是不限于這些具體列舉的例子和條件。
而且，在此列舉本發(fā)明的原理、方面和實(shí)施例及本發(fā)明特例的所有語句，都預(yù)定包括本發(fā)明的結(jié)構(gòu)和功能等效物。另外，這種等效物意圖包括當(dāng)前周知的等效物以及將來開發(fā)的等效物，即與結(jié)構(gòu)無關(guān)地執(zhí)行相同功能的任何被開發(fā)元件。
因而，例如，本領(lǐng)域技術(shù)人員應(yīng)該理解在此給出的框圖代表體現(xiàn)本發(fā)明原理的說明性電路的概念視圖。類似，應(yīng)該理解，任何流程表、流程圖、狀態(tài)轉(zhuǎn)移圖、偽碼等，代表基本上可在計(jì)算機(jī)可讀介質(zhì)上表示、并因而可通過計(jì)算機(jī)或處理器來執(zhí)行的各種過程，而不管是否明確示出這種計(jì)算機(jī)或處理器。
可以利用專用硬件以及能夠與適當(dāng)軟件關(guān)聯(lián)地執(zhí)行軟件的硬件，來提供圖中所示各元件的功能。當(dāng)通過處理器來提供這些功能時(shí)，可以通過單個(gè)專用處理器、單個(gè)共享處理器、或其中一些可被共享的多個(gè)單獨(dú)處理器，來提供這些功能。而且，術(shù)語“處理器”或“控制器”的顯式使用不應(yīng)被看作是專門指能夠執(zhí)行軟件的硬件，而可以隱含包括但不限于數(shù)字信號(hào)處理器(DSP)硬件、用于存儲(chǔ)軟件的只讀存儲(chǔ)器(ROM)、隨機(jī)存儲(chǔ)器(RAM)和非易失性存儲(chǔ)器。
也可以包括其它常規(guī)和/或定制的硬件。類似地，圖中所示的任何開關(guān)都只是概念性的?？梢酝ㄟ^程序邏輯的操作、專用邏輯、程序控制與專用邏輯的交互，乃至手動(dòng)地，執(zhí)行它們的功能。如可從上下文更具體理解的，特定技術(shù)可由實(shí)施者來選擇。
在本發(fā)明的權(quán)利要求書中，被表示為用于執(zhí)行指定功能的裝置的任何元件都預(yù)定包括執(zhí)行該功能的任何方式，例如包括a)執(zhí)行該功能的電路元件的組合，或b)任何形式的軟件，因此包括固件、微碼等形式的軟件，該軟件與用于執(zhí)行該軟件的適當(dāng)電路結(jié)合、以執(zhí)行該功能。如這些權(quán)利要求所定義的本發(fā)明在于，由所列舉的各種裝置提供的功能性以權(quán)利要求所要求的方式被組合和集合在一起。因而，認(rèn)為能夠提供那些功能性的任何裝置都等效于在此示出的裝置。
轉(zhuǎn)到圖9，一般用附圖標(biāo)記900來表示低分辨率復(fù)雜性可伸縮的視頻解碼器。視頻解碼器900包括用于接收視頻序列的熵解碼器910。熵解碼器910的第一輸出以信號(hào)通信方式與逆量化器/變換器920的輸入相連。逆量化器/變換器920的輸出以信號(hào)通信方式與求和點(diǎn)940的第一輸入相連。
求和點(diǎn)940的輸出以信號(hào)通信方式與解塊濾波器990相連。解塊濾波器990的輸出以信號(hào)通信方式與參考圖像存儲(chǔ)器950的輸入相連。解塊濾波器990的輸出也可用作視頻解碼器900的輸出。參考圖像存儲(chǔ)器950的輸出以信號(hào)通信方式與運(yùn)動(dòng)補(bǔ)償器960的第一輸入相連。運(yùn)動(dòng)補(bǔ)償器960的輸出以信號(hào)通信方式與求和點(diǎn)940的第二輸入相連。熵解碼器910的第二輸出以信號(hào)通信方式與運(yùn)動(dòng)矢量(MV)分辨率減小器999的輸入相連。MV分辨率減小器999的輸出以信號(hào)通信方式與運(yùn)動(dòng)補(bǔ)償器960的第二輸入相連。
在解碼器900中，對(duì)基層位流進(jìn)行熵解碼。對(duì)運(yùn)動(dòng)矢量進(jìn)行舍入，以降低它們的精度來對(duì)應(yīng)于低分辨率。該低分辨率可伸縮解碼器的復(fù)雜性非常類似于非可伸縮解碼器，因?yàn)檫\(yùn)動(dòng)矢量的伸縮具有很低的復(fù)雜性。如果低分辨率和全分辨率之間每一維的分辨率比中都使用因子2，則取決于在系統(tǒng)中是選擇上舍入還是下舍入，可以僅僅利用右移位或加法和右移位來實(shí)現(xiàn)舍入。
轉(zhuǎn)到圖10，一般用附圖標(biāo)記1000來表示高分辨率復(fù)雜性可伸縮的視頻解碼器1000。視頻解碼器1000包括用于接收基層位流的第一熵解碼器1005。第一熵解碼器1005的輸出以信號(hào)通信方式與第一逆量化器/變換器1010的輸入相連。第一逆量化器/變換器1010的輸出以信號(hào)通信方式與上采樣器1015的輸入相連。上采樣器1015的輸出以信號(hào)通信方式與第一求和點(diǎn)1020的第一輸入相連。
第一求和點(diǎn)1020的輸出以信號(hào)通信方式與第二求和點(diǎn)1025的第一輸入相連。全分辨率參考圖像存儲(chǔ)器1030的輸出以信號(hào)通信方式與運(yùn)動(dòng)補(bǔ)償器1035的第一輸入相連。熵解碼器1005的第二輸出(用于輸出運(yùn)動(dòng)矢量MV)以信號(hào)通信方式與運(yùn)動(dòng)補(bǔ)償器1035的第二輸入相連。運(yùn)動(dòng)補(bǔ)償器1035的輸出以信號(hào)通信方式與第一求和點(diǎn)1020的第二輸入相連。
第二熵解碼器1040的輸入用于接收增強(qiáng)層位流。第二熵解碼器1040的輸出以信號(hào)通信方式與第二逆量化器/變換器1045的輸入相連。第二逆量化器/變換器1045的輸出以信號(hào)通信方式與第二求和點(diǎn)1025的第二輸入相連。
解塊濾波器1050的輸入以信號(hào)通信方式與第一求和點(diǎn)1020的輸出或第二求和點(diǎn)1025的輸出相連。解塊濾波器1050的輸出以信號(hào)通信方式與全分辨率參考圖像存儲(chǔ)器1030的輸入相連。解塊濾波器1050的輸出可用作視頻解碼器1000的輸出。
對(duì)基層位流進(jìn)行操作的解碼器1000的部分類似于RRU解碼器。在熵解碼和逆量化及逆變換后，對(duì)殘差進(jìn)行上采樣。對(duì)全分辨率參考圖像應(yīng)用運(yùn)動(dòng)補(bǔ)償，以形成全分辨率預(yù)測(cè)，并將上采樣的殘差加到該預(yù)測(cè)上。如果增強(qiáng)層位流中存在全分辨率誤差信號(hào)，則對(duì)其進(jìn)行熵解碼和逆量化及變換，然后加到RRU重構(gòu)信號(hào)上。然后，應(yīng)用解塊濾波器。
轉(zhuǎn)到圖11，一般用附圖標(biāo)記1100來表示復(fù)雜性可伸縮的視頻編碼器。視頻編碼器1100的輸入以信號(hào)通信方式與第一求和點(diǎn)1105的非反相輸入相連。第一求和點(diǎn)1105的輸出以信號(hào)通信方式與下采樣器1112的輸入相連。下采樣器1112的輸出以信號(hào)通信方式與第一變換器/量化器1115的輸入相連。第一變換器/量化器1115的輸出以信號(hào)通信方式與第一熵編碼器1120的輸入相連。第一熵編碼器1120的輸出可用作編碼器1100的基層位流的輸出。
第一變換器/量化器1115的輸出進(jìn)一步以信號(hào)通信方式與第一逆變換器/量化器1125的輸入相連。第一逆變換器/量化器1125的輸出以信號(hào)通信方式與上采樣器1155的輸入相連。上采樣器1155的輸出以信號(hào)通信方式與第二求和點(diǎn)1160的反相輸入及第三求和點(diǎn)1165的非反相輸入相連。
視頻編碼器1100的輸入進(jìn)一步以信號(hào)通信方式與第二求和點(diǎn)1160的非反相輸入相連。第二求和點(diǎn)1160的輸出以信號(hào)通信方式與開關(guān)1162的輸入相連。開關(guān)1162的輸出以信號(hào)通信方式與第二變換器/量化器1170的輸入相連。第二變換器/量化器1170的輸出以信號(hào)通信方式與第二熵編碼器1175的輸入相連。第二熵編碼器1175的輸出可用作編碼器1100的增強(qiáng)層位流的輸出。第二變換器/量化器1170的輸出進(jìn)一步以信號(hào)通信方式與第二逆變換器/量化器1180的輸入相連。第二逆變換器/量化器1180的輸出以信號(hào)通信方式與第三求和點(diǎn)1165的第二非反相輸入相連。
視頻編碼器1100的輸入進(jìn)一步以信號(hào)通信方式與運(yùn)動(dòng)估計(jì)器1185的第一輸入相連。運(yùn)動(dòng)估計(jì)器1185的輸出以信號(hào)通信方式與運(yùn)動(dòng)補(bǔ)償器1190的第一輸入相連。運(yùn)動(dòng)補(bǔ)償器1190的輸出以信號(hào)通信方式與第一求和點(diǎn)1105的反相輸入相連。全分辨率參考圖像存儲(chǔ)器1192的第一輸出以信號(hào)通信方式與運(yùn)動(dòng)估計(jì)器1185的第二輸入相連。全分辨率參考圖像存儲(chǔ)器1192的第二輸出以信號(hào)通信方式與運(yùn)動(dòng)補(bǔ)償器1190的第二輸入相連。全分辨率參考圖像存儲(chǔ)器1192的輸入以信號(hào)通信方式與解塊濾波器1195的輸出相連。解塊濾波器1195的輸入以信號(hào)通信方式與開關(guān)1191的輸出相連。開關(guān)1191的另一輸入以信號(hào)通信方式與第三求和點(diǎn)1165的輸出相連。
編碼器1100試圖優(yōu)化全分辨率視頻質(zhì)量，而非低分辨率視頻質(zhì)量。對(duì)全分辨率視頻圖像執(zhí)行運(yùn)動(dòng)估計(jì)。在從輸入圖像減去經(jīng)過運(yùn)動(dòng)補(bǔ)償?shù)念A(yù)測(cè)后，對(duì)預(yù)測(cè)殘差執(zhí)行下采樣。和RRU編解碼器中不同，對(duì)所有圖像都應(yīng)用下采樣，使得低分辨率解碼器能夠總是有圖像要解碼。對(duì)下采樣的殘差進(jìn)行變換和量化，并進(jìn)行熵編碼。這形成了基層位流。應(yīng)用逆量化和逆變換，然后將編碼的殘差上采樣回到全分辨率。編碼器1100能夠選擇是否為圖像或片發(fā)送增強(qiáng)層全分辨率誤差信號(hào)。一般，對(duì)于所有I片對(duì)增強(qiáng)層全分辨率誤差信號(hào)進(jìn)行編碼，并且當(dāng)全分辨率輸入圖像減去解碼的上采樣殘差時(shí)，可選地可以基于誤差信號(hào)的大小，為P和B片發(fā)送增強(qiáng)層全分辨率誤差信號(hào)。如果要對(duì)增強(qiáng)層全分辨率誤差信號(hào)進(jìn)行編碼，則從輸入全分辨率圖像減去編碼的基層上采樣編碼圖像。然后，對(duì)差進(jìn)行量化、變換和熵編碼，以形成增強(qiáng)層位流。增強(qiáng)層位流可被看作只包含幀內(nèi)編碼片。
根據(jù)本發(fā)明的原理，描述一種新的復(fù)雜性可伸縮視頻編碼器和解碼器。與參考圖8顯示和描述的、對(duì)所有類型的片都使用RRU的現(xiàn)有技術(shù)方法相反，在本發(fā)明中，對(duì)于幀間圖像(inter picture)(P和B)在基層中使用RRU，并且對(duì)于幀內(nèi)圖像(intra picture)(I)使用傳統(tǒng)的空間可伸縮性方法。因而，對(duì)于幀間圖像，可以基于解碼器的復(fù)雜性級(jí)別將基層解碼為低分辨率或全分辨率序列。即，在低分辨率解碼器和全分辨率解碼器中，都使用用于對(duì)運(yùn)動(dòng)估計(jì)/補(bǔ)償后所形成的視頻殘差進(jìn)行編碼的位。在低分辨率解碼器和全分辨率解碼器中，都使用在基層位流中傳輸?shù)倪\(yùn)動(dòng)矢量，但是全分辨率解碼器中的精度高于低分辨率解碼器中的精度。同樣，在低分辨率解碼器中以低分辨率執(zhí)行運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)，而在高分辨率解碼器中以高分辨率執(zhí)行運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)。在低分辨率解碼器中使用低分辨率幀存儲(chǔ)器，在高分辨率解碼器中使用高分辨率幀存儲(chǔ)器。只有當(dāng)基層中存在I圖像時(shí)，才發(fā)送增強(qiáng)層。
低分辨率解碼器的解碼器復(fù)雜性保持為低，因?yàn)樗薪獯a操作都是以低分辨率執(zhí)行的(逆量化/變換、運(yùn)動(dòng)補(bǔ)償、解塊)。然而，與同時(shí)聯(lián)播或空間可伸縮位流相比，基層位流的位速率傾向于高，這影響熵解碼器復(fù)雜性。如果限制只有基層中有I圖像時(shí)，才存在增強(qiáng)層，則全分辨率解碼器的復(fù)雜性小于典型的空間可伸縮性解碼器，因?yàn)閷?duì)于非I圖像，只需要單層解碼。
利用如H.263中的傳統(tǒng)空間可伸縮方法，對(duì)I幀進(jìn)行編碼。利用H.264幀內(nèi)編碼方法，將基層中的I幀編碼為低分辨率。對(duì)于基層I幀的增強(qiáng)層，通過結(jié)合H.264的新特征來使用H.263中的方法?？梢詮耐瑫r(shí)上采樣的基層參考圖像和先前的基層全分辨率參考圖像，來預(yù)測(cè)增強(qiáng)層圖像?？梢岳迷贖.264中為半采樣插值而定義的6抽頭插值濾波器{1，-5，20，20，-5，1}/32，或其它某些雙線性濾波器，來執(zhí)行上采樣。如果增強(qiáng)層圖像是從其相應(yīng)的上采樣基層參考I圖像預(yù)測(cè)的，則該增強(qiáng)層圖像被稱為EI，如果增強(qiáng)層圖像是利用單向預(yù)測(cè)從上采樣參考I圖像和先前的基層全分辨率參考圖像預(yù)測(cè)的，則被稱為EP，如果增強(qiáng)層圖像是利用雙向預(yù)測(cè)從上采樣參考I圖像和先前的基層全分辨率參考圖像預(yù)測(cè)的，則被稱為EB。利用H.264中的I片句法對(duì)EI圖像進(jìn)行編碼。即，首先通過假定運(yùn)動(dòng)矢量為0，將EI形成為全分辨率圖像與其相應(yīng)的上采樣基層參考圖像的殘差。然后，將該殘差準(zhǔn)確地編碼為I圖像。更具體地說，通過加128并剪切到(0，255)，來調(diào)節(jié)來自(上采樣的)重構(gòu)基層的當(dāng)前宏塊和相鄰宏塊殘差，然后將它們用于例如如高級(jí)視頻編碼標(biāo)準(zhǔn)(AVC)子條款8.3中所規(guī)定的空間幀內(nèi)預(yù)測(cè)。然后，減去128，并剪切到(-256，255)。然后，將層間幀內(nèi)預(yù)測(cè)殘差加到(上采樣的)重構(gòu)基層上，以形成重構(gòu)的增強(qiáng)層宏塊。對(duì)EI編碼的一種替換方法是，例如象在MPEG-2/MPEG-4/H.263中一樣，在沒有任何空間預(yù)測(cè)的情況下對(duì)殘差圖像編碼。當(dāng)增強(qiáng)層圖像是編碼的EP時(shí)，上采樣基層參考圖像及其先前的基層全分辨率參考圖像都被放在參考圖像列表0中。在對(duì)EP編碼后，可以從參考圖像緩沖器中刪除上采樣基層參考圖像。利用H.264中的P片句法來對(duì)EP編碼。當(dāng)增強(qiáng)層圖像是編碼的EB時(shí)，上采樣基層參考圖像及其先前的基層全分辨率參考圖像都被放在參考圖像列表0和參考圖像列表1中。參考圖像列表1中的頭兩幅圖像的默認(rèn)順序應(yīng)該不同于參考圖像列表0中的頭兩幅圖像。在對(duì)EB編碼后，可以從參考圖像緩沖器中刪除上采樣基層參考圖像。利用H.264中的B片句法對(duì)EB進(jìn)行編碼。另一種方法基于宏塊，該方法結(jié)合如何自適應(yīng)地基于宏塊在EI、EP和EB中對(duì)宏塊編碼。即，對(duì)于來自上采樣重構(gòu)基層的增強(qiáng)層殘差，可以利用空間幀內(nèi)預(yù)測(cè)對(duì)宏塊編碼，或者可以將宏塊編碼為幀內(nèi)宏塊，或編碼為來自參考圖像的單向預(yù)測(cè)或雙向預(yù)測(cè)。
轉(zhuǎn)到圖12，一般用附圖標(biāo)記1200來表示根據(jù)本發(fā)明原理的復(fù)雜性可伸縮性。復(fù)雜性可伸縮性1200涉及基層1210和增強(qiáng)層1220。所涉及的圖像類型包括I圖像1230、P圖像1240、EI圖像1250、EP圖像1260和EB圖像1270。這兩層中的P圖像1240是利用不同的解碼技術(shù)從相同的位流解碼的。
轉(zhuǎn)到圖13，一般用附圖標(biāo)記1300來表示一種以全分辨率對(duì)圖像的視頻數(shù)據(jù)進(jìn)行解碼的方法。
開始?jí)K1302將控制傳遞到功能塊1305和功能塊1310。功能塊1310提取增強(qiáng)層位流，并將控制傳遞到功能塊1330。功能塊1330解碼增強(qiáng)層圖像，并將控制傳遞到結(jié)束塊1335。
功能塊1305提取基層位流，并將控制傳遞到?jīng)Q策塊1315。決策塊1315確定當(dāng)前圖像是否為幀間(inter)RRU(編碼的)圖像。如果當(dāng)前圖像不是幀間RRU圖像，則將控制傳遞到功能塊1320。否則，如果當(dāng)前圖像是幀間RRU圖像，則將控制傳遞到功能塊1340。
功能塊1320對(duì)當(dāng)前圖像進(jìn)行幀內(nèi)解碼，并將控制傳遞到功能塊1325。功能塊1325對(duì)當(dāng)前圖像進(jìn)行上采樣，并將控制傳遞到功能塊1330。
功能塊1340對(duì)當(dāng)前圖像的殘差進(jìn)行上采樣，并將控制傳遞到功能塊1345。功能塊1345以全分辨率對(duì)當(dāng)前圖像進(jìn)行幀間解碼并將控制傳遞到結(jié)束塊1335。
例如，可以通過圖10的解碼器1000來實(shí)施圖13的方法1300。對(duì)幀間圖像的基層位流進(jìn)行操作的解碼器1000的部分是RRU解碼器。在熵解碼1005和逆量化及逆變換1010后，對(duì)殘差進(jìn)行上采樣1015。對(duì)全分辨率參考圖像應(yīng)用運(yùn)動(dòng)補(bǔ)償1035，以形成全分辨率預(yù)測(cè)，并將上采樣殘差加到1020該預(yù)測(cè)上。對(duì)于幀內(nèi)圖像，基層解碼器是以低分辨率操作的標(biāo)準(zhǔn)H.264解碼器。解塊濾波器1050是可選的?？梢詫⒔鈮K濾波器1050插在上采樣之前或上采樣之后。上采樣重構(gòu)基層圖像被放入?yún)⒖紙D像緩沖器1030中，以便預(yù)測(cè)。增強(qiáng)層解碼器1040是以全分辨率操作的標(biāo)準(zhǔn)H.264解碼器。如果EI圖像被輸入到解碼器1300，則所產(chǎn)生的殘差圖像將被加到上采樣參考圖像上，接著進(jìn)行解塊。如果EP圖像被輸入到解碼器1300，則不需要附加步驟。
一般，可以比EI更高效地對(duì)EP/EB編碼。然而，對(duì)于某些應(yīng)用，象通道變換或其它特技模式，必須使用EI以快速訪問。然而，因?yàn)樵诨鶎又蠭圖像總是可得，所以通過允許通道變換后即刻發(fā)生的全分辨率的某一漂移，可以減小增強(qiáng)層中EI圖像的頻數(shù)。即，當(dāng)發(fā)生通道變換、且增強(qiáng)層圖像是EP/EB時(shí)，上采樣基層參考圖像將用作后面圖像預(yù)測(cè)的參考圖像。為限制漂移，對(duì)于后面的幀間圖像可以使用類似IDR的約束，即不能從I圖像之前的圖像預(yù)測(cè)后面的幀間圖像。漂移將完全恢復(fù)，直到下一幅EI圖像為止。
因而，根據(jù)本發(fā)明原理的復(fù)雜性可伸縮視頻編碼器和解碼器的目標(biāo)在于對(duì)于全分辨率的高編碼效率，并且對(duì)于低分辨率允許受約束的漂移傳播。低分辨率和全分辨率解碼器的解碼器復(fù)雜性非常類似于非可伸縮編解碼器的復(fù)雜性，如對(duì)于同時(shí)聯(lián)播這將是可能的。低分辨率解碼器復(fù)雜性非常類似于非可伸縮低分辨率H.264/AVC解碼器的解碼器復(fù)雜性。對(duì)于非I圖像，全分辨率解碼器復(fù)雜性與標(biāo)準(zhǔn)H.264/AVC解碼器復(fù)雜性的差別非常小，只是添加了殘差上采樣器。只對(duì)于I圖像才解碼增強(qiáng)層，因而，只對(duì)單幅圖像執(zhí)行一次運(yùn)動(dòng)補(bǔ)償，不象典型空間可伸縮性解碼器那樣需要執(zhí)行兩次運(yùn)動(dòng)補(bǔ)償(每種分辨率下執(zhí)行一次)、從而需要兩個(gè)幀存儲(chǔ)器。
可以將復(fù)雜性可伸縮編解碼器引入H.264中，并加以擴(kuò)展?？梢蕴砑有碌钠瑓?shù)(reduced_resolution_update)，據(jù)此將當(dāng)前片細(xì)分為32×32大小的宏塊，且低分辨率圖像的大小為pic_width/2×pic_height/2。為支持水平或垂直上具有任何比值的任意低分辨率，可以添加另兩個(gè)參數(shù)low_width_scale和low_height_scale，以允許將當(dāng)前片細(xì)分為(low_width_scale*16)×(low_height_scale*16)大小的宏塊。相應(yīng)的低分辨率大小為(pic_width/low_width_scale×pic_height/low_height_scale)。添加另一參數(shù)complexity_scalable_enable，以指示當(dāng)前片是否將被編碼為兩層。如果當(dāng)前片被編碼為基層，則參數(shù)enhancement_layer_flag被設(shè)為0；否則被設(shè)為1。如果enhancement_layer_flag被設(shè)為1，且slice_type為I，則增強(qiáng)層被編碼為EI。如果enhancement_layer_flag被設(shè)為1，且slice_type為P，則增強(qiáng)層被編碼為EP。低分辨率的大小用low_width_scale和low_height_scale來表示。轉(zhuǎn)到圖14，一般用附圖標(biāo)記1400來表示片頭句法表。注意，對(duì)于slice_header()例子有兩個(gè)表。第一個(gè)表可用于任何空間分辨率可伸縮性。第二個(gè)表假定空間可伸縮性為2。為了使低分辨率解碼器迅速繞過增強(qiáng)層，在此提供用于增強(qiáng)層的新NAL單元類型(類型13)，如圖15所示。轉(zhuǎn)到圖15，一般用附圖標(biāo)記1500來表示NAL單元類型碼的表。
轉(zhuǎn)到圖16，一般用附圖標(biāo)記1600來表示一種以低分辨率對(duì)圖像視頻數(shù)據(jù)進(jìn)行解碼的方法。
開始?jí)K1602將控制傳遞到功能塊1605。功能塊1605提取基層位流，并將控制傳遞到?jīng)Q策塊1610。決策塊1610確定當(dāng)前圖像是否為幀間RRU(編碼的)圖像。如果當(dāng)前圖像不是幀間RRU圖像，則將控制傳遞到功能塊1615。否則，如果當(dāng)前圖像是幀間RRU圖像，則將控制傳遞到功能塊1625。
功能塊1615對(duì)當(dāng)前圖像進(jìn)行幀內(nèi)解碼，并將控制傳遞到結(jié)束塊1620。
功能塊1625縮小當(dāng)前圖像的運(yùn)動(dòng)矢量，并將控制傳遞到功能塊1630。功能塊1630以低分辨率對(duì)當(dāng)前圖像進(jìn)行幀間解碼，并將控制傳遞到結(jié)束塊1620。
轉(zhuǎn)到圖17，一般用附圖標(biāo)記1700來表示一種對(duì)視頻數(shù)據(jù)進(jìn)行編碼的方法。
開始?jí)K1702將控制傳遞到?jīng)Q策塊1704。決策塊1704確定是否要對(duì)基層進(jìn)行幀內(nèi)編碼。如果不要對(duì)基層進(jìn)行幀內(nèi)編碼，則將控制傳遞到功能塊1706。否則，如果要對(duì)基層進(jìn)行幀內(nèi)編碼，則將控制傳遞到功能塊1710。
功能塊1706以全分辨率對(duì)基層進(jìn)行RRU幀間編碼，并將控制傳遞到功能塊1708。功能塊1708輸出基層位流。
功能塊1710對(duì)基層中的圖像進(jìn)行下采樣，并將控制傳遞到功能塊1720。功能塊1720以低分辨率將圖像編碼為幀內(nèi)圖像，并將控制傳遞到功能塊1708和功能塊1730。
功能塊1730對(duì)幀內(nèi)編碼的圖像進(jìn)行上采樣，并將控制傳遞到功能塊1740。功能塊1740以全分辨率對(duì)圖像進(jìn)行編碼，并將控制傳遞到功能塊1750。功能塊1750輸出增強(qiáng)層位流。
現(xiàn)在將描述本發(fā)明許多附帶優(yōu)點(diǎn)/特征中的一些。例如，一個(gè)優(yōu)點(diǎn)/特征是一種用于對(duì)包括基層位流和增強(qiáng)層位流的視頻位流進(jìn)行解碼的復(fù)雜性可伸縮視頻解碼器，其中該解碼器包括用于在不使用解塊操作的情況下對(duì)基層位流進(jìn)行解碼、以形成全分辨率視頻序列的解碼裝置。另一優(yōu)點(diǎn)/特征是一種輸出全分辨率視頻序列、且在上采樣過程之前或之后使用解塊濾波器的復(fù)雜性可伸縮視頻解碼器。又一優(yōu)點(diǎn)/特征是一種輸出全分辨率視頻序列、且具有參考圖像存儲(chǔ)器的復(fù)雜性可伸縮視頻解碼器，該參考圖像存儲(chǔ)器除存儲(chǔ)先前的基層全分辨率參考圖像以外、還存儲(chǔ)上采樣的基層參考圖像。又一優(yōu)點(diǎn)/特征是對(duì)幀內(nèi)圖像使用分層編碼技術(shù)、且對(duì)幀間圖像使用RRU技術(shù)的復(fù)雜性可伸縮視頻編碼器。而且，另一優(yōu)點(diǎn)/特征是如上所述的復(fù)雜性可伸縮視頻編碼器，其中幀內(nèi)圖像既有基層、又有增強(qiáng)層，而幀間圖像只有基層。此外，另一優(yōu)點(diǎn)/特征是如上所述的復(fù)雜性可伸縮視頻編碼器，其中對(duì)于幀內(nèi)圖像，可以利用EI、EP和EB對(duì)相應(yīng)的增強(qiáng)層進(jìn)行編碼。而且，另一優(yōu)點(diǎn)/特征是如上所述的復(fù)雜性可伸縮視頻編碼器，其中通過假定運(yùn)動(dòng)矢量為零、并利用I片句法進(jìn)行編碼，來將EI圖像形成為全分辨率圖像與其相應(yīng)的上采樣基層參考圖像的殘差。又一優(yōu)點(diǎn)/特征是如上所述的復(fù)雜性可伸縮視頻編碼器，其中可以利用EI、EP和EB對(duì)幀內(nèi)圖像的增強(qiáng)層進(jìn)行編碼，且其中可以將上采樣基層參考圖像及其先前的基層全分辨率參考圖像都放在參考圖像列表0中用于單向預(yù)測(cè)，或放在參考列表0和1中用于雙向預(yù)測(cè)。此外，另一優(yōu)點(diǎn)/特征是如上所述的復(fù)雜性可伸縮視頻編碼器，其中可利用EI、EP和EB對(duì)幀內(nèi)圖像的增強(qiáng)層進(jìn)行編碼，且其中當(dāng)使用單向預(yù)測(cè)時(shí)，增強(qiáng)層被稱為EP，并利用P片句法對(duì)增強(qiáng)層進(jìn)行編碼。而且，另一優(yōu)點(diǎn)/特征是如上所述的復(fù)雜性可伸縮視頻編碼器，其中可利用EI、EP和EB對(duì)幀內(nèi)圖像的增強(qiáng)層進(jìn)行編碼，且其中當(dāng)使用雙向預(yù)測(cè)時(shí)，增強(qiáng)層被稱為EB，且利用B片句法對(duì)其進(jìn)行編碼。而且，另一優(yōu)點(diǎn)/特征是如上所述的復(fù)雜性可伸縮視頻編碼器，其中可以基于宏塊，結(jié)合如何自適應(yīng)地基于宏塊在EI、EP和EB中對(duì)宏塊進(jìn)行編碼，來對(duì)幀內(nèi)圖像的增強(qiáng)層進(jìn)行編碼。
相關(guān)領(lǐng)域的普通技術(shù)人員基于此處的教導(dǎo)，可以容易弄清本發(fā)明的這些及其它特征和優(yōu)點(diǎn)。應(yīng)該理解，可以以各種形式的硬件、軟件、固件、專用處理器或它們的組合，來實(shí)施本發(fā)明的教導(dǎo)。
最優(yōu)選的是，將本發(fā)明的教導(dǎo)實(shí)施為硬件和軟件的組合。而且，優(yōu)選地將軟件實(shí)施為確實(shí)可在程序存儲(chǔ)單元上具體實(shí)施的應(yīng)用程序?？蓪⒃搼?yīng)用程序上載到包括任何合適架構(gòu)的機(jī)器、并由該機(jī)器執(zhí)行。優(yōu)選地，在具有硬件如一個(gè)或多個(gè)中央處理器(CPU)、隨機(jī)存取存儲(chǔ)器(RAM)和輸入/輸出(I/O)接口的計(jì)算機(jī)平臺(tái)上，實(shí)施該機(jī)器。該計(jì)算機(jī)平臺(tái)也可包括操作系統(tǒng)和微指令碼。在此描述的各種過程和功能可以是可通過CPU執(zhí)行的微指令碼一部分或應(yīng)用程序一部分、或它們的任何組合。另外，其它各種外圍單元可連接到該計(jì)算機(jī)平臺(tái)，如附加數(shù)據(jù)存儲(chǔ)單元和打印單元。
應(yīng)該進(jìn)一步理解，因?yàn)閮?yōu)選地用軟件來實(shí)施附圖中所描述的一些系統(tǒng)組成部分和方法，所以系統(tǒng)部件或過程功能塊之間的實(shí)際連接可以隨本發(fā)明的編程方式而有所不同。給定此處的教導(dǎo)，相關(guān)領(lǐng)域的普通技術(shù)人員將能夠預(yù)期本發(fā)明的這些及類似實(shí)施或配置。
雖然在此參考附圖描述了說明性實(shí)施例，但是應(yīng)該理解，本發(fā)明不限于那些確切的實(shí)施例，并且在不脫離本發(fā)明的范圍或精神的情況下，相關(guān)領(lǐng)域的普通技術(shù)人員可以對(duì)本發(fā)明進(jìn)行各種變化和更改。所有這種變化和更改都預(yù)定被包括在如所附權(quán)利要求所闡述的本發(fā)明范圍內(nèi)。
權(quán)利要求
1.一種用于對(duì)視頻位流進(jìn)行解碼的復(fù)雜性可伸縮視頻解碼器，包括第一組合器(1020)，用于對(duì)全分辨率運(yùn)動(dòng)補(bǔ)償?shù)念A(yù)測(cè)和解碼的上采樣基層殘差進(jìn)行組合，以形成重構(gòu)的上采樣基層圖像以供顯示，而不對(duì)其應(yīng)用解塊操作；第二組合器(1025)，以信號(hào)通信方式與所述第一組合器相連，用于對(duì)所述重構(gòu)的上采樣基層圖像和解碼的增強(qiáng)層殘差進(jìn)行組合，以形成重構(gòu)的全分辨率增強(qiáng)層圖像；以及解塊濾波器(1050)，以信號(hào)通信方式與所述第二組合器相連，用于對(duì)所述重構(gòu)的全分辨率增強(qiáng)層圖像執(zhí)行解塊操作。
2.一種用于對(duì)視頻位流進(jìn)行解碼的空間可伸縮視頻解碼器，包括上采樣器(1015)，用于對(duì)與所述視頻位流相對(duì)應(yīng)的編碼的預(yù)測(cè)殘差執(zhí)行上采樣操作，以形成上采樣預(yù)測(cè)殘差；以及解塊濾波器(1050)，用于在所述上采樣操作之前或之后執(zhí)行解塊操作。
3.一種用于對(duì)視頻位流進(jìn)行解碼的空間可伸縮視頻解碼器，包括上采樣器(1015)，用于對(duì)基層預(yù)測(cè)殘差進(jìn)行上采樣，以形成上采樣基層預(yù)測(cè)殘差；以及參考圖像存儲(chǔ)器(1030)，用于存儲(chǔ)由所述上采樣基層預(yù)測(cè)殘差形成的上采樣基層參考圖像、以及相應(yīng)的先前的全分辨率參考圖像。
4.一種用于對(duì)多幅圖像的視頻信號(hào)數(shù)據(jù)進(jìn)行編碼的空間可伸縮視頻編碼器，包括幀內(nèi)編碼裝置(1120、1175)，用于利用分層編碼技術(shù)來執(zhí)行幀內(nèi)編碼，以形成幀內(nèi)編碼的圖像；以及幀間編碼裝置(1120)，用于利用降分辨率更新(RRU)技術(shù)來執(zhí)行幀間編碼，以形成幀間編碼的圖像，其中所述幀間編碼裝置包括下采樣器，用于對(duì)預(yù)測(cè)殘差進(jìn)行下采樣，以形成下采樣低分辨率預(yù)測(cè)殘差；以及變換器/量化器，以信號(hào)通信方式與所述下采樣器相連，用于對(duì)所述下采樣低分辨率預(yù)測(cè)殘差進(jìn)行編碼。
5.根據(jù)權(quán)利要求4所述的空間可伸縮視頻編碼器，其中所述幀內(nèi)編碼的圖像被編碼成具有基層和增強(qiáng)層，且所述幀間編碼的圖像被編碼成只有所述基層。
6.根據(jù)權(quán)利要求4所述的空間可伸縮視頻編碼器，其中對(duì)于幀內(nèi)編碼的基層圖像，對(duì)其增強(qiáng)層進(jìn)行編碼，以致以下之一所述增強(qiáng)層中的增強(qiáng)層編碼的圖像是從相應(yīng)的上采樣基層參考圖像預(yù)測(cè)的(1250所述增強(qiáng)層編碼的圖像是利用單向預(yù)測(cè)從所述上采樣基層參考圖像和先前的基層全分辨率參考圖像預(yù)測(cè)的(1260)，以及所述增強(qiáng)層編碼的圖像是利用雙向預(yù)測(cè)從所述上采樣基層參考圖像和所述先前的基層全分辨率參考圖像預(yù)測(cè)的(1270)。
7.根據(jù)權(quán)利要求6所述的空間可伸縮視頻編碼器，其中通過將相應(yīng)的運(yùn)動(dòng)矢量看作零、且利用I片句法進(jìn)行編碼(1250)，把從所述相應(yīng)的上采樣基層參考圖像預(yù)測(cè)的所述增強(qiáng)層編碼的圖像，形成為當(dāng)前原始全分辨率圖像與所述相應(yīng)的上采樣基層參考圖像的殘差。
8.根據(jù)權(quán)利要求6所述的空間可伸縮視頻編碼器，進(jìn)一步包括用于將所述上采樣基層參考圖像和所述先前的基層全分辨率參考圖像都放在參考圖像列表0中以便進(jìn)行單向預(yù)測(cè)，或放在參考圖像列表1中以便進(jìn)行雙向預(yù)測(cè)的裝置(1260/1270)。
9.根據(jù)權(quán)利要求6所述的空間可伸縮視頻編碼器，其中所述增強(qiáng)層編碼的圖像是利用P片句法(1260)，利用單向預(yù)測(cè)從所述上采樣基層參考圖像和所述先前的基層全分辨率參考圖像預(yù)測(cè)的。
10.根據(jù)權(quán)利要求6所述的空間可伸縮視頻編碼器，其中所述增強(qiáng)層編碼的圖像是利用B片句法(1270)，利用雙向預(yù)測(cè)從所述上采樣基層參考圖像和所述先前的基層全分辨率參考圖像預(yù)測(cè)的。
11.一種用于對(duì)視頻位流進(jìn)行解碼的復(fù)雜性可伸縮方法，包括以下步驟對(duì)全分辨率運(yùn)動(dòng)補(bǔ)償?shù)念A(yù)測(cè)和解碼的上采樣基層殘差進(jìn)行組合(1340、1345)，以形成重構(gòu)的上采樣基層圖像以供顯示，而不對(duì)其應(yīng)用解塊操作；對(duì)所述重構(gòu)的上采樣基層圖像和解碼的增強(qiáng)層殘差進(jìn)行組合(1340)，以形成重構(gòu)的全分辨率增強(qiáng)層圖像；以及只對(duì)所述重構(gòu)的全分辨率增強(qiáng)層圖像執(zhí)行(1345)解塊操作，以輸出經(jīng)過濾波的重構(gòu)的全分辨率增強(qiáng)層圖像以供顯示。
12.一種用于對(duì)視頻位流進(jìn)行解碼的空間可伸縮方法，包括以下步驟對(duì)與所述視頻位流相對(duì)應(yīng)的編碼的預(yù)測(cè)殘差執(zhí)行(1340)上采樣操作，以形成上采樣的預(yù)測(cè)殘差；以及在所述上采樣操作之前或之后執(zhí)行(1345)解塊操作。
13.一種用于對(duì)視頻位流進(jìn)行解碼的空間可伸縮方法，包括以下步驟對(duì)基層預(yù)測(cè)殘差進(jìn)行上采樣(1340)，以形成上采樣基層預(yù)測(cè)殘差；以及存儲(chǔ)(1330)由所述上采樣基層預(yù)測(cè)殘差形成的上采樣基層參考圖像、以及相應(yīng)的先前的全分辨率參考圖像。
14.一種用于對(duì)多幅圖像的視頻信號(hào)數(shù)據(jù)進(jìn)行編碼的空間可伸縮方法，包括以下步驟利用分層編碼技術(shù)執(zhí)行(1710、1720、1730、1740)幀內(nèi)編碼，以形成幀內(nèi)編碼的圖像；以及利用降分辨率更新(RRU)技術(shù)執(zhí)行(1706)幀間編碼，以形成幀間編碼的圖像，其中所述幀間編碼步驟包括對(duì)預(yù)測(cè)殘差進(jìn)行下采樣，以形成下采樣的低分辨率預(yù)測(cè)殘差；以及對(duì)所述下采樣低分辨率預(yù)測(cè)殘差進(jìn)行編碼。
15.根據(jù)權(quán)利要求14所述的方法，其中所述幀內(nèi)編碼的圖像被編碼成具有基層和增強(qiáng)層(1704、1708、1750)，且所述幀間編碼的圖像被編碼成只有所述基層(1704、1706、1708)。
16.根據(jù)權(quán)利要求14所述的方法，其中對(duì)于幀內(nèi)編碼的基層圖像，對(duì)其增強(qiáng)層進(jìn)行編碼，以致以下之一所述增強(qiáng)層中的增強(qiáng)層編碼的圖像是從相應(yīng)的上采樣基層參考圖像預(yù)測(cè)的(1740、1250)，所述增強(qiáng)層編碼的圖像是利用單向預(yù)測(cè)從所述上采樣基層參考圖像和先前的基層全分辨率參考圖像預(yù)測(cè)的(1740、1260)，以及所述增強(qiáng)層編碼的圖像是利用雙向預(yù)測(cè)從所述上采樣基層參考圖像和所述先前的基層全分辨率參考圖像預(yù)測(cè)的(1740、1270)。
17.根據(jù)權(quán)利要求16所述的方法，其中通過將相應(yīng)的運(yùn)動(dòng)矢量看作零、且利用I片句法進(jìn)行編碼，把從所述相應(yīng)的上采樣基層參考圖像預(yù)測(cè)的所述增強(qiáng)層編碼的圖像，形成為當(dāng)前原始全分辨率圖像與所述相應(yīng)的上采樣基層參考圖像的殘差(1740、1250)。
18.根據(jù)權(quán)利要求16所述的方法，進(jìn)一步包括以下步驟將所述上采樣基層參考圖像和所述先前的基層全分辨率參考圖像都放在參考圖像列表0中以便進(jìn)行單向預(yù)測(cè)，或放在參考圖像列表1中以便進(jìn)行雙向預(yù)測(cè)(1740、1260/1270)。
19.根據(jù)權(quán)利要求16所述的方法，其中所述增強(qiáng)層編碼的圖像是利用P片句法，利用單向預(yù)測(cè)從所述上采樣基層參考圖像和所述先前的基層全分辨率參考圖像預(yù)測(cè)的(1740、1260)。
20.根據(jù)權(quán)利要求16所述的方法，其中所述增強(qiáng)層編碼的圖像是利用B片句法，利用雙向預(yù)測(cè)從所述上采樣基層參考圖像和所述先前的基層全分辨率參考圖像預(yù)測(cè)的(1740、1270)。
21.一種視頻編碼方法，包括在基層利用降分辨率更新模式來執(zhí)行幀間編碼；以及在基層利用非降分辨率模式來執(zhí)行幀內(nèi)編碼。
全文摘要
本發(fā)明提供了分別用于對(duì)視頻位流進(jìn)行解碼和編碼的復(fù)雜性可伸縮視頻解碼器和編碼器。復(fù)雜性可伸縮視頻解碼器包括第一組合器(1020)、第二組合器(1025)和解塊濾波器(1050)。第一組合器(1020)用于對(duì)全分辨率運(yùn)動(dòng)補(bǔ)償?shù)念A(yù)測(cè)和解碼的上采樣基層殘差進(jìn)行組合，以形成重構(gòu)的上采樣基層圖像以供顯示，而不對(duì)其應(yīng)用解塊操作。第二組合器(1025)以信號(hào)通信方式與第一組合器相連，用于對(duì)重構(gòu)的上采樣基層圖像和解碼的增強(qiáng)層殘差進(jìn)行組合，以形成重構(gòu)的全分辨率增強(qiáng)層圖像。解塊濾波器(1050)以信號(hào)通信方式與第二組合器相連，用于只對(duì)重構(gòu)的全分辨率增強(qiáng)層圖像執(zhí)行解塊操作，以輸出經(jīng)過濾波的重構(gòu)的全分辨率增強(qiáng)層圖像以供顯示。
文檔編號(hào)H04N7/46GK101040533SQ200580035182
公開日2007年9月19日 申請(qǐng)日期2005年10月12日 優(yōu)先權(quán)日2004年10月13日
發(fā)明者尹鵬, 吉爾·麥克唐納·瓦布斯, 普爾溫·比布哈斯·潘迪特 申請(qǐng)人:湯姆遜許可公司