本發(fā)明屬于數(shù)字視頻壓縮領(lǐng)域，尤其涉及一種參考圖像管理方法。

背景技術(shù)：

參考幀管理是視頻編碼中的一項關(guān)鍵技術(shù)，主要負責(zé)管理解碼圖像緩沖區(qū)(DPB)，并從中選取最優(yōu)的參考方案，創(chuàng)建參考圖像隊列。參考圖像管理方法是編解碼框架的高層結(jié)構(gòu)，為幀間預(yù)測提供了基礎(chǔ)。視頻編解碼框架，比如HEVC，一般采用參考幀集(RPS)的技術(shù)來管理已經(jīng)解碼的幀，并作為后續(xù)編碼的參考幀。RPS是一個包含了構(gòu)建當(dāng)前編解碼圖像的參考圖像隊列、管理DPB的參數(shù)信息集合。編碼端通過對編碼圖像配置RPS，使得每幅圖像中都包含對DPB中圖像管理的標記，進而達到對參考圖像管理的目的；解碼端通過解析得到的RPS構(gòu)建參考圖像隊列和標識DPB中解碼圖像是否為可被參考圖像，并且通過RPS檢驗是否存在丟幀圖像。為了提高幀間預(yù)測的準確度，多參考幀通常作為一種比較有效的方法。解碼已經(jīng)完成的圖像，被存入解碼圖像緩沖區(qū)(DPB)中，以備后續(xù)參考，而且在DPB中的每一幀圖像，會被標記不同的狀態(tài)，包括被參考(長期參考，短期參考)和不被參考等幾種標記狀態(tài)。DPB中只存儲一定量的圖像，隨著當(dāng)前解碼圖像，以先入先出的方式，將新的解碼圖像移入DPB而將離當(dāng)前幀最遠的一幀移出DBP，進而保證存儲在DPB中的圖像均是最近解碼的圖像。不同的GOP結(jié)構(gòu)中不同的幀類型執(zhí)行不同的參考幀管理方式。

同樣地，在三維視頻編碼中，參考幀管理方案有著更重要的地位。三維視頻編碼中的預(yù)測不僅包括時域預(yù)測還包括視間預(yù)測。前者表示同一視點上的各幀之間的參考關(guān)系而后者表示不同視點間的參考關(guān)系。一般來說，同一視點上的參考圖像管理方式與傳統(tǒng)的2D視頻編碼框架相同，而不同視點間的參考圖像管理就相對比較特殊，可以有不同的設(shè)計方法。視間參考幀的設(shè)計可以與時域參考幀結(jié)合，也可以單獨進行構(gòu)建，刪除和管理操作。目前，缺少一種能夠在編解碼過程中實現(xiàn)時域參考幀和視間參考幀的合理的被參考，提高編解碼效率的有效的參考幀管理方案。

現(xiàn)有的相關(guān)專利，例如申請?zhí)枮?00310116085.1的中國發(fā)明專利申請，涉及一種參考圖像緩沖區(qū)管理方法，包括：根據(jù)編碼的方式，在緩沖區(qū)中保留用于編/解碼的參考圖像；每一個參考圖像都通過一個參考索引來標記；當(dāng)前圖像根據(jù)參考索引來確定參考圖像，完成編解碼；如果當(dāng)前編/解碼圖像為I幀/場或P幀/場，則將解碼后的I/P幀/場替換緩沖區(qū)中離當(dāng)前圖像最遠的參考幀/場，編/解碼下一個圖像；如果所有的圖像都完成了編/解碼,則刪除緩沖區(qū)中的所有圖像。但該方法編/解碼效率低。

技術(shù)實現(xiàn)要素：

本發(fā)明主要解決的技術(shù)問題是提供一套有效的參考幀管理方案，從而實現(xiàn)編解碼過程中時域參考幀和視間參考幀的合理的被參考，提高編解碼效率。

本發(fā)明具體公開了一種參考圖像管理方法，該方法通過構(gòu)建，移入，刪除等操作管理視間參考圖像隊列的方法，并通過CU(coding unit)層的標識符來進行編碼，從而與時域參考幀管理相結(jié)合形成一套完整的參考幀管理方法。其具體包括對依賴視點的編碼，新增一個視間參考圖像隊列，單獨管理視間參考圖像，而不是在原本時域參考幀隊列中替換某些時域參考幀的方式。對于視間參考標識符的標記是以CU為單位，視間參考模式對應(yīng)的語法元素進行編碼到碼流。

本發(fā)明的目的是通過以下技術(shù)方案實現(xiàn)的。

一種視間參考圖像管理方法，其包括：

定義和構(gòu)建視間參考幀緩沖區(qū)：定義依賴視點的視間參考幀緩沖區(qū)、所述視間參考幀緩沖區(qū)的大小、其存儲的視間參考圖像類型以及位置，并且構(gòu)建所述視間參考幀緩沖區(qū)；

構(gòu)建和管理依賴視點的視間參考幀隊列：在所述視間參考圖像緩沖區(qū)存儲來自基準視點的視間參考幀圖像作為所述依賴視點的視間參考幀隊列，定義每幀視間參考圖像的幀索引號、定義何時移入來自基準視點的視間參考幀圖像以及定義何時將其刪除。

優(yōu)選地，構(gòu)建和管理依賴視點的視間參考幀隊列還包括：在CU(編碼單位)層，編碼端經(jīng)過率失真優(yōu)化決策，判定當(dāng)前塊是否為視間參考塊，若是，則判斷是否是視間參考模式，若是，則將其作為新增的視間參考模式編碼到碼流，以便解碼端識別所述視間參考塊采用的是視間參考模式。

優(yōu)選地，所述定義何時移入來自基準視點的視間參考幀圖像的操作包括：在同一時刻的基準視點的圖像的紋理編碼完畢之后，將該基準點的該時刻的經(jīng)紋理編碼的圖像移入該依賴視點的視間參考圖像緩沖區(qū)中，作為依賴視點編碼過程中的視間參考圖像；所述定義何時將其刪除的操作包括：在對所述視間參考幀隊列中、編碼的當(dāng)前幀對應(yīng)的最后一個依賴視點進行紋理和深度均編碼完畢之后，將所述視間參考幀從參考幀隊列中刪除。

優(yōu)選地，所述構(gòu)建依賴視點的視間參考幀隊列是在其對應(yīng)的基準視點編碼開始之前獨立完成構(gòu)建。

一種參考圖像管理方法，包括時域參考圖像管理方法和上述的視間參考圖像管理方法。

與現(xiàn)有技術(shù)相比，本發(fā)明公開的參考圖像管理方法，具有如下有益效果：

既不改變原來時域參考幀的管理方式，又有利于視間參考幀從一幀到多幀的擴展。通過該發(fā)明提供的時域和視間參考圖像相結(jié)合的方法，可以大幅度提高依賴視點的編碼性能。

附圖說明

通過閱讀下文優(yōu)選實施方式的詳細描述，各種其他的優(yōu)點和益處對于本領(lǐng)域普通技術(shù)人員將變得清楚明了。附圖僅用于示出優(yōu)選實施方式的目的，而并不認為是對本發(fā)明的限制。而且在整個附圖中，用相同的參考符號表示相同的部件。

圖1是根據(jù)本發(fā)明實施方式的依賴視點的不同類型編碼圖像的參考圖像隊列形成原理圖；

圖2是根據(jù)本發(fā)明實施方式的LDP配置下基準視點和依賴視點的預(yù)測參考關(guān)系圖；

圖3是根據(jù)本發(fā)明實施方式的RA配置下基準視點和依賴視點的預(yù)測參考關(guān)系圖；

圖4根據(jù)本發(fā)明實施方式的RA配置下，AVS 3D參考圖像管理方法在RFD中的性能表示圖；

圖5根據(jù)本發(fā)明實施方式的LDP配置下，AVS 3D參考圖像管理方法在RFD中的性能表示圖。

具體實施方式

下面將參照附圖更詳細地描述本公開的示例性實施方式。雖然附圖中顯示了本公開的示例性實施方式，然而應(yīng)當(dāng)理解，可以以各種形式實現(xiàn)本公開而不應(yīng)被這里闡述的實施方式所限制。相反，提供這些實施方式是為了能夠更透徹地理解本公開，并且能夠?qū)⒈竟_的范圍完整的傳達給本領(lǐng)域的技術(shù)人員。

本發(fā)明提供了一套基于三維視頻編碼框架的參考圖像的管理方法，具體地，是一種時域參考和視間參考結(jié)合的3D編碼參考圖像管理方案。其中，對于時域參考，同一視點間的圖像參考關(guān)系中，對于每一個視點內(nèi)部來說，都維持了同樣的參考幀管理方案。而對于視間參考，本發(fā)明提出了一種視間參考幀單獨構(gòu)建，移入，刪除的管理方式。由于視間參考的實質(zhì)即是依賴視點只能參考基準視點，對于基準視點來說時域參考幀原有的移入，刪除操作都要相應(yīng)的做出調(diào)整，以供依賴視點合理有效的參考，從而形成一套完善的參考幀管理方法。

在三維視頻編碼中，基準視點中的圖像只能參考本視點的圖像，依賴視點的圖像可以參考基準視點中的圖像。在LDP和RA配置下，基準視點和依賴視點預(yù)測參考關(guān)系如圖2和圖3所示。每個視點都單獨維護一套參考圖像管理列表，依賴視點的參考圖像列表中加入了視間參考圖像，在當(dāng)前幀編碼結(jié)束之后就將視間參考幀從參考幀隊列中刪除，其他時間域的參考幀的添加、刪除操作與基準視點的參考幀管理機制一樣。

圖1示出了依賴視點的不同類型編碼圖像的參考圖像隊列形成原理圖，其中，編碼端中，若依賴視點中的I幀可以參考與其處在同一時間域的基準視點圖像編碼，此時依賴視點的編碼類型從I幀圖像變成P/F幀圖像，此時參考圖像隊列中只有基準視點圖像。依賴視點的P/F幀圖像的參考圖像隊列包括時域參考圖像隊列和視間參考圖像隊列，其中時域參考圖像隊列包含來自同一視點的時域圖像，視間參考圖像隊列中包括來自基準視點的視間參考圖像。依賴視點的B圖像的參考圖像構(gòu)建成兩個參考圖像隊列，包含時域參考圖像隊列和視間參考圖像隊列，其中時域參考圖像隊列中包含來自同一視點的前后兩個時域參考圖像，而視間參考圖像隊列中包含來自基準視點的視間參考圖像。

依賴視點圖像在建立視間參考圖像列表的過程中，視間參考圖像緩沖區(qū)中目前只包含一幀圖像，即來自同一時刻的基準試點的圖像。也可以擴展到包含多個視間參考圖像。

視間參考圖像的刪除操作是在當(dāng)前幀對應(yīng)的基準試點和依賴視點的紋理和深度均編碼完畢之后，再進行刪除。

而視間參考圖像的移入操作是在基準視點的紋理編碼完畢之后，將該基準視點移入依賴視點的視間參考圖像隊列中，作為依賴視點編碼過程中的視間參考圖像。

其中，在3D-AVS(audio video coding standard)中圖像類型中，AVS里的解碼圖像包括：

——幀內(nèi)解碼圖像(I圖像)；

——單前向幀間解碼圖像(P圖像)；

——雙向幀間解碼圖像(B圖像)；

——前向幀間解碼圖像(F圖像)；

——應(yīng)輸出的幀內(nèi)解碼場景圖像(G圖像)；

——不應(yīng)輸出的幀內(nèi)解碼場景圖像(GB圖像)；

——應(yīng)參考場景圖像的單前向幀間解碼圖像(S圖像)

本發(fā)明的實施方式中，時域參考延用AVS2基準檔次的管理方法，同時新構(gòu)建一個視間參考圖像隊列來存儲視間參考圖像。本發(fā)明給出了一個具體實施例，其實現(xiàn)了視間參考幀隊列的構(gòu)建，修改和刪除，過程如下：

一、視間參考圖像隊列的構(gòu)建

在編碼每一幀之前，時域參考幀隊列和視間參考幀隊列都會將對應(yīng)的參考幀緩沖區(qū)構(gòu)建完成。而依賴視點的視間參考幀隊列的構(gòu)建是在其對應(yīng)的基準視點編碼開始之前獨立完成構(gòu)建。依賴視點的時域參考幀隊列的構(gòu)建與基準視點的時域參考幀隊列構(gòu)建采用相同的方法。

具體方法見偽代碼：

If(imgType！＝I_IMG&&imgViewIdx>0){

constructInterRefList()；//構(gòu)建視間參考幀隊列，完成視間參考相關(guān)的數(shù)據(jù)更新

}

二、視間參考圖移入和刪除

對于依賴視點，視間參考圖像的移入操作是在同一時刻的基準視點編碼完畢之后，將該基準視點幀移入到視間參考圖像緩沖區(qū)imgInterRefBuf中。刪除操作是在當(dāng)前幀對應(yīng)的最后一個依賴視點的紋理和深度編碼完畢之后再進行刪除。

具體方法見偽代碼：

移入：

if(imgViewIdx＝＝0){

imgInterRefBuf[pos][isDepth]＝imgTr；//imgTr是當(dāng)前編碼的幀索引號，也即是POC值。

}

刪除：

if(imgViewIdx＝＝InputViewIdx-1){

imgInterRefBuf[pos][isDepth]＝-256；

}

三、編碼標識符flag的方法

視間參考標識符的判定在CU層進行的。對于依賴視點來說，如果經(jīng)過率失真優(yōu)化決策為視間參考塊，那么會有一個interview_flag作為標志。如果interview_flag值為1，則說明當(dāng)前塊是視間參考模式，用interview_prediction_mode表示。作為新增的視間參考模式，interview_prediction_mode被編碼進碼流，以便解碼端識別當(dāng)前塊采用的是視間參考模式。

為了測試本發(fā)明的性能狀況，利用AVS 3D參考軟件RFD5.0作為性能測試平臺，測試結(jié)果如圖4和如圖5所示，我們采用的測試序列是AVS 3D標準測試序列。其中，video0，video1和video2分別對應(yīng)于基準試點，和兩個依賴視點。video PSNR欄中的videobitrate和totalbitrate分別為紋理和紋理+深度的性能。最后，synth PSNR對應(yīng)的是合成視點的性能。如圖4和圖5中所有的數(shù)據(jù)均表示BD-rate。

本發(fā)明提供的視間參考幀管理方法完善了時域參考的參考關(guān)系，使得其在三維視頻中形成一套完整的參考圖像管理方法。

以上所述，僅為本發(fā)明較佳的具體實施方式，但本發(fā)明的保護范圍并不局限于此，任何熟悉本技術(shù)領(lǐng)域的技術(shù)人員在本發(fā)明揭露的技術(shù)范圍內(nèi)，可輕易想到的變化或替換，都應(yīng)涵蓋在本發(fā)明的保護范圍之內(nèi)。因此，本發(fā)明的保護范圍應(yīng)所述以權(quán)利要求的保護范圍為準。