專利名稱：分級多視角圖像編碼和解碼裝置及方法
技術(shù)領域：
本發(fā)明涉及圖像編碼和解碼方法及裝置。更具體地，本發(fā)明涉及使用運動補償時域濾波(MCTF)或分層B-畫面，沿空域軸和時域軸方向?qū)碜远鄠€攝像機的多視角圖像輸入進行濾波，并使用分級(scalable)視頻編碼(SVC)技術(shù)，對濾波后的多視角圖像進行分級編碼的分級多視角圖像編碼和解碼方法及裝置。
背景技術(shù)：
期望數(shù)字廣播服務從高分辨率電視(HDTV)和衛(wèi)星/地波數(shù)字多媒體廣播(DMB)服務發(fā)展至交互TV和廣播服務、發(fā)展至三維(3D)TV和廣播服務、然后發(fā)展至現(xiàn)實廣播服務。現(xiàn)實廣播服務以不同視點向觀看者提供了與場景圖像有關的信息。為了實現(xiàn)這種現(xiàn)實廣播服務，必須生成全景圖像。為了生成全景圖像，使用位于不同視點的多個攝像機來獲得圖像。然后，將所獲得的圖像進行連接。可選地，可以使用全向攝像機系統(tǒng)來獲得全景圖像。必須使用多個攝像機來收集大量數(shù)據(jù)，并將它們進行傳輸，以向用戶傳遞所獲得的圖像信息。因此，已經(jīng)對收集與多視角圖像有關的信息的不同方法進行了研究。例如，已經(jīng)研究了多視角攝像機系統(tǒng)、立體攝像機系統(tǒng)和全向攝像機系統(tǒng)。多視角攝像機系統(tǒng)使用多(M)個攝像機，同時地拍攝或傳輸主題或場景，并向用戶提供在不同位置處的M個攝像機提供的不同場景或三維(3D)場景。
多視角圖像編碼涉及同時地對從提供多視角圖像的M個攝像機輸入的圖像進行編碼。多視角圖像編碼還涉及壓縮、存儲和傳輸所編碼的圖像。當未經(jīng)壓縮地存儲和傳輸多視角圖像時，由于大量的多視角圖像數(shù)據(jù)，所以需要大的傳輸帶寬，以通過廣播網(wǎng)絡或有線/無線因特網(wǎng)，實時地向用戶傳輸數(shù)據(jù)。例如，當以30幀/秒的速率，從16個攝像機輸入24比特彩色圖像(每個具有1310×1030像素的分辨率)時，必須處理14.4Gb/秒的數(shù)據(jù)。因此，運動圖像專家組(MPEG)中的3D音頻和視頻子組組織了致力于設計多視角編碼方法的小組。該小組嘗試創(chuàng)造使用視頻壓縮的國際標準來對從多視角視頻輸入的大量圖像數(shù)據(jù)進行編碼的方法。
圖1A至1C示出了傳統(tǒng)多視角攝像機的排列。圖2示出了分別和同時輸入16個多視角攝像機的圖像，這些攝像機在自由視點TV(FTV)系統(tǒng)中以4×4并列結(jié)構(gòu)排列。圖1A至1C分別示出了以并列結(jié)構(gòu)、收斂結(jié)構(gòu)和發(fā)散結(jié)構(gòu)排列的多個攝像機10。
參照圖2，分別輸入16個攝像機的圖像非常相似。換言之，在輸入提供多視角圖像的攝像機的圖像之間，存在高相關性。因此，可以利用與輸入攝像機的圖像之間的高空域相關性有關的信息來實現(xiàn)在阿多視角視頻編碼中的高壓縮效率。此外，需要空域-時域分級編碼在不同的環(huán)境中呈現(xiàn)3D或2D圖像，并且使用具有不同計算能力的終端。
因此，需要一種改進的裝置和方法，用于對從多個攝像機輸入的多視角圖像沿空域軸和時域軸方向進行濾波，以支持多種空域-時域分級。

發(fā)明內(nèi)容
技術(shù)方案因此，本發(fā)明的示例性實施例的方面提供了分級多視角圖像編碼方法和裝置，用于在空域和時域上在預定時間段內(nèi)對從多個攝像機輸入的多視角圖像進行濾波，從而支持不同的空域-時域分級。
本發(fā)明的示例性實施例還提供了分級多視角圖像解碼方法和裝置，用于對分級編碼后的多視角圖像的比特流進行解碼，從而支持空域-時域分級。
有益效果本發(fā)明在空域和時域上對多視角圖像組進行濾波，并使用時域上相鄰的圖像之間的相關性，對濾波后的多視角圖像組進行編碼，從而提高了編碼效率。此外，本發(fā)明提供了時域分級、視角(攝像機)空域分級、大小相關的空域分級和SNR分級。


通過參照附圖來詳細描述本發(fā)明的示例性實施例，本發(fā)明的特定示例性實施例的以上和其它示例性目的將會變得更加顯而易見，其中圖1A至1C示出了傳統(tǒng)多視角攝像機的排列；圖2示出了分別和同時輸入在自由視點TV(FTV)系統(tǒng)中以4×4并列結(jié)構(gòu)排列的16個多視角攝像機的圖像；圖3是根據(jù)本發(fā)明示例性實施例的、示出了分級圖像編碼概念的概念性結(jié)構(gòu)框圖；圖4是根據(jù)本發(fā)明示例性實施例的分級圖像編碼裝置的結(jié)構(gòu)框圖；圖5是示出了在用于根據(jù)本發(fā)明示例性實施例的運動補償時域濾波(MCTF)的提升方案中執(zhí)行的操作的概念圖示；圖6是示出了使用根據(jù)本發(fā)明示例性實施例的Harr小波，在時域上對在畫面組(GOP)中可具有8個畫面的圖像序列進行濾波的方法的概念圖示；圖7是示出了使用根據(jù)本發(fā)明示例性實施例的5/3樣條小波，在時域上對在畫面組(GOP)中可具有8個畫面的圖像序列進行濾波的方法的概念圖示；圖8是示出了根據(jù)本發(fā)明示例性實施例的基于塊的MTCF預測操作的概念圖示；圖9是示出了根據(jù)本發(fā)明示例性實施例的基于塊的MTCF更新操作的概念圖示；圖10是示出了根據(jù)本發(fā)明示例性實施例，在分級圖像編碼中實現(xiàn)時域分級過程的概念圖示；圖11是示出了根據(jù)本發(fā)明示例性實施例，實現(xiàn)時域、空域和質(zhì)量分級的分級結(jié)構(gòu)的概念圖示；圖12是示出了根據(jù)本發(fā)明示例性實施例的具有二進分層結(jié)構(gòu)的分層B畫面的概念圖示；圖13是示出了根據(jù)本發(fā)明示例性實施例的沒有二進分層結(jié)構(gòu)的分層B畫面的概念圖示；圖14示出了根據(jù)本發(fā)明示例性實施例的包括分級多視角圖像編碼和解碼裝置的分級多視角圖像編解碼器的結(jié)構(gòu)；圖15是根據(jù)本發(fā)明示例性實施例的分級多視角圖像編碼裝置的結(jié)構(gòu)框圖；圖16是根據(jù)本發(fā)明示例性實施例的分級多視角圖像編碼方法的流程圖；圖17示出了根據(jù)本發(fā)明示例性實施例的二維(2D)圖像組；圖18示出了根據(jù)本發(fā)明示例性實施例，在空域上對多視角圖像進行濾波的處理；圖19示出了根據(jù)本發(fā)明示例性實施例，用于對多視角圖像進行分級編碼的空域濾波和時域濾波之間的關系；圖20示出了根據(jù)本發(fā)明示例性實施例，在時域上對在空域濾波處理之后生成的空域低頻圖像進行濾波的過程；圖21示出了根據(jù)本發(fā)明示例性實施例，分級多視角圖像編碼過程；圖22至25示出了根據(jù)本發(fā)明示例性實施例，在分級多視角圖像編碼過程中生成的比特流；圖26是根據(jù)本發(fā)明示例性實施例的分級多視角圖像解碼裝置的結(jié)構(gòu)框圖；圖27是示出了根據(jù)本發(fā)明示例性實施例的分級多視角圖像解碼方法的流程圖；圖28示出了包括在圖27的分級多視角圖像解碼方法中的逆濾波操作；圖29是根據(jù)本發(fā)明示例性實施例的向空域分級提供不同大小的圖像的分級多視角圖像編碼裝置的概念圖示；以及圖30示出了根據(jù)本發(fā)明示例性實施例的完整數(shù)據(jù)流的配置，該完整數(shù)據(jù)流在分層結(jié)構(gòu)中包括基于QCIF(四分之一公共中間格式)的2D QCIF核、CIF(公共中間格式)和4-CIF比特流。
在附圖中，相同的附圖參考數(shù)字將會理解為指代相同的元件、特征和結(jié)構(gòu)。
具體實施例方式
最佳實施模式本發(fā)明示例性實施例的一方面提供了分級多視角圖像編碼方法和裝置，用于在空域和時域上對在預定時間段內(nèi)從多個攝像機輸入的多視角圖像進行濾波，從而支持不同的空域-時域分級。例如，本發(fā)明的示例性實施例提供了一種分級多視角圖像編碼的方法和裝置，用于使用運動補償時域濾波(MCTF)或分層B-畫面，沿空域軸和時域軸方向?qū)?D畫面組(GOP)(這是沿時域軸和空域軸獲得的多個圖像的組合)進行濾波，并使用分級視頻編碼(SVC)技術(shù)，對濾波后的2DGOP進行分級編碼。
本發(fā)明的示例性實施例還提供了分級多視角圖像解碼的方法和裝置，用于對分級編碼后的多視角圖像的比特流進行解碼，從而支持空域-時域分級。
根據(jù)本發(fā)明示例性實施例的一方面，提供了一種分級多視角圖像編碼方法。從M個攝像機輸入M個圖像，并在空域軸上進行濾波。通過使用空域運動補償時域濾波(MCTF)或分層B-畫面來對M圖像進行濾波。生成了空域低頻圖像和(M-1)空域高頻圖像。使用時域MCTF或分層B-畫面，對在N個時間段內(nèi)生成的N個低頻圖像進行濾波。生成了時域低頻圖像和(N-1)個時域高頻圖像。根據(jù)分配給每組M×N二維(2D)圖像的傳輸比特速率，對時域低頻圖像和(N-1)個時域高頻圖像進行分級編碼。此外，參照分配給時域低頻圖像和(N-1)個時域高頻圖像的傳輸比特速率，對(M-1)個空域高頻圖像進行分級編碼。
根據(jù)本發(fā)明示例性實施例的另一方面，提供了一種分級多視角圖像編碼裝置。空域圖像濾波單元對從M個攝像機輸入的空域軸上的M個圖像進行濾波。通過使用空域MCTF或分層B-畫面，對M個圖像進行濾波，并生成了空域低頻圖像和(M-1)個空域高頻圖像。通過使用時域MCTF或分層B-畫面，時域圖像濾波單元對N個時間段內(nèi)生成的N個空域低頻圖像進行濾波，并生成了時域低頻圖像和(N-1)個時域高頻圖像。時域圖像分級編碼單元根據(jù)分配給每組M×N二維(2D)圖像的傳輸比特速率，對該時域低頻圖像和(N-1)個時域高頻圖像進行分級編碼?？沼驁D像分級編碼單元根據(jù)分配給時域低頻圖像和(N-1)個時域高頻圖像的傳輸比特速率，對(M-1)個空域高頻圖像進行分級編碼。
根據(jù)本發(fā)明示例性實施例的另一方面，提供了一種分級多視角圖像解碼方法。與空域-時域低頻和高頻圖像相對應地接收分級編碼后的比特流，其中，在使用MCTF或分層B-畫面，對在N個時間段內(nèi)從M個攝像機輸入2D圖像組進行空域和時域上的濾波之后，生成該空域-時域低頻和高頻圖像。對包括在比特流中的分級編碼后的時域低頻和高頻圖像進行解碼。通過使用時域逆-MCTF或分層B-畫面，對解碼后的時域低頻和高頻圖像進行逆濾波，并對空域低頻圖像進行了重構(gòu)。對包括在比特流中的分級編碼空域高頻圖像進行解碼，通過使用時域逆-MCTF或分層M-畫面，對所重構(gòu)的空域低頻圖像和解碼后的空域高頻圖像進行逆濾波，并對圖像進行重構(gòu)。
根據(jù)本發(fā)明示例性實施例的另一方面，提供了一種分級多視角圖像解碼裝置。時域圖像解碼單元接收與空域-時域低頻和高頻圖像相對應的分級編碼后的比特流，其中，在使用MCTF或分層B-畫面，對在N個時間段內(nèi)從M個攝像機輸入2D圖像組進行空域和時域上的濾波之后，生成該空域-時域低頻和高頻圖像。對包括在比特流中的分級編碼后的時域低頻和高頻圖像進行解碼。時域逆濾波單元使用時域逆-MCTF或分層B-畫面，對解碼后的時域低頻和高頻圖像進行逆濾波，并對空域低頻圖像進行了重構(gòu)。空域圖像解碼單元對包括在比特流中的分級編碼空域高頻圖像進行解碼，空域逆濾波單元使用時域逆-MCTF或分層M-畫面，對所重構(gòu)的空域低頻圖像和解碼后的空域高頻圖像進行逆濾波，并對圖像進行重構(gòu)。
本發(fā)明的其它目的、優(yōu)點和顯著特征將從以下的詳細描述中對于本領域技術(shù)人員來說變得顯而易見，以下的詳細描述結(jié)合附圖，公開了本發(fā)明的示例性實施例。
實現(xiàn)本發(fā)明的方式提供在該描述中定義的問題(如，詳細構(gòu)造和元件)，以幫助全面理解本發(fā)明的實施例。因此，本領域普通技術(shù)人員將會理解，可以在不偏離本發(fā)明的范圍和精神的情況下，做出對這里描述的實施例的不同改變和修改。此外，為了清楚和簡明，省略了熟知的描述和構(gòu)造?，F(xiàn)在將對應用于本發(fā)明實施例的分級圖像編碼和分層B-畫面進行描述，以促進對本發(fā)明的理解。
分級圖像編碼涉及將具有不同分辨率的圖像信息、幀速率和視覺質(zhì)量轉(zhuǎn)換為一個比特流，并根據(jù)不同的環(huán)境和具有不同處理能力的終端來提供比特流。
圖3是示出了分級圖像編碼的概念圖示。圖4是分級圖像編碼裝置的概念性結(jié)構(gòu)框圖。圖3和4示出了分級圖像編碼，其中，使用時域變換32在時域上對輸入視頻31進行分級，并使用2D空域變換33在空域上對輸入視頻31進行分級。此外，使用紋理編碼34在質(zhì)量上對輸入視頻31進行分級。運動編碼35對實現(xiàn)空域分級時獲得的運動信息進行分級編碼。結(jié)果，生成了比特流36。
在分級圖像編碼中，使用運動補償時域濾波(MCTF)和分層B-畫面來提供時域分級并提高壓縮效率。
MCTF涉及在圖像序列中沿時域軸方向的與運動有關的信息，來執(zhí)行小波變換。使用提升方案來執(zhí)行小波變換。使用提升方案來有效地執(zhí)行小波變換。提升方案在沒有執(zhí)行量化時保證了完全重構(gòu)圖像。提升方案包括多相分解操作、預測操作和更新操作。
圖5是示出了在用于MCTF中的提升方案中執(zhí)行的操作的概念圖示。在本說明書中，在附圖中以下標示出了在方括號內(nèi)表示的等式部分。參照圖5，將輸入信號s[k]劃分為偶數(shù)數(shù)字信號s[2k]和奇數(shù)數(shù)字信號s[2k+1]。從奇數(shù)數(shù)字信號s[2k+1]中減去偶數(shù)數(shù)字信號s[2k]的初始組合組成的預測操作符P(s[2k+1])，以獲得高頻信號h[k]。將由高頻信號h[k]的初始組合組成的更新操作符U(s[2k])與偶數(shù)數(shù)字信號s[2k]相加，以獲得低頻信號l[k]。該過程由以下定義h[k]＝s[2k+1]-P(s[2k])，其中P(s[2k])=Qipis[2(k+i)]]]>h[k]＝s[2k]+U(h[k])，其中U(h[k])=Qiuih[k+i],---(1)]]>在圖5中，參考符號Fl和Fh分別表示低頻信號和高頻信號。在逆提升方案中，當對逆分級高頻信號h[k]和逆分級低頻信號l[k]執(zhí)行更新操作和預測操作時，可以獲得完全重構(gòu)信號。使用Haar小波的提升方案由以下定義h[k]＝s[2k+1]-PHaar(s[2k+1])＝s[2k+1]-s[2k]l[k]=s[2k]+UHaar(s[2k])]]>=s[2k]+12h[k],---(2)]]>在這種情況下，在對奇數(shù)數(shù)字信號s[2k+1]執(zhí)行的預測操作之后，即，在從奇數(shù)數(shù)字信號s[2k+1]中減去偶數(shù)數(shù)字信號s[2k]之后，獲得高頻信號h[k]。此外，在對偶數(shù)數(shù)字信號s[2k]執(zhí)行更新操作之后，即，在將高頻信號h[k]與偶數(shù)數(shù)字信號s[2k]相加之后，獲得低頻信號l[k]。等式3將逆提升方案定義如下s[2k]=l[k]-UHaar(h[k])]]>=l[k]-12h[k]]]>=s[2k]+12h[k]-12h[k]]]>=s[2k]]]>s[2k+1]＝h[k]+s[2k]＝s[2k+1]-s[2k]+s[2k]＝s[2k+1]，...(3)在這種情況下，在對低頻信號l[k]執(zhí)行更新操作之后，即，在從低頻信號l[k]中減去高頻信號h[k]的一半之后，獲得偶數(shù)數(shù)字信號s[2k]。此外，在針對高頻信號h[k]執(zhí)行預測操作之后，即，在將重新配置的偶數(shù)數(shù)字信號s[2k]與高頻信號h[k]相加之后，獲得奇數(shù)數(shù)字信號s[2k+1]。在提升方案中的這些過程執(zhí)行之后，可以獲得完全重構(gòu)圖像。
當假設圖像信號s[x，k]可以具有空域坐標x＝(x，y)T和時域坐標k來進行時域上的配置時，使用Harr小波的預測操作和更新操作由以下來定義PHaar(s[x，2k+1])＝s[x，2k] ，…(4)圖6是示出了使用Harr小波，在時域上對在畫面組(GOP)中可具有8個畫面的圖像序列進行濾波的方法的概念圖示。參照圖6，L0表示原始圖像序列、以及H1表示從第二L0圖像中減去第一L0圖像之后獲得的剩余圖像(預測操作)。L1表示通過加上圖像而獲得的圖像(更新操作)，其中，所加的圖像是在將第一L0圖像加在與1/2相乘的H1剩余圖像上之后獲得的。將這些操作應用于L1圖像以生成H2剩余圖像和L2圖像。還將這些操作應用于L2圖像以生成H3剩余圖像和L4圖像。對所生成的圖像(以L3、H3、H2、H2、H1、H1、H1和H1的順序排列)進行編碼，然后傳輸至解碼端。
使用5/3樣條小波的預測和更新操作由以下定義P5/3(s[x,2k+1])=12(s[x,2k]+s[x,2k+2])]]>U5/3(s[x,2k])=14(h[x,k]+h[x,k-1])]]>，…(5)圖7是示出了使用5/3樣條小波，在時域上對在畫面組(GOP)中可具有8個畫面的圖像序列進行濾波的方法的概念圖示。參照圖7，L0表示原始圖像序列，以及H1表示通過從偶數(shù)數(shù)字L0圖像中減去圖像所獲得的剩余圖像。在偶數(shù)數(shù)字L0圖像兩側(cè)的奇數(shù)數(shù)字L0圖像分別乘以1/2之后獲得所減圖像。L1表示通過將圖像(該圖像在將奇數(shù)數(shù)字L0圖像兩側(cè)的H1剩余圖像分別乘以1/4之后獲得)加在奇數(shù)數(shù)字L0圖像上所獲得的圖像。對所生成的圖像(以L3、H3、H2、H2、H1、H1、H1和H1的順序排列)進行編碼，然后傳輸至解碼端。
如果沿運動方向執(zhí)行包括在提示方案中的預測和更新操作，則這些操作與MCTF相同。當使用AVC(高級視頻編碼)的多參考(multiple-reference)時，將使用Harr濾波器和5/3樣條小波的預測和更新操作定義為PHarr(s[x，2k+1])＝s[x+mP0，2k-2rP0]UHaar(s[x,2k])=12h[x+mU0,k+rU0]]]>P5/3(s[x,2k+1])=12(s[x+mP0,2k-2rP0]+s[x+mP1,2k+2+2rP1])]]>U5/3(s[x,2k])=14(h[x+mU0,k+rU0]+h[x+mU1,k-1-rU1])]]>，…(6)，其中，m表示運動向量，以及r(r≥0)表示參考圖像的指數(shù)。
圖8是示出了基于塊的MTCF預測操作的概念圖示。當對作為幀內(nèi)(I)塊的當前塊的預測進行改進時，將當前塊作為I塊進行編碼。當對與雙向當前塊相對應的高頻塊的預測進行改進時，如在5/3樣條小波中，從當前塊中減去分別乘以1/2的參考塊。當沿一個方向?qū)εc當前塊相對應的高頻塊的預測進行改進時，如在Harr小波中，從當前塊中減去參考塊。當參考塊沒有緊鄰當前塊放置、而是在時域上遠離當前塊放置，則使用多參考。
圖9是示出了基于塊的MCTF更新操作的概念圖示。當對作為幀內(nèi)(I)塊的當前塊的預測時，如在以上描述的基于塊的預測操作中所述，將當前塊作為I塊進行編碼。當對與雙向當前塊相對應的低頻塊的預測進行改進時，如在5/3樣條小波中，將分別乘以1/4的參考塊加在當前塊上。當沿一個方向?qū)εc當前塊相對應的低頻塊的預測進行改進時，如在Harr小波中，將分別乘以1/2的參考塊加在當前塊上。當參考塊遠離當前塊放置時，使用多參考。
在分級圖像編碼中，可以使用兩種方法來實現(xiàn)分級。一種方法使用比特平面編碼技術(shù)，以及另一種方法使用通常用于傳統(tǒng)分級標準中的分層技術(shù)。可以使用這兩種方法來實現(xiàn)空域、時域和質(zhì)量分級。
圖10是示出了在分級圖像編碼中實現(xiàn)時域分級的過程的概念圖示。為了實現(xiàn)時域分級，使用MCTF，將基于GOP的原始圖像序列分為時域子帶圖像，并將每個子帶指定為層，參照圖10，將在執(zhí)行了三次MTCF之后生成的低頻圖像L3指定為基礎層。因此，可以支持1/12幀速率。在執(zhí)行了三次MCTF之后生成的高頻圖像H3和基礎層的低頻圖像L3用于支持1/4幀速率。類似地，將三個高頻圖像H2和三個低頻圖像L2用于支持1/2幀速率。最后，將六個高頻圖像H1和低于這六個高頻圖像H1的層的層中的圖像用于支持完整的幀速率。
可以使用諸如MPEG-2或MPEG-4之類的分層方法來提供空域分級。使用比特平面編碼方法來實現(xiàn)質(zhì)量分級，比特平面編碼方法使用了基于塊的精細分級(FGS)。在一點切斷FGS增強比特流，并將它附在基礎層上，以提供增強層的圖像?？梢允褂没谏舷挛牡木幋a來實現(xiàn)質(zhì)量分級。
圖11是實現(xiàn)了時域、空域和質(zhì)量分級的分級結(jié)構(gòu)的概念圖示。參照圖11，空域基礎層可以具有QCIF 15Hz的幀速率，并使用分層B-畫面結(jié)構(gòu)來實現(xiàn)時域分級。這允許空域基礎層支持高達7.5Hz的幀速率。空域基礎層的基本比特速率是41Kbps，并根據(jù)AVC語法來執(zhí)行編碼?？梢允褂肍GS，在基礎層上實現(xiàn)質(zhì)量分級，從而支持高達80Kbps的比特速率。對QCIF 15Hz和80Kbps圖像進行上采樣，以用作上空域分級層中的參考點。上空域?qū)涌梢跃哂蠧IF 30Hz的幀速率，通過MCTF編碼來實現(xiàn)時域分級，并提供高達1.875Hz的幀速率。上空域?qū)拥幕颈忍厮俾适?15Kbps，以及可以使用FGS，在上空域?qū)由蠈崿F(xiàn)質(zhì)量分級，從而支持高達256Kbps的比特速率。
現(xiàn)在將對用于對多視角圖像進行濾波的分層B-畫面和MCTF進行描述。
可以使用用于管理解碼后的畫面緩沖器的存儲管理控制操作(MMCO)和參考畫面列表重新排序(RPLP)的語法，以不同的方式來實現(xiàn)分層B-畫面，其中，該解碼后的畫面緩沖器(DPB)可以存儲用于H.264編碼方法中的16個畫面。
圖12是示出了具有二進分層結(jié)構(gòu)的分層B-畫面的概念圖示。優(yōu)選地，GOP包括8個畫面。參照圖12，如在傳統(tǒng)的圖像編碼標準中，將圖像序列中的第一畫面編碼為I畫面或IDR畫面。將GOP中的最后畫面成為關鍵畫面(key picture)，并可以編碼為I畫面或P畫面。在圖12中，當對關鍵畫面進行解碼時，可以支持1/8幀速率。當對關鍵畫面和B1畫面進行解碼時，可以支持1/4幀速率。當對關鍵畫面、B1畫面和B2畫面進行解碼時，可以支持1/2幀速率。當對關鍵畫面、B1畫面、B2畫面和B3畫面進行解碼時，可以支持完整的幀速率。
圖13是示出了沒有二進分層結(jié)構(gòu)的分層B畫面的概念圖示。由于幀速率隨不同情況而改變，所以不可以總是二進地(dyadically)配置GOP。因此，B-畫面還應當能夠支持非二進GOP結(jié)構(gòu)，以最終支持具有不同幀速率的所有情況。在圖13中，當對關鍵畫面進行解碼時，可以支持1/12的幀速率。當對關鍵畫面和B1畫面進行解碼時，可以支持1/6幀速率。當對關鍵畫面、B1畫面和B2畫面進行解碼時，可以支持1/3幀速率。當對關鍵畫面、B1畫面、B2畫面和B3畫面進行解碼時，可以支持完整的幀速率。
在本發(fā)明的示例性實施例中，使用以上描述的MCTF或分層B-畫面對圖像進行濾波?，F(xiàn)在將描述使用MCTF對圖像進行濾波的方法。然而，本領域的普通技術(shù)人員將易于理解，可以以類似的方式，使用分層B-畫面對多視角圖像在空域和時域上進行濾波。
現(xiàn)在將描述根據(jù)本發(fā)明示例性實施例的分級多視角圖像編碼方法和裝置。
該方法和裝置將多視角圖像轉(zhuǎn)換為一個比特流，以提供不同的分辨率、幀速率和質(zhì)量。該方法和裝置還根據(jù)具有不同處理能力的不同終端，將多視角圖像轉(zhuǎn)換為一個比特流來提供比特流。
圖14示出了包括分級多視角圖像編碼和解碼裝置的分級多視角圖像編解碼器的結(jié)構(gòu)。參照圖14，多視角分級圖像編解碼器包括多視角圖像編碼單元1420、部分比特流生成單元1430和多視角圖像解碼單元1440。多視角圖像編碼單元1420針對從多個攝像機1410接收的多視角圖像來執(zhí)行分級編碼，并生成具有時域、空域和質(zhì)量分級的完全比特流。部分比特流生成單元1430生成部分比特流，從而可以根據(jù)時域、空域和質(zhì)量分辨率來對完全比特流進行部分解碼。通過多視角圖像解碼單元1440對完全比特流或部分比特流進行重構(gòu)，并在顯示單元1450上顯示。
圖15是根據(jù)本發(fā)明示例性實施例的分級多視角圖像編碼裝置1500的結(jié)構(gòu)框圖。圖16是示出了根據(jù)本發(fā)明示例性實施例的分級多視角圖像編碼方法的流程圖。參照圖15，分級多視角圖像編碼裝置1500包括空域圖像濾波單元1510、時域圖像濾波單元1520、空域圖像分級編碼單元1530、空域圖像分級編碼單元1540、比特速率控制單元1550、以及多路復用單元1560。
空域圖像濾波單元1510使用MCTF或分層B-畫面，對在N個時間段內(nèi)從M個攝像機輸入的空域軸上的2D圖像組進行空域濾波(操作1610)。在空域軸上的2D圖像組中，對所輸入的圖像同時進行空域濾波。在空域濾波之后，生成了空域低頻圖像和(M-1)個空域高頻圖像?？沼驁D像濾波單元1510可以具有在其中使用從M個攝像機輸入的M個圖像的閉環(huán)結(jié)構(gòu)，并在N個時間段內(nèi)重復空域濾波。
時域圖像濾波單元1520使用MCTF或分層B-圖像結(jié)構(gòu)，對在空域濾波之后生成的N個空域低頻圖像進行濾波(操作1620)。在對N個時間段內(nèi)由空域圖像濾波單元1510生成的空域低頻圖像進行時域濾波之后，生成了時域低頻圖像和(N-1)個時域高頻圖像。時域圖像濾波單元1520可以具有開環(huán)結(jié)構(gòu)，其中，使用MCTF或分層B-畫面對在先前的2D圖像組之后先前生成的時域低頻圖像進行濾波。
由比特速率控制單元1550來控制時域圖像分級編碼單元1530。時域圖像分級編碼單元1530根據(jù)分配給2D圖像組的傳輸比特速率和所需的時域分辨率，針對由時域圖像濾波單元1530生成的時域低頻圖像和(N-1)個時域高頻圖像執(zhí)行編碼(操作1630)。在分級編碼中，以與廣為人知的分級編碼方法相同的方式來執(zhí)行以上描述的2D空域變換、紋理編碼和運動編碼。
空域圖像分級編碼單元1540考慮了分配給時域低頻圖像和(N-1)個時域高頻圖像的比特速率、以及所需的空域分辨率，針對由空域圖像濾波單元1510生成的(M-1)個空域高頻圖像來執(zhí)行分級編碼(操作1640)。
多路復用單元1560對由時域圖像分級編碼單元1530和空域圖像分級編碼單元1540進行編碼的空域-時域低頻和高頻圖像進行多路復用，并輸出比特流(操作1650)。
現(xiàn)在將更加詳細地描述分級多視角圖像編碼方法和裝置。
圖17示出了根據(jù)本發(fā)明示例性實施例的2D圖像組(以下，稱為2D GOP)。為了針對從多個攝像機輸入的多視角圖像來執(zhí)行分級編碼，本發(fā)明的示例性實施例使用了不同于在一個時間段內(nèi)從一個攝像機輸入的傳統(tǒng)的GOP。2D GOP組包括以預定時間間隔從M個多視角攝像機輸入的空域軸上的M個圖像、以及在N個時間段內(nèi)從M個多視角攝像機輸入的時域軸上的N個圖像。換言之，沿空域軸方向從M個攝像機輸入M個圖像，以及沿空域軸方向從M個攝像機輸入N個圖像，以形成M×N 2D圖像組。在這種情況下，對于使用MCTF或分層B-畫面的濾波操作，M＝2m、以及N＝2n(其中，m和n是整數(shù))。
作為示例，圖17示出了在從包括8個攝像機的多視角攝像機1710輸入沿時域軸方向的8個圖像時形成的2D GOP 1720。在圖17中，在以時域順序的攝像機下面，示出了分別從8個攝像機輸入的沿時域軸方向的順序圖像。Fxy表示在第y時間處從第x個攝像機輸入的圖像。例如，F(xiàn)00，F(xiàn)10，F(xiàn)20，F(xiàn)30，F(xiàn)40，F(xiàn)50，F(xiàn)60和F70表示從包括在多視角攝像機1710中的攝像機首先輸入的圖像。此外，F(xiàn)00，F(xiàn)01，F(xiàn)02，F(xiàn)03，F(xiàn)04，F(xiàn)05，F(xiàn)06，F(xiàn)07和F08表示沿時域軸方向，從第一攝像機順序輸入的圖像。
本發(fā)明的示例性實施例沿空域軸和時域軸方向，針對2D GOP1720來執(zhí)行MCTF，用于部分空域解碼和部分時域解碼。傳統(tǒng)技術(shù)使用MCTF或分層B畫面，對時域軸上的多視角圖像進行濾波。本發(fā)明的示例性實施例不同于傳統(tǒng)技術(shù)之處在于，包括了空域濾波過程，其中，使用MCTF或分層B畫面，對同時從M個攝像機輸入的多視角圖像進行濾波，以生成空域低頻圖像和(M-1)個空域高頻圖像；以及包括了時域濾波過程，其中，使用MCTF或分層B畫面，對在空域濾波過程之后生成的M個空域低頻圖像進行時域濾波，以生成時域低頻圖像和(N-1)個時域高頻圖像。
圖18示出了根據(jù)本發(fā)明示例性實施例的空域濾波多視角圖像的過程。如上所述，由空域圖像濾波單元1510執(zhí)行的多視角圖像的空域濾波涉及將圖17中示出的2D GOP 1720中空域軸上同時輸入的多視角圖像分解為低頻和高頻圖像?？梢詫⒁陨厦枋龅腗CTF或分層B-畫面用于空域濾波?？沼驗V波可以具有閉環(huán)結(jié)構(gòu)，其中，使用了從M個攝像機輸入的M個圖像。在圖18中，L0圖像1810表示從包括8個攝像機的多視角攝像機1710分別和同時輸入的原始圖像。換言之，L0圖像1810表示在圖17中示出的2D GOP 1720中的第i時間處，從攝像機同時輸入的F0i，F(xiàn)1i，F(xiàn)2i，F(xiàn)3i，F(xiàn)4i，F(xiàn)5i，F(xiàn)6i和F7i。例如，L0圖像1810可以是F01，F(xiàn)11，F(xiàn)21，F(xiàn)31，F(xiàn)41，F(xiàn)51，F(xiàn)61和F71。如以上所述，在MCTF中，可以在從偶數(shù)數(shù)字攝像機的輸入L0圖像(從偶數(shù)數(shù)字攝像機兩側(cè)的攝像機輸入，并分別乘以1/2)中減去L0圖像之后，來獲得H1剩余圖像(預測操作)。在將H1剩余圖像(從奇數(shù)數(shù)字攝像機兩側(cè)的攝像機輸入，并分別乘以1/4)加在從奇數(shù)數(shù)字攝像機輸入的圖像上之后，獲得L1圖像(更新操作)。將通過該過程，同時從8個攝像機輸入的多視角圖像分解為低頻圖像L3和7個高頻圖像H1，H2，H1，H3，H1，H2和H1。以預定順序?qū)沼驗V波之后生成的低頻圖像L3和高頻圖像H1，H2，H1，H3，H1，H2和H1進行分級編碼。
圖19示出了根據(jù)本發(fā)明的示例性實施例，用于對多視角圖像進行分級編碼的空域濾波和時域濾波之間的關系。如上所述，時域圖像濾波單元1510使用MCTF或分層B畫面，沿空域軸方向，對空域軸上的圖像(同時從多個攝像機輸入)進行空域濾波。時域圖像濾波單元還將在第i時間處輸入的圖像分解為空域低頻圖像和多個空域高頻圖像。對分別從攝像機輸入的第一圖像1930中的L0圖像進行幀內(nèi)編碼。對空域軸上的其它圖像H01，H02，H03，H04，H05，H06，和H07進行空域濾波。對在第一圖像1930之后在第i時間處輸入的八個圖像進行空域濾波，并分解為空域低頻圖像和七個空域高頻圖像。針對2D GOP中同時輸入的圖像重復地執(zhí)行這種空域濾波過程。因此，將2D GOP中的圖像分解為N(＝8)個低頻圖像{L1，L2，L3，L4，L5，L6，L7，L8}和(M-1)×N個高頻圖像{H11，H12，H13，H14，H15，H16，H17}，{H21，H22，H23，H24，H25，H26，H27}，{H31，H32，H33，H34，H35，H36，H37}，{H41，H42，H43，H44，H45，H46，H47}，{H51，H52，H53，H54，H55，H56，H57}，{H61，H62，H63，H64，H65，H66，H67}，{H71，H72，H73，H74，H75，H76，H77}和{H81，H82，H83，H84，H85，H86，H87}。將沿空域軸方向的八個圖像(分別從八個攝像機輸入)分解為空域低頻圖像和七個低頻圖像以生成{Li，Hi1，Hi2，Hi3，Hi4，Hi5，Hi6，Hi7}。
空域圖像濾波單元1520使用MCTF或分層B畫面，對時域軸上的N(＝8)個空域低頻圖像1911進行時域濾波，并生成時域低頻圖像LT和時域高頻圖像{HT1，HT2，HT3，HT4，HT5，HT6，和HT7}組1920。在對2D GOP進行時域濾波時，稍后使用在時域軸上生成的低頻圖像LT進行時域濾波。
圖20示出了根據(jù)本發(fā)明的示例性實施例，對在空域濾波過程之后生成的空域低頻圖像進行時域濾波的過程。圖20示出了對八個時間單元內(nèi)分別從八個攝像機輸入的2D圖像組進行時域濾波的情況。參照圖20，第一L0圖像1912是之前的2D GOP中的低頻圖像，這是在時域濾波過程之后最新生成的圖像，并在預測操作中被參考。
在多視角圖像序列的起始處，從每個攝像機輸入的第一組圖像1911不包括在2D GOP中，而后續(xù)組圖像包括在2D GOP中。在從攝像機輸入的第一組圖像1911中，對從第一攝像機輸入的圖像進行幀內(nèi)編碼，以及對其它圖像進行空域濾波和編碼。除了在時域濾波過程中使用在空域濾波過程之后生成的空域低頻圖像之外，對2D GOP進行時域濾波與MCTF相同。以預定順序，對在時域濾波過程之后生成的時域低頻圖像和時域高頻圖像進行分級編碼。
圖21示出了根據(jù)本發(fā)明示例性實施例的分級多視角圖像編碼過程?，F(xiàn)在將參照圖21來描述對8×82D圖像組進行空域和時域濾波，并對濾波后的圖像進行編碼的過程。
使用MCTF或分層B畫面，對從M(例如，八)個攝像機S0至S7輸入的第一組圖像中的L010圖像進行幀內(nèi)編碼，以及沿空域軸方向，對空域軸方向上的其它(M-1)個圖像進行空域濾波、然后編碼。因此，以H0S3，H0S21，H0S22，H0S11，H0S12，H0S13，H0S14的順序生成了比特流。
在對從8個攝像機輸入的第一組圖像進行編碼之后，依次對每個2D GOP中的M×N個圖像(在本實施例中，M＝8、以及N＝8)進行處理。
無論何時沿時域軸方向從M個攝像機輸入N(＝8)個2D GOP中的每個時，沿空域軸方向執(zhí)行空域濾波。結(jié)果，在每個第i時域軸上生成了包括LiT0，HiS11，HiS21，HiS12，HiS3，HiS13，HiS22，HiS14的空域低頻圖像和(M(＝8)-1)個空域高頻圖像。
對在空域濾波過程之后生成的N(＝8)個空域低頻圖像{L1T0，L2T0，...，L8T0}進行時域濾波，以生成一個時域低頻圖像L8T0和(N(＝8)-1)個時域高頻圖像{L1T11，L2T21，L3T12，L4T3，L5T13，L6T22，L7T14，L8T0}的圖像組。
如上所述，當使用MCTF對M×N圖像組進行空域和時域濾波時，將包括在該組中的M×N圖像轉(zhuǎn)換為一個低頻圖像和(M×N-1)個高頻圖像。然后，根據(jù)時域分辨率，對用作參考圖像的時域軸上的圖像進行分級編碼，并對空域軸上相應的圖像進行編碼。時域圖像分級編碼單元1530在比特速率控制單元1550的控制下，以分配給M×N圖像組的傳輸比特速率，針對時域低頻和高頻圖像執(zhí)行時域分級編碼，以將該組傳輸至解碼端。以與傳統(tǒng)的H.264編碼方法類似的方式來執(zhí)行時域分級編碼方法。將作為空域-時域濾波的結(jié)果生成的圖像確定為幀內(nèi)塊或幀間塊。使用紋理編碼來對幀內(nèi)塊進行編碼，以及使用運動向量和剩余信號來對幀間塊進行編碼。當對所有圖像進行編碼時，比特速率控制單元1550控制可以傳輸從多個攝像機輸入的圖像的比特速率。例如，當目標比特速率時512Kbps、以及從8個攝像機輸入的圖像具有總共100個幀時，當對完整的1000個幀進行編碼時的平均傳輸比特速率必須是512kbps。因此，比特速率控制單元1550將一比特的特定大小分配給每個2D GOP、或每個編碼圖像，從而在對所有圖像進行編碼時生成平均比特速率，并滿足了目標比特速率。可以使用不同的方法來實現(xiàn)比特速率控制單元1550。
空間圖像分級編碼單元1540考慮了分配給時域高頻圖像{H1T11，H2T21，H3T12，H4T3，H5T13，H6T22，H7T14，L8T0}的比特和所需的空域分辨率，針對每個第i時間軸上的空域高頻圖像{HiS11，HiS21，HiS12，HiS3，HiS13，HiS22，HiS14}組來執(zhí)行空域分級編碼。
以{L8T0，H4T3，H2T21，H6T22，H1T11，H3T12，H5T13，H7T14}的順序生成了在時域分級編碼之后生成的時域低頻和高頻圖像的比特流，并傳輸至解碼端。傳輸順序從在MCTF中最新生成的基礎層開始。然后，在基礎層之后是上面的增強層。
將空域軸上圖像的比特流以相同的傳輸順序傳輸至解碼端，作為時域低頻和高頻圖像的比特流。換言之，由于首先傳輸了時域軸上的L8T的比特流，所以傳輸了在第8空域軸上的圖像{H8S3，H8S21，H8S22，H8S11，H8S12，H8S13，H8S14}的比特流。此外，由于傳輸了下一時域軸上的H4T的比特流，所以傳輸了{H4S3，H4S21，H4S22，H4S11，H4S12，H4S13，H4S14}的比特流。該過程需要在解碼端處的部分時域解碼和部分空域解碼。將空域軸上的空域高頻圖像組的比特流以{(H8S3，H8S21，H8S22，H8S11，H8S12，H8S13，H8S14)，(H4S3，H4S21，H4S22，H4S11，H4S12，H4S13，H4S14)，(H2S3，H2S21，H2S22，H2S11，H2S12，H2S13，H2S14)，(H6S3，H6S21，H6S22，H6S11，H6S12，H6S13，H6S14)，(H1S3，H1S21，H1S22，H1S11，H1S12，H1S13，H1S14)，(H3S3，H3S21，H3S22，H3S11，H3S12，H3S13，H3S14)，(H5S3，H5S21，H5S22，H5S11，H5S12，H5S13，H5S14)，(H7S3，H7S21，H7S22，H7S11，H7S12，H7S13，H7S14)的順序傳輸至解碼端。對于每個2D GOP的完整圖像序列重復上述過程。
可以根據(jù)空域和時域分辨率來配置在對多視角圖像進行分級編碼的過程中生成的比特流?，F(xiàn)在將描述根據(jù)時域分辨率的比特流配置的示例。
參照圖21，具有完全時域分辨率的比特流可以具有與2D GOP中的所有圖像{L8T0，H4T3，H2T21，H6T22，H1T11，H3T12，H5T13，H7T14}，{(H8S3，H8S21，H8S22，H8S11，H8S12，H8S13，H8S14)，(H4S3，H4S21，H4S22，H4S11，H4S12，H4S13，H4S14)，(H2S3，H2S21，H2S22，H2S11，H2S12，H2S13，H2S14)，(H6S3，H6S21，H6S22，H6S11，H6S12，H6S13，H6S14)，(H1S3，H1S21，H1S22，H1S11，H1S12，H1S13，H1S14)，(H3S3，H3S21，H3S22，H3S11，H3S12，H3S13，H3S14)，(H5S3，H5S21，H5S22，H5S11，H5S12，H5S13，H5S14)，(H7S3，H7S21，H7S22，H7S11，H7S12，H7S13，H7S14)}有關的信息。
具有半時域分辨率的比特流包括與圖像{L8T0，H4T3，H2T21，H6T22}，{(H8S3，H8S21，H8S22，H8S11，H8S12，H8S13，H8S14)，(H4S3，H4S21，H4S22，H4S11，H4S12，H4S13，H4S14)，(H2S3，H2S21，H2S22，H2S11，H2S12，H2S13，H2S14)，(H6S3，H6S21，H6S22，H6S11，H6S12，H6S13，H6S14)}有關的信息。對時域濾波過程之后生成的圖像{L8T0，H4T3，H2T21，H6T22，H1T11，H3T12，H5T13，H7T14}中時域軸方向上的四個圖像進行編碼，以及沿空域軸方向的相應高頻圖像包括在具有半時域分辨率的比特流中。
具有1/4時域分辨率的比特流包括與圖像{L8T0，H4T3}，{(H8T3，H8S21，H8S22，H8S11，H8S12，H8S13，H8S14)，(H4S3，H4S21，H4S22，H4S11，H4S12，H4S13，H4S14)}有關的信息。換言之，對在時域濾波過程之后生成的{L8T0，H4T3，H2T21，H6T22，H1T11，H3T12，H5T13，H7T14}中的時域軸方向上的兩個圖像進行編碼，以及沿空域軸方向的相應高頻圖像包括在具有1/4時域分辨率的比特流中。
具有1/8時域分辨率的比特流包括與圖像{L8T0}，{(H8S3，H8S21，H8S22，H8S11，H8S12，H8S13，H8S14)}有關的信息。
現(xiàn)在將描述根據(jù)空間分辨率的比特流配置的示例。在本發(fā)明的示例性實施例中，空域分辨率表示從多個攝像機圖像提供給用戶的視角分辨率。例如，具有完全視角分辨率的比特流包含所有攝像機的編碼圖像，具有1/2視角分辨率的比特流包含所有攝像機圖像中的所選1/2攝像機圖像的編碼圖像，以及具有1/4視角分辨率的比特流包含所有攝像機圖像中的所選1/4攝像機圖像的編碼圖像。
參照圖21，類似于具有完全時域分辨率的比特流，具有完全空域分辨率的比特流可以具有與2D GOP中的所有圖像{L8T0，H4T3，H2T21，H6T22，H1T11，H3T12，H5T13，H7T14}，{(H8S3，H8S21，H8S22，H8S11，H8S12，H8S13，H8S14)，(H4S3，H4S21，H4S22，H4S11，H4S12，H4S13，H4S14)，(H2S3，H2S21，H2S22，H2S11，H2S12，H2S13，H2S14)，(H6S3，H6S21，H6S22，H6S11，H6S12，H6S13，H6S14)，(H1S3，H1S21，H1S22，H1S11，H1S12，H1S13，H1S14)，(H3S3，H3S21，H3S22，H3S11，H3S12，H3S13，H3S14)，(H5S3，H5S21，H5S22，H5S11，H5S12，H5S13，H5S14)，(H7S3，H7S21，H7S22，H7S11，H7S12，H7S13，H7S14)}有關的信息。
具有半空域分辨率的比特流是具有與從8個攝像機中的四個中輸入的圖像有關的信息的比特流。這包括與圖像{L8T0，H4T3，H2T21，H6T22，H1T11，H3T12，H5T13，H7T14}，{(H8S3，H8S21，H8S22)，(H4S3，H4S21，H4S22)，(H2S3，H2S21，H2S22)，(H6S3，H6S21，H6S22)，(H1S3，H1S21，H1S22)，(H3S3，H3S21，H3S22)，(H5S3，H5S21，H5S22)，(H7S3，H7S21，H7S22)}有關的信息。比特流包括與從奇數(shù)數(shù)字攝像機中輸入的圖像有關的信息，即，在圖21中示出的8個攝像機S0至S7中的S0、S2、S4和S6。
具有1/4空域分辨率的比特流是具有與從8個攝像機中的2個中輸入的與圖像有關的信息的比特流。這包括與圖像{L8T0，H4T3，H2T21，H6T22，H1T11，H3T12，H5T13，H7T14}，{(H8S3)，(H4S3)，(H2S3)，(H6S3)，(H1S3)，(H3S3)，(H5S3)，(H7S3)}有關的信息。
具有1/8空域分辨率的比特流是具有與從一個攝像機至輸入的圖像有關的信息的比特流。這包括與圖像{L8T0，H4T3，H2T21，H6T22，H1T11，H3T12，H5T13，H7T14}有關的信息。
圖22至25示出了在分層多視角圖像編碼過程中生成的比特流。
圖22示出了包括與2D GOP中的所有圖像有關的信息的完全比特流，該完全比特流在根據(jù)本發(fā)明示例性實施例的對多視角圖像進行分級編碼的過程中生成。參照圖21和22，{L0I0，H0S3，H0S21，H0S22，H0S11，H0S12，H0S13，H0S14}2200和2210的比特流是從八個攝像機輸入的沿空域軸方向的第一2D GOP。在空域軸方向上的第一2D GOP之后，插入在時域濾波過程之后生成的時域低頻和高頻圖像{L8T0，H4T3，H2T21，H6T22，H1T11，H3T12，H5T13，H7T14}的比特流2215。然后，依次插入與時域低頻和高頻圖像相對應的空域高頻圖像的比特流2220、2225、2230、2240、2245、2250和2255。依次將與時域低頻圖像L4S0，L2S0，L6S0，L1S0，L3S0，L5S0，L7S0相對應的編碼后的空域高頻圖像插入比特流。
圖23示出了根據(jù)本發(fā)明的示例性實施例，在對多視角圖像進行分級編碼的過程中，沿空域軸方向部分編碼的比特流。在圖23中，對從圖21中示出的攝像機S0、S1、S2、S4和S6中輸入的圖像進行處理。參照圖21和23，在將從攝像機S0、S1、S2、S4和S6中輸入的圖像編碼為具有半空域分辨率的比特流時，插入所有時域低頻和高頻圖像{L8T0，H4T3，H2T21，H6T22，H1T11，H3T12，H5T13，H7T14}的完整比特流2315。然而，不用插入所有空域高頻圖像。作為替代，插入與從攝像機S0、S1、S2、S4和S6中輸入的圖像相對應的空域高頻圖像的比特流2320，2325，2330，235，2340，2345，2350和2355。可以根據(jù)空域圖像分級編碼單元1540所需的空域分辨率來生成這種部分比特流，或者可以從完全比特流中提取這種部分比特流，并通過解碼端進行重新配置。
圖24示出了根據(jù)本發(fā)明的示例性實施例，在對多視角圖像進行分級編碼的過程中，沿時域軸方向部分編碼的比特流。在圖24中，以從完全時域分辨率降低的半時域分辨率，對比特流進行部分編碼。參照圖21至24，插入在時域濾波過程之后生成的時域低頻和高頻圖像{L8T0，H4T3，H2T21，H6T22，H1T11，H3T12，H5T13，H7T14}中的時域低頻和高頻圖像{L8T0，H4T3，H2T21，H6T22}2415的比特流。此外，插入與時域低頻和高頻圖像相對應的空域高頻圖像的比特流2420，2425，2430和2435。
圖25示出了根據(jù)本發(fā)明的示例性實施例，在對多視角圖像進行分級編碼的過程中，沿時域軸和空域軸方向進行部分編碼的比特流。圖25示出了根據(jù)部分比特流編碼的半時域分辨率來處理從攝像機S0，S1，S2，S4和S6輸入的圖像的情況。
如上所述，當根據(jù)本發(fā)明的示例性實施例，使用分級多視角編碼方法時，可以沿時域軸和空域軸方向，對空域-時域分辨率進行分級。分辨率的范圍與M×N 2D圖像組(M＝2m，以及N＝2n)的大小成反比。換言之，本發(fā)明的示例性實施例可以提供高達1/M的空域分辨率和高達1/N的時域分辨率。
現(xiàn)在將描述根據(jù)本發(fā)明示例性實施例的分級多視角圖像解碼方法和裝置。
圖26是根據(jù)本發(fā)明示例性實施例的分級多視角圖像解碼裝置的結(jié)構(gòu)框圖。圖27是示出了根據(jù)本發(fā)明示例性實施例的分級多視角圖像解碼方法的流程圖。
參照圖26，該裝置包括時域圖像解碼單元2610、時域逆濾波單元2620、空域圖像解碼單元2630和空域逆濾波單元2640。
時域圖像解碼單元2610接收根據(jù)以上描述的分級多視角圖像編碼方法進行編碼的比特流(操作2710)。然后，時域圖像解碼單元2710對所接收的比特流進行解碼，并從該比特流中生成時域低頻和高頻圖像(操作2720)。在該解碼操作中，如在傳統(tǒng)的圖像解碼操作中，生成了逆離散余弦變換、紋理信息和運動信息。
時域逆濾波單元2620使用MCTF或分層B-畫面，針對解碼后的時域低頻和高頻圖像來進行逆濾波(即，執(zhí)行合成操作)，并對空域軸上的相應空域低頻圖像進行重構(gòu)(操作2730)。
空域圖像解碼單元2630根據(jù)所需的時域和空域分辨率，對包括在比特流中的空域高頻圖像進行解碼(操作2740)。
空域逆濾波單元2640使用MCTF或分層B-畫面，對由時域逆濾波單元2620重構(gòu)的空域低頻圖像、以及由空域圖像解碼單元2630解碼的空域高頻圖像進行逆濾波，并對空域軸上的圖像進行重構(gòu)(操作2750)。
圖28示出了包括在圖27的分級多視角圖像解碼方法中的逆濾波操作。如上所述，圖26中示出的時域逆濾波單元2620和空域逆濾波單元2640對時域濾波后的圖像和空域濾波后的圖像進行逆濾波，同時圖像包括在每個比特流中。在該逆濾波操作中，生成了基礎層的低頻圖像L3。然后，使用第一增強層的高頻圖像H3、以及所生成的低頻圖像L3，來生成下一層中的低頻圖像L2。此外，使用第二增強層的高頻圖像H2、以及所示出的低頻圖像L2，來生成下一層中的低頻圖像L1，以及在對原始圖像L0進行濾波之前，使用第三增強層的高頻圖像H1、以及所生成的低頻圖像L1，來對原始圖像L0進行重構(gòu)。在該逆濾波操作中，在將原始圖像通過MCTF進行分解之前，時域逆濾波單元2620和空域逆濾波單元240對原始信號進行重構(gòu)。由于逆濾波操作與傳統(tǒng)的MCTF操作相同，所以將不再重復對它的詳細描述。
現(xiàn)在將參照圖22至25，對使用根據(jù)本發(fā)明示例性實施例的分級多視角圖像編碼方法生成的比特流進行解碼的方法進行描述。
參照圖21和22，{L0I0，H0S3，H0S21，H0S22，H0S11，H0S12，H0S13，H0S14}2200和2210的比特流是從八個攝像機輸入的沿空域軸的第一圖像組。沿空域軸方向?qū)L0I0，H0S3，H0S21，H0S22，H0S11，H0S12，H0S13，H0S14}2200和2210的比特流進行解碼，以生成低頻圖像L010和高頻圖像(H0S3，H0S21，H0S22，H0S11，H0S12，H0S13，H0S14)，在MCTF合成操作之后，將它們重構(gòu)為與沿空域軸方向上的第一幀圖像相對應的八個圖像。在對空域軸上的第一圖像組的比特流進行解碼之后，對于每個2DGOP執(zhí)行圖像解碼操作。首先，沿時域軸方向，對時域低頻和高頻圖像{L8T0，H4T3，H2T21，H6T22，H1T11，H3T12，H5T13，H7T14}的比特流2215進行解碼，以生成低頻圖像L8T0和高頻圖像H4T3，H2T21，H6T22，H1T11，H3T12，H5T13，H7T14，在MCTF合成操作之后，將它們重構(gòu)為與8×8圖像組相對應的空域軸上的8個圖像{L8T0，H4T3，H2T21，H6T22，H1T11，H3T12，H5T13，H7T14}。重構(gòu)的高頻圖像H4T3，H2T21，H6T22，H1T11，H3T12，H5T13，H7T14與空域軸上第n(HiT)圖像組中的低頻圖像相對應。換言之，重構(gòu)的高頻圖像H4T3，H2T21，H6T22，H1T11，H3T12，H5T13，H7T14與低頻圖像L4S0，L2S0，L6S0，L1S0，L3S0，L5S0，L7S0相對應。此外，使用時域軸上的低頻圖像L8T0和重構(gòu)的高頻圖像H4T3，H2T21，H6T22，H1T11，H3T12，H5T13，H7T14，對空域高頻圖像組進行解碼。通過重復以下操作，對空域軸上的第i高頻圖像組的比特流進行解碼。
Array[8]＝{8，4，2，6，1，3，5，7}For(index＝0；I＜8；index++){i＝＝Array[index]；對{HiS11，HiS21，HiS12，HiS3，HiS13，HiS22，HiS14}的比特流進行解碼，以及針對解碼后的比特流和相應的低頻圖像LiS0執(zhí)行MCTF合成操作。因此，對空域軸上的第i組圖像進行重構(gòu)。
針對每個2D GOP的完整圖像序列來重復以上操作。
參照圖21和23，當使用空域部分解碼，對包括與2D GOP中的空域軸上的圖像(從攝像機S0，S1，S2，S4和S6輸入)有關的信息的比特流進行解碼時，對{L0I0，H0S3，H0S21，H0S22，H0S11，H0S12，H0S13，H0S14}的比特流2300和2310(這是沿空域軸方向的第一圖像組，并從攝像機S0，S1，S2，S4和S6輸入)進行解碼，以生成低頻圖像L0I0和高頻圖像H0S3，H0S21，H0S22，H0S11，在MCFTF合成操作之后，將它們重構(gòu)為與沿空域軸方向的第一幀圖像相對應的五個圖像。
在對空域軸上的第一圖像組的比特流進行解碼之后，在時域軸上，對時域低頻和高頻圖像{L8T0，H4T3，H2T21，H6T22，H1T11，H3T12，H5T13，H7T14}的比特流2215進行解碼，以生成沿時域軸方向的低頻圖像L8T0和高頻圖像H4T3，H2T21，H6T22，H1T11，H3T12，H5T13，H7T14，在MCTF合成操作之后，將它們重構(gòu)為8×8圖像組中的時域軸上的八個圖像{L8T0，H4T3，H2T21，H6T22，H1T11，H3T12，H5T13，H7T14}。當執(zhí)行空域部分解碼時，必須對沿時域軸方向的所有圖像進行解碼。因此，編碼后的比特流包括沿時域軸方向濾波的所有時域低頻和高頻圖像。在針對空域高頻圖像2320，2325，2330，2335，2340，2350和2355，依次執(zhí)行解碼和MCTF合成操作之后，對從攝像機S0，S1，S2，S4和S6輸入的圖像進行重構(gòu)。
參照圖21和24，當使用部分時域解碼，對可以具有從完全時域分辨率降低的半時域分辨率、以及2D GOP中的時域軸上的圖像的比特流進行解碼時，對8×8 2D圖像組中的時域軸上的8個圖像中的時域低頻和高頻圖像{L8T0，H4T3，H2T21，H6T22}的比特流2415進行解碼和MCTF逆濾波。因此，重構(gòu)了時域軸方向的空域低頻圖像{L8T0，H4T3，H2T21，H6T22}。通過解碼和MCTF逆濾波操作，對與重構(gòu)的空域低頻圖像相對應的空域高頻圖像的編碼比特流2420，2425，2430和2435進行重構(gòu)。
參照圖21和25，對8×8 2D圖像組中的時域軸上的8個圖像中的時域低頻和高頻圖像{L8T0，H4T3，H2T21，H6T22}的比特流2515進行解碼和MCTF逆濾波。當使用部分時域解碼，將2D GOP中時域軸上的時域中分布的數(shù)據(jù)的分辨率從完全時域分辨率降低至半時域分辨率時，以及當使用空域部分解碼，將從攝像機S0，S1，S2，S4和S6輸入的空域軸上的空域中的圖像的比特流進行處理時，對比特流進行濾波。
因此，重構(gòu)了沿時域軸方向的空域低頻圖像{L8T0，H4T3，H2T21，H6T22}。對在從攝像機S0，S1，S2，S4和S6輸入的圖像進行空間濾波之后獲得空域高頻圖像2520，2525，2530和2535，通過解碼和MCTF合成操作，對所獲得的空域高頻圖像2520，2525，2530和2535進行重構(gòu)。
根據(jù)本發(fā)明示例性實施例的分級多視角圖像編碼和解碼方法和裝置可以使用將2D GOP指定為如在SVC編解碼器結(jié)構(gòu)中的基礎層的分層結(jié)構(gòu)、以及使用FCS方法，來實現(xiàn)分級。該方法和裝置可以提供時域分級、視角(攝像機)空域分級、大小相關空域分級、以及SNR分級。
圖29是根據(jù)本發(fā)明示例性實施例，向空域分級提供不同大小的圖像的分級多視角圖像編碼裝置的概念圖示。
可以使用以上描述的部分時域解碼和部分空域解碼來實現(xiàn)從所選攝像機輸入的用于選擇圖像的時域分級和空域分級。根據(jù)圖像大小的時域分級使用用于傳統(tǒng)分級圖像編碼方法中的分層方法，并且可以使用2D抽取濾波器、2D上采樣濾波器和與2D GOP基礎層相關的空域信息來提供。在這種情況下，可以根據(jù)要提供的圖像大小，將空域分級縮放至QCIF、CIF和4CIF。
可以使用比特平面編碼方法來實現(xiàn)SNR分級，該比特平面編碼方法使用用于傳統(tǒng)SVC中的基于塊的FGS。在這種情況下，在特定點切斷FGS增強比特流，并附在基礎層上來提供增強層的圖像。
圖30示出了根據(jù)本發(fā)明示例性實施例的完整數(shù)據(jù)流的配置，該完整數(shù)據(jù)流在分層結(jié)構(gòu)中包括基于QCIF(四分之一公共中間格式)的2D QCIF核、CIF(公共中間格式)和4-CIF比特流?？梢詫⒃诒景l(fā)明示例性實施例中提供的分級進行組合。參照圖30，在從基于QCIF的多視角攝像機輸入的第一幀圖像的比特流之后，跟隨與2D GOP中的核心比特流相對應的時域圖像的比特流、以及在2D GOP中的空間QCIF的比特流。然后，跟隨2D GOP中基于CIF的比特流和基于CIP的比特流。
如上所述，本發(fā)明的示例性實施例使用時域相鄰圖像之間的相關性，對多視角圖像組進行空域和時域濾波，并對濾波后的多視角圖像組進行編碼，從而提高了編碼效應。此外，本發(fā)明的示例性實施例可以提供時域分級、視角(攝像機)空域分級、大小相關空域分級和SNR分級。
本發(fā)明的示例性實施例還可以實現(xiàn)為計算機可讀記錄介質(zhì)上的計算機可讀代碼。計算機可讀記錄介質(zhì)是任何數(shù)據(jù)存儲設備，該設備可以存儲可在之后由計算機系統(tǒng)讀取的數(shù)據(jù)。計算機可讀記錄介質(zhì)的示例包括只讀存儲器(ROM)、隨機訪問存儲器(RAM)、CD-ROM、磁帶、軟盤、光數(shù)據(jù)存儲設備和載波(如，通過因特網(wǎng)的數(shù)據(jù)傳輸)。
計算機可讀記錄介質(zhì)還可以在網(wǎng)絡連接計算機系統(tǒng)上分布，從而以分布方式來存儲和執(zhí)行計算機可讀代碼。
盡管參照特定示例性實施例，具體地示出并描述了本發(fā)明，但是本領域的技術(shù)人員將會理解，可以在不偏離本發(fā)明的精神和范圍的情況下，在其中做出形式和細節(jié)上的各種改變，其中，本發(fā)明的精神和范圍由所附權(quán)利要求及其等同物來限定。
權(quán)利要求
1.一種分級多視角圖像編碼方法，包括使用空域運動補償時域濾波(MCTF)和分層B-畫面中的至少一個，對從M個攝像機輸入的空域軸上的M個圖像進行濾波，并生成空域低頻圖像和(M-1)個空域高頻圖像；使用時域MCTF和分層B-畫面中的至少一個，對N個時間段內(nèi)生成的N個空域低頻圖像進行濾波，并生成時域低頻圖像和(N-1)個時域高頻圖像；根據(jù)分配給每個M×N二維(2D)圖像組的傳輸比特速率，對所述時域低頻圖像和(N-1)個時域高頻圖像進行分級編碼；以及根據(jù)分配給所述時域低頻圖像和(N-1)個時域高頻圖像的傳輸比特速率，對所述(M-1)個空域高頻圖像進行分級編碼。
2.如權(quán)利要求1所述的編碼方法，其中，所述空域MCTF包括閉環(huán)結(jié)構(gòu)，在所述閉環(huán)結(jié)構(gòu)中，使用了從M個攝像機輸入的M個圖像。
3.如權(quán)利要求1所述的編碼方法，其中，所述時域MCTF包括開環(huán)結(jié)構(gòu)，在所述開環(huán)結(jié)構(gòu)中，使用了在針對之前處理的M×N 2D圖像組執(zhí)行時域MCTF之后生成的時域低頻圖像。
4.如權(quán)利要求1所述的編碼方法，其中，對所述時域低頻圖像和(N-1)個時域高頻圖像的分級編碼包括根據(jù)所分配的傳輸比特速率和時域分辨率，從(N-1)個時域高頻圖像中選擇要編碼的時域高頻圖像；以及對所生成的時域低頻圖像和所選擇的時域高頻圖像進行分級編碼。
5.如權(quán)利要求1所述的編碼方法，其中，對所述(M-1)個空域高頻圖像的分級編碼包括根據(jù)分配給所述時域低頻圖像和(N-1)個時域高頻圖像的傳輸比特速率，從由M個攝像機同時輸入的(M-1)空域高頻圖像中選擇要編碼的空域高頻圖像；以及對所選擇的空域高頻圖像進行分級編碼。
6.一種分級多視角圖像編碼裝置，包括空域圖像濾波單元，用于使用空域MCTF和分層B-畫面中的至少一個，對從M個攝像機輸入的空域軸上的M個圖像進行濾波，并用于生成空域低頻圖像和(M-1)個空域高頻圖像；時域圖像濾波單元，用于使用時域MCTF和分層B-畫面中的至少一個，對N個時間段內(nèi)生成的N個空域低頻圖像進行濾波，并用于生成時域低頻圖像和(N-1)個時域高頻圖像；時域圖像分級編碼單元，用于根據(jù)分配給每個M×N二維(2D)圖像組的傳輸比特速率，對所述時域低頻圖像和(N-1)個時域高頻圖像進行分級編碼；以及空域圖像分級編碼單元，用于根據(jù)分配給所述時域低頻圖像和(N-1)個時域高頻圖像的傳輸比特速率，對所述(M-1)個空域高頻圖像進行分級編碼。
7.如權(quán)利要求6所述的編碼裝置，其中，所述空域圖像濾波單元包括閉環(huán)結(jié)構(gòu)，在所述閉環(huán)結(jié)構(gòu)中，使用了從M個攝像機輸入的M個圖像。
8.如權(quán)利要求6所述的編碼裝置，其中，所述空域圖像濾波單元包括開環(huán)結(jié)構(gòu)，在所述開環(huán)結(jié)構(gòu)中，使用了在針對之前處理的M×N 2D圖像組執(zhí)行時域MCTF之后生成的時域低頻圖像。
9.如權(quán)利要求6所述的編碼裝置，其中，所述時域圖像分級編碼單元根據(jù)所分配的傳輸比特速率和時域分辨率，從(N-1)個時域高頻圖像中選擇要編碼的時域高頻圖像，并對所生成的時域低頻圖像和所選擇的時域高頻圖像進行分級編碼。
10.如權(quán)利要求6所述的編碼裝置，其中，所述空域圖像分級編碼單元根據(jù)分配給所述時域低頻圖像和(N-1)個時域高頻圖像的傳輸比特速率，從由M個攝像機同時輸入的(M-1)個空域高頻圖像中選擇要編碼的空域高頻圖像，并對所選擇的空域高頻圖像進行分級編碼。
11.一種分級多視角圖像解碼方法，包括接收與空域-時域低頻和高頻圖像相對應的分級編碼比特流，在使用MCTF和分層B-畫面中的至少一個對在N個時間段內(nèi)從M個攝像機輸入的2D圖像組進行空域和時域濾波之后，生成所述空域-時域低頻和高頻圖像；對包含于所述比特流中的分級編碼的時域低頻和高頻圖像進行解碼；使用時域逆MCTF和分層B-畫面中的至少一個，對解碼后的低頻和高頻圖像進行逆濾波，并對所述空域低頻圖像進行重構(gòu)；對包含于所述比特流中的分級編碼后的空域高頻圖像進行解碼；以及使用時域逆MCTF和分層M-畫面中的至少一個，對所重構(gòu)的空域低頻圖像和解碼后的高頻圖像進行逆濾波，并對圖像進行重構(gòu)。
12.如權(quán)利要求11所述的解碼方法，其中，通過以下生成所述分級編碼比特流使用空域MCTF和分層B-畫面中的至少一個，對從M個攝像機輸入的空域軸上的M個圖像進行濾波，并生成空域低頻圖像和(M-1)個空域高頻圖像；使用時域MCTF和分層B-畫面中的至少一個，對N個時間段內(nèi)生成的N個空域低頻圖像進行濾波，并生成時域低頻圖像和(N-1)個時域高頻圖像；根據(jù)分配給每個M×N 2D圖像組的傳輸比特速率，對所述時域低頻圖像和(N-1)個時域高頻圖像進行分級編碼；以及根據(jù)分配給所述時域低頻圖像和(N-1)個時域高頻圖像的傳輸比特速率，對所述(M-1)個空域高頻圖像進行分級編碼。
13.一種分級多視角圖像解碼裝置，包括時域圖像解碼單元，用于接收與空域-時域低頻和高頻圖像相對應的分級編碼比特流，并對包含于所述比特流中的分級編碼的時域低頻和高頻圖像進行解碼，在使用MCTF和分層B-畫面中的至少一個對在N個時間段內(nèi)從M個攝像機輸入的2D圖像組進行空域和時域濾波之后，生成所述空域-時域低頻和高頻圖像；時域逆濾波單元，用于使用時域逆MCTF和分層B-畫面中的至少一個，對解碼后的時域低頻和高頻圖像進行逆濾波，并用于對所述空域低頻圖像進行重構(gòu)；空域圖像解碼單元，用于對包含于所述比特流中的分級編碼后的空域高頻圖像進行解碼；以及空域逆濾波單元，用于使用時域逆MCTF和分層M-畫面中的至少一個，對所重構(gòu)的空域低頻圖像和解碼后的高頻圖像進行逆濾波，并用于對圖像進行重構(gòu)。
14.如權(quán)利要求13所述的解碼裝置，其中，通過以下生成所述分級編碼比特流使用空域MCTF和分層B-畫面中的至少一個，對從M個攝像機輸入的空域軸上的M個圖像進行濾波，并生成空域低頻圖像和(M-1)個空域高頻圖像；使用時域MCTF和分層B-畫面中的至少一個，對N個時間段內(nèi)生成的N個空域低頻圖像進行濾波，并生成時域低頻圖像和(N-1)個時域高頻圖像；根據(jù)分配給每個M×N 2D圖像組的傳輸比特速率，對所述時域低頻圖像和(N-1)個時域高頻圖像進行分級編碼；以及根據(jù)分配給所述時域低頻圖像和(N-1)個時域高頻圖像的傳輸比特速率，對所述(M-1)個空域高頻圖像進行分級編碼。
全文摘要
提供了分級多視角圖像編碼和解碼方法和裝置。分級多視角圖像編碼和解碼方法和裝置使用運動補償時域濾波(MCTF)或分層B－畫面，對沿空域軸和時域軸方向的從多個攝像機輸入的多視角圖像進行濾波，并對濾波后的多視角進行分級編碼。
文檔編號H04N7/24GK101069430SQ200680001270
公開日2007年11月7日 申請日期2006年3月31日 優(yōu)先權(quán)日2005年4月1日
發(fā)明者樸光勛, 崔原準 申請人:慶熙大學校產(chǎn)學協(xié)力團, 三星電子株式會社