用于編碼多視點(diǎn)圖像的方法及裝置,以及用于解碼多視點(diǎn)圖像的方法及裝置的制造方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及用于對(duì)多視點(diǎn)圖像進(jìn)行編碼的方法及裝置，以及用于對(duì)多視點(diǎn)圖像進(jìn) 行解碼的方法及裝置；更具體地，涉及用于通過預(yù)測運(yùn)動(dòng)向量，合成多視點(diǎn)圖像的中間深度 視圖，并且對(duì)多視點(diǎn)圖像進(jìn)行環(huán)路（in-l00p)濾波來對(duì)多視點(diǎn)圖像進(jìn)行編碼/解碼的方法 及裝置。
【背景技術(shù)】
[0002] 通常，在圖像壓縮方法中，為了提高壓縮率，使用用于消除圖片的冗余的幀間預(yù)測 (inter-prediction)技術(shù)和巾貞內(nèi)預(yù)測（intraprediction)技術(shù)。
[0003] 通過使用幀間預(yù)測對(duì)圖像進(jìn)行編碼的方法是通過消除圖片之間的時(shí)間冗余 ((spatialredundancy)來對(duì)圖像進(jìn)行壓縮的方法，以及典型示例是運(yùn)動(dòng)補(bǔ)償預(yù)測編碼方 法。
[0004] 運(yùn)動(dòng)補(bǔ)償預(yù)測編碼通過在位于當(dāng)前編碼的圖片的前面和/或后面的至少一個(gè)參 考圖片中搜索與當(dāng)前編碼的塊類似的區(qū)域來生成運(yùn)動(dòng)向量（MV，MotionVector)，對(duì)當(dāng)前 預(yù)測單元與通過使用所生成的運(yùn)動(dòng)向量執(zhí)行運(yùn)動(dòng)補(bǔ)償而獲得的預(yù)測單元的殘差（residue) 來進(jìn)行DCT(DiscreteCosineTransform,離散余弦變換）轉(zhuǎn)換和量化；然后對(duì)經(jīng)量化的殘 差進(jìn)行熵編碼和發(fā)送。
[0005] 在運(yùn)動(dòng)補(bǔ)償幀間預(yù)測的情況下，將一個(gè)圖片劃分成具有預(yù)先確定的尺寸的多個(gè)塊 (block)以便生成運(yùn)動(dòng)向量（MV)，并且通過使用所生成的運(yùn)動(dòng)向量來執(zhí)行運(yùn)動(dòng)補(bǔ)償。將通 過執(zhí)行運(yùn)動(dòng)補(bǔ)償而獲得的各個(gè)預(yù)測塊的各個(gè)運(yùn)動(dòng)參數(shù)發(fā)送至解碼器。
[0006] 在3D圖像的情況下，由于圖像的特征，每個(gè)像素包括深度（cbpth)信息和像素信 息；并且在編碼器中獲得深度信息，然后將多視點(diǎn)視頻圖像信息和深度信息發(fā)送至解碼器。 此時(shí)，使用運(yùn)動(dòng)向量預(yù)測（MotionVectorPrediction)。將當(dāng)前預(yù)測單元的相鄰塊的運(yùn)動(dòng) 向量用作預(yù)測運(yùn)動(dòng)向量的候選塊；并且在具有深度信息的3D圖像的情況下，需要有效地應(yīng) 用預(yù)測運(yùn)動(dòng)向量的方法。
[0007] 此外，在H. 264/AVC標(biāo)準(zhǔn)中，當(dāng)以低比特率對(duì)圖像進(jìn)行編碼時(shí)，為了解決下述問 題：圖像在解碼圖像中產(chǎn)生塊失真的狀態(tài)下被存儲(chǔ)在幀存儲(chǔ)器并且接著在下一張圖片的 運(yùn)動(dòng)補(bǔ)償處理中參考包括塊失真的圖像進(jìn)行編碼從而擴(kuò)散了圖像質(zhì)量的惡化，在將解碼 圖像存儲(chǔ)在幀存儲(chǔ)器中之前使用用于消除塊失真現(xiàn)象的自適應(yīng)解塊濾波（deblocking filtering)。也就是說，以預(yù)先確定的力度（strength)使塊邊界變模糊（blur),以減小塊 之間的邊界失真。
[0008] 在H. 264/AVC中的自適應(yīng)解塊濾波通過以下操作輸出良好的解碼圖像：通過在可 能容易生成塊失真的位置以及可能不容易生成塊失真的位置處自適應(yīng)地應(yīng)用每個(gè)解塊濾 波器來在參考圖像中包括塊失真的情況下防止將圖像的塊失真發(fā)送至解碼圖像。
[0009] 在多視點(diǎn)視頻（multi-viewvideo)的情況下，存在由空間中不同的相機(jī)所拍攝的 當(dāng)前視圖（view)和參考視圖，對(duì)當(dāng)前視圖的特定塊執(zhí)行解塊處理來對(duì)多視點(diǎn)圖像進(jìn)行編 碼以與現(xiàn)有a264/AVC視頻相兼容時(shí)，如果獨(dú)立于與參考視圖對(duì)應(yīng)的塊的解塊濾波強(qiáng)度來 獲得當(dāng)前視圖的特定塊的解塊濾波強(qiáng)度，則可能增加了整體復(fù)雜度。具體地，在解碼器中， 解塊濾波器的處理占據(jù)了解碼器復(fù)雜度的相當(dāng)大的一部分，因此如果獨(dú)立于與參考視圖對(duì) 應(yīng)的塊的解塊濾波強(qiáng)度來獲得當(dāng)前視圖的特定塊的解塊濾波強(qiáng)度以便對(duì)多視點(diǎn)圖像進(jìn)行 解碼，則可能顯著增加解碼器的復(fù)雜度。
[0010] 此外，在多視點(diǎn)視頻（multiviewvideo)的情況下，存在通過其視點(diǎn)在空間上與當(dāng) 前視圖（view)不同的相機(jī)所拍攝的至少一個(gè)參考視圖（view);并且當(dāng)對(duì)多視點(diǎn)圖像進(jìn)行 編碼和解碼時(shí)，如果將關(guān)于所有視圖的多視點(diǎn)圖像數(shù)據(jù)（或紋理（texture))從編碼器發(fā)送 至解碼器，則由于被發(fā)送至解碼器的數(shù)據(jù)的增加，編碼效率可能會(huì)降低。
[0011] 此外，在對(duì)多視點(diǎn)圖像進(jìn)行編碼和解碼的情況下，如果將關(guān)于所有視圖的深度視 圖數(shù)據(jù)從編碼器發(fā)送至解碼器，則被發(fā)送至解碼器的數(shù)據(jù)可能增加，因此編碼效率會(huì)降低。

【發(fā)明內(nèi)容】

[0012] 本發(fā)明的一個(gè)目的是提供通過能夠應(yīng)用于3D圖像的運(yùn)動(dòng)向量預(yù)測對(duì)圖像進(jìn)行編 碼的方法及裝置。
[0013] 本發(fā)明的另一目的是提供通過能夠應(yīng)用于3D圖像的運(yùn)動(dòng)向量預(yù)測對(duì)圖像進(jìn)行解 碼的方法及裝置。
[0014] 本發(fā)明的另一目的是提供對(duì)多視點(diǎn)圖像進(jìn)行環(huán)路濾波以在對(duì)多視點(diǎn)圖像進(jìn)行譯 碼時(shí)降低復(fù)雜度的方法。
[0015] 本發(fā)明的另一目的是提供通過在對(duì)多視點(diǎn)圖像進(jìn)行譯碼時(shí)減少從編碼器發(fā)送至 解碼器的數(shù)據(jù)量來執(zhí)行多視點(diǎn)圖像的中間深度視圖合成以提高編碼效率的方法。
[0016] 根據(jù)本發(fā)明的方面，對(duì)三維圖像中的當(dāng)前預(yù)測單元進(jìn)行編碼的方法包括：從當(dāng)前 預(yù)測單元的已編碼的相鄰塊中選擇滿足具有與當(dāng)前預(yù)測單元相同的組和相同的深度中的 至少之一的相鄰塊的運(yùn)動(dòng)向量，作為當(dāng)前預(yù)測單元的候選預(yù)測運(yùn)動(dòng)向量；以及通過基于候 選預(yù)測運(yùn)動(dòng)向量執(zhí)行巾貞間預(yù)測（interprediction)來預(yù)測當(dāng)前預(yù)測單元的運(yùn)動(dòng)向量，以 將所預(yù)測的運(yùn)動(dòng)向量發(fā)送至解碼器。此處，當(dāng)前預(yù)測單元的候選預(yù)測運(yùn)動(dòng)向量從當(dāng)前預(yù) 測單元的已編碼的相鄰塊中滿足具有與當(dāng)前預(yù)測單元相同的組和相同的深度中的至少之 一的相鄰塊的運(yùn)動(dòng)向量中來選擇，并且通過基于候選預(yù)測運(yùn)動(dòng)向量執(zhí)行幀間預(yù)測（inter prediction)來預(yù)測當(dāng)前預(yù)測單元的運(yùn)動(dòng)向量，以將預(yù)測運(yùn)動(dòng)向量發(fā)送至解碼器。
[0017] 根據(jù)本發(fā)明的另一方面，對(duì)三維圖像中的當(dāng)前預(yù)測單元進(jìn)行解碼的方法包括：對(duì) 所接收的比特流進(jìn)行熵解碼，逆量化和逆變換，基于經(jīng)逆變換的比特流從當(dāng)前預(yù)測單元的 已解碼的相鄰塊中選擇滿足具有與當(dāng)前預(yù)測單元相同的組和相同的深度中的至少之一的 相鄰塊的運(yùn)動(dòng)向量，作為當(dāng)前預(yù)測單元的候選預(yù)測運(yùn)動(dòng)向量，以及通過基于候選預(yù)測運(yùn)動(dòng) 向量執(zhí)行巾貞間預(yù)測（interprediction)來預(yù)測當(dāng)前預(yù)測單元的運(yùn)動(dòng)向量而對(duì)圖像進(jìn)行重 建。此處，當(dāng)前預(yù)測單元的候選預(yù)測運(yùn)動(dòng)向量從當(dāng)前預(yù)測單元的已編碼的相鄰塊中滿足具 有與當(dāng)前預(yù)測單元相同的組和相同的深度中的至少之一的相鄰塊的運(yùn)動(dòng)向量中來選擇，并 且通過基于候選預(yù)測運(yùn)動(dòng)向量執(zhí)行巾貞間預(yù)測（interprediction)來預(yù)測當(dāng)前預(yù)測單元的 運(yùn)動(dòng)向量，以將預(yù)測運(yùn)動(dòng)向量發(fā)送至解碼器。
[0018] 根據(jù)本發(fā)明的另一方面，對(duì)多視點(diǎn)圖像進(jìn)行環(huán)路濾波的方法包括：對(duì)于當(dāng)前視圖 的特定塊，參考與參考視圖對(duì)應(yīng)的塊；以及通過根據(jù)當(dāng)前視圖的特定塊和與參考視圖對(duì)應(yīng) 的塊之間的距離執(zhí)行縮放來設(shè)置當(dāng)前視圖的特定塊的解塊強(qiáng)度。
[0019] 根據(jù)本發(fā)明的又一方面，通過解碼器對(duì)多視點(diǎn)圖像執(zhí)行中間深度視圖合成的方 法，所述多視點(diǎn)圖像具有與第一視圖、第二視圖和第三視圖中的每個(gè)視圖對(duì)應(yīng)的紋理視圖 和深度視圖，所述方法包括：對(duì)從編碼器接收的第一視圖的紋理視圖和第三視圖的紋理視 圖執(zhí)行中間視圖合成，以及根據(jù)第一視圖的紋理視圖和第三視圖的紋理視圖通過中間視圖 合成來獲得第二視圖的紋理視圖。
[0020] 發(fā)明效果
[0021] 依據(jù)用于根據(jù)本發(fā)明對(duì)3D圖像進(jìn)行編碼和解碼的方法及裝置，對(duì)于具有深度信 息的3D圖像可以有效地選擇預(yù)測運(yùn)動(dòng)向量的候選。
[0022] 依據(jù)用于根據(jù)本發(fā)明對(duì)3D圖像進(jìn)行編碼的方法及裝置，僅在當(dāng)前預(yù)測單元和 相鄰塊兩者都屬于相同的組并且當(dāng)前預(yù)測單元的深度與相鄰塊的深度（depth)相同的 情況下，將與當(dāng)前預(yù)測單元具有相同深度的相鄰塊選作運(yùn)動(dòng)向量預(yù)測器候選列表（MV Predictorcandidatelist)中的最高優(yōu)先級(jí)，從而在選擇3D圖像的當(dāng)前預(yù)測單元的運(yùn)動(dòng) 向量時(shí)降低了復(fù)雜度并且提高精確度。
[0023] 根據(jù)用于多視點(diǎn)圖像的環(huán)路濾波方法，當(dāng)對(duì)多視點(diǎn)圖像進(jìn)行編碼和解碼時(shí)，可以 通過以下操作降低解塊處理的復(fù)雜度：考慮到與當(dāng)前視圖的特定塊對(duì)應(yīng)的塊和當(dāng)前視圖的 參考視圖的距離和角度通過執(zhí)行