運動矢量處理的制作方法
【專利摘要】實施例涉及針對來自多個攝像機視圖(10，20)的多視圖視頻內(nèi)容的運動矢量預(yù)測和解碼。針對要編碼的當(dāng)前運動矢量(34)，提供至少一個候選運動矢量預(yù)測值(44，54)。然后，根據(jù)至少一個候選運動矢量預(yù)測值(44，54)來確定運動矢量預(yù)測值(44)。相應(yīng)地，在解碼期間，基于針對當(dāng)前像素塊(30)確定的運動矢量預(yù)測值(44)，針對當(dāng)前像素塊(30)確定運動矢量(34)。
【專利說明】運動矢量處理
【技術(shù)領(lǐng)域】
[0001]本實施例一般涉及運動矢量的處理，并且尤其涉及這種運動矢量的預(yù)測和解碼?！颈尘凹夹g(shù)】
[0002]H.264，也稱運動圖像專家組-4 (MPEG-4)高級視頻編碼(AVC)，是現(xiàn)有視頻編碼標(biāo)準(zhǔn)。它是一種混合編解碼器，利用消除幀間和一幀內(nèi)的冗余，并使用若干提供良好的壓縮效率的壓縮技術(shù)。編碼過程的輸出是視頻編碼層(VCL)數(shù)據(jù)，該數(shù)據(jù)進一步封裝成網(wǎng)絡(luò)抽像層(NAL)單元，然后進行傳輸或存儲。
[0003]H.264是基于塊的，也就是以宏塊(MB)為單位處理視頻幀，MB是16 X 16像素塊，可被進一步劃分為子宏塊(sMB)。為了最小化要編碼的數(shù)據(jù)量，對每個非幀內(nèi)像素塊執(zhí)行稱為運動補償(MC)的技術(shù)，MC在相鄰幀中使用先前重構(gòu)的像素值來盡力而為地預(yù)測當(dāng)前像素塊的像素值。為了得到當(dāng)前像素塊的預(yù)測，在比特流中信號通知參考幀中與當(dāng)前像素塊相似的區(qū)域。最終重建可以通過將預(yù)測像素值與殘差像素值加在一起來進行。為了找到參考幀中的當(dāng)前像素塊的最佳匹配，通常在編碼器側(cè)進行運動搜索。它試圖找到當(dāng)前像素塊和可能的參考像素塊之間的最小平方差之和(SSD)或絕對差和(SAD)。運動搜索的結(jié)果是信號通知其參考哪個參考幀的參考索引以及指向參考區(qū)域的偏移矢量，稱為運動矢量(MV)。MV是視頻比特流中的重要和開銷成分。對于以高量化參數(shù)(QP)編碼的視頻，它可能占用超過50%的比特率。
[0004]運動矢量編碼
[0005]MV不直接編碼成比特流，因為可以利用MV之間的冗余。相鄰MV往往具有較高的相關(guān)性，具有類似長度和方向的MV往往集群在一起。這些集群的MV可以對應(yīng)于局部運動(其中對象移動)或全局運動(其中存在搖拍)。對于要編碼的每個MV，首先做MV預(yù)測，以減少數(shù)據(jù)量，使得只有MV和MV預(yù)測值(predictor)之間的差值被編碼。在H.264中，通過取來自左邊、上方和右上方的像素塊的MV的中值，來產(chǎn)生中值預(yù)測值。該處理針對水平和垂直MV分量分別進行。
[0006]多視圖視頻編碼(MVC)
[0007]盡管“傳統(tǒng)”的視頻服務(wù)在單一表示中提供視頻(也就是固定攝像機位置)，然而多視圖視頻表示最近獲得重要性。多視圖表示表示來自不同攝像機視圖或視圖的內(nèi)容，一種特殊情況是“立體視頻”的情況，其中場景是從具有與人眼相同或相似的距離的兩個攝像機捕捉的。使用合適的顯示技術(shù)來呈現(xiàn)“立體”內(nèi)容給觀眾，可以提供給觀眾深度感。
[0008]MVC是一種可用于壓縮多視圖視頻表示的視頻編碼標(biāo)準(zhǔn)。通過消除不同層之間的冗余信息來實現(xiàn)高壓縮效率。MVC基于AVC標(biāo)準(zhǔn)，因此MVC共享大部分AVC結(jié)構(gòu)。
[0009]MVC參考畫面列表
[0010]MVC和AVC之間的主要區(qū)別在于參考畫面列表處理過程。參考畫面列表是可用于預(yù)測的畫面的集合。它們通常以基于其與當(dāng)前幀的接近程度的順序來進行排序。在AVC中，列表中的所有參考畫面均來自相同的視圖。在MVC中，除了來自同一個視圖的參考畫面，也有來自其他視圖的參考畫面。因此，MVC參考畫面列表構(gòu)造過程的第一步驟與AVC中完全相同，不同之處在于然后附加視圖間參考畫面。由于復(fù)雜性的考慮，MVC中只允許將同一個時刻來自其他視圖的幀添加到列表。
[0011]高效視頻編碼(HEVC)
[0012]HEVC是下一代視頻編碼標(biāo)準(zhǔn)，目前正在標(biāo)準(zhǔn)化過程中。HEVC旨在相比于AVC在實質(zhì)上改進編碼，尤其是針對高分辨率視頻序列。HEVC發(fā)展的最初焦點是單視頻，即單一視圖。
[0013]運動矢量競爭
[0014]H.264中的中值MV預(yù)測值在許多情況下不那么有效率。VCEG貢獻[I]描述了稱為運動矢量競爭的新技術(shù)。這種技術(shù)的關(guān)鍵概念是從常常與當(dāng)前MV高度相關(guān)的相鄰像素塊中取MV，以形成候選MV的列表，其中相鄰像素塊可以是空間鄰居，即同一幀，或時間鄰居，即不同幀。這些候選MV根據(jù)其與其各自參考幀的時間距離被縮放。基于率失真(RD)準(zhǔn)則，只有一個候選MV從列表中被選擇為預(yù)測值，在比特流發(fā)送對列表的對應(yīng)索引條目。與中值MV預(yù)測值相比，一般運動矢量競爭提高了視頻編碼性能，因此建議用于HEVC。
[0015]在運動矢量競爭中，所選擇的候選MV通常需要在被放入候選列表之前進行縮放，因為它不一定具有與MV預(yù)測所針對的當(dāng)前像素塊的參考距離相同的參考距離。術(shù)語“參考距離”指的是具有MV的幀與MV所指向的幀之間的畫面順序計數(shù)(POC)的差異。在圖1中，有標(biāo)記為P0C0-6的7個幀，P0C0-6是視頻序列的顯示順序。在該示例中，POC等于0，1，3，4，5，6的幀是已編碼幀。具有POC = 2的幀是要被編碼的當(dāng)前幀，幀2的中間的像素塊是當(dāng)前像素塊，其上方的像素塊已被編碼。當(dāng)前像素塊是測試幀間預(yù)測模式，使用來自幀O的參考區(qū)域作為參考。3個候選MV預(yù)測值示于該圖中，它們是來自當(dāng)前幀中的空間相鄰像素塊的MB B，以及分別來自當(dāng)前幀之前和之后的時間相關(guān)塊的MV A和C。在這些候選MV預(yù)測值被采納進入候選列表前，縮放因子被用在這些候選MV預(yù)測值?？s放因子公式為:`
【權(quán)利要求】
1.一種用于來自多個攝像機視圖(10，20)的視頻內(nèi)容的多視圖視頻編碼的運動矢量預(yù)測的方法，所述方法包括: 針對運動矢量(34)，從多個預(yù)定義運動矢量類型中確定(S2)運動矢量類型，所述運動矢量(34)是針對所述多個攝像機視圖(10，20)中的當(dāng)前攝像機視圖(20)的當(dāng)前幀(24)中的當(dāng)前像素塊(30)來估計的，所述運動矢量(34)標(biāo)識參考幀(22)中的參考像素區(qū)域(32)，其中，所述運動矢量類型是基于以下至少一項來確定的:i)所述多個攝像機視圖(10.20)中的所述當(dāng)前攝像機視圖(20)和所述參考幀(22)的攝像機視圖(20)，以及ii)所述當(dāng)前幀(24)的時間點和所述參考幀(22)的時間點； 標(biāo)識(S3)所確定的運動矢量類型的至少一個候選運動矢量預(yù)測值(44，54，64);以及 基于所述至少一個候選運動矢量預(yù)測值(44，54，64)，確定(S4)針對所述運動矢量(34)的運動矢量預(yù)測值。
2.根據(jù)權(quán)利要求1所述的方法，其中 確定(S2)所述運動矢量類型包括:如果所述當(dāng)前幀(24)的所述時間點不同于所述參考幀(22)的所述時間點，則將所述運動矢量類型確定為時間運動矢量類型；以及 標(biāo)識(S3)所述至少一個候選運動矢量預(yù)測器(44，54，64)包括:標(biāo)識與第一幀(24，14)中的像素塊(40，50)相關(guān)聯(lián)并標(biāo)識具有與所述第一幀(24)的時間點不同的時間點但屬于所述多個攝像機視圖(10，20)中與所述第一幀(24)相同的攝像機視圖(20)的第一參考幀(22)中的像素區(qū)域(42)的至少一個候選運動矢量預(yù)測器(44，54)。
3.根據(jù)權(quán)利要求1所述的方法 ，其中 確定(S2)所述運動矢量類型包括:如果所述當(dāng)前攝像機視圖(20)不同于所述參考幀(22)的所述攝像機視圖(20)，則將所述運動矢量類型確定為視圖間運動矢量類型；以及 標(biāo)識(S3)所述至少一個候選運動矢量預(yù)測值(44，54，64)包括:標(biāo)識與所述多個攝像機視圖(10，20)中的第一攝像機視圖(10，20)中的第一幀(14，26)中的像素塊(50，60)相關(guān)聯(lián)并標(biāo)識具有與所述第一幀(26)的時間點相等的時間點但屬于所述多個攝像機視圖(10.20)中與所述第一攝像機視圖(20)不同的攝像機視圖(10)的第一參考幀(16)中的像素區(qū)域(62)的至少一個候選運動矢量預(yù)測值(54，64)。
4.根據(jù)權(quán)利要求1至3中任一項所述的方法，其中，標(biāo)識(S3)所述至少一個候選運動矢量預(yù)測值(44，54，64)包括:從基于所述當(dāng)前像素塊(30)在所述當(dāng)前幀(24)中的位置、所述當(dāng)前幀(24)的時間點和所述當(dāng)前攝像機視圖(20)而確定的多個候選運動矢量預(yù)測值(44，54，64)的集合中標(biāo)識所述至少一個候選運動矢量預(yù)測值(44，54，64)。
5.根據(jù)權(quán)利要求1至4中任一項所述的方法，還包括:基于所述運動矢量(34)和所述運動矢量預(yù)測值來計算殘差運動矢量。
6.根據(jù)權(quán)利要求1至5中任一項所述的方法，還包括:針對所述當(dāng)前像素塊(30)，估計(SI)標(biāo)識所述參考幀(22)中的所述參考像素區(qū)域(32)的所述運動矢量(34)。
7.根據(jù)權(quán)利要求6所述的方法，其中，估計(SI)所述運動矢量(34)包括:針對所述當(dāng)前像素塊(30)，估計(SI)標(biāo)識所述多個攝像機視圖(10，20)中的參考攝像機視圖(20)的所述參考幀(22)中的所述參考像素區(qū)域(32)的所述運動矢量(34)，所述當(dāng)前幀(24)具有當(dāng)前畫面順序計數(shù)CurrPOC,所述參考幀(22)具有參考畫面順序計數(shù)CurrRfPOC,所述至少一個候選運動矢量預(yù)測值(44，54，64)與具有第一畫面順序計數(shù)RfPOC的第一幀(24，14，16)中的像素塊(40，50，60)相關(guān)聯(lián)，并標(biāo)識具有第一參考畫面順序計數(shù)RfRfPOC的第一參考幀(22，26)中的像素區(qū)域(42，52，62)，所述方法還包括:針對所述至少一個候選運動矢量預(yù)測值(44，54，64)，如果i)所述當(dāng)前畫面順序計數(shù)等于所述參考畫面順序計數(shù)或ii)所述第一畫面順序計數(shù)等于所述第一參考畫面順序計數(shù)，則確定(Sll)縮放因子為等于固定的預(yù)定義值，否則將所述縮放因子確定(S12)為基于
8.根據(jù)權(quán)利要求6或7所述的方法，其中，估計(SI)所述運動矢量(34)包括:針對所述當(dāng)前像素塊(30)，估計(SI)標(biāo)識所述多個攝像機視圖(10，20)中的參考攝像機視圖的所述參考幀(22)中的所述參考像素區(qū)域(32)的所述運動矢量(34)，所述當(dāng)前攝像機視圖(20)不同于所述參考攝像機視圖(20)，所述至少一個候選運動矢量預(yù)測值(54，64)與所述多個攝像機視圖(10，20)中的第一攝像機視圖(10，20)的第一幀(14，16)中的像素塊(50，60)相關(guān)聯(lián)，并標(biāo)識所述多個攝像機視圖(10，20)中的第一參考攝像機視圖(20，10)的第一參考幀(26)中的像素區(qū)域(52，62)，所述方法還包括: 針對所述至少一個候選運動矢量預(yù)測值(54，64)，基于所述當(dāng)前攝像機視圖(20)和所述參考攝像機視圖(20)之間的基線距離以及所述第一攝像機視圖(10，20)和所述第一參考攝像機視圖(20，10)之間的基線距離，確定(S20)縮放因子；以及 針對所述至少一個候選運動矢量預(yù)測值(54，64)，基于所述候選運動矢量預(yù)測值(54，64)乘以所述縮放因子來確定(S21)縮放的候選運動矢量預(yù)測值，其中，確定(S4)所述運動矢量預(yù)測值包括:基于所述至少一個縮放的候選運動矢量預(yù)測值，確定(S4)針對所述運動矢量(34)的所述運動矢量預(yù)測值。
9.根據(jù)權(quán)利要求8所述的方法，其中，確定(S20)所述縮放因子包括:針對所述至少一個候選運動矢量預(yù)測值(54，64)，基于所述當(dāng)前攝像機視圖(20)和所述參考攝像機視圖(20)之間的基線距離與所述第一攝像機視圖(10，20)和所述第一參考攝像機視圖(20，10)之間的基線距離之間的商，確定所述縮放因子。
10.一種預(yù)測用于來自多個攝像機視圖(10，20)的視頻內(nèi)容的多視圖視頻編碼的運動矢量(34)的計算機程序(78)，所述計算機程序(78)包括代碼裝置(110，120，130，140)，當(dāng)在計算機(70)上運行時，使計算機(70):針對運動矢量(34)，從多個預(yù)定義運動矢量類型中確定運動矢量類型，所述運動矢量(34)是針對所述多個攝像機視圖(10，20)中的當(dāng)前攝像機視圖(20)的當(dāng)前幀(24)中的當(dāng)前像素塊(30)來估計的，所述運動矢量(34)標(biāo)識參考幀(22)中的參考像素區(qū)域(32)，其中，所述運動矢量類型是基于以下至少一項來確定的:i)所述多個攝像機視圖(10，20)中的所述當(dāng)前攝像機視圖(20)和所述參考幀(22)的攝像機視圖(20)，以及ii)所述當(dāng)前幀(24)的時間點和所述參考幀(22)的時間點；標(biāo)識所確定的運動矢量類型的至少一個候選運動矢量預(yù)測值(44，54，64);以及基于所述至少一個候選運動矢量預(yù)測值(44，54，64)，確定針對所述運動矢量(34)的運動矢量預(yù)測值。
11.一種用于來自多個攝像機視圖(10，20)的視頻內(nèi)容的多視圖視頻編碼的運動矢量預(yù)測的設(shè)備(100)，所述設(shè)備(100)包括: 類型確定器(120)，被配置為針對運動矢量(34)，從多個預(yù)定義運動矢量類型中確定運動矢量類型，所述運動矢量(34)是針對所述多個攝像機視圖(10，20)中的當(dāng)前攝像機視圖(20)的當(dāng)前幀(24)中的當(dāng)前像素塊(30)來估計的，所述運動矢量(34)標(biāo)識參考幀(22)中的參考像素區(qū)域(32)，其中，所述類型確定器(120)被配置為基于以下至少一項來確定所述運動矢量類型:i)所述多個攝像機視圖(10，20)中的所述當(dāng)前攝像機視圖(20)和所述參考幀(22)的攝像機視圖(20)，以及ii)所述當(dāng)前幀(24)的時間點和所述參考幀(22)的時間點； 預(yù)測值標(biāo)識器(130)，被配置為標(biāo)識所述類型確定器(120)所確定的運動矢量類型的至少一個候選運動矢量預(yù)測值(44，54，64);以及 預(yù)測值確定器(140)，被配置為基于所述預(yù)測值標(biāo)識器(130)所標(biāo)識的所述至少一個候選運動矢量預(yù)測值(44，54，64)，確定針對所述運動矢量(34)的運動矢量預(yù)測值。
12.根據(jù)權(quán)利要求11所述的設(shè)備，其中 所述類型確定器(120)被配置為:如果所述當(dāng)前幀(24)的所述時間點不同于所述參考幀(22)的所述時間點，則將所述運動矢量類型確定為時間運動矢量類型；以及 所述預(yù)測值標(biāo)識器(130)被配置為:標(biāo)識與第一幀(24，14)中的像素塊(40，50)相關(guān)聯(lián)并標(biāo)識具有與所述第一幀(24)的時間點不同的時間點但屬于所述多個攝像機視圖(10，20)中與所述第一幀(24)相同的攝像機視圖(20)`的第一參考幀(22)中的像素區(qū)域(42)的至少一個候選運動矢量預(yù)測器(44，54)。
13.根據(jù)權(quán)利要求11所述的設(shè)備，其中 所述類型確定器(120)被配置為:如果所述當(dāng)前攝像機視圖(20)不同于所述參考幀(22)的所述攝像機視圖(20)，則將所述運動矢量類型確定為視圖間運動矢量類型；以及 所述預(yù)測值標(biāo)識器(130)被配置為:標(biāo)識與所述多個攝像機視圖(10，20)中的第一攝像機視圖(10，20)中的第一幀(14，26)中的像素塊(50，60)相關(guān)聯(lián)并標(biāo)識具有與所述第一幀(26)的時間點相等的時間點但屬于所述多個攝像機視圖(10，20)中與所述第一攝像機視圖(20)不同的攝像機視圖(10)的第一參考幀(16)中的像素區(qū)域(62)的至少一個候選運動矢量預(yù)測值(44，54)。
14.根據(jù)權(quán)利要求11至13中任一項所述的設(shè)備，其中，所述預(yù)測值標(biāo)識器(130)被配置為:從基于所述當(dāng)前像素塊(30)在所述當(dāng)前幀(24)中的位置、所述當(dāng)前幀(24)的時間點和所述當(dāng)前攝像機視圖(20)而確定的多個候選運動矢量預(yù)測值(44，54，64)的集合中標(biāo)識所述至少一個候選運動矢量預(yù)測值(44，54，64)。
15.根據(jù)權(quán)利要求11至14中任一項所述的設(shè)備，還包括:矢量計算器(170)，被配置為基于所述運動矢量(34)和所述運動矢量預(yù)測值來計算殘差運動矢量。
16.根據(jù)權(quán)利要求11至15中任一項所述的設(shè)備，還包括:運動矢量MV估計器(110)，被配置為針對所述當(dāng)前像素塊(30)，估計標(biāo)識所述參考幀(22)中的所述參考像素區(qū)域(32)的所述運動矢量(34)。
17.根據(jù)權(quán)利要求16所述的設(shè)備，其中，所述MV估計器被配置為:針對所述當(dāng)前像素塊(30)，估計標(biāo)識所述多個攝像機視圖(10，20)中的參考攝像機視圖(20)的所述參考幀(22)中的所述參考像素區(qū)域(32)的所述運動矢量(34)，所述當(dāng)前幀(24)具有當(dāng)前畫面順序計數(shù)CurrPOC,所述參考幀(22)具有參考畫面順序計數(shù)CurrRfPOC,所述至少一個候選運動矢量預(yù)測值(44，54，64)與具有第一畫面順序計數(shù)RfPOC的第一幀(24，14，16)中的像素塊(40，50，60)相關(guān)聯(lián)，并標(biāo)識具有第一參考畫面順序計數(shù)RfRfPOC的第一參考幀(22，26)中的像素區(qū)域(42，52，62)，所述設(shè)備(100)還包括: 縮放因子確定器(180)，被配置為針對所述至少一個候選運動矢量預(yù)測值(44，54，64)，如果i)所述當(dāng)前畫面順序計數(shù)等于所述參考畫面順序計數(shù)或ii)所述第一畫面順序計數(shù)等于所述第一參考畫面順序計數(shù)，則確定縮放因子為等于固定的預(yù)定義值，否則將所
18.根據(jù)權(quán)利要求16或17所述的設(shè)備，其中，所述MV估計器(110)被配置為:針對所述當(dāng)前像素塊(30)，估計標(biāo)識所述多個攝像機視圖(10，20)中的參考攝像機視圖(20)的所述參考幀(22)中的所述參考像素區(qū)域(32)的所述運動矢量(34)，所述當(dāng)前攝像機視圖(20)不同于所述參考攝像機視圖(20)，所述至少一個候選運動矢量預(yù)測值(54，64)與所述多個攝像機視圖(10，20)中的第一攝像機視圖(10，20)的第一幀(14，16)中的像素塊(50，60)相關(guān)聯(lián)，并標(biāo)識所述多個攝像機視圖(10，20)中的第一參考攝像機視圖(20，10)的第一參考幀(26)中的像素區(qū)域(52，62)，所述設(shè)備(100)還包括: 縮放因子確定器(180)，被配置為針對所述至少一個候選運動矢量預(yù)測值(54，64)，基于所述當(dāng)前攝像機視圖(20)和所述參考攝像機視圖(20)之間的基線距離以及所述第一攝像機視圖(10，20)和所述第一參考攝像機視圖(20，10)之間的基線距離，確定縮放因子；以及 縮放預(yù)測值確定器(190)，被配置為針對所述至少一個候選運動矢量預(yù)測值(54，64)，基于所述候選運動矢量預(yù)測值(54，64)乘以所述縮放因子來確定(S21)縮放的候選運動矢量預(yù)測值，其中，所述預(yù)測值確定器(140)被配置為:基于所述至少一個縮放的候選運動矢量預(yù)測值，確定針對所述運動矢量(34)的所述運動矢量預(yù)測值。
19.根據(jù)權(quán)利要求18所述的設(shè)備，其中，所述縮放因子確定器(180)被配置為:針對所述至少一個候選運動矢量預(yù)測值(54，64)，基于所述當(dāng)前攝像機視圖(20)和所述參考攝像機視圖(20)之間的基線距離與所述第一攝像機視圖(10，20)和所述第一參考攝像機視圖(20，10)之間的基線距離之間的商，確定所述縮放因子。
20.一種針對來自多個攝像機視圖(10，20)的編碼的多視圖視頻的運動矢量解碼的方法，所述方法包括: 針對所述多個攝像機視圖(10，20)中的當(dāng)前攝像機視圖(20)的當(dāng)前幀(24)中的當(dāng)前像素塊(30)，提供(S40)參考幀索引，所述參考幀索引標(biāo)識參考幀(22)；針對所述當(dāng)前像素塊(30)，基于以下至少一項，從多個預(yù)定義運動矢量類型中確定(S41)運動矢量類型:i)所述多個攝像機視圖(10，20)中的所述當(dāng)前攝像機視圖(20)和所述參考幀(22)的攝像機視圖(20)，以及ii)所述當(dāng)前幀(24)的時間點和所述參考幀(22)的時間點； 產(chǎn)生(S42)候選列表，所述候選列表包括所確定的運動矢量類型的至少一個候選運動矢量預(yù)測值(44，54，64);以及 基于所述候選列表的候選運動矢量預(yù)測值，確定(S44)所述當(dāng)前像素塊(30)的運動矢量(34)。
21.根據(jù)權(quán)利要求20所述的方法，其中 確定(S41)所述運動矢量類型包括:如果所述當(dāng)前幀(24)的所述時間點不同于所述參考幀(22)的所述時間點，則將所述運動矢量類型確定為時間運動矢量類型；以及 產(chǎn)生(S42)所述候選列表包括:產(chǎn)生(S42)所述候選列表,所述候選列表包括與第一中貞(24，14)中的像素塊(40，50)相關(guān)聯(lián)并標(biāo)識具有與所述第一幀(24)的時間點不同的時間點但屬于所述多個攝像機視圖(10，20)中與所述第一幀(24)相同的攝像機視圖(20)的第一參考幀(22)中的像素區(qū)域(42)的至少一個候選運動矢量預(yù)測值(44，54)。
22.根據(jù)權(quán)利要求20所述的方法，其中 確定(S41)所述運動矢量類型包括:如果所述當(dāng)前攝像機視圖(20)不同于所述參考幀(22)的所述攝像機視圖(20)，則將所述運動矢量類型確定(S41)為視圖間運動矢量類型；以及 產(chǎn)生(S42)所述候選列表包括:產(chǎn)生(S42)所述候選列表，所述候選列表包括與所述多個攝像機視圖(10，20)中的第一攝像機視圖(10，20)中的第一幀(14，26)中的像素塊(50，60)相關(guān)聯(lián)并標(biāo)識具有與所述第一幀(26)的時間點相等的時間點但屬于所述多個攝像機視圖(10，20)中與所述第一攝像機視圖(20)不同的攝像機視圖(10)的第一參考幀(16)中的像素區(qū)域(62)的至少一個候選運動矢量預(yù)測值(44，54)。
23.根據(jù)權(quán)利要求20至21中任一項所述的方法，其中，產(chǎn)生(S42)所述候選列表包括:從基于所述當(dāng)前像素塊(30)在所述當(dāng)前幀(24)中的位置、所述當(dāng)前幀(24)的時間點和所述當(dāng)前攝像機視圖(20)而確定的多個候選運動矢量預(yù)測值(44，54，64)的集合中標(biāo)識所述至少一個候選運動矢量預(yù)測值(44，54，64)。
24.根據(jù)權(quán)利要求23所述的方法，還包括:基于以下至少一項來確定所述多個候選運動矢量預(yù)測值(44，54，64)的集合:i)與所述當(dāng)前幀(24)中的空間相鄰像素塊(40)相關(guān)聯(lián)的運動矢量(44) ；ii)與不同于所述當(dāng)前幀(24)但屬于所述當(dāng)前攝像機視圖(20)的幀(26)中的時間相鄰像素塊(60)相關(guān)聯(lián)的運動矢量(64) ；iii)與屬于所述多個攝像機視圖(10，20)中不同于所述當(dāng)前攝像機視圖(20)的攝像機視圖(10)但具有與所述當(dāng)前幀(24)的所述時間點相等的相應(yīng)時間點的幀(14)中的像素塊(50)相關(guān)聯(lián)的運動向量(54)。
25.根據(jù)權(quán)利要求20至24中任一項所述的方法，其中，提供(S40)所述參考幀索引包括:針對具有當(dāng)前畫面順序計數(shù)CurrPOC并存在于所述當(dāng)前攝像機視圖(20)中的所述當(dāng)前幀(24)中的所述當(dāng)前像素塊(30)，提供(S40)所述參考幀索引，所述參考幀索引標(biāo)識具有參考畫面順序計數(shù)CurrRfPOC 并存在于所述多個攝像機視圖(10，20)中的參考攝像機視圖 (20)中的所述參考幀(22)，所述至少一個候選運動矢量預(yù)測值(44，54，64)與具有第一畫面順序計數(shù)RfPOC的第一幀(24，14，16)中的像素塊(40，50，60)相關(guān)聯(lián)，并標(biāo)識具有第一參考畫面順序計數(shù)RfRfPOC的第一參考幀(22，26，16)中的像素區(qū)域(42，52，62)，所述方法還包括: 針對所述至少一個候選運動矢量預(yù)測值(44，54，64)，如果i)所述當(dāng)前畫面順序計數(shù)等于所述參考畫面順序計數(shù)或ii)所述第一畫面順序計數(shù)等于所述第一參考畫面順序計數(shù)，則確定(S41)相應(yīng)縮放因子為等于固定的預(yù)定義值，否則將所述縮放因子確定(S42)為
('HirPOC CiirrRfPOC基于' υη>/ >/'’其中，產(chǎn)^ (S42)所述候選歹I」表包括:產(chǎn)4 (S42)所述候選歹I」
RfriK - RfRfiHX表，所述候選列表包括基于所述至少一個候選運動矢量預(yù)測值(44，54，64)乘以所述相應(yīng)縮放因子而形成的至少一個縮放的候選運動矢量預(yù)測值。
26.根據(jù)權(quán)利要求20至25中任一項所述的方法，其中，提供(S40)所述參考幀索引包括:針對所述當(dāng)前像素塊(30)，提供(S40)所述參考幀索引，所述參考幀索引標(biāo)識所述多個攝像機視圖(10，20)中的參考攝像機視圖(20)的所述參考幀(22)，所述當(dāng)前攝像機視圖(20)不同于所述參考攝像機視圖(20)，所述至少一個候選運動矢量預(yù)測值(54，64)與所述多個攝像機視圖(10，20)中的第一攝像機視圖(10，20)的第一幀(14，16)中的像素塊(50，60)相關(guān)聯(lián)，并標(biāo)識所述多個攝像機視圖(10，20)中的第一參考攝像機視圖(20，10)的第一參考幀(26)中的像素區(qū)域(52，62)，所述第一攝像機設(shè)圖(10，20)不同于所述第一參考攝像機視圖(20，10)，所述方法還包括: 針對所述至少一個候選運動矢量預(yù)測值(54，64)，基于所述當(dāng)前攝像機視圖(20)和所述參考攝像機視圖(20)之間的基線距離以及所述第一攝像機視圖(10，20)和所述第一參考攝像機視圖(20，10)之間的基線距離，確定(S50)相應(yīng)縮放因子；其中，產(chǎn)生(S42)所述候選列表包括:產(chǎn)生(S42)所述候選列`表，所述候選列表包括基于所述至少一個候選運動矢量預(yù)測值(54，64)乘以所述相應(yīng)縮放因子而形成的至少一個縮放的候選運動矢量預(yù)測值。
27.根據(jù)權(quán)利要求26所述的方法，其中，確定(S50)所述相應(yīng)縮放因子包括:針對所述至少一個候選運動矢量預(yù)測值(54，64)，基于所述當(dāng)前攝像機視圖(20)和所述參考攝像機視圖(20)之間的基線距離與所述第一攝像機視圖(10，20)和所述第一參考攝像機視圖(20,10)之間的基線距離之間的商，確定(S50)所述相應(yīng)縮放因子。
28.根據(jù)權(quán)利要求20至27中任一項所述的方法，還包括:基于與所述當(dāng)前像素塊(30)相關(guān)聯(lián)的預(yù)測值索引，從針對所述當(dāng)前像素塊(30)的所述候選列表中選擇(S43)運動矢量預(yù)測值，其中，確定(S44)所述運動矢量(34)包括:基于所選擇的運動矢量預(yù)測值和與所述當(dāng)前像素塊(30)相關(guān)聯(lián)的殘差運動矢量，確定(S44)所述當(dāng)前像素塊(30)的運動矢量(34)。
29.一種解碼用于來自多個攝像機視圖(10，20)的編碼的多視圖視頻的運動矢量(34)的計算機程序(780)，所述計算機程序(780)包括代碼裝置(410，420，430，440，450)，當(dāng)在計算機(700)上運行時，使計算機(700): 針對所述多個攝像機視圖(10，20)中的當(dāng)前攝像機視圖(20)的當(dāng)前幀(24)中的當(dāng)前像素塊(30)，提供參考幀索引，所述參考幀索引標(biāo)識參考幀(22)； 針對所述當(dāng)前像素塊(30)，基于以下至少一項，從多個預(yù)定義運動矢量類型中確定運動矢量類型:i)所述多個攝像機視圖(10，20)中的所述當(dāng)前攝像機視圖(20)和所述參考幀(22)的攝像機視圖(20)，以及ii)所述當(dāng)前幀(24)的時間點和所述參考幀(22)的時間占.產(chǎn)生候選列表，所述候選列表包括所確定的運動矢量類型的至少一個候選運動矢量預(yù)測值(44，54，64);以及基于所述候選列表的候選運動矢量預(yù)測值，確定所述當(dāng)前像素塊(30)的運動矢量(34)。
30.一種計算機程序產(chǎn)品，包括計算機可讀代碼裝置(72，720)以及存儲在所述計算機可讀裝置(72，720)上的根據(jù)權(quán)利要求10或29的計算機程序(78，780)。
31.一種針對來自多個攝像機視圖(10，20)的編碼的多視圖視頻的運動矢量解碼的設(shè)備(400)，所述設(shè)備(400)包括: 索引提供器(410)，被配置為針對所述多個攝像機視圖(10，20)中的當(dāng)前攝像機視圖(20)的當(dāng)前幀(24)中的當(dāng)前像素塊(30)，提供參考幀索引，所述參考幀索引標(biāo)識參考幀(22)； 類型確定器(420)，被配置為針對所述當(dāng)前像素塊(30)，基于以下至少一項，從多個預(yù)定義運動矢量類型中確定運動矢量類型:i)所述多個攝像機視圖(10，20)中的所述當(dāng)前攝像機視圖(20)和所述參考幀(22)的攝像機視圖(20)，以及ii)所述當(dāng)前幀(24)的時間點和所述參考幀(22)的時間點； 列表產(chǎn)生器(430)，被配置為產(chǎn)生候選列表，所述候選列表包括所述類型確定器(420)確定的所述運動矢量類型的至少一個候選運動矢量預(yù)測值(44，54，64);以及 矢量確定器(450)，被配置為基于所述候選列表的候選運動矢量預(yù)測值，確定所述當(dāng)前像素塊(30)的運動矢量(34)。
32.根據(jù)權(quán)利要求31所述的設(shè)備，其中 所述類型確定器(420)被配置為:如果所述當(dāng)前幀(24)的所述時間點不同于所述參考幀(22)的所述時間點，則將所述運動矢量類型確定為時間運動矢量類型；以及 所述列表產(chǎn)生器(430)被配置為:產(chǎn)生所述候選列表，所述候選列表包括與第一幀(24，14)中的像素塊(40，50)相關(guān)聯(lián)并i)標(biāo)識具有與所述第一幀(24)的時間點不同的時間點但屬于所述多個攝像機視圖(10，20)中與所述第一幀(24)相同的攝像機視圖(20)的第一參考幀(22)中的像素區(qū)域(42)或者ii)標(biāo)識具有與所述第一幀(14)的時間點不同的時間點并屬于所述多個攝像機視圖(10，20)中與所述第一幀(14)的所述攝像機視圖(10)不同的攝像機視圖(20)的第一參考幀(26)中的像素區(qū)域(52)的至少一個候選運動矢量預(yù)測值(44，54)。
33.根據(jù)權(quán)利要求31所述的設(shè)備，其中 所述類型確定器(420)被配置為:如果所述當(dāng)前攝像機視圖(20)不同于所述參考幀(22)的所述攝像機視圖(20)，則將所述運動矢量類型確定為視圖間運動矢量類型；以及 所述列表產(chǎn)生器(430)被配置為:產(chǎn)生所述候選列表，所述候選列表包括與所述多個攝像機視圖(10，20)中的第一攝像機視圖(10，20)中的第一幀(14，26)中的像素塊(50，60)相關(guān)聯(lián)并標(biāo)識具有與所述第一幀(26)的時間點相等的時間點但屬于所述多個攝像機視圖(10，20)中與所述第一攝像機視圖(20)不同的攝像機視圖(10)的第一參考幀(16)中的像素區(qū)域(62)的至少一個候選運動矢量預(yù)測值(44，54)。
34.根據(jù)權(quán)利要求31至33中任一項所述的設(shè)備，其中，所述列表產(chǎn)生器(430)被配置為:從基于所述當(dāng)前像素塊(30)在所述當(dāng)前幀(24)中的位置、所述當(dāng)前幀(24)的時間點和所述當(dāng)前攝像機視圖(20)而確定的多個候選運動矢量預(yù)測值(44，54，64)的集合中標(biāo)識所述至少一個候選運動矢量預(yù)測值(44,54,64)。
35.根據(jù)權(quán)利要求31至34中任一項所述的設(shè)備，其中，所述索引提供器(410)被配置為:針對具有當(dāng)前畫面順序計數(shù)CurrPOC的所述當(dāng)前幀(24)中的所述當(dāng)前像素塊(30)，提供所述參考幀索引，所述參考幀索引標(biāo)識具有參考畫面順序計數(shù)CurrRfPOC并存在于所述多個攝像機視圖(10，20)中的參考攝像機視圖(20)中的所述參考幀(22)，所述至少一個候選運動矢量預(yù)測值(44，54，64)與具有第一畫面順序計數(shù)RfPOC的第一幀(24，14，16)中的像素塊(40，50，60)相關(guān)聯(lián)，并標(biāo)識具有第一參考畫面順序計數(shù)RfRfPOC的第一參考幀(22，26，16)中的像素區(qū)域(42，52，62)，所述設(shè)備(400)還包括: 縮放因子確定器(480)，被配置為針對所述至少一個候選運動矢量預(yù)測值(44，54，64)，如果i)所述當(dāng)前畫面順序計數(shù)等于所述參考畫面順序計數(shù)或ii)所述第一畫面順序計數(shù)等于所述第一參考畫面順序計數(shù)，則確定(S41)相應(yīng)縮放因子為等于固定的預(yù)定義

值，否則將所述縮放因子確定(S42)為基于
36.根據(jù)權(quán)利要求31至35中任一項所述的設(shè)備，其中，所述索引提供器(410)被配置為:針對所述當(dāng)前像素塊(30)，提供(S40)所述參考幀索引，所述參考幀索引標(biāo)識所述多個攝像機視圖(10，20)中的參考攝像機視圖(20)的所述參考幀(22)，所述當(dāng)前攝像機視圖(20)不同于所述參考攝像機視圖(20)，所述至少一個候選運動矢量預(yù)測值(54，64)與所述多個攝像機視圖(10，20)中的第一攝像機視圖(10，20)的第一幀(14，16)中的像素塊(50，60)相關(guān)聯(lián)，并標(biāo)識所述多個攝像機視圖(10，20)中的第一參考攝像機視圖(20，10)的第一參考幀(26)中的像素區(qū)域(52，62)，所述第一攝像機設(shè)圖(10，20)不同于所述第一參考攝像機視圖(20，10)，所述設(shè)備(400)還包括: 縮放因子確定器(480)，被配置為針對所述至少一個候選運動矢量預(yù)測值(54，64)，基于所述當(dāng)前攝像機視圖(20)和所述參考攝像機視圖(20)之間的基線距離以及所述第一攝像機視圖(10，20)和所述第一參考攝像機視圖(20，10)之間的基線距離，確定相應(yīng)縮放因子；其中，所述列表產(chǎn)生器(430)被配置為:產(chǎn)生所述候選列表，所述候選列表包括基于所述至少一個候選運動矢量預(yù)測值(54，64)乘以所述相應(yīng)縮放因子而形成的至少一個縮放的候選運動矢量預(yù)測值。
37.根據(jù)權(quán)利要求36所述的設(shè)備，其中，所述縮放因子確定器(480)被配置為:針對所述至少一個候選運動矢量預(yù)測值(54，64)，基于所述當(dāng)前攝像機視圖(20)和所述參考攝像機視圖(20)之間的基線距離與所述第一攝像機視圖(10，20)和所述第一參考攝像機視圖(20，10)之間的基線距離之間的商，確定所述相應(yīng)縮放因子。
38.根據(jù)權(quán)利要求31至37中任一項所述的設(shè)備，還包括:預(yù)測值選擇器(440)，被配置為:基于與所述當(dāng)前像素塊(30)相關(guān)聯(lián)的預(yù)測值索引，從針對所述當(dāng)前像素塊(30)的所述候選列表中選擇運動矢量預(yù)測值，其中，所述矢量確定器(450)被配置為:基于所述預(yù)測值選擇器(440)所選擇的運動矢量預(yù)測值和與所述當(dāng)前像素塊(30)相關(guān)聯(lián)的殘差運動矢量，確定所述當(dāng)前像素塊(30)的運動矢量(34)。`
【文檔編號】H04N19/105GK103891290SQ201280051363
【公開日】2014年6月25日 申請日期:2012年5月28日 優(yōu)先權(quán)日:2011年8月19日
【發(fā)明者】巫壯飛, 托馬斯·盧瑟 申請人:瑞典愛立信有限公司