專利名稱：用于預(yù)測(cè)多角度運(yùn)動(dòng)畫面的直接模式運(yùn)動(dòng)的方法、介質(zhì)和裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明的實(shí)施例涉及運(yùn)動(dòng)畫面編碼和/或解碼，具體上涉及用于在時(shí)空基礎(chǔ)上預(yù)測(cè)多角度運(yùn)動(dòng)畫面的直接模式運(yùn)動(dòng)(direct mode motion)的方法、介質(zhì)和裝置。
背景技術(shù)：
已采用MPEG-4和H.264運(yùn)動(dòng)畫面編碼來(lái)對(duì)由單個(gè)攝像頭(camera)拍攝的運(yùn)動(dòng)畫面進(jìn)行編碼，這樣的標(biāo)準(zhǔn)主要著重于提高編碼效率。但是，在實(shí)際通信或者虛擬現(xiàn)實(shí)中，可以使用多個(gè)攝像頭來(lái)拍攝單個(gè)場(chǎng)景，以便從多個(gè)角度形成運(yùn)動(dòng)畫面，因此已經(jīng)需要用于編碼和解碼這樣的運(yùn)動(dòng)畫面的方法、介質(zhì)和裝置。

發(fā)明內(nèi)容
技術(shù)問(wèn)題作為用于運(yùn)動(dòng)畫面編碼和解碼的一組標(biāo)準(zhǔn)的MPEG(運(yùn)動(dòng)畫面專家組)已經(jīng)試圖通過(guò)下述方式來(lái)建立三維音頻/視頻編碼的標(biāo)準(zhǔn)通過(guò)組織與三維視頻編碼和傳輸相關(guān)的三維AV編碼AHG(特別小組)來(lái)進(jìn)行對(duì)于標(biāo)準(zhǔn)化的尋找。因此，當(dāng)前，還沒(méi)有標(biāo)準(zhǔn)化多角度三維運(yùn)動(dòng)畫面編碼。
技術(shù)解決方案本發(fā)明的實(shí)施例給出了一種用于計(jì)算運(yùn)動(dòng)向量和在多角度運(yùn)動(dòng)畫面中包括的B畫面的每個(gè)塊的參考?jí)K的方法、介質(zhì)和裝置。
為了實(shí)現(xiàn)上述和/或其他方面和優(yōu)點(diǎn)，本發(fā)明的實(shí)施例可以包括一種用于預(yù)測(cè)在多角度運(yùn)動(dòng)畫面中的塊的直接模式運(yùn)動(dòng)的方法，包括對(duì)要求編碼的塊的同位塊(co-located block)使用運(yùn)動(dòng)向量而參考的塊進(jìn)行定位；當(dāng)參考畫面不是由拍攝與所述要求編碼的塊的畫面相同的攝像頭拍攝的時(shí)，通過(guò)參考在與對(duì)應(yīng)于所述運(yùn)動(dòng)向量的方向平行的方向上存在的相鄰攝像頭的畫面，計(jì)算要求編碼的塊的正向(forward)運(yùn)動(dòng)向量和/或反向(backward)運(yùn)動(dòng)向量；以及通過(guò)向所計(jì)算的運(yùn)動(dòng)向量應(yīng)用加權(quán)來(lái)計(jì)算要求編碼的塊的正向和反向參考?jí)K。
所述同位塊使用所述運(yùn)動(dòng)向量而參考的塊可以在時(shí)間上位于所述同位塊和所述要求編碼的塊之前。另外，所述同位塊可以在時(shí)間上位于所述要求編碼的塊之后。
當(dāng)所述參考畫面是由拍攝與所述要求編碼的塊的畫面相同的攝像頭拍攝的時(shí)，通過(guò)按照下式來(lái)預(yù)測(cè)直接模式運(yùn)動(dòng)，可以執(zhí)行所述正向運(yùn)動(dòng)向量和/或反向運(yùn)動(dòng)向量的計(jì)算MV0=TDBTDDMVC,MV1=TDD-TDBTDDMVC]]>其中，MVC表示運(yùn)動(dòng)向量，TDB表示從所述要求編碼的塊的B畫面到所述同位塊的P畫面的距離，TDD表示從所述同位塊使用所述運(yùn)動(dòng)向量而參考的塊的P畫面到所述同位塊的P畫面的距離。
而且，加權(quán)可以基于所述參考畫面與拍攝所述要求編碼的塊的畫面的攝像頭相距多遠(yuǎn)。
當(dāng)由第j個(gè)攝像頭在時(shí)刻t拍攝的P畫面(f(j，t))參考由第(j-1)個(gè)攝像頭在時(shí)刻t-3拍攝的畫面(f(j-1，t-3))、并且在由第(j-1)個(gè)攝像頭在時(shí)刻t-3拍攝的畫面和由第j個(gè)攝像頭在時(shí)刻t-3拍攝的畫面(f(j，t-3))之間存在緊接在所述P畫面之前拍攝的B畫面正向參考的畫面時(shí)，通過(guò)下式來(lái)給出所述正向運(yùn)動(dòng)向量MVF1=MVCTDBTDDCf(j-1,t-3),MVF2=MVCTDBTDDCf(j,t-3)]]>其中，TDB指示在所述B畫面和由第j個(gè)攝像頭在時(shí)刻t-3拍攝的畫面之間的距離，TDD指示在所述P畫面和由第j個(gè)攝像頭在時(shí)刻t-3拍攝的畫面之間的距離，MV|f(j-1，t-3)指示通過(guò)參考由第(j-1)個(gè)攝像頭在時(shí)刻t-3拍攝的畫面而計(jì)算的運(yùn)動(dòng)向量，以及C是加權(quán)值，并且正向運(yùn)動(dòng)向量MVF1和MVF2的參考畫面分別是RF1和RF2，通過(guò)RF＝(3RF1+RF2+2)/4來(lái)給出正向參考畫面。
當(dāng)由第j個(gè)攝像頭在時(shí)刻t拍攝的P畫面(f(j，t))參考由第(j-1)個(gè)攝像頭在時(shí)刻t-3拍攝的畫面(f(j-1，t-3))、并且在由第(j-1)個(gè)攝像頭在時(shí)刻t-3拍攝的畫面和由第j個(gè)攝像頭在時(shí)刻t-3拍攝的畫面(f(j，t-3))之間存在緊接在所述P畫面之前拍攝的B畫面正向參考的畫面時(shí)，由下式給出反向運(yùn)動(dòng)向量MVB1=MVCTDB-TDDTDDCf(j,t),MVB2=MVCTDB-TDDTDDCf(j+1,t)]]>
其中，TDB指示在所述B畫面和由第j個(gè)攝像頭在時(shí)刻t-3拍攝的畫面之間的距離，TDD指示在所述P畫面和由第j個(gè)攝像頭在時(shí)刻t-3拍攝的畫面之間的距離，MV|f(j，t)指示通過(guò)參考由第j個(gè)攝像頭在時(shí)刻t拍攝的畫面而計(jì)算的運(yùn)動(dòng)向量，以及C是加權(quán)值，并且反向運(yùn)動(dòng)向量MVB1和MVB2的參考畫面分別是RB1和RB2，通過(guò)RB＝(3RB1+RB2+2)/4來(lái)給出反向參考畫面。
為了實(shí)現(xiàn)上述和/或其他方面和優(yōu)點(diǎn)，本發(fā)明的實(shí)施例可以包括一種用于預(yù)測(cè)在多角度運(yùn)動(dòng)畫面中的塊的直接模式運(yùn)動(dòng)的裝置，所述裝置可以包括確定器，用于定位要求編碼的塊的同位塊使用運(yùn)動(dòng)向量而參考的塊；運(yùn)動(dòng)向量計(jì)算器，用于當(dāng)參考畫面不是由拍攝與所述要求編碼的塊的畫面相同的攝像頭拍攝的時(shí)，通過(guò)參考在與對(duì)應(yīng)于所述運(yùn)動(dòng)向量的方向平行的方向上存在的相鄰攝像頭的畫面，計(jì)算所述要求編碼的塊的正向運(yùn)動(dòng)向量和/或反向運(yùn)動(dòng)向量；以及參考畫面計(jì)算器，用于通過(guò)向所計(jì)算的運(yùn)動(dòng)向量應(yīng)用加權(quán)來(lái)計(jì)算所述要求編碼的塊的正向和反向參考?jí)K。
在此，所述裝置可以是用于編碼和/或解碼運(yùn)動(dòng)畫面的編碼和/或解碼裝置。另外，所述編碼和/或解碼裝置可以對(duì)應(yīng)于三維視頻編碼/解碼。
為了實(shí)現(xiàn)上述和/或者其他方面和優(yōu)點(diǎn)，本發(fā)明的實(shí)施例可以包括至少一種介質(zhì)，其包括用于實(shí)現(xiàn)本發(fā)明的實(shí)施例的計(jì)算機(jī)可讀代碼/指令。
有益效果按照本發(fā)明，可以例如通過(guò)在不需要預(yù)測(cè)運(yùn)動(dòng)的情況下定位在前和在后畫面的運(yùn)動(dòng)向量來(lái)執(zhí)行編碼和解碼，由此減少計(jì)算量和縮短執(zhí)行時(shí)間。


通過(guò)下面結(jié)合

實(shí)施例，本發(fā)明的這些和/或其他方面和優(yōu)點(diǎn)將會(huì)變得清楚和更容易明白，其中圖1圖解了可以如何計(jì)算B畫面的運(yùn)動(dòng)向量；圖2圖解了B畫面的直接預(yù)測(cè)模式(direct prediction mode)；圖3A圖解了按照本發(fā)明的一個(gè)實(shí)施例的、可以用于獲得多角度運(yùn)動(dòng)畫面的攝像頭的位置；圖3B圖解了由用于獲得多角度運(yùn)動(dòng)畫面的多個(gè)攝像頭拍攝的、相對(duì)于時(shí)間的畫面；圖4是圖解按照本發(fā)明的一個(gè)實(shí)施例的多角度運(yùn)動(dòng)畫面的直接模式(direct mode)的圖；圖5A是圖解按照本發(fā)明的一個(gè)實(shí)施例的、當(dāng)基于攝像頭距離上的改變對(duì)時(shí)間上的改變?chǔ)/Δt為1/3的運(yùn)動(dòng)向量方向時(shí)的直接預(yù)測(cè)的圖；圖5B是圖解按照本發(fā)明的一個(gè)實(shí)施例的、當(dāng)基于攝像頭距離上的改變對(duì)時(shí)間上的改變?chǔ)/Δt為2/3的運(yùn)動(dòng)向量方向時(shí)的直接預(yù)測(cè)的圖；圖5C是圖解按照本發(fā)明的一個(gè)實(shí)施例的、當(dāng)基于攝像頭距離上的改變對(duì)時(shí)間上的改變?chǔ)/Δt為1的運(yùn)動(dòng)向量方向時(shí)的直接預(yù)測(cè)的圖；圖6圖解了按照本發(fā)明的一個(gè)實(shí)施例的、用于預(yù)測(cè)多角度畫面的直接模式運(yùn)動(dòng)的方法；以及圖7是按照本發(fā)明的一個(gè)實(shí)施例的、用于預(yù)測(cè)多角度畫面的直接模式運(yùn)動(dòng)的裝置的方框圖。
具體實(shí)施例方式
現(xiàn)在詳細(xì)說(shuō)明本發(fā)明的實(shí)施例，其示例被圖解在附圖中，其中，在全部附圖中，類似的附圖標(biāo)號(hào)表示類似的元件。下面通過(guò)參照附圖來(lái)說(shuō)明所述實(shí)施例，以便解釋本發(fā)明。
圖1圖解了可以如何計(jì)算B畫面110的運(yùn)動(dòng)向量。如圖所示，當(dāng)在足球比賽中足球從屏幕的左上區(qū)域向右下區(qū)域移動(dòng)時(shí)，每個(gè)幀可以被稱為一個(gè)畫面。運(yùn)動(dòng)畫面可以包括I畫面、B畫面和P畫面，它們以IBBPBBP配置或者IBPBPBP配置?？梢园凑?個(gè)模式之一使用每個(gè)B畫面來(lái)預(yù)測(cè)運(yùn)動(dòng)以編碼，所述5個(gè)模式包括正向預(yù)測(cè)模式、反向預(yù)測(cè)模式、雙向預(yù)測(cè)模式、直接預(yù)測(cè)模式和內(nèi)預(yù)測(cè)模式。在直接預(yù)測(cè)模式中，可以根據(jù)P畫面120的同位塊的運(yùn)動(dòng)向量來(lái)預(yù)測(cè)當(dāng)前要求編碼的B畫面110的塊的運(yùn)動(dòng)，所述P畫面120是在時(shí)間上靠后的畫面，用于獲得正向運(yùn)動(dòng)向量MV0和反向運(yùn)動(dòng)向量MV1。
圖2圖解了B畫面210的直接預(yù)測(cè)模式。為了計(jì)算在B畫面210中的、要求運(yùn)動(dòng)預(yù)測(cè)的直接模式塊202的正向運(yùn)動(dòng)向量MV0和反向運(yùn)動(dòng)向量MV1，通過(guò)在參考列表1(RL1)畫面220(它是在時(shí)間上靠后的畫面)中的、位于與在B畫面210中的直接模式塊202的相同位置的運(yùn)動(dòng)向量，將正向運(yùn)動(dòng)向量MVc相對(duì)于同位塊204參考的參考列表0(RL0)畫面230定位?？梢酝ㄟ^(guò)等式1來(lái)表示B畫面210的直接模式塊202的正向運(yùn)動(dòng)向量MV0和反向運(yùn)動(dòng)向量MV1如下。
等式1MV0=TDBTDDMVC,MV1=TDD-TDBTDDMVC]]>在此，MVC表示參考列表1(RL1)畫面220的同位塊204的運(yùn)動(dòng)向量，TDB表示從B畫面210到參考列表0(RL0)畫面230的距離，TDD表示從參考列表0(RL0)畫面230到參考列表1(RL1)畫面220的距離。
圖3A圖解了可以用于獲得多角度運(yùn)動(dòng)畫面的攝像頭的位置。參見圖3A。在這個(gè)實(shí)施例中，沿著j軸來(lái)布置所述多個(gè)攝像頭。這樣的攝像頭的布置可以用于獲得在從幾個(gè)角度拍攝單個(gè)場(chǎng)景時(shí)的運(yùn)動(dòng)畫面。
圖3B圖解了相對(duì)于時(shí)間的、由用于獲得多角度運(yùn)動(dòng)畫面的攝像頭拍攝的畫面。如果由在位置j的攝像頭在時(shí)刻t拍攝的畫面是f(j，t)，則例如，f(0，0)可以對(duì)應(yīng)于由在中心位置的攝像頭在記錄開始時(shí)拍攝的畫面。由每個(gè)攝像頭拍攝的畫面已沿時(shí)間軸排列，在從在攝像頭中的當(dāng)前幀向在相鄰的攝像頭中的隨后幀延伸的線和j軸之間的角度為q。如圖所示，j軸的單位可以對(duì)應(yīng)于在攝像頭之間的相隔距離，時(shí)間軸可以對(duì)應(yīng)于在隨后畫面之間的時(shí)間間隔的單位，角度q可以是45°，注意本發(fā)明的實(shí)施例不限于此。
圖4是圖解按照本發(fā)明的一個(gè)實(shí)施例的、多角度運(yùn)動(dòng)畫面的直接預(yù)測(cè)模式的圖。僅僅當(dāng)由已經(jīng)拍攝f(5，5)的同一攝像頭在隨后拍攝的、由運(yùn)動(dòng)向量f(5，6)指示的參考畫面是當(dāng)預(yù)測(cè)f(5，5)的運(yùn)動(dòng)時(shí)在與f(5，5)畫面相同的j軸上存在的畫面時(shí)，可以使用參見圖2描述的上述用于預(yù)測(cè)直接模式運(yùn)動(dòng)的方法。但是，在多角度運(yùn)動(dòng)畫面的情況下，由f(5，6)的運(yùn)動(dòng)向量指示的參考畫面不一定是由與f(5，5)相同的攝像頭拍攝的畫面，例如可以是f(3，3)。在這種情況下，應(yīng)當(dāng)由f(3，3)并且由f(6，6)預(yù)測(cè)f(5，5)的參考畫面。同樣，當(dāng)由不同的攝像頭拍攝的f(-4，9)的參考畫面是f(-1，6)時(shí)，可以不使用參見圖2描述的直接預(yù)測(cè)模式，并且應(yīng)當(dāng)由作為f(-4，9)指示的參考畫面的f(-1，6)預(yù)測(cè)由直接預(yù)測(cè)模式計(jì)算的運(yùn)動(dòng)向量。
按照本發(fā)明的一個(gè)實(shí)施例，將更詳細(xì)地說(shuō)明用于在多角度運(yùn)動(dòng)畫面中應(yīng)用直接模式的方法?？梢愿鶕?jù)要求運(yùn)動(dòng)預(yù)測(cè)的B畫面的隨后畫面的同位塊參考的畫面來(lái)計(jì)算攝像頭距離的改變對(duì)時(shí)間的改變?chǔ)/Δt?，F(xiàn)在按照所計(jì)算的Δj/Δt值，對(duì)于下面的四種情況說(shuō)明運(yùn)動(dòng)向量的計(jì)算。
首先，在其中Δj/Δt＝0的情況下，因?yàn)閒(j，t)已經(jīng)由同一攝像頭拍攝作為參考畫面，因此可以使用上面的等式1來(lái)計(jì)算正向運(yùn)動(dòng)向量MV0和反向運(yùn)動(dòng)向量MV1。
僅僅作為示例，圖5A圖解了按照本發(fā)明的一個(gè)實(shí)施例的、當(dāng)Δj/Δt是1/3時(shí)的直接預(yù)測(cè)。參見圖5A，作為P畫面的f(j，t)505參考由第(j-1)攝像頭拍攝的f(j-1，t-3)510。因此可以看到，B畫面515正向參考的畫面存在于f(j-1，t-3)510和f(j，t-3)520之間，并且在空間上很接近和更類似于f(j-1，t-3)510。即，因?yàn)樵趂(j-1，t-3)510和f(j，t-3)520之間不存在畫面，因此可以預(yù)測(cè)f(j-1，t-3)510和f(j，t-3)520的各自的運(yùn)動(dòng)向量。
在此，正向運(yùn)動(dòng)向量MVF1和MVF2分別參考f(j-1，t-3)510和f(j，t-3)520，并且可以通過(guò)下面的等式2來(lái)預(yù)測(cè)。
等式2MVF1=MVCTDBTDDCf(j-1,t-3),MVF2=MVCTDBTDDCf(j,t-3)]]>在此，TDB指示在B畫面515和f(j，t-3)520之間的距離，TDD指示在f(j，t)505和f(j，t-3)520之間的距離。如果MVF1和MVF2的參考畫面分別被考慮為RF1和RF2，則通過(guò)(3RF1+RF2+2)/4來(lái)給出正向參考畫面RF?？梢韵騌F1給出加權(quán)3，因?yàn)樗诳臻g上接近MVF1的參考畫面。Cf(j-1，t-3)例如是為f(j-1，t-3)指定的加權(quán)。
同樣，可以看出在f(j，t)505和f(j+1，t)525之間存在B畫面515反向參考的畫面，并且這個(gè)畫面可以在空間上很接近和更類似于f(j，t)505。
反向運(yùn)動(dòng)向量MVB1和MVB2分別參考f(j，t)505和f(j+1，t)525，并且可以通過(guò)下面的等式3來(lái)預(yù)測(cè)。
等式3MVB1=MVCTDB-TDDTDDCf(j,t),MVB2=MVCTDB-TDDTDDCf(j+1,t)]]>如果MVB1和MVB2的參考畫面分別被考慮為RB1和RB2，則可以通過(guò)例如(3RB1+RB2+2)/4來(lái)給出反向參考畫面RB。
按照本發(fā)明的另一個(gè)實(shí)施例，圖5B圖解了當(dāng)Δj/Δt是2/3時(shí)的直接預(yù)測(cè)。參見圖5B，f(j，t)505參考由第(j-2)個(gè)攝像頭拍攝的f(j-2，t-3)530。因此可以看出，B畫面515正向參考的畫面存在于f(j-2，t-3)530和f(j-1，t-3)510之間，并且可以在空間上更接近和更類似于例如f(j-2，t-3)530。
正向運(yùn)動(dòng)向量MVF1和MVF2分別參考f(j-2，t-3)530和f(j-1，t-3)510，并且可以例如通過(guò)等式4來(lái)預(yù)測(cè)。
等式4MVF1=MVCTDBTDDCf(j-2,t-3),MVF2=MVCTDBTDDCf(j-1,t-3)]]>如果MVF1和MVF2的參考畫面分別被考慮為RF1和RF2，則可以通過(guò)(RF1+3RF2+2)/4來(lái)給出正向參考畫面RF。可以向RF2給出加權(quán)3，因?yàn)樗诳臻g上接近例如MVF2的參考畫面。
同樣，B畫面515反向參考的畫面存在于f(j，t)505和f(j+1，t)525之間，并且可以在空間上更接近f(j+1，t)525。
因此，反向運(yùn)動(dòng)向量MVB1和MVB2分別參考f(j，t)505和f(j+1，t)525，并且可以通過(guò)下面的等式5來(lái)預(yù)測(cè)。
等式5MVB1=MVCTDB-TDDTDDCf(j,t),MVB2=MVCTDB-TDDTDDCf(j+1,t)]]>如果MVB1和MVB2的參考畫面分別被考慮為RB1和RB2，則可以通過(guò)例如(RB1+3RB2+2)/4來(lái)給出反向參考畫面RB。
按照本發(fā)明的另一個(gè)實(shí)施例，圖5C圖解了當(dāng)Δj/Δt是1時(shí)的直接預(yù)測(cè)。參見圖5C，f(j，t)505參考由第(j-3)個(gè)攝像頭拍攝的f(j-3，t-3)540。因此如圖所示可以看出，B畫面515正向參考的畫面是f(j-2，t-3)530。
在此，可以通過(guò)下面的等式6來(lái)給出參考f(j-2，t-3)530的正向運(yùn)動(dòng)向量MVF。
等式6MVF=MVCTDBTDDCf(j-2,t-3)=RF]]>同樣，因?yàn)锽畫面515反向參考f(j+1，t)525，因此可以通過(guò)下面的等式7來(lái)給出參考f(j+1，t)525的反向運(yùn)動(dòng)向量MVB。
等式7MVB1=MVCTDB-TDDTDDCf(j+1,t)=RB]]>在等式2-7中，諸如MV|f(j-1，t-3)的MV|x例如再一次參考對(duì)f(j-1，t-3)進(jìn)行參考的運(yùn)動(dòng)向量。在上述的示例中，可以按照情況來(lái)改變加權(quán)。例如，加權(quán)可以是(0，1)、(1，0)而不是(3，1)、(1，3)。例如，可以通過(guò)下面的等式8來(lái)進(jìn)一步定義加權(quán)。
等式8c=cp(TDD-TDB)+cSTDBTDD]]>在此，Cp可以是在前參考畫面的預(yù)測(cè)塊，Cs可以是在后參考畫面的預(yù)測(cè)塊。在H.264標(biāo)準(zhǔn)中，每個(gè)畫面可以具有多個(gè)參考幀。當(dāng)每個(gè)畫面具有5個(gè)參考幀時(shí)，f(j，t)的參考幀可以是例如f(j-1，t-3)、f(j，t-3)、f(j+1，t-3)、f(j，t-6)和f(j，t-9)。在此，僅僅當(dāng)Δj/Δt是例如1/3時(shí)可以使用按照本發(fā)明的實(shí)施例的用于預(yù)測(cè)二維直接模式運(yùn)動(dòng)的方法。當(dāng)每個(gè)畫面具有7個(gè)參考幀時(shí)，f(j，t)的參考幀可以是例如f(j-2，t-3)、f(j-1，t-3)、f(j，t-3)、f(j+1，t-3)、f(j+2，t-3)、f(j，t-6)和f(j，t-9)。在此，僅僅當(dāng)Δj/Δt是例如1/3時(shí)可以使用按照本發(fā)明的實(shí)施例的用于預(yù)測(cè)在多角度運(yùn)動(dòng)畫面中的直接模式運(yùn)動(dòng)的所述方法。
圖6是圖解按照本發(fā)明的一個(gè)實(shí)施例的、用于預(yù)測(cè)多角度運(yùn)動(dòng)畫面的直接模式運(yùn)動(dòng)的方法的流程圖。
可以定位要求編碼的塊的同位塊使用運(yùn)動(dòng)向量而參考的塊(步驟610)。當(dāng)所定位的塊所屬的參考畫面不是由同一攝像頭在與要求編碼的所述塊所屬的畫面相同的位置上拍攝的時(shí)候，可以通過(guò)參考在與對(duì)應(yīng)于所述運(yùn)動(dòng)向量的方向平行的方向上存在的相鄰攝像頭的畫面來(lái)計(jì)算正向運(yùn)動(dòng)向量和反向運(yùn)動(dòng)向量(步驟620)。所述正向運(yùn)動(dòng)向量和反向運(yùn)動(dòng)向量的計(jì)算根據(jù)攝像頭與拍攝要求編碼的塊所屬的畫面的攝像頭距離多遠(yuǎn)而改變，例如如參見圖5A-5C所述。當(dāng)由與拍攝要求編碼的塊所屬的畫面的攝像頭相同位置的攝像頭拍攝參考畫面時(shí)，也可以按照用于預(yù)測(cè)直接模式運(yùn)動(dòng)的傳統(tǒng)方法來(lái)計(jì)算正向和反向運(yùn)動(dòng)向量，例如如參見等式1所述。
通過(guò)向所計(jì)算的運(yùn)動(dòng)向量施加加權(quán)來(lái)計(jì)算要求編碼的塊的正向和反向參考?jí)K(步驟630)。
圖7是按照本發(fā)明的一個(gè)實(shí)施例的、用于預(yù)測(cè)多角度運(yùn)動(dòng)畫面的直接模式運(yùn)動(dòng)的裝置的方框圖。
參見圖7，確定器710可以定位要求編碼的塊的同位塊使用運(yùn)動(dòng)向量來(lái)參考的塊。運(yùn)動(dòng)向量計(jì)算器720可以計(jì)算正向和反向運(yùn)動(dòng)向量。當(dāng)所定位的塊所屬的參考畫面不是由拍攝與要求編碼的塊所屬的畫面相同的攝像頭拍攝的時(shí)候，可以通過(guò)參考在與對(duì)應(yīng)于所述運(yùn)動(dòng)向量的方向平行的方向上存在的相鄰攝像頭的畫面來(lái)計(jì)算正向運(yùn)動(dòng)向量和反向運(yùn)動(dòng)向量。正向運(yùn)動(dòng)向量和反向運(yùn)動(dòng)向量的計(jì)算依賴于該攝像頭與拍攝要求編碼的塊所屬的畫面的攝像頭相距多遠(yuǎn)，例如如參見圖5A-5C所述。當(dāng)由在與拍攝要求編碼的塊所屬的畫面的攝像頭在相同位置的攝像頭拍攝參考畫面時(shí)，可以按照用于預(yù)測(cè)直接模式運(yùn)動(dòng)的傳統(tǒng)方法來(lái)計(jì)算正向和反向運(yùn)動(dòng)向量，例如如參見等式1所述。
參考畫面計(jì)算器730可以通過(guò)向所計(jì)算的運(yùn)動(dòng)向量施加加權(quán)來(lái)計(jì)算要求編碼的塊的正向和反向參考?jí)K。
本發(fā)明的實(shí)施例也可以被體現(xiàn)為在諸如計(jì)算機(jī)可讀記錄介質(zhì)之類的介質(zhì)上的計(jì)算機(jī)可讀代碼/指令。所述介質(zhì)可以是可以存儲(chǔ)/傳送其后可以由計(jì)算機(jī)系統(tǒng)讀取的數(shù)據(jù)的任何數(shù)據(jù)存儲(chǔ)裝置。所述介質(zhì)/媒體的示例可以包括只讀存儲(chǔ)器(ROM)、隨機(jī)存取存儲(chǔ)器(RAM)、CD-ROM、磁帶、軟盤、光學(xué)數(shù)據(jù)存儲(chǔ)裝置和載波，注意這些僅僅是示例。所述介質(zhì)也可以是分布的網(wǎng)絡(luò)耦接的計(jì)算機(jī)系統(tǒng)，以便以分布方式來(lái)存儲(chǔ)/傳送和執(zhí)行所述計(jì)算機(jī)可讀代碼。而且，在本發(fā)明所屬領(lǐng)域內(nèi)的熟練程序員可以容易地構(gòu)造實(shí)現(xiàn)本發(fā)明實(shí)施例的功能程序、代碼和代碼段。
如上所述，本發(fā)明的實(shí)施例可以通過(guò)定位在前和在后的畫面的運(yùn)動(dòng)向量來(lái)執(zhí)行編碼和解碼，而例如不預(yù)測(cè)運(yùn)動(dòng)，由此減少計(jì)算量以及縮短執(zhí)行時(shí)間。
雖然已經(jīng)參照本發(fā)明的例證實(shí)施例具體示出和說(shuō)明了本發(fā)明，但是本領(lǐng)域技術(shù)人員應(yīng)當(dāng)明白，可以在不脫離所附權(quán)利要求及其等同內(nèi)容所限定的本發(fā)明的精神和范圍的情況下，在其中進(jìn)行形式和細(xì)節(jié)上的各種改變。上述實(shí)施例應(yīng)當(dāng)僅僅被認(rèn)為是說(shuō)明性的，而不是用于限定。
產(chǎn)業(yè)上的應(yīng)用本發(fā)明可以應(yīng)用到運(yùn)動(dòng)畫面編碼和/或解碼上，具體上，應(yīng)用到用于在時(shí)空基礎(chǔ)上預(yù)測(cè)多角度運(yùn)動(dòng)畫面的直接模式運(yùn)動(dòng)的方法、介質(zhì)和裝置。
權(quán)利要求
1.一種用于預(yù)測(cè)在多角度運(yùn)動(dòng)畫面中的塊的直接模式運(yùn)動(dòng)的方法，包括對(duì)要求編碼的塊的同位塊使用運(yùn)動(dòng)向量所參考的塊進(jìn)行定位；當(dāng)參考畫面不是由拍攝與所述要求編碼的塊的畫面相同的攝像頭拍攝的時(shí)，通過(guò)參考在與對(duì)應(yīng)于所述運(yùn)動(dòng)向量的方向平行的方向上存在的相鄰攝像頭的畫面，計(jì)算所述要求編碼的塊的正向運(yùn)動(dòng)向量和/或反向運(yùn)動(dòng)向量；以及通過(guò)向所計(jì)算的運(yùn)動(dòng)向量應(yīng)用加權(quán)來(lái)計(jì)算所述要求編碼的塊的正向和反向參考?jí)K。
2.按照權(quán)利要求1的方法，其中，所述同位塊使用所述運(yùn)動(dòng)向量而參考的所述塊在時(shí)間上位于所述同位塊和所述要求編碼的塊之前。
3.按照權(quán)利要求1的方法，其中，所述同位塊在時(shí)間上位于所述要求編碼的塊之后。
4.按照權(quán)利要求1的方法，其中，當(dāng)所述參考畫面是由拍攝與所述要求編碼的塊的畫面相同的攝像頭拍攝的時(shí)，通過(guò)按照下式來(lái)預(yù)測(cè)直接模式運(yùn)動(dòng)而執(zhí)行所述正向運(yùn)動(dòng)向量和/或反向運(yùn)動(dòng)向量的計(jì)算MV0=TDBTDDMVC,MV1=TDD-TDBTDDMVC]]>其中，MVC表示運(yùn)動(dòng)向量，TDB表示從所述要求編碼的塊的B畫面到所述同位塊的P畫面的距離，TDD表示從所述同位塊使用所述運(yùn)動(dòng)向量而參考的塊的P畫面到所述同位塊的P畫面的距離。
5.按照權(quán)利要求1的方法，其中，加權(quán)基于所述參考畫面與拍攝所述要求編碼的塊的畫面的攝像頭相距多遠(yuǎn)。
6.按照權(quán)利要求1的方法，其中，當(dāng)由第j個(gè)攝像頭在時(shí)刻t拍攝的P畫面(f(j，t))參考由第(j-1)個(gè)攝像頭在時(shí)刻t-3拍攝的畫面(f(j-1，t-3))、并且在由第(j-1)個(gè)攝像頭在時(shí)刻t-3拍攝的畫面和由第j個(gè)攝像頭在時(shí)刻t-3拍攝的畫面(f(j，t-3))之間存在緊接在所述P畫面之前拍攝的B畫面正向參考的畫面時(shí)，通過(guò)下式來(lái)給出所述正向運(yùn)動(dòng)向量MVF1=MVCTDBTDDCf(i-1,t-3),MVF2=MVCTDBTDDCf(j,t-3)]]>其中，TDB指示在所述B畫面和由第j個(gè)攝像頭在時(shí)刻t-3拍攝的畫面之間的距離，TDD指示在所述P畫面和由第j個(gè)攝像頭在時(shí)刻t-3拍攝的畫面之間的距離，MV|f(j-1，t-3)指示通過(guò)參考由第(j-1)個(gè)攝像頭在時(shí)刻t-3拍攝的畫面而計(jì)算的運(yùn)動(dòng)向量，以及C是加權(quán)值，并且所述正向運(yùn)動(dòng)向量MVF1和MVF2的參考畫面分別是RF1和RF2，通過(guò)RF＝(3RF1+RF2+2)/4來(lái)給出正向參考畫面。
7.按照權(quán)利要求1的方法，其中，當(dāng)由第j個(gè)攝像頭在時(shí)刻t拍攝的P畫面(f(j，t))參考由第(j-1)個(gè)攝像頭在時(shí)刻t-3拍攝的畫面(f(j-1，t-3))、并且在由第(j-1)個(gè)攝像頭在時(shí)刻t-3拍攝的畫面和由第j個(gè)攝像頭在時(shí)刻t-3拍攝的畫面(f(j，t-3))之間存在緊接在所述P畫面之前拍攝的B畫面正向參考的畫面時(shí)，由下式給出所述反向運(yùn)動(dòng)向量MVB1=MVCTDB-TDDTDDCf(j,t),MVB2=MVCTDB-TDDTDDCf(j+1,t)]]>其中，TDB指示在所述B畫面和由第j個(gè)攝像頭在時(shí)刻t-3拍攝的畫面之間的距離，TDD指示在所述P畫面和由第j個(gè)攝像頭在時(shí)刻t-3拍攝的畫面之間的距離，MV|f(j，t)指示通過(guò)參考由第j個(gè)攝像頭在時(shí)刻t拍攝的畫面而計(jì)算的運(yùn)動(dòng)向量，以及C是加權(quán)值，并且所述反向運(yùn)動(dòng)向量MVB1和MVB2的參考畫面分別是RB1和RB2，通過(guò)RB＝(3RB1+RB2+2)/4來(lái)給出反向參考畫面。
8.一種用于預(yù)測(cè)在多角度運(yùn)動(dòng)畫面中的塊的直接模式運(yùn)動(dòng)的裝置，所述裝置包括確定器，用于定位要求編碼的塊的同位塊使用運(yùn)動(dòng)向量而參考的塊；運(yùn)動(dòng)向量計(jì)算器，用于當(dāng)參考畫面不是由拍攝與所述要求編碼的塊的畫面相同的攝像頭拍攝的時(shí)，通過(guò)參考在與對(duì)應(yīng)于所述運(yùn)動(dòng)向量的方向平行的方向上存在的相鄰攝像頭的畫面，計(jì)算所述要求編碼的塊的正向運(yùn)動(dòng)向量和/或反向運(yùn)動(dòng)向量；以及參考畫面計(jì)算器，用于通過(guò)向所計(jì)算的運(yùn)動(dòng)向量應(yīng)用加權(quán)來(lái)計(jì)算所述要求編碼的塊的正向和反向參考?jí)K。
9.按照權(quán)利要求8的裝置，其中，所述同位塊使用所述運(yùn)動(dòng)向量而參考的塊在時(shí)間上位于所述同位塊和所述要求編碼的塊之前。
10.按照權(quán)利要求8的裝置，其中，所述同位塊在時(shí)間上位于所述要求編碼的塊之后。
11.按照權(quán)利要求8的裝置，其中，當(dāng)所述參考畫面是由拍攝與所述要求編碼的塊的畫面相同的攝像頭拍攝的時(shí)，所述運(yùn)動(dòng)向量計(jì)算器通過(guò)按照下式來(lái)預(yù)測(cè)直接模式運(yùn)動(dòng)而計(jì)算運(yùn)動(dòng)向量MV0和MV1MV0=TDBTDDMVC,MV1=TDD-TDBTDDMVC]]>其中，MVC表示運(yùn)動(dòng)向量，TDB表示從所述要求編碼的塊的B畫面到所述同位塊的P畫面的距離，TDD表示從所述同位塊使用所述運(yùn)動(dòng)向量而參考的塊的P畫面到所述同位塊的P畫面的距離。
12.按照權(quán)利要求8的裝置，其中，加權(quán)基于所述參考畫面與拍攝所述要求編碼的塊的畫面的攝像頭相距多遠(yuǎn)。
13.按照權(quán)利要求8的裝置，其中，所述裝置是編碼和/或解碼裝置，用于編碼和/或解碼運(yùn)動(dòng)畫面。
14.按照權(quán)利要求13的裝置，其中，所述編碼和/或解碼裝置對(duì)應(yīng)于三維視頻編碼/解碼。
15.至少一種介質(zhì)，包括用于實(shí)現(xiàn)權(quán)利要求1的方法的計(jì)算機(jī)可讀代碼/指令。
16.至少一種介質(zhì)，包括用于實(shí)現(xiàn)權(quán)利要求6的方法的計(jì)算機(jī)可讀代碼/指令。
17.至少一種介質(zhì)，包括用于實(shí)現(xiàn)權(quán)利要求7的方法的計(jì)算機(jī)可讀代碼/指令。
全文摘要
一種用于在時(shí)空基礎(chǔ)上預(yù)測(cè)在多角度運(yùn)動(dòng)畫面的直接模式運(yùn)動(dòng)的方法、介質(zhì)和裝置。所述方法可以包括對(duì)要求編碼的塊的同位塊使用運(yùn)動(dòng)向量而參考的塊進(jìn)行定位，當(dāng)參考畫面不是由拍攝與要求編碼的塊的畫面相同的攝像頭拍攝的時(shí)，通過(guò)參考在與對(duì)應(yīng)于所述運(yùn)動(dòng)向量的方向平行的方向上存在的相鄰攝像頭的畫面，計(jì)算正向運(yùn)動(dòng)向量和/或反向運(yùn)動(dòng)向量，并且，通過(guò)向所計(jì)算的運(yùn)動(dòng)向量應(yīng)用加權(quán)來(lái)計(jì)算要求編碼的塊的正向和反向參考?jí)K。因此，通過(guò)在不需要預(yù)測(cè)運(yùn)動(dòng)的情況下定位在前和在后畫面的運(yùn)動(dòng)向量來(lái)編碼/解碼運(yùn)動(dòng)畫面，由此減少計(jì)算量和縮短執(zhí)行時(shí)間。
文檔編號(hào)H04N7/32GK1993995SQ200580026603
公開日2007年7月4日 申請(qǐng)日期2005年7月29日 優(yōu)先權(quán)日2004年8月3日
發(fā)明者李英烈, 成宇哲 申請(qǐng)人:學(xué)校法人大洋學(xué)園, 三星電子株式會(huì)社