專利名稱：特技效果數(shù)據(jù)的編碼方法
技術(shù)領(lǐng)域：
本發(fā)明涉及運(yùn)動(dòng)圖樣處理，特別涉及到特技效果圖案的編碼以及場(chǎng)景的合成處理。
特開平7-143399號(hào)公報(bào)公開了，通過將用于特技效果處理裝置實(shí)現(xiàn)特技效果的屏蔽數(shù)據(jù)編碼化以減少用特技效果的數(shù)據(jù)的技術(shù)。
此外，特開2000-341584號(hào)公報(bào)公開了，通過將場(chǎng)景切換時(shí)的效果作為原稿記錄而于再生時(shí)使特技效果反映到顯示中的圖象記錄裝置。
現(xiàn)有的僅僅是特技效果用的屏蔽數(shù)據(jù)編碼化的方法以及由場(chǎng)景記述數(shù)據(jù)或再生圖象電平進(jìn)行圖象變形的方法，必須在成為對(duì)象的場(chǎng)景記述數(shù)據(jù)中每次都裝填變形信息。因而就產(chǎn)生了難以使特技效果圖案程序庫化的問題。
通過下面結(jié)合附圖對(duì)最佳實(shí)施例的詳細(xì)描述，當(dāng)可更清楚地理解本發(fā)明的上述的和其他的目的、特點(diǎn)與優(yōu)點(diǎn)。
圖2例示整體的運(yùn)動(dòng)補(bǔ)償處理。
圖3例示系統(tǒng)數(shù)據(jù)生成處理。
圖4例示特技效果數(shù)據(jù)的結(jié)構(gòu)。
圖5例示特技效果數(shù)據(jù)中幀標(biāo)題的結(jié)構(gòu)。
圖6例示特技效果數(shù)據(jù)中運(yùn)動(dòng)圖案的數(shù)據(jù)結(jié)構(gòu)。
圖7例示包含運(yùn)動(dòng)圖案數(shù)據(jù)的視頻數(shù)據(jù)結(jié)構(gòu)。
圖8例示擴(kuò)展方形斑塊的幀圖象。
圖9例示擴(kuò)展三角形斑塊的幀圖象。
圖10例示宏塊的分割。
圖11是宏塊的結(jié)構(gòu)圖。
圖12例示特技效果數(shù)據(jù)中MB數(shù)據(jù)的結(jié)構(gòu)。
圖13例示設(shè)想為滑動(dòng)的特技效果的運(yùn)動(dòng)矢量以及運(yùn)動(dòng)的補(bǔ)償。
圖14例示設(shè)想形狀數(shù)據(jù)量擴(kuò)大了的特技效果運(yùn)動(dòng)矢量以及運(yùn)動(dòng)的補(bǔ)償。
圖15例示包含系統(tǒng)數(shù)據(jù)譯碼與特技效果的場(chǎng)景合成處理結(jié)構(gòu)。
圖16例示綜合特技效果數(shù)據(jù)與視頻數(shù)據(jù)的數(shù)據(jù)中的MB數(shù)據(jù)的結(jié)構(gòu)。
圖17例示綜合特技效果數(shù)據(jù)與視頻數(shù)據(jù)的系統(tǒng)數(shù)據(jù)生成處理的結(jié)構(gòu)。
圖18例示設(shè)想為滑動(dòng)時(shí)的特技效果處理。
圖19例示設(shè)想為形狀數(shù)據(jù)量擴(kuò)大時(shí)的特技效果處理。
這種運(yùn)動(dòng)圖案由運(yùn)動(dòng)模型種類及其適用范圍規(guī)定。作為這種運(yùn)動(dòng)模型種類，例如可以考慮ug(x，y)＝a0x+a1y+a2vg(x，y)＝a3x+a4y+a5...(1)所示的線性內(nèi)/外插(仿射變換)模型或ug(x，y) ＝b0xy+b1x+b2y+b3vg(x，y) ＝b4xy+b5x+b6y+b7...(2)所示的聯(lián)立一次內(nèi)/外插模型。
在以上的兩式中，(Ug(x，y)，Vg(x，y)是圖象內(nèi)象素(x，y)的運(yùn)動(dòng)矢量，a0～a5與b0～b7表示運(yùn)動(dòng)參數(shù)。另一方面，作為適用范圍可以考慮以一個(gè)運(yùn)動(dòng)參數(shù)使圖象整體變形的方法，或?qū)D象分成幾個(gè)部分而每部分以不同的運(yùn)動(dòng)參數(shù)變形的方法。總之，通過將式(1)與式(2)所示的運(yùn)動(dòng)參數(shù)在各適用范圍內(nèi)分別編碼，就有可能將運(yùn)動(dòng)參數(shù)程序庫化。作為運(yùn)動(dòng)參數(shù)的編碼方法雖可以將a0～a5或b0～b7的值直接編碼，但也可以有將幾個(gè)代表點(diǎn)的運(yùn)動(dòng)矢量編碼的方法?，F(xiàn)在考慮運(yùn)動(dòng)模型為式(1)的仿射變換而以圖象全體作為適用范圍，圖象左上端、右上端、左下端、右下端的象素坐標(biāo)分別以(0，0)、(r，0)、(o，s)、(r，s)表示(這里的r與s為正整數(shù))。此時(shí)，當(dāng)代表點(diǎn)(0，0)、(r，0)、(0，s)、的運(yùn)動(dòng)矢量的水平分量與垂直分量分別為(Ua，Va)、(Ub，Vb)、(Uc，Vc)時(shí)，則式(1)可以改寫為ug=ub-uarx+uc-uasy+ua]]>vg=ub-uarx+uc-uasy+va---(3)]]>這就是說，用Ua、Va、Ub、Vb、Uc、Vc的傳送來代替a0～a5的傳送也能實(shí)現(xiàn)相同的功能。同樣，若把運(yùn)動(dòng)模型式(2)的聯(lián)立一次變換，而把適用范圍作為圖象全體時(shí)，則應(yīng)用四個(gè)代表點(diǎn)(0，0)、(r，0)、(0，s)、(r，s)的運(yùn)動(dòng)矢量的水平分量與垂直分量(Ua，Va)、(Ub，Vb)、(Uc，Vc)、(Ud，Vd)，可將式(2)改寫為ug=s-ys(r-xrua+xrub)+ys(r-xruc+xrud)]]>=ua-ub-uc+udrsxy+-ua+ubrx+-ua+ucsy+ua---(4)]]>vg=va-vb-vc+vdrsxy+-va+vbrx+-va+vcsy+va]]>這就是說，用Ua、Va、Ub、Vb、Uc、Vc、Ud、Vd的傳送來代替b0～b7的傳送也可以實(shí)現(xiàn)相同的功能。此外，以上是以仿射變換和聯(lián)立一次變換為例進(jìn)行說明，但適用于本發(fā)明的變換模型并不限于以上兩模型。例如可以使用基于由處理整體的運(yùn)動(dòng)補(bǔ)償?shù)腗EG P-4所處理的平移、各向同性變換、仿射變換、透視變換的運(yùn)動(dòng)模型。即使是這些運(yùn)動(dòng)模型，也能由運(yùn)動(dòng)矢量來表現(xiàn)運(yùn)動(dòng)參數(shù)。
在此，作為圖象變形的例子，示明了通過仿射變換模型將圖2的原圖象302變形為特技效果圖象301的程序。在編碼方面，首先推定在原圖象302與特技效果圖案301之間的運(yùn)動(dòng)參數(shù)，其次根據(jù)此運(yùn)動(dòng)參數(shù)，求特技效果圖象301左上端、右上端、左下端位置處代表點(diǎn)305、306、307處的運(yùn)動(dòng)矢量。這些運(yùn)動(dòng)矢量表明特技效果圖案301左上端、右上端、左下端位置處的代表點(diǎn)在原圖象上相當(dāng)?shù)奈恢谩１纠校?03表示運(yùn)動(dòng)補(bǔ)償圖象，308、309、310為這些運(yùn)動(dòng)補(bǔ)償后的代表點(diǎn)。然后將運(yùn)動(dòng)矢量或運(yùn)動(dòng)參數(shù)編碼。在譯碼方面，首先對(duì)運(yùn)動(dòng)參數(shù)譯碼。此時(shí)，當(dāng)接受數(shù)據(jù)為運(yùn)動(dòng)參數(shù)時(shí)，應(yīng)用式(3)或式(4)所示關(guān)系算出運(yùn)動(dòng)參數(shù)。然后用算出的運(yùn)動(dòng)參數(shù)求原圖象上各象素的運(yùn)動(dòng)矢量311、312、313，合成特技效果圖案。在以實(shí)數(shù)表示算出的各圖象的運(yùn)動(dòng)矢量時(shí)，例如用相鄰樣本值的線性內(nèi)插處理等確定特技圖象上的象素值。此時(shí)，若對(duì)于實(shí)數(shù)矢量值相對(duì)于各縱、橫分量規(guī)定按1/2象素精度、1/4象素精度等量化算法，則能于編碼方與譯碼方算出相同的值。在此所示的例子表明的是一般圖象中運(yùn)動(dòng)參數(shù)的算出方法。在特技效果情形，根據(jù)效果的種類可單一地確定運(yùn)動(dòng)參數(shù)，編碼而數(shù)據(jù)庫化(在制成新規(guī)定的特技效果圖案時(shí)，也可以只進(jìn)行一次參數(shù)推定而數(shù)據(jù)庫化)。因此，一般不必在編碼時(shí)進(jìn)行參數(shù)推定。此外，圖2是以適用范圍為圖象整體情形為例，但即使在適用范圍分割成幾部分的情形，也可以利用與適用于圖象整體時(shí)相同的方法，例如通過構(gòu)成擴(kuò)張為圖8所示的方形斑塊的幀601(透視變換模型)或擴(kuò)張為圖9所示的三角形斑塊的幀602(仿射變換模型)，就可以進(jìn)行斑塊單位的運(yùn)動(dòng)矢量或運(yùn)動(dòng)圖案的編碼以及圖象的變形處理。根據(jù)這種方法，也能對(duì)應(yīng)局部變化的運(yùn)動(dòng)圖案。再有，這里所示的例中，變形前后的圖象尺寸是相同的，即使圖象尺寸有變化，但只要是規(guī)定了這兩個(gè)圖象的空間位置也仍然是適用的。
下面進(jìn)一步說明，利用MPEG-4視頻編碼方式功能的形狀編碼與整體的運(yùn)動(dòng)矢量編碼的，由屏蔽圖案與運(yùn)動(dòng)圖案編碼說明生成特技效果數(shù)據(jù)的方法與特技效果處理方法。有關(guān)MPEG-4視頻編碼功能與數(shù)據(jù)格式的細(xì)節(jié)，規(guī)定于ISO/IEC JTC1/SC29 14496-22001(E)中。本實(shí)施例說明利用形狀編碼/解碼與整體運(yùn)動(dòng)矢量的編碼/譯碼功能的結(jié)構(gòu)。
圖1例示特技效果數(shù)據(jù)生成處理的結(jié)構(gòu)。屏蔽圖案存儲(chǔ)器202與運(yùn)動(dòng)圖案存儲(chǔ)器203中存儲(chǔ)有用于實(shí)現(xiàn)各種特技效果的屏蔽數(shù)據(jù)與運(yùn)動(dòng)參數(shù)。編輯信息分析部201分析特技效果的種類、發(fā)生特技效果的時(shí)間、幀頻、比特速率、圖象尺寸等編輯信息，將構(gòu)成特技效果數(shù)據(jù)的各個(gè)幀所需信息通知屏蔽圖案存儲(chǔ)器202與運(yùn)動(dòng)圖案存儲(chǔ)器203。通過分析，判斷為必需的屏蔽數(shù)據(jù)與運(yùn)動(dòng)參數(shù)分別由形狀編碼器204與特技效果運(yùn)動(dòng)矢量編碼器205編碼，由多路復(fù)用206將作為1條特技效果的數(shù)據(jù)多路復(fù)用化。由于此特技效果運(yùn)動(dòng)矢量編碼器205與形狀編碼器204的各功能在一般的視頻編碼器中也包含有，即使是MPEG-4視頻編碼器也能代用。此外，MPEG-4處理的形狀數(shù)據(jù)表明了第二場(chǎng)景的圖象是以何種比例重合于第一場(chǎng)景的圖象。因此，在漸隱、漸顯那種場(chǎng)景切換時(shí)，對(duì)于兩個(gè)數(shù)據(jù)不相重的情形，需要有重疊的對(duì)象。在這種情形下，根據(jù)編輯信息分析部201的指令，起動(dòng)背景數(shù)據(jù)編碼器207，使成為重疊對(duì)象背景數(shù)據(jù)的彩色圖案(背景數(shù)據(jù)層)同時(shí)編碼。此背景數(shù)據(jù)層也傳送給多路復(fù)用部206，多路復(fù)用化為特技效果數(shù)據(jù)。
作為生成特技效果數(shù)據(jù)的另一種形式可以是預(yù)先準(zhǔn)備各個(gè)特技效果用的特技效果數(shù)據(jù)，根據(jù)編輯信息進(jìn)行編輯的具體的編輯方法例如有對(duì)應(yīng)于幀頻的時(shí)間信息的校正、幀數(shù)據(jù)的刪除、圖象尺寸(具體的方法由圖14說明)的校正等。此時(shí)，需要進(jìn)行伴隨數(shù)據(jù)量變更的字節(jié)調(diào)整處理等。
圖3例示系統(tǒng)數(shù)據(jù)生成處理的結(jié)構(gòu)。所謂系統(tǒng)數(shù)據(jù)是指由圖1的特技效果數(shù)據(jù)生成處理而生成的特技效果數(shù)據(jù)、適用于特技效果的擬編輯數(shù)據(jù)、音頻數(shù)據(jù)等多路復(fù)用化的數(shù)據(jù)。在此將綜合各種媒體數(shù)據(jù)的文件格式和通信用分組數(shù)據(jù)統(tǒng)稱為綜合數(shù)據(jù)。接收到這種系統(tǒng)數(shù)據(jù)的終端應(yīng)用系統(tǒng)譯碼器和使綜合的各種數(shù)據(jù)譯碼的譯碼器，對(duì)特技效果數(shù)據(jù)譯碼，再現(xiàn)包含特技效果的場(chǎng)景。211的特技效果數(shù)據(jù)生成部由圖1的屏蔽圖案存儲(chǔ)器202、運(yùn)動(dòng)圖案存儲(chǔ)器203、形狀編碼器204、特技效果運(yùn)動(dòng)矢量編碼器205、多路復(fù)用部206、背景數(shù)據(jù)編碼器207構(gòu)成。存儲(chǔ)器201中存儲(chǔ)著擬編輯的數(shù)據(jù)。根據(jù)編輯信息，編碼信息分析部分201于存儲(chǔ)器210中指出必要的擬編輯的數(shù)據(jù)。此外，編輯信息分析部201將特技效果數(shù)據(jù)生成所需的信息通知特技效果數(shù)據(jù)生成部211。系統(tǒng)編碼器212根據(jù)編輯信息合成擬編輯數(shù)據(jù)(包含音頻數(shù)據(jù))和特技效果數(shù)據(jù)而作成系統(tǒng)數(shù)據(jù)。
下面舉例說明由圖1的特技效果運(yùn)動(dòng)矢量編碼器、形狀編碼器以及合成部生成的特技效果數(shù)據(jù)的結(jié)構(gòu)。
圖4例示特技效果數(shù)據(jù)的結(jié)構(gòu)。序列標(biāo)題410中包含有輸入數(shù)據(jù)的形狀類型等有關(guān)整個(gè)場(chǎng)景的參數(shù)。MPEG-4視頻編碼處理作為形狀類型的“矩形圖象(矩形)”、“二進(jìn)位任意形狀的圖象(二進(jìn)位)”、“帶灰度級(jí)任意形狀的圖象(灰度級(jí))”、“任意形狀(形狀數(shù)據(jù)由二進(jìn)制表示)”共四種。在此應(yīng)用不伴隨亮度信號(hào)與色差信號(hào)編碼的“任意形狀”方式的功能使屏蔽圖案形狀編碼，但也可由另外方式設(shè)置特技效果用形狀類型。再有，本發(fā)明中除屏蔽圖案之外需使運(yùn)動(dòng)圖案編碼。為此，下面考慮與此運(yùn)動(dòng)圖案有關(guān)的序列標(biāo)題數(shù)據(jù)。首先，本發(fā)明并不僅僅限于屏蔽數(shù)據(jù)而是可以考慮若干種情形、假定現(xiàn)在的場(chǎng)景為場(chǎng)景A而由特技效果表現(xiàn)的場(chǎng)景為場(chǎng)景B，也就是說，根據(jù)屏蔽數(shù)據(jù)，考慮場(chǎng)景B重疊于場(chǎng)景A的情形。此時(shí)，作為進(jìn)行變形處理的對(duì)象可以考慮以下情形1)屏蔽數(shù)據(jù)；2)場(chǎng)景B；3)場(chǎng)景B與屏蔽數(shù)據(jù)；4)屏蔽場(chǎng)景A與場(chǎng)景B后的圖象；5)場(chǎng)景A。
于是，在本發(fā)明中，對(duì)于指定適用運(yùn)動(dòng)參數(shù)的圖象的信息(變形圖象信息)，當(dāng)于編碼方與譯碼方不共享信息時(shí)，就需要準(zhǔn)備這類信息。此外，對(duì)于示明確定運(yùn)動(dòng)參數(shù)性質(zhì)的適用范圍(適用范圍為圖象全體時(shí)的變形和局部時(shí)的變形，或適用此兩方)的變形選擇信息(在適用兩方的變形時(shí)還包含其順序)，以及有關(guān)所用運(yùn)動(dòng)模型的種類(適用范圍為整個(gè)圖象情形)的斑塊(patch)大小與數(shù)量的信息(適用范圍為局部時(shí)，例如斑塊形狀和縱橫的格子點(diǎn)數(shù))，對(duì)于編碼方與譯碼方不共享信息時(shí)，則必須包含于序列標(biāo)題內(nèi)。
幀標(biāo)題420中包含有關(guān)各幀編碼的參數(shù)，形狀數(shù)據(jù)430中包含屏蔽圖象的實(shí)際編碼數(shù)據(jù)，而運(yùn)動(dòng)參數(shù)數(shù)據(jù)440中則包含運(yùn)動(dòng)參數(shù)編碼數(shù)據(jù)。
圖5示明幀標(biāo)題420中所含參數(shù)的一部分。幀類型421是示明幀內(nèi)編碼、預(yù)測(cè)編碼等幀編碼類型的參數(shù)。時(shí)間信息422是示明可能再生此幀時(shí)的時(shí)間的參數(shù)。大小位置信息423是示明再生對(duì)象的位置與大小的參數(shù)，形狀類型則只發(fā)生于包含“形狀”的情形。根據(jù)這種參數(shù)，能夠指定視頻對(duì)象的配置。以特技效果為目的的屏蔽數(shù)據(jù)，基本上是以顯示位置在畫面左端(0，0)處而尺寸則與畫面尺寸相同，但根據(jù)與運(yùn)動(dòng)圖案的組合，通過有效利用這種參數(shù)，就有可能減少數(shù)據(jù)量。形狀數(shù)據(jù)層424是在形狀類型只包含“形狀”時(shí)發(fā)生的參數(shù)，起到使圖象全體的形狀信號(hào)的透明層次以相同的比例變更的作用。例如屏蔽數(shù)據(jù)即使是二進(jìn)制時(shí)，通過利用此參數(shù)，也能變更屏蔽數(shù)據(jù)全體的透明度。因此，也可只由這種形狀類型信息(不進(jìn)行形狀數(shù)據(jù)的編碼，就能表現(xiàn)“消隱”(兩種場(chǎng)景相互徐徐變換)。背景數(shù)據(jù)層4242象漸隱、漸顯那樣這種使兩種場(chǎng)景不重疊的特技效果的情形，能用來將成為重疊對(duì)象背景數(shù)據(jù)的彩色圖案(背景數(shù)據(jù)層)加到編輯數(shù)據(jù)中。
圖6示明運(yùn)動(dòng)圖案數(shù)據(jù)440的數(shù)據(jù)格式。應(yīng)用序列標(biāo)題的變形圖象信息、變形選擇信息、運(yùn)動(dòng)模型以及斑塊信息時(shí)，也即相對(duì)于全體特技效果幀于相同條件進(jìn)行圖象變形時(shí)，大小位置信息4232、整體運(yùn)動(dòng)矢量425或斑塊運(yùn)動(dòng)矢量426中之一，或是整體運(yùn)動(dòng)矢量425與斑塊運(yùn)動(dòng)矢量426兩方的數(shù)據(jù)，即包在運(yùn)動(dòng)圖案數(shù)據(jù)440中。究竟包有哪種數(shù)據(jù)由變形選擇信息或由預(yù)定的規(guī)則(不使用變形選擇信息時(shí))確定。大小位置信息4232表示變形處理后的圖象的尺寸及其在畫面上的表示位置。而這種信息，在變形處理不變更圖象大小時(shí)或在預(yù)定的變形處理后的圖象尺寸時(shí)，是不必要的。整體運(yùn)動(dòng)矢量425是相對(duì)于圖象全體用于生成運(yùn)動(dòng)參數(shù)的參數(shù)。MPEG-4視頻編碼如式(3)、式(4)所示，是由圖象端的運(yùn)動(dòng)矢量生成的運(yùn)動(dòng)參數(shù)。因此，即使在本實(shí)施例中，代替將運(yùn)動(dòng)參數(shù)變碼，也可采用將運(yùn)動(dòng)矢量編碼的結(jié)構(gòu)，自然，使運(yùn)動(dòng)參數(shù)原樣地編碼的方法也包含在本發(fā)明中。斑塊運(yùn)動(dòng)矢量427如圖8、9所示，使斑塊在幀中擴(kuò)展，它是用于生成局部的運(yùn)動(dòng)參數(shù)的參數(shù)。在此設(shè)定，由幀標(biāo)題使幀內(nèi)所有格子點(diǎn)的運(yùn)動(dòng)矢量編碼。另一方面，在將序列標(biāo)題內(nèi)的變形圖象信息、變形選擇信息、運(yùn)動(dòng)模型以及斑塊信息移向此運(yùn)動(dòng)參數(shù)數(shù)據(jù)時(shí)，則能以幀單位變更運(yùn)動(dòng)圖案的種類，進(jìn)而對(duì)應(yīng)于更細(xì)致的運(yùn)動(dòng)。此外，在可以適用場(chǎng)景A、場(chǎng)景B、屏蔽數(shù)據(jù)用的不同運(yùn)動(dòng)參數(shù)時(shí)，也可以反復(fù)生成這種運(yùn)動(dòng)圖案數(shù)據(jù)440。
下面示明圖4的形狀數(shù)據(jù)430的數(shù)據(jù)格式。在MPEG-4視頻規(guī)格下，將運(yùn)動(dòng)圖象的各幀分割成圖10所示的小塊501、502、503，以稱作宏塊的塊單位進(jìn)行再生處理。圖11示明宏塊的結(jié)構(gòu)。宏塊包括16×16象素的1個(gè)Y信號(hào)塊511、與其在空間上一致的8×8象素的Cr信號(hào)塊512以及Cb信號(hào)塊513。再有，Y信號(hào)塊于宏塊復(fù)原過程中會(huì)進(jìn)一步分割成4個(gè)8×8象素塊(514、515、516、517)。因而，二進(jìn)制表示的屏蔽數(shù)據(jù)中，圖12的二進(jìn)制MB數(shù)據(jù)431便按從圖象左上端MB向右下端MB的順序編碼，配置于形狀數(shù)據(jù)430中。另一方面，對(duì)于灰度級(jí)表示的屏蔽數(shù)據(jù)，圖12的MB數(shù)據(jù)格式成為在二進(jìn)制MB數(shù)據(jù)之后繼續(xù)以灰度級(jí)MB數(shù)據(jù)433的結(jié)構(gòu)。但據(jù)MPEG-4，由于沒有處理只處理了灰度級(jí)數(shù)據(jù)的形狀類型，故需另設(shè)“灰度級(jí)任意形狀”這樣的方式。有關(guān)灰度級(jí)數(shù)據(jù)的編碼方法，可如MPEG-4的“附隨灰度級(jí)形狀的圖象”形狀類型所示，由類似亮度信號(hào)編碼的方法來處理灰度級(jí)數(shù)據(jù)。此外，作為MB數(shù)據(jù)格式的擴(kuò)展，可以考慮通過使宏塊的大小與圖8、9的斑塊大小一致。而將格子點(diǎn)的斑塊運(yùn)動(dòng)矢量432配置到MB數(shù)據(jù)內(nèi)的方法。在這種情形下，幀標(biāo)題內(nèi)不需使有關(guān)斑塊數(shù)的信息完全編碼。但由于編碼塊數(shù)與格子點(diǎn)都不一致，就有必要例如使位于幀上端與左端格子點(diǎn)的運(yùn)動(dòng)矢量于幀標(biāo)題內(nèi)編碼，而取于各MB數(shù)據(jù)中使斑塊右下格子點(diǎn)的運(yùn)動(dòng)矢量編碼的結(jié)構(gòu)。再有，即使在這種格式中，于MB數(shù)據(jù)內(nèi)，通過使這種斑塊運(yùn)動(dòng)矢量重復(fù)，也能采用場(chǎng)景A、場(chǎng)景B、屏蔽數(shù)據(jù)用的各自具有運(yùn)動(dòng)參數(shù)的方法。
在圖4的例子中，于特技效果數(shù)據(jù)內(nèi)處理屏蔽數(shù)據(jù)以外的相對(duì)于特技效果對(duì)象圖象的變形。與此相反，也能如圖7所示，在該視頻數(shù)據(jù)450內(nèi)處理相對(duì)于特技效果對(duì)象圖象的運(yùn)動(dòng)圖案。這時(shí)在特技效果數(shù)據(jù)內(nèi)，只處理屏蔽數(shù)據(jù)中的運(yùn)動(dòng)圖案。而相對(duì)于原視頻數(shù)據(jù)450分別補(bǔ)加與運(yùn)動(dòng)圖案有關(guān)的信息。在此情形下，由于變形圖象的對(duì)象能單一地確定，故不需變形圖象信息。但在視頻數(shù)據(jù)的算法中，對(duì)于運(yùn)動(dòng)補(bǔ)償中采用運(yùn)動(dòng)參數(shù)的情形，需要將施加了通過運(yùn)動(dòng)圖案變形的圖象識(shí)別其是否為顯示前的再生圖象還是作為變形圖象信息用于運(yùn)動(dòng)預(yù)測(cè)的先前幀的圖象信息。
下面說明根據(jù)生成的特技效果數(shù)據(jù)來合成特技效果場(chǎng)景的方法。為簡(jiǎn)單起見，舉例說明場(chǎng)景合成用的特技效果屬一種類型的情形。未伴隨變形處理的特技效果，在據(jù)特技效果發(fā)生前再生的第一場(chǎng)景、特技效果出現(xiàn)后的第二場(chǎng)景以及特技效果數(shù)據(jù)于各幀之中譯碼后，通過對(duì)進(jìn)行相應(yīng)的屏蔽數(shù)據(jù)的屏蔽處理，使第二場(chǎng)景的各幀與第一場(chǎng)景的相應(yīng)幀合成。另一方面，伴隨有變形處理的特技效果中，數(shù)據(jù)譯碼后的特技效果場(chǎng)景的合成方法則因施加變形處理對(duì)象的種類而異。如序列標(biāo)題的說明中所述，對(duì)于場(chǎng)景合成的特技效果是一種類型的情形，可以考慮以下五類1)屏蔽數(shù)據(jù)；2)場(chǎng)景B；3)場(chǎng)景B與屏蔽數(shù)據(jù)；4)屏蔽場(chǎng)景A與場(chǎng)景B后的圖象；5)場(chǎng)景A。
下面對(duì)各種情形示明某一幀的合成方法。
在上述1)的情形，首先對(duì)應(yīng)于運(yùn)動(dòng)參數(shù)，使屏蔽數(shù)據(jù)變形。然后通過變形的屏蔽數(shù)據(jù)的屏蔽處理，使第2場(chǎng)景的幀與第一場(chǎng)景的幀合成。
在情形2)中，首先對(duì)應(yīng)于運(yùn)動(dòng)參數(shù)使第二場(chǎng)景的幀變形。然后使變形了的第二場(chǎng)景的幀通過屏蔽數(shù)據(jù)的屏蔽處理與第一場(chǎng)景的幀合成。
在情形3)中，首先對(duì)應(yīng)于運(yùn)動(dòng)參數(shù)，使第二場(chǎng)景的幀與屏蔽數(shù)據(jù)各自變形。使變形的第二場(chǎng)景的幀通過變形的屏蔽數(shù)據(jù)的屏蔽處理與第一場(chǎng)景的幀合成。
在情形4)中，首先使第二場(chǎng)景的幀通過屏蔽數(shù)據(jù)的屏蔽處理與第一場(chǎng)景的幀合成。然后使合成的數(shù)據(jù)對(duì)應(yīng)運(yùn)動(dòng)參數(shù)變形。
在情形5)中，首先對(duì)應(yīng)于運(yùn)動(dòng)參數(shù)使第一場(chǎng)景的幀變形。然后使第二場(chǎng)景的幀通過屏蔽數(shù)據(jù)的屏蔽處理與變形的第一場(chǎng)景的幀合成。
這里所謂的運(yùn)動(dòng)參數(shù)是指整體運(yùn)動(dòng)矢量與斑塊運(yùn)動(dòng)矢量中之一或包含其組合形式的運(yùn)動(dòng)矢量。即使是在用兩種以上運(yùn)動(dòng)參數(shù)合成一個(gè)幀的情形，其基本方法也與此相同。也就是可以在第一場(chǎng)景的幀與第二場(chǎng)景的幀由屏蔽數(shù)據(jù)合成過程中，相對(duì)于施加變形處理的對(duì)象分別進(jìn)行變形處理。
下面舉例說明上述情形1)與2)的圖象變形處理中運(yùn)動(dòng)參數(shù)的適用范圍是圖象全體的情形。
圖13例示相對(duì)于情形2)設(shè)定為滑動(dòng)時(shí)的特技效果運(yùn)動(dòng)矢量以及運(yùn)動(dòng)補(bǔ)償。圖13的結(jié)構(gòu)與圖3相同。但在圖13中略去了給出特技效果圖象301的代表點(diǎn)305、306、307的圖。此外，假設(shè)運(yùn)動(dòng)模型是平行移動(dòng)的，在畫面左上端設(shè)有代表點(diǎn)。在此情形中，通過第二場(chǎng)景從畫面右端開始滑動(dòng)，可以設(shè)想會(huì)有與第一場(chǎng)景替換的效果。于是，變形前的原圖象302常成為表示畫面全體的圖象，而特技效果圖象301常成為使原圖象302被平行移動(dòng)的圖象。通過逐漸減少此平行移動(dòng)的大小，能夠?qū)崿F(xiàn)滑動(dòng)的特技效果。此時(shí)，屏蔽數(shù)據(jù)設(shè)定為，使顯示位置在畫面左端(0，0)處、大小與畫面有相同尺寸、第一場(chǎng)景的幀所顯示部分的象素值為“0”(顯示第一場(chǎng)景)、第二場(chǎng)景的幀所顯示部分的象素值為“1”(顯示第二場(chǎng)景)。與圖3相同，303是位于特技效果圖象301左上端處的代表點(diǎn)，它表示出補(bǔ)償是相當(dāng)于原圖象上哪個(gè)位置的運(yùn)動(dòng)補(bǔ)償圖象，308是運(yùn)動(dòng)補(bǔ)償后的代表點(diǎn)，311表示整體運(yùn)動(dòng)矢量。根據(jù)此整體運(yùn)動(dòng)矢量311，算出特技效果后幀內(nèi)的象素值。但此例中存在有運(yùn)動(dòng)矢量指向原圖象外的象素。在這種情形下，一般采用使相對(duì)于各象素的運(yùn)動(dòng)矢量的每個(gè)縱、橫分量限制在畫面尺寸內(nèi)，而以圖象尺寸的圖象端的數(shù)據(jù)作為補(bǔ)償象素的代用方法。但在此情形2)中，指向原圖象外的象素由于相當(dāng)于屏蔽數(shù)據(jù)的“0”值，實(shí)際上即使不補(bǔ)償也無差別。再有，這種滑動(dòng)效果，由于是不伴隨復(fù)雜變形的單純的平行移動(dòng)，即使不使用運(yùn)動(dòng)參數(shù)，也能與指定圖象尺寸與顯示位置的方法相對(duì)應(yīng)。
圖18例示設(shè)定為滑動(dòng)時(shí)的特技效果處理，710指特技效果發(fā)生前再生的第一場(chǎng)景的幀、720指特技效果后出現(xiàn)的第二場(chǎng)景的幀、770表示屏蔽數(shù)據(jù)。第二場(chǎng)景的幀720通過平行移動(dòng)的運(yùn)動(dòng)參數(shù)，按721所示變形。通過將此變形的第二場(chǎng)景的幀721與第一場(chǎng)景的幀710用屏蔽數(shù)據(jù)合成，生成為施加了特技效果處理的合成幀740。
圖14相對(duì)于情形1)例示了設(shè)定進(jìn)行了屏蔽數(shù)據(jù)量的擴(kuò)展的特技效果運(yùn)動(dòng)矢量與運(yùn)動(dòng)補(bǔ)償。圖14的結(jié)構(gòu)與圖13同，但在圖14中略去了給出特技效果圖象301的代表點(diǎn)305、306、307的圖。此外，作為使運(yùn)動(dòng)模型遠(yuǎn)景變換，于畫面右下端也設(shè)有代表點(diǎn)。在這種情形下，假設(shè)代替對(duì)畫面尺寸的屏蔽數(shù)據(jù)進(jìn)行編碼，通過對(duì)數(shù)據(jù)量小的屏蔽數(shù)據(jù)和用于擴(kuò)展其尺寸的運(yùn)動(dòng)參數(shù)編碼而減少了編碼的數(shù)量。于是，變形前的原因像302成為相對(duì)于畫面尺寸縮小了的圖象，而特技效果圖象301則成為推攝到畫面尺寸的圖象。與圖13相同，303是位于特技效果圖象301的左上端、右上端、左下端、右下端的代表點(diǎn)，表明補(bǔ)償相當(dāng)于原圖象上的哪個(gè)位置的運(yùn)動(dòng)補(bǔ)償圖象。308、309、310、314表示運(yùn)動(dòng)補(bǔ)償后的代表點(diǎn)，312、313、315表示整體運(yùn)動(dòng)矢量。應(yīng)用根據(jù)此整體運(yùn)動(dòng)矢量算出的透視變換模型的運(yùn)動(dòng)參數(shù)，算出各象素的運(yùn)動(dòng)矢量而導(dǎo)出特技效果后的屏蔽數(shù)據(jù)內(nèi)的象素值。
圖19例示設(shè)想在形狀數(shù)據(jù)的尺寸擴(kuò)大后的處理。與圖18相同，710表示特技效果發(fā)生前再生的第一場(chǎng)景的幀，720表示特技效果后出現(xiàn)的第二場(chǎng)景的幀，730表示屏蔽數(shù)據(jù)。屏蔽數(shù)據(jù)730根據(jù)擴(kuò)大的運(yùn)動(dòng)參數(shù)變形如731。根據(jù)此變形的屏蔽數(shù)據(jù)731，通過第二場(chǎng)景的幀與第一場(chǎng)景的幀合成，生成施加了特技效果處理的合成幀740。
下面用圖15舉例說明根據(jù)圖3的系統(tǒng)數(shù)據(jù)生成處理生成的數(shù)據(jù)，合成包含特技效果圖象的方法。首先，輸入的系統(tǒng)數(shù)據(jù)由系統(tǒng)譯碼器101分離成音頻數(shù)據(jù)、視頻數(shù)據(jù)(特技效果發(fā)生前再生的第一場(chǎng)景與特技效果后出現(xiàn)的第二場(chǎng)景)、特技效果數(shù)據(jù)。分離出的音頻數(shù)據(jù)分別由音頻數(shù)據(jù)譯碼器102譯碼處理，根據(jù)系統(tǒng)數(shù)據(jù)或音頻數(shù)據(jù)中所含的時(shí)間信息，由揚(yáng)聲器再生。分離出的特技效果數(shù)據(jù)輸入視頻譯碼器105。在特技效果視頻譯碼器105中，首先還原為圖5、6、7所示的運(yùn)動(dòng)類型信息(斑塊信息、運(yùn)動(dòng)模型信息)與變形類型信息(變形選擇信息、變形圖象信息)。其次，由特技效果數(shù)據(jù)切分出的整體運(yùn)動(dòng)矢量或斑塊運(yùn)動(dòng)矢量，根據(jù)運(yùn)動(dòng)類型信息，由參數(shù)譯碼器152還原，算出運(yùn)動(dòng)參數(shù)。最后，從特技效果數(shù)據(jù)切分出形狀數(shù)據(jù)。由形狀譯碼器151還原，獲得屏蔽數(shù)據(jù)。分離出的視頻數(shù)據(jù)，由運(yùn)動(dòng)圖樣譯碼器103(當(dāng)視頻數(shù)據(jù)具有形狀信號(hào)時(shí)利用形狀譯碼器，當(dāng)視頻數(shù)據(jù)伴隨有整體運(yùn)動(dòng)矢量補(bǔ)償?shù)那樾蝿t利用參數(shù)譯碼器與圖象變形部)，譯碼成第一場(chǎng)景與第二場(chǎng)景的各幀。在由這些視頻譯碼器還原的屏蔽數(shù)據(jù)、第一場(chǎng)景與第二場(chǎng)景的幀圖象之中，由變形選擇信息指定的圖象或依算法預(yù)定的圖象輸入圖象變形部153，根據(jù)譯碼的運(yùn)動(dòng)參數(shù)進(jìn)行變形處理，然后，屏蔽數(shù)據(jù)、第一場(chǎng)景與第二場(chǎng)景的幀圖象，輸入合成部106，合成特技效果圖象、圖15中在說明時(shí)是把參數(shù)譯碼器與圖象變形部作為與運(yùn)動(dòng)圖樣譯碼中不同的處理單元描述，但一般，參數(shù)譯碼器與圖象變形部能具有運(yùn)動(dòng)圖樣譯碼的功能。
圖15表示了由接收的系統(tǒng)數(shù)據(jù)再現(xiàn)特技效果場(chǎng)景的方法。但作為特技效果圖象的合成作業(yè)，也可以考慮單純地由存儲(chǔ)的數(shù)據(jù)選擇特技效果數(shù)據(jù)與擬進(jìn)行編輯用的視頻數(shù)據(jù)，進(jìn)行特技效果數(shù)據(jù)的校正等而合成場(chǎng)景的方法等。
根據(jù)上述特技效果處理的說明，可以考慮由另外的比特流來處理特技效果數(shù)據(jù)與視頻數(shù)據(jù)。但也可以結(jié)合特技效果數(shù)據(jù)與特技效果后出現(xiàn)的第二場(chǎng)景的視頻數(shù)據(jù)進(jìn)行合成處理。具體地說，另外準(zhǔn)備將綜合數(shù)據(jù)用的形狀類型，規(guī)定用于綜合處理兩種數(shù)據(jù)的序列標(biāo)題、幀標(biāo)題的格式。而且，規(guī)定如圖16所示的兩個(gè)數(shù)據(jù)的綜合MB數(shù)據(jù)格式。綜合MB數(shù)據(jù)由相互不具有依存關(guān)系的屏蔽MB數(shù)據(jù)434和視頻MB數(shù)據(jù)435構(gòu)成。圖17是把圖3的系統(tǒng)數(shù)據(jù)生成處理擴(kuò)展到綜合數(shù)據(jù)用的框圖。圖17與圖3的不同處是增設(shè)了數(shù)據(jù)合成部213。數(shù)據(jù)合成部213起到綜合特技效果數(shù)據(jù)生成部211生成的特技效果數(shù)據(jù)和由存儲(chǔ)器210輸出的擬編輯的視頻數(shù)據(jù)的作用。此外，數(shù)據(jù)合成部213對(duì)于不存在成為合成對(duì)象特技效果數(shù)據(jù)的情形(第一視頻場(chǎng)景的數(shù)據(jù)、音頻數(shù)據(jù)等)，則將輸入的數(shù)據(jù)原樣地輸出。再有，這種綜合數(shù)據(jù)可以由圖15所示的部件進(jìn)行再生處理。
本發(fā)明包括以下變形。
本實(shí)施例是以利用MPEG-4功能的例來說明本發(fā)明，但本發(fā)明的適用范圍則不限于MPEG-4。要是采用具有處理屏蔽數(shù)據(jù)與運(yùn)動(dòng)矢量(運(yùn)動(dòng)參數(shù))功能的裝置以及處理方法，也是可以適應(yīng)的。此外，屏蔽圖案與運(yùn)動(dòng)圖案的編碼方法也不限于MPEG-4的算法。
再有，本實(shí)施例中特技效果數(shù)據(jù)的格式是如圖5～7、圖12與圖16所示，但格式內(nèi)各部分的布置則不限于其中所示。處理形狀數(shù)據(jù)、運(yùn)動(dòng)矢量等圖中所示部分包含的數(shù)據(jù)以及數(shù)據(jù)的生成處理方法，也統(tǒng)統(tǒng)包含在內(nèi)。
此外，本發(fā)明中成為施加特技效果的對(duì)象的視頻數(shù)據(jù)的形狀類型并無限定，而是可以應(yīng)用于任意對(duì)象。例如對(duì)于場(chǎng)景中出現(xiàn)的對(duì)象，在施加特技效果時(shí)也是可以使用的。此時(shí)，對(duì)于對(duì)象所具有的各種形狀數(shù)據(jù)都可使用特技效果。
本實(shí)施例對(duì)于成為特技效果對(duì)象有的場(chǎng)景是限于單一的對(duì)象進(jìn)行說明。但也可適用于由多個(gè)對(duì)象構(gòu)成的場(chǎng)景，這時(shí)所進(jìn)行的對(duì)象場(chǎng)景的合成可以對(duì)于合成圖象施加特技效果處理。
根據(jù)本發(fā)明，可以使伴隨有圖象變形的特技效果圖案程序庫化。還能配送用于實(shí)現(xiàn)特技效果的壓縮數(shù)據(jù)。此外，通過擴(kuò)大運(yùn)動(dòng)矢量來擴(kuò)大形狀數(shù)據(jù)，能削減特技效果用屏蔽數(shù)據(jù)的數(shù)據(jù)量。
上面結(jié)合


了本發(fā)明。但內(nèi)行的人是可以根據(jù)這里所公開的內(nèi)容對(duì)上述實(shí)施例作出種種改型而仍不背離后附權(quán)利要求書所規(guī)定的本
權(quán)利要求
1.一種特技效果數(shù)據(jù)編碼方法，它將特技效果用屏蔽圖樣以及用于變形任意再生圖象的運(yùn)動(dòng)圖案編碼，同時(shí)使1條數(shù)據(jù)多路復(fù)用。
2.根據(jù)權(quán)利要求1所述的特技效果數(shù)據(jù)編碼方法，上述多路復(fù)用的1條數(shù)據(jù)中包括表明根據(jù)運(yùn)動(dòng)圖案變形的圖象種類的信息(變形圖象信息)而且這種信息已編碼。
3.根據(jù)權(quán)利要求1所述的特技效果數(shù)據(jù)編碼方法，上述運(yùn)動(dòng)圖案的適用范圍是畫面整體。
4.根據(jù)權(quán)利要求1所述的特技效果數(shù)據(jù)編碼方法，上述運(yùn)動(dòng)圖案的適用范圍是局部畫面，由許多運(yùn)動(dòng)參數(shù)組構(gòu)成。
5.根據(jù)權(quán)利要求1所述的特技效果數(shù)據(jù)編碼方法，上述運(yùn)動(dòng)圖案包含示明變形后的圖象尺寸與顯示位置的信息。
6.根據(jù)權(quán)利要求1所述的特技效果數(shù)據(jù)編碼方法，在1幀數(shù)據(jù)中包含多個(gè)上述運(yùn)動(dòng)圖案。
7.根據(jù)權(quán)利要求1所述的特技效果數(shù)據(jù)編碼方法，上述屏蔽圖案由二進(jìn)制數(shù)據(jù)與透明度的電平構(gòu)成。
8.根據(jù)權(quán)利要求1所述的特技效果數(shù)據(jù)編碼方法，上述屏蔽圖案是灰度級(jí)數(shù)據(jù)。
9.一種特技效果顯示方法，它具有對(duì)包含屏蔽圖案與運(yùn)動(dòng)圖案的編碼數(shù)據(jù)進(jìn)行譯碼的譯碼處理；根據(jù)譯碼的屏蔽數(shù)據(jù)與運(yùn)動(dòng)參數(shù)相對(duì)于特技效果處理對(duì)象的輸入圖象或譯碼圖象進(jìn)行運(yùn)算的運(yùn)算處理。
10.根據(jù)權(quán)利要求9所述的特技效果顯示方法，前述編碼數(shù)據(jù)還包含示明變形圖象種類的變形圖象信息，而前述運(yùn)算處理還根據(jù)變形圖象信息進(jìn)行運(yùn)算。
11.根據(jù)權(quán)利要求9所述的特技效果處理方法，在相對(duì)于前述特技效果處理對(duì)象的輸入圖象或譯碼圖象進(jìn)行運(yùn)算的運(yùn)算處理，包括根據(jù)運(yùn)動(dòng)參數(shù)使屏蔽數(shù)據(jù)進(jìn)行變形的處理。
12.根據(jù)權(quán)利要求9所述的特技效果處理方法，在相對(duì)于前述特技效果處理對(duì)象的輸入圖象或譯碼圖象進(jìn)行運(yùn)算的運(yùn)算處理，包括根據(jù)運(yùn)動(dòng)參數(shù)將1個(gè)輸入圖象或譯碼圖象進(jìn)行變形的處理。
13.根據(jù)權(quán)利要求9所述的特技效果處理方法，其中對(duì)要特技效果處理的輸入圖象或譯碼圖象的所述運(yùn)算處理，包括根據(jù)運(yùn)動(dòng)參數(shù)，對(duì)成為特技效果處理對(duì)象的兩個(gè)輸入圖象或譯碼圖象的合成圖象進(jìn)行變形的處理。
14.一種特技效果數(shù)據(jù)編輯方法，它相對(duì)于所存儲(chǔ)的編碼視頻數(shù)據(jù)，將用于使圖象變形的運(yùn)動(dòng)圖案的編碼數(shù)據(jù)追加到前述已存儲(chǔ)的視頻數(shù)據(jù)中。
15.根據(jù)權(quán)利要求14所述的特技效果數(shù)據(jù)編輯方法，此特技效果數(shù)據(jù)編輯方法還將示明根據(jù)運(yùn)動(dòng)圖案所變形的圖象是顯示前的再生圖象還是運(yùn)動(dòng)補(bǔ)償用的參考圖象的信息編碼的數(shù)據(jù)多路復(fù)用。
全文摘要
在只將特技效果用屏蔽數(shù)據(jù)編碼的方法中過去未能使伴隨有運(yùn)動(dòng)的特技效果程序作為數(shù)據(jù)而程序庫化。為此，本發(fā)明通過使表示屏蔽圖案與運(yùn)動(dòng)圖案的數(shù)據(jù)編碼，將1條數(shù)據(jù)多路復(fù)用，而進(jìn)行伴隨有圖象變形的特技效果圖象的程序庫化。此外，還可以發(fā)送用于實(shí)現(xiàn)特技效果的壓縮數(shù)據(jù)，再通過擴(kuò)大的運(yùn)動(dòng)矢量來擴(kuò)展形狀數(shù)據(jù)就可能減少特技效果用屏蔽數(shù)據(jù)的數(shù)據(jù)量。
文檔編號(hào)H03M7/40GK1413017SQ0210518
公開日2003年4月23日 申請(qǐng)日期2002年2月25日 優(yōu)先權(quán)日2001年10月5日
發(fā)明者鈴木芳典 申請(qǐng)人:株式會(huì)社日立制作所