專利名稱：用節(jié)目制作參數(shù)進(jìn)行圖象運(yùn)動(dòng)估計(jì)的裝置及其方法
技術(shù)領(lǐng)域：
本發(fā)明涉及利用視頻節(jié)目制作參數(shù)進(jìn)行圖象運(yùn)動(dòng)估計(jì)的裝置及其方法，特別涉及將視頻節(jié)目攝取和處理過(guò)程中，描述平移、縮放鏡頭，場(chǎng)景切換和特技動(dòng)畫(huà)等操作參數(shù)加以提取，并轉(zhuǎn)換成一定的格式進(jìn)行存儲(chǔ)或傳輸?shù)囊曨l節(jié)目制作參數(shù)作為對(duì)平移或縮放鏡頭進(jìn)行圖象運(yùn)動(dòng)估計(jì)的裝置及其方法。
由于在幀序列的相鄰畫(huà)面之間，運(yùn)動(dòng)的部分具有連續(xù)性，所以利用反映運(yùn)動(dòng)的位移信息(運(yùn)動(dòng)矢量)，在前一幀基礎(chǔ)上可預(yù)測(cè)出當(dāng)前圖象。這種方法是當(dāng)前國(guó)際上運(yùn)動(dòng)圖象壓縮標(biāo)準(zhǔn)MPEG-2的基本思想。在圖象壓縮編碼中，尋找運(yùn)動(dòng)矢量的運(yùn)動(dòng)估計(jì)技術(shù)占有極為重要的地位，一般的處理方法是以幀序列為對(duì)象，進(jìn)行前后幀間對(duì)應(yīng)宏塊(16×16象素點(diǎn))的運(yùn)動(dòng)估計(jì)，找出各塊的運(yùn)動(dòng)矢量V(為方便省去V上的矢量標(biāo)志“箭頭”，其它矢量也如此)，但是若將運(yùn)動(dòng)情況細(xì)分，可以分為圖象中物體的運(yùn)動(dòng)和攝像機(jī)搖鏡頭的運(yùn)動(dòng)，在后一種情況下，隨攝像機(jī)的動(dòng)作，整幅圖象呈一致有規(guī)律的運(yùn)動(dòng)，由此對(duì)于特定宏塊，其運(yùn)動(dòng)矢量V可分為Vp和Vs的疊加V＝Vp+Vs其中Vp為攝像機(jī)鏡頭搖動(dòng)或縮放產(chǎn)生的運(yùn)動(dòng)矢量，Vs為圖象中物體自身運(yùn)動(dòng)產(chǎn)生的運(yùn)動(dòng)矢量，Vs可稱之為局部運(yùn)動(dòng)矢量。因?yàn)閂p對(duì)于整幅畫(huà)不同的宏塊呈一致規(guī)律，它可以根據(jù)攝像機(jī)操作信息經(jīng)簡(jiǎn)單運(yùn)算求出。
在進(jìn)行運(yùn)動(dòng)估計(jì)時(shí)，以各宏塊的Vp為基礎(chǔ)，可在較小的搜索范圍內(nèi)尋找匹配--因?yàn)檫@時(shí)只要找到局部運(yùn)動(dòng)的匹配，所以運(yùn)算量大為減小。并且這種方法可利用現(xiàn)有的搜索算法，只需在搜索之前加入全局運(yùn)動(dòng)矢量Vp作為偏置出發(fā)點(diǎn)，搜索完成后將Vp與Vs合成V即可。
全局運(yùn)動(dòng)矢量Vp下文簡(jiǎn)稱WMV(Wholesome-Motion-Vector)。
傳統(tǒng)運(yùn)動(dòng)估計(jì)方法，如

圖1所示，前一幀中靜立人物位于圖象左側(cè)，雙手向下，當(dāng)前幀中人物位于圖象右側(cè)，雙手上舉，這兩幀中人物位置和雙手位置的不同分別是攝像機(jī)鏡頭的平移運(yùn)動(dòng)與被攝對(duì)象的局部運(yùn)動(dòng)的反映。
如上所述，圖象內(nèi)容的變化有兩種原因，一種是上述的人工介入引起，一種是被攝對(duì)象自身運(yùn)動(dòng)引起的，而目前并不對(duì)原因加以區(qū)別，僅用統(tǒng)一的預(yù)分析方法來(lái)提取上述兩種圖象內(nèi)容變化信息，以便控制后面的進(jìn)一步處理。這是一種運(yùn)算量較大，并且難以找到一種普遍適用的最優(yōu)算法進(jìn)行精確分析的方法。日本專利號(hào)平2-305287，題為“圖象編碼方法”，則是為有移動(dòng)鏡頭的運(yùn)動(dòng)圖象建立一套通過(guò)運(yùn)動(dòng)補(bǔ)償，從而進(jìn)行壓縮的方法，但并未對(duì)攝像機(jī)操作過(guò)程中的參數(shù)進(jìn)行變換與利用。
在本申請(qǐng)人申請(qǐng)的CN96119867.2號(hào)專利，題為“視頻節(jié)目制作參數(shù)的提取方法及其系統(tǒng)”，提供了一種將視頻節(jié)目攝取和處理過(guò)程中，描述平移，縮放鏡頭、場(chǎng)景切換和特技動(dòng)畫(huà)等操作的參數(shù)加以提取，并轉(zhuǎn)換成一定的格式進(jìn)行存儲(chǔ)或傳輸?shù)囊曨l節(jié)目制作參數(shù)的提取方法及其系統(tǒng)。若能對(duì)這些參數(shù)加以利用，將大大優(yōu)化相應(yīng)的圖象處理過(guò)程。根據(jù)該發(fā)明的方法及其系統(tǒng)結(jié)構(gòu)，攝象機(jī)通過(guò)轉(zhuǎn)換開(kāi)關(guān)與編輯設(shè)備連接而構(gòu)成視頻和參數(shù)信號(hào)獲取部分，上述的視頻和參數(shù)信號(hào)獲取部分的攝像機(jī)輸出的視頻信號(hào)，經(jīng)過(guò)編輯設(shè)備完成編輯，或直接送到合成部分的合成電路。同時(shí)，攝像機(jī)和編輯設(shè)備通過(guò)轉(zhuǎn)換開(kāi)關(guān)與緩沖器連接。在操作的過(guò)程中，按動(dòng)操作攝像機(jī)和編輯設(shè)備的操作面板的按鍵，所產(chǎn)生的視頻節(jié)目制作參數(shù)信號(hào)，輸出送到合成部分的合成電路進(jìn)行與視頻信號(hào)的合成。合成后的視頻信號(hào)，可以用記錄媒體，如磁帶，進(jìn)行存儲(chǔ)。
節(jié)目制作參數(shù)信號(hào)由提取電路產(chǎn)生，在各自應(yīng)用場(chǎng)合譯碼成為有用信息。節(jié)目制作參數(shù)語(yǔ)法結(jié)構(gòu)，例如可以為特征碼字 子參數(shù)個(gè)數(shù) 子參數(shù)1 子參數(shù)2…校驗(yàn)碼字例如，攝取某一幀圖象時(shí)攝像機(jī)鏡頭相對(duì)于上一幀水平移動(dòng)了5個(gè)單元(向右)，垂直移動(dòng)了-3個(gè)單位(向上)，取平移操作(包括水平與垂直移動(dòng))特征碼字為03，它含有水平量、垂直量?jī)蓚€(gè)子能數(shù)，則該節(jié)目制作參數(shù)為0 3 0 2 0 0 0 5 F F F D F C F C其中，-3以補(bǔ)碼FFFD表示，F(xiàn)CFC為校驗(yàn)碼字。合成部分將節(jié)目制作參數(shù)信號(hào)插入視頻信號(hào)，例如，把節(jié)目制作參數(shù)信號(hào)加在視頻信號(hào)的掃描消隱期中。利用節(jié)目制作參數(shù)時(shí)，就必須將視頻信號(hào)與節(jié)目制作參數(shù)加以分離。并且還應(yīng)將不同的節(jié)目制作參數(shù)進(jìn)行分離，以便應(yīng)用于不同場(chǎng)合。
由此，本發(fā)明的目的是提供一種利用節(jié)目參數(shù)對(duì)平移、縮放鏡頭進(jìn)行圖象運(yùn)動(dòng)估計(jì)的裝置及其方法，以減小圖象運(yùn)動(dòng)估計(jì)搜索范圍，縮短搜索時(shí)間，減小計(jì)算量。
為實(shí)現(xiàn)上述目的，根據(jù)本發(fā)明的用節(jié)目制作參數(shù)進(jìn)行圖象運(yùn)動(dòng)估計(jì)的裝置，包括分離節(jié)目制作參數(shù)信號(hào)的分離部分；接收上述分離部分的節(jié)目制作參數(shù)信號(hào)，并經(jīng)過(guò)信息處理而輸出全局運(yùn)動(dòng)矢量的信息處理部；以及利用上述信息處理輸出的全局運(yùn)動(dòng)矢量通過(guò)處理輸出宏塊運(yùn)動(dòng)矢量的宏塊的運(yùn)動(dòng)矢量決定部。
根據(jù)本發(fā)明用節(jié)目參數(shù)進(jìn)行圖象運(yùn)動(dòng)估計(jì)的方法，包括使用分離部分，進(jìn)行分離節(jié)目制作參數(shù)信號(hào)的分離步驟；信息處理部接收上述分離部分的節(jié)目制作參數(shù)信號(hào)，進(jìn)行信息處理而得到全局運(yùn)動(dòng)矢量的步驟；以及上述信息處理部輸出的全局運(yùn)動(dòng)矢量送入宏塊的運(yùn)動(dòng)矢量決定部，通過(guò)上述宏塊的運(yùn)動(dòng)矢量決定部處理，決定宏塊運(yùn)動(dòng)矢量的步驟。
由于對(duì)視頻信息產(chǎn)生影響的操作信息與視頻信息一起送到運(yùn)動(dòng)估計(jì)系統(tǒng)，運(yùn)動(dòng)估計(jì)系統(tǒng)工作時(shí)，就得到了直接的指導(dǎo)，信息處理接收分離部分的節(jié)目制作參數(shù)信號(hào)，進(jìn)行信息處理而得到全局運(yùn)動(dòng)矢量，以及該信息處理部輸出的全局運(yùn)動(dòng)矢量送入宏塊的運(yùn)動(dòng)矢量決定部，通過(guò)該宏塊的運(yùn)動(dòng)矢量決定部處理，決定宏塊運(yùn)動(dòng)矢量。因而，減小了運(yùn)動(dòng)估計(jì)搜索范圍、縮短搜索時(shí)間、減小了計(jì)算量。
圖1是傳統(tǒng)運(yùn)動(dòng)估計(jì)方法示意圖；圖2是利用節(jié)目制作參數(shù)進(jìn)行圖象運(yùn)動(dòng)估計(jì)的系統(tǒng)框圖；圖3是說(shuō)明圖2的節(jié)目制作參數(shù)分離部分的工作原理圖；圖4a-4d是縮放鏡頭參數(shù)信息處理說(shuō)明圖；圖5是信息處理部分的流程圖；圖6a是標(biāo)準(zhǔn)MPEG-2編碼器圖；圖6b是改進(jìn)算法的MPEG-2編碼器圖。
下面，參照各個(gè)附圖，說(shuō)明本發(fā)明的實(shí)施方案。
上面我們已經(jīng)說(shuō)明了，節(jié)目制作參數(shù)信號(hào)被插入視頻信號(hào)，例如，把節(jié)目制作參數(shù)信號(hào)加在視頻信號(hào)的掃描消隱期中。利用節(jié)目制作參數(shù)時(shí)，就必須將視頻信號(hào)與節(jié)目制作參數(shù)加以分離，并且還應(yīng)將不同的節(jié)目制作參數(shù)進(jìn)行分離，以便應(yīng)用于不同場(chǎng)合。圖2是利用節(jié)目制作參數(shù)進(jìn)行圖象運(yùn)動(dòng)估計(jì)的系統(tǒng)框圖?？梢酝ㄟ^(guò)由同步電路1、定時(shí)電路2、視頻·參數(shù)分離電路3和節(jié)目制作分離電路4構(gòu)成的分離部分A來(lái)實(shí)現(xiàn)分離。由該分離部分A分離后的節(jié)目制作參數(shù)信號(hào)提供不同場(chǎng)合應(yīng)用，其中，所分離的平移鏡頭、縮放鏡頭及場(chǎng)景切換等操作的參數(shù)信號(hào)，送往信號(hào)處理部5。信息處理部5輸出的WMV或Vp，送入預(yù)測(cè)模塊6與矢量加法器9。該預(yù)測(cè)模塊6接收來(lái)自緩沖器7的前一幀視頻信號(hào)，在前一幀的基礎(chǔ)上利用從信息處理部5來(lái)的WMV，對(duì)當(dāng)前幀作出預(yù)測(cè)，并把信號(hào)送往局部運(yùn)動(dòng)估計(jì)模塊8。該局部運(yùn)動(dòng)估計(jì)模塊8接收從視頻·參數(shù)分離電路3的視頻信號(hào)與預(yù)測(cè)模塊6的預(yù)測(cè)信號(hào)，對(duì)這一幀進(jìn)行小范圍圖象運(yùn)動(dòng)估計(jì)，即，輸出局部運(yùn)動(dòng)矢量Vs，從信息處理部5來(lái)的WMV，即Vp，和從局部運(yùn)動(dòng)估計(jì)模塊8來(lái)的Vs，在矢量加法器9進(jìn)行合成，即疊加Vp和VsV＝Vp+Vs由此輸出特定宏塊的運(yùn)動(dòng)矢量V。
上述同步電路1從含節(jié)目制作參數(shù)的視頻信號(hào)中提取行、場(chǎng)同步頭，可以采用鎖相環(huán)電路實(shí)現(xiàn)。上述的定時(shí)電路2在行、場(chǎng)同步時(shí)刻向視頻·參數(shù)分離電路3提供脈沖，可由數(shù)字電路觸發(fā)器構(gòu)成。視頻·參數(shù)分離電路3是在行、場(chǎng)同步時(shí)刻從含節(jié)目制作參數(shù)的視頻信號(hào)中提取制作參數(shù)，該視頻·參數(shù)分離電路3可由門(mén)電路、多路開(kāi)關(guān)等構(gòu)成。視頻·參數(shù)分離部分A從含節(jié)目制作參數(shù)的視頻信號(hào)中如何提取制作參數(shù)的工作原理，如圖3所示。上述的信息處理部5用于識(shí)別分離不同操作參數(shù)，送到不同應(yīng)用的電路，通?？梢杂肅PU、DSP或多路開(kāi)關(guān)組成。信息處理部5用于將操作參數(shù)轉(zhuǎn)換成WMV，可用DSP、或FPGA(現(xiàn)場(chǎng)可偏程門(mén)陣列)組成。預(yù)測(cè)模塊6在前一幀的基礎(chǔ)上利用WMV，對(duì)當(dāng)前幀作出預(yù)測(cè)，該預(yù)測(cè)模塊6可利用已有編碼器模塊芯片或用DSP構(gòu)成。
接著，通過(guò)圖4a-4d縮放鏡頭參數(shù)信息處理說(shuō)明圖，說(shuō)明平移鏡頭參數(shù)信息處理及縮放鏡頭參數(shù)信息處理方法。
由攝像機(jī)得到的操作參數(shù)，描述了攝像機(jī)的操作過(guò)程，但將參數(shù)轉(zhuǎn)化成相應(yīng)的WMV，還需要進(jìn)行一定的信息處理。信息處理部5就是由平移/縮放鏡頭操作參數(shù)轉(zhuǎn)化成相應(yīng)的WMV的處理部分。對(duì)于平移鏡頭圖象，所有宏塊的WMV都相同，處理也比較簡(jiǎn)單。當(dāng)已知一個(gè)序列的三幀連續(xù)圖象，同時(shí)已知攝像機(jī)給出的第一、二幀間平移信號(hào)a12和第二、三幀間平移信號(hào)a23，則第一、二幀的WMV信號(hào)Vp12和第二、三幀間的WMV信號(hào)Vp23滿足Vp12/a12＝Vp23/a23當(dāng)用預(yù)處理方法得到的一、二幀間的WMV信號(hào)Vp12后，根據(jù)來(lái)自攝像機(jī)的a12、a23，就能求出Vp23，同理，由Vp23和a23、a34，得到后面的Vp34，以此類推……直至場(chǎng)景改變。這個(gè)過(guò)程既充分利用了攝像機(jī)的平移參數(shù)，又簡(jiǎn)單而有效地實(shí)現(xiàn)了平移鏡頭參數(shù)與WMV的對(duì)應(yīng)與校準(zhǔn)。但關(guān)鍵是尋找Vp12的預(yù)處理方法必須足夠可靠。
與平移鏡頭參數(shù)信息處理算法類似，在某一坐標(biāo)點(diǎn)a，對(duì)于一個(gè)序列的三幀連續(xù)圖象，已知攝像機(jī)給出的第一、二幀間縮放信號(hào)a12和第二、三幀間縮放信號(hào)a23，則第一、二幀間的WMV信號(hào)Vap12和第二、三幀間的WMV信號(hào)Vap12滿足Vpa12/a12＝Vpa23/a23當(dāng)用預(yù)處理方法得到的第一、二幀間的WMV信號(hào)Vap12后，根據(jù)來(lái)自攝像機(jī)的a12和a23，就能求出Vap23，并推出以后的WMV。Vap12的尋找方法在下面探討。
當(dāng)攝像機(jī)進(jìn)行縮放操作時(shí)，整幅圖象呈有規(guī)律的放射狀運(yùn)動(dòng)，放射中心即圖象中心，如圖4a和4b所示，但對(duì)于不同的宏塊，各自的WMV不同。
如圖4c所示，相鄰的兩幀間鏡頭由M1拉至M2，引起圖象攝取范圍由A1A1′變?yōu)锳2A2′，但圖象本身大小不變，所以對(duì)于給定點(diǎn)，它在圖象上的坐標(biāo)也就發(fā)生變化。
設(shè)OP＝x，OA1＝y(tǒng)1，OA2＝y(tǒng)2則第一幀中P點(diǎn)坐標(biāo)x/y1，第二幀中坐標(biāo)為x/y2可得，P點(diǎn)坐標(biāo)變化/P點(diǎn)坐標(biāo)＝Δy/y1(Δy＝y(tǒng)2-y1)可見(jiàn)，在同一幀中，各宏塊相對(duì)于上一幀的WMV/宏塊與圖象的中心距＝常數(shù)；因此我們只需知道某一宏塊WMV的值Vpa，根據(jù)圖象中心至該宏塊中心的幾何矢量ra，就可以估計(jì)出rb處另一宏塊WMV的值Vpb，如圖4d所示。
rpb＝|rb/ra|/|Vpa|…………(2)與平移鏡頭參數(shù)信息處理算法類似，縮放鏡頭參數(shù)信息處理也必須有尋找Vpa的可靠方法。
接著，說(shuō)明尋找Vp12和Vpa的方法。WMV信號(hào)Vp12和Vpa作為平移鏡頭參數(shù)和縮放鏡頭參數(shù)信息處理的起始點(diǎn)，對(duì)整個(gè)處理系統(tǒng)起著關(guān)鍵性的作用，找到的Vp12和Vpa必須真實(shí)反映鏡頭運(yùn)動(dòng)產(chǎn)生的影響，這樣后續(xù)的處理才是準(zhǔn)確有效的。在整幅圖象中取若干個(gè)平均分布點(diǎn)，找到各自的運(yùn)動(dòng)矢量。這些取樣點(diǎn)(運(yùn)動(dòng)矢量)由于物體局部的運(yùn)動(dòng)，在真實(shí)值(WMV)附加擾動(dòng)，假設(shè)正負(fù)擾動(dòng)具有相同的概率，可運(yùn)用概率統(tǒng)計(jì)方法，以統(tǒng)計(jì)近似值得到WMV。
接著，說(shuō)明信息處理部5由平移/縮放鏡頭操作參數(shù)計(jì)算相應(yīng)的WMV的流程，如圖5所示。當(dāng)該信息處理部5收到節(jié)目制作分離電路4來(lái)的視頻·參數(shù)信號(hào)時(shí)，信息處理部5進(jìn)行步驟S1，如有場(chǎng)景切換，即Y，則進(jìn)行步驟S2，尋找Vp12/Vpa12；如沒(méi)有場(chǎng)景切換，即N，則轉(zhuǎn)到步驟S2，讀取Vp12/Vpa12。然后進(jìn)行步驟S3，對(duì)每一宏塊，由平移或縮放操作參數(shù)，按上述的關(guān)系式(1)、(2)或(3)，算出WMV值。接著進(jìn)行S4，更新Vp12/Vpa12，然后返回步驟S1。
圖6a是標(biāo)準(zhǔn)MPEG-2編碼器圖。在標(biāo)準(zhǔn)MPEG-2編碼中，當(dāng)前幀與運(yùn)動(dòng)補(bǔ)償?shù)玫降漠?dāng)前幀的估計(jì)值進(jìn)行差分，差值再進(jìn)行離散余弦變換(DCT)，將變換后得到的結(jié)果進(jìn)行量化，然后一路徑可變長(zhǎng)編碼(VLC)后進(jìn)入緩沖器。根據(jù)緩沖器的充滿度，對(duì)量化步長(zhǎng)進(jìn)行調(diào)整，量化后的另一路結(jié)果再經(jīng)過(guò)反量化及逆離散余弦變換(IDCT)后，與前面的當(dāng)前幀的估計(jì)值合成恢復(fù)當(dāng)前幀，進(jìn)入運(yùn)動(dòng)補(bǔ)償部分，運(yùn)動(dòng)估計(jì)部分根據(jù)新進(jìn)入的一幀與恢復(fù)后的當(dāng)前幀得到下一幀的運(yùn)動(dòng)矢量，送入運(yùn)動(dòng)補(bǔ)償部分，由此運(yùn)動(dòng)補(bǔ)償部分以恢復(fù)后的當(dāng)前幀為基礎(chǔ)對(duì)下一幀作出運(yùn)動(dòng)估計(jì)。
改進(jìn)算MEG-2編碼器，如圖6b所示，主體部分與標(biāo)準(zhǔn)編碼器相似。不同的是在運(yùn)動(dòng)估計(jì)部分，由WMV獲取部分得到下一幀WMV的信號(hào)，作出下一幀信號(hào)的WMV修正，消除了人為操作引起的圖象運(yùn)動(dòng)。在局部運(yùn)動(dòng)估計(jì)部分，比較WMV修改的下一幀信號(hào)與恢復(fù)后的當(dāng)前幀得到局部運(yùn)動(dòng)矢量，代表了被攝對(duì)象的局部運(yùn)動(dòng)，將全局運(yùn)動(dòng)矢量與局部運(yùn)動(dòng)矢量合成，獲得完整的運(yùn)動(dòng)矢量送入運(yùn)動(dòng)補(bǔ)償部分。其它各部分的操作與標(biāo)準(zhǔn)編碼器相同。
根據(jù)本發(fā)明的用節(jié)目制作參數(shù)進(jìn)行圖象運(yùn)動(dòng)估計(jì)的方法，包括使用分離部分A，分離節(jié)目制作參數(shù)信號(hào)的分離步驟；信息處理部5接收上述分離部分A的節(jié)目制作參數(shù)信號(hào)，進(jìn)行信息處理而得到全局運(yùn)動(dòng)矢量的步驟；以及上述信息處理部5輸出的全局運(yùn)動(dòng)矢量送入宏塊的運(yùn)動(dòng)矢量決定部B，通過(guò)上述宏塊的運(yùn)動(dòng)矢量決定部B處理，決定宏塊運(yùn)動(dòng)矢量的步驟。
根據(jù)本發(fā)明的上述進(jìn)行圖象運(yùn)動(dòng)估計(jì)的方法，上述的節(jié)目制作參數(shù)信號(hào)的分離步驟，進(jìn)一步包括上述同步電路1從含節(jié)目制作參數(shù)的視頻信號(hào)，進(jìn)行提取行場(chǎng)同步頭的步驟；根據(jù)上述提取行、場(chǎng)同步頭信號(hào)，使上述的定時(shí)電路2在行、場(chǎng)同步時(shí)刻向視頻·參數(shù)分離電路3提供脈沖的步驟；及上述視頻·參數(shù)分離電路3在行、場(chǎng)同步時(shí)刻從含節(jié)目制作參數(shù)的視頻信號(hào)中提取節(jié)目制作參數(shù)的步驟。
根據(jù)上述圖象運(yùn)動(dòng)估計(jì)的方法，所述決定宏塊的運(yùn)動(dòng)矢量的步驟還包括該預(yù)測(cè)模塊6接收來(lái)自緩沖器7的前一幀視頻信號(hào)，在前一幀的基礎(chǔ)上利用從信息處理部5來(lái)的Vp(WMV)，對(duì)當(dāng)前幀作出預(yù)測(cè)，并把信號(hào)送往局部運(yùn)動(dòng)估計(jì)模塊8的步驟；該局部運(yùn)動(dòng)估計(jì)模塊8接收從視頻·參數(shù)分離電路3的視頻信號(hào)與預(yù)測(cè)模塊6的預(yù)測(cè)信號(hào)，對(duì)這一幀進(jìn)行小范圍運(yùn)動(dòng)估計(jì)，得到Vs的步驟；將從信息處理部5來(lái)的Vp(WMV)和從局部運(yùn)動(dòng)估計(jì)模塊8來(lái)的Vs，在矢量加法器9進(jìn)行合成，由此輸出特定宏塊的運(yùn)動(dòng)矢量的步驟。
本發(fā)明人對(duì)本發(fā)明的裝置進(jìn)行實(shí)驗(yàn)，取平移鏡頭HDTV圖象序列“滑雪”進(jìn)行圖象壓縮實(shí)驗(yàn)，源圖象大小1440×1152，共十三幀，壓縮碼率為20Mbits。通過(guò)實(shí)驗(yàn)，其結(jié)果表明，改進(jìn)方法與標(biāo)準(zhǔn)方法得到的圖象質(zhì)量大致相同，但搜索范圍約減小為11％，編碼速度卻大為提高。
再取平移鏡頭SDTV圖象序列“打乒乓”進(jìn)行圖象壓縮實(shí)驗(yàn)，源圖象大小720×576，共十三幀，壓縮碼率為6Mbits，通過(guò)實(shí)驗(yàn)，其結(jié)果表明，改進(jìn)方法與標(biāo)準(zhǔn)方法得到的圖象質(zhì)量大致相同，但搜索范圍大大減小。
上面，已通過(guò)實(shí)施例和附圖，詳細(xì)地說(shuō)明了本發(fā)明，但是，本發(fā)明不僅僅限于上述實(shí)施例，本領(lǐng)域的技術(shù)人員不難從本發(fā)明所揭示的裝置和方法中得到啟示，而對(duì)本發(fā)明裝置和方法，例如，分離節(jié)目制作參數(shù)信號(hào)的分離部分、信息處理部及宏塊的運(yùn)動(dòng)矢量決定部的電路結(jié)構(gòu)作出各種各樣的改變或修改。很清楚，這種改變或修改不應(yīng)認(rèn)為已脫離了本發(fā)明的構(gòu)思和權(quán)利要求書(shū)的范圍。
權(quán)利要求
1.一種用節(jié)目參數(shù)進(jìn)行圖象運(yùn)動(dòng)估計(jì)的裝置，其特征是，包括分離節(jié)目制作參數(shù)信號(hào)的分離部分；接收上述分離部分的節(jié)目制作參數(shù)信號(hào)，并經(jīng)過(guò)信息處理而輸出全局運(yùn)動(dòng)矢量的信息處理部；以及利用上述信息處理部輸出的全局運(yùn)動(dòng)矢量，通過(guò)處理而輸出宏塊的運(yùn)動(dòng)矢量的宏塊運(yùn)動(dòng)矢量決定部。
2.根據(jù)權(quán)利要求1的圖象運(yùn)動(dòng)估計(jì)的裝置，其特征是，上述的分離部分包括同步電路1、定時(shí)電路2、視頻·參數(shù)分離電路4，上述同步電路1從含節(jié)目制作參數(shù)的視頻信號(hào)中提取行、場(chǎng)同步頭，使上述的定時(shí)電路2在行、場(chǎng)同步時(shí)刻向視頻·參數(shù)分離電路3提供脈沖；上述視頻·參數(shù)分離電路3在行、場(chǎng)同步時(shí)刻從含節(jié)目制作參數(shù)的視頻信號(hào)中提取制作參數(shù)。
3.根據(jù)權(quán)利要求1的圖象運(yùn)動(dòng)估計(jì)的裝置，其特征是，上述的宏塊運(yùn)動(dòng)矢量決定部包括預(yù)測(cè)模塊6、緩種器7、局部運(yùn)動(dòng)估計(jì)模塊8與矢量加法器9，該預(yù)測(cè)模塊6接收來(lái)自緩沖器7的前一幀視頻信號(hào)，在前一幀的基礎(chǔ)上利用從信息處理部5來(lái)的全局運(yùn)動(dòng)矢量，對(duì)當(dāng)前幀作出預(yù)測(cè)，并把信號(hào)送往局部運(yùn)動(dòng)估計(jì)模塊8；該局部運(yùn)動(dòng)估計(jì)模塊8接收從視頻·參數(shù)分離電路3的視頻信號(hào)與預(yù)測(cè)模塊6的預(yù)測(cè)信號(hào)，對(duì)這一幀進(jìn)行小范圍運(yùn)動(dòng)估計(jì)，而輸出局部運(yùn)動(dòng)矢量；以及從信息處理部5來(lái)的全局運(yùn)動(dòng)矢量和從局部運(yùn)動(dòng)估計(jì)模塊8來(lái)的局部運(yùn)動(dòng)矢量，在矢量加法器9進(jìn)行合成，由此輸出特定宏塊的宏塊的運(yùn)動(dòng)矢量。
4.根據(jù)權(quán)利要求1的圖象運(yùn)動(dòng)估計(jì)的裝置，其特征是，當(dāng)前幀與運(yùn)動(dòng)補(bǔ)償?shù)玫降漠?dāng)前幀的估計(jì)值進(jìn)行差分，差值再進(jìn)行離散余弦變換，將變換后得到的結(jié)果進(jìn)行量化，然后一路徑可變長(zhǎng)編碼后進(jìn)入緩沖器，根據(jù)緩沖器的充滿度，對(duì)量化步長(zhǎng)進(jìn)行調(diào)整，量化后的另一路結(jié)果再經(jīng)過(guò)反量化及逆離散余弦變換后，與前面的當(dāng)前幀的估計(jì)值合成恢復(fù)當(dāng)前幀，進(jìn)入運(yùn)動(dòng)補(bǔ)償部分，由上述信息處理部輸出全局運(yùn)動(dòng)矢量，作出下一幀信號(hào)的修正，在局部運(yùn)動(dòng)估計(jì)部分，比較全局運(yùn)動(dòng)矢量修正的下一幀信號(hào)與恢復(fù)后的當(dāng)前幀得到局部運(yùn)動(dòng)矢量，并將全局運(yùn)動(dòng)矢量與局部運(yùn)動(dòng)矢量合成，獲得完整運(yùn)動(dòng)矢量送入運(yùn)動(dòng)補(bǔ)償部分由此運(yùn)動(dòng)補(bǔ)償部分以恢復(fù)后的當(dāng)前幀為基礎(chǔ)對(duì)下一幀作出運(yùn)動(dòng)估計(jì)。
5.一種用節(jié)目參數(shù)進(jìn)行圖象運(yùn)動(dòng)估計(jì)的裝置，其特征是，包括使用分離部分，分離節(jié)目制作參數(shù)信號(hào)的分離步驟；信息處理部接收上述分離部分的節(jié)目制作參數(shù)信號(hào)，進(jìn)行信息處理而得到全局運(yùn)動(dòng)矢量的步驟；以及上述信息處理部輸出的全局運(yùn)動(dòng)矢量送入宏塊的運(yùn)動(dòng)矢量決定部，通過(guò)上述宏塊的運(yùn)動(dòng)矢量決定部處理，決定宏塊的運(yùn)動(dòng)矢量的步驟。
6.根據(jù)權(quán)利要求5的圖象運(yùn)動(dòng)估計(jì)方法，其特征是，上述的節(jié)目制作參數(shù)信號(hào)的分離步驟，進(jìn)一步包括上述同步電路1從含節(jié)目制作參數(shù)的視頻信號(hào)，進(jìn)行提取行、場(chǎng)同步頭的步驟；根據(jù)上述提取行、場(chǎng)同步頭信號(hào)，使上述的定時(shí)電路2在行、場(chǎng)同步時(shí)刻向視頻·參數(shù)分離電路3提供脈沖的步驟；及上述視頻·參數(shù)分離電路3在行、場(chǎng)同步時(shí)刻從含節(jié)目制作參數(shù)的視頻信號(hào)中提取制作參數(shù)的步驟。
7.根據(jù)權(quán)利要求5的圖象運(yùn)動(dòng)估計(jì)方法，其特征是，上述得到全局運(yùn)動(dòng)矢量的步驟包括當(dāng)該信息處理部5收到節(jié)目制作分離電路4來(lái)的視頻·參數(shù)信號(hào)時(shí)，信息處理部5執(zhí)行步驟S1；當(dāng)具有場(chǎng)景切換時(shí)，則執(zhí)行步驟S2，尋找Vp12/Vpa12，當(dāng)沒(méi)場(chǎng)景切換時(shí)，則轉(zhuǎn)到步驟S2′，讀取Vp12/Vpa12；接著執(zhí)行步驟S3，對(duì)每一個(gè)宏塊，由平移或縮放操作參數(shù)，獲得全局運(yùn)動(dòng)矢量值，以及執(zhí)行步驟S4，更新Vp12/Vpa12，然后返回步驟S1。
8.根據(jù)權(quán)利要求5的圖象運(yùn)動(dòng)估計(jì)方法，其特征是，上述決定宏塊運(yùn)動(dòng)矢量的步驟還包括該預(yù)測(cè)模塊6接收來(lái)自緩沖器7的前一幀視頻信號(hào)，在前一幀的基礎(chǔ)上利用從信息處理部5來(lái)的全局運(yùn)動(dòng)矢量，對(duì)當(dāng)前幀作出預(yù)測(cè)，并把信號(hào)送往局部運(yùn)動(dòng)估計(jì)模塊8的步驟；該局部運(yùn)動(dòng)估計(jì)模塊8接收從視頻·參數(shù)分離電路3的視頻信號(hào)與預(yù)測(cè)模塊6的預(yù)測(cè)信號(hào)，對(duì)這一幀進(jìn)行小范圍運(yùn)動(dòng)估計(jì)，得到局部運(yùn)動(dòng)矢量的步驟；以及從信息處理部5來(lái)的全部運(yùn)動(dòng)矢量和從局部運(yùn)動(dòng)估計(jì)模塊8來(lái)的局部運(yùn)動(dòng)矢量，在矢量加法器9進(jìn)行合成，由此輸出特定宏塊的宏塊的運(yùn)動(dòng)矢量的步驟；
9.根據(jù)權(quán)利要求5的圖象運(yùn)動(dòng)估計(jì)方法，其特征是，當(dāng)前幀與運(yùn)動(dòng)補(bǔ)償?shù)玫降漠?dāng)前幀的估計(jì)值進(jìn)行差分，差值再進(jìn)行離散余弦變換，將變換后得到的結(jié)果進(jìn)行量化，然后一路徑可變長(zhǎng)編碼后進(jìn)入緩沖器，根據(jù)緩沖器的充滿度，對(duì)量化步長(zhǎng)進(jìn)行調(diào)整，量化后的另一路結(jié)果再經(jīng)過(guò)反量化及逆離散余弦變換后，與前面的當(dāng)前幀的估計(jì)值合成恢復(fù)當(dāng)前幀，進(jìn)入運(yùn)動(dòng)補(bǔ)償部分，由上述信息處理部5輸出全局運(yùn)動(dòng)矢量全局運(yùn)動(dòng)矢量，作出一下幀信號(hào)的全局運(yùn)動(dòng)矢量修正，在局部運(yùn)動(dòng)估計(jì)部分，比較全局運(yùn)動(dòng)矢量修正的下一幀信號(hào)與恢復(fù)后的當(dāng)前幀得到局部運(yùn)動(dòng)矢量，并將全局運(yùn)動(dòng)矢量與局部運(yùn)動(dòng)夭量合成，獲得完整運(yùn)動(dòng)矢量送入運(yùn)動(dòng)補(bǔ)償部分以恢復(fù)后的當(dāng)前幀為基礎(chǔ)對(duì)下一幀作出運(yùn)動(dòng)估計(jì)。
全文摘要
本發(fā)明涉及一種用節(jié)目參數(shù)進(jìn)行圖象運(yùn)動(dòng)估計(jì)的裝置及其方法，本裝置包括分離節(jié)目制作參數(shù)信號(hào)的分離部分；接收上述分離部分的節(jié)目制作參數(shù)信號(hào)，并經(jīng)過(guò)信息處理而輸出全局運(yùn)動(dòng)矢量的信息處理部；以及利用上述信息處理部輸出的全局運(yùn)動(dòng)矢量，通過(guò)處理而輸出宏塊運(yùn)動(dòng)矢量的宏塊的運(yùn)動(dòng)矢量決定部，結(jié)果表明，使用本裝置及方法可得到與傳統(tǒng)方法質(zhì)量同樣清晰的圖象，但搜索范圍卻大大減小，編碼速度大為提高。
文檔編號(hào)H04N5/268GK1163533SQ97100148
公開(kāi)日1997年10月29日 申請(qǐng)日期1997年1月10日 優(yōu)先權(quán)日1997年1月10日
發(fā)明者杜百川, 顧峻楓 申請(qǐng)人:廣播電影電視部廣播科學(xué)研究院