專利名稱：壓縮包括交替鏡頭的視頻序列的數(shù)字?jǐn)?shù)據(jù)的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于利用“子畫面(sprite)”對由交替鏡頭(alternating shot)構(gòu)成的視頻序列的數(shù)字?jǐn)?shù)據(jù)進(jìn)行壓縮的方法，還涉及一種用于實(shí)現(xiàn)該方法的設(shè)備。本發(fā)明屬于視頻壓縮的通用環(huán)境，并且具體地，屬于MPEG-4視頻標(biāo)準(zhǔn)領(lǐng)域。
背景技術(shù)：
例如，在PMEG-4標(biāo)準(zhǔn)中定義了術(shù)語“子畫面(sprite)”作為通常比正在顯示的視頻尺寸更大并且持續(xù)一定時(shí)間的視頻對象平面(VOP)。其用于表示一個(gè)或多個(gè)例如背景之類的靜止區(qū)域，并通過劃分為宏塊來進(jìn)行編碼。通過傳輸表示全景背景的子畫面以及對描述了攝影機(jī)運(yùn)動的位移參數(shù)和例如表示了子畫面的漸縮變換的參數(shù)進(jìn)行編碼，可以從該單一的子畫面來重構(gòu)序列的連續(xù)圖像。
具體地，本發(fā)明涉及包括從相似的攝影機(jī)角度交替產(chǎn)生的連續(xù)鏡頭的視頻序列。例如，這可以是采訪序列，其中交替地看到采訪者與被采訪者，分別相對不同但絕大部分部分是靜止的背景。這種交替并不局限于兩個(gè)不同的攝像機(jī)角度。該序列可以由從Q個(gè)不同攝像機(jī)角度產(chǎn)生的N個(gè)鏡頭構(gòu)成。
傳統(tǒng)類型的編碼技術(shù)不考慮這種類型的序列，因此，其編碼成本或壓縮因子與其它序列的相等。實(shí)際上，傳統(tǒng)技術(shù)是，在每一個(gè)鏡頭的開始，按照幀內(nèi)模式來編碼圖像，緊接跟隨該圖像的是預(yù)測模式的圖像。如果從第一攝像機(jī)角度拍攝的鏡頭出現(xiàn)了第一次，其后是從另一個(gè)攝像機(jī)角度拍攝的鏡頭，然后是從第一攝像機(jī)鏡頭拍攝的鏡頭，則即使由被排成影片的場景的背景所形成的較大部分與第一鏡頭的圖像相似，也全部按照幀內(nèi)模式對該鏡頭的第一圖像進(jìn)行編碼。這導(dǎo)致了較高的編碼成本。
在此之前已經(jīng)示出的背景的重新編碼這一問題的公知解決方案是，在每一次檢測到鏡頭的變化時(shí)，存儲鏡頭的最后一個(gè)圖像。在新鏡頭的開始處，從所存儲的圖像中選擇與第一圖像最類似并因此與相同的攝像機(jī)角度相對應(yīng)的一個(gè)圖像作為參考，利用時(shí)間預(yù)測對第一圖像進(jìn)行編碼?？梢哉J(rèn)為該解決方案直接得到了被稱作“多幀參考”的工具的啟示，例如，在發(fā)展中的MPEG-4 part 10中可以獲得。然而，這種解決方案存在存儲器饑餓問題，難以實(shí)現(xiàn)并且成本較高。

發(fā)明內(nèi)容
本發(fā)明針對上述缺點(diǎn)。本發(fā)明的主題是一種用于壓縮視頻序列的數(shù)字?jǐn)?shù)據(jù)的方法，其特征在于包括以下步驟-將序列劃分為交替的視頻鏡頭，-根據(jù)攝像機(jī)角度將這些鏡頭分類，以便獲得類別，-針對一個(gè)類別構(gòu)造子畫面或視頻對象平面，作為與涉及該類別的背景相對應(yīng)的合成圖像，-將至少兩個(gè)子畫面分組為相同的子畫面或視頻對象平面，以便形成被稱作大子畫面的圖像，-對于與所述大子畫面對應(yīng)的鏡頭，從涉及這些鏡頭的序列中提取圖像前景對象(foreground object)，-分別編碼大子畫面和所提取的前景對象。
根據(jù)具體實(shí)施例，相疊地(one under the other)設(shè)置子畫面，以便構(gòu)造大子畫面。
根據(jù)具體實(shí)施例，作為大子畫面的編碼成本的函數(shù)，來計(jì)算子畫面的位置。
例如，由MPEG-4編碼來實(shí)現(xiàn)編碼，然后，根據(jù)在MPEG-4標(biāo)準(zhǔn)中定義的子畫面來編碼大子畫面。
根據(jù)具體實(shí)施例，對于涉及所提取的前景對象的數(shù)據(jù)和涉及大子畫面的數(shù)據(jù)，執(zhí)行多路復(fù)用操作(8)，以便傳送數(shù)據(jù)流。
本發(fā)明的另一個(gè)主題是壓縮的數(shù)據(jù)流，用于根據(jù)前述的方法對圖像序列的編碼，其特征在于包括用于與可應(yīng)用到大子畫面的變形參數(shù)相關(guān)聯(lián)的大子畫面的編碼數(shù)據(jù)，以及用于所提取的前景對象的編碼數(shù)據(jù)。
本發(fā)明的另一個(gè)主題是一種用于根據(jù)前述方法來編碼數(shù)據(jù)的編碼器，其特征在于包括處理電路，用于將序列分類為鏡頭，構(gòu)造用于每一個(gè)類別的子畫面，并且通過拼接(concatenation)這些子畫面來合成大子畫面；用于從涉及大畫面的序列中提取圖像前景對象的電路；以及用于編碼大子畫面和所提取的前景對象的編碼電路。
本發(fā)明的另一個(gè)主題是一種用于根據(jù)前述方法來解碼包括交替鏡頭的視頻序列的視頻數(shù)據(jù)的解碼器，其特征在于包括解碼電路，用于涉及大子畫面的數(shù)據(jù)和涉及前景對象的數(shù)據(jù)；以及用于從已解碼數(shù)據(jù)中構(gòu)造圖像的電路。
使用了子畫面，以便描述由相同的攝像機(jī)角度產(chǎn)生的視頻鏡頭集合的背景。只對該子畫面編碼一次。然后，對于這些視頻鏡頭中的每一個(gè)圖像，該方法是編碼要應(yīng)用到子畫面的變形參數(shù)，以便重構(gòu)圖像中背景的可見部分。對于背景對象，作為非矩形視頻對象或VOP(視頻對象平面)對其進(jìn)行編碼。當(dāng)解碼時(shí)，利用背景來合成這些VOP，以便獲得最終的圖像。由于序列包括從多個(gè)攝像機(jī)角度產(chǎn)生的鏡頭，所以需要多個(gè)子畫面。本發(fā)明的一個(gè)具體實(shí)施例是將這些多個(gè)子畫面拼接為單一的大子畫面，然后把完整視頻序列的多個(gè)背景相加。
由于本發(fā)明，避免了在每次重新出現(xiàn)該背景時(shí)對背景進(jìn)行的重新編碼。相對于MPEG-2或H.263類型的編碼方案，減小了這種類型的視頻序列的壓縮成本。


參考附圖，在利用非限制性的示例所表示的以下說明中，顯然其它特征和優(yōu)點(diǎn)會變得清楚，其中示出了-圖1，根據(jù)本發(fā)明的編碼方法的流程圖；-圖2，大子畫面中的子畫面的集成；-圖3，位于大子畫面的頂部和底部邊緣的子畫面塊；以及
-圖4，在利用DC/AC預(yù)測進(jìn)行編碼的環(huán)境中的當(dāng)前塊。
具體實(shí)施例方式
圖1示出了根據(jù)本發(fā)明的編碼方法的簡化流程圖?？梢詫⒃摲椒▌澐譃閮蓚€(gè)主要階段分析階段和編碼階段。
分析階段包括用于將視頻序列劃分為鏡頭的第一步驟1。第二步驟2根據(jù)產(chǎn)生鏡頭的攝像機(jī)角度來對鏡頭進(jìn)行分類。將一個(gè)類別定義為從相同攝像機(jī)角度產(chǎn)生的鏡頭的子集。對于每一個(gè)子集，第三步驟執(zhí)行在鏡頭的子集中“加入(summarizing)”了可見背景的子畫面的構(gòu)造。對于子集中的鏡頭的每一個(gè)圖像，還計(jì)算了變形參數(shù)，所述參數(shù)使得能夠從子畫面中重構(gòu)背景的可見部分。圖像分割步驟4對于多個(gè)鏡頭的每一個(gè)圖像執(zhí)行分割，分割的目的是能夠?qū)⒈尘芭c前景加以區(qū)分。該步驟允許從每一個(gè)圖像中提取前景對象。與步驟4并行執(zhí)行并因此緊接在步驟3之后的步驟5是利用考慮到大子畫面中每一個(gè)子畫面的位置的變形參數(shù)的更新，將多個(gè)子畫面拼接為單個(gè)大子畫面。
編碼階段緊接在分析階段之后。步驟6和7分別緊接在步驟4和5之后，并且分別產(chǎn)生用于編碼背景的視頻比特流和用于編碼大子畫面的視頻比特流。然后，在步驟8多路復(fù)用這些比特流，以便傳送該視頻編碼流。
用于劃分為鏡頭的步驟1通過比較連續(xù)的圖像，例如通過使用用于檢測鏡頭變化的算法來將序列劃分為視頻鏡頭。分類步驟2根據(jù)其內(nèi)容，比較所獲得的多個(gè)鏡頭，并對相似的鏡頭進(jìn)行分組，換句話說，將從相同或幾乎相同的攝像機(jī)角度產(chǎn)生的鏡頭劃分為相同類別。
步驟4實(shí)現(xiàn)了前景對象的提取。對于視頻序列的每一個(gè)圖像，計(jì)算用于區(qū)分背景和前景的連續(xù)二進(jìn)制掩模(mask)。因此，在該步驟4之后，對于每一個(gè)鏡頭，指示了與前景和背景相分離部分的一連串二進(jìn)制或其它的掩模是可用的。在非二進(jìn)制處理的情況下，實(shí)際上掩模與灰度形狀卡(grey-shape card)相對應(yīng)。
能夠按照如上所述的使該大子畫面的編碼成本最小的方式來實(shí)現(xiàn)在步驟5中執(zhí)行的子畫面到大子畫面的拼接。其中，編碼信息是紋理信息和變形信息。例如，變形信息是可以作為時(shí)間的函數(shù)應(yīng)用到大子畫面的連續(xù)變形參數(shù)，當(dāng)產(chǎn)生大子畫面時(shí)，對其進(jìn)行更新。實(shí)際上，當(dāng)被應(yīng)用到大子畫面時(shí)，是這些變換參數(shù)允許構(gòu)造并更新多個(gè)鏡頭所需的背景。在步驟7發(fā)送該編碼信息，以便產(chǎn)生大子畫面比特流。
這里，產(chǎn)生了兩個(gè)比特流，一個(gè)編碼大子畫面，另一個(gè)編碼被分組為單個(gè)對象的前景中的所有對象。然后，在步驟8多路復(fù)用這些比特流。在MPEG-4標(biāo)準(zhǔn)中，產(chǎn)生每個(gè)對象的典型流(elementarystream)。因此，對于已編碼數(shù)據(jù)的傳輸，可以容易地設(shè)想發(fā)送多個(gè)典型流，或省略涉及大子畫面的流的多路復(fù)用。
注意，實(shí)際上對象提取步驟4與之前的子畫面構(gòu)造步驟非常相關(guān)，因此，可以與之前的步驟同時(shí)甚至在其之前執(zhí)行步驟4。同樣，能夠在這些步驟4和6之后或之前執(zhí)行與步驟4和6中的操作同時(shí)說明的步驟5和7中操作。此外，在MPEG-7類型的內(nèi)容描述對于要編碼的視頻文件可用的情況下，可以避免例如提取對象的某些分析步驟。
如前所述，能夠利用考慮到使大子畫面的編碼成本最小來應(yīng)用拼接。其范圍是三重的紋理、形狀(如果存在)和連續(xù)的變形參數(shù)。然而，主要的判據(jù)是紋理的編碼成本。
以下在使用MPEG-4標(biāo)準(zhǔn)并按照簡單方式，換句話說，通過水平地對其進(jìn)行堆疊來執(zhí)行子畫面的組裝的實(shí)施例中表示用于使該成本最小的方法，所述堆疊方法依賴于MPEG-4空間預(yù)測工具DC/AC。在MPEG-4標(biāo)準(zhǔn)的框架內(nèi)，水平或垂直地執(zhí)行空間預(yù)測。按照對稱方式，將其應(yīng)用到每一個(gè)塊(DC預(yù)測模式)的第一DCT系數(shù)，或可選地，還可以應(yīng)用到每一個(gè)塊(AC預(yù)測模式)的第一行或第一列的其它DCT系數(shù)。其思想是確定用于拼接的最優(yōu)位置，換句話說，通過組裝在其公共邊緣上具有連續(xù)紋理的相鄰子畫面來搜索最小紋理編碼成本。
由最寬的子畫面來初始化大子畫面。然后，計(jì)算從剩余子畫面中合成了最寬子畫面的新的大子畫面，換句話說，第二最寬子畫面。圖2示出了大子畫面9和要合成的第二大子畫面10，以便獲得新的大子畫面，換句話說，相對于子畫面9的位置。
圖3示出了矩形子畫面10，更具體地，沿著子畫面的頂部邊緣的一連串宏塊11和沿著底部邊緣的一連串宏塊12。當(dāng)將子畫面設(shè)置在大子畫面之下時(shí)，所考慮的子畫面的宏塊是與頂部邊緣相鄰的非空宏塊，而當(dāng)將子畫面設(shè)置在大子畫面之上時(shí)，所考慮的子畫面的宏塊是與底部邊緣相鄰的非空宏塊。在子畫面不是矩形的情況下，只考慮包圍該子畫面的矩形的頂部和底部處的非空宏塊。忽略空宏塊。
對所考慮的宏塊(和宏塊的亮度塊)進(jìn)行離散余弦變換(DCT)，換句話說，非空宏塊或沿著不同子畫面的頂部和底部邊緣的塊。然后，通過兩個(gè)子畫面的相接處的紋理連續(xù)性最小的判據(jù)，計(jì)算最優(yōu)的頂部和底部位置。
對于由坐標(biāo)(X，Y)定義的、要合成到之前計(jì)算的大子畫面9中的子畫面10的給定坐標(biāo)(X，Y)，計(jì)算全局判據(jù)的數(shù)值C(X，Y)。例如，位置(X，Y)是要被合成的上部分子畫面的左下角的坐標(biāo)或要被合成的下部分子畫面的左上角的坐標(biāo)，根據(jù)大子畫面的預(yù)定點(diǎn)來定義起始點(diǎn)。將坐標(biāo)(X，Y)限制在不允許子畫面超出大子畫面以外。
對于該給定位置(X，Y)和對于所有要測試的位置。有N個(gè)相鄰塊位于大子畫面之上或之下。在相鄰塊的這兩行中，換句話說，分別屬于大子畫面和屬于要被合成的子畫面，要考慮N個(gè)底部塊的行。對于這N個(gè)塊的每一個(gè)塊BK，首先確定DC/AC預(yù)測的可能方向。
圖4示出了當(dāng)前塊和其周圍塊左邊的塊A、A之上的塊B和當(dāng)前塊之上的塊C。當(dāng)利用傳統(tǒng)DC/AC空間預(yù)測工具時(shí)，確定塊A和B之間的DC系數(shù)的梯度|DCA-DCB|和塊C和B之間的DC系數(shù)的梯度|DCC-DCB|。如果沒有相鄰塊A、B或C，則默認(rèn)DC系數(shù)等于1024。
-如果|DCA-DCB|＜|DCC-DCB|，很可能沿垂直方向進(jìn)行DC/AC預(yù)測。因此，對于當(dāng)前塊，從上部塊C的第一行來確定與垂直預(yù)測相對應(yīng)的其第一行的殘數(shù)(residue)。
-如果DCA-DCB|≥|DCC-DCB|，很可能沿水平方向進(jìn)行DC/AC預(yù)測。因此，對于當(dāng)前塊，從左手邊塊A的第一列來確定與水平預(yù)測相對應(yīng)的其第一列的殘數(shù)(residue)。
然后，根據(jù)可能的預(yù)測方向，計(jì)算殘數(shù)AC系數(shù)的能量，換句話說，即利用第一行或第一列的預(yù)測
EAC_pred=Σi=17(ΔACi)2]]>ΔACi對應(yīng)于殘數(shù)，換句話說，即當(dāng)前塊的第一行或第一列的7個(gè)AC系數(shù)和當(dāng)前塊的上部塊或左邊塊的第一行或列的7個(gè)AC系數(shù)之間分別的差值。
換句話說，在預(yù)測之前還計(jì)算初始AC系數(shù)的能量EAC_init=Σi=17ACi2]]>ACi對應(yīng)于當(dāng)前塊的第一行或第一列的7個(gè)系數(shù)AC。
對于當(dāng)前塊，希望確定使能量盡可能低的位置。對于根據(jù)塊的位置變化的部分，能量取決于ΔDC，還可能取決于其中預(yù)測的ΔAC。其等于-當(dāng)存在DC/AC預(yù)測時(shí)，換句話說，如果EAC_pred＜EAC_init，E(Bk)=ΔDC2+Σi=17(ΔACi)2]]>-當(dāng)不存在DC/AC預(yù)測時(shí)，換句話說，如果EAC_pred≥EAC_init，E(Bk)＝ΔDC2對于該行的N個(gè)塊中的每一個(gè)來執(zhí)行計(jì)算，然后，對于給定位置，判據(jù)C等于C(X,Y)=Σk=1NE(Bk)]]>最優(yōu)位置(Xopt，Yopt)是在所有測試的位置中C(X，Y)最小的。
一旦確定了要被合成的子畫面和其在大子畫面中的位置，就更新要被合成的子畫面的變形參數(shù)。出于此目的，把從該點(diǎn)將新的子畫面合成到大子畫面中的點(diǎn)的坐標(biāo)(Xopt，Yopt)添加到其變形參數(shù)的平移分量中。在漸縮模型(tapered model)的情況下，存在6個(gè)變形參數(shù)(a，b，c，d，e，f)，其中的2個(gè)，a和b表示平移分量或變形的恒定。因此，必須將a轉(zhuǎn)換為a+Xopt，并且將b轉(zhuǎn)換為b+Yopt。
將新的變形參數(shù)插入到大子畫面的變形參數(shù)列表中，其中臨時(shí)將對應(yīng)的鏡頭插入到視頻序列的位置處。
拼接的結(jié)果如下-代替了多個(gè)子畫面的一個(gè)大子畫面-代替了與視頻序列的多個(gè)鏡頭相對應(yīng)的多個(gè)列表的變形參數(shù)的單個(gè)列表。
對于視頻序列的每個(gè)圖像，連續(xù)的變形參數(shù)使從大子畫面中重構(gòu)的背景部分可見。
通過執(zhí)行視頻序列預(yù)分析步驟以及之后的依賴于該分析的編碼步驟來實(shí)現(xiàn)編碼。
在MPEG-4標(biāo)準(zhǔn)的特定情況下，編碼是利用子畫面編碼工具(參考文獻(xiàn)ISO/IEC JTC 1/SC 29/WG 11 N 2502的7.8部分，189頁到195頁)來產(chǎn)生比特流。第二比特流是基于用于非矩形對象的編碼工具，具體是用于二進(jìn)制形式的編碼工具(參考文獻(xiàn)ISO/IEC JTC 1/SC29/WG 11 N 2502的7.5部分，147頁到158頁)，此外，如果掩模不是二進(jìn)制，則利用灰度形狀編碼工具(參考文獻(xiàn)ISO/IEC JTC 1/SC29/WG 11 N 2502的7.5.4部分，160頁到162頁)。
本發(fā)明的另一個(gè)主題是來自根據(jù)前述方法的圖像序列編碼的壓縮數(shù)據(jù)流。該數(shù)據(jù)流包括用于與可應(yīng)用到大子畫面的變形參數(shù)相關(guān)聯(lián)的大子畫面的編碼數(shù)據(jù)，以及用于所提取的前景對象的編碼數(shù)據(jù)。
本發(fā)明的另一個(gè)主題是一種進(jìn)行這種方法的編碼器和解碼器。例如，涉及一種編碼器，包括處理電路，用于將序列分類為鏡頭，構(gòu)造用于每一個(gè)類別的子畫面，并且通過這些子畫面的拼接來合成大子畫面。還涉及一種解碼器，包括電路，用于根據(jù)大子畫面和前景對象的解碼來構(gòu)造視頻序列的交替鏡頭的圖像。
本發(fā)明的應(yīng)用涉及利用視頻編碼標(biāo)準(zhǔn)的數(shù)字圖像的傳輸和存儲，尤其是利用子畫面的MPEG4標(biāo)準(zhǔn)。
權(quán)利要求
1.一種用于壓縮視頻序列的數(shù)字?jǐn)?shù)據(jù)的方法，其特征在于包括以下步驟-將序列劃分(1)為交替的視頻鏡頭，-根據(jù)攝像機(jī)角度將這些鏡頭分類(2)，以便獲得類別，-針對一個(gè)類別構(gòu)造子畫面(3)或視頻對象平面，作為與涉及該類別的背景相對應(yīng)的合成圖像，-將至少兩個(gè)子畫面分組(5)為相同的子畫面或視頻對象平面，以便形成被稱作大子畫面的圖像，-對于與所述大子畫面對應(yīng)的鏡頭，從涉及這些鏡頭的序列中提取(4)圖像前景對象，-分別編碼大子畫面和所提取的前景對象。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于相疊地(5)設(shè)置子畫面，以便構(gòu)造大子畫面。
3.根據(jù)權(quán)利要求2所述的方法，其特征在于作為大子畫面的編碼成本的函數(shù)來計(jì)算子畫面的位置。
4.根據(jù)權(quán)利要求1所述的方法，其特征在于所述大子畫面是如在MPEG-4標(biāo)準(zhǔn)中定義和編碼的子畫面。
5.根據(jù)權(quán)利要求1所述的方法，其特征在于對于涉及所提取的前景對象的數(shù)據(jù)和涉及大子畫面的數(shù)據(jù)，執(zhí)行多路復(fù)用操作(8)，以便傳送數(shù)據(jù)流。
6.一種壓縮數(shù)據(jù)流，用于根據(jù)權(quán)利要求1的方法對圖像序列進(jìn)行的編碼，其特征在于包括用于與可應(yīng)用到大子畫面的變形參數(shù)相關(guān)聯(lián)的大子畫面的編碼數(shù)據(jù)，以及用于所提取的前景對象的編碼數(shù)據(jù)。
7.一種用于根據(jù)權(quán)利要求1的方法來編碼數(shù)據(jù)的編碼器，其特征在于包括處理電路，用于將序列分類為鏡頭，構(gòu)造針對每一個(gè)類別的子畫面，并且通過拼接這些子畫面來合成大子畫面；用于從涉及大畫面的序列中提取圖像前景對象的電路；以及用于編碼大子畫面和所提取的前景對象的編碼電路。
8.一種用于根據(jù)權(quán)利要求1的方法來解碼包括交替鏡頭的視頻序列的視頻數(shù)據(jù)的解碼器，其特征在于包括解碼電路，用于涉及大子畫面的數(shù)據(jù)和涉及前景對象的數(shù)據(jù)；以及用于從已解碼數(shù)據(jù)中構(gòu)造圖像的電路。
全文摘要
一種用于壓縮視頻序列的數(shù)字?jǐn)?shù)據(jù)的方法，包括以下步驟將序列劃分(1)為交替的視頻鏡頭，根據(jù)攝像機(jī)角度將這些鏡頭分類(2)，以便獲得類別，針對一個(gè)類別構(gòu)造子畫面(3)或視頻對象平面，作為與涉及該類別的背景相對應(yīng)的合成圖像，將至少兩個(gè)子畫面分組(5)為相同的子畫面或視頻對象平面，以便形成被稱作大子畫面的圖像，對于與所述大子畫面對應(yīng)的鏡頭，從涉及這些鏡頭的序列中提取(4)圖像前景對象，分別編碼大子畫面和所提取的前景對象。應(yīng)用于視頻數(shù)據(jù)的傳輸和存儲。
文檔編號H04N7/26GK1672420SQ03818155
公開日2005年9月21日 申請日期2003年7月23日 優(yōu)先權(quán)日2002年7月30日
發(fā)明者愛德華·弗朗索瓦, 多米尼克·托羅, 讓·基普雷奧斯 申請人:湯姆森許可貿(mào)易公司