專利名稱：靜態(tài)圖象產(chǎn)生方法和裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及從包括連續(xù)的視頻對象VO的一個視頻序列產(chǎn)生諸如子圖象(sprite)或者馬賽克圖象(mosaic)的一個大的靜態(tài)圖象M(n)的方法，所述方法包括下列步驟(A)相對于先前產(chǎn)生的靜態(tài)圖象M(n-1)，計算關(guān)于該序列的當(dāng)前視頻對象VO(n)的運動參數(shù)；(B)在所述計算的運動參數(shù)的基礎(chǔ)上，卷曲所述當(dāng)前視頻對象VO(n)；(C)將所得到的卷曲的視頻對象WVO(n)與先前產(chǎn)生的靜態(tài)圖象M(n-1)混合；以及本發(fā)明涉及一個相應(yīng)的裝置。這一發(fā)明可以用于相關(guān)的MPEG-4和MPEG-7標(biāo)準(zhǔn)。
本發(fā)明的背景技術(shù)在MPEG-7的幀中將要進行標(biāo)準(zhǔn)化的描述子(descriptor)以及描述模式(description scheme)(該MPEG-7在近數(shù)年中一直在致力于將描述多媒體內(nèi)容的一般方式進行標(biāo)準(zhǔn)化)在各種特征類型(諸如文本，顏色，紋理，運動和語義內(nèi)容等)的基礎(chǔ)上將允許快速和有效的數(shù)據(jù)檢索。在這一MPEG-7上下文中，馬賽克可以擔(dān)當(dāng)一個有用的角色。正如例如在文章“視頻序列的有效表示以及它們的應(yīng)用”(″Efficientrepresentations of video sequences and their applications″)(作者M.Irani等人，發(fā)表于Signal ProcessingImage Communication，vol.8，1996，pp.327-351)中所解釋的，對于一個場景的一個全景視圖，是從該場景序列的所有幀中構(gòu)造一個馬賽克圖象。有可能例如從這一全景視圖抽取出該序列的主要特征，比如色度或亮度圖，目標(biāo)的形狀，整體運動參數(shù)等等。
作為應(yīng)用于該MPEG-4標(biāo)準(zhǔn)的上下文，一個馬賽克圖象的定義可以相比于一個子圖象的定義。一個子圖象是由通過一個完整序列可以看見的一個對象中的圖形元素(象素)組成的一個較大的靜態(tài)圖象。這一靜態(tài)圖象形成一個全景視圖，由于前景目標(biāo)或者相機運動的影響，其某些部分在一些圖象幀中可能是不可見。如果可以收集遍及整個序列的所有相關(guān)的象素，就可獲得一個完全的全景視圖(稱作精確的背景子圖象)，該視圖可以有效地進行傳輸(或存儲)，以及以后用來重建部分視頻幀。
正如例如在文獻WO98/59497中所描述的一個子圖象的情況(該情況也可以適用于一個馬賽克圖象)，一個子圖象或者馬賽克圖象的產(chǎn)生涉及三個主要步驟(在下面的描述中，將用普通詞匯“靜態(tài)圖象”來代替子圖象或者馬賽克圖象)。首先是一個運動計算步驟，用于獲得允許將一個當(dāng)前視頻幀F(xiàn)(n)或者在一個當(dāng)前視頻幀F(xiàn)(n)中的視頻對象與已由先前視頻幀F(xiàn)(1)，F(xiàn)(2)，…，F(xiàn)(n-1)(或者在先前視頻幀中的先前視頻對象)構(gòu)成的靜態(tài)圖象M(n-1)進行正確合并的運動參數(shù)。然后可以計算其逆參數(shù)，從而可以補償在其方向中的當(dāng)前視頻幀；這一第二步也稱作卷曲(warping)。該所卷曲的當(dāng)前視頻幀F(xiàn)(n)最后與M(n-1)混合，以形成一個新的增長的靜態(tài)圖象M(n)，用其與下一進來的視頻幀F(xiàn)(n+1)合并，如此等等。
在由本申請人先前提交的申請?zhí)枮?8401997.6的歐洲專利申請中已經(jīng)提出了一種靜態(tài)圖象生成方法，該方法對于分離物(outlier)(即并不隨著整體運動的象素，這些象素所對應(yīng)的目標(biāo)具有它們自己的運動)表現(xiàn)出一種較好的健壯性。該方法相對于在文獻WO 98/59497中描述的方法具有改進，該改進的方法在上述的卷曲和混合步驟之間另外包括一個用于計算的第四步驟，該步驟用于對該當(dāng)前視頻對象VO(n)的每一圖形元素計算一個加權(quán)系數(shù)WWF(n)[x，y]，該系數(shù)與在該卷曲的視頻對象WVO(n)和該靜態(tài)圖形M(n-1)之間在每一圖形元素[x，y]的誤差相關(guān)。然后對于每個象素[x，y]用于確定該新近產(chǎn)生的靜態(tài)圖象M(n)的混合公式考慮所述加權(quán)系數(shù) (各項的定義在后面給出)。
在

圖1中示出了實現(xiàn)例如用于一個馬賽克圖象的這一改進的方法的裝置。一個運動計算級11接收連續(xù)的視頻對象，在本例子中是連續(xù)的視頻幀F(xiàn)(1)，F(xiàn)(2)，F(xiàn)(3)，…，F(xiàn)(i)，…，F(xiàn)(n-1)，F(xiàn)(n)，該運動計算級計算該運動參數(shù)，允許將進來的視頻幀F(xiàn)(n)與該先前產(chǎn)生的存儲在一個存儲器12中的馬賽克圖象M(n-1)相合并，該馬賽克圖象M(n-1)已經(jīng)包括該先前視頻幀F(xiàn)(1)至F(n-1)。
在文獻EP 0771115(PHF96534)中描述了在該級11中進行的所述運動參數(shù)計算的例子。值(Dx，Dy)指示從一個視頻幀至下一個視頻幀的一個運動矢量的分量，其中Dx和Dy是x和y的函數(shù)，其系數(shù)是所請求的運動參數(shù)，該(Dx，Dy)可以寫成L(x，y，t)=L(x-Dx，y-Dy，t-1)，其中t=時間，L=在一個給定點的亮度。定義該函數(shù)的系數(shù)的數(shù)量取決于所考慮的運動模型的類型(可以使用不同的運動模型，該運動實際上由給定數(shù)量的點的位移所表示)。
一旦進行所述運動計算，一個馬賽克增長級13允許卷曲該當(dāng)前視頻幀F(xiàn)(n)以及與該馬賽克圖象混合。該增長級13包括下列電路一個卷曲電路131，一個混合電路135，以及在它們之間的一個基于象素的加權(quán)電路，該加權(quán)電路對于每一象素利用表達式(2)計算一個加權(quán)系數(shù)WWF(n)[x,y]=lr(x,y)ddrρ(r(x,y))----(2)]]>其中p是用于該運動計算級11中的洛倫茲函數(shù)M估算值，r(x，y)是該卷曲的當(dāng)前圖象和該馬賽克圖象之間在該象素(x，y)處的誤差。在該基于象素的加權(quán)電路中，在一個誤差圖定義電路132中進行該整個誤差圖的構(gòu)造，以及在一個系數(shù)計算電路133中進行該加權(quán)系數(shù)的計算。然后由該混合電路135使用該基于象素的加權(quán)電路(132，133)計算的整個加權(quán)系數(shù)集合。在所述電路中，對于每一象素(x，y)，用于計算該新的馬賽克圖象M(n)(該圖象從該混合步驟產(chǎn)生，并且考慮該加權(quán)系數(shù)WWF(n)[x，y])的該亮度和色度值的混合公式是公式(1)，其中各項的定義如下(a)n＞0；(b)對于任一(x，y)，WM(0)=0；(c)對于任一(x，y)，WWF(n)[x,y]=lr(x,y)ddrρ(r(x,y))]]>
(d)WM(n)=WM(n-1)+WWF(n)ρ是用于該運動計算步驟中的洛倫茲函數(shù)M估算值。
該增長過程包括步驟A，B和C，并且對于每一象素執(zhí)行該增長過程，在該過程期間，有些目標(biāo)沒有正確地檢測為前景，并且僅僅它們的一些象素被作為分離物信息。根據(jù)本發(fā)明的技術(shù)方案是通過一個另外的預(yù)處理步驟尋找連接的分離物區(qū)，給它們一個弱的加權(quán)，該預(yù)處理步驟包括將該圖象分割成多個區(qū)域以檢測分離物區(qū)。所提議的方法基于連接的算子(operator)，通過合并其平面區(qū)該算子能夠過濾一個信號。這種過濾所提供的優(yōu)點是簡化該圖象，因為去掉了一些成分，同時完整地保留了涉及沒有被去除的成分的輪廓信息。
本發(fā)明概述本發(fā)明的一個目的是提供一種靜態(tài)圖象產(chǎn)生方法，該方法對于分離物表現(xiàn)出一種增強的健壯性。
為此，本發(fā)明涉及在本說明書中的開始段落所介紹的方法，并且其特征還在于(1)所述方法在所述卷曲和混合步驟之間還包括另外一個步驟，該步驟包括第一基于象素的誤差圖定義子步驟，對于當(dāng)前視頻對象VO(n)的每一圖象元素(x，y)，該步驟用于構(gòu)造該卷曲的視頻對象WO(n)和該靜態(tài)圖象M(n-1)之間在所述圖象元素(x，y)的誤差r(x，y)的圖；第二空間過濾子步驟，用于將所述基于象素的誤差圖變換為一個基于區(qū)域的誤差圖；第三加權(quán)子步驟，其對于每一象素用于計算一個加權(quán)系數(shù)WWF(n)[x，y]，該系數(shù)與所述誤差有關(guān)，并且同時用于選擇屬于前景對象的區(qū)域和在該混合步驟之前作為分離物丟棄它們；(2)對于每一象素[x，y]，用于確定該新近產(chǎn)生的靜態(tài)圖象的該混合步驟根據(jù)下列混合公式考慮所述加權(quán)系數(shù) 其中各項的定義如下(a)n＞0；(b)對于任一(x，y)，WM(0)=0；(c)對于任一(x，y)，WWF(n)[x,y]=lr(x,y)ddrρ(r(x,y))]]>(d)WM(n)=WM(n-1)+WWF(n)ρ是用于該運動計算步驟中的洛倫茲函數(shù)M估算值。
該增長過程包括步驟A，B和C，并且對于每一象素執(zhí)行該增長過程，在該過程期間，有些對象沒有正確地檢測為前景，并且僅僅它們的一些象素被作為分離物信息。根據(jù)本發(fā)明的技術(shù)方案是通過一個另外的預(yù)處理步驟尋找連接的分離物區(qū)，給它們一個弱的加權(quán)，該預(yù)處理步驟包括將該圖象分割成多個區(qū)域以檢測分離物區(qū)。所提議的方法基于連接的控制器，通過合并其平面區(qū)域該控制器能夠過濾一個信號。這種過濾所提供的優(yōu)點是簡化該圖象，因為去掉了一些成分，同時完整地保留了涉及沒有被去除的成分的輪廓信息。
本發(fā)明的另一個目的是提供一個用于執(zhí)行所述方法的靜態(tài)圖象產(chǎn)生裝置。
為此，本發(fā)明涉及從一個包括連續(xù)的視頻對象VO產(chǎn)生諸如子圖象或馬賽克圖象的大的靜態(tài)圖象M(n)的裝置，所述裝置包括(A)一個運動計算電路，用于計算相對于在該序列的該當(dāng)前視頻對象和先前產(chǎn)生的靜態(tài)圖象M(n-1)之間的相對運動的一個運動信息；(B)一個卷曲電路，用于在所述當(dāng)前視頻對象和所述運動信息的基礎(chǔ)上定義一個卷曲的視頻對象WVO(n)；(C)一個混合電路，用于更新該靜態(tài)圖象，通過混合M(n-1)和所述卷曲的視頻對象使所述先前產(chǎn)生的靜態(tài)圖象M(n-1)由該新的M(n)來代替；其特征在于(1)所述設(shè)備還包括一個基于區(qū)域的加權(quán)電路，用于接收該當(dāng)前視頻對象和該相關(guān)的運動信息，并且該加權(quán)電路包括一個基于象素的誤差圖定義電路，對于所述當(dāng)前視頻對象的每一圖象元素(x，y)，該電路用于構(gòu)造該卷曲的視頻對象和該先前的靜態(tài)圖象M(n-1)之間在所述圖象元素(x，y)的誤差r(x，y)的圖；一個空間過濾電路，用于將所述基于象素的誤差圖變換為一個基于區(qū)域的誤差圖；一個加權(quán)電路，其對于每一象素用于計算一個加權(quán)系數(shù)WWF(n)[x，y]，該系數(shù)與所述誤差有關(guān)，并且同時用于選擇屬于前景對象的區(qū)域和在該混合步驟之前作為分離物丟棄它們；(2)對于每一象素[x，y]，用于確定該新近產(chǎn)生的靜態(tài)圖象M(n)的該混合電路中所使用的混合公式根據(jù)下列混合公式考慮所述加權(quán)系數(shù) 其中各項的定義如下(a)n＞0；(b)對于任一(x，y)，WM(0)=0；(c)對于任一(x，y)，WWF(n)[x,y]=lr(x,y)ddrρ(r(x,y));]]>(d)WM(n)=WM(n-1)+WWF(n)ρ是用于該運動計算電路中的洛倫茲函數(shù)M估算值。
附圖的簡要描述下面將參照附圖更詳細地解釋本發(fā)明的特點和優(yōu)點，其中圖1顯示了一個先前的靜態(tài)圖象產(chǎn)生裝置的方案；圖2顯示了根據(jù)本發(fā)明的一個靜態(tài)圖象產(chǎn)生裝置的一種實現(xiàn)。
本發(fā)明的描述圖2中示出了在一個馬賽克圖象的情況下實現(xiàn)根據(jù)本發(fā)明的方法的裝置。如前所述，等同于級11的一個運動計算級21接收連續(xù)的視頻幀F(xiàn)(1)，F(xiàn)(2)，F(xiàn)(3)，…，F(xiàn)(i)，…，F(xiàn)(n-1)，F(xiàn)(n)。然后一個馬賽克增長級23用于刷新在一個存儲器22中存儲的前面一個圖象(M(n-1))構(gòu)建新的馬賽克M(n)。
一旦如在前面所述歐洲專利申請中描述的那樣執(zhí)行了該運動計算，該馬賽克增長級23用于卷曲該當(dāng)前視頻幀F(xiàn)(n)以及將之與該馬賽克混合。該級23包括下列電路一個卷曲電路231，一個誤差圖定義電路232，一個空間分段電路233，一個系數(shù)計算電路234和一個混合電路235。電路231、232和235與對應(yīng)的電路131、132和135相同。
在圖1中，根據(jù)表達式(2)該基于象素的加權(quán)電路對于每一圖形元素(象素)計算一個加權(quán)系數(shù)WWF(n)(該整個誤差圖的構(gòu)建是在該誤差圖定義電路132中進行的，該加權(quán)系數(shù)的隨后計算是在該系數(shù)計算電路133中進行的)。根據(jù)本發(fā)明，將一個基于形態(tài)數(shù)學(xué)(morphologicalmathematics)的空間分段子步驟加到實現(xiàn)該誤差圖的構(gòu)建的電路232之后。在一個空間分段電路233中進行的這一附加的子步驟將該原始的基于象素的誤差圖轉(zhuǎn)換為一個基于區(qū)域的加權(quán)圖，該基于區(qū)域的加權(quán)圖允許檢測屬于前景目標(biāo)的區(qū)域以及在將該當(dāng)前視頻幀F(xiàn)(n)與該馬賽克M(n-1)混合時有效地丟棄它們。由于該誤差圖是基于象素的，一些對象沒有很好地檢測為前景，因為它們中只有一些象素被認為是分離物信息。由于要將該圖象分段為各個區(qū)域，所增加的實現(xiàn)形態(tài)分段的該空間預(yù)處理子步驟允許檢測該分離物區(qū)以及丟棄它們。
例如在文獻US 5867605(PHF96629)中描述了這一分段方法，該方法基于連接的算子(operator)，并且允許將該基于象素的分離物圖過濾成一個基于目標(biāo)的分離物圖。通過合并平面區(qū)而不影響目標(biāo)的邊界，該類形態(tài)數(shù)學(xué)控制器的優(yōu)點是簡化了圖象并且保留該輪廓信息(即完全保留沒有除去的成分)，該算子對于由平面區(qū)組成的圖象的一個層次化結(jié)構(gòu)的樹狀表示進行運算(檢測該一致性區(qū)域之后，通過一個標(biāo)記步驟基于該誤差圖信息，以及接著通過一個維特比(Viterbi)算法的實現(xiàn)來完成，該維特比算法裁剪該樹并且判斷加權(quán)區(qū)域)。在當(dāng)前的情況下，該圖象是該視頻幀的亮度分量，但是該方法也對這些視頻幀的其他轉(zhuǎn)換起作用。
權(quán)利要求
1.一種用于從包括連續(xù)的視頻對象VO的一個視頻序列產(chǎn)生諸如子圖象或者馬賽克圖象的一個大的靜態(tài)圖象M(n)的方法，所述方法包括下列步驟(A)相對于先前產(chǎn)生的靜態(tài)圖象M(n-1)，計算關(guān)于該序列的當(dāng)前視頻對象VO(n)的運動參數(shù)；(B)在所述計算的運動參數(shù)的基礎(chǔ)上，卷曲所述當(dāng)前視頻對象VO(n)；(C)將所得到的卷曲的視頻對象WVO(n)與先前產(chǎn)生的靜態(tài)圖象M(n-1)混合；其特征在于(1)所述方法在所述卷曲和混合步驟之間還包括另外一個步驟，該步驟包括第一基于象素的誤差圖定義子步驟，對于當(dāng)前視頻對象VO(n)的每一圖象元素(x，y)，該步驟用于構(gòu)造該卷曲的視頻對象WVO(n)和該靜態(tài)圖象M(n-1)之間在所述圖象元素(x，y)的誤差r(x，y)的圖；第二空間過濾子步驟，用于將所述基于象素的誤差圖變換為一個基于區(qū)域的誤差圖；第三加權(quán)子步驟，其對于每一象素用于計算一個加權(quán)系數(shù)WWF(n)[x，y]，該系數(shù)與所述誤差有關(guān)，并且同時用于選擇屬于前景對象的區(qū)域和在該混合步驟之前作為分離物丟棄它們；(2)對于每一象素[x，y]，用于確定該新近產(chǎn)生的靜態(tài)圖象的該混合步驟根據(jù)下列混合公式考慮所述加權(quán)系數(shù) 其中各項的定義如下(a)n＞0；(b)對于任一(x，y)，WM(0)=0；(c)對于任一(x，y)，WWF(n)[x,y]=lr(x,y)ddrρ(r(x,y));]]>(d)WM(n)=WM(n-1)+WWF(n)ρ是用于該運動計算步驟中的洛倫茲函數(shù)M估算值。
2.根據(jù)權(quán)利要求1的方法，其特征在于所述空間過濾子步驟基于一個形態(tài)分段。
3.一個從包括連續(xù)的視頻對象VO的視頻序列產(chǎn)生諸如子圖象或馬賽克圖象的大的靜態(tài)圖象M(n)的裝置，所述裝置包括(A)一個運動計算電路，用于計算關(guān)于在該序列的該當(dāng)前視頻對象和先前產(chǎn)生的靜態(tài)圖象M(n-1)之間的相對運動的一個運動信息；(B)一個卷曲電路，用于在所述當(dāng)前視頻對象和所述運動信息的基礎(chǔ)上定義一個卷曲的視頻對象WVO(n)；(C)一個混合電路，用于更新該靜態(tài)圖象，通過混合M(n-1)和所述卷曲的視頻對象使所述先前產(chǎn)生的靜態(tài)圖象M(n-1)由該新的M(n)來代替；其特征在于(1)所述設(shè)備還包括一個基于區(qū)域的加權(quán)電路，用于接收該當(dāng)前視頻對象和該相關(guān)的運動信息，并且包括一個基于象素的誤差圖定義電路，對于所述當(dāng)前視頻對象的每一圖象元素(x，y)，該電路用于構(gòu)造該卷曲的視頻對象和該先前的靜態(tài)圖象M(n-1)之間在所述圖象元素(x，y)的誤差r(x，y)的圖；一個空間過濾電路，用于將所述基于象素的誤差圖變換為一個基于區(qū)域的誤差圖；一個加權(quán)電路，其對于每一象素用于計算一個加權(quán)系數(shù)WWF(n)[x，y]，該系數(shù)與所述誤差有關(guān)，并且同時用于選擇屬于前景對象的區(qū)域和在該混合步驟之前作為分離物丟棄它們；(2)對于每一象素[x，y]，用于確定該新近產(chǎn)生的靜態(tài)圖象M(n)的該混合電路中使用的混合公式根據(jù)下列混合公式考慮所述加權(quán)系數(shù) 其中各項的定義如下(a)n＞0；(b)對于任一(x，y)，WM(0)=0；(c)對于任一(x，y)，WWF(n)[x,y]=lr(x,y)ddrρ(r(x,y));]]>(d)WM(n)=WM(n-1)+WWF(n)ρ是用于該運動計算電路中的洛倫茲函數(shù)M估算值。
全文摘要
本發(fā)明涉及從包括連續(xù)的視頻對象的一個視頻序列產(chǎn)生諸如子圖象或者馬賽克圖象的一個較大的靜態(tài)圖象M(n)。這一方法包括步驟:相對于先前產(chǎn)生的靜態(tài)圖象M(n－1),計算關(guān)于該序列的當(dāng)前視頻對象VO(n)的運動參數(shù);使用該計算的運動參數(shù),卷曲所述視頻對象;將卷曲的視頻對象與靜態(tài)圖象M(n－1)混合;對于該當(dāng)前視頻對象的每個象素計算一個與該卷曲的視頻對象和該靜態(tài)圖象M(n－1)之間的誤差相關(guān)的一個加權(quán)系數(shù)W
文檔編號H04N7/26GK1287751SQ99801761
公開日2001年3月14日 申請日期1999年7月29日 優(yōu)先權(quán)日1998年8月5日
發(fā)明者M·邦尼特, O·桑斯埃斯特拉達 申請人:皇家菲利浦電子有限公司