專利名稱：對(duì)視頻幀的場(chǎng)進(jìn)行相加的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種對(duì)隔行視頻幀圖像中的場(chǎng)圖像進(jìn)行相加的方法和設(shè)備，該隔行視頻圖像幀采用通過(guò)圖像變換獲得的幀編碼變換塊的形式加以接收。
本發(fā)明還涉及一種檢測(cè)在多個(gè)隔行視頻幀的場(chǎng)中所嵌入的水印的方法和設(shè)備。
背景技術(shù)：
一些視頻處理應(yīng)用需要對(duì)隔行視頻幀的兩個(gè)場(chǎng)進(jìn)行相加或者求平均。這種應(yīng)用的一個(gè)實(shí)例便是水印檢測(cè)。國(guó)際專利申請(qǐng)WO-A-99/45705公開了一種視頻加水印系統(tǒng)，采用該系統(tǒng)，相同的水印被嵌入視頻信號(hào)的連續(xù)場(chǎng)中。這個(gè)系統(tǒng)的水印檢測(cè)器累加大量幀的場(chǎng)，使得視頻幀信號(hào)平均為零，然而水印在結(jié)構(gòu)上添加了。
對(duì)隔行視頻幀的兩個(gè)場(chǎng)進(jìn)行相加(或者求平均)在像素域中很普通，但是在數(shù)字(MPEG)域中卻很重要。理由是MPEG編碼器可能在編碼之前已經(jīng)連接了幀的場(chǎng)，并產(chǎn)生所謂的具有包含來(lái)自奇偶場(chǎng)信息的DCT塊的frame_picture(幀_畫面)。


圖1和2表示一種圖示本發(fā)明所要解決的問(wèn)題的特性曲線。圖1表示一種編碼畫面的MPEG模式。采用這種編碼模式，已知為具有frame_encoded macroblock(幀_編碼宏塊)的frame_picture(幀畫面)，兩個(gè)場(chǎng)11和12通過(guò)交錯(cuò)兩個(gè)場(chǎng)的行而被連接在一起，從而形成幀13。兩個(gè)場(chǎng)都嵌入了相同的水印。然后，對(duì)該幀進(jìn)行離散余弦變換(DCT)，將8×8的像素塊變換為8×8的系數(shù)塊。四個(gè)DCT塊共同組成宏塊14。每個(gè)DCT塊表示來(lái)自第一場(chǎng)11中像素的一半和來(lái)自第二場(chǎng)12中像素的一半。
因?yàn)镈CT是一種線性變換，所以對(duì)DCT系數(shù)進(jìn)行相加的效果與對(duì)對(duì)應(yīng)像素進(jìn)行相加的效果相同。因此，水印檢測(cè)器所執(zhí)行的幀累加可以在DCT域中執(zhí)行。逆向DCT可以被延遲到累加完成之后進(jìn)行。然而，累加需要一個(gè)基于幀的存儲(chǔ)器。因此，WO-A-99/45705中公開的系統(tǒng)的水印檢測(cè)器(其中128×128的水印圖案被平鋪在每個(gè)場(chǎng)上)，要求256×128的緩沖器。
另一種相加兩個(gè)場(chǎng)的普通方式是在對(duì)每個(gè)塊到達(dá)時(shí)對(duì)其執(zhí)行逆向DCT，然后將奇數(shù)行與偶數(shù)行相加，并將結(jié)果存入存儲(chǔ)器。這個(gè)選項(xiàng)僅僅需要基于幀的存儲(chǔ)器(也就是，水印檢測(cè)器中的128×128緩沖器)，但是每個(gè)DCT塊都需要一個(gè)快速逆向DCT變換，這從執(zhí)行的觀點(diǎn)來(lái)看上述兩點(diǎn)都不具備吸引力。
圖2表示另一種編碼畫面的MPEG模式。采用這種編碼模式，已知為具有field_encoded macroblock(幀_編碼宏塊)的frame_picture(幀畫面)，兩個(gè)場(chǎng)11和12被通過(guò)從第一場(chǎng)11中取8條連續(xù)的行，接下來(lái)從第二場(chǎng)12中取同樣的8條連續(xù)行而被連接在一起，從而形成幀15。該幀是被DCT-變換過(guò)的。四個(gè)DCT塊共同組成宏塊16。采用這個(gè)編碼模式，一個(gè)宏塊包含來(lái)自一個(gè)場(chǎng)的塊以及來(lái)自另一個(gè)場(chǎng)的塊，但是由一個(gè)DCT塊表示的全部像素都來(lái)自相同的場(chǎng)。因?yàn)镈CT是一種線性的變換，所以對(duì)DCT系數(shù)進(jìn)行相加的效果與對(duì)對(duì)應(yīng)像素進(jìn)行相加的效果相同。因此，每個(gè)宏塊16中兩個(gè)垂直相鄰的DCT塊在DCT域中可以被相加到一起。這種操作需要一個(gè)基于場(chǎng)的存儲(chǔ)器。逆向DCT可以被延遲到所有幀累加完成之后進(jìn)行。然而，這種直接的解決方法卻不能夠容易地與上述用于對(duì)幀編碼宏塊的場(chǎng)進(jìn)行相加的解決方法相組合。
實(shí)際上，MPEG幀畫面包含被幀編碼的宏塊和被場(chǎng)編碼的宏塊的混合。宏塊的大多數(shù)(70.85％)是幀編碼的。在技術(shù)上最難辦的情況也是最常見(jiàn)的。

發(fā)明內(nèi)容
和目的本發(fā)明的目的在于提供一種用于對(duì)隔行視頻圖像幀的場(chǎng)進(jìn)行相加的方法和設(shè)備，使用該方法和設(shè)備可以減輕上述問(wèn)題。
為了實(shí)現(xiàn)這些和其它的目的，按照本發(fā)明的方法包含步驟，將幀編碼塊與表示逆向圖像變換、場(chǎng)相加和預(yù)定基本變換的稀疏矩陣相乘，和對(duì)所述乘法的結(jié)果進(jìn)行所述預(yù)定基本變換的逆變換。
本發(fā)明拓展了如下的數(shù)學(xué)理解，即逆向DCT和場(chǎng)相加的操作之后可以跟隨一個(gè)基本上被基本變換的逆變換所取消的該基本變換。組合操作(逆向DCT，場(chǎng)相加，基本變換)物理地被單一的矩陣乘法所替代。選擇基本變換使得所述矩陣乘法是一種與稀疏矩陣的乘法，也就是一個(gè)具有很少非零元素的矩陣。稀疏矩陣乘法被快速執(zhí)行，但是比執(zhí)行快速逆向DCT來(lái)說(shuō)要容易得多。本方法只需要基于場(chǎng)的存儲(chǔ)器。本發(fā)明其它顯著的優(yōu)點(diǎn)在于，逆向基本變換的執(zhí)行可以延遲到所有幀(對(duì)于水印檢測(cè)為20個(gè)左右)已經(jīng)在場(chǎng)存儲(chǔ)器中被累加之后進(jìn)行。
附圖描述圖1和2表示一種圖示本發(fā)明所要解決的問(wèn)題的特性曲線。
圖3表示一種依照本發(fā)明累加幀編碼宏塊的設(shè)備的示意圖。
圖4表示一種依據(jù)本發(fā)明的設(shè)備的實(shí)施例的示意圖，該設(shè)備用于累加幀編碼塊與場(chǎng)編碼塊的混合。
優(yōu)選實(shí)施例描述圖3表示依據(jù)本發(fā)明的方法用于累加多個(gè)幀編碼宏塊的設(shè)備的示意圖。該設(shè)備接收8×8的幀編碼DCT塊31(也就是，在圖1中用14表示的宏塊的塊中的一個(gè)塊)。DCT塊與一個(gè)8×4的稀疏矩陣V2相乘32。這個(gè)乘法產(chǎn)生一個(gè)8×4的中間值塊，該塊表示兩個(gè)場(chǎng)的和。加法器33和存儲(chǔ)器34對(duì)于所討論的應(yīng)用(也就是，水印檢測(cè))來(lái)說(shuō)累加必須的多個(gè)中間塊。當(dāng)完成累加時(shí)，經(jīng)過(guò)累加的塊隨后通過(guò)與矩陣U0的乘法35進(jìn)行一次逆向基本變換。最后，執(zhí)行實(shí)際的應(yīng)用(在這里指水印檢測(cè)40)。
注意，圖3中的累加存儲(chǔ)器34是一個(gè)8×4的存儲(chǔ)器(在該圖中，每個(gè)元素按照實(shí)際矩陣大小的比例加以繪制，所述實(shí)際矩陣比例大小例如是，8×8，8×4或者4×4)。在實(shí)踐中，需要兩個(gè)存儲(chǔ)器34，一個(gè)用于累加來(lái)自宏塊中上層DCT塊中的4個(gè)行，一個(gè)用于累加來(lái)自對(duì)應(yīng)較低的DCT塊的4個(gè)行。它們共同組成了一個(gè)基于場(chǎng)的存儲(chǔ)器(也就是，在水印檢測(cè)情況中的128×128緩沖器)。
如同圖3中已經(jīng)嘗試使用虛線表示的那樣，矩陣V2表示三次數(shù)學(xué)操作的組合。第一次和第二次操作分別是兩個(gè)場(chǎng)的逆向DCT 321和相加322。如同在緒言段落描述的那樣，對(duì)每個(gè)收到的DCT塊物理地執(zhí)行逆向DCT是沒(méi)有吸引力的。上述設(shè)備通過(guò)算術(shù)地將兩個(gè)操作321和322的結(jié)果進(jìn)行基本變換323而避免了這個(gè)問(wèn)題。這種基本變換在圖3中指示為U0-1。在本專利申請(qǐng)中使用的非常規(guī)符號(hào)U0-1表示基本變換本身，而符號(hào)U0用于表示逆向基本變換。理由是基本變換323僅僅是一種數(shù)學(xué)符號(hào)，而逆向基本變換35被該設(shè)備物理地執(zhí)行。
本發(fā)明還有利地使用這樣一種理解，即逆向DCT 321僅僅需要在垂直方向執(zhí)行。逆向的水平DCT(如果應(yīng)用40需要在像素域中處理累加的場(chǎng)則是必要的)，可以被延遲到逆向基本變換35完成之后進(jìn)行。因此，逆向DCT操作321通過(guò)將DCT塊31與矩陣D8-1相乘來(lái)執(zhí)行。作為后者的矩陣是已知的8點(diǎn)DCT的逆 圖3中的矩陣S是表示奇偶行之和的矩陣S=11000000001100000000110000000011]]>物理地替換三個(gè)矩陣D8-1，S和U0-1的矩陣V2在數(shù)學(xué)上可以表示為V2＝U0-1·S·D8-1倘若逆向變換U0存在，那么可以任意地選擇基本變換U0-1。本發(fā)明在于選擇一個(gè)基本變換以便使矩陣V2是稀疏矩陣，也就是具有許多零值。發(fā)明人已經(jīng)發(fā)現(xiàn)基本變換U0-1＝D4是一種聰明的選擇，其中D4是4點(diǎn)DCT(參照方程式1)。這種選擇得出以下的矩陣V2=α000000000α100000α700α2000α60000α30α500;αk=2cos(πk16)sgn(4-k)----(2)]]>矩陣V2極其稀疏。與DCT塊31的乘法每個(gè)DCT系數(shù)僅需要乘一次，這樣就能夠容易地被快速進(jìn)行?？梢钥吹?，具有比這個(gè)矩陣中的非零數(shù)值還少的矩陣不存在。
如同已經(jīng)在上述段落中提及的那樣，MPEG的幀編碼畫面通常由幀編碼宏塊(圖1)和場(chǎng)編碼宏塊(圖2)的混合組成。不可能直接地將場(chǎng)編碼塊與累加在存儲(chǔ)器34中且被V2變換的幀編碼塊相加，因?yàn)樗鼈兯幍幕A(chǔ)不同。當(dāng)相同幀的不同塊需要被相加到一起時(shí)，或者當(dāng)多個(gè)幀需要被相加到一起時(shí)(兩種情況都在緒言段落提及的水印檢測(cè)器中發(fā)生)，這引起了問(wèn)題。
圖4表示一種依據(jù)本發(fā)明的設(shè)備的實(shí)施例的示意圖，該設(shè)備被安排用來(lái)累加幀編碼塊與場(chǎng)編碼塊的混合。在該實(shí)施例中，場(chǎng)編碼DCT塊36通過(guò)與另一個(gè)矩陣V1相乘37被變換，以便與V2變換的幀編碼DCT塊31具有相同的基礎(chǔ)。為了一致，矩陣V1必須是V1=D4O4O4D4·D8-1=0.7070.6410-0.22500.150-0.12700.2940.7070.5590-0.24900.1960-0.05300.3630.7070.5430-0.26500.0160-0.06900.3470.7070.6120.707-0.64100.2250-0.1500.12700.294-0.7070.5590-0.24900.19600.0530-0.3630.707-0.54300.2650-0.0160-0.06900.347-0.7070.612----(3)]]>其中D4是4點(diǎn)DCT變換(參照方程式(1))，O4是4×4的O矩陣。不幸的是，矩陣V1并不是十分稀疏。然而，可以近似為V1=12110000000011000000001100000000111-100000000-11000000001-100000000-11----(4)]]>因?yàn)樵摼仃嚸總€(gè)DCT系數(shù)要求乘一次(所有乘法等同于符號(hào)操作)，所以在這個(gè)意義上講，該矩陣是稀疏的。
假定DCT系數(shù)是均分分布的，使用方程式(4)中的V1矩陣而不是使用方程式(3)中適當(dāng)?shù)亩x將捕獲場(chǎng)編碼宏塊中能量的85％。
發(fā)明人已經(jīng)發(fā)現(xiàn)，通過(guò)稍微修改基本變換U0以便使得更多的能量被捕獲，就可以更好地處理上述，不過(guò)其結(jié)果是損失了一些幀編碼能量。假定在幀編碼宏塊中要比場(chǎng)編碼宏塊中具有多得多的能量，那么相應(yīng)的矩陣V2和V1就是V2=a0b000000000a1b100000a7b700a2b2000a6b60000a3b30a5b500]]>和
V1=12a0a100000000a2a300000000a4a500000000a6a7a0-a100000000a2a100000000a4-a500000000-a6a7]]>其中αk與方程式(2)中的相同，ai和bi按照視頻圖像統(tǒng)計(jì)進(jìn)行選擇。在下列公式中，ai和bi能夠針對(duì)這樣的視頻序列加以計(jì)算，該視頻序列具有在幀編碼DCT塊列中第i個(gè)DCT系數(shù)的方差σ2i和在場(chǎng)編碼DCT塊列中第i個(gè)DCT系數(shù)的方差τi2bi=b8-i=a2i=11+(U(i+2)mod4,i)2;i=0,1,2,3]]>a2i+1=Gi,i+Gi,(i+2)mod4U(i+2)mod4,i1+(U(i+2)mod4,i)2;i=0,1,2,3]]>其中G=0.90610-0.0747000.79110-0.09750.21260-0.7682000.277800.8657;]]>U=10U020010U13U200100U3101;]]>Uij=-Γij+Γij2+1;]]>Γij=σj2αj2+σ8-j2α8-j2+τ2j2+τ2j+12(Gjj2-Gji2)2τ2j+12GjjGji;j=i+2mod4]]>通常，ai和bi接近于1，使得這些矩陣與方程式(2)和(4)中定義的矩陣基本相同。
本發(fā)明可以概括如下。對(duì)于一些視頻處理應(yīng)用最知名的是水印檢測(cè)(40)來(lái)說(shuō)，必須對(duì)組成一個(gè)幀的兩個(gè)隔行場(chǎng)(該場(chǎng)的部分)求和或者求平均。因?yàn)閹幋aDCT塊的存在，這個(gè)操作在MPEG域中不是微不足道的。本發(fā)明提供一種方法和設(shè)備，用于對(duì)場(chǎng)進(jìn)行相加而無(wú)不要求幀存儲(chǔ)器或者快速逆向DCT。為此目的，數(shù)學(xué)上要求的逆向垂直DCT(321)和相加(322)的操作與基本變換(323)相組合。選擇基本變換使得被組合的操作在物理上被與稀疏矩陣(32)相乘而替代。所述稀疏矩陣乘法能夠容易地被快速執(zhí)行。逆向基本變換(35)被延遲到所希望的加法(33，34)已經(jīng)完成之后進(jìn)行。
權(quán)利要求
1.一種用于對(duì)隔行視頻幀圖像的場(chǎng)圖像進(jìn)行相加的方法，該隔行視頻幀圖像采用通過(guò)圖像變換(DCT)獲得的幀編碼變換塊的形式加以接收，該方法包括步驟將所述的變換塊與表示所述圖像變換的逆變換(D8-1)、場(chǎng)相加(S)以及預(yù)定基本變換(U0-1)的稀疏矩陣(V2)相乘；使已相乘過(guò)的變換塊進(jìn)行所述預(yù)定基本變換的逆變換(U0)。
2.如權(quán)利要求1所述的方法，其中，所述隔行視頻幀圖像作為一種MPEG編碼幀加以接收，所述的稀疏矩陣(V2)基本上等于V2=α000000000α100000α700α2000α60000α30α500;]]>αk=2cos(πk16)sgn(4-k),]]>并且所述基本變換是4點(diǎn)離散余弦變換。
3.如權(quán)利要求1所述的方法，其中，所述隔行視頻幀作為幀編碼變換塊和場(chǎng)編碼變換塊的混合加以接收，該方法還包括如下步驟將場(chǎng)編碼變換塊與另一個(gè)矩陣(V1)相乘，將相乘過(guò)的場(chǎng)編碼變換塊與已經(jīng)相乘過(guò)的幀編碼變換塊相加。
4.如權(quán)利要求3所述的方法，其中另一個(gè)矩陣(V1)是V1=D4O4O4D4·D8-1,]]>其中D4和D8分別是4點(diǎn)和8點(diǎn)離散余弦變換。
5.如權(quán)利要求3所述的方法，其中另一個(gè)矩陣(V1)基本上等于V1=12110000000011000000001100000000111-100000000-11000000001-100000000-11]]>
6.一種用于對(duì)隔行視頻幀圖像(13)的場(chǎng)圖像(11，12)進(jìn)行相加的設(shè)備，該隔行幀圖像采用通過(guò)圖像變換DCT獲得的幀編碼變換塊(14，31)的形式加以接收，該設(shè)備包括裝置(32)，用于將所述變換塊與表示所述圖像變換的逆變換(321)、場(chǎng)相加(322)和預(yù)定基本變換(323)的稀疏矩陣(V2)相乘；裝置(35)，用于使相乘過(guò)的變換塊進(jìn)行所述預(yù)定基本變換的逆變換(U0)。
7.如權(quán)利要求6所述的配置，其中，所述隔行視頻幀作為幀編碼變換塊(14，31)和場(chǎng)編碼變換塊(16，36)的混合加以接收，該設(shè)備還包括裝置(37)，用于將場(chǎng)編碼變換塊與另一個(gè)矩陣(V1)相乘，以及將相乘過(guò)的場(chǎng)編碼變換塊與相乘過(guò)的幀編碼變換塊相加。
8.種檢測(cè)在多個(gè)隔行視頻幀的場(chǎng)中所嵌入的水印的方法，所述隔行視頻幀采用通過(guò)圖像變換DCT所獲得的幀編碼變換塊(14，31)的形式加以接收，該方法包括步驟將所述變換塊與表示所述圖像變換的逆變換(U8-1)、場(chǎng)相加(S)和預(yù)定基本變換(34)的稀疏矩陣(V2)相乘；在緩沖器(34)中空間累加(33)所述相乘過(guò)的變換塊中的相應(yīng)變換塊；使所述累加的相乘過(guò)的變換塊進(jìn)行所述預(yù)定基本變換的逆變換(U0)；檢測(cè)所述緩沖器中的水印。
9.如權(quán)利要求8所述的方法，其中，所述隔行視頻幀作為幀編碼變換塊和場(chǎng)編碼變換塊的混合加以接收，該方法還包括步驟將場(chǎng)編碼變換塊與另一個(gè)矩陣(V1)相乘，并且在所述緩沖器(34)中空間累加(33)所述相乘過(guò)的場(chǎng)編碼變換塊中的相應(yīng)變換塊。
全文摘要
對(duì)于一些視頻處理應(yīng)用－最知名的水印檢測(cè)(40)來(lái)說(shuō)，必須對(duì)組成一個(gè)幀的兩個(gè)隔行場(chǎng)(或者該場(chǎng)的部分)進(jìn)行相加或者求平均。因?yàn)榇嬖趲幋a的DCT塊，這個(gè)操作在MPEG域中并不是微不足道的。本發(fā)明提供一種不需要幀存儲(chǔ)器或者快速逆向DCT而對(duì)場(chǎng)進(jìn)行相加的方法和設(shè)備。為此目的，數(shù)學(xué)上要求的逆向垂直DCT(321)和加法(322)的操作與基本變換(323)相組合。選擇基本變換使得所組合的操作物理地被稀疏矩陣(32)的乘法替代。所述稀疏矩陣乘法能夠容易地被快速執(zhí)行。逆向基本變換(35)被延遲到希望的加法(33，34)已經(jīng)完成后進(jìn)行。
文檔編號(hào)H04N7/08GK1547855SQ02816520
公開日2004年11月17日 申請(qǐng)日期2002年8月5日 優(yōu)先權(quán)日2001年8月24日
發(fā)明者A·A·C·M·卡爾科, A A C M 卡爾科, J·C·塔斯特拉, 塔斯特拉 申請(qǐng)人:皇家飛利浦電子股份有限公司