專(zhuān)利名稱(chēng)：對(duì)視頻信號(hào)中的局部視覺(jué)時(shí)空細(xì)節(jié)的檢測(cè)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及諸如TV或DVD信號(hào)的視頻信號(hào)處理的領(lǐng)域。更特別地，本發(fā)明涉及用于對(duì)視頻信號(hào)中的局部視覺(jué)時(shí)空細(xì)節(jié)進(jìn)行檢測(cè)和分割的方法。另外，本發(fā)明涉及用于對(duì)視頻信號(hào)中的局部視覺(jué)時(shí)空細(xì)節(jié)進(jìn)行檢測(cè)和分割的系統(tǒng)。
背景技術(shù)：
對(duì)具有圖像(幀)流的視頻信號(hào)的數(shù)據(jù)壓縮已變得普及，這是因?yàn)樵谥T如TV或DVD的數(shù)字視頻數(shù)據(jù)的傳輸中，可以節(jié)省大量的信道容量或存儲(chǔ)容量。諸如MPEG和H.26x的專(zhuān)用標(biāo)準(zhǔn)提供了使用基于塊的運(yùn)動(dòng)補(bǔ)償技術(shù)的高度數(shù)據(jù)壓縮。通常，16×16像素的宏塊被用于運(yùn)動(dòng)信息的表示。這些壓縮技術(shù)為許多普通的視頻信號(hào)提供了高數(shù)據(jù)壓縮率，而不遭受可被人眼察覺(jué)的任何視覺(jué)偽像。
然而，已經(jīng)知道，標(biāo)準(zhǔn)的壓縮方案是不透明的，即對(duì)于某些視頻信號(hào)它們引起視覺(jué)偽像。當(dāng)視頻信號(hào)包括運(yùn)動(dòng)圖像、而運(yùn)動(dòng)圖像又包括局部時(shí)空細(xì)節(jié)時(shí)，會(huì)出現(xiàn)這種視覺(jué)偽像。局部時(shí)空細(xì)節(jié)由以不確定的方式隨時(shí)間改變其局部特征的空間紋理所表示。其實(shí)例是火、波動(dòng)的水、上升的蒸汽、在風(fēng)中擺動(dòng)的葉子等的運(yùn)動(dòng)圖像。在這些情況中，由壓縮方案所提供的16×16像素宏塊的運(yùn)動(dòng)圖像信息表示太粗糙，以致于不能避免視覺(jué)信息的損失。這是關(guān)于與針對(duì)比特率縮減的MPEG或H.26x壓縮的好處相結(jié)合而達(dá)到最佳高質(zhì)量視頻再現(xiàn)的問(wèn)題。
為了避免在用于壓縮的視頻信號(hào)中的視覺(jué)偽像，在應(yīng)用壓縮程序之前必須檢測(cè)局部時(shí)空細(xì)節(jié)，所述局部時(shí)空細(xì)節(jié)可能通過(guò)壓縮而導(dǎo)致視覺(jué)偽像。在視頻信號(hào)中定位了這些部分之后，就有可能對(duì)這些部分應(yīng)用專(zhuān)門(mén)的處理，以便避免由壓縮程序引入偽像。已經(jīng)知道用于檢測(cè)并指示包括時(shí)空細(xì)節(jié)的視頻信號(hào)圖像塊的方法。
EP 0 571 121 B1描述了一種圖像處理方法，這種圖像處理方法確立了已知的所謂的Horn-Schunk方法。在B.K.Horn和B.G.Schunck的“Determining Optical Flow(確定光學(xué)流)”(Artificial Intelligence，17卷，1981年，185-204頁(yè))中對(duì)這種方法進(jìn)行了描述。Horn-Schunk方法包括提取叫做光學(xué)流的像素方面的圖像速度信息。為每一個(gè)單個(gè)的圖像確定光學(xué)流矢量，并基于這個(gè)矢量計(jì)算條件數(shù)(conditionnumber)。在EP 0 571 121 B1中基于每一圖像的光學(xué)流矢量計(jì)算局部條件數(shù)，目標(biāo)是得到魯棒的光學(xué)流。
EP 1 233 373 A1描述了一種用于對(duì)在各種視覺(jué)屬性中表現(xiàn)出相似性的圖像片斷進(jìn)行分割的方法。對(duì)各種標(biāo)準(zhǔn)進(jìn)行了描述，所述標(biāo)準(zhǔn)用于將小圖像區(qū)域組和成在預(yù)定閾值內(nèi)表現(xiàn)出相似特征的較大區(qū)域。關(guān)于運(yùn)動(dòng)檢測(cè)使用一個(gè)仿射運(yùn)動(dòng)模型，這意味著對(duì)光學(xué)流的計(jì)算。
US 6,456,731B1描述了一種用于光學(xué)流的估算方法和圖像合成方法。所描述的光學(xué)流估算是基于在B.D.Lucas和T.Kanade的“Aniterative image registration technique with an application to stereovision(可應(yīng)用于立體視覺(jué)的迭代圖像登記技術(shù))”(Proceedings of the7th International Joint Conference on Artificial Intelligence，1981年，Vancouver，第674-679頁(yè))中描述的已知的Lucas-Kanade方法。Lucas-Kanade方法通過(guò)假定在局部像素鄰域中光學(xué)流是恒定的來(lái)對(duì)光學(xué)流進(jìn)行估算。該圖像合成方法基于登記一個(gè)序列的連續(xù)圖像的處理，該處理是通過(guò)使用光學(xué)流的估算值和特別跟蹤的圖像點(diǎn)來(lái)實(shí)現(xiàn)的，而所述特別跟蹤的圖像點(diǎn)(比如視覺(jué)上突出的拐角點(diǎn))是使用已知的所謂Tomasi-Kanade時(shí)間特征跟蹤方法進(jìn)行跟蹤的。因此，在US5,456,731 B1中描述的方法不執(zhí)行圖像分割，而是類(lèi)似于在EP 0 571121 B1中描述的方法，其執(zhí)行對(duì)光學(xué)流進(jìn)行計(jì)算的步驟，以及隨后執(zhí)行圖像登記步驟。
發(fā)明概述本發(fā)明的一個(gè)目的可以看作是提供一種檢測(cè)視頻信號(hào)中的局部時(shí)空細(xì)節(jié)的方法。該方法必須易于實(shí)現(xiàn)，并且必須適用于在低成本設(shè)備中的應(yīng)用。圖像的時(shí)空細(xì)節(jié)應(yīng)當(dāng)被理解為包含在局部級(jí)別下表現(xiàn)出較強(qiáng)時(shí)間變化的較大空間亮度變化的圖像區(qū)域，其中這些空間部分的速度在時(shí)間上的相關(guān)性很弱。
本發(fā)明的第一方面提供一種檢測(cè)表示多個(gè)圖像的視頻信號(hào)的局部時(shí)空細(xì)節(jié)的方法，對(duì)于每一圖像，該方法包括以下步驟
A)將圖像劃分成一個(gè)或多個(gè)像素塊；B)對(duì)于所述一個(gè)或多個(gè)塊當(dāng)中的每一個(gè)塊內(nèi)的至少一個(gè)像素計(jì)算至少一個(gè)時(shí)空特征；C)對(duì)于所述一個(gè)或多個(gè)塊當(dāng)中的每一個(gè)塊，針對(duì)在該塊內(nèi)計(jì)算的所述至少一個(gè)時(shí)空特征當(dāng)中的每一個(gè)計(jì)算至少一個(gè)統(tǒng)計(jì)參數(shù)；D)檢測(cè)在其中該至少一個(gè)統(tǒng)計(jì)參數(shù)超出預(yù)定水平的塊。
優(yōu)選地，該至少一個(gè)時(shí)空特征包括視覺(jué)法向流大小和/或視覺(jué)法向流方向。視覺(jué)法向流表示與圖像亮度空間梯度平行的光學(xué)流分量。該至少一個(gè)時(shí)空特征可以進(jìn)一步包括視覺(jué)法向加速度大小和/或視覺(jué)法向加速度方向。視覺(jué)法向加速度描述沿著法向(圖像亮度梯度)方向的視覺(jué)法向流的時(shí)間變化。
優(yōu)選地，該方法進(jìn)一步包括計(jì)算在步驟C)中所計(jì)算的至少一個(gè)時(shí)空特征的水平和垂直直方圖的步驟。
步驟D)的至少一個(gè)統(tǒng)計(jì)參數(shù)可以包括以下各項(xiàng)當(dāng)中的一個(gè)或多個(gè)方差、平均值以及概率函數(shù)的至少一個(gè)參數(shù)。像素塊優(yōu)選地是非重疊的正方塊，并且它們的大小可以是2×2像素、4×4像素、6×6像素、8×8像素、12×12像素或16×16像素。
該方法還可以包括在應(yīng)用步驟A)之前對(duì)圖像進(jìn)行預(yù)處理的步驟，以便減少圖像中的噪聲，這種預(yù)處理優(yōu)選地包括用低通濾波器對(duì)圖像進(jìn)行卷積的步驟。
該方法可以在步驟C)和D)之間進(jìn)一步包括中間步驟，該中間步驟包括計(jì)算至少一個(gè)塊間統(tǒng)計(jì)參數(shù)，所述塊間統(tǒng)計(jì)參數(shù)涉及為每一塊所計(jì)算的至少一個(gè)統(tǒng)計(jì)參數(shù)?？梢允褂?-D馬爾可夫(Markovian)非因果鄰域結(jié)構(gòu)來(lái)計(jì)算該至少一個(gè)塊間統(tǒng)計(jì)參數(shù)。
該方法可以進(jìn)一步包括為步驟C)中所計(jì)算的所述至少一個(gè)統(tǒng)計(jì)參數(shù)當(dāng)中的每一個(gè)確定時(shí)間演化模式的步驟。該方法可以進(jìn)一步包括把包括在步驟D)中檢測(cè)的一個(gè)或多個(gè)塊的至少一部分圖像編入索引的步驟。此外，該方法可以包括增加向步驟D)中檢測(cè)的一個(gè)或多個(gè)塊的數(shù)據(jù)率分配的步驟。在另一實(shí)施例中，該方法可以進(jìn)一步包括將圖像插入在去隔行系統(tǒng)中的步驟。
本發(fā)明的第二方面提供一種用于檢測(cè)表示多個(gè)圖像的視頻信號(hào)的局部時(shí)空細(xì)節(jié)的系統(tǒng)，該系統(tǒng)包括
-用于將圖像劃分成一個(gè)或多個(gè)像素塊的裝置；-時(shí)空特征計(jì)算裝置，其對(duì)于所述一個(gè)或多個(gè)塊當(dāng)中的每一個(gè)塊內(nèi)的至少一個(gè)像素計(jì)算至少一個(gè)時(shí)空特征；-統(tǒng)計(jì)參數(shù)計(jì)算裝置，其對(duì)于所述一個(gè)或多個(gè)塊當(dāng)中的每一個(gè)塊、針對(duì)在所述一個(gè)或多個(gè)塊內(nèi)計(jì)算的所述至少一個(gè)時(shí)空特征當(dāng)中的每一個(gè)計(jì)算至少一個(gè)統(tǒng)計(jì)參數(shù)；以及-檢測(cè)裝置，用于檢測(cè)在其中該至少一個(gè)統(tǒng)計(jì)參數(shù)超出預(yù)定水平的一個(gè)或多個(gè)塊。
本發(fā)明的第三方面提供一種裝置，其包括根據(jù)第二方面所述的系統(tǒng)的系統(tǒng)。
本發(fā)明的第四方面提供一種信號(hào)處理器系統(tǒng)，其被編程為根據(jù)第一方面所述的方法進(jìn)行操作。
本發(fā)明的第五方面提供一種用于電視(TV)設(shè)備的去隔行系統(tǒng)，該去隔行系統(tǒng)根據(jù)第一方面所述的方法進(jìn)行操作。
第六方面提供一種視頻信號(hào)編碼器，用于對(duì)表示多個(gè)圖像的視頻信號(hào)進(jìn)行編碼，該視頻信號(hào)編碼器包括-用于將圖像劃分成一個(gè)或多個(gè)像素塊的裝置；-時(shí)空特征計(jì)算裝置，其對(duì)于所述一個(gè)或多個(gè)塊當(dāng)中的每一個(gè)塊內(nèi)的至少一個(gè)像素計(jì)算至少一個(gè)時(shí)空特征；-統(tǒng)計(jì)參數(shù)計(jì)算裝置，其對(duì)于所述一個(gè)或多個(gè)塊當(dāng)中的每一個(gè)塊、針對(duì)在所述一個(gè)或多個(gè)塊內(nèi)計(jì)算的所述至少一個(gè)時(shí)空特征當(dāng)中的每一個(gè)計(jì)算至少一個(gè)統(tǒng)計(jì)參數(shù)；-用于根據(jù)量化尺度向所述一個(gè)或多個(gè)塊分配數(shù)據(jù)的裝置；以及-用于根據(jù)該至少一個(gè)統(tǒng)計(jì)參數(shù)調(diào)節(jié)針對(duì)所述一個(gè)或多個(gè)塊的量化尺度的裝置。
第七方面提供一種表示多個(gè)圖像的視頻信號(hào)，該視頻信號(hào)包括關(guān)于表現(xiàn)出時(shí)空細(xì)節(jié)的圖像段的信息，所述時(shí)空細(xì)節(jié)適合與第一方面的方法一起使用。
第八方面提供一種視頻存儲(chǔ)介質(zhì)，其包括根據(jù)第七方面所述的視頻信號(hào)數(shù)據(jù)。
第九方面提供一種計(jì)算機(jī)可用介質(zhì)，其具有包含在其中的計(jì)算機(jī)可讀程序代碼，該計(jì)算機(jī)可讀程序代碼包括
-用于使計(jì)算機(jī)讀取表示多個(gè)圖像的視頻信號(hào)的裝置；-用于使計(jì)算機(jī)將所讀取的圖像劃分成一個(gè)或多個(gè)像素塊的裝置；-用于使計(jì)算機(jī)對(duì)于所述每一個(gè)塊內(nèi)的至少一個(gè)像素計(jì)算至少一個(gè)時(shí)空特征的裝置；-用于使計(jì)算機(jī)對(duì)于每一個(gè)塊、針對(duì)在所述一個(gè)或多個(gè)塊內(nèi)計(jì)算的所述至少一個(gè)時(shí)空特征當(dāng)中的每一個(gè)計(jì)算至少一個(gè)統(tǒng)計(jì)參數(shù)的裝置；以及-用于使計(jì)算機(jī)檢測(cè)在其中該至少一個(gè)統(tǒng)計(jì)參數(shù)超出預(yù)定水平的塊的裝置。
第十方面提供一種表示多個(gè)圖像的視頻信號(hào)，該視頻信號(hào)是根據(jù)諸如MPEG或H.26x的視頻壓縮標(biāo)準(zhǔn)而被壓縮的，該視頻信號(hào)包括向每一個(gè)圖像的各塊的指定的單獨(dú)數(shù)據(jù)分配，其中與向一個(gè)或多個(gè)所選圖像塊的指定數(shù)據(jù)分配相比，增加被分配給表現(xiàn)出時(shí)空細(xì)節(jié)的一個(gè)或多個(gè)所選圖像塊的數(shù)據(jù)率。
第十一方面提供一種對(duì)視頻信號(hào)進(jìn)行處理的方法，其中該處理方法包括第一方面的方法。
第十二方面提供一種集成電路，其包括用于根據(jù)第一方面的方法對(duì)視頻信號(hào)進(jìn)行處理的裝置。
第十三方面提供一種程序存儲(chǔ)裝置，其可由機(jī)器讀取并對(duì)指令程序進(jìn)行編碼以用于執(zhí)行第一方面的方法。
附圖的簡(jiǎn)要說(shuō)明在下面將參考附圖詳細(xì)地對(duì)本發(fā)明進(jìn)行描述，其中

圖1示出在以均勻速度運(yùn)動(dòng)的輪廓的兩點(diǎn)上的法向流和切向流的圖解；圖2a示出兩個(gè)人與噴水池的圖像的實(shí)例，其中噴水池包括飛濺的水；圖2b示出為圖2a的圖像表示法向流方差的塊方面級(jí)別的灰度圖，其中白色塊表示所計(jì)算的具有高級(jí)別的法向流方差的塊；圖3示出根據(jù)本發(fā)明的系統(tǒng)的流程圖；以及圖4示出法向流方差直方圖的實(shí)例。
雖然本發(fā)明容許各種變形和替換形式，但是已經(jīng)由圖中的例子示出特定的實(shí)施例并在此詳細(xì)地進(jìn)行描述。應(yīng)當(dāng)理解，本發(fā)明不想被限制到所公開(kāi)的特定形式。相反地，本發(fā)明將覆蓋落入如所附權(quán)利要求書(shū)所限定的范圍中的所有變形、等效表述以及替換方案。
本發(fā)明的詳細(xì)描述根據(jù)本發(fā)明的實(shí)施例，用于對(duì)圖像進(jìn)行處理的主要操作是如下步驟A)將圖像劃分成塊B)估算局部特征C)計(jì)算每一塊的特征統(tǒng)計(jì)量對(duì)圖像進(jìn)行處理的步驟A)是將圖像劃分成塊。優(yōu)選地，這些塊與由諸如MPEG和H.26x的標(biāo)準(zhǔn)壓縮所使用的宏塊相符。因此，圖像被優(yōu)選地劃分成8×8像素或16×16像素的非重疊塊。當(dāng)所述塊是8×8像素大并且當(dāng)它們與(MPEG)圖像柵格對(duì)準(zhǔn)時(shí)，其與典型的I幀DCT/IDCT計(jì)算相符并描述空間細(xì)節(jié)信息。當(dāng)所述塊是16×16像素大并且當(dāng)它們與(MPEG)圖像柵格對(duì)準(zhǔn)時(shí)，其與用于在MPEG/H.26x視頻標(biāo)準(zhǔn)中的基于塊的運(yùn)動(dòng)估算中進(jìn)行運(yùn)動(dòng)補(bǔ)償(MC)的P幀(B幀)宏塊相符，并且從而允許描述時(shí)空細(xì)節(jié)信息。
步驟B)包括估算至少一個(gè)局部特征，該局部特征涉及圖像的空間、時(shí)間、和/或時(shí)空細(xì)節(jié)。優(yōu)選地，將兩個(gè)特征與不同的相關(guān)度量一起使用。對(duì)局部特征的估算是基于空間和時(shí)間圖像亮度梯度的結(jié)合。優(yōu)選的特征是視覺(jué)法向流，即視覺(jué)法向速度和視覺(jué)法向加速度。所述局部特征可以基于視覺(jué)法向速度和視覺(jué)法向加速度的其中之一或者二者。在視覺(jué)法向速度的情況中使用兩個(gè)連續(xù)的幀(或圖像)，同時(shí)在視覺(jué)法向加速度的情況中，三個(gè)連續(xù)的幀(或圖像)是必需的。下面給出視覺(jué)法向速度與視覺(jué)法向加速度的更詳細(xì)描述。
步驟C)包括計(jì)算每一塊的特征統(tǒng)計(jì)量。這包括對(duì)特征平均值和方差的計(jì)算。此外，將不同的概率密度函數(shù)匹配于每一塊的統(tǒng)計(jì)量。每一塊的統(tǒng)計(jì)量提供信息以便設(shè)立閾值或標(biāo)準(zhǔn)，從而允許關(guān)于時(shí)空細(xì)節(jié)量對(duì)每一塊進(jìn)行分類(lèi)。因而，每一塊的統(tǒng)計(jì)量允許對(duì)具有大量時(shí)空細(xì)節(jié)的塊進(jìn)行檢測(cè)，這是因?yàn)檫@種塊表現(xiàn)出超出預(yù)定閾值的每一塊的統(tǒng)計(jì)參數(shù)。
視覺(jué)法向流表示與圖像亮度空間梯度平行的光學(xué)流的分量。光學(xué)流是最詳細(xì)的速度信息，其可以通過(guò)對(duì)兩個(gè)連續(xù)的幀或視頻場(chǎng)進(jìn)行處理來(lái)局部提取，但是提取過(guò)程花費(fèi)大量的計(jì)算。另一方面，法向流易于計(jì)算并且含有豐富的局部空間和時(shí)間信息。例如，光學(xué)流的計(jì)算需要典型地為7×7×2的時(shí)空鄰域，同時(shí)法向流只需要2×2×2的鄰域。另外，對(duì)光學(xué)流的計(jì)算需要最優(yōu)化，同時(shí)對(duì)法向流的計(jì)算則不需要。
法向流大小確定與局部圖像亮度梯度平行的運(yùn)動(dòng)量，而法向流方向則描述局部圖像亮度指向。通過(guò)下式計(jì)算視覺(jué)法向流vx×∂I(x,y,t)∂x+vy×∂I(x,y,t)∂y+∂I(x,y,t)∂t=0]]>其中I是亮度，x和y是空間變量，t是時(shí)間變量。法向流方向隱含地對(duì)圖像亮度梯度的空間變化、以及從而對(duì)空間紋理信息進(jìn)行編碼。法向加速度將法向流如何進(jìn)行局部變化描述為二階效應(yīng)。
視覺(jué)法向流被定義為局部圖像速度或光學(xué)流的法向分量，即平行于空間圖像梯度的分量。圖像速度可以在每一圖像像素上被分解為法向和切向分量。
為了圖解，圖1示出經(jīng)過(guò)圖像的目標(biāo)像素的明確定義的圖像邊界或輪廓。圖1中的圖示出以均勻速度 運(yùn)動(dòng)的輪廓的兩個(gè)點(diǎn)上的法向和切向流。從點(diǎn)A到點(diǎn)B，法向和切向圖像速度(分別為法向流和切向流)改變它們的空間指向。這由于輪廓曲率而確實(shí)從點(diǎn)到點(diǎn)地發(fā)生。法向和切向流總是相差90°。
法向流的一個(gè)重要屬性是，其是在圖像中可以被局部計(jì)算的唯一的圖像速度分量。切向分量不能被計(jì)算。為了解釋這一點(diǎn)，可以假定當(dāng)時(shí)問(wèn)t的圖像點(diǎn)P(x，y)移動(dòng)到時(shí)間Δtt’＝t+Δt的位置P’(x’，y’)時(shí)，圖像亮度 是恒定的，其中(x′,y′)=(x,y)+V→·Δt.]]>圖像速度被認(rèn)為是恒定的，并且Δt“很小”。因此，I(x′，y′，t′)≈I(x，y，t)(1)或者V→·▿→I(x,y,t)+∂I(x,y,t)∂t≈0---(2)]]>其中′≈′意味著近似，并且▿≡(∂/∂x,∂/∂y).]]>因?yàn)閂→=V→n+V→t]]>并且V→t·▿→=0---(2)]]>被簡(jiǎn)化為
V→n·▿→I(x,y,t)+∂I(x,y,t)∂t≈0---(3)]]>這意味著V→n=n^|V→n|---(4)]]>以及|V→n|=|∂I(x,y,t)∂t||▿I(x,y,t)|---(5)]]> 與圖像速度不同，法向流也是局部圖像亮度梯度指向的度量，并且該度量隱含地包括空間形狀可變性的量，例如曲率、紋理指向等。
優(yōu)選地，可以使用兩種不同的方法來(lái)計(jì)算離散圖像丌I[i][j][k]中的法向流．一種方法是在B.K.P.Horn的“Robot Vision(機(jī)器人視覺(jué))”(The MIT Press，Cambridge，Massachusetts，1986年)中描述的2×2×2亮度立方方法。另一種方法是基于特征的方法。
在2×2×2亮度立方方法中，根據(jù)(7)-(9)來(lái)近似空間和時(shí)間導(dǎo)數(shù)。
I(x，y；t)/x≈1/4×[(I(i+1][j][k]+I[i+1][j][k+1]+I[i+1][j+1][k]+I[i+1][j+1][k+1])--(I[i][j][k]+I[i][j][k+1]+I[i][j+1][k]+I[i][j+1][k+1])].
(7)I(x，y；t)/y≈1/4×[(I[i][[j+1][k]+I[i][j+l][k+1]+I[i+1][j+1][k]+I[i+1][j+1][k+1])--(I[i][j][k]+I[i][k+1]+I[i+1][j][k]+I[i+1][j][k+1])](8)I(x，y；t)/t≈1/4×[(I[i][[j][k+1]+I[i][j+1][k+1]+I[i+1][j][k+1]+I[i+1][j+1][k+1])--(I[i][j][k]+I[i][j+1][k]+I[i+1][j][k]+I[i+1][j+1][k])](9)在2×2×2亮度立方的單元之內(nèi)計(jì)算這些離散導(dǎo)數(shù)。
基于特征的方法是基于下面的步驟(a)找到具有高空間梯度的圖像點(diǎn)。這通過(guò)下面的步驟來(lái)實(shí)現(xiàn)(i)通過(guò)向其應(yīng)用逼近高斯函數(shù)的二項(xiàng)式逼近來(lái)平滑圖像 (ii)計(jì)算離散化的空間圖像梯度∂I~/∂x≈1/2·(I[i+1][j][k]-I[i-1][j][k])]]>和∂I~/∂y≈1/2·(I[i][j+1][k]-I[i][j-1][k]);]]>(iii)找到其 大于預(yù)先確定的閾值TGr的圖像點(diǎn)的子集。此外，使用∂I~/∂t≈1/2·(I[i][j][k+1]-I[i][j][k-1]),]]>其涉及三個(gè)連續(xù)幀而不是兩個(gè)連續(xù)幀。
(b)通過(guò)使用(5)和(6)的離散形式、在每一特征位置(例如具有“高”空間梯度的點(diǎn))處交互地計(jì)算法向流。首先，對(duì)于法向流進(jìn)行初始計(jì)算，并且以其為根據(jù)來(lái)對(duì)局部圖像進(jìn)行扭曲(warp)，以便細(xì)化法向流值。從殘留時(shí)間導(dǎo)數(shù)計(jì)算殘留法向流，并且更新初始法向流估算。重復(fù)這個(gè)步驟，直到殘留法向流小于ε(例如0001)。
法向加速度描述沿著法向(圖像亮度梯度)方向的法向流的時(shí)間變化。其重要性是由于加速度測(cè)量法向流在至少三個(gè)連續(xù)幀之間變化了多少，并且因而能夠確定在各幀對(duì)之間的時(shí)空細(xì)節(jié)變化了多少。
定義法向加速度的一種方式是通過(guò)采用(3)的時(shí)間導(dǎo)數(shù)∂∂t[V→n·▿→I(x,y,t)+∂I(x,y,t)∂t]=A→n·▿→I(x,y,t)+V→n·∂∂t▿→I(x,y,t)+∂2I(x,y,t)∂2t≈0---(10)]]>以使得A→n=n^|A→n|---(11)]]>以及|A→n|=|▿→I(x,y,t)|·∂2I(x,y,t)/∂2t+|∂I(x,y,t)/∂t|·|∂▿→I(x,y,t)/∂t||▿I(x,y,t)|2---(12)]]>因?yàn)?12)中的二階時(shí)間導(dǎo)數(shù)，當(dāng)實(shí)現(xiàn)(12)時(shí)必須使用最少三個(gè)連續(xù)幀。采用3×3×3像素寬的立方來(lái)計(jì)算(12)中的導(dǎo)數(shù)的離散化形式，其可以被示為2I/2t≈1/6[I[i[j+1][k-1]+2·I[i][j][k-1]+I[i][j-1][k-1]+I[i+1][j][k-1]+I[i-1][j][k-1]-2·(I[i][j+1][k]+2·I[i][j][k]+I[i][j-1][k]+I[i+1][j][k]+I[i-1][j][k])+I[i][j+1][k+1]+2·I[i][j][k+1]+I[i][j-1][k+1]+I[i+1][j][k+1]+I[i-11][j][k+1]](13)可以在3×3×3立方上根據(jù)(7)-(9)獲得其它離散化的導(dǎo)數(shù)。
計(jì)算特征統(tǒng)計(jì)量的目的是為了檢測(cè)其中給定的特征變化最大的時(shí)空區(qū)域，即對(duì)高時(shí)空細(xì)節(jié)的分割和檢測(cè)。這可以根據(jù)下面的算法來(lái)實(shí)現(xiàn)，其中給出兩個(gè)(三個(gè))連續(xù)的圖像1.將圖像劃分成非重疊的(正方形或矩形)塊；2.在每一塊中計(jì)算局部特征集合；
3.為每一塊確定在2.中計(jì)算的特征集合的平均值；以及4.根據(jù)3.中計(jì)算的方差來(lái)計(jì)算每一塊中的每一特征的方差、平均值變化；5.在給定閾值Tstat的情況下選擇一組塊，對(duì)于該組塊來(lái)說(shuō)，在4.中所計(jì)算的方差大于Tstat。
在我們的算法實(shí)現(xiàn)方式中，我們選擇正方形(8×8或16×16)塊。這將把圖像以棋盤(pán)格形式布置(tessellate)為正方形塊，而其剩余部分將維持非棋盤(pán)格狀；為了減少這種殘留的非棋盤(pán)格狀圖像區(qū)域，可以使用矩形棋盤(pán)格布置，但是這不是這里所關(guān)心的，因?yàn)槲覀兿Ｍ麑⑦@些塊與MPEG8×8(DCT)或16×16(MC)塊對(duì)準(zhǔn)，以用于視覺(jué)偽像預(yù)檢測(cè)。對(duì)每一塊中的特征值的計(jì)算或者在其 大于預(yù)先確定的閾值T的每一像素上實(shí)現(xiàn)，或者在其 大于預(yù)先確定的閾值TGr的特征點(diǎn)上實(shí)現(xiàn)；通常T＜TGr。在步驟4.和5.中例示的統(tǒng)計(jì)量?jī)H僅是為了說(shuō)明。可以計(jì)算更詳細(xì)的統(tǒng)計(jì)量。還可以計(jì)算特定的概率分布密度(pdf)及其統(tǒng)計(jì)量。
為了使根據(jù)上述或相關(guān)實(shí)現(xiàn)方式的計(jì)算更魯棒，可以應(yīng)用一組預(yù)處理或后處理操作。預(yù)處理的一個(gè)例子是用低通濾波器對(duì)輸入圖像進(jìn)行卷積。后處理可以包括例如關(guān)于其統(tǒng)計(jì)量(例如特征方差)對(duì)相鄰決進(jìn)行比較。
圖2a示出從圖像序列中獲取的一個(gè)圖像的例子。在該圖像中，兩個(gè)人正在注視著噴水池中飛濺的水。一個(gè)人部分地在飛濺的水的后面。因此，該圖像包括表現(xiàn)出一種預(yù)期會(huì)產(chǎn)生混亂的亮度圖案的現(xiàn)象的例子的局部部分，即飛濺的水的現(xiàn)象。因此，從具有潛在的大量局部時(shí)空細(xì)節(jié)的運(yùn)動(dòng)圖像序列中獲取該圖像。該圖像已根據(jù)本發(fā)明被按塊處理，并且對(duì)于每一決，已經(jīng)將法向流大小的方差計(jì)算為表示時(shí)空細(xì)節(jié)量的度量。
在圖2b中，以表示法向流大小的方差、并且從而表示局部時(shí)空細(xì)節(jié)量的灰度級(jí)示出圖2a的各圖像塊。白色塊指示具有高級(jí)別的法向流方差的區(qū)域，而暗灰色決則指示具有低級(jí)別的法向流方差的區(qū)域。如從圖2b中所看到的那樣，白色塊出現(xiàn)在具有飛濺的水的圖像部分，因而根據(jù)所述處理方法，發(fā)現(xiàn)這些局部圖像區(qū)域表現(xiàn)出大量的局部時(shí)空細(xì)節(jié)。可以看出，穩(wěn)定的圖像區(qū)域(諸如左邊的人和右邊的噴水池)是暗灰色，從而表示這些區(qū)域被檢測(cè)為表現(xiàn)出低法向流方差。
圖3示出用于處理時(shí)空細(xì)節(jié)信息的系統(tǒng)的流程圖結(jié)構(gòu)。通過(guò)使用在該流程圖中示出的不同路徑A、B和C，在圖3中繪出的系統(tǒng)可以用于不同的應(yīng)用。圖3的各單元是VI視頻輸入Pre-P預(yù)處理STDE時(shí)空細(xì)節(jié)估算和檢測(cè)Post-P后處理VQI視覺(jué)質(zhì)量改進(jìn)Disp顯示St存儲(chǔ)介質(zhì)圖3的視頻輸入代表一個(gè)表示圖像序列的視頻信號(hào)。該視頻輸入可以例如通過(guò)有線或無(wú)線的方式而被直接應(yīng)用，或者如圖3中所指示的那樣，在被處理之前該視頻信號(hào)可以被存儲(chǔ)在存儲(chǔ)介質(zhì)中。存儲(chǔ)介質(zhì)可以是硬盤(pán)、可寫(xiě)CD、DVD、計(jì)算機(jī)存儲(chǔ)器等。該輸入可以是諸如MPEG或H.26x的壓縮視頻格式，或者其可以是未壓縮的信號(hào)，即視頻信號(hào)的全分辨率表示。如果輸入的是模擬視頻信號(hào)，則VI步驟可以包括模/數(shù)轉(zhuǎn)換。
圖3的預(yù)處理是可選的。如果優(yōu)選的話(huà)，在應(yīng)用時(shí)空檢測(cè)處理之前可以應(yīng)用各種信號(hào)處理，以便減少視頻信號(hào)中的噪聲或其他視覺(jué)偽像。這增強(qiáng)了時(shí)空檢測(cè)處理的效果。
根據(jù)上述方法執(zhí)行時(shí)空細(xì)節(jié)估算和檢測(cè)。優(yōu)選地，該方法包括對(duì)視覺(jué)法向流的計(jì)算，并且可以進(jìn)一步包括對(duì)視覺(jué)法向加速度的計(jì)算。必需的計(jì)算裝置可以是專(zhuān)用視頻信號(hào)處理器。替換地，根據(jù)本發(fā)明的信號(hào)處理方法所需的計(jì)算量可以使用已經(jīng)存在于裝置中的信號(hào)處理能力來(lái)實(shí)現(xiàn)，所述裝置例如是電視機(jī)或DVD播放器。
后處理可以包括各種對(duì)于圖3系統(tǒng)的STDE部分的每一塊的統(tǒng)計(jì)結(jié)果執(zhí)行的每塊統(tǒng)計(jì)方法。后處理可以進(jìn)一步包括對(duì)圖3的STDE步驟的每一塊的統(tǒng)計(jì)結(jié)果的時(shí)間積分。另外，后處理可以包括確定每塊統(tǒng)計(jì)量隨時(shí)間的時(shí)間演化模式。這是確定哪些部分具有穩(wěn)定的統(tǒng)計(jì)量所必需的。
使用圖3的路徑A，在對(duì)時(shí)空細(xì)節(jié)的檢測(cè)之后存儲(chǔ)視頻信號(hào)。優(yōu)選地，將視頻信號(hào)與允許之后執(zhí)行進(jìn)一步的處理的索引信息一起存儲(chǔ)。
替換地，可以在存儲(chǔ)之前應(yīng)用視覺(jué)質(zhì)量改進(jìn)裝置，即可以使用路徑B?？梢韵蛐盘?hào)提供視覺(jué)質(zhì)量改進(jìn)裝置，以便利用所提供的關(guān)于包含大量時(shí)空細(xì)節(jié)的局部圖像區(qū)域的信息。對(duì)于未壓縮的視頻信號(hào)，這可以通過(guò)向具有時(shí)空細(xì)節(jié)的塊分配比通常由標(biāo)準(zhǔn)編碼方案所分配的更大的數(shù)據(jù)率來(lái)完成(這例如通過(guò)減小I幀和P幀編碼中的量化尺度來(lái)實(shí)現(xiàn))，以處理更高級(jí)別的細(xì)節(jié)。然后可以以已編碼的形式存儲(chǔ)信號(hào)，并被任意處理以便消除或避免視覺(jué)偽像?？梢栽诓贿M(jìn)行編碼而是提供指示具有時(shí)空細(xì)節(jié)的塊或區(qū)域的索引信息的情況下存儲(chǔ)視頻信號(hào)，從而允許進(jìn)一步處理(例如隨后編碼或者將時(shí)空索引信息用作搜索準(zhǔn)則)。
圖3的系統(tǒng)的最后的處理部分是視覺(jué)輸出，即顯示，諸如在TV屏幕上、計(jì)算機(jī)屏幕上等等進(jìn)行顯示。替換地，視頻信號(hào)在被顯示或存儲(chǔ)之前可以被施加到其它裝置或處理器中。
根據(jù)本發(fā)明原理的一種應(yīng)用(i)是消除或至少減少視頻信號(hào)中的視覺(jué)偽像，諸如偽像塊效應(yīng)(blockiness)或時(shí)間閃爍，這是通過(guò)向被檢測(cè)為表現(xiàn)出時(shí)空細(xì)節(jié)的塊分配更多比特而實(shí)現(xiàn)的。在某些情況中，僅僅獲得對(duì)特定圖像/視頻區(qū)域的表示是優(yōu)選的，所述圖像/視頻區(qū)域一旦被編碼將包括可能的視覺(jué)偽像，諸如塊效應(yīng)、振鈴(ringing)、以及數(shù)字(MPEG、H.26x)處理的視頻的蚊式“噪聲”。
另一種應(yīng)用(ii)是實(shí)現(xiàn)低成本的運(yùn)動(dòng)檢測(cè)指示器，用于在TV系統(tǒng)的去隔行中的場(chǎng)插入，其可以得益于空間銳度改進(jìn)。這可能特別適于低成本去隔行器中的應(yīng)用，本發(fā)明的原理提供了部分運(yùn)動(dòng)補(bǔ)償信息。
還有另一種應(yīng)用(iii)是在長(zhǎng)視頻數(shù)據(jù)庫(kù)中檢測(cè)、分割、索引和檢索被檢測(cè)為表現(xiàn)出時(shí)空細(xì)節(jié)的圖像區(qū)域。以這種方式有可能提供一種允許對(duì)例如電視片的序列的快速索引的搜索工具，這種例如電視片的序列包含瀑布、海浪、在風(fēng)中運(yùn)動(dòng)的頭發(fā)/葉子/草等。依賴(lài)于將哪種應(yīng)用作為目標(biāo)，可以使用不同的處理塊。
還有另一種應(yīng)用(iv)是執(zhí)行選擇性的銳化，即自適應(yīng)地將空間銳度(通過(guò)峰化和限幅)改變成其中需要更銳利圖像的高亮選擇的圖像區(qū)域，并減小在去選擇的區(qū)域中增加數(shù)字偽像的可見(jiàn)度的可能性。
例如，應(yīng)用(i)可以被用在用于顯示和存儲(chǔ)應(yīng)用的視覺(jué)質(zhì)量改進(jìn)中。對(duì)于顯示應(yīng)用，使用圖3的路徑C。顯示應(yīng)用可以是諸如高質(zhì)量電視機(jī)。對(duì)時(shí)空細(xì)節(jié)的檢測(cè)和分割是重要的，這是由于通過(guò)響應(yīng)于局部/區(qū)域的圖像特征進(jìn)行適當(dāng)?shù)谋忍胤峙?，諸如每8×8或16×16圖像塊的定制比特率控制，可以消除或者至少減少視覺(jué)偽像。這對(duì)于視覺(jué)偽像是重要的，這是因?yàn)橹煌ㄟ^(guò)檢測(cè)可能會(huì)太晚，以致于在顯示時(shí)不能減小視覺(jué)偽像的可見(jiàn)度或者減小其對(duì)運(yùn)動(dòng)圖片的視覺(jué)質(zhì)量的影響。
在存儲(chǔ)應(yīng)用中可以使用圖3的路徑A或路徑B。通過(guò)使用路徑A，在執(zhí)行視覺(jué)質(zhì)量改進(jìn)之前存儲(chǔ)視頻信號(hào)。然而，使用路徑A可以包括對(duì)時(shí)空細(xì)節(jié)的檢測(cè)和分割以及對(duì)區(qū)域索引的存儲(chǔ)，所述區(qū)域例如是8×8或16×16像素塊，其包含大量的時(shí)空細(xì)節(jié)。以這種方式，可以對(duì)長(zhǎng)視頻數(shù)據(jù)庫(kù)(所存儲(chǔ)的內(nèi)容)進(jìn)行處理，以便允許后期的進(jìn)一步處理。對(duì)于非常詳細(xì)的、以及對(duì)于內(nèi)容描述不知道有效表示的內(nèi)容信息來(lái)說(shuō)，這樣做是很有用的。視頻信號(hào)可以被壓縮或未壓縮地存儲(chǔ)。通過(guò)存儲(chǔ)未壓縮的數(shù)據(jù)，可以利用所存儲(chǔ)的關(guān)于局部時(shí)空細(xì)節(jié)的索引來(lái)執(zhí)行稍后的壓縮。
通過(guò)使用路徑B，在基于所檢測(cè)的局部時(shí)空細(xì)節(jié)而在提高視覺(jué)質(zhì)量方面對(duì)視頻信號(hào)進(jìn)行了適當(dāng)處理之后，對(duì)所述視頻信號(hào)進(jìn)行存儲(chǔ)。如所述的那樣，可以通過(guò)向表現(xiàn)出時(shí)空細(xì)節(jié)的塊分配更多的數(shù)據(jù)來(lái)執(zhí)行視覺(jué)質(zhì)量改進(jìn)。因此，路徑B也可以用于處理大的視頻數(shù)據(jù)庫(kù)。使用路徑B，視頻信號(hào)可以被壓縮存儲(chǔ)，這是因?yàn)橐褕?zhí)行適當(dāng)?shù)男盘?hào)處理，從而確保即使使用壓縮也能在時(shí)空細(xì)節(jié)方面獲得高視覺(jué)質(zhì)量。
在大量不同的裝置或系統(tǒng)、裝置或系統(tǒng)的各部分中，根據(jù)本發(fā)明的原理可以被應(yīng)用在諸如電視機(jī)的TV系統(tǒng)、諸如DVD播放器或DVD記錄器的DVD+RW設(shè)備中。所提議的方法可以被應(yīng)用在數(shù)字(LCD、LCoS)電視機(jī)中，其中新型的數(shù)字偽像出現(xiàn)和/或變得更明顯，并且因而需要通常較高的視頻信號(hào)質(zhì)量。
涉及視覺(jué)質(zhì)量改進(jìn)的本發(fā)明的原理也可以用在以適于顯示運(yùn)動(dòng)圖片的顯示器為特色的無(wú)線便攜式小型裝置中。例如，在具有靠近眼睛的顯示器的移動(dòng)電話(huà)上的運(yùn)動(dòng)圖片的高視覺(jué)質(zhì)量還可以與適中的數(shù)據(jù)率需求相結(jié)合。對(duì)于具有十分差的空間分辨率的裝置，根據(jù)本發(fā)明的視覺(jué)質(zhì)量改進(jìn)可以用來(lái)減少視頻信號(hào)所需的數(shù)據(jù)率，并且仍沒(méi)有塊效應(yīng)和有關(guān)的視覺(jué)偽像。
另外，根據(jù)本發(fā)明的原理可以被應(yīng)用在MPEG編碼和解碼設(shè)備中。所述方法可以被應(yīng)用在這種編碼器或解碼器中。替換地，可以在現(xiàn)有的編碼器之前應(yīng)用單獨(dú)的視頻處理器裝置。根據(jù)本發(fā)明的原理既可以被應(yīng)用在消費(fèi)設(shè)備中，也可以被應(yīng)用在專(zhuān)業(yè)設(shè)備中。
在根據(jù)本發(fā)明的視頻信號(hào)編碼器的實(shí)施例中，應(yīng)用依賴(lài)于時(shí)空細(xì)節(jié)信息的編碼器側(cè)的量化尺度。該量化尺度由時(shí)空細(xì)節(jié)信息進(jìn)行調(diào)制。該尺度越小(越大)，量化器就具有更多(更少)的梯級(jí)，從而增強(qiáng)(模糊)更多(更少)的空間細(xì)節(jié)。優(yōu)選地，根據(jù)本發(fā)明的視頻信號(hào)編碼器能夠產(chǎn)生符合MPEG或H.26x格式的信號(hào)格式。
在優(yōu)選的實(shí)施例中，使用固定的每宏塊量化尺度q_sc。將調(diào)制應(yīng)用到q_sc，其中該調(diào)制使用關(guān)于時(shí)空細(xì)節(jié)的信息。對(duì)于每一宏塊計(jì)算法向流(每像素)及其平均值和方差σvn每宏塊)。從實(shí)驗(yàn)中已知，伽馬(Erlang)函數(shù)對(duì)于法向流方差的直方圖是一個(gè)良好的擬合。利用該知識(shí)，有可能用如下移位的伽馬(Erlang)函數(shù)來(lái)擬合σvn的直方圖M(x)＝x×exp(-(x-1))通過(guò)該式，每宏塊量化尺度變成q_sc_m=F(δ×q_sc-λ×M(σv^n))]]>其中F()表示舍入和查表操作，δ和λ是根據(jù)分配給每幀(視頻序列)的優(yōu)選的比特總量而進(jìn)行調(diào)節(jié)的實(shí)數(shù)(δ對(duì)應(yīng)于正數(shù)，λ對(duì)應(yīng)于正數(shù)和負(fù)數(shù))。
圖4示出一種直方圖的例子，其中為表現(xiàn)出具有大量時(shí)空細(xì)節(jié)的圖像部分的序列繪制該直方圖。所處理的序列是一個(gè)女孩在前景中奔跑的序列，同時(shí)背景部分是海浪拍打巖石。圖4的直方圖示出作為法向流方差的函數(shù)的多個(gè)塊。白條指示平坦區(qū)域，即具有少量時(shí)空細(xì)節(jié)的區(qū)域，例如天空。黑條指示具有大量時(shí)空細(xì)節(jié)的區(qū)域，例如拍打巖石的海浪。如從直方圖中所看到的那樣，在時(shí)空細(xì)節(jié)和法向流方差之間有很好的相關(guān)性，這是因?yàn)榇砭哂猩倭繒r(shí)空細(xì)節(jié)的區(qū)域的條朝著低法向流方差值聚集，同時(shí)代表具有大量時(shí)空細(xì)節(jié)的區(qū)域的條則朝著高法向流方差值聚集。
在前述內(nèi)容以及所附權(quán)利要求書(shū)中，應(yīng)當(dāng)理解，諸如“合并”、“包含”、“包括”、“由……組成”、“是”以及“具有”的表達(dá)方式應(yīng)被非排他性地理解，即有可能存在沒(méi)有明確說(shuō)明的其他部分或組件。
權(quán)利要求
1.一種檢測(cè)表示多個(gè)圖像的視頻信號(hào)的局部時(shí)空細(xì)節(jié)的方法，該方法對(duì)于每一圖像包括如下步驟A)將圖像劃分成一個(gè)或多個(gè)像素塊；B)對(duì)于所述一個(gè)或多個(gè)塊當(dāng)中的每一個(gè)塊內(nèi)的至少一個(gè)像素計(jì)算至少一個(gè)時(shí)空特征；C)對(duì)于所述一個(gè)或多個(gè)塊當(dāng)中的每一個(gè)塊，針對(duì)在該塊內(nèi)計(jì)算的所述至少一個(gè)時(shí)空特征當(dāng)中的每一個(gè)計(jì)算至少一個(gè)統(tǒng)計(jì)參數(shù)；以及D)檢測(cè)在其中該至少一個(gè)統(tǒng)計(jì)參數(shù)超出預(yù)定水平的塊。
2.如權(quán)利要求1所述的方法，其中所述至少一個(gè)時(shí)空特征是從由以下各項(xiàng)構(gòu)成的組中選擇的視覺(jué)法向流大小，視覺(jué)法向流方向。
3.如權(quán)利要求1所述的方法，其中所述至少一個(gè)時(shí)空特征是從由以下各項(xiàng)構(gòu)成的組中選擇的視覺(jué)法向加速度大小，視覺(jué)法向加速度方向。
4.如權(quán)利要求1所述的方法，其中步驟D)的至少一個(gè)統(tǒng)計(jì)參數(shù)是從由以下各項(xiàng)構(gòu)成的組中選擇的方差，平均值，以及概率函數(shù)的至少一個(gè)參數(shù)。
5.如權(quán)利要求1所述的方法，其中所述一個(gè)或多個(gè)像素塊是一個(gè)或多個(gè)非重疊的正方形塊，并且其中所述一個(gè)或多個(gè)正方形塊的大小是從由以下各項(xiàng)構(gòu)成的組中選擇的2×2像素，4×4像素，6×6像素，8×8像素，12×12像素，以及16×16像素。
6.如權(quán)利要求1所述的方法，進(jìn)一步包括在應(yīng)用步驟A)之前對(duì)圖像進(jìn)行預(yù)處理的步驟，以便減少圖像中的噪聲。
7.如權(quán)利要求6所述的方法，其中所述預(yù)處理步驟包括用低通濾波器對(duì)圖像進(jìn)行卷積。
8.如權(quán)利要求1所述的方法，進(jìn)一步包括在步驟C)和D)之間的中間步驟，其中該中間步驟包括計(jì)算至少一個(gè)塊間統(tǒng)計(jì)參數(shù)，所述塊間統(tǒng)計(jì)參數(shù)涉及為每一塊所計(jì)算的至少其中一個(gè)統(tǒng)計(jì)參數(shù)。
9.如權(quán)利要求8所述的方法，其中使用2-D馬爾可夫非因果鄰域結(jié)構(gòu)來(lái)計(jì)算該至少一個(gè)塊間統(tǒng)計(jì)參數(shù)。
10.如權(quán)利要求1所述的方法，進(jìn)一步包括為在步驟C)中所計(jì)算的所述至少一個(gè)統(tǒng)計(jì)參數(shù)當(dāng)中的每一個(gè)確定時(shí)間演化模式的步驟。
11.如權(quán)利要求1所述的方法，進(jìn)一步包括將包括在步驟D)中檢測(cè)的一個(gè)或多個(gè)塊的至少一部分圖像編索引的步驟。
12.如權(quán)利要求1所述的方法，進(jìn)一步包括計(jì)算在步驟C)中所計(jì)算的至少一個(gè)時(shí)空特征的水平和垂直直方圖的步驟。
13.如權(quán)利要求1所述的方法，進(jìn)一步包括增加向在步驟D)中檢測(cè)的一個(gè)或多個(gè)塊的數(shù)據(jù)率分配的步驟。
14.如權(quán)利要求1所述的方法，進(jìn)一步包括將圖像插入去隔行系統(tǒng)中的步驟。
15.一種用于檢測(cè)表示多個(gè)圖像的視頻信號(hào)的局部時(shí)空細(xì)節(jié)的系統(tǒng)，該系統(tǒng)包括-用于將圖像劃分成一個(gè)或多個(gè)像素塊的裝置；-時(shí)空特征計(jì)算裝置，其對(duì)于所述一個(gè)或多個(gè)塊當(dāng)中的每一個(gè)塊內(nèi)的至少一個(gè)像素計(jì)算至少一個(gè)時(shí)空特征；-統(tǒng)計(jì)參數(shù)計(jì)算裝置，其對(duì)于所述一個(gè)或多個(gè)塊當(dāng)中的每一個(gè)塊、針對(duì)在所述一個(gè)或多個(gè)塊內(nèi)計(jì)算的所述至少一個(gè)時(shí)空特征當(dāng)中的每一個(gè)計(jì)算至少一個(gè)統(tǒng)計(jì)參數(shù)；以及-檢測(cè)裝置，用于檢測(cè)在其中該至少一個(gè)統(tǒng)計(jì)參數(shù)超出預(yù)定水平的一個(gè)或多個(gè)塊。
16.一種裝置，其包括如權(quán)利要求15所述的系統(tǒng)。
17.一種信號(hào)處理器系統(tǒng)，其被編程為按照權(quán)利要求1所述的方法進(jìn)行操作。
18.一種用于電視(TV)設(shè)備的去隔行系統(tǒng)，該去隔行系統(tǒng)按照權(quán)利要求1所述的方法進(jìn)行操作。
19.一種視頻信號(hào)編碼器，用于對(duì)表示多個(gè)圖像的視頻信號(hào)進(jìn)行編碼，該視頻信號(hào)編碼器包括-用于將圖像劃分成一個(gè)或多個(gè)像素塊的裝置；-時(shí)空特征計(jì)算裝置，其對(duì)于所述一個(gè)或多個(gè)塊當(dāng)中的每一個(gè)塊內(nèi)的至少一個(gè)像素計(jì)算至少一個(gè)時(shí)空特征；-統(tǒng)計(jì)參數(shù)計(jì)算裝置，其對(duì)于所述一個(gè)或多個(gè)塊當(dāng)中的每一個(gè)塊、針對(duì)在所述一個(gè)或多個(gè)塊內(nèi)計(jì)算的所述至少一個(gè)時(shí)空特征當(dāng)中的每一個(gè)計(jì)算至少一個(gè)統(tǒng)計(jì)參數(shù)；-用于根據(jù)量化尺度向所述一個(gè)或多個(gè)塊分配數(shù)據(jù)的裝置；以及-用于根據(jù)該至少一個(gè)統(tǒng)計(jì)參數(shù)調(diào)節(jié)針對(duì)所述一個(gè)或多個(gè)塊的量化尺度的裝置。
20.一種表示多個(gè)圖像的視頻信號(hào)，該視頻信號(hào)包括關(guān)于表現(xiàn)出時(shí)空細(xì)節(jié)的圖像段的信息，所述時(shí)空細(xì)節(jié)適于與權(quán)利要求1的方法一起使用。
21.一種視頻存儲(chǔ)介質(zhì)，其包括如權(quán)利要求20所述的視頻信號(hào)數(shù)據(jù)。
22.一種計(jì)算機(jī)可用介質(zhì)，其具有包含于其中的計(jì)算機(jī)可讀程序代碼，該計(jì)算機(jī)可讀程序代碼包括-用于使計(jì)算機(jī)讀取表示多個(gè)圖像的視頻信號(hào)的裝置；-用于使計(jì)算機(jī)將所讀取的圖像劃分成一個(gè)或多個(gè)像素塊的裝置；-用于使計(jì)算機(jī)對(duì)于所述每一個(gè)塊內(nèi)的至少一個(gè)像素計(jì)算至少一個(gè)時(shí)空特征的裝置；-用于使計(jì)算機(jī)對(duì)于每一個(gè)塊、針對(duì)在所述一個(gè)或多個(gè)塊內(nèi)計(jì)算的所述至少一個(gè)時(shí)空特征當(dāng)中的每一個(gè)計(jì)算至少一個(gè)統(tǒng)計(jì)參數(shù)的裝置；以及-用于使計(jì)算機(jī)檢測(cè)在其中該至少一個(gè)統(tǒng)計(jì)參數(shù)超出預(yù)定水平的塊的裝置。
23.一種表示多個(gè)圖像的視頻信號(hào)，該視頻信號(hào)是根據(jù)諸如MPEG或H.26x的視頻壓縮標(biāo)準(zhǔn)而被壓縮的，該視頻信號(hào)包括向每一個(gè)圖像的各塊的指定的單獨(dú)數(shù)據(jù)分配，其中與向一個(gè)或多個(gè)所選圖像塊的指定數(shù)據(jù)分配相比，增加被分配給表現(xiàn)出時(shí)空細(xì)節(jié)的一個(gè)或多個(gè)所選圖像塊的數(shù)據(jù)率。
24.一種對(duì)視頻信號(hào)進(jìn)行處理的方法，其中該處理方法包括權(quán)利要求1的方法。
25.一種集成電路，其包括用于根據(jù)權(quán)利要求1的方法對(duì)視頻信號(hào)進(jìn)行處理的裝置。
26.一種程序存儲(chǔ)裝置，其可由機(jī)器讀取并對(duì)指令程序進(jìn)行編碼，以用于執(zhí)行權(quán)利要求1的方法。
全文摘要
本發(fā)明涉及例如用于TV或DVD信號(hào)的視頻信號(hào)處理。描述了用于對(duì)視頻信號(hào)中的局部視覺(jué)時(shí)空細(xì)節(jié)進(jìn)行檢測(cè)和分割的方法和系統(tǒng)。此外，描述了一種視頻信號(hào)編碼器。所述方法包括如下步驟將圖像劃分成像素塊，計(jì)算每一塊中的時(shí)空特征，對(duì)于每一時(shí)空特征計(jì)算統(tǒng)計(jì)參數(shù)，以及檢測(cè)其中統(tǒng)計(jì)參數(shù)超出預(yù)定水平的塊。優(yōu)選地，視覺(jué)法向流被用作局部時(shí)空特征。另外，視覺(jué)法向加速度可以被用作時(shí)空特征。在優(yōu)選實(shí)施例中，通過(guò)MPEG或H.26x編碼發(fā)生的諸如塊效應(yīng)的視覺(jué)偽像可以通過(guò)向表現(xiàn)出大量時(shí)空細(xì)節(jié)的局部圖像部分分配更大比特量而被減少。
文檔編號(hào)H04N7/26GK1886759SQ200480034590
公開(kāi)日2006年12月27日 申請(qǐng)日期2004年11月4日 優(yōu)先權(quán)日2003年11月24日
發(fā)明者R·S·雅辛施 申請(qǐng)人:皇家飛利浦電子股份有限公司