專利名稱：在頻域?qū)δz片顆粒圖案進(jìn)行建模的方法和設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于在頻域?qū)δz片顆粒圖案進(jìn)行建模的技術(shù)。
背景技術(shù)：
電影膠片通常包括源自攝影膠片的曝光和顯影工藝的信號(hào)相關(guān)噪聲，經(jīng)常將其稱作膠片顆粒。這種噪聲產(chǎn)生了由于攝影感光乳劑的物理粒度引起的特征準(zhǔn)隨機(jī)圖案或紋理。或者，作為圖像的后續(xù)編輯的結(jié)果，會(huì)出現(xiàn)信號(hào)相關(guān)噪聲。出于視頻壓縮的目的，可以仿真該顆粒圖案。
ITU-T H.264 1 MPEG-4 AVC視頻壓縮標(biāo)準(zhǔn)已經(jīng)在其“FidelityRange Extensions Amendment”中接受了膠片顆粒SEI(補(bǔ)充增強(qiáng)信息)消息的內(nèi)容。膠片顆粒SEI消息傳遞了允許在接收機(jī)處進(jìn)行膠片顆粒仿真的一系列參數(shù)。對(duì)于ITU-T H.264 1 MPEG-4 AVC壓縮標(biāo)準(zhǔn)，可以根據(jù)兩種不同模型來(lái)指定SEI消息中的參數(shù)自動(dòng)回歸模型和頻率濾波模型。對(duì)于不同的亮度電平，這兩種模型通過(guò)不同的參數(shù)集合，表示出膠片顆粒圖案(尺寸和形狀)、強(qiáng)度和顏色相關(guān)特征。具體地，頻率濾波模型通過(guò)指定在頻域中定義2D帶通濾波器的截止頻率集合，表示出膠片顆粒圖案的特征。注意，ITU-T H.264 1 MPEG-4 AVC只標(biāo)準(zhǔn)化了傳輸截止頻率所需的語(yǔ)法，但沒有提供用于針對(duì)具有膠片顆粒的視頻序列來(lái)計(jì)算截止頻率的方法。
因此，存在對(duì)于以下技術(shù)的需要如ITU-T H.264 1 MPEG-4 AVC壓縮標(biāo)準(zhǔn)中的頻域?yàn)V波模型所指定的，允許在頻域?qū)δz片顆粒圖案進(jìn)行自動(dòng)建模?？梢詫⒃摷夹g(shù)的成果用于自動(dòng)膠片顆粒建模應(yīng)用，或作為初始化步驟用于膠片顆粒輔助建模處理。

發(fā)明內(nèi)容
簡(jiǎn)要地，根據(jù)優(yōu)選實(shí)施例，提供了一種用于在頻域中對(duì)膠片顆粒圖案進(jìn)行建模(即，表示其特征)的方法。該方法包括步驟(1)將作為處理的輸入接收到的同類膠片顆粒采樣集合變換到頻域，從而產(chǎn)生一組具有特定圖案的變換系數(shù)；(2)分析由變換系數(shù)創(chuàng)建的圖案；以及(3)通過(guò)對(duì)隨機(jī)噪聲進(jìn)行濾波，估計(jì)2D頻率濾波器的截止頻率，所述截止頻率能夠有效地仿真變換系數(shù)的圖案。根據(jù)ITU-T H.264 1MPEG-4 AVC標(biāo)準(zhǔn)，可以在SEI消息中傳遞利用該方法建立的截止頻率，以便在解碼器處能夠進(jìn)行膠片顆粒仿真和重新插入。


圖1以流程圖形式示出了根據(jù)本原理用于表示膠片顆粒圖案的方法的步驟；以及圖2以流程圖形式示出了圖1中膠片顆粒特征化方法的變體。
具體實(shí)施例方式
圖1以流程圖形式示出了根據(jù)本原理的方法的步驟，用于當(dāng)接收到表示同類膠片顆粒圖案的一系列膠片顆粒采樣時(shí)，在頻域?qū)δz片顆粒圖案進(jìn)行建模。如隨后更詳細(xì)的描述，本原理的方法通過(guò)分析形成顆粒的結(jié)構(gòu)的尺寸和形狀，對(duì)輸入采樣的圖案進(jìn)行參數(shù)化。由于根據(jù)膠片曝光能夠不同地形成顆粒，這些同類膠片顆粒采樣通常與在膠片圖像上測(cè)量的相似亮度數(shù)值相關(guān)聯(lián)。處理輸入處的膠片顆粒采樣可以是保留有關(guān)膠片顆粒尺寸和形狀的信息的任意組(或多組)相鄰像素。在演示的實(shí)施例中，為了簡(jiǎn)化，假設(shè)以N×N像素的方形塊排列膠片顆粒采樣，其中基于N×N像素的方形塊的DCT來(lái)實(shí)現(xiàn)特定變換，盡管例如快速傅立葉變換的其它變換也能夠同樣地適用。
本原理的方法假設(shè)根據(jù)以下關(guān)系對(duì)出現(xiàn)在Igrain[x，y，c]中的膠片顆粒進(jìn)行建模Igrain[x，y，c]＝Iwithout grain[x，y，c]+G[x，y，c] (1)其中G[x，y，c]表示對(duì)于顏色分量c，像素坐標(biāo)(x，y)處仿真的顆粒。將G[x，y，c]計(jì)算為G[x，y，c]＝p*Q[x，y，c]+u*G[x，y，c-1] (2)其中參數(shù)p是隨機(jī)噪聲的標(biāo)準(zhǔn)差，參數(shù)u對(duì)不同顏色分量之間的顏色互相關(guān)進(jìn)行建模。更具體地，項(xiàng)Q[c]包括通過(guò)對(duì)N×M隨機(jī)值的塊b進(jìn)行濾波所產(chǎn)生的二維隨機(jī)場(chǎng)，利用歸一化高斯分布N(0，1)產(chǎn)生所述塊b。在特定的實(shí)施例中，可以在頻域中通過(guò)以下三個(gè)步驟來(lái)執(zhí)行對(duì)塊b的帶通濾波步驟1變換B＝DCT_N×M(b)步驟2頻率濾波for(y＝0；y＜N；y++)for(x＝0；x＜M；x++)if((x＜LOW_HF && y＜LOW_VF)||x＞HIGH_HF||y＞HIGH_VF)B[x，y]＝0；其中，LOW_HF和LOW_VF分別是低水平和垂直截止頻率，HIGH_HF和HIGH_VF分別是高水平和垂直截止頻率。當(dāng)在頻域中映射膠片顆粒圖像時(shí)，截止頻率定義了所保留和所濾除的系數(shù)之間的邊界，并用于表示顆粒的尺寸特征。
步驟3逆變換b’＝IDCT_N×M(B)最后，通過(guò)將已濾波塊b’結(jié)合到合成圖像中來(lái)形成Q[c]。塊轉(zhuǎn)變的低通濾波會(huì)減小可能的“塊狀性(blockiness)”。盡管M和N可以取任意值，實(shí)際中16×16、8×8或4×4的方形塊最為適用。還應(yīng)注意，在步驟1和3中，例如快速傅立葉變換(FFT)的其它變換可以代替DCT處理。
通過(guò)這些原理，對(duì)膠片顆粒圖案進(jìn)行建模等效于提取在頻域中表示帶通濾波器的特征的截止頻率LOW_HF、LOW_VF、HIGH_HF和HIGH_VF。
當(dāng)執(zhí)行步驟101時(shí)，開始本方法的原理，其中對(duì)每一個(gè)N×N像素的塊進(jìn)行離散余弦變換，隨后在步驟102期間，存儲(chǔ)結(jié)果的N×N系數(shù)陣列。在步驟103期間，進(jìn)行檢查，以確定是否存在對(duì)于具有膠片顆粒采樣的更多塊的需要，以便得到更多系數(shù)用于存儲(chǔ)。通常，對(duì)輸入處可用的所有膠片顆粒采樣塊進(jìn)行變換。然而，為了減小存儲(chǔ)器需要或計(jì)算載荷，可以在已經(jīng)對(duì)一定數(shù)目的塊進(jìn)行變換之后停止處理。在存儲(chǔ)了足夠數(shù)目的已變換塊之后，進(jìn)行步驟104，其中通過(guò)對(duì)來(lái)自所存儲(chǔ)的所有塊的系數(shù)進(jìn)行平均來(lái)計(jì)算均值塊(Bmean)。設(shè)K是所存儲(chǔ)的塊的數(shù)目，如下公式進(jìn)行位置[x，y]處用于系數(shù)的平均處理Bmean[x,y]=1KΣi=0K-1Bi[x,y]···(3)]]>接下來(lái)，通常并行進(jìn)行步驟105和106。在步驟105期間，通過(guò)根據(jù)以下關(guān)系對(duì)Bmean每一行的N個(gè)頻率系數(shù)進(jìn)行平均，計(jì)算水平均值向量BHBH[y]=1NΣn=0N-1Bmean[n,y]···(4)]]>在特定實(shí)施例中，當(dāng)按照以下關(guān)系對(duì)第一行進(jìn)行平均時(shí)，可以避免DC系數(shù)的影響B(tài)H
=1N-1Σn=0N-1Bmean[n,0]]]>在步驟106期間，通過(guò)根據(jù)以下關(guān)系對(duì)Bmean每一列的N個(gè)頻率系數(shù)進(jìn)行平均，計(jì)算垂直均值向量BV[x]=1NΣn=0N-1Bmean[x,n]···(5)]]>在特定實(shí)施例中，當(dāng)按照以下關(guān)系對(duì)第一列進(jìn)行平均時(shí)，可以避免DC系數(shù)的影響B(tài)V
=1N-1Σn=0N-1Bmean
]]>根據(jù)頻率矢量，在步驟107和108期間分別選擇水平和垂直截止頻率，以估計(jì)膠片顆粒尺寸。如圖1所示，步驟107和108通常并行進(jìn)行。按照以下方式在步驟107期間進(jìn)行水平截止頻率選擇。首先，對(duì)水平均值矢量中的分量進(jìn)行低通濾波以避免偽波峰。在演示的實(shí)施例中，通過(guò)根據(jù)以下關(guān)系對(duì)均值矢量與沖激響應(yīng)h[n]進(jìn)行卷積來(lái)進(jìn)行水平均值矢量的這種低通濾波B′H[n]=Σi=1nBH[i]h[n-i]=(BH*h)[n]···(6)]]>例如，可以根據(jù)以下關(guān)系將具有系數(shù)w0、w1和w2的3抽頭線性濾波器應(yīng)用于每一個(gè)系數(shù)B’H[n]＝w0·BH[n-1]+w1·BH[n]+w2·BH[n+1]，0≤n≤N-1(7)可以觀察到，為了對(duì)于均值矢量B的邊緣應(yīng)用濾波，有必要填充(pad)原始均值矢量，以便針對(duì)n＜0和n＞1來(lái)定義采樣。
接下來(lái)，通過(guò)根據(jù)以下關(guān)系對(duì)其分量進(jìn)行平均來(lái)計(jì)算B’H的平均值B′H‾=1NΣn=0N-1B′H[n]···(8)]]>之后，將矢量B’H表示為曲線，并計(jì)算具有平均值 的交叉點(diǎn)。如果得到單個(gè)交叉點(diǎn)，則選擇B’H中最接近的分量的指數(shù)n作為水平高截止頻率的數(shù)值；假設(shè)水平低截止頻率是0。如果得到兩個(gè)交叉點(diǎn)，針對(duì)每一個(gè)交叉點(diǎn)得到最接近分量的指數(shù)。最低的數(shù)值與低水平截止頻率相對(duì)應(yīng)，而最高的數(shù)值與高水平截止頻率相對(duì)應(yīng)。如果得到多于兩個(gè)交叉點(diǎn)，檢測(cè)到無(wú)空間相關(guān)。假設(shè)水平低截止頻率是0，并且假設(shè)水平高截止頻率是N-1，這指示了需要無(wú)頻率濾波的膠片顆粒仿真函數(shù)來(lái)模仿原始顆粒。
在步驟108期間，進(jìn)行與所述用于選擇水平截止頻率相同的過(guò)程，以便利用垂直頻率矢量Bv來(lái)選擇垂直截止頻率。在完成步驟107和108時(shí)，圖1的方法產(chǎn)生了表示顆粒的尺寸和伸長(zhǎng)特征的四個(gè)截止頻率(LOW_HF、LOW_VF、HIGH_HF和HIGH_VF)。當(dāng)LOW_HF≠LOW_VF和/或HIGH_HF≠HIGH_VF時(shí)出現(xiàn)伸長(zhǎng)的顆粒。
圖2示出了一種可選的顆粒建模方法，其中可以將顆粒限制為圓形。這暗示水平和垂直截止頻率保持相同。圖2的方法包括與圖1的方法相同的多個(gè)步驟。因此，在圖2中使用與圖1中相似的參考數(shù)字來(lái)描述相似步驟。圖2的方法與圖1的方法的不同之處在于，在圖2的步驟109期間對(duì)垂直和水平頻率矢量(BH和Bv)進(jìn)行平均，以便創(chuàng)建單個(gè)頻率矢量(B)。然后，與在圖1的步驟107和108中執(zhí)行的相同，在圖2的步驟107和108期間執(zhí)行相同的過(guò)程，以估計(jì)低和高截止頻率。
以上描述了一種用于在頻域?qū)δz片顆粒圖案進(jìn)行建模的技術(shù)。
權(quán)利要求
1.一種用于自動(dòng)地對(duì)膠片顆粒圖案進(jìn)行建模的方法，包括步驟將膠片顆粒采樣集合變換到頻域；存儲(chǔ)通過(guò)這種變換獲得的每一個(gè)系數(shù)集合，所述系數(shù)形成了圖案；分析由變換系數(shù)創(chuàng)建的圖案；以及通過(guò)在頻域?qū)﹄S機(jī)噪聲進(jìn)行濾波，估計(jì)能夠有效地仿真變換系數(shù)的圖案的2D帶通濾波器的截止頻率。
2.根據(jù)權(quán)利要求1所述的方法，還包括步驟在補(bǔ)充增強(qiáng)信息消息中傳輸至少一個(gè)截止頻率。
3.根據(jù)權(quán)利要求1所述的方法，其中以N×N的像素塊來(lái)處理所述膠片顆粒采樣。
4.根據(jù)權(quán)利要求3所述的方法，其中所述分析由變換系數(shù)創(chuàng)建的圖案的步驟還包括步驟通過(guò)對(duì)來(lái)自所存儲(chǔ)的所有塊的變換系數(shù)進(jìn)行平均，計(jì)算N×N變換系數(shù)的均值塊；通過(guò)分別沿每一個(gè)已變換塊的行和列對(duì)N×N系數(shù)的均值塊進(jìn)行平均，定義N個(gè)分量中每一個(gè)的水平和垂直均值矢量；將所述水平和垂直均值矢量表示為分離的曲線；以及根據(jù)由水平和垂直均值矢量表示的曲線，分別產(chǎn)生水平和垂直截止頻率。
5.根據(jù)權(quán)利要求4所述的方法，還包括步驟對(duì)至少一個(gè)均值矢量進(jìn)行低通濾波。
6.根據(jù)權(quán)利要求4所述的方法，其中根據(jù)表示均值矢量的曲線中的交叉點(diǎn)來(lái)產(chǎn)生至少一個(gè)截止頻率。
7.根據(jù)權(quán)利要求4所述的方法，其中根據(jù)表示均值矢量的曲線中的第一和第二交叉點(diǎn)來(lái)產(chǎn)生低和高截止頻率中的每一個(gè)。
8.根據(jù)權(quán)利要求3所述的方法，其中所述分析由變換系數(shù)創(chuàng)建的圖案的步驟還包括步驟通過(guò)對(duì)來(lái)自所存儲(chǔ)的所有塊的變換系數(shù)進(jìn)行平均，計(jì)算N×N變換系數(shù)的均值塊；通過(guò)分別沿每一個(gè)已變換塊的行和列對(duì)N×N變換系數(shù)的均值塊進(jìn)行平均，定義N個(gè)分量中每一個(gè)的水平和垂直均值矢量；將所述水平和垂直均值矢量平均為單個(gè)均值矢量；將所述均值矢量表示為曲線；以及根據(jù)由均值矢量表示的曲線來(lái)產(chǎn)生水平和垂直截止頻率。
9.根據(jù)權(quán)利要求8所述的方法，還包括步驟對(duì)所述均值矢量進(jìn)行低通濾波。
10.根據(jù)權(quán)利要求8所述的方法，其中根據(jù)表示均值矢量的曲線中的交叉點(diǎn)來(lái)產(chǎn)生至少一個(gè)截止頻率。
11.根據(jù)權(quán)利要求8所述的方法，其中根據(jù)表示均值矢量的曲線中的第一和第二交叉點(diǎn)來(lái)產(chǎn)生低和高截止頻率中的每一個(gè)。
12.一種用于自動(dòng)地對(duì)膠片顆粒圖案進(jìn)行建模的方法，包括步驟接收膠片顆粒采樣集合對(duì)膠片顆粒采樣集合執(zhí)行到頻域的變換；存儲(chǔ)通過(guò)這種變換獲得的每一個(gè)系數(shù)集合，所述系數(shù)形成了圖案；分析由變換系數(shù)創(chuàng)建的圖案；以及通過(guò)在頻域?qū)﹄S機(jī)噪聲進(jìn)行濾波，估計(jì)能夠有效地仿真變換系數(shù)的圖案的2D帶通濾波器的截止頻率。
全文摘要
通過(guò)估計(jì)定義了2D帶通濾波器的截止頻率，能夠在頻域?qū)δz片顆粒圖案進(jìn)行建模。根據(jù)ITU－T H.264 1 MPEG－4 AVC標(biāo)準(zhǔn)，可以在SEI消息中傳遞所述膠片顆粒參數(shù)，以便在解碼器處能夠進(jìn)行膠片顆粒重新插入。
文檔編號(hào)G06T5/00GK1842822SQ200480024480
公開日2006年10月4日 申請(qǐng)日期2004年4月7日 優(yōu)先權(quán)日2003年8月29日
發(fā)明者克里斯蒂娜·戈米拉, 吉恩·拉什 申請(qǐng)人:湯姆森許可貿(mào)易公司