專利名稱：檢測(cè)之前壓縮過(guò)的圖像中的合成的制作方法
技術(shù)領(lǐng)域：
本發(fā)明一般涉及數(shù)字圖像處理領(lǐng)域，更具體涉及檢測(cè)之前壓縮過(guò)的 圖像中的合成的方法和系統(tǒng)。
背景技術(shù)：
在圖像處理領(lǐng)域，經(jīng)常發(fā)生必需為期望的應(yīng)用調(diào)整圖像大小的情
況。例如，特定的打印機(jī)可能具有250dpi (每英寸的點(diǎn)數(shù))的固定分辨 率。為了在這種打印機(jī)上將由500x750像素構(gòu)成的圖像打印到4x6英寸 的打印輸出，必須用因子2調(diào)整圖像的大小。類似地，很多顯示器裝置 具有按每英寸像素?cái)?shù)量的固定分辨率。換言之，必須確定圖像在原始樣 本點(diǎn)之間的位置的值。確定不與圖像的原始樣本符合的位置處的圖像信 號(hào)的值的過(guò)程稱為插值或重新采樣。插值的因子N,指的是輸出圖像的 采樣率與輸入圖像的采樣率的比值。在之前的示例中，插值因子N二2。
插值過(guò)程產(chǎn)生期望數(shù)量的行和列像素的圖像。然而，插值過(guò)程涉及 在很多位置"猜測(cè)"信號(hào)值。結(jié)果，經(jīng)過(guò)插值的圖像通常質(zhì)量沒(méi)有以期 望的分辨率原始地捕捉的圖像那么高。例如，以500x750像素捕捉并接 著插值到1000x1500像素的圖像，通?？雌饋?lái)比從原始地以1000x1500 像素捕捉同 一場(chǎng)景得到的圖像更柔和且質(zhì)量差。
由于插值的圖像通常較低的質(zhì)量，會(huì)期望知道圖像是已經(jīng)經(jīng)過(guò)插值 以便在后續(xù)的數(shù)字處理和其它程序中更好地處理圖像。授予Gallagher 的美國(guó)專利No. 6904180，結(jié)合在這里作為參考，揭示了確定數(shù)字成像信 道是否使用與圖像的相鄰像素的值相關(guān)的信號(hào)進(jìn)行了插值的方法。該方 法查找從具有指示了插值的周期的提取信號(hào)計(jì)算的傅里葉變換信號(hào)中 的峰值。該方法不處理過(guò)去的壓縮-解壓縮對(duì)圖像的影響。
隨著低成本和高分辨率數(shù)字相機(jī)和復(fù)雜的編輯軟件的出現(xiàn)，可以容 易地處理和改變數(shù)字圖像。數(shù)字偽造品通常沒(méi)有篡改的視覺(jué)跡象，并且 不能與真正的照片區(qū)分開(kāi)。結(jié)果，照片不再保持作為事件的確定記錄的 獨(dú)特地位。例如，在2003年3月，Los Angeles Times在其首頁(yè)上發(fā)表了一張戲劇性的照片， 一名士兵指揮一個(gè)伊拉克市民來(lái)接管(take cover)。然而，該照片是偽造的，它是通過(guò)將兩張照片拼接在一起而 數(shù)字地創(chuàng)造的。這和類似的事件自然的使人想知道每天看到的圖像有多 少經(jīng)過(guò)了數(shù)字修改。對(duì)于關(guān)于數(shù)字偽造品的更多。
盡管已經(jīng)提出了數(shù)字水印技術(shù)來(lái)驗(yàn)證圖像的真實(shí)性，這些技術(shù)產(chǎn)生 的標(biāo)記必須被預(yù)先植入到原始圖像中。這些標(biāo)記也容易受到圖像處理的 操作，這些操作可以將標(biāo)記著色成不可檢測(cè)。因此，需要這樣一種技術(shù)， 用于在完全沒(méi)有任何形式的數(shù)字水印或簽名的情況下檢測(cè)數(shù)字篡改的 痕跡。
盡管數(shù)字偽造品可能沒(méi)有留下已經(jīng)被篡改的視覺(jué)跡象，然而，它們 可能改變圖像的基本統(tǒng)計(jì)。例如，考慮在同一圖像中顯示一對(duì)臉的數(shù)字 偽造品的創(chuàng)建。這種圖像可能是通過(guò)合成制作的，例如，拼接來(lái)自一張 原始照片的臉部，并對(duì)其重新采樣來(lái)匹配目標(biāo)圖像的構(gòu)成，并插入它。 為了產(chǎn)生使人相信的匹配，通常需要對(duì)圖像的各部分進(jìn)行調(diào)整大小，旋 轉(zhuǎn)或者拉伸。該過(guò)程需要將原始圖像重新采樣或者插值到新的采樣點(diǎn)陣 上。盡管該重新采樣通常是覺(jué)察不到的，但它改動(dòng)了圖像像素值的統(tǒng)計(jì) 關(guān)系，這種改動(dòng)在祐j企測(cè)到時(shí)可以作為數(shù)字篡改的證據(jù)。"Exposing digital forgeries by detecting traces of resampling，， , A.C.Popescu andH. Farid， IEEE Transact ions on Signal Process ing, Vol. 53， No. 2 pages 758-767， 2005就是針對(duì)沖企測(cè)由于偽造產(chǎn)生的重新采樣。
大部分?jǐn)?shù)字圖像或者以壓縮形式存儲(chǔ)，或者在其存在期限中的某個(gè) 點(diǎn)處受過(guò)圖像壓縮。很多基于塊的圖像壓縮技術(shù)是已知的。最常見(jiàn)的圖 像壓縮形式為JPEG壓縮。另一種基于塊的圖像壓縮為矢量量化(參見(jiàn) R.M.Gray, "Vector Quantization" , IEEE ASSP Magazine, pages 4 -29， (April 1984 ))。基于塊的圖像壓縮產(chǎn)生偽像，這對(duì)數(shù)字水印 的檢測(cè)，以及具有被壓縮過(guò)的歷史的圖像中插值的檢測(cè)提出挑戰(zhàn)。
授予Yu等的美國(guó)專利No. 6643410，在這里引入作為參考，揭示了 才企測(cè)數(shù)字圖像中方塊效應(yīng)(blocking artifact)程度的方法。
從而期望提供檢測(cè)合成的方法和系統(tǒng)，即使圖像之前經(jīng)過(guò)壓縮也能 檢測(cè)到圖像插值。

發(fā)明內(nèi)容
本發(fā)明由權(quán)利要求定義。本發(fā)明在廣的方面提供了用于才企測(cè)數(shù)字圖 像合成的方法和系統(tǒng)，其中在未經(jīng)壓縮的數(shù)字圖像中檢測(cè)第一偽像。第 一偽像是之前用預(yù)定的壓縮算法對(duì)數(shù)字圖像壓縮的特征。評(píng)估圖像中的
插值標(biāo)記來(lái)提供插值結(jié)果。在該評(píng)估期間，4氐消(counteract )壓縮算 法的第二偽像。根據(jù)插值結(jié)果對(duì)圖像分類。第一偽像可以是方塊效應(yīng)， 而第二偽像和插值標(biāo)記可以是圖像中不同的周期性。
本發(fā)明針對(duì)于克服上面提出的一個(gè)或多個(gè)問(wèn)題。本發(fā)明的一個(gè)有益 效果是提供了用于檢測(cè)合成的改進(jìn)的方法和系統(tǒng)，即使圖像之前經(jīng)過(guò)壓 縮該方法和系統(tǒng)也能檢測(cè)到圖像插值。


通過(guò)參考結(jié)合附圖做出的本發(fā)明的實(shí)施例的下列描述，本發(fā)明的上 迷和其它特征和目標(biāo)以及獲得它們的方式將變得明顯，并且本發(fā)明本身 將更容易理解，附圖中
圖1是本方法的實(shí)施例的流程圖。
圖2是本系統(tǒng)的實(shí)施例的示意圖。僅示出了對(duì)應(yīng)于圖l的方法的特 征邏輯組件。
圖3是圖2的插值檢測(cè)器用來(lái)檢測(cè)插值的信號(hào)的曲線圖。該信號(hào)是 用于經(jīng)JPEG壓縮但是沒(méi)有插值的圖像。
圖4是圖2的插值檢測(cè)器用來(lái)檢測(cè)插值的信號(hào)的曲線圖。該信號(hào)是 用于經(jīng)JPEG壓縮并且用因子2. 8插值的圖像。
圖5是圖2的壓縮檢測(cè)器使用的程序的流程圖。
圖6是包括兩張臉的圖像的示例數(shù)字圖像的部分圖解 (semi-diagrammat ical view)圖。
圖7是與圖6相同的圖示，但是感興趣的區(qū)域用方框示出。
圖8是示出現(xiàn)有技術(shù)插值檢測(cè)方法的概覽的框圖。
圖9和圖IO是示出圖8所示信號(hào)生成器的兩個(gè)替代的框圖。
圖11是圖8的插值確定器的框圖。
圖12是一圖像處理鏈的框圖，其具有幾個(gè)分支并且使用圖8的插 值才企測(cè)方法的輸出。
圖13是另一圖像處理鏈的框圖，其包括從圖8所示的插值檢測(cè)方法的輸出中恢復(fù)原始的數(shù)字圖像信號(hào)。
圖14是示出圖1的系統(tǒng)的物理組件的部分圖解圖。
具體實(shí)施例方式
在本發(fā)明的方法和系統(tǒng)中，使用數(shù)字圖像合成來(lái)檢測(cè)數(shù)字圖像是否 用插值重新采樣過(guò)，即使該重新采樣在圖像壓縮之前發(fā)生。(除非明顯 與上下文內(nèi)容相反，可以假定這里討論的圖像壓縮是廣意的，其包括編 碼和解碼數(shù)字圖像的步驟。)這使得在特定圖像用插值重新采樣過(guò)的情
況下將該特定的圖像分類為經(jīng)過(guò)插值的，或者在該特定圖像沒(méi)有被重新 采樣過(guò)的情況下將其分類為沒(méi)有經(jīng)過(guò)插值的。在特定的使用中，在經(jīng)過(guò) 插值和沒(méi)有經(jīng)過(guò)插值之間分類等價(jià)于在"偽造品"和"非偽造品"之間 分類。從而，除了用于識(shí)別由于之前的重新采樣而不適合特定的圖像處 理技術(shù)的真實(shí)圖像之外，該方法和系統(tǒng)可以應(yīng)用于為了惡意的目的而準(zhǔn) 備的假冒品或者偽造圖像的檢測(cè)。
在下面的描述中，將本發(fā)明或者本發(fā)明的 一 部分描述為軟件程序。 本領(lǐng)域技術(shù)人員將容易理解也可以以硬件構(gòu)造這種軟件的等價(jià)體。由于 圖像處理算法和系統(tǒng)是熟知的，本描述將特別針對(duì)形成根據(jù)本發(fā)明的方 法的一部分或者更直接與該方法協(xié)作的算法和系統(tǒng)。數(shù)字靜態(tài)和視頻攝 像機(jī)以及數(shù)據(jù)庫(kù)硬件特征同樣也是熟知的，本說(shuō)明書(shū) 一般限于與本發(fā)明 的方法直接相關(guān)的那些方面。這里沒(méi)有具體說(shuō)明或描述的這種算法和裝 置的其它方面，以及用于產(chǎn)生或者處理其中涉及的圖像信號(hào)的硬件和/ 或軟件，可以從本領(lǐng)域已知的這種系統(tǒng)，算法，組件和元件中選擇。給 出如在下面的說(shuō)明書(shū)中呈現(xiàn)的描述，其所有的軟件實(shí)施是傳統(tǒng)的并且在 該領(lǐng)域的普通技術(shù)之內(nèi)。
本發(fā)明可以計(jì)算機(jī)硬件和計(jì)算機(jī)化的設(shè)備實(shí)施。例如，可以使用包 括一個(gè)或多個(gè)掃描儀或者其它捕捉裝置以及一個(gè)或多個(gè)個(gè)人計(jì)算機(jī)的 系統(tǒng)執(zhí)行該方法。參照?qǐng)D14,示出了用于實(shí)施本發(fā)明的計(jì)算機(jī)系統(tǒng)110。 盡管為了示出優(yōu)選實(shí)施例的目的示出了計(jì)算機(jī)系統(tǒng)110,本發(fā)明不限于 示出的計(jì)算機(jī)系統(tǒng)110,而是可以與任何電子處理系統(tǒng)一起使用，諸如 建立在數(shù)碼相機(jī)，蜂窩攝像機(jī)電話以及其它移動(dòng)設(shè)備，家用計(jì)算機(jī)，售 貨亭，零售或批發(fā)照片洗印服務(wù)中的電子處理系統(tǒng)，或者用于數(shù)字圖像 的處理的任何其它系統(tǒng)。計(jì)算機(jī)系統(tǒng)110包括基于微處理器的單元112(這里也稱為數(shù)字圖像處理器)，用于接收和處理軟件程序并用于執(zhí)行
其它處理功能。顯示器114電連接到基于微處理器的單元112,用于顯 示與軟件關(guān)聯(lián)的用戶相關(guān)信息，例如通過(guò)圖形用戶界面。鍵盤(pán)116也連 接到基于微處理器的單元112,用于允許用戶輸入信息到軟件。作為使 用鍵盤(pán)116來(lái)輸入的替代，可以使用鼠標(biāo)118在顯示器114上移動(dòng)選擇 器120并選擇選擇器120位于其上的項(xiàng)目，如本領(lǐng)域所熟知的。
可以包括任何形式的移動(dòng)存儲(chǔ)器，示出為光盤(pán)只讀存儲(chǔ)器(CD-ROM) 124,其可以包括軟件程序，該移動(dòng)存儲(chǔ)器被插入基于微處理器的單元， 以便提供輸入軟件程序和其它信息到基于微處理器的單元112的手段。 可以提供多種類型的移動(dòng)存儲(chǔ)器(這里用軟盤(pán)126表示)，并且數(shù)據(jù)可 以寫(xiě)到任何適合類型的移動(dòng)存儲(chǔ)器。存儲(chǔ)器可以是外部的并且可以使用 有線或者無(wú)線連接，或者直接或者經(jīng)由局域網(wǎng)或者諸如因特網(wǎng)的廣域網(wǎng) 訪問(wèn)。更進(jìn)一步，可以編程基于孩i處理器的單元112,如本領(lǐng)域所熟知 的，來(lái)內(nèi)部地存儲(chǔ)軟件程序。打印機(jī)128或者其它輸出裝置也可以連接 到基于微處理器的單元112，用于打印從計(jì)算機(jī)系統(tǒng)110的輸出的硬拷 貝?；谖⑻幚砥鞯膯卧?12可以具有網(wǎng)絡(luò)連接127,諸如電話線或者 無(wú)線鏈接，到外部網(wǎng)絡(luò)，諸如局域網(wǎng)或者因特網(wǎng)。
圖像也可以經(jīng)由存儲(chǔ)器卡，諸如個(gè)人計(jì)算機(jī)卡(PC卡)130顯示在 顯示器114上，PC卡130諸如以前所知的PCMCIA卡(基于個(gè)人計(jì)算機(jī) 存儲(chǔ)卡國(guó)際協(xié)會(huì)的規(guī)定)，其包含電子地內(nèi)含在卡130中的數(shù)字化的圖 像。PC卡130最終被插入到基于微處理器的單元112,以便允許在顯示 器ll4上可視地顯示圖像。替代的，可以將PC卡130插入連接到基于 微處理器的單元112的位于外部的PC卡讀卡器132。也可以經(jīng)由光盤(pán) 124,軟盤(pán)126或者網(wǎng)絡(luò)連接127輸入圖像。PC卡130,軟盤(pán)126或者 光盤(pán)124中存儲(chǔ)的，或者通過(guò)網(wǎng)絡(luò)連接127輸入的任何圖像，可以從各 種源得到，諸如數(shù)碼相機(jī)(未示出)或者掃描儀(未示出)。也可以經(jīng) 由連接到基于微處理器的單元112的攝像機(jī)對(duì)接端口 136直接從數(shù)碼相 機(jī)134,或者經(jīng)由到基于微處理器的單元112的電纜連接138或者經(jīng)由 到基于微處理器的單元112的無(wú)線連接140直接從數(shù)字相機(jī)134,輸入 圖像。本發(fā)明可以與多個(gè)產(chǎn)生數(shù)字圖像的捕捉裝置一起使用。例如，圖 14可以代表數(shù)字照片沖洗系統(tǒng)或者具有掃描儀的售貨亭。
輸出裝置提供最終的圖像或者輸出信號(hào)。輸出裝置可以是打印機(jī)或者是提供紙張或者其它硬拷貝最終圖像的其它輸出裝置。輸出裝置也可 以是作為數(shù)字文件提供最終圖像的輸出裝置。輸出裝置也可以包括輸出
的組合，諸如打印的圖像和在存儲(chǔ)器單元，諸如CD或者DVD上的數(shù)字 文件。
數(shù)字圖像包括一個(gè)或多個(gè)數(shù)字圖像通道或者色彩分量。每個(gè)數(shù)字圖 像通道是像素的二維陣列。盡管數(shù)字圖像通道被描述為按照行和列布置 的像素值的二維陣列，本領(lǐng)域技術(shù)人員將理解本發(fā)明可以應(yīng)用于非直線 陣列而具有同等的效果，并且本發(fā)明可以應(yīng)用于但不限于這里提到的任
何應(yīng)用的數(shù)字圖像通道。
作為這里所使用的，術(shù)語(yǔ)"數(shù)字圖像"指的是所有通道的二維陣列， 或者任何單獨(dú)的陣列，或者單獨(dú)地對(duì)待的陣列的任何部分。諸如視頻序 列的圖像序列的每個(gè)幀也被認(rèn)為是"數(shù)字圖像"。
為了方便起見(jiàn)，這里一般或者關(guān)于紅，綠和藍(lán)像素值的二維陣列， 或者對(duì)應(yīng)于光強(qiáng)的單色值的陣列討論數(shù)字圖像。為了討論方便的分辨率 為1024行像素和1536線像素的圖像，盡管本領(lǐng)域技術(shù)人員將理解可以 使用不同分辨率和尺寸的數(shù)字圖像而具有同等的或者至少可接受的成 功。對(duì)于圖像通道的其他組合也是一樣。
關(guān)于命名法的問(wèn)題，數(shù)字圖像位于坐標(biāo)(x, y)處的像素值，這里 應(yīng)當(dāng)分別包括值[r(x，y),g(x,y),b(x，y)]的三元組，坐標(biāo)(x, y)是指 數(shù)字圖像的第x行和第y列,[r(x，y),g(x，y),b(x，y)]分別指在位置(x, y)處紅色，綠色和藍(lán)色數(shù)字圖像通道的值。在此方面，認(rèn)為數(shù)字圖像 包括紅色，綠色和藍(lán)色二維陣列或者紅色，綠色和藍(lán)色通道?？梢詮纳?彩通道形成亮度通道p。數(shù)字圖像通道n位于坐標(biāo)(x, y)處的像素值 這里應(yīng)當(dāng)是稱為p (x, y)的單個(gè)值，坐標(biāo)(x, y)指數(shù)字圖像通道的 第x行和第y列。
圖14所示的通用控制計(jì)算機(jī)可以存儲(chǔ)具有存儲(chǔ)在計(jì)算機(jī)可讀存儲(chǔ) 介質(zhì)中的程序的計(jì)算機(jī)程序產(chǎn)品，計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)例如可以包括 諸如磁盤(pán)(諸如軟盤(pán))或磁帶的磁存儲(chǔ)介質(zhì)；諸如光盤(pán)，光帶或者機(jī)器 可讀條形碼的光存儲(chǔ)介質(zhì)；諸如隨機(jī)訪問(wèn)存儲(chǔ)器(RAM),或者只讀存 儲(chǔ)器(ROM)的固態(tài)電子存儲(chǔ)裝置。相關(guān)的計(jì)算機(jī)程序也可以存儲(chǔ)在由 離線存儲(chǔ)器裝置表示的用來(lái)存儲(chǔ)計(jì)算機(jī)程序的任何其它物理裝置或介 質(zhì)上。還應(yīng)當(dāng)注意，本發(fā)明可以軟件和/或硬件的組合來(lái)實(shí)施，并且不限
于物理地連接的和/或位于同一物理位置的裝置。圖3示出的一個(gè)或多 個(gè)裝置可以位于遠(yuǎn)程的位置并可以經(jīng)由網(wǎng)絡(luò)連接。 一個(gè)或多個(gè)裝置可以 無(wú)線地連接，諸如或者直接地或者經(jīng)由網(wǎng)絡(luò)地通過(guò)射頻鏈接。
本發(fā)明可以用于各種用戶情境和環(huán)境。示例的情境和環(huán)境不限制地 包括，批發(fā)數(shù)字照片沖洗(涉及諸如膠片進(jìn)入，數(shù)字處理，印出的示例 處理步驟或階段)，零售數(shù)字照片沖洗(膠片進(jìn)入，數(shù)字處理，印出)， 家庭打印(家庭掃描的膠片或者數(shù)字圖像，數(shù)字處理，打印出)，桌面 軟件(對(duì)數(shù)字打印輸出應(yīng)用算法以使它們更好或者甚至就是改變它們的 軟件)，數(shù)字實(shí)現(xiàn)(數(shù)字圖像輸入-從介質(zhì)或者甚至在web上，數(shù)字處 理，圖像輸出-以介質(zhì)上的數(shù)字形式，web上的數(shù)字形式，或者打印在 硬拷貝打印輸出上)，售貨亭(數(shù)字或掃描的輸入，數(shù)字處理，數(shù)字或 硬拷貝輸出)，移動(dòng)裝置(例如可以用作處理單元，顯示器單元，或者 給出處理指令的單元的攝像機(jī)，PDA,或者蜂窩電話)，以及經(jīng)由萬(wàn)維 網(wǎng)提供的業(yè)務(wù)。
在每種情境中，本發(fā)明可以是獨(dú)立的或者可以是較大系統(tǒng)解決方案 中的一個(gè)組件。此外，人界面，例如掃描或輸入、數(shù)字處理、顯示給用 戶(如果需要)、用戶請(qǐng)求或者處理指令的輸入(如果需要)、輸出， 每個(gè)可以在相同或者不同的裝置和物理位置上，這些裝置和位置之間的 通信可以是經(jīng)由公用或者私人的網(wǎng)絡(luò)連接，或者基于介質(zhì)的通信。在符 合本發(fā)明的前述揭示的情況下，本發(fā)明的方法可以是完全自動(dòng)的，可以 具有用戶輸入(完全或者部分手動(dòng))，可以讓用戶或操作員查看以便接 受/拒絕結(jié)果，或者可以由元數(shù)據(jù)(可以是用戶提供的，測(cè)量裝置(例 如在攝像機(jī)內(nèi))提供的，或者由算法確定的元數(shù)據(jù))協(xié)助。此外，(多 個(gè))算法可以與各種工作流程用戶界面方案相接口。
現(xiàn)在參考圖1-2，在一特定實(shí)施例中，提供(10)數(shù)字圖像給系統(tǒng) 存儲(chǔ)器的單元12,并做出確定(14)該數(shù)字圖像當(dāng)前是否被壓縮。如果 發(fā)現(xiàn)該數(shù)字圖像是被壓縮的，解壓縮(16)該數(shù)字圖像。用于確定圖像 當(dāng)前是否^L壓縮的協(xié)議對(duì)于本領(lǐng)域技術(shù)人員是熟知的。例如，數(shù)字圖像 可以作為包括圖像信息以及指示最終的狀態(tài)是壓縮的還是未壓縮的元 數(shù)據(jù)，以及解壓縮該圖像所需要的信息和與圖像相關(guān)的其它元數(shù)據(jù)的數(shù) 字文件被提供?，F(xiàn)在參考圖2，可以將數(shù)字圖像接著發(fā)送到興趣區(qū)域選擇器18,如 下文將會(huì)詳細(xì)討論，興趣區(qū)域選擇器18確定感興趣的區(qū)域?？梢栽谟?戶的選擇下繞開(kāi)興趣區(qū)域選擇器，在此情況下使用整個(gè)圖像。替代的， 興趣區(qū)域選擇器可以從系統(tǒng)中省略，如圖1的實(shí)施例所示的。
再次參考圖1和2,接著將不知道之前被壓縮過(guò)的數(shù)字圖像發(fā)送到 壓縮檢測(cè)器20,并確定(22)該圖像是否在其歷史上的某個(gè)點(diǎn)受過(guò)壓縮。 這通過(guò)確定是否存在第一壓縮偽像而完成。該第一壓縮偽像是由基于塊 的壓縮技術(shù)造成的方塊效應(yīng)。已知很多基于塊的圖像壓縮技術(shù)。最常見(jiàn) 的圖像壓縮格式為JPEG標(biāo)準(zhǔn)下的JPEG壓縮。另一種基于塊的圖像壓縮 為矢量量化，諸如R.M. Gray, "Vector Quantization" ， IEEE ASSP Magazine,4-29頁(yè)，(1984年4月)中揭示的方法。
將數(shù)字圖像直接發(fā)送到壓縮檢測(cè)(22)的替代路徑(24)由圖1中 的虛線箭頭指示。該替代路徑(24)如果在提供的圖像已知是未經(jīng)壓縮 的情況下是有用的。例如，如果在解壓縮圖像或者排除壓縮過(guò)的圖像的 的較早圖像處理之后接收?qǐng)D像的情況下，替代路徑可以是有用的。該替 代路徑可以作為選擇提供，或者是自動(dòng)的，基于較早的圖像處理等，或 者作為用戶選項(xiàng)，例如當(dāng)用戶知道大的批次中的所有圖像都是未經(jīng)壓縮 的時(shí)。如果知道在接收的時(shí)候?qū)⒁邮盏乃袌D像都將是未經(jīng)壓縮的， 那么可以省略確定圖像是否被壓縮以及解壓縮該圖像的步驟。
如果沒(méi)有檢測(cè)到壓縮，數(shù)字圖像被發(fā)送到第一插值檢測(cè)器26。如果 檢測(cè)到壓縮，數(shù)字圖像被發(fā)送到第二專用插值檢測(cè)器28。在兩個(gè)插值檢 測(cè)器中都評(píng)估(30)數(shù)字圖像中插值標(biāo)記的存在。只有在第二插值檢測(cè) 器中，抵消(32)第二壓縮偽像。插值評(píng)估的結(jié)果被發(fā)送到結(jié)果分析器 -分類器34,其分析(36)該結(jié)果并接著分類該數(shù)字圖像。
數(shù)字圖像中方塊效應(yīng)的存在可以用各種技術(shù)確定，諸如美國(guó)專利 No. 6427031和No. 6643410中所揭示的(美國(guó)專利No. 6427031結(jié)合在這 里作為參考)。
授予Yu等的美國(guó)專利No. 6643410中揭示了 一種當(dāng)前優(yōu)選的方法， 其聯(lián)系具有亮度分量的灰階圖像或者具有RGB分量的彩色圖像進(jìn)行描 述。對(duì)于彩色圖像，可以在圖像壓縮之前進(jìn)行色彩轉(zhuǎn)換以利用人類視覺(jué) 系統(tǒng)(HVS)在色彩感知上的冗余度。例如，在JPEG壓縮中，首先用以 下方程將彩色圖像從RGB轉(zhuǎn)換到Y(jié)CbCr色空間Y=16+65. 481*R+128. 553*G+24. 966*B; Cb=128-37. 797*R-74. 203*G+112*B; Cr=128+112*R-93. 786*G-18. 214*B; 其中
Y為亮度分量，
Cb和Cr為兩個(gè)色度分量，并且 R， G和B都?xì)w一化到1。
圖5示出使用美國(guó)專利No. 664341 0的程序來(lái);f企測(cè)JPEG壓縮方塊效 應(yīng)。該程序也可以用于檢測(cè)其它基于塊的圖像壓縮，諸如矢量量化。對(duì) 于每個(gè)圖像分量，首先在步驟1110通過(guò)計(jì)算兩個(gè)相鄰列之間的絕對(duì)差 生成列差(column difference)圖像。例如通過(guò)從圖像的第 一列的像 素值減去圖像的笫二列的像素值以生成一差值列，并接著將列差圖像的 第一列的像素值設(shè)定為該差值列的絕對(duì)值，生成列差圖像。重復(fù)同一程 序來(lái)設(shè)定列差圖像除了最后一列之外的其他列，最后一列的所有值被設(shè) 為零。
進(jìn)一步在步驟1112中在垂直方向平均該列差圖像以生成一維列差 陣歹']VA。假定原始圖像具有M行和N列圖像數(shù)據(jù)，列差陣列VA應(yīng)當(dāng)具 有N個(gè)條目。為了防止圖像邊緣貢獻(xiàn)于檢測(cè)，在原始圖像分量中的對(duì)應(yīng) 像素的亮度梯度的幅度大于閾值T的情況下放棄列差圖像中的像素的貢 獻(xiàn)。使用Sobel算子作為亮度梯度算子來(lái)生成亮度梯度圖像，其中亮度 梯度等于來(lái)自水平和垂直Sobel算子的絕對(duì)值的和。在本發(fā)明的當(dāng)前實(shí) 施例中，計(jì)算亮度梯度圖像的標(biāo)準(zhǔn)偏差(SD),并且閾值T設(shè)定為標(biāo)準(zhǔn) 偏差SD的兩倍。
進(jìn)一步在步驟III4中使用JPEG塊寬度的周期性平均該列差陣列 VA,以生成塊平均列差陣列VAA,其具有8個(gè)條目。換言之，每八個(gè)列 差陣列VA的條目將被平均，結(jié)果將被用于設(shè)定塊平均列差陣列VAA的 八個(gè)條目。根據(jù)JPEG圖像壓縮通常使用的，塊尺寸為8x8個(gè)像素。替 代的，可以使用16x16的塊。類似地，在其它基于塊的壓縮方案中也可 以使用其它塊尺度。
首先在步驟1116中從塊平均列差陣列VAA定位最大值，并將其定 義為列峰值，接著在步驟1118計(jì)算塊平均列差陣列VAA排除峰值的均 值。該均值被定義為列基值。最后，在步驟1120計(jì)算列峰值和列基值之間的比率，以生成列比率。
類似地在步驟1110， - 1120，的系列中計(jì)算行峰值，行基值和行比率，
其中共用的附圖標(biāo)記表示對(duì)行進(jìn)行的對(duì)應(yīng)的操作類似于對(duì)列進(jìn)行的那 些操作。更具體地，分別在塊1112，和1114，生成行差陣列HA和塊平均 行差陣列HAA,并且在塊1116， - 1120，中展開(kāi)類似的基于這些陣列的度量。
列和行比率分別是列和行方向上存在方塊效應(yīng)的良好指示器。因 此，方塊效應(yīng)的程度的優(yōu)選度量(在步驟1122中計(jì)算的)為，具有統(tǒng) 計(jì)上平均分布的水平和垂直結(jié)構(gòu)的圖像的列和行比率的平均值。更積極 的度量為列和行比率的最小值。
方塊效應(yīng)的可見(jiàn)性會(huì)依賴于圖像中的實(shí)際結(jié)構(gòu)。例如，帶有紋理的 區(qū)域趨向于比平坦區(qū)域更好地隱藏方塊效應(yīng)。列和行基值是紋理量的良 好指示器。為了實(shí)現(xiàn)較高程度的穩(wěn)健性，方塊效應(yīng)程度的度量可以被定 義為行/列比率和行/列基值兩者的函數(shù)。 一般，基值越高，表示越高程 度的紋理活動(dòng)(能夠隱藏較大程度的方塊效應(yīng))，對(duì)于偽像度量應(yīng)當(dāng)使 用較高的閾值。實(shí)際上，可以建立查找表以便量化地表征基值和閾值之 間的關(guān)系。
如果方塊效應(yīng)的程度的度量超過(guò)了預(yù)定閾值，則檢測(cè)到JPEG壓縮。 此外，塊平均列差陣列VAA和塊平均行差陣列HAA中的峰值的索引，為 圖像分量的水平和垂直方向上JPEG塊邊界位置。例如，如果塊平均列 差陣列VAA的峰值的索引為4,那么假定JPEG塊邊界將在該圖像分量中 的第4, 12，...列出現(xiàn)。(注意，在該實(shí)施例中，對(duì)于圖像分量的列， 以及對(duì)于塊平均列差陣列VAA和塊平均行差陣列HAA的索引從零開(kāi)始)。
在數(shù)字圖像在原始數(shù)據(jù)壓縮操作之后不僅經(jīng)過(guò)裁剪還經(jīng)過(guò)縮放(收 縮或放大)的情況下，塊尺寸不再是原始的JPEG塊尺寸8。對(duì)于可能經(jīng) 過(guò)放大的數(shù)字圖像，上面的確定JPEG方塊效應(yīng)的程度的過(guò)程可以被重 復(fù)假定塊寬度值的預(yù)定系列，以便產(chǎn)生一 系列峰值和基值之間的比率。 產(chǎn)生最大偽像度量的假定塊寬度被選擇為縮放之后的有效塊尺寸。接著 縮放因子被確定為有效塊尺寸和原始?jí)K尺寸(即8)之間的比率。
具有壓縮引起的方塊效應(yīng)的數(shù)字圖像還遭受到作為圖像數(shù)據(jù)中的 特定周期所呈現(xiàn)的第二偽像。兩種偽像都是之前用在該數(shù)字圖像上的特 定壓縮方案的特征。從而，檢測(cè)到第一偽像證明圖像中存在第二偽像。在本發(fā)明的方法和系統(tǒng)中，對(duì)特定壓縮方案的第 一 偽像的存在的檢測(cè)被 假定為確定該數(shù)字圖像中該壓縮方案的使用以及相關(guān)的第二偽像的存
在。認(rèn)識(shí)到方塊效應(yīng)可能潛在地由與壓縮無(wú)關(guān)的其它程序產(chǎn)生；然而， 已經(jīng)確定作為大部分使用的事實(shí)，可以認(rèn)為特定的壓縮方案的方塊效應(yīng) 特征的存在是過(guò)去使用該壓縮方案或者等同的壓縮方案而不是與壓縮 無(wú)關(guān)的技術(shù)的決定性的證據(jù)。
插值檢測(cè)器評(píng)估插值標(biāo)記來(lái)提供插值結(jié)果。插值結(jié)果可以是二元的 或者可以提供插值因子。特定數(shù)字圖像的后續(xù)分類可以類似地為檢測(cè)到 或者未檢測(cè)到的二元分類，或者可以提供多點(diǎn)尺度上的值，諸如該數(shù)字 圖像經(jīng)過(guò)或沒(méi)有經(jīng)過(guò)插值的概率。JPEG壓縮通常具有類似于在每個(gè)維度 上以因子8插值圖像的效果。當(dāng)JPEG編碼實(shí)施中等或者大的量化時(shí)， 本發(fā)明常常會(huì)將該圖像分類為用因子8插值過(guò)。
兩個(gè)插值檢測(cè)器都評(píng)估特定數(shù)字圖像中的周期性。第二檢測(cè)器還消 除作為圖像之前的壓縮結(jié)果在數(shù)字圖像中存在的周期性，即第二偽像的 影響。該消除通過(guò)將由于第二偽像的周期性從插值的考慮中排除而執(zhí) 行。相對(duì)于第一檢測(cè)器，這稍微損害(compromise) 了第二檢測(cè)器，但是 消除了圖像壓縮而不是插值導(dǎo)致的偽信號(hào)。由于第二檢測(cè)器的操作相對(duì) 于第 一 檢測(cè)器稍微受到了損害，不期望也不需要對(duì)從來(lái)沒(méi)有被壓縮過(guò)的 圖像使用笫二插值檢測(cè)器。
第一插值檢測(cè)器可以美國(guó)專利6904180中揭示的方式工作，如圖8 -ll所示。參照?qǐng)D8所示的插值檢測(cè)器的概覽，數(shù)字圖像通道p(x, y) 輸入到信號(hào)生成器210。數(shù)字圖像通道p (x， y)或者落在沒(méi)有經(jīng)過(guò)插 值的圖像范疇或者落在經(jīng)過(guò)插值的圖像的范疇。如果已經(jīng)從一些其它的 源數(shù)字圖像通道m(xù)(x， y)得出(derive from),并且如果p(x, y)的 采樣率高于m (x, y)的采樣率，那么數(shù)字圖像通道p (x, y)是經(jīng)過(guò) 插值的圖像。此外，除非涉及裁剪步驟， 一般地，數(shù)字圖像通道p(x, y)的尺寸(在數(shù)字圖像通道中的像素?cái)?shù)量方面)將大于源數(shù)字圖像通 道m(xù)(x, y)。輸入圖像通道信號(hào)生成器210從輸入的數(shù)字圖像通道p (x, y)創(chuàng)建并輸出一維信號(hào)mddp (k)。如果數(shù)字圖像通道p(x， y) 是在被輸入到信號(hào)生成器210之前的插值操作的結(jié)果，那么信號(hào)mddp (k)包含對(duì)應(yīng)于插值因子N和方法的周期性，如下文將進(jìn)一步詳細(xì)討 論的。然而，如果數(shù)字圖像通道m(xù)(x， y)是沒(méi)有經(jīng)過(guò)插值的數(shù)字圖像通道，那么信號(hào)mddp(k)將不包含任何特定的周期性。信號(hào)生成器210 的用途是僅在輸入的數(shù)字圖像通道p (x, y)已被插值的情況下，產(chǎn)生 包含對(duì)應(yīng)于插值因子N的周期分量的信號(hào)。信號(hào)生成器210在下文將更 詳細(xì)地描述。注意輸入的數(shù)字圖像通道p ( x, y )由R行像素和C列像 素構(gòu)成。
從信號(hào)生成器210輸出的數(shù)字信號(hào)mddp (k)被輸入到DFT計(jì)算機(jī) 216來(lái)計(jì)算離散傅里葉變換。時(shí)間或空間信號(hào)的離散傅里葉變換是信號(hào) 的頻域表示。mddp (k)信號(hào)中的周期性可以通過(guò)查找DFT計(jì)算才幾216 輸出的DFT[mddp (k)]信號(hào)中的峰值而確定。mddp (k)信號(hào)的離散傅 里葉變換DFT[mddp (k)],被輸入到插值確定器222來(lái)進(jìn)行分析。離散 傅里葉變換的計(jì)算是信號(hào)處理領(lǐng)域熟知的，從而不再進(jìn)一步討論。在該 優(yōu)選實(shí)施例中，用零填充mddp (k)信號(hào)直到其長(zhǎng)度是2的冪。DFT的 樣本的數(shù)量這里將稱為M,其中M是等于或大于C-2的最小的2的冪。
分析輸入到插值確定器222的DFT[mddp(k)]信號(hào)來(lái)確定是否存在 顯著的峰。DFT[mddp (k)]信號(hào)中存在峰指示了數(shù)字圖像通道p (x, y) 是經(jīng)過(guò)插值的數(shù)字圖像通道。插值確定器的輸出是圖像p (x, y)是否 是經(jīng)過(guò)插值的數(shù)字圖像通道的指示，并且是在p(x， y)是經(jīng)過(guò)插值的 數(shù)字圖像通道的情況下的插值因子N的指示。下面描述插值確定器222 的操作。
插值確定器222接受信號(hào)DFT[mddp (k)]作為輸入。插值確定器 222檢查輸入信號(hào)的幅度來(lái)確定是否存在任何峰。圖11示出了插值確定 器的詳細(xì)視圖，其中示出峰值檢測(cè)器246,其定位輸入的信號(hào)DFT[mddp
(k)]的各峰，以及閾值檢測(cè)器252，其將峰值檢測(cè)器輸出信號(hào)的幅度 與特定的閾值比較。存在很多峰值檢測(cè)方法。本領(lǐng)域技術(shù)人員將理解峰 值檢測(cè)器2"可以使用任意數(shù)量的峰值檢測(cè)算法來(lái)確定信號(hào)DFT[mddp
(k)]的最大峰的位置k。。在該優(yōu)選實(shí)施例中，對(duì)于要分類為峰的位置 k。， k。必須在M/x-l和M/2+l之間，其中在該優(yōu)選實(shí)施例中x = 12。此外， 信號(hào)DFT[mddp (k)]的幅度必須大于在k。的(M) /12個(gè)樣本中所有位 置處的幅度。此外，閾值應(yīng)用器252要求信號(hào)DFT[mddp (k)]的幅度必 須大于Tcj ,其中cj為DFT[mddp ( k)]信號(hào)的幅度在(M) /12 - 1到(M) /2 + 1之間估值的標(biāo)準(zhǔn)偏差。C7的值由統(tǒng)計(jì)計(jì)算器258確定。本領(lǐng)域才支 術(shù)人員將理解統(tǒng)計(jì)計(jì)算器258的4艮多變化，例如平均絕對(duì)偏差而不是標(biāo)準(zhǔn)偏差，將得到可接受的結(jié)果。T為任意的常數(shù)。在一特定實(shí)施例中，T =4。插值因子N的估計(jì)N。st的值，用對(duì)應(yīng)于最大幅度的峰值k。的位置確 定。如果插值確定器222沒(méi)有找到與信號(hào)DFT[mddp (k)]關(guān)聯(lián)的峰，那 么插值確定器輸出指示相信數(shù)字圖像通道p (x， y)沒(méi)有經(jīng)過(guò)插值的信 息?；蛘撸绻逯荡_定器222找到一個(gè)或多個(gè)峰，那么插值確定器222 輸出指示相信數(shù)字圖像通道p (x, y)經(jīng)過(guò)了插值的信息。此外，插值 確定器222輸出N。st。用下面的公式找到Nwt的值，其中k。是峰值的索引 而M是DFT[mddp (k)]信號(hào)中樣本的數(shù)量
<formula>formula see original document page 17</formula>
注意關(guān)于DFT的索引，索引O指的是DFT的第一樣本，從而是DC項(xiàng)。
圖9示出信號(hào)生成器210的詳細(xì)框圖。如之前所說(shuō)明的，信號(hào)生成 器210的目的是，從僅在數(shù)字圖像通道被插值的情況下會(huì)表現(xiàn)出周期屬 性的數(shù)字圖像通道提取信號(hào)。數(shù)字圖像通道p(x, y)被輸入到lD差分 器228i。 1D差分器228,的用途是計(jì)算圖像中局部的像素到像素變化。在 一特定實(shí)施例中，這些像素到像素差異通過(guò)沿?cái)?shù)字圖像通道的每一行計(jì) 算兩個(gè)相繼的導(dǎo)數(shù)來(lái)確定。注意處理可以沿圖^f象列扭J亍而獲得同樣的成 功。1D差分器228,計(jì)算數(shù)字圖像通道每行的導(dǎo)數(shù)來(lái)建立導(dǎo)數(shù)數(shù)字圖像通 道dp(x, y) 。 1D差分器228d吏用下面的公式建立導(dǎo)數(shù)數(shù)字圖像通道 dp ( x， y)。
dp(x, y) =p(x + l, y) -p(x, y)
接著，將導(dǎo)數(shù)數(shù)字圖像通道dp (x, y)輸入到第二 1D差分器2282來(lái)第 二次計(jì)算每行的導(dǎo)數(shù)。該第二 1D差分器2282的輸出為代表數(shù)字圖像通 道p(x, y)的每一行的二階導(dǎo)數(shù)的數(shù)字圖像通道。1D差分器2282使用 下面的公式建立二階導(dǎo)數(shù)數(shù)字圖像通道ddp (x, y):
ddp (x, y) =dp(x + l, y) -dp(x, y) =p(x + 2, y) -2p(x+l， y ) +p (x， y )
注意到可以組合1D差分器的兩級(jí)來(lái)直接從p ( x, y )計(jì)算ddp ( x， y),如之前的等式所示。
1D差分器228的兩級(jí)的用途是在平均起來(lái)的信號(hào)值在對(duì)應(yīng)于原始 數(shù)字圖像通道m(xù) (x, y) (p (x, y)是從m (x, y)插值的)的樣本的像素位置具有不同屬性的情況下生成二維信號(hào)。該信號(hào)ddp (x, y) — 般在對(duì)應(yīng)于原始數(shù)字圖像通道m(xù) (x, y)的樣本的位置具有大的平均值， 而在原始數(shù)字圖像通道的樣本之間的位置具有小的平均值。
ddp(x, y )信號(hào)接著被輸入到1D痕跡提取器240。 1D痕跡提取器 的用途是從ddp (x, y)信號(hào)產(chǎn)生高信噪比一維痕跡，其表現(xiàn)出與插值 因子N直接相關(guān)的周期性。在該優(yōu)選實(shí)施例中，1D痕跡提取器240通過(guò) 跨列對(duì)各值的大小進(jìn)行平均來(lái)產(chǎn)生一維痕跡mddp (k),如下面的公式 所示
<formula>formula see original document page 18</formula>
本領(lǐng)域技術(shù)人員將理解信號(hào)生成器21G的用途可以通過(guò)很多方法實(shí) 現(xiàn)。本領(lǐng)域技術(shù)人員還將理解目的是從數(shù)字圖像通道p (x, y)產(chǎn)生表 現(xiàn)出與插值因子N相關(guān)的周期性的信號(hào)的方法，不偏離本發(fā)明的范圍。
圖10示出信號(hào)生成器210的替代實(shí)施例，其中僅使用單個(gè)ID差分 器228。該實(shí)施例產(chǎn)生精確的結(jié)果，盡管不像優(yōu)選實(shí)施例那么相當(dāng)可靠。
對(duì)于1D痕跡提取器240同樣存在;f艮多替代實(shí)施例。例如，信號(hào)mddp (k)可以通過(guò)找到輸入ID痕跡提取器240的信號(hào)的每行或每列的標(biāo)準(zhǔn) 偏差(或方差)來(lái)計(jì)算。 一般，輸入ID痕跡提取器240的數(shù)字圖像通 道的列或行的方差，在該行或該列與從其插值p (x， y)的原始數(shù)字圖 像通道m(xù)(x, y)的樣本一致時(shí)最高。從而ID痕跡提取器240可以用以 下基于方差的公式計(jì)算mddp (k)信號(hào)
<formula>formula see original document page 18</formula>
通過(guò)重新排列已經(jīng)示出的框圖還有其它替代實(shí)施例。例如，可以計(jì)
算ddp (x, y)信號(hào)每行的DFT,并接著將這些DFT —起平均，以產(chǎn)生 一維信號(hào)輸入到插值確定器222。類似地，也可以計(jì)算ddp (x, y)信 號(hào)每行的DFT，并接著輸入每個(gè)DFT到插值確定器222進(jìn)行峰值檢測(cè)。 從而數(shù)字圖像通道p(x， y )的每行將具有N。st。接著可以用圖案識(shí)別領(lǐng)域的技術(shù)人員熟悉的方法組合這些多個(gè)N^的值，來(lái)獲得整個(gè)圖像的單
個(gè)N。st值。
第一插值檢測(cè)器即使在插值因子N不是整數(shù)值的情況下也能成功地 檢測(cè)N。插值檢測(cè)的一種替代方法包括步驟基本地選擇數(shù)字圖像通道 p (x, y)的樣本(以規(guī)則的間隔)，以及建議這些采樣點(diǎn)構(gòu)成原始圖 像通道。接著可以利用各種插值方法來(lái)從這些樣本重構(gòu)"高分辨率，，圖 像。接著可以將該插值的版本與數(shù)字圖像通道比較來(lái)進(jìn)行相關(guān)。高的相 關(guān)性將指示正確地確定了插值方法和因子。盡管該替代方法將直觀地提 供期望的結(jié)果，檢測(cè)隨機(jī)的非整數(shù)插值因子將是困難的。
第二插值檢測(cè)器可以與第 一插值檢測(cè)器相同的方式操作，除了第二 插值檢測(cè)器包括抵消第二偽像第二壓縮偽像的影響的特征。目前優(yōu)選的 是需要第二插值檢測(cè)器一般以圖8 - 11上描述的方式操作。在該情況下， 抵消第二偽像可以通過(guò)修改從圖像中提取的信號(hào)來(lái)去除與圖像之前的 壓縮相關(guān)的周期性而執(zhí)行。接著檢查該修改過(guò)的信號(hào)查找插值的證據(jù)。 在一特定實(shí)施例中，第二插值檢測(cè)器中插值的估計(jì)包括步驟從圖像生 成一維周期性信號(hào)；計(jì)算該周期性信號(hào)的離散傅里葉變換(DFT信號(hào))； 從DFT信號(hào)排除對(duì)應(yīng)于第二偽像的峰來(lái)產(chǎn)生經(jīng)過(guò)修改的DFT信號(hào)；以及 評(píng)估該經(jīng)過(guò)修改的DFT信號(hào)來(lái)查看與壓縮的類型關(guān)聯(lián)的第一組峰的存 在，該壓縮是由之前4企測(cè)到的方塊效應(yīng)證實(shí)的。
例如，當(dāng)將利用8x8編碼塊的JPEG壓縮應(yīng)用到圖像時(shí)，即使沒(méi)有 插值已被應(yīng)用到該圖像，得到的DFT[ mddp (k)]信號(hào)(圖3中所示) 也具有位于頻i普的1/8, 1/4, 3/8, 5/8， 3/4，和7/8處的峰。因此， 為了避免可能通過(guò)檢測(cè)這些偽峰而發(fā)生錯(cuò)誤檢測(cè)的問(wèn)題，專門的插值檢 測(cè)器124首先確保信號(hào)mddp ( k)的長(zhǎng)度是2的冪，并且可以由8整除，
從而這些峰的能量集中在DFT[]信號(hào)中的單個(gè)點(diǎn)上。接著，在頻譜的位 置1/8, 1/4, 3/8， 5/8， 3/4,和7/8處將DFT [ mddp ( k )]的值設(shè)定 為0。這允許檢測(cè)到與實(shí)際的插值關(guān)聯(lián)的峰，而同時(shí)忽略與圖像壓縮關(guān) 聯(lián)的峰值。然而，這使得更難才企測(cè)8， 4, 8/3, 8/5， 4/3和8/7的插值 率。圖4示出與用因子2. 8插值，接著經(jīng)過(guò)JPEG壓縮的圖像關(guān)聯(lián)的示 例DFT[mddp (k)]信號(hào)。通過(guò)忽略與JPEG壓縮關(guān)聯(lián)的峰，正確地識(shí)別 了與插值關(guān)聯(lián)的峰值(用箭頭指示)。
在較少可能發(fā)生的其中JPEG編碼塊不是8x8,例如是16x16的情況中，這種信息可以通過(guò)壓縮檢測(cè)器IIO獲得，并傳送到專門的插值檢測(cè)
器124。在該示例中，得到的DFT[ mddp (k)]信號(hào)將具有位于頻譜的 1/16, 1/8, 3/16, 1/4, 5/16， 3/8, 7/16, 9/16, 5/8, 11/16， 3/4， 13/16, 7/18和15/16處的峰。
如之前所討論的，該方法中提供的分類可以是在真實(shí)的或者非偽造 的圖像和偽造圖像之間進(jìn)行。也可以提供其它分類。可以使用該分類以 便在不同的參數(shù)組之間選擇。例如，銳化算法會(huì)在輸入圖像是沒(méi)有插值 過(guò)的情況下要求一組參數(shù)，而在輸入圖像已插值過(guò)的情況下要求第二組 參數(shù)。該分類可以確定將與圖像關(guān)聯(lián)的元數(shù)據(jù)。例如，如果數(shù)字圖像通 道p(x, y)用因子4插值過(guò)，那么該歷史信息可以附加到與該數(shù)字圖 像通道關(guān)聯(lián)的元數(shù)據(jù)上。元數(shù)據(jù)可以但不一定存儲(chǔ)在與數(shù)字圖像通道數(shù) 據(jù)相同的文件中。
圖12示出具有分支步驟的圖像處理鏈，其中從兩個(gè)分支中的一個(gè) 選擇(40)到圖像轉(zhuǎn)換程序42或44的圖像處理路徑，是基于相應(yīng)的插 值檢測(cè)器的輸出的。例如，很多web照片沖洗站點(diǎn)包含在顧客請(qǐng)求低于 150dpi的分辨率的照片打印時(shí)的分辨率警告。不了解情況的顧客可能試 圖通過(guò)使用圖像處理軟件來(lái)插值圖像并增加圖像分辨率而避免該警告， 相信引起"分辨率警告"的問(wèn)題已經(jīng)被解決了。本發(fā)明的方法將識(shí)別出 圖像經(jīng)過(guò)了插值并允許系統(tǒng)發(fā)出分辨率警告給顧客。此外，本發(fā)明的方 法允許系統(tǒng)教育顧客，以便解釋盡管插值增加了數(shù)字圖像通道中的像素 數(shù)量，但一般并不引入新的信息。
檢測(cè)插值圖像的本方法的另一個(gè)應(yīng)用示于圖13中。如之前提到的， 圖像插值通常通過(guò)雙三次和雙線性插值來(lái)進(jìn)行。然而，存在過(guò)多的聲稱 提供改進(jìn)的圖像插值的算法。例如，很多時(shí)候，當(dāng)或者使用雙三次或者 使用雙線性插值時(shí)以整數(shù)因子N的插值在圖像p (x, y)中保留數(shù)字圖 像通道m(xù)(x, y)的每個(gè)采樣點(diǎn)的值。接著可以用本方法指示圖像p (x, y)是插值過(guò)的圖像的情況。在它是插值過(guò)的圖像的情況下，那么當(dāng)N 是整數(shù)的時(shí)候通常可以確切地恢復(fù)原始數(shù)字圖像通道m(xù) (x， y)。這通 過(guò)用圖像采樣器46以Ne"指示的比率采樣圖像p (x， y)來(lái)實(shí)現(xiàn)。接著 可以用圖像插值器48使用比之前用過(guò)的更先進(jìn)的圖像插值算法，將該 低分辨率版本p (x, y)插值到p (x， y)的圖像尺寸。
如之前提到過(guò)的，數(shù)字圖像可以是較大的圖像中感興趣的區(qū)域。感興趣的區(qū)域可以使用興趣區(qū)域選擇器自動(dòng)確定或者由操作員手動(dòng)確定。 興趣區(qū)域選擇器可以替代地或者附加地選擇并在圖形用戶界面上呈現(xiàn) 一個(gè)或多個(gè)感興趣的區(qū)域給用戶，用戶可以在呈現(xiàn)的區(qū)域中進(jìn)行選擇， 手動(dòng)地選擇區(qū)域，或者選擇整個(gè)圖像。將區(qū)域呈現(xiàn)給用戶的方式不重要。 例如，可以可3見(jiàn)i也列出區(qū);或。
興趣區(qū)域選擇器可以對(duì)整個(gè)圖像操作，或者各種尺寸的掃描窗口可 以滑過(guò)數(shù)字圖像以自動(dòng)找到感興趣的區(qū)域。可以使用各種興趣區(qū)域選擇
器，諸如臉部檢測(cè)器，主題(main subject)檢測(cè)器，皮膚區(qū)域檢測(cè)器， 天空檢測(cè)器，其它目標(biāo)(汽車，道路，草地，建筑等)檢測(cè)器，或者這 些檢測(cè)器的組合。
興趣區(qū)域選擇器選擇一個(gè)或多個(gè)感興趣的區(qū)域，和，可選地，比4交 區(qū)域或多個(gè)比較區(qū)域。該比較區(qū)域或多個(gè)比較區(qū)域可以是或者可以不是 較不感興趣的或者在圖像的背景中。在檢測(cè)偽造品的使用中，有時(shí)候優(yōu) 選比較區(qū)域是背景，或者手動(dòng)選擇的、相比感興趣的區(qū)域不太可能是插 值過(guò)的區(qū)域。這一般是圖像的背景的一部分。在一些使用中，將來(lái)自兩 個(gè)或多個(gè)選定的感興趣的區(qū)域的插值進(jìn)行比較是方便的。在對(duì)所有圖像 插值評(píng)估之后，單獨(dú)地或者一起分析插值結(jié)果，或者都進(jìn)行。在該分析 中，可以將感興趣的區(qū)域的插值結(jié)果與比較區(qū)域的插值結(jié)果比較，來(lái)確 定結(jié)果中是否有差異。同樣的插值檢測(cè)器對(duì)來(lái)自同一大圖像的兩個(gè)不同 的"圖像指示"的響應(yīng)的差異，是從超過(guò)一個(gè)源進(jìn)行的圖像合成存在的 證據(jù)。
參考圖6-7，在一特定實(shí)施例中，使用臉部檢測(cè)來(lái)找到感興趣的區(qū) 域。偽造的圖像通常涉及人臉。很多不同的臉部檢測(cè)技術(shù)是已知的(參 見(jiàn)Ming-Hsuan Yang, David Kriegman,和Narendra Ahuja, "Detecting Faces in Images: A Survey" , IEEE Transact ions on Pat tern Ana lys i s and Machine Intelligence ( PAMI) , Vol.24， no. 1, pp. 34-58， 2002 )。 使用的特定臉部檢測(cè)技術(shù)并不重要。
圖6示出示例數(shù)字圖像310，包含第一臉部330和第二臉部334。 圖7示出具有與兩個(gè)臉部關(guān)聯(lián)的兩個(gè)感興趣的區(qū)域340， 341以及比較 區(qū)域342的圖像，感興趣的區(qū)域340, 341和比較區(qū)域342適合用于確 定圖像310是否是由來(lái)自其它源圖像的內(nèi)容構(gòu)成的偽造品。盡管這些區(qū) 域被示出為矩形，本領(lǐng)域技術(shù)人員將理解，可以使用包括任意形狀的其它形狀。檢查數(shù)字圖像310是否之前壓縮過(guò)，接著使用兩個(gè)插值檢測(cè)器 中的一個(gè)在不同的區(qū)域評(píng)估插值，得到對(duì)每個(gè)區(qū)域的插值的估計(jì)。如之 前所述，插值檢測(cè)器確定是否用另一個(gè)采樣點(diǎn)陣對(duì)圖像進(jìn)行過(guò)重新采
樣。例如如果發(fā)現(xiàn)區(qū)域340插值過(guò)而確定區(qū)域341和342沒(méi)有插值過(guò)， 那么將該圖像分類為偽造品。此外，可以辨別出偽造區(qū)域?yàn)閰^(qū)域340。 然而，如果發(fā)現(xiàn)所有三個(gè)區(qū)域都插值過(guò)(例如，旋轉(zhuǎn)10度)，那么該 圖像不被劃分為偽造品，因?yàn)榭梢杂迷谡麄€(gè)圖像上一致地應(yīng)用了重新采 樣格點(diǎn)而沒(méi)有添加新內(nèi)容，來(lái)解釋該情況。
本發(fā)明適用于數(shù)字視頻，數(shù)字視頻是以快速的連續(xù)性，例如以每 1 / 3 0秒一個(gè)圖像的幀速率捕捉的各個(gè)的幀的序列。可以對(duì)視頻序列中的 每個(gè)幀執(zhí)行該方法。如果對(duì)于幀的一部分4企測(cè)到插值，那么該一見(jiàn)頻是合 成過(guò)的或者偽造的。此外，物體趨向于在視頻中逐漸移動(dòng)，如果在多個(gè) 幀的期間上的場(chǎng)景中的同 一物體或區(qū)域的檢測(cè)到插值，則是更合成或偽 造的強(qiáng)烈的指示。
已經(jīng)特別參照其特定的優(yōu)選實(shí)施例詳細(xì)描述了本發(fā)明，但是將理解 在本發(fā)明的精神和范圍內(nèi)可以實(shí)現(xiàn)很多修改和變化。部件列表
4 插值檢測(cè)器
10 信號(hào)生成器
16 DFT計(jì)算器
22 插值確定器
28 1D差分器
40 1D痕跡提取器
46 峰值;險(xiǎn)測(cè)器
52 閾值應(yīng)用器
58 統(tǒng)計(jì)計(jì)算器
70 圖像采樣器
76 圖像插值器
110數(shù)字圖像
114興趣區(qū)域選擇器
120壓縮檢測(cè)器
124專門的插值檢測(cè)器
126結(jié)果分析器
128偽造品分類
130第一臉部
134笫二臉部
140示出感興趣的區(qū)域的圖像
142與第一臉部關(guān)聯(lián)的區(qū)域
144與第二臉部關(guān)聯(lián)的區(qū)域
146背景區(qū)域
1110形成列差圖像
1112產(chǎn)生列差陣列
1114產(chǎn)生塊平均的列差陣列
1116定位列峰值
1118計(jì)算列平均值
1120計(jì)算列比率
1122計(jì)算圖像分量的方塊效應(yīng)的程度的度量1110'形成行差圖像
1112，產(chǎn)生行差陣列
1114，產(chǎn)生塊平均的行差陣列
1116，定位行峰值
1118'計(jì)算行平均值
1120，計(jì)算行比率
權(quán)利要求
1. 一種檢測(cè)數(shù)字圖像合成的方法，所述方法包括步驟在未經(jīng)壓縮的數(shù)字圖像中檢測(cè)第一偽像，所述第一偽像是之前用預(yù)定的壓縮算法對(duì)所述數(shù)字圖像壓縮的特征；評(píng)估所述圖像中的插值標(biāo)記來(lái)提供插值結(jié)果；在所述評(píng)估期間，抵消所述壓縮算法的第二偽像；以及響應(yīng)所述插值結(jié)果對(duì)所述圖像分類。
2. 根據(jù)權(quán)利要求1所述的方法，其中所述第二偽像和所述插值標(biāo) 記是所述圖像中不同的周期性。
3. 根據(jù)權(quán)利要求2所述的方法，其中所述第一偽像是方塊效應(yīng)。
4. 根據(jù)權(quán)利要求1所述的方法，其中所述第一偽像是方塊效應(yīng)。
5. 根據(jù)權(quán)利要求1所述的方法，其中所述提供還包括解壓縮所述 數(shù)字圖像。
6. 根據(jù)權(quán)利要求1所述的方法，其中所述未經(jīng)壓縮的數(shù)字圖像是 較大數(shù)字圖像的一部分。
7. 根據(jù)權(quán)利要求6所述的方法，還包括使用興趣區(qū)域檢測(cè)器在所 述較大數(shù)字圖像中找到所述未經(jīng)壓縮的數(shù)字圖像。
8. 根據(jù)權(quán)利要求7所述的方法，其中所述興趣區(qū)域檢測(cè)器選自包 括臉部檢測(cè)器，主題檢測(cè)器，皮膚區(qū)域檢測(cè)器，天空檢測(cè)器，其它目標(biāo) 才企測(cè)器的組，以及所述組中的所述沖企測(cè)器的兩個(gè)或多個(gè)的組合。
9. 根據(jù)權(quán)利要求1所述的方法，還包括以兩個(gè)或更多另外的數(shù)字 圖像重復(fù)所述提供、檢測(cè)、評(píng)估和抵消步驟。
10. 根據(jù)權(quán)利要求9所述的方法，其中所述未經(jīng)壓縮的數(shù)字圖像以 及所述另外的數(shù)字圖像每個(gè)都是較大數(shù)字圖像的不同部分；并且其中所 述分類還包括響應(yīng)于所述插值結(jié)果分類所述較大數(shù)字圖像。
11. 根據(jù)權(quán)利要求10所述的方法，還包括接受指定所述未經(jīng)壓縮 的數(shù)字圖像以及所述另外的數(shù)字圖像中的一個(gè)或多個(gè)的用戶輸入。
12. 根據(jù)權(quán)利要求9所述的方法，其中所述未經(jīng)壓縮的數(shù)字圖像以 及所述附加的數(shù)字圖像每個(gè)都是視頻序列的幀。
13. 根據(jù)權(quán)利要求1所述的方法，其中所述評(píng)估還包括 從圖像生成一維周期性信號(hào)；計(jì)算所述周期性信號(hào)的離散傅里葉變換；以及檢測(cè)所述離散傅里葉變換中的第一組峰值；以及其中所述抵消還包括從所述檢測(cè)排除所述離散傅里葉變換中的第 二組峰值。
14. 一種用于檢測(cè)數(shù)字圖像合成的計(jì)算機(jī)程序產(chǎn)品，該計(jì)算機(jī)程序 產(chǎn)品包括其上存儲(chǔ)了計(jì)算機(jī)程序的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，該計(jì)算機(jī)程序 用于執(zhí)行根據(jù)權(quán)利要求1所述的步驟。
15. —種檢測(cè)數(shù)字圖像合成的系統(tǒng)，所述方法包括步驟 提供未經(jīng)壓縮的數(shù)字圖像的裝置；在所述數(shù)字圖像中檢測(cè)第 一偽像的裝置，所述第 一偽像是之前用預(yù) 定的壓縮算法對(duì)所述數(shù)字圖像壓縮的特征；評(píng)估所述圖像中的插值標(biāo)記來(lái)提供插值結(jié)果的裝置； 在所述評(píng)估期間，抵消所述壓縮算法的第二偽像的裝置；以及 響應(yīng)于所述插值結(jié)果對(duì)所述圖像分類的裝置。
16. —種檢測(cè)數(shù)字圖像合成的方法，所述方法包括步驟 提供未經(jīng)壓縮的數(shù)字圖像；在所述數(shù)字圖像中檢測(cè)第 一偽像的存在，所述第 一偽像是之前用預(yù) 定的壓縮算法對(duì)所述數(shù)字圖像壓縮的特征；評(píng)估所述圖像中兩個(gè)或更多不同區(qū)域中的插值標(biāo)記來(lái)提供每個(gè)所 述區(qū)域的插值結(jié)果；當(dāng)所述第 一偽像存在于所述數(shù)字圖像中時(shí)，在所述評(píng)估期間抵消所 述壓縮算法的第二偽像；以及響應(yīng)于所述插值結(jié)果對(duì)所述圖像分類。
17. 根據(jù)權(quán)利要求16所述的方法，其中所述第一偽像是方塊效應(yīng)， 所述第二偽像和所述插值標(biāo)記是所述圖像中不同的周期性。
18. 根據(jù)權(quán)利要求16所述的方法，還包括使用興趣區(qū)域檢測(cè)器在 所述未經(jīng)壓縮的數(shù)字圖像中找到 一個(gè)或多個(gè)所述區(qū)域。
19. 根據(jù)權(quán)利要求16所述的方法，其中所述分類還包括比較每個(gè) 所述區(qū)域的插值結(jié)果。
20. 根據(jù)權(quán)利要求16所述的方法，其中每個(gè)所述區(qū)域的所述評(píng)估 還包括從圖像生成一維周期性信號(hào)；計(jì)算所述周期性信號(hào)的離散傅里葉變換；以及 檢測(cè)所述離散傅里葉變換中的第一組峰值；以及 其中所述抵消還包括從所述檢測(cè)排除所述離散傅里葉變換中的第 二組峰值。
21. —種檢測(cè)數(shù)字圖像合成的方法，所述方法包括步驟 檢測(cè)未經(jīng)壓縮的數(shù)字圖像中的方塊效應(yīng)； 確定與所述方塊效應(yīng)關(guān)聯(lián)的壓縮導(dǎo)致的周期性偽像；評(píng)估所述圖像中的周期性來(lái)提供插值結(jié)果； 在所述評(píng)估期間，抵消所述壓縮導(dǎo)致的周期性偽像；以及 響應(yīng)于所述插值結(jié)果分類所述圖像。
22. 據(jù)權(quán)利要求21所述的方法，其中所述未經(jīng)壓縮的數(shù)字圖像是 較大數(shù)字圖像的一部分。
23. 根據(jù)權(quán)利要求22所述的方法，還包括使用興趣區(qū)域檢測(cè)器在 所述較大數(shù)字圖像中找到所述未經(jīng)壓縮的數(shù)字圖像。
全文摘要
在檢測(cè)數(shù)字圖像合成的方法和系統(tǒng)中，在未經(jīng)壓縮的數(shù)字圖像中檢測(cè)第一偽像。第一偽像是之前用預(yù)定的壓縮算法對(duì)數(shù)字圖像壓縮的特征。評(píng)估圖像中的插值標(biāo)記來(lái)提供插值結(jié)果。在該評(píng)估期間，抵消壓縮算法的第二偽像。根據(jù)插值結(jié)果對(duì)圖像分類。第一偽像可以是方塊效應(yīng)，而第二偽像和插值標(biāo)記可以是圖像中不同的周期性。
文檔編號(hào)G06K9/00GK101443785SQ200780009882
公開(kāi)日2009年5月27日 申請(qǐng)日期2007年3月12日 優(yōu)先權(quán)日2006年3月21日
發(fā)明者A·C·加拉赫爾, J·羅 申請(qǐng)人:伊斯曼柯達(dá)公司