在高動(dòng)態(tài)范圍圖像創(chuàng)建中的幻像偽影檢測(cè)和去除的制作方法
【技術(shù)領(lǐng)域】
[0001] 該發(fā)明涉及高動(dòng)態(tài)范圍（HDR)成像，并且具體地，其涉及在HDR圖像創(chuàng)建期間的幻 像（ghost)偽影（artifact)的去除。
【背景技術(shù)】
[0002] 高動(dòng)態(tài)范圍（HDR)成像是在圖像處理和數(shù)字拍照中使用的技術(shù)，以處置具有特別 大亮度（光強(qiáng)）范圍的源。例如，日光中的室外場(chǎng)景可包括藍(lán)色天空和陽(yáng)光照耀的（sunlit) 對(duì)象以及陰影下的對(duì)象；夜晚場(chǎng)景可包括氖光和被明亮照耀的對(duì)象以及被較差照耀的對(duì) 象；室內(nèi)場(chǎng)景可包括明亮窗戶以及較暗區(qū)域等。這些場(chǎng)景造成對(duì)于諸如數(shù)字相機(jī)的成像裝 置的挑戰(zhàn)；當(dāng)前可用的數(shù)字相機(jī)的圖像傳感器的動(dòng)態(tài)范圍通常不能對(duì)這樣的場(chǎng)景進(jìn)行充分 成像。如果曝光級(jí)別對(duì)于捕獲場(chǎng)景的較暗區(qū)域的細(xì)節(jié)是充分的，則較亮的區(qū)域?qū)⑼ǔ１黄?光過(guò)度而缺失細(xì)節(jié)；相反，如果曝光級(jí)別對(duì)于捕獲場(chǎng)景的較亮區(qū)域的細(xì)節(jié)是充分的，則較暗 的區(qū)域?qū)⑼ǔ１黄毓獠蛔愣笔Ъ?xì)節(jié)。
[0003] HDR成像技術(shù)通過(guò)按照各種曝光級(jí)別拍攝相同場(chǎng)景的多個(gè)圖像的集合、并然后數(shù) 字合并所述多個(gè)圖像來(lái)創(chuàng)建包括來(lái)自原始的多個(gè)圖像的信息的HDR圖像，使得在HDR圖像 中充分表達(dá)較亮和較暗區(qū)域兩者中的細(xì)節(jié)，來(lái)處置該問(wèn)題。用于從多個(gè)圖像的集合創(chuàng)建HDR 圖像的方法一般是已知的。
[0004] 加括號(hào)（bracketing)是使用不同曝光級(jí)別或諸如焦點(diǎn)、景深等的其他不同設(shè)置 值來(lái)拍攝相同場(chǎng)景的多個(gè)圖像的攝影中的技術(shù)。一些相機(jī)能執(zhí)行自動(dòng)加括號(hào)，即，自動(dòng)改變 多個(gè)設(shè)置時(shí)間并拍攝多個(gè)圖像。所述多個(gè)圖像中的每一個(gè)有時(shí)被稱為括號(hào)（bracket)。能 使用通過(guò)曝光加括號(hào)所生成的多個(gè)圖像來(lái)創(chuàng)建HDR圖像。
[0005] 在HDR圖像創(chuàng)建期間，當(dāng)在不同圖像（括號(hào)）的攝制之間對(duì)象已移動(dòng)、出現(xiàn)或消失 時(shí)，幻像偽影能出現(xiàn)。例如，在三個(gè)括號(hào)的攝制期間，如果人走進(jìn)僅在第三括號(hào)中的場(chǎng)景，則 從這三個(gè)括號(hào)創(chuàng)建的HDR圖像將具有場(chǎng)景上的人的半透明圖（"幻像"）。在該公開中，這 些對(duì)象被稱為移動(dòng)對(duì)象或引入幻像的對(duì)象。
[0006] 已提出了這樣的方法，其標(biāo)識(shí)多個(gè)圖像內(nèi)的這種引入幻像的對(duì)象，使得能處理圖 像以降低或消除得到的HDR圖像中的幻像效應(yīng)。這些技術(shù)中的一些已在評(píng)論（review)論 文中描述，A.Srikantha和D.Sidibe,GhostDetectionandRemovalforHighDynamic RangeImages:RecentAdvances,SignalProcessing:imageCommunications, 27(6), pp.650-662, 2012。
[0007] 在一些已知的幻像偽影檢測(cè)方法中，選擇多個(gè)括號(hào)之一作為參考圖像（也稱為背 景圖像），其是按照定義不包括任何引入幻像的對(duì)象的圖像。其他括號(hào)與參考圖像相比，以 確定引入幻像的對(duì)象是否存在以及在哪里存在。這樣的單一基準(zhǔn)方案的優(yōu)點(diǎn)在于，其簡(jiǎn)化 幻像檢測(cè)和去除問(wèn)題，因?yàn)楫?dāng)處理每一非基準(zhǔn)括號(hào)時(shí)，僅兩個(gè)圖像（基準(zhǔn)括號(hào)和非基準(zhǔn)括 號(hào)）需要比較以檢測(cè)非一致（non-consistent)像素。然而，缺點(diǎn)在于，基準(zhǔn)圖像的一些大 區(qū)域可被較差曝光（過(guò)度曝光或曝光不足），并且如果用作基準(zhǔn)，則導(dǎo)致相關(guān)區(qū)域中的不可 靠的幻像檢測(cè)、信息丟失以及得到的HDR圖像的差質(zhì)量。
[0008] 由此，已提出這樣的方法，以將每一圖像劃分為多個(gè)拼接塊（tiles)(所有括號(hào)被 劃分為相同拼接塊），并且對(duì)于每一拼接塊，選擇一個(gè)括號(hào)作為基準(zhǔn)圖像，使得可選擇不同 括號(hào)作為用于不同拼接塊的基準(zhǔn)括號(hào)。所選擇的用于每一拼接塊的括號(hào)被稱為局部基準(zhǔn)或 局部背景。一種這樣的方法在GdkdenizKaradag和AhmetOguzAkyUz,Colorpreserving HDRFusionforDynamicScenes,JournalofWSCG20 (2):155-160 (2012)( "Karadag和 Akyuz2012"）中進(jìn)行了描述。從Karadag和Akyuz2012論文的圖1改編的圖2示出了被劃 分為多個(gè)拼接塊的圖像：標(biāo)記為"S"的拼接塊（靠近圖像的右上和右下角）指示短曝光括 號(hào)將被用作基準(zhǔn)圖像的拼接塊，而標(biāo)記為"L"的拼接塊（靠近圖像的中央）指示將使用長(zhǎng)曝 光括號(hào)的拼接塊（該圖像集合具有一共三個(gè)括號(hào)）。對(duì)于其他拼接塊，將使用中（middle) 括號(hào)作為基準(zhǔn)，但是為了簡(jiǎn)明，這些括號(hào)在圖1中沒(méi)有標(biāo)記。在對(duì)于每一拼接塊選擇基準(zhǔn)括 號(hào)之后，在非基準(zhǔn)括號(hào)中檢測(cè)幻像像素。

【發(fā)明內(nèi)容】

[0009] Karadag和Akyuz2012論文中描述的方法具有當(dāng)相鄰拼接塊與相同移動(dòng)對(duì)象相 關(guān)、但是具有對(duì)于它們選擇的不同括號(hào)作為基準(zhǔn)圖像時(shí)出現(xiàn)的問(wèn)題。例如，如果移動(dòng)對(duì)象〇 在括號(hào)#1中（但是不在括號(hào)#2和#3中）的相鄰拼接塊A和B中存在，并且如果括號(hào)#1 (具 有對(duì)象〇)被選擇為用于拼接塊A的基準(zhǔn)括號(hào)并且括號(hào)#2 (不具有對(duì)象0,僅具有對(duì)象0之 后的場(chǎng)景）被選擇為用于拼接塊B的基準(zhǔn)括號(hào)，則在得到的HDR圖像中，拼接塊A和B可看 上去顯然（visibly)不一致、或者與移動(dòng)對(duì)象相關(guān)的拼接塊A或B的部分中的信息可丟失。 [0010]因此，本發(fā)明針對(duì)用于幻像偽影檢測(cè)和去除的方法和相關(guān)設(shè)備，其基本上消除由 于現(xiàn)有技術(shù)的限制和缺點(diǎn)導(dǎo)致的問(wèn)題中的一個(gè)或多個(gè)。
[0011] 本發(fā)明的目的是提供用于在HDR圖像創(chuàng)建中檢測(cè)幻像偽影的改進(jìn)方法。
[0012] 本發(fā)明的附加特征和優(yōu)點(diǎn)將在接下來(lái)的描述中闡明，并部分將根據(jù)該描述而清 楚，或者可通過(guò)本發(fā)明的實(shí)踐而得知。本發(fā)明的目的和其他優(yōu)點(diǎn)將通過(guò)在書寫的描述及其 權(quán)利要求以及附圖中特別指出的結(jié)構(gòu)來(lái)實(shí)現(xiàn)和得到。
[0013] 為了實(shí)現(xiàn)這些和/或其他目的，如同實(shí)施和廣泛描述的那樣，本發(fā)明提供了一種 用于從多個(gè)輸入圖像的集合生成高動(dòng)態(tài)范圍（HDR)圖像的方法，每一輸入圖像被分配括號(hào) 索引，該方法包括：(a)將每一輸入圖像劃分為拼接塊的集合，其中所有圖像被劃分為相同 的拼接塊集合；(b)確定用于所述拼接塊的集合的每一拼接塊的基準(zhǔn)括號(hào)索引，包括：(bl) 作為用于所述拼接塊的集合的括號(hào)索引的集合的函數(shù)來(lái)定義目標(biāo)函數(shù)，該目標(biāo)函數(shù)包括測(cè) 量個(gè)別拼接塊的曝光質(zhì)量的分量和測(cè)量相鄰拼接塊之間的相關(guān)性的分量；和（b2)計(jì)算使 得該目標(biāo)函數(shù)最優(yōu)化的用于拼接塊的基準(zhǔn)括號(hào)索引的集合；（c)基于用于拼接塊的基準(zhǔn)括 號(hào)索引的集合，通過(guò)對(duì)于每一拼接塊比較其括號(hào)索引不是基準(zhǔn)括號(hào)索引的每一輸入圖像與 其括號(hào)索引是基準(zhǔn)括號(hào)索引的輸入圖像，而在逐拼接塊的基礎(chǔ)上檢測(cè)輸入圖像的集合中的 引起幻像的像素，并生成指示那個(gè)圖像中的引起幻像的像素的用于每一輸入圖像的幻像 圖；和（d)使用輸入圖像的集合和對(duì)應(yīng)幻像圖來(lái)生成HDR圖像。
[0014] 步驟（b2)可包括：基于該目標(biāo)函數(shù)構(gòu)造圖形，使得該圖形的最佳切口給出使得該 目標(biāo)函數(shù)最優(yōu)化的用于拼接塊的括號(hào)索引的集合；和使用圖形切割算法來(lái)計(jì)算圖形的最佳 切口，以獲得使得該目標(biāo)函數(shù)最優(yōu)化的用于拼接塊的基準(zhǔn)括號(hào)索引的集合。
[0015] 在另一方面，本發(fā)明提供了運(yùn)行以上方法的數(shù)據(jù)處理設(shè)備。
[0016] 應(yīng)理解的是，以上一般描述和以下詳細(xì)描述兩者是示范性和解釋性的，并且意欲 提供要求保護(hù)的本發(fā)明的進(jìn)一步解釋。
【附圖說(shuō)明】
[0017] 圖1示意性圖示了根據(jù)本發(fā)明實(shí)施例的用于幻像偽影檢測(cè)和HDR圖像創(chuàng)建的方 法。
[0018] 圖2圖示了根據(jù)已知方法的被劃分為多個(gè)拼接塊的圖像，其中選擇不同括號(hào)作為 用于不同拼接塊的基準(zhǔn)括號(hào)。
[0019] 圖3示意性圖示了在本發(fā)明實(shí)施例中有用的反轉(zhuǎn)（inverted)像素曝光質(zhì)量函數(shù)。
[0020] 圖4示意性圖示了根據(jù)本發(fā)明實(shí)施例的用于計(jì)算拼接塊到拼接塊 (tile-to-tile)的相關(guān)性而使用的初級(jí)（primary)拼接塊網(wǎng)格（grid)和次級(jí)拼接塊網(wǎng)格。
[0021] 圖5A和5B示意性圖示了根據(jù)本發(fā)明實(shí)施例的用于三個(gè)輸入圖像的集合的圖形構(gòu) 造。
[0022] 圖6A-6F示意性圖示了根據(jù)本發(fā)明實(shí)施例的圖5B的圖形的圖形切口。
[0023] 圖7示意性圖示了根據(jù)本發(fā)明實(shí)施例的用于四個(gè)輸入圖像的集合的圖形構(gòu)造。
[0024] 圖8示意性圖示了根據(jù)本發(fā)明實(shí)施例的用于幻像偽影檢測(cè)和HDR圖像創(chuàng)建的方 法。
[0025] 圖9A和9B分別示意性圖示了其中可實(shí)現(xiàn)本發(fā)明實(shí)施例的數(shù)據(jù)處理設(shè)備和相機(jī)。
【具體實(shí)施方式】
[0026] 本發(fā)明的實(shí)施例提供了用于對(duì)于HDR圖像創(chuàng)建檢測(cè)多個(gè)圖像中的幻像偽影的方 法。通過(guò)按照不同曝光級(jí)別拍攝相同場(chǎng)景而獲得多個(gè)圖像（括號(hào)）。假設(shè)相機(jī)在拍攝處 理期間基本上不移動(dòng)；然而，在處理期間，對(duì)象可在場(chǎng)景內(nèi)移動(dòng)，或者可在場(chǎng)景中出現(xiàn)或從 場(chǎng)景消失。在該公開中，這樣的對(duì)象被統(tǒng)稱為移動(dòng)對(duì)象或引入幻像的對(duì)象。如果不處置 (untreated)，則移動(dòng)對(duì)象將在得到的HDR圖像中引入幻像偽影?；孟駛斡皺z測(cè)方法標(biāo)識(shí)可 引起幻像偽影的、包括這樣的移動(dòng)對(duì)象的圖像的區(qū)域。應(yīng)注意的是，盡管該方法被稱為幻像 偽影檢測(cè)方法，但是在其已被創(chuàng)建之后，其不檢測(cè)HDR圖像中的幻像偽影。相反，該方法檢 測(cè)多個(gè)原始圖像中的區(qū)域，并且如果不處置，則所述多個(gè)原始圖像中的區(qū)域?qū)⒃贖DR圖像 中引入幻像偽影。
[0027]