專(zhuān)利名稱(chēng)：基于運(yùn)動(dòng)估計(jì)的圖像增強(qiáng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明的一個(gè)方面涉及處理已經(jīng)被接連捕獲的一組圖像的方法。該方法可以被應(yīng)用于例如數(shù)字?jǐn)z影以便在主觀上改善已經(jīng)使用閃光捕獲的圖像。本發(fā)明的其它方面涉及圖像處理器、圖像捕獲設(shè)備、以及用于圖像處理器的計(jì)算機(jī)程序產(chǎn)品。
背景技術(shù)：
由Elmar Eisemann等人、在siggraph 2004，Los angeles，USA，August 8-12，2004，Volume 23，Issue 3，page673-678(2004年8月8-12日在美國(guó)洛杉磯的Siggraph 2004的第23卷第3期的673-678頁(yè))上發(fā)表的題目為“Flash Photography Enhancement viaIntrinsic Relighting(通過(guò)內(nèi)在重新照明的閃光攝影增強(qiáng))”的文章，描述了增強(qiáng)在黑暗環(huán)境中的攝影捕獲的方法。使用可用光拍攝的照片與使用閃光拍攝的照片相組合。雙邊(bilateral)濾波器把照片分解成細(xì)節(jié)和大標(biāo)度的(large scale)。一個(gè)圖像一方面使用用可用光拍攝的照片的大的標(biāo)度，而另一方面使用用閃光捕獲的照片的細(xì)節(jié)進(jìn)行重構(gòu)。因此，原始照明的環(huán)境結(jié)合了閃光圖像的銳度。已經(jīng)論及了可以使用先進(jìn)的方法來(lái)補(bǔ)償主體運(yùn)動(dòng)。

發(fā)明內(nèi)容
根據(jù)本發(fā)明的一個(gè)方面，已經(jīng)被接連捕獲的一組圖像包括已經(jīng)在基本相似的光條件下捕獲的多個(gè)圖像，以及已經(jīng)在基本不同的光條件下捕獲的一個(gè)圖像。一個(gè)運(yùn)動(dòng)指示是得自已經(jīng)在基本相似的光條件下捕獲的至少兩個(gè)圖像。已經(jīng)在基本不同的光條件下捕獲的圖像在得自已經(jīng)在基本相似的光條件下捕獲的至少兩個(gè)圖像的運(yùn)動(dòng)指示的基礎(chǔ)上進(jìn)行處理。
本發(fā)明考慮下列方面。當(dāng)圖像使用相機(jī)捕獲時(shí)，一個(gè)或多個(gè)構(gòu)成圖像的組成部分的物體可能相對(duì)相機(jī)移動(dòng)。例如，構(gòu)成圖像的組成部分的物體可能相對(duì)于也構(gòu)成圖像的組成部分的另一個(gè)物體移動(dòng)。該相機(jī)可能僅跟蹤這些物體之一。如果手持相機(jī)的人手抖動(dòng)的話，構(gòu)成圖像的組成部分的所有物體通常將移動(dòng)。
圖像可以以考慮構(gòu)成圖像的組成部分的物體的各自運(yùn)動(dòng)的方式進(jìn)行處理。這樣的基于運(yùn)動(dòng)的處理可以增強(qiáng)由人所感知的圖像質(zhì)量。例如，可以防止一個(gè)或多個(gè)移動(dòng)物體使圖像變模糊。當(dāng)對(duì)在不同瞬間(instant)捕獲的兩個(gè)或多個(gè)圖像進(jìn)行組合時(shí)，運(yùn)動(dòng)可以被補(bǔ)償?；谶\(yùn)動(dòng)的處理可以進(jìn)一步被使用來(lái)編碼圖像，使得相對(duì)小量的數(shù)據(jù)便可以以令人滿意的質(zhì)量來(lái)表示該圖像?；谶\(yùn)動(dòng)的圖像處理通常要求某種形式的運(yùn)動(dòng)估計(jì)，其提供了圖像的各個(gè)組成部分中的各自運(yùn)動(dòng)的指示。
運(yùn)動(dòng)估計(jì)可以以下面的方式來(lái)執(zhí)行。感興趣的圖像與所謂的參考圖像進(jìn)行比較，所述參考圖像已經(jīng)在不同的瞬間捕獲，例如就在感興趣的圖像已經(jīng)被捕獲之前或者之后。感興趣的圖像被劃分成若干個(gè)像素塊。對(duì)于每個(gè)像素塊，在參考圖像中搜索最匹配于感興趣的像素塊的一個(gè)像素塊。在運(yùn)動(dòng)的情況下，在兩個(gè)上面所述的像素塊之間存在相對(duì)位移。相對(duì)位移提供感興趣的像素塊的運(yùn)動(dòng)指示。因此，運(yùn)動(dòng)指示可以為感興趣的圖像中的每個(gè)像素塊來(lái)建立。各個(gè)運(yùn)動(dòng)指示構(gòu)成用于該圖像的總體上的運(yùn)動(dòng)指示。這樣的運(yùn)動(dòng)估計(jì)一般稱(chēng)作塊匹配運(yùn)動(dòng)估計(jì)。根據(jù)運(yùn)動(dòng)圖片專(zhuān)家組(MPEG)標(biāo)準(zhǔn)的視頻編碼典型地使用塊匹配運(yùn)動(dòng)估計(jì)。
當(dāng)感興趣的圖像和參考圖像已經(jīng)在不同的光條件下捕獲時(shí)，塊匹配運(yùn)動(dòng)估計(jì)通常是不可靠的。例如，如果感興趣的圖像已經(jīng)使用環(huán)境光捕獲而參考圖像已經(jīng)使用閃光捕獲，或者反之亦然，則情況可能是這樣。當(dāng)搜索感興趣的圖像中的像素塊和參考圖像中的像素塊之間的最佳匹配時(shí)，塊匹配運(yùn)動(dòng)估計(jì)考慮照度。因此，塊匹配運(yùn)動(dòng)估計(jì)可以發(fā)現(xiàn)在感興趣的圖像中具有給定照度的像素塊最佳匹配于在參考圖像中具有相似照度的像素塊。然而，各個(gè)像素塊可能屬于不同的物體。
例如，假設(shè)第一圖像使用環(huán)境光捕獲而第二圖像使用閃光捕獲。在第一圖像中，存在看起來(lái)是淺灰色的物體X和看起來(lái)是深灰色的另一個(gè)物體Y。在使用閃光捕獲的第二圖像中，物體X可能看起來(lái)是白色的而物體Y可能看起來(lái)是淺灰色的。存在嚴(yán)重的風(fēng)險(xiǎn)就是塊匹配運(yùn)動(dòng)估計(jì)發(fā)現(xiàn)屬于物體X的第一圖像中的淺灰色像素塊最佳匹配于屬于物體Y的第二圖像中的相似淺灰色像素塊。塊匹配運(yùn)動(dòng)估計(jì)將因此產(chǎn)生一個(gè)運(yùn)動(dòng)指示，其涉及第一圖像中的物體X相對(duì)于第二圖像中的物體Y的位置的位置。塊匹配運(yùn)動(dòng)估計(jì)因此使物體混亂。該運(yùn)動(dòng)指示是錯(cuò)誤的。
有可能應(yīng)用一種不同的運(yùn)動(dòng)估計(jì)技術(shù)，其對(duì)已捕獲各個(gè)圖像的光條件中的差別不太敏感。例如，運(yùn)動(dòng)估計(jì)操作可以被安排成使得忽略照度或亮度信息。僅將顏色信息考慮進(jìn)去。不過(guò)，這樣的基于顏色的運(yùn)動(dòng)估計(jì)通常不提供足夠精確的運(yùn)動(dòng)指示。其原因在于顏色包括比照度更少的細(xì)節(jié)。另一種可能性是基于邊緣信息進(jìn)行運(yùn)動(dòng)估計(jì)。高通濾波器可以從圖像中提取邊緣信息?？紤]像素值中的變化而不是像素值本身。甚至是這樣的基于邊緣的運(yùn)動(dòng)估計(jì)在相當(dāng)多的情況下也提供相對(duì)不精確的運(yùn)動(dòng)指示。其原因在于當(dāng)光條件改變時(shí)邊緣信息通常也受到影響。通常，任何運(yùn)動(dòng)估計(jì)技術(shù)都在一定程度上對(duì)不同的光條件敏感，這可能引起錯(cuò)誤的運(yùn)動(dòng)指示。
根據(jù)本發(fā)明的上述方面，從已經(jīng)在基本相似的光條件下捕獲的至少兩個(gè)圖像中得出一個(gè)運(yùn)動(dòng)指示。然后在得自已經(jīng)在基本相似的光條件下捕獲的至少兩個(gè)圖像的運(yùn)動(dòng)指示的基礎(chǔ)上來(lái)處理已經(jīng)在基本不同的光條件下捕獲的圖像。
運(yùn)動(dòng)指示相對(duì)于已經(jīng)在基本相似的光條件下捕獲的至少兩個(gè)圖像來(lái)說(shuō)相對(duì)精確。這是因?yàn)檫\(yùn)動(dòng)估計(jì)還沒(méi)有受到光條件上差異的干擾。然而，得自已經(jīng)在基本相似的光條件下捕獲的至少兩個(gè)圖像的運(yùn)動(dòng)指示并不直接相關(guān)于已經(jīng)在基本不同的光條件下捕獲的圖像。這是因?yàn)楹笠粓D像在運(yùn)動(dòng)估計(jì)的過(guò)程中沒(méi)有被考慮進(jìn)去。這可能帶來(lái)某些不精確。實(shí)際上，假設(shè)了運(yùn)動(dòng)在圖像捕獲期間的整個(gè)時(shí)間間隔上基本是連續(xù)的。通常，這個(gè)假設(shè)在許多情況下是足夠正確的，使得任何不精確性通常將相對(duì)適中(modest)。與此前所述的由于光條件差異而引起的不精確相比尤其如此。因此，本發(fā)明允許對(duì)已經(jīng)在基本不同的光條件下捕獲的圖像中的運(yùn)動(dòng)的更精確指示。結(jié)果，本發(fā)明允許相對(duì)好的圖像質(zhì)量。
本發(fā)明可能有利地應(yīng)用于例如數(shù)字?jǐn)z影中。數(shù)字相機(jī)可能被編程來(lái)與使用閃光捕獲一個(gè)圖像相聯(lián)系而使用環(huán)境光捕獲至少兩個(gè)圖像。數(shù)字相機(jī)從使用環(huán)境光捕獲的至少兩個(gè)圖像中得出運(yùn)動(dòng)指示。該數(shù)字相機(jī)可以使用這個(gè)運(yùn)動(dòng)指示來(lái)進(jìn)行使用閃光捕獲的圖像和使用環(huán)境光捕獲的兩個(gè)圖像至少之一的高質(zhì)量組合。
本發(fā)明的另一個(gè)優(yōu)勢(shì)關(guān)于下列方面。根據(jù)本發(fā)明，用于已經(jīng)在基本不同的光條件下捕獲的圖像的運(yùn)動(dòng)指示不必從圖像本身得出。本發(fā)明因此不要求運(yùn)動(dòng)估計(jì)技術(shù)對(duì)光條件中的差異相對(duì)不敏感。此前已經(jīng)描述的這樣的運(yùn)動(dòng)估計(jì)技術(shù)通常要求復(fù)雜的硬件或軟件或者兩者。本發(fā)明允許用相對(duì)簡(jiǎn)單的運(yùn)動(dòng)估計(jì)技術(shù)得到令人滿意的結(jié)果，比如舉例來(lái)說(shuō)，塊匹配運(yùn)動(dòng)估計(jì)技術(shù)?？梢允褂靡汛嬖诘挠布蛙浖@是很劃算的。由于那些原因，本發(fā)明允許很劃算的實(shí)現(xiàn)。
本發(fā)明的這些和其它方面此后將參照附圖更具體地加以描述。


圖1是示出了數(shù)字相機(jī)的框圖。
圖2A和2B是示出了數(shù)字相機(jī)執(zhí)行的操作的流程圖。
圖3A、3B和3C是示出了數(shù)字相機(jī)捕獲的三個(gè)相繼的圖像的示意圖。
圖4A和4B是示出了數(shù)字相機(jī)可能執(zhí)行的備選操作的流程圖。
圖5示出了圖像處理設(shè)備。
具體實(shí)施例圖1示出了數(shù)字相機(jī)DCM。數(shù)字相機(jī)DCM包括光拾取單元OPU、閃光單元FLU、控制與處理電路CPC、用戶(hù)接口UIF、以及圖像存儲(chǔ)介質(zhì)ISM。光拾取單元OPU包括鏡頭與快門(mén)系統(tǒng)LSY、圖像傳感器SNS和圖像接口電路IIC。用戶(hù)接口UIF包括圖像拍攝按鈕SB和閃光按鈕FB并且可能進(jìn)一步包括可以顯示圖像的小型顯示設(shè)備。圖像傳感器SNS可以是例如電荷耦合設(shè)備或互補(bǔ)金屬氧化半導(dǎo)體(CMOS)電路的形式?？刂婆c處理電路CPC可能是例如適當(dāng)編程的電路的形式，它將典型地包括包含指令即軟件的程序存儲(chǔ)器，并且包括一個(gè)或多個(gè)執(zhí)行這些指令的處理單元，該指令使數(shù)據(jù)被修改或轉(zhuǎn)移或者既被修改又被轉(zhuǎn)移。圖像存儲(chǔ)介質(zhì)ISM可以是例如可移動(dòng)存儲(chǔ)設(shè)備比如致密閃存的形式。
光拾取單元OPU以基本常規(guī)的方式捕獲圖像。構(gòu)成鏡頭與快門(mén)系統(tǒng)LSY的組成部分的快門(mén)在相對(duì)短的時(shí)間間隔內(nèi)打開(kāi)。圖像傳感器SNS在那個(gè)時(shí)間間隔期間接收光信息。構(gòu)成鏡頭與快門(mén)系統(tǒng)LSY的組成部分的鏡頭以適當(dāng)?shù)姆绞綄⒐庑畔⑼渡涞綀D像傳感器SNS上。焦距和光圈是定義鏡頭設(shè)置的參數(shù)。光傳感器將光信息轉(zhuǎn)換成模擬的電信息。圖像接口電路IIC將模擬的電信息轉(zhuǎn)換成數(shù)字的電信息。因此，獲得將光信息表示為一組數(shù)字值的數(shù)字圖像。這就是所捕獲的圖像。
閃光單元FLU可以提供閃光FLSH來(lái)照明相對(duì)靠近數(shù)字相機(jī)DCM的物體。這樣的物體將反射部分閃光FLSH。閃光FLSH的反射部分將有助于到達(dá)光傳感器的光信息。因此，閃光FLSH可以增強(qiáng)相對(duì)靠近數(shù)字相機(jī)DCM的物體的光度(luminosity)。然而，閃光FLSH可能造成看起來(lái)不自然的光效果，比如舉例來(lái)說(shuō)，紅眼，并且還可能造成圖像具有無(wú)深淺反差且刺眼的外觀。已經(jīng)使用充足的環(huán)境光捕獲的場(chǎng)景的圖像通常被認(rèn)為比使用閃光捕獲的同樣場(chǎng)景的圖像更令人愉快。然而，如果沒(méi)有足夠的環(huán)境光，則圖像可能是有干擾的(noisy)和模糊的，在這種情況下閃光圖像通常是優(yōu)選的。
圖2A和2B示出了數(shù)字相機(jī)DCM執(zhí)行的操作。該操作以一系列步驟ST1-ST10的形式示出。圖2A示出了步驟ST1-ST7并且圖2B示出了步驟ST8-ST10。所示出的操作典型地在控制與處理電路CPC的控制下借助適當(dāng)?shù)能浖?lái)執(zhí)行。例如，控制與處理電路CPC可能發(fā)送控制信號(hào)給光拾取單元OPU，這樣以引起所述光拾取單元執(zhí)行一定的步驟。
在步驟ST1中，控制與處理電路CPC檢測(cè)到用戶(hù)已經(jīng)按下閃光按鈕FB和圖像拍攝按鈕SB(FB↓及SB↓)。響應(yīng)于此，控制與處理電路CPC使數(shù)字相機(jī)DCM執(zhí)行下面所描述的步驟(如果用戶(hù)僅已經(jīng)按下圖像拍攝按鈕SB且控制與處理電路CPC檢測(cè)到?jīng)]有足夠的環(huán)境光，數(shù)字相機(jī)DCM也可能執(zhí)行這些步驟)。
在步驟ST2中，光拾取單元OPU在瞬間t0時(shí)捕獲第一環(huán)境光圖像IM1a(OPUIM1a在t0)。控制與處理電路CPC在圖像存儲(chǔ)介質(zhì)ISM中存儲(chǔ)第一環(huán)境光圖像IM1a(IM1a→ISM)。在步驟ST3中，光拾取單元OPU在瞬間t0+ΔT時(shí)捕獲第二環(huán)境光圖像IM2a(OPUIM2a在t0+ΔT)，符號(hào)ΔT表示第一環(huán)境光圖像IM1a被捕獲的瞬間與第二環(huán)境光圖像IM2a被捕獲的瞬間之間的時(shí)間間隔。控制與處理電路CPC在圖像存儲(chǔ)介質(zhì)ISM中存儲(chǔ)第二環(huán)境光圖像IM2a(IM2a→ISM)。
在步驟ST4中，閃光單元FLU產(chǎn)生閃光(FLSH)。數(shù)字相機(jī)DCM在閃光期間執(zhí)行步驟ST5。在步驟ST5中，光拾取單元OPU在瞬間t0+2ΔT時(shí)捕獲閃光圖像IMFa(OPUIMFa在t0+2ΔT)。這樣，閃光僅在瞬間t0+2ΔT之前出現(xiàn)。在第二環(huán)境光圖像IM2a被捕獲時(shí)的瞬間和閃光圖像IMFa被捕獲時(shí)的瞬間之間的時(shí)間間隔基本上等于ΔT。控制與處理電路CPC在圖像存儲(chǔ)介質(zhì)ISM中存儲(chǔ)閃光圖像IMFa(IMFa→ISM)。
在步驟ST6中，控制與處理電路CPC在第一環(huán)境光圖像IM1a和第二環(huán)境光圖像IM2a的基礎(chǔ)上執(zhí)行運(yùn)動(dòng)估計(jì)，這兩個(gè)圖像存儲(chǔ)在圖像存儲(chǔ)介質(zhì)ISM(MOTEST[IM1a，IM2a])中。構(gòu)成這些圖像的組成部分的一個(gè)或多個(gè)物體可能處于運(yùn)動(dòng)中。運(yùn)動(dòng)估計(jì)提供了這樣運(yùn)動(dòng)的指示。該指示典型地為運(yùn)動(dòng)矢量(MV)的形式。
存在許多不同的方式來(lái)執(zhí)行步驟ST6中的運(yùn)動(dòng)估計(jì)。適當(dāng)?shù)姆绞绞抢缢^的三維(3D)遞歸搜索，其在G.de Haan的、在2000年8月發(fā)表在IEEE Transactions on Consumer Electronics的第46卷第3期的449-459頁(yè)上的文章“Progress in motion estimationfor video format conversion(用于視頻格式轉(zhuǎn)換的運(yùn)動(dòng)估計(jì)的進(jìn)展)”中有所描述。所述3D遞歸搜索的好處在于這個(gè)技術(shù)通常提供準(zhǔn)確反映感興趣圖像中的運(yùn)動(dòng)的運(yùn)動(dòng)矢量。
在步驟ST6中，還有可能執(zhí)行塊匹配運(yùn)動(dòng)估計(jì)。將被編碼的圖像被劃分成幾個(gè)像素塊。對(duì)于將被編碼的圖像中的像素塊，搜索前面的或隨后的圖像中的、最佳匹配于將被編碼的圖像中的像素塊的像素塊。在運(yùn)動(dòng)的情況下，在兩個(gè)上面所述的像素塊之間存在相對(duì)位移。運(yùn)動(dòng)矢量表示相對(duì)位移。因此，可以為將被編碼的圖像中的每個(gè)像素塊建立運(yùn)動(dòng)矢量。
3D遞歸搜索或塊匹配運(yùn)動(dòng)估計(jì)可以以相對(duì)低的代價(jià)來(lái)實(shí)現(xiàn)。其理由是在各種消費(fèi)電子應(yīng)用中已經(jīng)存在用于這些類(lèi)型的運(yùn)動(dòng)估計(jì)的硬件和軟件。圖1中示出的數(shù)字相機(jī)DCM的實(shí)現(xiàn)可以因此受益于現(xiàn)有的低成本運(yùn)動(dòng)估計(jì)硬件和軟件。并不需要開(kāi)發(fā)完全新的硬件或軟件。盡管可能，這將相對(duì)昂貴。
在步驟ST7中，控制與處理電路CPC在第二環(huán)境光圖像IM2a和步驟ST6中運(yùn)動(dòng)估計(jì)所產(chǎn)生的運(yùn)動(dòng)矢量MV的基礎(chǔ)上執(zhí)行運(yùn)動(dòng)補(bǔ)償(MOTCMP[IM2a，MV])。運(yùn)動(dòng)補(bǔ)償提供一個(gè)經(jīng)運(yùn)動(dòng)補(bǔ)償?shù)沫h(huán)境光圖像IM2aMC，其可能被存儲(chǔ)在圖像存儲(chǔ)介質(zhì)ISM中。運(yùn)動(dòng)補(bǔ)償應(yīng)當(dāng)為第二環(huán)境光圖像IM2a和閃光圖像IMFa之間的運(yùn)動(dòng)進(jìn)行補(bǔ)償。即，該運(yùn)動(dòng)補(bǔ)償相對(duì)于閃光圖像IMFa來(lái)執(zhí)行。
理想地，在經(jīng)運(yùn)動(dòng)補(bǔ)償?shù)沫h(huán)境光圖像IM2aMC和閃光圖像IMFa中的相同物體具有相同的位置。即，如果上面所述的圖像被重疊的話，所有的物體應(yīng)當(dāng)理想地是對(duì)準(zhǔn)的。唯一的差別應(yīng)當(dāng)在于相應(yīng)物體的照度和顏色信息。經(jīng)運(yùn)動(dòng)補(bǔ)償?shù)沫h(huán)境光圖像IM2aMC中的物體將顯得比使用閃光捕獲的閃光圖像IMFa中的那些暗。
實(shí)際上，運(yùn)動(dòng)補(bǔ)償并非完美地對(duì)準(zhǔn)圖像?？赡苋杂嗔粝鄬?duì)小的誤差。這是由于以下事實(shí)，即運(yùn)動(dòng)矢量與第二環(huán)境光圖像IM2a相對(duì)于第一環(huán)境光圖像IM1a的運(yùn)動(dòng)有關(guān)。也就是說(shuō)，運(yùn)動(dòng)矢量不直接相關(guān)于閃光圖像IMFa。不過(guò)，運(yùn)動(dòng)補(bǔ)償可以在這些運(yùn)動(dòng)矢量的基礎(chǔ)上提供令人滿意的對(duì)準(zhǔn)。
如果第二環(huán)境光圖像IM2a相對(duì)第一環(huán)境光圖像IM1a的運(yùn)動(dòng)類(lèi)似于閃光圖像IMFa相對(duì)于第二環(huán)境光圖像IM2a的運(yùn)動(dòng)，則對(duì)準(zhǔn)將是精確的。如果圖像比較快地接連捕獲，則情況通常是這樣。例如，假設(shè)圖像涉及一個(gè)包括加速物體的場(chǎng)景。當(dāng)圖像被捕獲時(shí)，如果時(shí)間間隔相關(guān)于物體的加速度是相對(duì)短的，則該物體在各個(gè)瞬間將具有基本相似的速度。
在圖2B中示出的步驟ST8中，控制與處理電路CPC對(duì)閃光圖像IMFa和經(jīng)運(yùn)動(dòng)補(bǔ)償?shù)沫h(huán)境光圖像IM2aMC進(jìn)行組合(COMB[IMFa，IM2aMC])。該組合得到了增強(qiáng)的閃光圖像IMFaE，其中減小了閃光可能引起的不自然和不太舒適的效果。例如，閃光圖像IMFa中的顏色和細(xì)節(jié)信息可能與第二環(huán)境光圖像IM2a中的光分布進(jìn)行組合。閃光圖像IMFa中的顏色和細(xì)節(jié)信息通常將比第二環(huán)境光圖像IM2a中的更逼真。然而，第二環(huán)境光圖像IM2a中的光分布將通常被認(rèn)為比閃光圖像IMFa中的更舒適。應(yīng)當(dāng)指出，存在多種方式來(lái)在使用環(huán)境光捕獲的圖像和使用閃光捕獲的圖像的基礎(chǔ)上獲得增強(qiáng)圖像。在現(xiàn)有技術(shù)的描述中提到的文章是可以應(yīng)用于步驟ST8的圖像增強(qiáng)技術(shù)的一個(gè)例子。
在步驟ST8中進(jìn)行的組合還提供對(duì)閃光圖像IMFa中可能出現(xiàn)的任何紅眼進(jìn)行校正的可能性。當(dāng)捕獲具有眼睛的生物的圖像并且使用閃光時(shí)，眼睛可能看起來(lái)是紅色的，這是不自然的。這樣的紅眼可以通過(guò)比較經(jīng)運(yùn)動(dòng)補(bǔ)償?shù)沫h(huán)境光圖像IM2aMC和閃光圖像IMFa來(lái)檢測(cè)。假設(shè)控制與處理電路CPC檢測(cè)到閃光圖像IMFa中存在紅眼。在那種情況下，經(jīng)運(yùn)動(dòng)補(bǔ)償?shù)沫h(huán)境光圖像IM2aMC的眼睛顏色信息定義了在增強(qiáng)的閃光圖像IMFa中眼睛的顏色。還有可能是用戶(hù)檢測(cè)到并校正紅眼。例如，在圖1中示出的數(shù)字相機(jī)DCM的用戶(hù)可以通過(guò)構(gòu)成用戶(hù)接口UIF的一部分的顯示設(shè)備觀看到閃光圖像IMFa中的紅眼。圖像處理軟件可以允許用戶(hù)做適當(dāng)?shù)男Ｕ?br> 在步驟ST9中，控制與處理電路CPC在圖像存儲(chǔ)介質(zhì)ISM中存儲(chǔ)了增強(qiáng)的閃光圖像IMFaE(IMFaE→ISM)。因此，增強(qiáng)的閃光圖像IMFaE可以稍后被傳送到圖像顯示設(shè)備。任選地，在步驟ST10中，控制與處理電路CPC刪除在圖像存儲(chǔ)介質(zhì)ISM中存在的環(huán)境光圖像IM1a、IM2a和閃光圖像IMFa(DEL[IM1a，IM2a，IMFa])。經(jīng)運(yùn)動(dòng)補(bǔ)償?shù)沫h(huán)境光圖像IM2aMC也可以被刪除。然而，將上述圖像保持在圖像存儲(chǔ)介質(zhì)ISM中可能是有用的，這樣這些圖像可以在稍后的時(shí)刻進(jìn)行處理。
圖3A、3B和3C分別示出了如前所述的被接連捕獲的第一和第二環(huán)境光和閃光圖像IM1a，IM2a，IMFa的例子。在這個(gè)例子中，圖像關(guān)于這樣的場(chǎng)景，其包括多種物體桌子TA、球BL、和有花FL的花瓶VA。球BL移動(dòng)它在桌子TA上向著花瓶VA滾動(dòng)。其它的物體是不動(dòng)的。假設(shè)手持?jǐn)?shù)字相機(jī)DCM的人手穩(wěn)定不動(dòng)。以相對(duì)快的連續(xù)性和例如每秒15個(gè)圖像的速率來(lái)捕獲圖像。
環(huán)境光圖像IM1a、IM2a看起來(lái)基本相似。兩個(gè)圖像都使用環(huán)境光拍攝。在兩個(gè)圖像中每個(gè)物體都具有相似的光度和顏色。唯一的區(qū)別在于球BL，其已移動(dòng)。因此，前面已經(jīng)描述的在步驟ST6中的運(yùn)動(dòng)估計(jì)將提供指示該運(yùn)動(dòng)的運(yùn)動(dòng)矢量。第二環(huán)境光圖像IM2a包括一組或多組基本屬于球BL的像素。這樣一組像素的運(yùn)動(dòng)矢量指示球BL的位移，即運(yùn)動(dòng)。對(duì)比之下，基本屬于除球BL之外的物體的一組像素將具有指示無(wú)運(yùn)動(dòng)的運(yùn)動(dòng)矢量。例如，基本屬于花瓶VA的一組像素將指示這是一個(gè)靜止的物體。
閃光圖像IMFa相對(duì)不同于環(huán)境光圖像IM1a、IM2a。在閃光圖像IMFa中，前景物體比如桌子TA、球BL、具有花FL的花瓶VA，比環(huán)境光圖像IM1a、IM2a更清楚地被照亮。這些物體具有更高的光度和更逼真的顏色。閃光圖像IMFa不同于第二環(huán)境光圖像IM2a不僅因?yàn)椴煌墓鈼l件。球BL的運(yùn)動(dòng)還使閃光圖像IMFa不同于第二環(huán)境光圖像IM2a。因此存在兩種主要原因來(lái)解釋閃光圖像IMFa和第二環(huán)境光圖像IM2a之間的差別光條件和運(yùn)動(dòng)。
從環(huán)境光圖像IM1a、IM2a得出的運(yùn)動(dòng)矢量允許在由于光條件的差別和由于運(yùn)動(dòng)的差別之間進(jìn)行相對(duì)精確的區(qū)分。這基本上是由于這樣的事實(shí)，即環(huán)境光圖像IM1a、IM2a已經(jīng)在基本相似的光條件下捕獲。運(yùn)動(dòng)矢量因此不受到光條件上的任何差別的影響。因此，有可能以?xún)H僅光條件不同為基礎(chǔ)來(lái)增強(qiáng)閃光圖像IMFa?；谶\(yùn)動(dòng)矢量的運(yùn)動(dòng)補(bǔ)償防止了使增強(qiáng)的閃光圖像IMFaE模糊。
圖4A和4B示出了數(shù)字相機(jī)DCM可以執(zhí)行的備選操作。示出了以一系列步驟ST101-ST111形式的備選操作。圖4A示出了步驟ST101-ST107并且圖4B示出了步驟ST108-ST111。這些備選操作典型地在控制與處理電路CPC的控制下通過(guò)適當(dāng)?shù)挠?jì)算機(jī)程序來(lái)執(zhí)行。圖4A和4B因此示出了用于控制與處理電路CPC的備選軟件。
在步驟ST101中，控制與處理電路CPC檢測(cè)到用戶(hù)已經(jīng)按下閃光按鈕FB和圖像拍攝按鈕SB(FB↓及SB↓)。響應(yīng)于此，控制與處理電路CPC使數(shù)字相機(jī)DCM執(zhí)行下面描述的步驟(如果用戶(hù)僅已經(jīng)按下圖像捕獲按鈕SB并且控制與處理電路CPC檢測(cè)到?jīng)]有足夠的環(huán)境光，則數(shù)字相機(jī)DCM也可能執(zhí)行這些步驟)。
在步驟ST102中，光拾取單元OPU在瞬間t1時(shí)捕獲第一環(huán)境光圖像IM1b(OPUIM1b在t1)?？刂婆c處理電路CPC在圖像存儲(chǔ)介質(zhì)ISM中存儲(chǔ)第一環(huán)境光圖像IM1b。表示瞬間t1的時(shí)間標(biāo)號(hào)與第一環(huán)境光圖像IM1b相關(guān)地存儲(chǔ)(IM1b及t1→ISM)。
在步驟ST103中，閃光單元FLU產(chǎn)生閃光(FLSH)。數(shù)字相機(jī)DCM在閃光期間執(zhí)行步驟ST104。在步驟ST104中，光拾取單元OPU在瞬間t2時(shí)捕獲閃光圖像IMFb(OPUIMFb在t2)。這樣，閃光就在瞬間t2之前出現(xiàn)。控制與處理電路CPC在圖像存儲(chǔ)介質(zhì)ISM中存儲(chǔ)閃光圖像IMFb。表示瞬間t2的時(shí)間標(biāo)號(hào)與閃光圖像IMFb相關(guān)地存儲(chǔ)(IMFb及t2→ISM)。
當(dāng)閃光變暗并且已返回環(huán)境光條件的時(shí)候，數(shù)字相機(jī)DCM執(zhí)行步驟ST105。在步驟ST105中，光拾取單元OPU在瞬間t3時(shí)捕獲第二環(huán)境光圖像IM2b(OPUIM2b在t3)?？刂婆c處理電路CPC在圖像存儲(chǔ)介質(zhì)ISM中存儲(chǔ)第二環(huán)境光圖像IM2b。表示瞬間t3的時(shí)間標(biāo)號(hào)與第二環(huán)境光圖像IM2b相關(guān)地存儲(chǔ)(IM2b及t3→ISM)。
在步驟ST106中，控制與處理電路CPC在第一環(huán)境光圖像IM1b和第二環(huán)境光圖像IM2b的基礎(chǔ)上執(zhí)行運(yùn)動(dòng)估計(jì)，這兩個(gè)圖像存儲(chǔ)在圖像存儲(chǔ)介質(zhì)ISM(MOTEST[IM1b，IM2b])中。運(yùn)動(dòng)估計(jì)提供了指示構(gòu)成第一環(huán)境光圖像IM1b和第二環(huán)境光圖像IM2b的組成部分的物體的運(yùn)動(dòng)的運(yùn)動(dòng)矢量MV1，3。
在步驟ST107中，控制與處理電路CPC適配在步驟ST106中運(yùn)動(dòng)估計(jì)已提供的運(yùn)動(dòng)矢量MV1，3(ADP[MV1，3；IM1b，IMFb])。因此，獲得了經(jīng)適配的運(yùn)動(dòng)矢量MV1，2。經(jīng)適配的運(yùn)動(dòng)矢量MV1，2與閃光圖像IMFb相對(duì)于第一環(huán)境光圖像IM1b的運(yùn)動(dòng)有關(guān)。為此，控制與處理電路CPC考慮當(dāng)環(huán)境光和閃光圖像IM1b、IM2b和IMFb已經(jīng)捕獲時(shí)的各個(gè)瞬間t1、t2和t3。
運(yùn)動(dòng)矢量MV1，3可以以相對(duì)簡(jiǎn)單的方式來(lái)適配。例如，假設(shè)運(yùn)動(dòng)矢量具有水平分量和垂直分量。水平分量可以使用等于瞬間t1和瞬間t2之間的時(shí)間間隔除以瞬間t1和瞬間t3之間的時(shí)間間隔的比例系數(shù)來(lái)縮放。垂直分量可以以同樣的方式來(lái)縮放。因此，獲得了經(jīng)縮放的水平分量和經(jīng)縮放的垂直分量。在組合中，這些經(jīng)縮放的分量組成了經(jīng)適配的運(yùn)動(dòng)矢量，其有關(guān)閃光圖像IMFb相對(duì)第一環(huán)境光圖像IM1b的運(yùn)動(dòng)。
在如圖4B所示的步驟ST108中，控制與處理電路CPC在第一環(huán)境光圖像IM1b和適配的運(yùn)動(dòng)矢量MV1，2的基礎(chǔ)上執(zhí)行運(yùn)動(dòng)補(bǔ)償(MOTCMP[IM1b，MV1，2])。運(yùn)動(dòng)補(bǔ)償提供一個(gè)經(jīng)運(yùn)動(dòng)補(bǔ)償?shù)沫h(huán)境光圖像IM1bMC，其可以被存儲(chǔ)在圖像存儲(chǔ)介質(zhì)ISM中。運(yùn)動(dòng)補(bǔ)償應(yīng)當(dāng)為第一環(huán)境光圖像IM1b和閃光圖像IMFb之間的運(yùn)動(dòng)進(jìn)行補(bǔ)償。即，該運(yùn)動(dòng)補(bǔ)償相對(duì)閃光圖像IMFb來(lái)執(zhí)行。
在步驟ST109中，控制與處理電路CPC對(duì)閃光圖像IMFb和經(jīng)運(yùn)動(dòng)補(bǔ)償?shù)沫h(huán)境光圖像IM1bMC進(jìn)行組合(COMB[IMFb，IM1bMC])。該組合得到了增強(qiáng)的閃光圖像IMFbE，其中減少了閃光可能引起的不自然和不太舒適的效果。在步驟ST110中，控制與處理電路CPC在圖像存儲(chǔ)介質(zhì)ISM中存儲(chǔ)了增強(qiáng)的閃光圖像IMFbE(IMFbE→ISM)。任選地，在步驟ST111中，控制與處理電路CPC刪除在圖像存儲(chǔ)介質(zhì)ISM中存在的環(huán)境光和閃光圖像IM1b、IM2b、IMFb(DEL[IM1b，IM2b，IMFb])。經(jīng)運(yùn)動(dòng)補(bǔ)償?shù)沫h(huán)境光圖像IM1bMC也可以被刪除。
圖5示出了圖像處理設(shè)備IMPA，其可以從圖1中所示的數(shù)字相機(jī)DCM接收?qǐng)D像存儲(chǔ)介質(zhì)ISM。圖像處理設(shè)備IMPA包括接口INT、處理器PRC、顯示設(shè)備DPL、以及控制器CTRL。處理器PRC包括適當(dāng)?shù)挠布蛙浖?，用于處理存?chǔ)在圖像存儲(chǔ)介質(zhì)ISM上的圖像。顯示設(shè)備DPL可以顯示原始圖像或已處理的圖像。控制器CTRL控制各種部件比如接口INT、處理器PRC和顯示設(shè)備DPL執(zhí)行的操作?？刂破鰿TRL可以與遙控設(shè)備RCD進(jìn)行交互，通過(guò)遙控設(shè)備RCD用戶(hù)可以控制這些操作。
圖像處理裝置IMPA可以處理關(guān)于同一場(chǎng)景的一組圖像。至少兩個(gè)圖像已經(jīng)使用環(huán)境光捕獲。至少一個(gè)圖像已經(jīng)使用閃光捕獲。圖3A、3B和3C示出了這樣的一組圖像。該圖像處理裝置IMPA在至少兩個(gè)使用環(huán)境光捕獲的圖像的基礎(chǔ)上執(zhí)行運(yùn)動(dòng)估計(jì)。因此，獲得了運(yùn)動(dòng)指示，其可以是運(yùn)動(dòng)矢量的形式。隨后，這個(gè)運(yùn)動(dòng)指示用于在使用環(huán)境光拍攝的至少一個(gè)圖像的基礎(chǔ)上增強(qiáng)使用閃光捕獲的圖像。
例如，假設(shè)數(shù)字相機(jī)DCM被編程來(lái)執(zhí)行步驟ST1-ST5，而不是步驟ST10(見(jiàn)圖2A和2B)。圖像存儲(chǔ)介質(zhì)ISM將包括環(huán)境光圖像IM1a、IM2a和閃光圖像IMFa。圖5中示出的圖像處理設(shè)備IMPA可以執(zhí)行如圖2A和2B中所示的步驟ST6-ST8，以便獲得增強(qiáng)的閃光圖像IMFbE。這個(gè)過(guò)程可以是以類(lèi)似于在個(gè)人計(jì)算機(jī)上的常規(guī)照片編輯方式由用戶(hù)控制的。例如，用戶(hù)可以定義在增強(qiáng)的閃光圖像IMFbE中的照明分布在何種程度上基于在第二環(huán)境光圖像IM2a中的照明分布。
可選地，數(shù)字相機(jī)DCM可被編程來(lái)執(zhí)行步驟ST101-ST105，而不是步驟ST111(見(jiàn)圖4A和4B)。圖5中示出的圖像處理設(shè)備IMPA于是可以執(zhí)行如圖4A和4B中所示的步驟ST106-ST109，以便獲得增強(qiáng)的閃光圖像IMFbE。
增強(qiáng)的閃光圖像將具有基本取決于運(yùn)動(dòng)估計(jì)精度的質(zhì)量。如前所述，3D遞歸搜索允許相對(duì)好的精度。稱(chēng)為內(nèi)容自適應(yīng)遞歸搜索的技術(shù)是一種好的備選方案?？梢允褂脧?fù)雜的運(yùn)動(dòng)估計(jì)技術(shù)，其可以解決圖像之間的傾斜以及平移。而且，有可能先執(zhí)行全局的運(yùn)動(dòng)估計(jì)，其關(guān)于總體上的圖像，而接著是局部運(yùn)動(dòng)估計(jì)，其關(guān)于圖像的各種不同部分。對(duì)圖像進(jìn)行二次抽樣簡(jiǎn)化了全局運(yùn)動(dòng)估計(jì)。還應(yīng)當(dāng)看到運(yùn)動(dòng)估計(jì)可以是基于分段(segment)而不是基于塊。基于分段的運(yùn)動(dòng)估計(jì)考慮了物體可以具有完全不同于塊形式的形式。運(yùn)動(dòng)矢量可以是關(guān)于像素的任意形狀組，而不必是關(guān)于塊的。因此，基于分段的運(yùn)動(dòng)估計(jì)可以是相對(duì)精確的。
下面的規(guī)則通常適用。運(yùn)動(dòng)估計(jì)所基于的圖像的數(shù)量越大，運(yùn)動(dòng)估計(jì)將越精確。在前面的說(shuō)明中，運(yùn)動(dòng)估計(jì)基于使用環(huán)境光捕獲的兩個(gè)圖像。如果兩個(gè)以上的圖像使用環(huán)境光捕獲并且隨后被用于估計(jì)運(yùn)動(dòng)，則可以獲得更精確的運(yùn)動(dòng)估計(jì)。例如，可能在兩個(gè)已經(jīng)被接連捕獲的圖像的基礎(chǔ)上估計(jì)物體的速度，而不是物體的加速度。三個(gè)圖像允許進(jìn)行加速度估計(jì)。假設(shè)與閃光圖像相關(guān)聯(lián)地捕獲三個(gè)環(huán)境光圖像。在那種情況下，與當(dāng)兩個(gè)環(huán)境光圖像被捕獲的時(shí)候相比，可以做出更精確的關(guān)于在閃光圖像被捕獲的瞬間物體在何處的估計(jì)。
結(jié)束語(yǔ)上面參照附圖的詳細(xì)描述示出了如下的特征。已經(jīng)被接連捕獲的一組圖像包括已經(jīng)在基本相似的光條件下捕獲的多個(gè)圖像(圖2A的第一和第二環(huán)境光圖像IM1a、IM2a，以及圖4A的IM1b、IM2b)以及已經(jīng)在基本不同的光條件下捕獲的一個(gè)圖像(圖2A的閃光圖像IMFa，以及圖4A的IMFb)。運(yùn)動(dòng)指示(為運(yùn)動(dòng)矢量MV的形式)得自已經(jīng)在基本相似的光條件下捕獲的至少兩個(gè)圖像(這在圖2A的步驟ST6以及圖4A的步驟ST106、ST107中完成)。已經(jīng)在基本不同的光條件下捕獲的圖像在得自已在基本相似的光條件下捕獲的至少兩個(gè)圖像的運(yùn)動(dòng)指示的基礎(chǔ)上進(jìn)行處理(這在圖2A、2B的步驟ST7、ST8以及圖4B的步驟ST108、ST109中完成；增強(qiáng)的閃光圖像IMFaE從這個(gè)處理中得到)。
前面的詳細(xì)描述進(jìn)一步示出了下面的任選特征。首先使用環(huán)境光捕獲至少兩個(gè)圖像并且隨后使用閃光捕獲一個(gè)圖像(根據(jù)圖2A和2B的操作兩個(gè)環(huán)境光圖像IM1a、IM2a被首先捕獲并且隨后捕獲閃光圖像IMFa)。這些特征的優(yōu)點(diǎn)在于運(yùn)動(dòng)估計(jì)所基于的環(huán)境光圖像可以相對(duì)地在閃光圖像被捕獲之前不久被捕獲。這有助于運(yùn)動(dòng)估計(jì)的精度并且因此有助于好的圖像質(zhì)量。
前面的詳細(xì)描述進(jìn)一步示出了下面的任選特征。圖像在各個(gè)瞬間被相繼捕獲，這些瞬間之間有固定的時(shí)間間隔(ΔT)(根據(jù)圖2A和2B的操作)。這些特征的優(yōu)點(diǎn)在于運(yùn)動(dòng)估計(jì)和進(jìn)一步的處理可以相對(duì)簡(jiǎn)單。例如，從環(huán)境光圖像得出的運(yùn)動(dòng)矢量可以直接應(yīng)用到閃光圖像。不需要適配。
前面的詳細(xì)描述進(jìn)一步示出了下面的任選特征。一個(gè)圖像使用環(huán)境光捕獲，隨后一個(gè)圖像使用閃光捕獲，并且隨后又一個(gè)圖像使用環(huán)境光捕獲(根據(jù)圖4A和4B的操作閃光圖像IMFb在兩個(gè)環(huán)境光圖像IM1b、IM2b之間)。這些特征的優(yōu)點(diǎn)在于運(yùn)動(dòng)估計(jì)可以相對(duì)精確，特別是在恒速運(yùn)動(dòng)的情況下。因?yàn)殚W光圖像可以說(shuō)是被夾在環(huán)境光圖像之間，所以閃光圖像中的物體的各個(gè)位置可以以相對(duì)較大的精度來(lái)被估計(jì)。
前面的詳細(xì)描述進(jìn)一步示出了下面的任選特征。運(yùn)動(dòng)指示包括適配的運(yùn)動(dòng)矢量(MV1，2)，其如下所示地獲得(圖4A和4B示出了這一點(diǎn))。運(yùn)動(dòng)矢量(MV1，3)從已經(jīng)在基本相似的光條件下捕獲的至少兩個(gè)圖像獲得(步驟ST106MV1，3得自環(huán)境光圖像IM1b、IM2b)。運(yùn)動(dòng)矢量在當(dāng)至少兩個(gè)圖像已經(jīng)被捕獲時(shí)和當(dāng)圖像(IMFb)已經(jīng)在基本不同的光條件下捕獲時(shí)(步驟ST107)的各個(gè)瞬間(t1，t2，t3)的基礎(chǔ)上進(jìn)行適配。這進(jìn)一步有助于運(yùn)動(dòng)估計(jì)的準(zhǔn)確度。
前面的詳細(xì)描述進(jìn)一步示出了下面的任選特征。運(yùn)動(dòng)估計(jì)步驟以考慮已經(jīng)為另一組像素建立的運(yùn)動(dòng)矢量的方式建立了屬于一組像素的運(yùn)動(dòng)矢量。這是例如在3D遞歸搜索中的情況。與簡(jiǎn)單的塊匹配運(yùn)動(dòng)估計(jì)技術(shù)相比，上面所述的特征允許準(zhǔn)確的運(yùn)動(dòng)估計(jì)。運(yùn)動(dòng)矢量將真實(shí)地指示相關(guān)組像素所屬于的物體的運(yùn)動(dòng)。這有助于好的圖像質(zhì)量。
上面所述的特征可以以多種不同的方式加以實(shí)現(xiàn)。為了示出這一點(diǎn)，簡(jiǎn)要指出了某些備選方案。該組圖像可以構(gòu)成運(yùn)動(dòng)圖片而不是靜止圖片。例如，將要處理的該組圖像可以通過(guò)攝像機(jī)來(lái)捕獲。該組圖像也可以來(lái)自一組常規(guī)的紙照片的數(shù)字掃描。該組圖像可以包括已經(jīng)在基本相似的光條件下捕獲的兩個(gè)以上的圖像。該組圖像還可以包括已經(jīng)在基本不同的光條件下捕獲的一個(gè)以上的圖像。各圖像可以相對(duì)彼此定位于任何一個(gè)地方。例如，閃光圖像可以先捕獲，接著是兩個(gè)環(huán)境光圖像。運(yùn)動(dòng)指示可以得自這兩個(gè)環(huán)境光圖像，在其基礎(chǔ)上閃光圖像可以被處理。可選地，可以先捕獲兩個(gè)閃光圖像并且隨后捕獲環(huán)境光圖像。運(yùn)動(dòng)指示得自閃光圖像。在這種情況下，閃光圖像構(gòu)成已經(jīng)在基本相似的光條件下捕獲的圖像。
存在許多不同的方式來(lái)處理該組圖像。處理不必一定包括如上所述的圖像增強(qiáng)。處理可以包括例如圖像編碼。在處理包括圖像增強(qiáng)的情況下，存在許多的方式來(lái)這樣做。在上面的說(shuō)明中，經(jīng)運(yùn)動(dòng)補(bǔ)償?shù)沫h(huán)境光圖像先被建立。隨后，閃光圖像在經(jīng)運(yùn)動(dòng)補(bǔ)償?shù)沫h(huán)境光圖像的基礎(chǔ)上被增強(qiáng)?？蛇x地，閃光圖像可以直接在逐塊的基礎(chǔ)上被增強(qiáng)。閃光圖像中的像素塊可以在表示環(huán)境光圖像中的對(duì)應(yīng)像素塊的那個(gè)像素塊的運(yùn)動(dòng)矢量的基礎(chǔ)上被增強(qiáng)。因此，閃光圖像中的各個(gè)像素塊可以被相繼增強(qiáng)。在這樣的實(shí)現(xiàn)中，不必先建立經(jīng)運(yùn)動(dòng)補(bǔ)償?shù)沫h(huán)境光圖像。
該組圖像不必一定包括表示各個(gè)圖像已被捕獲的各個(gè)瞬間的時(shí)間標(biāo)號(hào)。例如，如果在這些相應(yīng)瞬間之間已存在固定的時(shí)間間隔，則不要求時(shí)間標(biāo)號(hào)。時(shí)間間隔不必相同，它們是已知的就足夠了。
存在借助硬件或軟件項(xiàng)或兩者來(lái)實(shí)現(xiàn)功能的許多方式。在這個(gè)方面，附圖是示意性的，各表示本發(fā)明的僅一個(gè)可能的實(shí)施例。而且，盡管附圖將不同功能示出為不同的塊，但這決不排除單個(gè)硬件或軟件項(xiàng)執(zhí)行若干功能或者硬件或軟件項(xiàng)或兩者的組裝執(zhí)行一個(gè)功能。
此前所做的評(píng)注展示了參考附圖的詳細(xì)描述是說(shuō)明而不是限制本發(fā)明。存在落入到所附權(quán)利要求的范圍內(nèi)的許多備選方案。權(quán)利要求中的任何參考符號(hào)不應(yīng)當(dāng)被解釋為限制權(quán)利要求。單詞“包括”不排除除了在權(quán)利要求中所列出的那些元素或步驟之外的其它元素或步驟的存在。元素或步驟之前的單詞“一”或“一個(gè)”并不排除多個(gè)這樣的元素或步驟的存在。
權(quán)利要求
1.一種處理一組已被接連捕獲的圖像(IM1a，IM2a，IMFa；IM1b，IM2b，IMFb)的方法，該組圖像包括已經(jīng)在基本相似的光條件下捕獲的多個(gè)圖像(IM1a，IM2a；IM1b，IM2b)，以及已經(jīng)在基本不同的光條件(FLSH)下捕獲的一個(gè)圖像(IMFa；IMFb)，該方法包括-運(yùn)動(dòng)估計(jì)步驟(ST6；ST106，ST107)，其中一個(gè)運(yùn)動(dòng)指示(MV)從已經(jīng)在基本相似的光條件下捕獲的至少兩個(gè)圖像得出；以及-處理步驟(ST7，ST8；ST108，ST109)，其中已經(jīng)在基本不同的光條件下捕獲的圖像在得自已經(jīng)在基本相似的光條件下捕獲的至少兩個(gè)圖像的運(yùn)動(dòng)指示的基礎(chǔ)上進(jìn)行處理。
2.根據(jù)權(quán)利要求1的處理方法，包括-圖像捕獲步驟，其中至少兩個(gè)圖像(IM1a，IM2a)使用環(huán)境光捕獲，并且隨后，一個(gè)圖像(IMFa)使用閃光捕獲。
3.根據(jù)權(quán)利要求2的處理方法，其中各圖像(IM1a，IM2a，IMFa)在相應(yīng)的瞬間被接連捕獲，在這些瞬間之間具有固定的時(shí)間間隔(ΔT)。
4.根據(jù)權(quán)利要求1的處理方法，包括-圖像捕獲步驟，其中一個(gè)圖像(IM1b)使用環(huán)境光捕獲，隨后一個(gè)圖像(IMFb)使用閃光捕獲，且隨后，另一個(gè)圖像(IM2b)使用環(huán)境光捕獲。
5.根據(jù)權(quán)利要求1的處理方法，其中運(yùn)動(dòng)指示包括一個(gè)被適配的運(yùn)動(dòng)矢量(MV1，2)，其來(lái)自于-運(yùn)動(dòng)矢量得出步驟(ST106)，其中運(yùn)動(dòng)矢量(MV1，3)從已經(jīng)在基本相似的光條件下捕獲的至少兩個(gè)圖像(IM1b，IM2b)得出；以及-運(yùn)動(dòng)矢量適配步驟(ST107)，其中運(yùn)動(dòng)矢量在當(dāng)至少兩個(gè)圖像已經(jīng)捕獲時(shí)以及當(dāng)圖像(IMFb)已經(jīng)在基本不同的光條件下捕獲時(shí)的各個(gè)瞬間(t1，t2，t3)的基礎(chǔ)上進(jìn)行適配。
6.根據(jù)權(quán)利要求1的處理方法，其中該組圖像包括已經(jīng)在相似的光條件下捕獲的兩個(gè)以上的圖像并且其中運(yùn)動(dòng)指示從這些兩個(gè)以上的圖像得出。
7.根據(jù)權(quán)利要求1的處理方法，其中運(yùn)動(dòng)估計(jì)步驟(ST6；ST106，ST107)以以下方式建立屬于一組像素的運(yùn)動(dòng)矢量，即考慮已經(jīng)為另一組像素建立的運(yùn)動(dòng)矢量。
8.一種圖像處理器(IMPA)，其被安排來(lái)處理一組已被接連捕獲的圖像(IM1a，IM2a，IMFa；IM1b，IM2b，IMFb)，該組圖像包括已經(jīng)在基本相似的光條件下捕獲的多個(gè)圖像(IM1a，IM2a；IM1b，IM2b)，以及已經(jīng)在基本不同的光條件(FLSH)下捕獲的一個(gè)圖像(IMFa；IMFb)，該圖像處理器包括-運(yùn)動(dòng)估計(jì)器(MOTEST)，其被安排來(lái)從已經(jīng)在基本相似的光條件下捕獲的至少兩個(gè)圖像得出一個(gè)運(yùn)動(dòng)指示(MV)；以及-圖像處理器(PRC)，被安排來(lái)在運(yùn)動(dòng)指示的基礎(chǔ)上處理已經(jīng)在基本不同的光條件下捕獲的圖像，該運(yùn)動(dòng)指示是從已經(jīng)在基本相似的光條件下捕獲的至少兩個(gè)圖像得出的。
9.一種圖像捕獲設(shè)備(DCM)，包括-圖像捕獲裝置(OPU，F(xiàn)LU，CPC，UIF)，其被安排來(lái)接連捕獲一組圖像(IM1a，IM2a，IMFa；IM1b，IM2b，IMFb)，該組圖像包括已經(jīng)在基本相似的光條件下捕獲的多個(gè)圖像(IM1a，IM2a；IM1b，IM2b)，以及已經(jīng)在基本不同的光條件(FLSH)下捕獲的一個(gè)圖像(IMFa；IMFb)；-運(yùn)動(dòng)估計(jì)器(MOTEST)，其被安排來(lái)從已經(jīng)在基本相似的光條件下捕獲的至少兩個(gè)圖像得出一個(gè)運(yùn)動(dòng)指示(MV)；以及-圖像處理器(PRC)，其被安排來(lái)對(duì)已經(jīng)在基本不同的光條件下捕獲的圖像和已經(jīng)在基本相似的光條件下捕獲的至少一個(gè)圖像進(jìn)行組合以便獲得改善的圖像(IMFE)，該組合在得自已經(jīng)在基本相似的光條件下捕獲的兩個(gè)圖像的運(yùn)動(dòng)指示的基礎(chǔ)上進(jìn)行。
10.一種用于圖像處理器(IMPA)的計(jì)算機(jī)程序產(chǎn)品，其被安排來(lái)處理已經(jīng)被接連捕獲的一組圖像(IM1a，IM2a，IMFa；IM1b，IM2b，IMFb)，該組圖像包括已經(jīng)在基本相似的光條件下捕獲的多個(gè)圖像(IM1a，IM2a；IM1b，IM2b)，以及已經(jīng)在基本不同的光條件(FLSH)下捕獲的一個(gè)圖像(IMFa；IMFb)，該計(jì)算機(jī)程序產(chǎn)品包括一組指令，當(dāng)該組指令被裝載到圖像處理器中時(shí)引起圖像處理器執(zhí)行-運(yùn)動(dòng)估計(jì)步驟(ST6；ST106，ST107)，其中一個(gè)運(yùn)動(dòng)指示(MV)從已經(jīng)在基本相似的光條件下捕獲的至少兩個(gè)圖像得出；以及-處理步驟(ST7，ST8；ST108，ST109)，其中已經(jīng)在基本不同的光條件下捕獲的圖像在得自已經(jīng)在基本相似的光條件下捕獲的至少兩個(gè)圖像的運(yùn)動(dòng)指示的基礎(chǔ)上進(jìn)行處理。
全文摘要
已經(jīng)被接連捕獲的一組圖像(IM1a，IM2a，IMFa)包括已經(jīng)在基本相似的光條件下捕獲的多個(gè)圖像(IM1a，IM2a)，以及已經(jīng)在基本不同的光條件(FLSH)下捕獲的一個(gè)圖像(IMFa)。例如，兩個(gè)圖像可以使用環(huán)境光捕獲并且一個(gè)圖像使用閃光捕獲。一個(gè)運(yùn)動(dòng)指示(MV)從(ST6)已經(jīng)在基本相似的光條件下捕獲的至少兩個(gè)圖像(IM1a，IM2a)得出。已經(jīng)在基本不同的光條件下捕獲的圖像(IMFa)在得自已經(jīng)在基本相似的光條件下捕獲的至少兩個(gè)圖像(IM1a，IM2a)的運(yùn)動(dòng)指示(MV)的基礎(chǔ)上進(jìn)行處理(ST7，ST8)。
文檔編號(hào)G06T7/20GK101048796SQ200580037054
公開(kāi)日2007年10月3日 申請(qǐng)日期2005年10月25日 優(yōu)先權(quán)日2004年10月27日
發(fā)明者S·德維勒 申請(qǐng)人:皇家飛利浦電子股份有限公司