處理圖像的設(shè)備和方法
【專利摘要】一種通過寬動態(tài)范圍（WDR）處理來處理圖像并利用WDR處理獲得具有寬動態(tài)區(qū)域的圖像的設(shè)備和方法。所述方法包括：接收具有不同的曝光時間的長曝光圖像和短曝光圖像；檢測當長曝光圖像和短曝光圖像融合時可能出現(xiàn)的運動偽影區(qū)域；通過非線性地調(diào)節(jié)短曝光圖像的增益以使得短曝光圖像的亮度分量對應(yīng)于長曝光圖像的亮度分量來產(chǎn)生非線性增益控制短曝光圖像；基于檢測到的運動偽影區(qū)域補償非線性增益控制曝光圖像中的運動；融合非線性增益控制短曝光圖像和長曝光圖像以輸出執(zhí)行了WDR處理的圖像。
【專利說明】處理圖像的設(shè)備和方法
[0001]本申請要求于2013年I月17日提交到韓國知識產(chǎn)權(quán)局的第10-2013-0005428號韓國專利申請的權(quán)益，所述申請的公開內(nèi)容通過引用完整地合并與此。
【技術(shù)領(lǐng)域】
[0002]與示例性實施例一致的設(shè)備和方法涉及處理圖像，更具體地講，涉及通過寬動態(tài)范圍(WDR)處理獲得具有寬動態(tài)區(qū)域的圖像的處理圖像。
【背景技術(shù)】
[0003]近來，對于諸如數(shù)碼相機、數(shù)碼攝像機和相機電話的數(shù)字圖像處理設(shè)備的用戶需求快速增加。因此，數(shù)字圖像處理設(shè)備變得越來越復(fù)雜，且添加了越來越多樣化的功能。
[0004]然而，由于數(shù)字圖像處理設(shè)備獲得與實際屏幕的動態(tài)區(qū)域相比具有相對較小區(qū)域的動態(tài)區(qū)域，數(shù)字圖像處理設(shè)備無法處理實際屏幕的所有信息。具體地講，當在圖像的亮部分與暗部分之間的發(fā)光強度的差異由于背光而較大的情況下獲得圖像時，難以獲得關(guān)于圖像的亮部分和暗部分二者的足夠信息。因此，對應(yīng)區(qū)域的圖像質(zhì)量可能顯著劣化。為了解決這一問題，已開發(fā)出WDR圖像處理。
[0005]WDR處理允許通過融合短曝光圖像和長曝光圖像來產(chǎn)生圖像的亮部分和暗部分均清楚可見的圖像。短曝光圖像的曝光時間被調(diào)節(jié)為較短，以使得圖像的亮部分可被清楚地看見，長曝光圖像的曝光時間被調(diào)節(jié)為較長，以使得圖像的暗部分可被清楚地看見。
[0006]然而，當實際圖像中出現(xiàn)移動對象時，在執(zhí)行WDR處理的圖像中可能產(chǎn)生運動偽影。
[0007]因此，在應(yīng)用WDR處理時，需要校正運動偽影的圖像處理技術(shù)。

【發(fā)明內(nèi)容】

[0008]示例性實施例至少解決上述問題和/或缺點以及上面沒有描述的其他缺點。另夕卜，不要求示例性實施例克服上述缺點，示例性實施例可不克服上述任何問題。
[0009]一個或多個示例性實施例提供一種處理圖像的設(shè)備和方法，據(jù)此可校正在WDR處理中可能出現(xiàn)的運動偽影。
[0010]根據(jù)示例性實施例的一方面，提供一種圖像處理設(shè)備，包括:圖像輸入單元，被構(gòu)造為接收具有不同的曝光時間的長曝光圖像和短曝光圖像；運動偽影區(qū)域檢測單元，被構(gòu)造為檢測由長曝光圖像和短曝光圖像的融合引起的運動偽影區(qū)域；非線性增益調(diào)節(jié)單元，被構(gòu)造為通過非線性地調(diào)節(jié)接收的短曝光圖像的增益來產(chǎn)生非線性增益控制短曝光圖像，其中所述調(diào)節(jié)將短曝光圖像的亮度分量調(diào)節(jié)為對應(yīng)于長曝光圖像的亮度分量，所述非線性增益調(diào)節(jié)單元還被構(gòu)造為基于檢測到的運動偽影區(qū)域補償產(chǎn)生的非線性增益控制短曝光圖像中的運動；融合單元，被構(gòu)造為融合非線性增益控制短曝光圖像和長曝光圖像，以輸出執(zhí)行了寬動態(tài)范圍(WDR)處理的圖像。
[0011]根據(jù)示例性實施例的另一方面，提供一種處理圖像的方法，所述方法包括:利用圖像傳感器接收具有不同的曝光時間的長曝光圖像和短曝光圖像；檢測由長曝光圖像和短曝光圖像的融合引起的運動偽影區(qū)域，以產(chǎn)生檢測到的運動偽影區(qū)域的位置信息和將應(yīng)用于檢測到的運動偽影區(qū)域的權(quán)重信息；非線性地調(diào)節(jié)短曝光圖像的增益以產(chǎn)生非線性增益控制短曝光圖像，其中所述非線性地調(diào)節(jié)的步驟將短曝光圖像的亮度分量調(diào)節(jié)為對應(yīng)于長曝光圖像的亮度分量；基于檢測到的運動偽影區(qū)域補償非線性增益控制短曝光圖像中的運動；融合非線性增益控制短曝光圖像和長曝光圖像，以輸出執(zhí)行了寬動態(tài)范圍(WDR)處理的圖像。
[0012]根據(jù)示例性實施例的另一方面，提供一種圖像處理設(shè)備，包括:運動偽影區(qū)域檢測單元，被構(gòu)造為檢測由長曝光圖像和短曝光圖像的融合引起的運動偽影區(qū)域；非線性增益調(diào)節(jié)單元，被構(gòu)造為通過非線性地調(diào)節(jié)短曝光圖像的增益來產(chǎn)生非線性增益控制短曝光圖像，并且還被構(gòu)造為基于運動偽影區(qū)域補償非線性增益控制短曝光圖像中的運動。.【專利附圖】

【附圖說明】
[0013]通過參照附圖描述特定示例性實施例，上述和/或其他方面將更清楚，其中:
[0014]圖1A至圖1C是示出根據(jù)現(xiàn)有技術(shù)的WDR處理以及在WDR處理中產(chǎn)生的運動偽影的不意圖；
[0015]圖2A是示出根據(jù)示例性實施例的圖像處理設(shè)備的示意性結(jié)構(gòu)圖；
[0016]圖2B是示出根據(jù)示例性實施例的圖像處理方法的示意性流程圖；
[0017]圖3A是示出根據(jù)示例性實施例，根據(jù)長曝光圖像和短曝光圖像的拍攝時間的差異，在融合長曝光圖像和短曝光圖像時可能出現(xiàn)的運動偽影的示意圖；
[0018]圖3B是示出根據(jù)示例性實施例的檢測圖3A所示的運動偽影的運動偽影區(qū)域檢測單元的示意性結(jié)構(gòu)框圖；
[0019]圖4A是示出根據(jù)示例性實施例的作為圖像處理設(shè)備的元件的非線性增益調(diào)節(jié)單元的示意性結(jié)構(gòu)框圖；
[0020]圖4B是示出根據(jù)示例性實施例的可使用圖4A所示的非線性增益調(diào)節(jié)單元執(zhí)行的圖像處理方法的示意性流程圖；
[0021]圖4C是示出圖4B所示的圖像處理方法的操作的示意圖；
[0022]圖5A是示出根據(jù)示例性實施例的基于運動偽影區(qū)域補償非線性短曝光圖像內(nèi)的運動的方法的示意性流程圖；
[0023]圖5B是圖5A所示的運動補償方法的算法的示意圖；
[0024]圖6示出根據(jù)示例性實施例的將短曝光圖像的亮度分量規(guī)范化，以符合長曝光圖像的亮度分量的操作；
[0025]圖7示出根據(jù)示例性實施例的融合長曝光圖像和短曝光圖像的操作；
[0026]圖8示出當應(yīng)用根據(jù)示例性實施例的圖像處理方法時，去除了運動偽影的結(jié)果圖像。
【具體實施方式】
[0027]下面的描述僅舉例說明了特定示例性實施例的原理。即使未在本說明書中清楚地描述或示出，本領(lǐng)域普通技術(shù)人員可采用示例性實施例的原理并在示例性實施例的概念和范圍內(nèi)發(fā)明各種設(shè)備。本說明書中所呈現(xiàn)的條件術(shù)語和示例性實施例的使用僅意在清楚表達示例性實施例的概念，其不限于說明書中所提及的示例性實施例和條件。另外，對示例性實施例的原理和觀點的所有詳細描述應(yīng)該被理解為包括結(jié)構(gòu)和功能等同物。所述等同物不僅包括目前已知的等同物，而且包括未來將開發(fā)出的等同物，即，為執(zhí)行相同功能而發(fā)明的所有裝置，而不管其結(jié)構(gòu)。
[0028]因此，圖中所示的各種裝置的功能(包括表示為處理或類似概念的功能塊)不僅可利用專用于所述功能的硬件來提供，而且可利用能夠運行用于所述功能的適當軟件的硬件來提供。當通過處理器提供功能時，所述功能可通過單個專用處理器、單個共享處理器或多個單獨的處理器(其部分可被共享)來提供。術(shù)語“處理器”、“控制”或類似概念的使用不應(yīng)被理解為排他地表示能夠運行軟件的一件硬件，而是應(yīng)該理解為隱含地包括存儲軟件的數(shù)字信號處理器(DSP)、硬件、ROM、RAM和非易失性存儲器。其他已知和常用的硬件也可包括在其中。
[0029]通過下面參照附圖進行的詳細描述，上述目的、特征和優(yōu)點將更明顯。另外，省略或不詳細描述熟知技術(shù)或構(gòu)造，因為它們將在不必要的細節(jié)方面模糊示例性實施例。
[0030]當一個部件“包括”組件時，其表示該部件不包括除了所述組件之外的組件，但可包括其他組件，只要沒有相反的特殊指示即可。
[0031 ] 以下，將參照附圖詳細描述示例性實施例。
[0032]如本文所用，術(shù)語“和/或”包括一個或多個關(guān)聯(lián)所列項的任何和所有組合。在元件列表之前的諸如“……中的至少一個”的表達修飾整個元件列表，而非修飾列表中的各個元件。
[0033]盡管諸如數(shù)碼相機的圖像處理設(shè)備的性能在不斷提高，但是由于動態(tài)范圍的局限，在獲得圖像時所使用的現(xiàn)有技術(shù)的電荷耦合器件(CCD)或互補金屬氧化物半導體(CMOS)傳感器中引起亮區(qū)域或暗區(qū)域的信息的丟失。動態(tài)區(qū)域是指圖像的最亮區(qū)域和最暗區(qū)域之間的亮度之比。由于與實際場景的動態(tài)區(qū)域相比，圖像獲得設(shè)備中所使用的傳感器的動態(tài)區(qū)域非常小，所以可能未完全表現(xiàn)實際場景的亮范圍。
[0034]圖1A是不出廣生可表現(xiàn)實際場景的売度范圍的具有寬動態(tài)范圍的圖像的現(xiàn)有技術(shù)的WDR處理的示意圖。
[0035]參照圖1A，在WDR處理中，在長的曝光時間段中獲得長曝光圖像信號101，在短的曝光時間段中獲得短曝光圖像信號102。執(zhí)行預(yù)定的曝光信號處理103，其中，在所述曝光信號處理103中，通過根據(jù)光量向長曝光圖像和短曝光圖像不同地應(yīng)用權(quán)重來調(diào)節(jié)長曝光圖像和短曝光圖像的曝光平衡，然后可將圖像融合以產(chǎn)生具有寬動態(tài)范圍的圖像104。例如，如果拍攝設(shè)備的動態(tài)范圍為60dB，則通過TOR處理可獲得具有約120dB的動態(tài)范圍的圖像。
[0036]圖1B示出在現(xiàn)有技術(shù) 的WDR處理中利用長/短可變曝光方法感測長曝光圖像和短曝光圖像的操作。圖1C示出在現(xiàn)有技術(shù)的WDR處理中產(chǎn)生的運動偽影。
[0037]參照圖1B，根據(jù)長/短可變曝光方法，通過針對每一幀選擇性地調(diào)節(jié)曝光時間來控制快門，從而獲得WDR處理所需的長曝光圖像和短曝光圖像。
[0038]在用圖像傳感器拍攝幀時所應(yīng)用的標準曝光時間期間獲得長曝光信號111。可基于長曝光信號111構(gòu)成一個長幀121 (參見圖1C)。在針對標準曝光時間而言相對較短的曝光時間期間獲得短曝光信號112?？苫诙唐毓庑盘?12構(gòu)成短幀122 (參見圖1C)。
[0039]當利用圖1B所示的長/短可變曝光方法交替獲得長幀121和短幀122時，在長曝光圖像和短曝光圖像融合的融合幀123中可能產(chǎn)生運動偽影124。融合幀123中的運動偽影124是由于長幀121的圖像捕獲時間與短幀122的圖像捕獲時間之間的時間差引起的。具體地講，當圖像中包括快速移動對象時，運動偽影更經(jīng)常出現(xiàn)。
[0040]圖2A是根據(jù)示例性實施例的圖像處理設(shè)備200的示意性結(jié)構(gòu)框圖，圖2B是示出根據(jù)示例性實施例的可利用圖像處理設(shè)備200執(zhí)行的圖像處理方法的示意性流程圖。參照圖2A和圖2B，根據(jù)當前示例性實施例的圖像處理設(shè)備200包括運動偽影區(qū)域檢測單元210、非線性增益調(diào)節(jié)單元220和融合單元230。在操作S201，圖像處理設(shè)備200通過利用圖像傳感器(未示出)選擇性地調(diào)節(jié)每一幀的曝光時間，來獲得長曝光圖像和短曝光圖像。
[0041]圖像處理設(shè)備200的運動偽影區(qū)域檢測單元210、非線性增益調(diào)節(jié)單元220和融合單元230的至少一部分可通過包括操作系統(tǒng)、應(yīng)用程序模塊和其他程序模塊中的至少一個的軟件實現(xiàn)，并且可物理地存儲在本領(lǐng)域熟知的各種存儲器裝置中。另外，如上所述的軟件模塊也可存儲在能夠與圖像處理設(shè)備200通信的遠程存儲器裝置中。軟件模塊的示例包括執(zhí)行特定功能或特定抽象數(shù)據(jù)類型(將稍后描述)的例程、子例程、程序、對象、組件和數(shù)據(jù)結(jié)構(gòu)。然而，示例性實施例不限于此。
[0042]在操作S202，非線性增益調(diào)節(jié)單元220通過將短曝光圖像的增益非線性調(diào)節(jié)為短曝光圖像的亮度分量YS對應(yīng)于長曝光圖像的亮度分量YL，來產(chǎn)生非線性增益控制短曝光圖像。根據(jù)示例性實施例，利用圖像處理設(shè)備的圖像傳感器獲得的長曝光圖像和短曝光圖像的圖像信號作為具有R-G-G-B陣列(由25%R、50%G和25%B構(gòu)成)的貝爾圖形(Bayerpattern)輸入。因此，非線性增益調(diào)節(jié)單元220針對貝爾圖形的每一單位區(qū)域計算最大顏色，并基于非線性曲線計算與每一單位區(qū)域的最大顏色對應(yīng)的增益值，所述非線性曲線通過將短曝光圖像的增益非線性調(diào)節(jié)為短曝光圖像的亮度分量對應(yīng)于長曝光圖像的亮度分量來獲得。
[0043]運動偽影區(qū)域檢測單元210在操作S203基于長曝光圖像和短曝光圖像檢測運動偽影區(qū)域，并將檢測結(jié)果傳輸給非線性增益調(diào)節(jié)單元220。根據(jù)示例性實施例，運動偽影區(qū)域是指產(chǎn)生長曝光圖像與短曝光圖像之間的運動信息差異的區(qū)域。運動偽影區(qū)域檢測單元210檢測如上所述的運動偽影區(qū)域的位置，并把將被應(yīng)用于對應(yīng)運動偽影區(qū)域的權(quán)重與檢測到的運動偽影區(qū)域的位置一起傳輸給非線性增益調(diào)節(jié)單元220。
[0044]盡管按照依次順序示出操作S202和S203，但是該順序可改變，可利用另外的處理器電路或組件并行或同時地執(zhí)行所述操作。這兩個操作的順序不限于此。
[0045]在操作S204，基于在操作S203檢測到的運動偽影區(qū)域，非線性增益調(diào)節(jié)單元220補償在操作S202中產(chǎn)生的非線性增益控制短曝光圖像中的運動。如果檢測到運動偽影區(qū)域，其指示長曝光圖像與短曝光圖像之間的運動信息存在差異，因此，非線性增益調(diào)節(jié)單元220針對非線性增益控制短曝光圖像補償此差異。
[0046]在操作S205，為了輸出執(zhí)行了 WDR處理的圖像，融合單元230將在操作S204中補償了運動的非線性增益控制短曝光圖像與在操作S201中獲得的長曝光圖像融合。
[0047]圖3A是示出根據(jù)示例性實施例的當長曝光圖像和短曝光圖像融合時由于長曝光圖像和短曝光圖像的圖像捕獲時間的差異而可能出現(xiàn)的運動偽影的示意圖。圖3B是示出根據(jù)示例性實施例的檢測圖3A所示的運動偽影的運動偽影區(qū)域檢測單元300的結(jié)構(gòu)框圖。
[0048]參照圖3A，如果存在移動對象，則在長曝光圖像與短曝光圖像彼此融合的部分LI周圍的與移動對象的運動對應(yīng)的部分L3中出現(xiàn)運動模糊。運動模糊是由于當特別是根據(jù)長/短可變曝光方法獲得圖像時長曝光圖像與短曝光圖像之間的圖像捕獲時間的時間差引起的。這稱作運動偽影。
[0049]參照圖3B，運動偽影區(qū)域檢測單元300包括放大單元310、第一低通濾波器320、局部對象檢測單元330、第二低通濾波器340和權(quán)重設(shè)置單元350。
[0050]放大單元310按照長曝光圖像的曝光時間與短曝光圖像的曝光時間之比放大短曝光圖像，以便補償短曝光圖像和長曝光圖像的曝光時間的差異。
[0051]例如，當短曝光圖像的快門速度為xl/ΙΟ，長曝光圖像的快門速度為Xl時，可按照10 (快門速度之比)放大短曝光圖像。
[0052]當長曝光圖像與短曝光圖像融合時，第一低通濾波器320平滑長曝光圖像的區(qū)域，平滑的區(qū)域形成為邊界。
[0053]局部對象檢測單元330檢測長曝光圖像與短曝光圖像之間的差異等于或大于閾值Thr的區(qū)域，作為局部對象?？衫媒^對差和(SAD)算法來計算長曝光圖像與短曝光圖像之間的差異。局部對象是指當長曝光圖像和短曝光圖像稍后融合時預(yù)期會出現(xiàn)運動偽影的區(qū)域。
[0054]第二低通濾波器340針對被檢測為局部對象的區(qū)域的將形成所述區(qū)域的邊界的一部分執(zhí)行平滑。
[0055]權(quán)重設(shè)置單元350針對檢測到的局部對象區(qū)域設(shè)置將在融合長曝光圖像和短曝光圖像時應(yīng)用的權(quán)重。所述權(quán)重可預(yù)先設(shè)置，可根據(jù)長曝光圖像和短曝光圖像的亮度級設(shè)置，或者可根據(jù)是否存在運動偽影來設(shè)置。
[0056]圖4A是示出根據(jù)示例性實施例的作為圖像處理設(shè)備的元件的非線性增益調(diào)節(jié)單元400的示意性結(jié)構(gòu)框圖。圖4B是示出根據(jù)示例性實施例的可利用圖4A所示的非線性增益調(diào)節(jié)單元400執(zhí)行的圖像處理方法的示意性流程圖。圖4C是示出圖4B所示的圖像處理方法的詳細操作的示意圖。
[0057]參照圖4A，非線性增益調(diào)節(jié)單元400包括最大顏色計算單元410、最大顏色非線性增益調(diào)節(jié)單元420、運動偽影處理單元430和自適應(yīng)增益調(diào)節(jié)單元440。非線性增益調(diào)節(jié)單元400可改善輸入的短曝光圖像的亮部分與暗部分之間的對比度比率并產(chǎn)生直方圖，所述直方圖通過反映改善的對比度來提供關(guān)于短曝光圖像的對比度和對比度的分布的信息。
[0058]最大顏色計算單元410在操作S401中基于短曝光圖像的當前像素選擇2 X 2陣列的貝爾圖形區(qū)域451 (參見圖4C)，從對應(yīng)貝爾圖形區(qū)域選擇最大顏色，并在操作S402中產(chǎn)生最大顏色平面452 (參見圖4C)，在該平面452中所有的對應(yīng)貝爾圖形區(qū)域用選擇的最大顏色代替。
[0059]在操作S403，最大顏色非線性增益調(diào)節(jié)單元420基于非線性曲線453計算與對應(yīng)貝爾圖形區(qū)域的最大顏色對應(yīng)的非線性增益值(參見圖4C)。根據(jù)當前示例性實施例，可在將短曝光圖像的亮度分量的每一區(qū)域規(guī)范化以對應(yīng)于長曝光圖像的亮度分量的每一區(qū)域時產(chǎn)生用于計算非線性增益值的非線性曲線453。與長曝光圖像的亮度分量對應(yīng)的短曝光圖像的亮度分量可被分類到三個區(qū)域中:低亮度區(qū)域、中間亮度區(qū)域和高亮度區(qū)域。不同的系數(shù)可應(yīng)用于每一亮度分量區(qū)域，以形成亮度分量區(qū)域中的每一個的線性曲線?？赏ㄟ^將相應(yīng)線性曲線連接來形成非線性曲線。
[0060]如下面的等式I (參見圖4C的標號454)中所表示的，在操作S404中通過基于計算的最大顏色MaxCo 1r以及與計算的最大顏色MaxCo I or對應(yīng)的非線性增益值NonLinearGain (MaxColor)調(diào)節(jié)短曝光圖像的非線性增益來產(chǎn)生非線性增益控制短曝光圖像。
[0061][等式I]
[0062]NonLinearGain (MaxColor) /MaxColorX 輸入像素圖像
[0063]在當前示例性實施例中，當利用計算的貝爾圖形區(qū)域的最大顏色執(zhí)行非線性增益調(diào)節(jié)時，即使圖像還未進行白平衡處理，也可沒有顏色失真地控制非線性增益。
[0064]另外，當在操作S405中上述運動偽影檢測單元300成功檢測運動偽影區(qū)域時，在操作S406中基于檢測到的運動偽影區(qū)域補償非線性增益控制短曝光圖像內(nèi)的運動。
[0065]圖5A是示出根據(jù)示例性實施例的基于運動偽影區(qū)域補償非線性短曝光圖像內(nèi)的運動的方法的示意性流程圖。圖5B是圖5A所示的運動補償方法的算法的示意圖。圖5A和圖5B所示的運動補償方法可利用上面詳細描述的圖2所示的圖像處理設(shè)備200和/或圖4A所示的非線性增益調(diào)節(jié)單元400執(zhí)行。
[0066]在當前示例性實施例中，當上述運動偽影檢測單元300檢測到運動偽影區(qū)域時，輸入關(guān)于檢測到的運動偽影區(qū)域的位置以及將應(yīng)用于該運動偽影區(qū)域的權(quán)重的信息。
[0067]在操作S501和S511中，基于利用上述運動偽影檢測單元300輸入的運動偽影區(qū)域的位置信息，設(shè)置非線性增益控制短曝光圖像的偽影局部塊521。
[0068]另外，在操作S502和S512中，基于利用上述運動偽影檢測單元300輸入的運動偽影區(qū)域的位置信息，設(shè)置長曝光圖像的偽影局部塊521周圍的八個局部塊522。
[0069]在操作S503、S513和S514中，計算非線性增益控制短曝光圖像的偽影局部塊521的紅-綠-藍(RGB)區(qū)域平均值以及運動偽影周圍的長曝光圖像的八個局部塊522中的每一個的RGB區(qū)域平均值。
[0070]在操作S504和S515中，將非線性增益控制短曝光圖像的偽影局部塊521的RGB區(qū)域平均值與運動偽影周圍的長曝光圖像的八個局部塊522的RGB區(qū)域平均值進行比較，以從運動偽影周圍的長曝光圖像的局部塊當中獲得最類似于偽影局部塊521的局部塊。
[0071]為了比較非線性增益控制短曝光圖像的偽影局部塊和運動偽影周圍的長曝光圖像的局部塊，可使用SAD算法。
[0072]根據(jù)上述一系列操作，可從長曝光圖像的信息獲得與短曝光圖像中識別出運動偽影的位置的信息最類似的信息。通過基于長曝光圖像中與識別出運動偽影的位置的信息最類似的信息將短曝光圖像規(guī)范化，可去除運動偽影。
[0073]S卩，在操作S505和S516中，通過比較偽影局部塊521的RGB區(qū)域平均值和偽影局部塊周圍的局部塊522中的獲得的局部塊的RGB區(qū)域平均值來計算用于補償運動偽影的增益值。
[0074]如下面的等式2中所表示的，將利用上述運動偽影檢測單元300輸入的運動偽影區(qū)域的權(quán)重以及用于補償運動偽影的增益值Motion_Artifact_gain應(yīng)用于短曝光圖像Short_NonLinearGain,以補償非線性增益控制短曝光圖像內(nèi)的運動。這樣做是為了以高柔和度補償運動偽影區(qū)域。
[0075][等式2]
[0076]Short_NonLinearGain_Motion_Artifact_removal=
[0077]Short_NonLinearGainX (Motion_Artifact_gainXWeight)
[0078]如上所述，根據(jù)當前示例性實施例，除了補償WDR處理中的長曝光圖像與短曝光圖像的曝光度之外，另外補償長曝光圖像與短曝光圖像之間導致運動差異的一部分圖像，從而減少由于運動引起的偽影。
[0079]圖6示出根據(jù)示例性實施例的將短曝光圖像的亮度分量規(guī)范化，以符合長曝光圖像的亮度分量的操作。根據(jù)當前示例性實施例的將短曝光圖像規(guī)范化的方法可利用上面詳細描述的圖2A所示的圖像處理設(shè)備200和/或圖4A所示的非線性增益調(diào)節(jié)單元400執(zhí)行。
[0080]根據(jù)示例性實施例的將短曝光圖像規(guī)范化的方法，短曝光圖像和長曝光圖像的亮度分量各自被分類到三個區(qū)域中:低亮度區(qū)域、中間亮度區(qū)域和高亮度區(qū)域。不同的權(quán)重應(yīng)用于相應(yīng)區(qū)域，以產(chǎn)生每一區(qū)域的線性曲線。
[0081]在將不同的權(quán)重應(yīng)用于每一區(qū)域時，可針對低亮度區(qū)域調(diào)節(jié)權(quán)重以減少圖像的運動偽影。還可針對中間亮度區(qū)域調(diào)節(jié)權(quán)重以降低圖像的噪聲。還可針對高亮度區(qū)域調(diào)節(jié)權(quán)重以加寬圖像的動態(tài)區(qū)域。
[0082]如上所述，可通過將針對相應(yīng)區(qū)域產(chǎn)生的線性曲線組合來產(chǎn)生具有短曝光圖像的非線性增益值的非線性曲線。
[0083]圖7示出根據(jù)示例性實施例的融合長曝光圖像和短曝光圖像的操作。融合長曝光圖像和短曝光圖像的方法可利用上面詳細描述的圖2A所示的圖像處理設(shè)備200來執(zhí)行。參照圖7，從圖像傳感器獲得的長曝光圖像701以及從上述非線性增益調(diào)節(jié)單元220輸出的非線性增益控制短曝光圖像702彼此融合。在融合長曝光圖像701和短曝光圖像702時，基于長曝光圖像701的亮度分量值按照分段方式計算權(quán)重曲線，以計算長曝光圖像701和短曝光圖像702的融合權(quán)重。另外，如下面的等式3中所表示的，可附加地應(yīng)用從上述運動偽影檢測單元300導出的運動偽影區(qū)域的權(quán)重Motion_Detect_weight。S卩，可基于運動偽影區(qū)域的權(quán)重Motion_Detect_Weight調(diào)節(jié)非線性增益控制短曝光圖像和長曝光圖像的融合權(quán)重(Weight 和 1-Weight)。
[0084][方程3]
[0085]Fusion=(ffeight-Motion_Detect_ffeight) X long+(1-(ffeight-Motion_Detect_Weight))X short
[0086]圖8示出當應(yīng)用根據(jù)示例性實施例的圖像處理方法時，去除了運動偽影的結(jié)果圖像。參照圖8，在通過融合長幀801和短幀802形成融合幀圖像803時，如圖1C所示由于運動偽影引起的邊界區(qū)域可如標號804所指示被平滑，從而提供執(zhí)行更自然的WDR處理的幀圖像。
[0087]如上所述，根據(jù)示例性實施例的圖像處理方法，與現(xiàn)有技術(shù)的WDR處理不同，在獲得具有寬動態(tài)區(qū)域的圖像時由于移動對象而可能出現(xiàn)的運動偽影可被最小化。
[0088]本發(fā)明還可實施為計算機可讀記錄介質(zhì)上的計算機可讀代碼。計算機可讀記錄介質(zhì)是可存儲能夠隨后被計算機系統(tǒng)讀取的數(shù)據(jù)的任何數(shù)據(jù)存儲裝置。計算機可讀記錄介質(zhì)的示例包括只讀存儲器(ROM)、隨機存取存儲器(RAM)、⑶-ROM、磁帶、軟盤、光學數(shù)據(jù)存儲裝置等。計算機可讀記錄介質(zhì)還可分布于聯(lián)網(wǎng)的計算機系統(tǒng)上，以使得計算機可讀代碼以分布式方式存儲和執(zhí)行。另外，用于實現(xiàn)本發(fā)明的功能程序、代碼和代碼段可容易地由示例性實施例所屬領(lǐng)域的程序員解釋。
[0089]上述示例性實施例和優(yōu)點僅是示例性的，而不應(yīng)解釋為限制。本教導可容易地應(yīng)用于其他類型的設(shè)備。另外，示例性實施例的描述意在為示意性的，而非限制權(quán)利要求的范圍，對于本領(lǐng)域技術(shù)人員而言許多替代、修改和變化將是明顯的。
【權(quán)利要求】
1.一種圖像處理設(shè)備，包括: 圖像輸入單元，被構(gòu)造為接收具有不同的曝光時間的長曝光圖像和短曝光圖像； 運動偽影區(qū)域檢測單元，被構(gòu)造為檢測由長曝光圖像和短曝光圖像的融合引起的運動偽影區(qū)域； 非線性增益調(diào)節(jié)單元，被構(gòu)造為通過非線性地調(diào)節(jié)接收的短曝光圖像的增益來產(chǎn)生非線性增益控制短曝光圖像，其中，所述調(diào)節(jié)將短曝光圖像的亮度分量調(diào)節(jié)為對應(yīng)于長曝光圖像的亮度分量，所述非線性增益調(diào)節(jié)單元還被構(gòu)造為基于檢測到的運動偽影區(qū)域補償產(chǎn)生的非線性增益控制短曝光圖像中的運動； 融合單元，被構(gòu)造為融合非線性增益控制短曝光圖像和長曝光圖像，以輸出執(zhí)行了寬動態(tài)范圍(WDR)處理的圖像。
2.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中，所述圖像輸入單元還被構(gòu)造為利用圖像傳感器選擇性地調(diào)節(jié)各個幀的曝光時間，以獲得長曝光圖像和短曝光圖像。
3.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中，所述運動偽影區(qū)域檢測單元還被構(gòu)造為產(chǎn)生運動偽影區(qū)域的位置信息和用于運動偽影區(qū)域的權(quán)重信息。
4.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中，所述運動偽影區(qū)域檢測單元包括: 放大單元，被構(gòu)造為按照 短曝光圖像的曝光時間與長曝光圖像的曝光時間之比放大短曝光圖像； 第一低通濾波器，被構(gòu)造為對由短曝光圖像和長曝光圖像的融合引起的形成為短曝光圖像與長曝光圖像之間的邊界的長曝光圖像的區(qū)域進行平滑； 局部對象檢測單元，被構(gòu)造為基于長曝光圖像與短曝光圖像之間的差異檢測運動偽影區(qū)域； 第二低通濾波器，被構(gòu)造為對將形成為檢測到的運動偽影區(qū)域的邊界的區(qū)域進行平滑； 權(quán)重設(shè)置單元，被構(gòu)造為設(shè)置用于檢測到的運動偽影區(qū)域的權(quán)重。
5.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中，所述非線性增益調(diào)節(jié)單元還被構(gòu)造為計算短曝光圖像的貝爾圖形的每一單位區(qū)域的最大顏色，被構(gòu)造為將短曝光圖像規(guī)范化以使得短曝光圖像的亮度分量對應(yīng)于長曝光圖像的亮度分量，并且被構(gòu)造為基于非線性曲線計算與每一單位區(qū)域的最大顏色對應(yīng)的增益值，其中，通過調(diào)節(jié)短曝光圖像的增益產(chǎn)生所述非線性曲線。
6.根據(jù)權(quán)利要求5所述的圖像處理設(shè)備，其中，通過根據(jù)亮度級將與長曝光圖像的亮度分量對應(yīng)的短曝光圖像的亮度分量分類到多個亮度分量區(qū)域中，向分類的亮度分量區(qū)域分別應(yīng)用不同的系數(shù)以分別形成與每一個分類的亮度分量區(qū)域?qū)?yīng)的線性曲線，并將分別形成的線性曲線連接，來產(chǎn)生所述非線性曲線。
7.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中，所述非線性增益調(diào)節(jié)單元還被構(gòu)造為基于檢測到的運動偽影區(qū)域的位置信息對非線性增益控制短曝光圖像的偽影局部塊以及偽影局部塊周圍的長曝光圖像的局部塊進行定位，并被構(gòu)造為從偽影局部塊周圍的長曝光圖像的局部塊中獲得與偽影局部塊最類似的局部塊，以基于偽影局部塊與偽影局部塊周圍的長曝光圖像的局部塊中的獲得的局部塊之間的差異計算短曝光圖像的增益值，以用于補償檢測到的運動偽影區(qū)域。
8.根據(jù)權(quán)利要求7所述的圖像處理設(shè)備，其中，所述非線性增益調(diào)節(jié)單元還被構(gòu)造為從運動偽影區(qū)域檢測單元接收用于檢測到的運動偽影區(qū)域的權(quán)重，并且被構(gòu)造為基于接收的權(quán)重和計算的短曝光圖像的增益值補償非線性增益控制短曝光圖像中的運動。
9.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中，所述融合單元還被構(gòu)造為從運動偽影區(qū)域檢測單元接收用于檢測到的運動偽影區(qū)域的權(quán)重，并且被構(gòu)造為基于接收的權(quán)重調(diào)節(jié)非線性增益控制短曝光圖像和長曝光圖像的融合權(quán)重。
10.一種處理圖像的方法，所述方法包括: 利用圖像傳感器接收具有不同的曝光時間的長曝光圖像和短曝光圖像； 檢測由長曝光圖像和短曝光圖像的融合引起的運動偽影區(qū)域，以產(chǎn)生檢測到的運動偽影區(qū)域的位置信息和用于檢測到的運動偽影區(qū)域的權(quán)重信息； 非線性地調(diào)節(jié)短曝光圖像的增益以產(chǎn)生非線性增益控制短曝光圖像，其中，非線性地調(diào)節(jié)的步驟將短曝光圖像的亮度分量調(diào)節(jié)為對應(yīng)于長曝光圖像的亮度分量； 基于檢測到的運動偽影區(qū)域補償非線性增益控制短曝光圖像中的運動； 融合非線性增益控制短曝光圖像和長曝光圖像，以輸出執(zhí)行了寬動態(tài)范圍(WDR)處理的圖像。
11.根據(jù)權(quán)利要求10所述的方法，其中，在接收長曝光圖像和短曝光圖像的步驟中，通過選擇性地調(diào)節(jié)各個幀的曝光時間來獲得長曝光圖像和短曝光圖像。
12.根據(jù)權(quán)利要求10所述的方法，其中，檢測運動偽影區(qū)域的步驟包括: 按照短曝光圖像的曝光時間與長曝光圖像的曝光時間之比放大短曝光圖像； 利用第一低通濾波器對由短曝光圖像和長曝光圖像的融合引起的形成為短曝光圖像與長曝光圖像之間的邊界的長曝光圖像的區(qū)域進行平滑； 基于長曝光圖像與短曝光圖像之間的差異檢測運動偽影區(qū)域； 利用第二低通濾波器對將形成為檢測到的運動偽影區(qū)域的邊界的區(qū)域進行平滑； 設(shè)置用于檢測到的運動偽影區(qū)域的權(quán)重。
13.根據(jù)權(quán)利要求10所述的方法，其中，非線性地調(diào)節(jié)增益值的步驟包括: 計算短曝光圖像的貝爾圖形的每一單位區(qū)域的最大顏色； 通過將短曝光圖像規(guī)范化以使得短曝光圖像的亮度分量對應(yīng)于長曝光圖像的亮度分量來調(diào)節(jié)短曝光圖像的增益，從而產(chǎn)生非線性曲線； 基于非線性曲線計算與每一單位區(qū)域的最大顏色對應(yīng)的增益值。
14.根據(jù)權(quán)利要求13所述的方法，其中，通過根據(jù)亮度級將與長曝光圖像的亮度分量對應(yīng)的短曝光圖像的亮度分量分類到多個亮度分量區(qū)域中，向分類的亮度分量區(qū)域分別應(yīng)用不同的系數(shù)以分別形成與每一個分類的亮度分量區(qū)域?qū)?yīng)的線性曲線，并將分別形成的線性曲線連接，來產(chǎn)生所述非線性曲線。
15.根據(jù)權(quán)利要求10所述的方法，其中，補償步驟包括: 基于檢測到的運動偽影區(qū)域的位置信息對非線性增益控制短曝光圖像的偽影局部塊進行定位； 基于檢測到的運動偽影區(qū)域的位置信息設(shè)置偽影局部塊周圍的長曝光圖像的局部塊； 從設(shè)置的偽影局部塊周圍的長曝光圖像的局部塊當中獲得與偽影局部塊最類似的局部塊； 基于偽影局部塊與偽影局部塊周圍的長曝光圖像的局部塊中的獲得的局部塊之間的差異計算短曝光圖像的增益值，以用于補償檢測到的運動偽影區(qū)域； 基于計算出的短曝光圖像的增益值補償非線性增益控制短曝光圖像中的運動。
16.根據(jù)權(quán)利要求15所述的方法，其中，在補償步驟中，基于用于檢測到的運動偽影區(qū)域的權(quán)重以及計算出的接收的短曝光圖像的增益值來補償非線性增益控制短曝光圖像中的運動。
17.根據(jù)權(quán)利要求10所述的方法，其中，在融合步驟中，基于用于檢測到的運動偽影區(qū)域的權(quán)重信息，調(diào)節(jié)非線性增益控制短曝光圖像和長曝光圖像的融合權(quán)重。
18.一種圖像處理設(shè)備，包括: 運動偽影區(qū)域檢測單元，被構(gòu)造為檢測由長曝光圖像和短曝光圖像的融合引起的運動偽影區(qū)域； 非線性增益調(diào)節(jié)單元，被構(gòu)造為通過非線性地調(diào)節(jié)短曝光圖像的增益來產(chǎn)生非線性增益控制短曝光圖像，并且還被構(gòu)造為基于運動偽影區(qū)域補償非線性增益控制短曝光圖像中的運動。
19.根據(jù)權(quán)利要求19所述的圖像處理設(shè)備，其中，所述調(diào)節(jié)將短曝光圖像的亮度分量調(diào)節(jié)為對應(yīng)于長曝光圖像的亮度分量。
20.根據(jù)權(quán)利要求19所述的圖像處理設(shè)備，還包括:融合單元，被構(gòu)造為融合非線性增益控制短曝光圖像和長曝光圖像以輸出執(zhí)行了寬動態(tài)范圍(WDR)處理的圖像。
【文檔編號】H04N5/355GK103945145SQ201310751111
【公開日】2014年7月23日 申請日期:2013年12月31日 優(yōu)先權(quán)日:2013年1月17日
【發(fā)明者】李暢敏 申請人:三星泰科威株式會社