專利名稱：用于獲得高動(dòng)態(tài)范圍圖像的設(shè)備和方法
技術(shù)領(lǐng)域：
示例性實(shí)施例涉及一種用于獲得高動(dòng)態(tài)范圍(HDR)圖像的設(shè)備和方法，更具體 地，涉及一種通過控制曝光時(shí)間來獲得HDR圖像的設(shè)備和方法。
背景技術(shù)：
圖像的動(dòng)態(tài)范圍表示范圍從亮區(qū)域到暗區(qū)域的圖像的可被表現(xiàn)的亮度等級(jí)。通過 改變指示圖像的光亮(諸如，亮度)的像素值來調(diào)節(jié)動(dòng)態(tài)范圍。最近引人關(guān)注的實(shí)現(xiàn)高動(dòng) 態(tài)范圍(HDR)的方法可被粗略地劃分為如下所述的三種類型第一種是通過使用圖像信號(hào)處理的算法來增強(qiáng)從圖像傳感器輸出的圖像數(shù)據(jù)的 動(dòng)態(tài)范圍和質(zhì)量的技術(shù)。第二種是通過獲得具有不同曝光量的兩個(gè)或多個(gè)圖像并合成這些圖像來提高動(dòng) 態(tài)范圍的技術(shù)?？赏ㄟ^以不同快門速度拍攝兩張圖片來獲得所述圖像。隨后通過使用適合 的圖像信號(hào)處理算法來合成并修正所述圖像。第三種是通過在圖像傳感器的單個(gè)像素中配置具有不同敏感度的多個(gè)像素來獲 得兩個(gè)圖像數(shù)據(jù)的技術(shù)。在相同的曝光時(shí)間中從具有不同的敏感度的多個(gè)像素產(chǎn)生的像素 數(shù)據(jù)顯示出與通過不同的曝光量產(chǎn)生的圖像數(shù)據(jù)具有相同的效果。通過兩個(gè)像素產(chǎn)生的圖 像數(shù)據(jù)被合成和修正，從而獲得高動(dòng)態(tài)范圍圖像。

發(fā)明內(nèi)容
示例性實(shí)施例提供了一種使用通過基于行應(yīng)用不同的曝光時(shí)間獲得的圖像，來獲 得高動(dòng)態(tài)范圍(HDR)圖像的設(shè)備和方法。根據(jù)示例性實(shí)施例的一方面，提供了一種用于獲得高動(dòng)態(tài)范圍(HDR)圖像的設(shè) 備。所述設(shè)備包括圖像傳感器，通過對(duì)不同的多個(gè)預(yù)定區(qū)域應(yīng)用不同的曝光時(shí)間來產(chǎn)生第 一圖像；圖像分離單元，將第一圖像分離為多個(gè)圖像，所述多個(gè)圖像的每一個(gè)由具有相同曝 光時(shí)間的多個(gè)區(qū)域構(gòu)成；圖像恢復(fù)單元，以這種方式恢復(fù)分離的圖像使每個(gè)分離的圖像 具有與第一圖像相同的分辨率；圖像合成單元，將恢復(fù)的圖像合成為第二圖像。所述多個(gè)預(yù)定區(qū)域的每一個(gè)可以是相應(yīng)的單行。所述多個(gè)預(yù)定區(qū)域的每一個(gè)可以是相應(yīng)的兩行。所述多個(gè)預(yù)定區(qū)域的每一個(gè)可以是相應(yīng)的多個(gè)像素。圖像傳感器可被提供用于所述多個(gè)預(yù)定區(qū)域的多個(gè)行。所述設(shè)備還可包括快門，用于控制曝光，快門被提供用于所述多個(gè)預(yù)定區(qū)域的多 個(gè)行。圖像傳感器中的像素可被以Bayer模式排列，其中，紅像素和綠像素交替排列在第一行中，藍(lán)像素和綠像素交替排列在第一行隨后的第二行中。圖像傳感器中的像素可被以如下模式排列，其中，紅像素、綠像素和藍(lán)像素交替排 列在多個(gè)行中的一行中，圖像傳感器通過以行為單位應(yīng)用不同的曝光時(shí)間來產(chǎn)生第一圖像。圖像恢復(fù)單元可通過使用與缺失行相鄰的相鄰行來在每個(gè)分離的圖像中執(zhí)行插 值，以恢復(fù)缺失行。圖像恢復(fù)單元可使用基于曝光時(shí)間的比率的增益系數(shù)，以在每個(gè)分離的圖像中恢 復(fù)缺失行。圖像恢復(fù)單元可使用與缺失行相鄰的相鄰行的增益系數(shù)，以在每個(gè)分離的圖像中 恢復(fù)缺失行。圖像恢復(fù)單元可使用以下至少兩個(gè)來進(jìn)行恢復(fù)每個(gè)分離的圖像中的與缺失行相 鄰的相鄰行的增益系數(shù)、每個(gè)分離的圖像中的基于曝光時(shí)間的比率的增益系數(shù)以及每個(gè)分 離的圖像中的使用與缺失行相鄰的相鄰行進(jìn)行的插值。所述設(shè)備還可包括圖像校正單元，通過白平衡(WB)、色彩插值(Cl)和gamma校正 中的至少一個(gè)圖像信號(hào)處理來校正第二圖像。所述設(shè)備還可包括圖像校正單元，通過對(duì)以下至少一個(gè)進(jìn)行圖像信號(hào)處理來校正 恢復(fù)的圖像白平衡(WB)、色彩插值(Cl)和gamma校正，其中，圖像合成單元將校正的圖像 合成為第二圖像。根據(jù)示例性實(shí)施例的另一方面，提供了一種用于獲得高動(dòng)態(tài)范圍(HDR)圖像的方 法。所述方法包括通過對(duì)不同的多個(gè)預(yù)定區(qū)域應(yīng)用不同的曝光時(shí)間來產(chǎn)生第一圖像；將 第一圖像分離為多個(gè)圖像，所述多個(gè)圖像的每一個(gè)由具有相同曝光時(shí)間的多個(gè)區(qū)域構(gòu)成； 以這種方式恢復(fù)分離的圖像使每個(gè)分離的圖像具有與第一圖像相同的分辨率；以及將恢 復(fù)的圖像合成為第二圖像。根據(jù)示例性實(shí)施例的另一方面，提供了一種用于獲得高動(dòng)態(tài)范圍(HDR)圖像的設(shè) 備。所述設(shè)備包括圖像傳感器，通過對(duì)預(yù)定區(qū)域應(yīng)用第一曝光時(shí)間和第二曝光時(shí)間來產(chǎn)生 第一圖像；圖像分離單元，將第一圖像分離為兩個(gè)圖像，所述兩個(gè)圖像中的一個(gè)基于第一曝 光時(shí)間產(chǎn)生，所述兩個(gè)圖像中的另一個(gè)基于第二曝光時(shí)間產(chǎn)生；圖像恢復(fù)單元，恢復(fù)所述兩 個(gè)圖像，從而所述兩個(gè)圖像和第一圖像具有相同的分辨率；圖像合成單元，將恢復(fù)的兩個(gè)圖 像合成為第二圖像。根據(jù)示例性實(shí)施例的另一方面，提供了一種用于獲得高動(dòng)態(tài)范圍(HDR)圖像的方 法。所述方法包括通過對(duì)多個(gè)預(yù)定區(qū)域應(yīng)用第一曝光時(shí)間和第二曝光時(shí)間來產(chǎn)生第一圖 像；將第一圖像分離為兩個(gè)圖像，所述兩個(gè)圖像中的一個(gè)基于第一曝光時(shí)間產(chǎn)生，所述兩個(gè) 圖像中的另一個(gè)基于第二曝光時(shí)間產(chǎn)生；恢復(fù)所述兩個(gè)圖像，從而所述兩個(gè)圖像和第一圖 像具有相同的分辨率；將恢復(fù)的兩個(gè)圖像合成為第二圖像。


通過參照附圖進(jìn)行的詳細(xì)描述，示例性實(shí)施例的上述和其它特征將會(huì)變得更加清 楚，其中圖1是根據(jù)示例性實(shí)施例的用于獲得高動(dòng)態(tài)范圍(HDR)圖像的設(shè)備的框圖2是示出根據(jù)示例性實(shí)施例的曝光時(shí)間的圖表；圖3示出根據(jù)示例性實(shí)施例的在具有Bayer模式的圖像處理器通過基于行應(yīng)用不 同曝光時(shí)間而產(chǎn)生的圖像的示例；圖4示出根據(jù)示例性實(shí)施例的在具有非Bayer模式的濾色器矩陣模式的圖像處理 器通過基于行應(yīng)用不同曝光時(shí)間而產(chǎn)生的圖像的示例；圖5是示出示出根據(jù)示例性實(shí)施例的獲得HDR圖像的方法的流程圖；圖6是示出示出根據(jù)另一示例性實(shí)施例的獲得HDR圖像的方法的流程圖；圖7是示出示出根據(jù)另一示例性實(shí)施例的獲得HDR圖像的方法的流程圖。
具體實(shí)施例方式以下，將參照附圖詳細(xì)描述本發(fā)明的實(shí)施例。圖1是根據(jù)示例性實(shí)施例的用于獲得高動(dòng)態(tài)范圍(HDR)圖像的設(shè)備的框圖。參照?qǐng)D1，用于獲得HDR圖像的設(shè)備100包括圖像傳感器110、圖像分離單元120、 圖像恢復(fù)單元130和圖像合成單元140。圖像傳感器110通過對(duì)不同的預(yù)定區(qū)域應(yīng)用不同的曝光時(shí)間來產(chǎn)生第一圖像。通 常，圖像傳感器110表示能夠通過使用半導(dǎo)體的對(duì)光反應(yīng)的特性來拍攝圖像的裝置。由于 自然界中存在的對(duì)象的各個(gè)部分具有不同的亮度和波長，故圖像傳感器110將通過鏡頭由 亮度和波長獲得的光能量轉(zhuǎn)換為電信號(hào)。圖像傳感器110的典型性示例可包括電荷耦合元 件(CXD)圖像傳感器和互補(bǔ)金屬氧化物半導(dǎo)體(CM0Q圖像傳感器。圖像傳感器110由mXn 個(gè)像素構(gòu)成，從圖像傳感器110輸出的圖像數(shù)據(jù)同樣由mXn個(gè)圖像像素陣列構(gòu)成。對(duì)單個(gè) 圖像應(yīng)用不同的曝光時(shí)間的方法可通過電控制圖像傳感器110的數(shù)據(jù)捕捉時(shí)間來實(shí)現(xiàn)，或 可通過物理地控制在預(yù)定區(qū)域單元的相機(jī)的快門來實(shí)現(xiàn)。預(yù)定區(qū)域可優(yōu)選地由至少一行構(gòu) 成。因此，圖像傳感器110可通過對(duì)不同的兩行單元應(yīng)用不同的曝光時(shí)間來產(chǎn)生第一圖像。 圖像傳感器110可通過包括用于每個(gè)行的單獨(dú)的傳感器或快門來控制每個(gè)行的曝光時(shí)間。 預(yù)定區(qū)域可由至少兩個(gè)像素構(gòu)成。圖2是示出根據(jù)示例性實(shí)施例的曝光時(shí)間的圖表。參照?qǐng)D2，“t”表示時(shí)間，“t =幀”表示拍攝與幀相應(yīng)的圖像的時(shí)間，“t = LET” 表示對(duì)圖像中預(yù)定行的長曝光時(shí)間(LET)，“t = SET”表示對(duì)圖像中預(yù)定行的短曝光時(shí)間 (SET)。由于圖像傳感器110本身僅可記錄圖像的亮度或光的強(qiáng)度，故圖像傳感器110需 要濾色器。在圖像傳感器110的濾色器陣列(CFA)中，每個(gè)像素可僅記錄紅、綠、藍(lán)中的一 個(gè)。圖像傳感器110中的像素以稱為Bayer模式的模式排列。在Bayer模式中，一行設(shè)置 有交替排列的紅像素和綠像素，下一行設(shè)置有交替排列的綠像素和藍(lán)像素。在示例性實(shí)施 例中，當(dāng)圖像傳感器110中的像素以Bayer模式排列時(shí)，不同的曝光時(shí)間被應(yīng)用于不同的兩 行單元。如果不同的曝光時(shí)間被應(yīng)用于不同的單個(gè)行，則由于一行由紅像素和綠像素、或者 綠像素和藍(lán)像素構(gòu)成(即，一行不包括全部紅像素、綠像素和藍(lán)像素)，從而難以執(zhí)行色彩 預(yù)測(cè)。結(jié)果，需要對(duì)不同的兩行單元應(yīng)用不同的曝光時(shí)間，從而以Bayer模式的包括全部紅 像素、綠像素和藍(lán)像素的兩行可具有相同的曝光時(shí)間。在這種情況中，可獲得具有寬動(dòng)態(tài)范 圍的圖像。
圖3示出根據(jù)示例性實(shí)施例的在具有Bayer模式的圖像處理器通過基于行應(yīng)用不 同曝光時(shí)間而產(chǎn)生的圖像的示例。 參照?qǐng)D3，在Bayer模式300中，一行設(shè)置有交替排列的紅像素R 301和綠像素G 302，下一行設(shè)置有交替排列的綠像素G 303和藍(lán)像素B 304。不同曝光時(shí)間被應(yīng)用于不同 的連續(xù)的兩行單元。開始的兩行具有LET 310，下一兩行具有SET 320。LET 330和SET 340 被交替應(yīng)用于剩余的行的每個(gè)兩行。圖4示出根據(jù)示例性實(shí)施例的在具有非Bayer模式的濾色器矩陣模式的圖像處理 器通過基于行應(yīng)用不同曝光時(shí)間而產(chǎn)生的圖像的示例。參照?qǐng)D4，在模式400中，所有的紅像素R 401、綠像素G 402和藍(lán)像素B 403排列 在每個(gè)行中。在這種情況中，不同的曝光時(shí)間被應(yīng)用于不同的行。LET 410和430以及SET 420和440被交替應(yīng)用于各個(gè)行。圖像分離單元120分離由圖像傳感器110產(chǎn)生的第一圖像。更具體地，圖像分離 單元120將第一圖像分離為多個(gè)圖像，所述多個(gè)圖像的每一個(gè)由具有相同曝光時(shí)間的多個(gè) 行構(gòu)成。例如，如圖3所示，當(dāng)曝光量被控制為在兩行單元中交替的LET和SET時(shí)，圖像分 離單元120將第一圖像分離為由具有LET的行構(gòu)成的圖像和由具有SET的行構(gòu)成的圖像。 在這種情況中，每個(gè)分離的圖像的分辨率是第一圖像的分辨率的一半。圖像恢復(fù)單元130恢復(fù)分離的圖像，從而每個(gè)分離的圖像具有與第一圖像相同的 分辨率。一種圖像恢復(fù)方法是使用在視頻處理中公知的隔行逐行轉(zhuǎn)換(IPC)。IPC表示將隔 行信號(hào)轉(zhuǎn)換為逐行信號(hào)。IPC通過使用兩個(gè)相鄰的行來執(zhí)行插值，以恢復(fù)所述相鄰的行之間 的缺失行。在示例性實(shí)施例中，為了恢復(fù)每個(gè)分離的圖像中的缺失行，通過使用與缺失行相 鄰的兩個(gè)行來執(zhí)行插值。當(dāng)通過插值恢復(fù)了缺失行時(shí)，每個(gè)恢復(fù)的圖像具有與第一圖像相 同的分辨率。例如，如果分離的圖像由具有LET的行構(gòu)成，則在第一圖像中具有SET的行是 缺失行，并且通過使用與每個(gè)缺失行相鄰的具有LET的兩行來執(zhí)行插值，從而恢復(fù)缺失行。 以相同的方式，當(dāng)分離的圖像由具有SET的行構(gòu)成時(shí)恢復(fù)缺失行。然而，當(dāng)不同的曝光時(shí)間 被應(yīng)用于不同的兩行單元時(shí)，連續(xù)的兩個(gè)行(而不是像IPC中的單個(gè)行)是缺失行。在這 種情況中，使用與IPC相似但不相同的算法。另一圖像恢復(fù)方法是使用分離的圖像中的基于兩個(gè)曝光時(shí)間的比率的增益系數(shù)。 當(dāng)以這種方式恢復(fù)分離的圖像時(shí)，可在傳感器線性地反應(yīng)的區(qū)域中準(zhǔn)確恢復(fù)缺失行。然而， 在傳感器非線性地反應(yīng)的區(qū)域中，基于曝光時(shí)間的比率獲得的增益系數(shù)會(huì)具有誤差。因此，另一圖像恢復(fù)方法是使用每個(gè)分離的圖像中的與缺失行相鄰的相鄰行的增 益系數(shù)。前述圖像恢復(fù)方法(IPC的使用，基于曝光時(shí)間的比率的增益系數(shù)的使用，以及相 鄰行的增益系數(shù)的使用)在分辨率和偽影方面具有優(yōu)點(diǎn)和缺點(diǎn)。因此，為了在最小化偽影 的同時(shí)優(yōu)化分辨率，圖像恢復(fù)單元130通過合適地使用圖像恢復(fù)方法的組合來恢復(fù)缺失 行。圖像合成單元140將具有相同分辨率的恢復(fù)的圖像合成為具有相同分辨率的第 二圖像。將兩個(gè)圖像合成為單個(gè)圖像的方法是公知的，因此將不在此詳細(xì)描述。雖然在圖1中沒有顯示，但是設(shè)備100還可包括圖像校正單元，用于通過包括白平 衡(WB)、色彩插值(Cl)和gamma校正的圖像信號(hào)處理來校正合成的第二圖像。圖像校正單元可通過圖像信號(hào)處理來校正恢復(fù)的圖像。在這種情況中，圖像合成單元140可通過合成 校正的圖像來產(chǎn)生第二圖像。圖5是示出示出根據(jù)示例性實(shí)施例的獲得HDR圖像的方法的流程圖。參照?qǐng)D5，在操作510，通過對(duì)不同的多個(gè)預(yù)定區(qū)域應(yīng)用不同的曝光時(shí)間來產(chǎn)生第 一圖像。通常，由圖像傳感器Iio產(chǎn)生第一圖像。圖像傳感器110由mXn個(gè)像素構(gòu)成，從 圖像傳感器110輸出的圖像數(shù)據(jù)同樣由mXn個(gè)圖像像素陣列構(gòu)成。對(duì)單個(gè)圖像應(yīng)用不同 的曝光時(shí)間的方法可通過電控制圖像傳感器110的數(shù)據(jù)捕捉時(shí)間來實(shí)現(xiàn)，或可通過物理地 控制在預(yù)定區(qū)域單元的相機(jī)的快門來實(shí)現(xiàn)。預(yù)定區(qū)域中的一個(gè)可優(yōu)選地由至少一行構(gòu)成。 因此，圖像傳感器110可通過對(duì)不同的兩行單元應(yīng)用不同的曝光時(shí)間來產(chǎn)生第一圖像。圖 像傳感器110可通過包括用于每個(gè)行的單獨(dú)的傳感器或快門來控制每個(gè)行的曝光時(shí)間。預(yù) 定區(qū)域可由至少兩個(gè)像素構(gòu)成。由于圖像傳感器110本身僅可記錄圖像的亮度或光的強(qiáng) 度，故圖像傳感器110需要濾色器。在圖像傳感器110的濾色器陣列(CFA)中，每個(gè)像素可 僅記錄紅、綠、藍(lán)中的一個(gè)。以被稱為Bayer模式的模式排列圖像傳感器110中的像素。在 Bayer模式中，一行設(shè)置有交替排列的紅像素和綠像素，下一行設(shè)置有交替排列的綠像素和 藍(lán)像素。在示例性實(shí)施例中，當(dāng)圖像傳感器110中的像素以Bayer模式排列時(shí)，不同的曝光 時(shí)間被應(yīng)用于不同的兩行單元。如果不同的曝光時(shí)間被應(yīng)用于不同的單個(gè)行，則由于一行 由紅像素和綠像素、或者綠像素和藍(lán)像素構(gòu)成(即，一行不包括全部紅像素、綠像素和藍(lán)像 素)，從而難以執(zhí)行色彩預(yù)測(cè)。結(jié)果，需要對(duì)兩行單元應(yīng)用不同的曝光時(shí)間，從而以Bayer模 式的包括全部紅像素、綠像素和藍(lán)像素的兩行可具有相同的曝光時(shí)間。在這種情況中，可獲 得具有寬動(dòng)態(tài)范圍的圖像。在示例性實(shí)施例中，在圖像傳感器110中使用Bayer模式，開始的兩行具有LET，下 一兩行具有SET。也就是說，LET和SET被交替應(yīng)用于每個(gè)兩行。當(dāng)圖像傳感器110中使用的濾色器陣列的模式是在單個(gè)行中排列全部紅像素、綠 像素和藍(lán)像素時(shí)，用于獲得HDR圖像的設(shè)備100對(duì)不同的行應(yīng)用不同的曝光時(shí)間。例如，設(shè) 備100對(duì)不同的行交替地應(yīng)用LET和SET。在操作520，將第一圖像分離為多個(gè)圖像，所述多個(gè)圖像的每一個(gè)由具有相同曝光 時(shí)間的多個(gè)區(qū)域構(gòu)成。例如，當(dāng)預(yù)定區(qū)域被定義為基于行時(shí)，更特別地，當(dāng)預(yù)定區(qū)域被定義 為每兩個(gè)行時(shí)，如果曝光量被控制為在兩行單元中交替的LET和SET，則將第一圖像分離為 由具有LET的行構(gòu)成的圖像和由具有SET的行構(gòu)成的圖像。在這種情況中，每個(gè)分離的圖 像的分辨率是第一圖像的分辨率的一半。在操作530，恢復(fù)分離的圖像，從而每個(gè)分離的圖像具有與第一圖像相同的分辨 率。例如，如果分離的圖像中的一個(gè)由具有LET的行構(gòu)成，則在第一圖像中具有SET的行是 缺失行，并且通過使用預(yù)定的方法來恢復(fù)缺失行。在這種情況中，每個(gè)恢復(fù)的圖像的分辨率 與第一圖像的分辨率相同。在操作M0，將具有相同分辨率的恢復(fù)的圖像合成為具有相同分辨率的單個(gè)第二 圖像。將兩個(gè)圖像合成為單個(gè)圖像的方法是公知的，因此將不在此詳細(xì)描述。圖6是示出示出根據(jù)另一示例性實(shí)施例的獲得HDR圖像的方法的流程圖。操作610和620與圖5的操作510和520相似。然而，預(yù)定區(qū)域被定義為基于行。 操作650與圖5的操作540相似，從而將不再描述。
操作630和640是圖5的操作530 (其中，恢復(fù)分離的圖像)的詳細(xì)操作。在操作630，通過使用與缺失行相鄰的相鄰行來在每個(gè)分離的圖像中執(zhí)行插值，從 而恢復(fù)缺失行。該方法使用在視頻處理中公知的IPC。IPC通過使用兩個(gè)相鄰的行來執(zhí)行插 值，以恢復(fù)所述兩個(gè)相鄰的行之間的缺失行。在示例性實(shí)施例中，為了恢復(fù)每個(gè)分離的圖像 中的缺失行，通過使用與缺失行相鄰的兩個(gè)行來執(zhí)行插值。當(dāng)通過插值恢復(fù)缺失行時(shí)，每個(gè) 恢復(fù)的圖像具有與第一圖像相同的分辨率。例如，如果分離的圖像由具有LET的行構(gòu)成，則 在第一圖像中具有SET的行是缺失行，并且通過使用與每個(gè)缺失行相鄰的具有LET的兩行 來執(zhí)行插值，從而恢復(fù)缺失行。以相同的方式，當(dāng)分離的圖像由具有SET的行構(gòu)成時(shí)恢復(fù)缺 失行。然而，當(dāng)不同的曝光時(shí)間被應(yīng)用于不同的兩行單元時(shí)，連續(xù)的兩個(gè)行(而不是像IPC 中的單個(gè)行)是缺失行。在這種情況中，使用與IPC相似但不相同的算法。在操作640，通過使用基于兩個(gè)曝光時(shí)間的比率的增益系數(shù)來在每個(gè)分離的圖像 中恢復(fù)缺失行。當(dāng)分離的圖像被以這種方式恢復(fù)時(shí)，可在傳感器線性反應(yīng)的區(qū)域中準(zhǔn)確恢 復(fù)缺失行。然而，在傳感器非線性地反應(yīng)的區(qū)域中，基于曝光時(shí)間的比率獲得的增益系數(shù)會(huì) 具有誤差。在操作650，通過使用與缺失行相鄰的相鄰行的增益系數(shù)來在每個(gè)分離的圖像中 恢復(fù)缺失行。操作630到650在分辨率和偽影方面具有優(yōu)點(diǎn)和缺點(diǎn)。因此，為了在最小化偽影 的同時(shí)優(yōu)化分辨率，可單獨(dú)執(zhí)行操作630到650，或可執(zhí)行操作630到650的組合。在操作660，將恢復(fù)的圖像合成為單個(gè)第二圖像。在操作670，通過包括白平衡(WB)、色彩插值(Cl)和gamma校正中的至少一個(gè)的 圖像信號(hào)處理來校正合成的第二圖像。圖7是示出示出根據(jù)另一示例性實(shí)施例的獲得HDR圖像的方法的流程圖。操作710、720、730、740 和 750 與圖 6 的操作 610、620、630、640 和 650 相似，從而
將不再描述。在與圖6的操作660不同的操作760，通過圖像信號(hào)處理校正通過操作730、740和 750恢復(fù)的圖像。隨后，在操作770，將校正的圖像合成為單個(gè)第二圖像。根據(jù)本發(fā)明的用于獲得HDR圖像的設(shè)備可被實(shí)施為計(jì)算機(jī)可讀記錄介質(zhì)上的計(jì) 算機(jī)可讀代碼。計(jì)算機(jī)可讀記錄介質(zhì)是可存儲(chǔ)其后可被計(jì)算機(jī)系統(tǒng)讀取的數(shù)據(jù)的任何數(shù) 據(jù)存儲(chǔ)裝置。計(jì)算機(jī)可讀記錄介質(zhì)的示例包括只讀存儲(chǔ)器(ROM)、隨機(jī)存取存儲(chǔ)器(RAM)、 CD-RAM、磁帶、軟盤、光數(shù)據(jù)存儲(chǔ)裝置。計(jì)算機(jī)可讀記錄介質(zhì)還可分布于聯(lián)網(wǎng)的計(jì)算機(jī)系統(tǒng)， 從而以分布式方式存儲(chǔ)和執(zhí)行計(jì)算機(jī)可讀代碼。另外，用于實(shí)現(xiàn)信號(hào)處理方法的功能程序、 代碼和代碼段可被本領(lǐng)域的編程技術(shù)人員容易地構(gòu)造。雖然已經(jīng)參照示例性實(shí)施例詳細(xì)示出和描述了本發(fā)明，但是本領(lǐng)域的普通技術(shù)人 員應(yīng)該理解，在不脫離由權(quán)利要求限定的本發(fā)明的精神和范圍的情況下可作出形式和細(xì)節(jié) 上的各種改變。因此，公開的實(shí)施例應(yīng)被理解為是示意性的目的，而不是限制的目的。本發(fā) 明的范圍不是由本發(fā)明的詳細(xì)描述限定，而是由權(quán)利要求所限定，落入所述范圍內(nèi)的所有 區(qū)別將被認(rèn)為包括在本發(fā)明中。
權(quán)利要求
1.一種用于獲得高動(dòng)態(tài)范圍HDR圖像的設(shè)備，所述設(shè)備包括圖像傳感器，通過對(duì)不同的多個(gè)預(yù)定區(qū)域應(yīng)用不同的曝光時(shí)間來產(chǎn)生第一圖像；圖像分離單元，將第一圖像分離為多個(gè)圖像，所述多個(gè)圖像的每一個(gè)由具有相同曝光 時(shí)間的多個(gè)區(qū)域構(gòu)成；圖像恢復(fù)單元，以這種方式恢復(fù)分離的圖像使每個(gè)分離的圖像具有與第一圖像相同 的分辨率；和圖像合成單元，將恢復(fù)的圖像合成為第二圖像。
2.如權(quán)利要求1所述的設(shè)備，其中，所述多個(gè)預(yù)定區(qū)域的每一個(gè)是相應(yīng)的單行。
3.如權(quán)利要求1所述的設(shè)備，其中，所述多個(gè)預(yù)定區(qū)域的每一個(gè)是相應(yīng)的兩行。
4.如權(quán)利要求1所述的設(shè)備，其中，所述多個(gè)預(yù)定區(qū)域的每一個(gè)是相應(yīng)的多個(gè)像素。
5.如權(quán)利要求2所述的設(shè)備，其中，圖像傳感器被提供用于所述多個(gè)預(yù)定區(qū)域的多個(gè)行。
6.如權(quán)利要求2所述的設(shè)備，還包括快門，用于控制曝光，所述快門被提供用于所述多 個(gè)預(yù)定區(qū)域的多個(gè)行。
7.如權(quán)利要求3所述的設(shè)備，其中，圖像傳感器中的像素被以Bayer模式排列，其中，紅 像素和綠像素交替排列在第一行中，藍(lán)像素和綠像素交替排列在第一行隨后的第二行中。
8.如權(quán)利要求2所述的設(shè)備，其中，圖像傳感器中的像素被以如下模式排列，紅像素、 綠像素和藍(lán)像素交替排列在多個(gè)行中的一行中，圖像傳感器通過以行為單位應(yīng)用不同的曝 光時(shí)間來產(chǎn)生第一圖像。
9.如權(quán)利要求2所述的設(shè)備，其中，圖像恢復(fù)單元通過使用與缺失行相鄰的相鄰行來 在每個(gè)分離的圖像中執(zhí)行插值，以恢復(fù)缺失行。
10.如權(quán)利要求2所述的設(shè)備，其中，圖像恢復(fù)單元使用基于曝光時(shí)間的比率的增益系 數(shù)，以在每個(gè)分離的圖像中恢復(fù)缺失行。
11.如權(quán)利要求2所述的設(shè)備，其中，圖像恢復(fù)單元使用與缺失行相鄰的相鄰行的增益 系數(shù)，以在每個(gè)分離的圖像中恢復(fù)缺失行。
12.如權(quán)利要求2所述的設(shè)備，其中，圖像恢復(fù)單元使用以下至少兩個(gè)來進(jìn)行恢復(fù)每 個(gè)分離的圖像中的與缺失行相鄰的相鄰行的增益系數(shù)、每個(gè)分離的圖像中的基于曝光時(shí)間 的比率的增益系數(shù)以及每個(gè)分離的圖像中的使用與缺失行相鄰的相鄰行進(jìn)行的插值。
13.如權(quán)利要求1所述的設(shè)備，還包括圖像校正單元，通過白平衡WB、色彩插值CI和 gamma校正中的至少一個(gè)圖像信號(hào)處理來校正第二圖像。
14.如權(quán)利要求1所述的設(shè)備，還包括圖像校正單元，通過白平衡WB、色彩插值CI和 gamma校正中的至少一個(gè)圖像信號(hào)處理來校正恢復(fù)的圖像，其中，圖像合成單元將校正的圖 像合成為第二圖像。
15.一種用于獲得高動(dòng)態(tài)范圍HDR圖像的方法，所述方法包括通過對(duì)不同的多個(gè)預(yù)定區(qū)域應(yīng)用不同的曝光時(shí)間來產(chǎn)生第一圖像；將第一圖像分離為多個(gè)圖像，所述多個(gè)圖像的每一個(gè)由具有相同曝光時(shí)間的多個(gè)區(qū)域 構(gòu)成；以這種方式恢復(fù)分離的圖像使每個(gè)分離的圖像具有與第一圖像相同的分辨率；以及將恢復(fù)的圖像合成為第二圖像。
16.一種用于獲得高動(dòng)態(tài)范圍HDR圖像的方法，所述方法包括 通過使用第一曝光時(shí)間和第二曝光時(shí)間來捕捉第一圖像；將第一圖像分離為使用第一曝光時(shí)間捕捉的第一部分和使用第二曝光時(shí)間捕捉的第 二部分；按比例放大第一部分和第二部分，從而按比例放大的第一部分的分辨率、按比例放大 的第二部分的分辨率以及第一圖像的分辨率均相同；以及 將恢復(fù)的兩個(gè)圖像合成為第二圖像。
17.如權(quán)利要求16所述的方法，其中，所述捕捉的步驟包括 將傳感器的捕捉區(qū)劃分為多個(gè)區(qū)域；將第一曝光時(shí)間應(yīng)用于所述多個(gè)區(qū)域的第一組；以及 將第二曝光時(shí)間應(yīng)用于所述多個(gè)區(qū)域的第二組。
18.如權(quán)利要求17所述的方法，其中，通過控制快門或通過控制圖像捕捉時(shí)間來應(yīng)用 第一曝光時(shí)間和第二曝光時(shí)間。
全文摘要
提供了一種用于獲得高動(dòng)態(tài)范圍(HDR)圖像的設(shè)備和方法。所述設(shè)備包括圖像傳感器，通過對(duì)不同的多個(gè)預(yù)定區(qū)域應(yīng)用不同的曝光時(shí)間來產(chǎn)生第一圖像；圖像分離單元，將第一圖像分離為多個(gè)圖像，所述多個(gè)圖像的每一個(gè)由具有相同曝光時(shí)間的多個(gè)區(qū)域構(gòu)成；圖像恢復(fù)單元，以這種方式恢復(fù)分離的圖像使每個(gè)分離的圖像具有與第一圖像相同的分辨率；圖像合成單元，將恢復(fù)的圖像合成為第二圖像。
文檔編號(hào)G06T5/50GK102122388SQ20111000991
公開日2011年7月13日 申請(qǐng)日期2011年1月11日 優(yōu)先權(quán)日2010年1月11日
發(fā)明者崔良林, 李勇周, 洪賢石, 趙昇紀(jì), 韓熙喆 申請(qǐng)人:三星電子株式會(huì)社