專利名稱：成像裝置、用于控制成像裝置的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及諸如數(shù)碼照相機(jī)這樣的成像裝置、用于控制成像裝置的方法以及程序 產(chǎn)品，并且特別地涉及成像裝置、用于控制成像裝置的方法以及能夠執(zhí)行自動(dòng)曝光控制的 程序產(chǎn)品。
背景技術(shù)：
通常，當(dāng)執(zhí)行CXD (電荷耦合器件)或者CMOS (互補(bǔ)型金屬氧化物半導(dǎo)體)的曝光 控制時(shí)，必須控制設(shè)置中的“曝光時(shí)間(快門速度)”和“增益”(例如，日本未經(jīng)審查的專 利申請(qǐng)公開(kāi)No. 2000-78461)。重要的是，相對(duì)于一個(gè)圖像數(shù)據(jù)，通過(guò)不同的時(shí)序來(lái)控制這兩 個(gè)控制信息。在普通曝光控制中，要求首先確定并且設(shè)置“曝光時(shí)間”。然后執(zhí)行包括第一 階段處理和第二階段處理的兩個(gè)分離的處理。在第一階段處理中，光接收元件根據(jù)被確定 的曝光時(shí)間響應(yīng)于入射光存儲(chǔ)電荷并且輸出積累的電荷(亮度)。在第二階段處理中，通 過(guò)補(bǔ)償不足的增益(增感sensitizing)(后處理)控制曝光以獲得相對(duì)于此輸出的適當(dāng) 曝光。即，通過(guò)“入射光X曝光時(shí)間X增益”獲得適當(dāng)?shù)钠毓?。為了在?shù)碼照相機(jī)中實(shí)現(xiàn) 此，必要的是，“設(shè)置曝光時(shí)間”、“曝光(光積累)”、以及“增益(增感sensitizing) ”的三 個(gè)步驟被連續(xù)地執(zhí)行。相對(duì)于一個(gè)圖像數(shù)據(jù)，這些處理不能同時(shí)地進(jìn)行。因此，當(dāng)事先不存在外部(入射光)的信息時(shí)，例如，當(dāng)照相機(jī)被啟動(dòng)或者場(chǎng)景被 很大地改變時(shí)，根據(jù)外部的情況，必須進(jìn)行下述處理以設(shè)置適當(dāng)?shù)钠毓庵怠Ｊ紫?，適當(dāng)?shù)摹捌?光時(shí)間”和“增益”被設(shè)置，所獲得的圖像數(shù)據(jù)(圖像的亮度=入射光X曝光時(shí)間X增益) 被評(píng)估，并且被評(píng)估的結(jié)果被反饋到下一曝光時(shí)間和增益。在沒(méi)有執(zhí)行這些處理的情況下 不能夠獲得適當(dāng)?shù)钠毓狻榱藞?zhí)行這些處理，必須評(píng)估通過(guò)第一階段獲得的全面圖像(整 個(gè)圖像)。一旦圖像數(shù)據(jù)被記錄，并且在完成評(píng)估之后，需要對(duì)整個(gè)圖像再次執(zhí)行增益處理。 這導(dǎo)致增加電路尺寸并且延遲處理時(shí)間并且存在耗費(fèi)長(zhǎng)時(shí)間穩(wěn)定照相機(jī)的控制曝光的問(wèn) 題。順便提及，在日本未經(jīng)審查的專利申請(qǐng)公開(kāi)No. 2006-154642中，在啟動(dòng)時(shí)通過(guò)被 動(dòng)型AF(被動(dòng)型自動(dòng)對(duì)焦)的補(bǔ)光基于反饋執(zhí)行曝光控制。然而，不能夠應(yīng)用沒(méi)有將特殊 裝置安裝在照相機(jī)的側(cè)面中的照相機(jī)，該特殊裝置通過(guò)諸如被動(dòng)型AF的泛光和光接收能 夠測(cè)量亮度。盡管一些昂貴的數(shù)碼照相機(jī)可以安裝該裝置，但是由于諸如價(jià)格、尺寸、以及 電源之類的問(wèn)題，經(jīng)常很難將該裝置安裝在用于移動(dòng)電話等等的系統(tǒng)中。

發(fā)明內(nèi)容
至于曝光的設(shè)置，下述技術(shù)是眾所周知的。在日本未經(jīng)審查的專利申請(qǐng)公開(kāi)No. 2004-363658中，就在電源激活之后在第一次通過(guò)長(zhǎng)時(shí)間快門并且在第二次通過(guò)短時(shí)間 快門控制成像裝置的曝光時(shí)間。然后通過(guò)亮度平均值計(jì)算裝置來(lái)計(jì)算在每一快門操作時(shí)的 亮度平均值?；谟?jì)算的值，成像元件驅(qū)動(dòng)裝置控制快門時(shí)間控制信號(hào)使得變成是通過(guò)亮 度平均值計(jì)算裝置的曝光控制的收斂目標(biāo)的亮度平均值，并且控制成像裝置的快門時(shí)間。 通過(guò)此，即使成像裝置的輸出被飽和，因?yàn)閺牡谌扉T時(shí)間執(zhí)行適當(dāng)?shù)钠毓饪刂?，所以能?縮短被要求進(jìn)行曝光控制的時(shí)間。然而，無(wú)論曝光時(shí)間被如何更改，不可避免的是，取決于環(huán)境，整個(gè)圖像可能是“白 屏(white-out)”或者“黑屏(black-out)”。如果出現(xiàn)這些情況，也不能夠評(píng)估白平衡，以 及不能估計(jì)正確的曝光時(shí)間。此外，由于必須等待從接下來(lái)的數(shù)個(gè)幀開(kāi)始的反饋，所以存在 曝光的穩(wěn)定性和白平衡變得延遲的問(wèn)題。不僅專利文獻(xiàn)3而且涉及曝光控制的大多數(shù)專利文獻(xiàn)都沒(méi)有考慮控制對(duì)象(傳感 器)的控制時(shí)序。本發(fā)明的第一示例性方面是成像裝置，該成像裝置包括成像元件，該成像元件獲 得圖像；和成像傳感器處理單元，該成像傳感器處理單元基于通過(guò)成像元件獲得的圖像數(shù) 據(jù)通過(guò)反饋控制重置成像元件的曝光。成像傳感器處理單元通過(guò)流水線處理連續(xù)地執(zhí)行下 述處理在緊隨成像裝置的啟動(dòng)之后的第一幀中設(shè)置成像元件的曝光時(shí)間；在第二幀中通 過(guò)在前一幀設(shè)置的曝光時(shí)間使成像元件積累光；以及在第三幀中通過(guò)應(yīng)用在第二幀設(shè)置的 增益而輸出圖像數(shù)據(jù)。本發(fā)明的第二示例性方面是用于控制成像裝置的方法，該成像裝置基于通過(guò)成像 元件獲得的圖像數(shù)據(jù)通過(guò)反饋控制重置成像元件的曝光。該方法包括在反饋控制之前通 過(guò)流水線處理連續(xù)地執(zhí)行下述處理在緊隨成像裝置的啟動(dòng)之后的第一幀中設(shè)置成像元件 的曝光時(shí)間；在第二幀中通過(guò)在前一幀設(shè)置的曝光時(shí)間使成像元件積累光；以及在第三幀 中通過(guò)應(yīng)用在第二幀設(shè)置的增益而輸出圖像數(shù)據(jù)；和順序地評(píng)估在第三幀和后續(xù)幀中連續(xù) 地獲得的圖像數(shù)據(jù)，基于評(píng)估結(jié)果而確定最佳曝光，以及將最佳曝光設(shè)置給成像元件。根據(jù)本發(fā)明，成像裝置通過(guò)流水線處理連續(xù)地執(zhí)行下述處理在緊隨成像裝置的 啟動(dòng)之后的第一幀中設(shè)置成像元件的曝光時(shí)間；在第二幀中通過(guò)在前一幀設(shè)置的曝光時(shí)間 使成像元件積累光；以及在第三幀中通過(guò)應(yīng)用在第二幀設(shè)置的增益而輸出圖像數(shù)據(jù)。通過(guò) 此，在沒(méi)有等待反饋控制的情況下成像裝置連續(xù)地獲得圖像數(shù)據(jù)。然后，通過(guò)使用連續(xù)地獲 得的多個(gè)圖像數(shù)據(jù)執(zhí)行曝光控制，根據(jù)初始值能夠較快地穩(wěn)定曝光控制。根據(jù)本發(fā)明，可以提供成像裝置和成像裝置的控制方法，其能夠提高諸如數(shù)碼照 相機(jī)這樣的成像裝置的曝光控制的穩(wěn)定性性能。


結(jié)合附圖，根據(jù)某些示例性實(shí)施例的以下描述，以上和其它示例性方面、優(yōu)點(diǎn)和特 征將更加明顯，其中圖1是示出根據(jù)本發(fā)明的第一示例性實(shí)施例的成像裝置的視圖；圖2是示出要基于所獲得的圖像執(zhí)行曝光和白平衡控制的典型方法的流程圖；圖3A是示出用于曝光設(shè)置的方法的視圖；圖;3B是示出整個(gè)圖像的亮度平均值的視圖3C是解釋動(dòng)態(tài)范圍的視圖；圖3D是示出各個(gè)塊的R、G、B的平均值的視圖；圖4A是解釋最佳曝光鄰域的視圖；圖4B是解釋本發(fā)明的第一示例性實(shí)施例的初始值的視圖；圖5A是解釋根據(jù)現(xiàn)有技術(shù)的曝光設(shè)置時(shí)序的視圖；圖5B是解釋本發(fā)明的第一示例性實(shí)施例的曝光設(shè)置時(shí)序的視圖；圖6是示出本發(fā)明的第一示例性實(shí)施例的效果的視圖；圖7是解釋本發(fā)明的第二示例性實(shí)施例的曝光的初始值的視圖；圖8是示出本發(fā)明的第二示例性實(shí)施例的效果的視圖；以及圖9是解釋通過(guò)用于本發(fā)明的第二示例性實(shí)施例的曝光的初始值的順序的差而 引起的效果的視圖。
具體實(shí)施例方式在下文中，將會(huì)參考附圖詳細(xì)地描述本發(fā)明的具體實(shí)施例。本示例性實(shí)施例將本 發(fā)明應(yīng)用于包括諸如CCD或者CMOS這樣的成像裝置的數(shù)碼照相機(jī)。第一示例性實(shí)施例圖1是示出第一示例性實(shí)施例的成像裝置的視圖。成像裝置100包括成像傳感器 單元10、成像傳感器處理單元20 (在下文中被稱為“ ISP”(圖像傳感器處理器))、以及圖像 輸出單元30。成像傳感器單元10包括CXD或者CMOS等等，并且進(jìn)一步包括成像元件11，該成 像元件11獲得圖像；和模擬數(shù)字轉(zhuǎn)換器(A/D單元)12，該模擬數(shù)字轉(zhuǎn)換器(A/D單元)12將 通過(guò)成像元件11獲得的圖像從模擬信號(hào)轉(zhuǎn)換為數(shù)字信號(hào)。ISP 20包括圖像評(píng)估單元21、 圖像存儲(chǔ)單元22、圖像處理單元23、CPU 24、以及控制信息存儲(chǔ)單元25，并且CPU 24包括 最佳曝光鄰域確定單元沈、曝光控制單元27、以及白平衡控制單元(WB控制單元)28。圖像評(píng)估單元21計(jì)算通過(guò)成像元件1獲得的圖像數(shù)據(jù)的亮度值。CPU 24基于圖 像評(píng)估單元21的計(jì)算結(jié)果而計(jì)算最佳曝光值(光圈值(F數(shù))和快門速度(曝光時(shí)間)) 和增益并且將它們?cè)O(shè)置到成像元件11和A/D單元12中。成像元件11通過(guò)設(shè)置的曝光時(shí) 間獲得圖像。A/D單元12通過(guò)設(shè)置的增益放大通過(guò)成像元件11獲得的圖像數(shù)據(jù)。亮度值通過(guò)圖像評(píng)估單元21計(jì)算的圖像數(shù)據(jù)被暫時(shí)地存儲(chǔ)在圖像存儲(chǔ)單元22 中，并且被輸出到圖像處理單元23。圖像處理單元23接收來(lái)自于CPU M的最佳的白平衡， 并且處理圖像數(shù)據(jù)以實(shí)現(xiàn)白平衡，然后圖像數(shù)據(jù)被輸出到圖像輸出單元30中。在這里，本示例性實(shí)施例的成像裝置100具有下述特征，在沒(méi)有反饋控制的情況 下通過(guò)流水線處理，成像裝置100連續(xù)地執(zhí)行下述處理在成像裝置的啟動(dòng)之后就在第一 幀中設(shè)置成像元件的曝光時(shí)間、在第二幀中通過(guò)設(shè)置的曝光時(shí)間拍攝圖像、以及在第三幀 中將通過(guò)第二幀設(shè)置的增益應(yīng)用于拍攝的圖像。根據(jù)本示例性實(shí)施例，連續(xù)地在三幀中執(zhí) 行流水線處理。即，在第一至第三幀中，設(shè)置不同的曝光值和增益；在第二至第四幀中，通過(guò) 各個(gè)曝光時(shí)間獲得圖像；在第三至第五幀中，獲得圖像數(shù)據(jù)。圖像評(píng)估單元21計(jì)算在第三 至第五幀中獲得的圖像數(shù)據(jù)的評(píng)估值，并且曝光控制單元27基于在第三至第五幀中獲得 的圖像數(shù)據(jù)的評(píng)估結(jié)果而確定最佳的曝光并且將最佳的曝光設(shè)置給成像元件11。6
因此，控制信息存儲(chǔ)單元25具有用于在啟動(dòng)之后的第一至第三幀中設(shè)置的曝光 的曝光控制信息(用于曝光的初始值)。此外，控制信息存儲(chǔ)單元25具有曝光和WB控制信 息，諸如在下一幀中設(shè)置的曝光控制設(shè)置和WB設(shè)置所需的信息(在當(dāng)不能夠獲得適當(dāng)?shù)钠?光時(shí)的WB設(shè)置值)。這樣，通過(guò)將三個(gè)初始值用于就在啟動(dòng)之后的曝光而獲得圖像，并且根據(jù)此結(jié)果 計(jì)算最佳的曝光值，能夠以比傳統(tǒng)的技術(shù)快的速度穩(wěn)定曝光控制。首先，將會(huì)簡(jiǎn)要地解釋曝光控制和白平衡控制。注意，如稍后將會(huì)討論，由于本示 例性實(shí)施例特征在于在啟動(dòng)之后就獲得圖像并且確定曝光值和白平衡的時(shí)序，所以，根據(jù) 所獲得的圖像而確定曝光值和白平衡的方法不限于下面解釋的方法。圖2是示出基于所獲得的圖像而執(zhí)行曝光和白平衡控制的典型方法的流程圖。圖 3A至圖3D是解釋圖像評(píng)估單元21的曝光和白平衡控制操作的視圖，并且圖3A是解釋時(shí)序 的視圖。在這里，將會(huì)解釋ISP 20的處理，特別是CPU M和圖像處理單元23的處理。首先，將會(huì)解釋曝光控制。曝光值和增益通過(guò)曝光控制單元27分別被設(shè)置到成像 傳感器單元10的成像元件11和A/D單元12中(步驟Si)。如圖3中所示，例如，在第一幀 中執(zhí)行此操作。在下一幀(在本示例中，第二幀)中，通過(guò)成像元件11執(zhí)行曝光。在此時(shí) 期，曝光控制單元27執(zhí)行到A/D單元12中的光敏設(shè)置(增益設(shè)置)(步驟S2)。而且，在此 時(shí)期，ISP 20的其它塊等待直到下一幀。接下來(lái)，在第三幀中獲得在第一幀中設(shè)置曝光之后的圖像數(shù)據(jù)(步驟S3)。通過(guò)A/ D單元12放大所獲得的圖像數(shù)據(jù)并且將其輸入到圖像評(píng)估單元21。接下來(lái)，圖像評(píng)估單元 21計(jì)算圖像數(shù)據(jù)的亮度的平均值(步驟S4)。例如，如圖3D中所示，一個(gè)圖像數(shù)據(jù)被劃分 為16X16個(gè)塊。然后，計(jì)算各個(gè)塊的亮度值的平均值(亮度平均值)。RGB或者YUV格式 的亮度能夠用于計(jì)算亮度值。首先，在計(jì)算各個(gè)塊的亮度平均值之后，根據(jù)需要執(zhí)行加權(quán)， 其中，與外邊緣部分的相比較，擴(kuò)大塊的中心部分的權(quán)數(shù)。最后，根據(jù)如圖3B中所示的各個(gè) 塊的亮度值計(jì)算整個(gè)圖像的亮度的平均值Y。接下來(lái)，如圖3C中所示，在成像元件11的動(dòng)態(tài)范圍中，最佳曝光鄰域確定單元沈 確定整個(gè)圖像的亮度的平均值Y遠(yuǎn)離曝光目標(biāo)值X多遠(yuǎn)(步驟S5)。如果曝光目標(biāo)值X和亮度平均值Y之間的差等于或者大于預(yù)定的值，那么執(zhí)行曝 光的校正。因此，曝光控制單元27計(jì)算曝光設(shè)置E’和光敏設(shè)置G’使得亮度平均值Y是曝 光目標(biāo)值X(步驟S6)。注意，如果差小，那么曝光值被設(shè)想為是適當(dāng)?shù)?，并且步驟S6被跳 過(guò)。例如，使用當(dāng)前曝光設(shè)置E和靈敏設(shè)置G來(lái)計(jì)算曝光的校正。(E' -G' ) = (E-G) XX/Y注意，盡管存在許多滿足上面的表達(dá)式的E’和G’，但是ISP 20確定怎樣根據(jù)場(chǎng)景 等分布E’和G’。如果滿足上面的表達(dá)式，那么所獲得的圖像的亮度(曝光)是相同的。在 第三幀中執(zhí)行步驟S4至S6的處理。在此校正中，當(dāng)所獲得的亮度平均值Y是目標(biāo)值X的 值的兩倍時(shí)，執(zhí)行反饋控制，例如曝光時(shí)間被減半。最佳曝光鄰域確定單元沈評(píng)估亮度平均值Y (步驟S7)。即，最佳曝光鄰域確定單 元沈確定此亮度值的亮度平均值Y是否被包括在動(dòng)態(tài)范圍中的諸如至80%的預(yù)定的 范圍內(nèi)。在這里，如果亮度平均值Y是處于預(yù)定的范圍內(nèi)，那么最佳曝光鄰域確定單元沈確 定能夠執(zhí)行白平衡控制，然后移向白平衡控制。在這里，如果差超出預(yù)定的范圍，那么不執(zhí)行白平衡控制，并且再次執(zhí)行從其中曝光和增益被設(shè)置到成像傳感器單元10中的步驟Sl 開(kāi)始的處理。接下來(lái)，將會(huì)解釋白平衡控制。首先，WB控制單元觀獲得白平衡控制的評(píng)估信息 (步驟S8)。具體地，例如，圖像評(píng)估單元21將圖像數(shù)據(jù)劃分為16X16個(gè)塊，計(jì)算用于各個(gè) 塊的R、G、以及B的平均值，并且將它們輸出到WB控制單元觀。WB控制單元觀計(jì)算被乘 以R、G、以及B的各個(gè)值的增益以校正色調(diào)(步驟S9)。注意，因?yàn)榇嬖诟鞣N各樣的此增益 的計(jì)算方法，各種各樣的技術(shù)是眾所周知的，并且這不是本發(fā)明的特征，所以詳細(xì)的計(jì)算方 法被省略。WB控制單元觀將所獲得的R增益、G增益、以及B增益輸出到圖像處理單元23， 并且圖像處理單元23校正圖像數(shù)據(jù)的色調(diào)。最后，從圖像輸出單元30輸出校正數(shù)據(jù)(步 驟 S10)。接下來(lái)，將會(huì)解釋通過(guò)曝光控制單元27設(shè)置的曝光的初始值。如上所述，在本示 例性實(shí)施例中，用于曝光的三個(gè)初始值被存儲(chǔ)在控制信息存儲(chǔ)單元25中，并且在第一至第 三幀中這些值被連續(xù)地設(shè)置。圖4A和圖4B是解釋初始值的視圖。如圖4A中所示，例如， 如果照相機(jī)的動(dòng)態(tài)范圍被設(shè)想為0%至100%，那么最佳的曝光鄰域被設(shè)想為至80%。 最佳的曝光鄰域是能夠執(zhí)行正確的曝光和白平衡控制的范圍。自然地曝光控制目標(biāo)值X是 處于此范圍。如果值超出此范圍，即，如果亮度范圍Y變得小于動(dòng)態(tài)范圍的1%，那么出現(xiàn)黑 屏并且最佳曝光鄰域確定單元沈不能評(píng)估亮度平均值Y。如果亮度范圍Y變得大于動(dòng)態(tài)范 圍的80%，那么出現(xiàn)白屏并且評(píng)估變得不可能。在這里，最佳的曝光鄰域范圍被稱為防備范 圍。例如，在一般數(shù)碼照相機(jī)中，此防備范圍大約是6EV(曝光值)的大小。因此，如果 曝光被設(shè)置使得這些防備范圍沒(méi)有相互重疊，那么通過(guò)三個(gè)初始值能夠覆蓋18EV的亮度。 即，通過(guò)將每三個(gè)幀的曝光設(shè)置為防備范圍沒(méi)有重疊的范圍內(nèi)的初始值時(shí)，能夠響應(yīng)18EV 的范圍的亮度。然后，在照相機(jī)的啟動(dòng)之后，通過(guò)依靠使用這些初始值來(lái)獲得圖像而能夠執(zhí) 行白平衡控制和18EV亮度的曝光。注意，在一個(gè)幀是6EV并且三個(gè)幀是18EV的情況下，例 如，各個(gè)防備范圍的一部分能夠被重疊。即，通過(guò)重疊利用各個(gè)曝光獲得的圖像中的動(dòng)態(tài)范 圍的一部分，能夠覆蓋預(yù)定的亮度范圍。圖5B是示出本示例性實(shí)施例的曝光設(shè)置時(shí)序的視圖。圖5A是示出傳統(tǒng)時(shí)序的視 圖。在傳統(tǒng)的技術(shù)中，如果在第一幀處設(shè)置(傳感器設(shè)置)曝光A，那么能夠在第三幀中獲 得圖像。然后，基于在第三幀處獲得的圖像數(shù)據(jù)，執(zhí)行反饋控制。在這樣的情況下，在第四 幀處執(zhí)行用于反饋控制的計(jì)算，并且從第五幀實(shí)際地反映反饋。即，第二和第三幀期間的時(shí) 段是圖像數(shù)據(jù)的獲取的等待時(shí)間，并且是浪費(fèi)時(shí)間。另一方面，如圖5B中所示，在本示例性實(shí)施例中，曝光A、曝光B、以及曝光C分別 被設(shè)置在第一幀、第二幀、以及第三幀處。如上所述，這些值是用于曝光的初始值，所述初始 值被設(shè)置使得不相互重疊防備范圍。在第三至第五幀中能夠獲得關(guān)于三個(gè)幀的圖像。如上 所述，關(guān)于三個(gè)幀的圖像能夠響應(yīng)于具有18EV的寬范圍的亮度的情況，并且在大多數(shù)情況 下，它們適當(dāng)?shù)钠毓獗话ㄔ诖?8EV中。因此，最遲，在第七幀或者后續(xù)的幀中能夠穩(wěn)定曝 光。此外，如果如在傳統(tǒng)的技術(shù)中一樣，初始值是一個(gè)，則當(dāng)曝光A超出適當(dāng)?shù)钠毓忄?域時(shí)，在第六幀處獲得曝光D的下一個(gè)圖像，那么曝光穩(wěn)定控制變得比本示例性實(shí)施例更加延遲。此外，被設(shè)置在第四至第六幀處的曝光D、E、以及F是通過(guò)曝光A、B、以及C獲得的 圖像數(shù)據(jù)的反饋結(jié)果。另一方面，在傳統(tǒng)的技術(shù)中，被設(shè)置在第四至第六幀處的曝光B、C、 以及D都僅能夠根據(jù)從曝光A獲得的圖像數(shù)據(jù)執(zhí)行反饋控制。而且根據(jù)這一點(diǎn)，本示例性 實(shí)施例的用于曝光控制的方法能夠較快地穩(wěn)定曝光，從而獲得更加正確的曝光值。圖6是示出本示例性實(shí)施例的效果的視圖。為了進(jìn)行比較，還示出使用傳統(tǒng)的技 術(shù)的情況(在下文中被稱為“比較示例”)。如圖6中所示，在比較示例中，如果曝光A被設(shè) 置在第一幀處，并且曝光A是處于適當(dāng)?shù)钠毓忄徲騼?nèi)，則將會(huì)穩(wěn)定第五幀和后續(xù)幀中的輸 出。這被設(shè)想為最佳的情況。注意，在這里，盡管要求一個(gè)幀的時(shí)間用于白平衡控制，但是 取決于用于控制白平衡的方法，此時(shí)間可能是不同的。在與此最佳情況的比較中，在最壞的 情況下，即，如果在曝光A中出現(xiàn)白屏和黑屏，在第四幀中設(shè)置的曝光B不是處于適當(dāng)?shù)钠?光鄰域中，并且通過(guò)在第七幀中設(shè)置的曝光C獲得穩(wěn)定的圖像，那么在第十一幀或者后續(xù) 幀中獲得的穩(wěn)定的輸出。這被設(shè)想為最壞的情況。相反地，在本示例性實(shí)施例中，在最好的情況下，像比較示例一樣，在第五幀中能 夠獲得穩(wěn)定的輸出。另一方面，在最壞的情況下，因?yàn)樵诘谖鍘心軌颢@得曝光C的圖像， 所以能夠在第七幀或者后續(xù)幀中獲得穩(wěn)定的輸出。注意，如果曝光A是處于適當(dāng)?shù)钠毓忄?域，那么其它的曝光B和C的圖像數(shù)據(jù)可以被丟棄。在這里，一個(gè)幀的長(zhǎng)度大約是33. 3ms 至1/如。因此，在最壞的情況下，本示例性實(shí)施例能夠快四個(gè)幀穩(wěn)定曝光(133ms至Is)。如上，在本示例性實(shí)施例中，在成像裝置的啟動(dòng)之后在沒(méi)有等待反饋控制的情況 下連續(xù)地設(shè)置用于曝光設(shè)置的多個(gè)初始值，并且并行地執(zhí)行從曝光設(shè)置到圖像獲取的處 理。因此在沒(méi)有等待反饋的情況下能夠以較快的速度獲得與外界相應(yīng)的曝光的最佳方案。 這能夠使得在成像裝置100啟動(dòng)時(shí)的曝光控制以較快的速度而穩(wěn)定。通過(guò)借此縮短穩(wěn)定曝 光的啟動(dòng)時(shí)間，能夠提高可用性。在諸如數(shù)碼照相機(jī)這樣的成像裝置中，由于它的結(jié)構(gòu)，對(duì)成像傳感器單元10來(lái)說(shuō) 必須在獲得圖像兩個(gè)幀之前設(shè)置曝光時(shí)間和在其一個(gè)幀之前設(shè)置信號(hào)放大增益。因此，為 了獲得一個(gè)圖像，需要用于設(shè)置曝光時(shí)間、設(shè)置增益以及輸出圖像的總共三個(gè)幀。在成像裝 置100的曝光控制中，分析從該結(jié)果獲得的圖像數(shù)據(jù)，并且通過(guò)使用分析的信息作為反饋 而控制曝光時(shí)間和信號(hào)放大增益。因此，在重復(fù)三個(gè)幀作為一組的情況下，要求進(jìn)行控制使 得實(shí)現(xiàn)最佳曝光或者穩(wěn)定曝光。因此，在傳統(tǒng)的技術(shù)中，在不具有外景的信息的情況下，諸 如特別地在啟動(dòng)時(shí)，在穩(wěn)定控制并且實(shí)現(xiàn)最佳曝光之前需要相當(dāng)長(zhǎng)的時(shí)間。另一方面，在本示例性實(shí)施例中，通過(guò)使用通常是用于等待反饋的時(shí)間的在啟動(dòng) 時(shí)的時(shí)間，并且在忽略反饋的情況下強(qiáng)制地交替設(shè)置多個(gè)用于曝光的初始值(在本示例性 實(shí)施例中，三步值)，能夠快速地并且正確地找到曝光控制的目標(biāo)(曝光控制目標(biāo)值)，并且 能夠獲得適當(dāng)?shù)钠毓庑畔?。?duì)于三步的用于曝光的初始值，使用如此的三個(gè)值，S卩，通過(guò)該三個(gè)值，設(shè)置適當(dāng) 的曝光鄰域范圍(防備范圍)以不相互重疊。通過(guò)按照這些用于曝光的初始值在從第一幀 開(kāi)始的三個(gè)幀中連續(xù)地設(shè)置曝光，成像裝置能夠響應(yīng)18EV的亮度，并且能夠以較快的速度 準(zhǔn)確地穩(wěn)定曝光控制。第二示例性實(shí)施例接下來(lái)，將會(huì)解釋第二示例性實(shí)施例。在上面的第一示例性實(shí)施例中，使用如此的三個(gè)用于曝光的初始值，即，通過(guò)所述用于曝光的初始值，防備范圍被設(shè)置為不相互重疊。 另一方面，在本示例性實(shí)施例中，指定三個(gè)用于曝光的初始值的設(shè)置順序。這能夠以較快的 速度穩(wěn)定白平衡控制。成像裝置100的組成與圖1中所示的第一示例性實(shí)施例的相同。圖7是解釋用于本示例性實(shí)施例的曝光的初始值的視圖。在第一示例性實(shí)施例 中，盡管如此的用于曝光的初始值被使用，即，通過(guò)所述用于曝光的初始值，防備范圍被設(shè) 置為不相互重疊，但順序沒(méi)有被指定。另一方面，在本示例性實(shí)施例中，在第一幀中設(shè)置的 用于曝光的初始值(第一初始值)是如此的設(shè)置值，即，該設(shè)置值能夠獲得可以確定室內(nèi)位 置或者室外位置的亮度的圖像。在第二幀中設(shè)置的用于曝光的初始值(第二初始值)是如 此的設(shè)置值，即，該設(shè)置值能夠獲得設(shè)想室內(nèi)位置的亮度的圖像。在第三幀中設(shè)置的用于曝 光的初始值(第三初始值)是如此的設(shè)置值，即，該設(shè)置值能夠獲得設(shè)想室外位置的亮度 的圖像。在下述的描述中，以上升的順序在圖7中所示的用于曝光的初始值被解釋為曝光 A (第二初始值)、曝光B (第一初始值)以及曝光C (第三初始值)。接下來(lái)，在解釋其中通過(guò)此順序指定用于曝光的初始值的效果之前，首先將會(huì)解 釋與傳統(tǒng)的技術(shù)相比較的效果。圖8是示出本示例性實(shí)施例的效果的視圖。與在第一示例 性實(shí)施例中一樣，在傳統(tǒng)的技術(shù)中，在最壞的情況下，在第十一或者后續(xù)幀中穩(wěn)定曝光和白 平衡。另一方面，在本示例性實(shí)施例的最壞情況下它是第六幀，并且，在第六幀和后續(xù)幀中 能夠穩(wěn)定曝光和白平衡。首先，根據(jù)通過(guò)曝光B獲得的圖像數(shù)據(jù)確定當(dāng)前環(huán)境是室內(nèi)位置 或者室外位置。在這里，如果它被確定為室外位置，當(dāng)前環(huán)境下的光源能夠基本上被指定為 日光。即，當(dāng)通過(guò)曝光B獲得的圖像數(shù)據(jù)是白屏?xí)r，光源基本上被指定為日光。因此，在沒(méi) 有評(píng)估的情況下能夠估計(jì)白平衡，并且該值被預(yù)備地存儲(chǔ)在控制信息存儲(chǔ)單元25中，并且 該值能夠被使用。因此，不需要計(jì)算白平衡的處理。因此，盡管在第五幀中獲得是室外位置 的通過(guò)曝光C的圖像數(shù)據(jù)，因?yàn)榇嬖诎灼胶?R、G、以及B的各個(gè)增益)，所以，在第五幀中獲 得來(lái)自于成像傳感器單元10的圖像數(shù)據(jù)并且控制白平衡并且同時(shí)輸出圖像(室外最壞的 情況)。此外，當(dāng)?shù)谝粠钠毓釨是處于適當(dāng)?shù)钠毓忄徲驎r(shí)，在第三幀中獲得曝光B的圖 像數(shù)據(jù)，在第四幀中計(jì)算白平衡，并且與傳統(tǒng)的技術(shù)一樣，在第五幀中能夠獲得穩(wěn)定的輸出 (最好的情況)。接下來(lái)，當(dāng)當(dāng)前環(huán)境是室內(nèi)位置時(shí)，根據(jù)通過(guò)曝光A獲得的圖像數(shù)據(jù)計(jì)算白平衡。 即，在第二幀處設(shè)置曝光A，在第三幀處執(zhí)行曝光，在第四幀處獲得圖像數(shù)據(jù)，在第五幀處計(jì) 算白平衡，并且在第六幀處穩(wěn)定曝光和白平衡(室內(nèi)最壞的情況)。這樣，在本示例性實(shí)施例中，在最壞的情況下比傳統(tǒng)的技術(shù)快五個(gè)幀穩(wěn)定曝光和 白平衡。即，如果一個(gè)幀被假定為33. :3ms，那么以比傳統(tǒng)的技術(shù)塊大約166. 5ms而穩(wěn)定。接下來(lái)，將會(huì)解釋用于本示例性實(shí)施例的曝光的初始值的順序的效果。圖9是解 釋根據(jù)用于曝光的初始值的順序的不同獲得的效果的視圖。如上所述，在第一示例性實(shí)施 例中，沒(méi)有特別地限制用于曝光的初始值的順序。因此，例如，將會(huì)與其中曝光順序被依次 設(shè)置為曝光B、C以及A的情況(在下文中將會(huì)被稱為“參考示例”)相比較，解釋效果。如 圖9中所示，在參考示例中，在第一幀處設(shè)置曝光B，并且確定它是否是室內(nèi)位置或者室外 位置。在這里，最好的情況是當(dāng)當(dāng)前環(huán)境是室外位置時(shí)。如上所述，如果它被確定為室外位置時(shí)，那么白平衡是被指定的值，并且因此不需要獲得白平衡適當(dāng)值的處理。對(duì)應(yīng)于室外位置的亮度的曝光是曝光C，并且因?yàn)樵诘诙?設(shè)置它，所以在第四幀處能夠獲得圖像數(shù)據(jù)。因?yàn)楫?dāng)獲得圖像數(shù)據(jù)時(shí)能夠同時(shí)校正具有用 于白平衡的RGB增益的圖像數(shù)據(jù)，所以能夠在第四幀輸出圖像。接下來(lái)，如果與曝光B的圖像數(shù)據(jù)相比較它被確定為室內(nèi)位置，要求進(jìn)行白平衡 控制。在獲得圖像數(shù)據(jù)之后執(zhí)行此控制。因此，與室內(nèi)位置的亮度對(duì)應(yīng)的曝光是曝光A。 由于在第五幀處獲得圖像數(shù)據(jù)，所以能夠在第七幀執(zhí)行白平衡控制并且能夠輸出圖像數(shù)據(jù) (室內(nèi)位置的最壞情況)。因此，如果它被設(shè)置為參考示例的順序，在最壞的情況下，與第二 示例性實(shí)施例相比較，用于曝光和白平衡的控制被延遲了一個(gè)幀。注意，取決于用戶的意圖，除了參考示例，能夠以其它的方式設(shè)置用于曝光的初始 值的順序。在這樣的情況下，如果它是室外位置，那么與本示例性實(shí)施例相比，曝光和白平 衡能夠快一個(gè)幀地被穩(wěn)定。本領(lǐng)域技術(shù)人員能夠根據(jù)需要組合第一和第二示例性實(shí)施例。雖然已經(jīng)按照若干示例性實(shí)施例描述了本發(fā)明，但是本領(lǐng)域技術(shù)人員將理解，本 發(fā)明可以在所附的權(quán)利要求的精神和范圍內(nèi)進(jìn)行各種修改的實(shí)踐，并且本發(fā)明并不限于上 述的示例。此外，權(quán)利要求的范圍不受到上述的示例性實(shí)施例的限制。此外，應(yīng)當(dāng)注意的是，申請(qǐng)人意在涵蓋所有權(quán)利要求要素的等價(jià)，即使在后期的審 查過(guò)程中進(jìn)行過(guò)修改亦是如此。例如，在上面的示例性實(shí)施例中，數(shù)據(jù)接收裝置被解釋為硬件。然而，通過(guò)CPU(中 央處理單元)執(zhí)行程序能夠?qū)崿F(xiàn)任意的處理。使用任何類型的非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)， 程序能夠被存儲(chǔ)并且被提供給計(jì)算機(jī)。非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)包括任何類型的可觸知的 存儲(chǔ)介質(zhì)。非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)的示例包括磁性存儲(chǔ)介質(zhì)(諸如軟盤、磁帶、硬盤驅(qū) 動(dòng)等)、光磁存儲(chǔ)介質(zhì)(例如，磁光盤)、CD-ROM(壓縮光盤只讀存儲(chǔ)器)、CD-R(可記錄光 盤)、CD_R/W (可重復(fù)刻錄光盤)、以及半導(dǎo)體存儲(chǔ)器(諸如掩模R0M、PR0M (可編程的ROM)、 EPROM(可擦寫的PR0M)、閃存R0M、RAM(隨機(jī)存取存儲(chǔ)器)等等)。使用任何類型的暫時(shí)性 計(jì)算機(jī)可讀介質(zhì)可以將程序提供給計(jì)算機(jī)。暫時(shí)性計(jì)算機(jī)可讀介質(zhì)的示例包括電子信號(hào)、 光學(xué)信號(hào)、以及電磁波。暫時(shí)性計(jì)算機(jī)可讀介質(zhì)能夠經(jīng)由有線通信線(例如，電線，和光纖) 或者無(wú)線通信線將程序提供給計(jì)算機(jī)。1權(quán)利要求
1.一種成像裝置，包括成像元件，所述成像元件獲得圖像；和成像傳感器處理單元，所述成像傳感器處理單元基于通過(guò)所述成像元件獲得的圖像數(shù) 據(jù)通過(guò)反饋控制來(lái)重置所述成像元件的曝光，其中所述成像傳感器處理單元通過(guò)流水線處理連續(xù)地執(zhí)行下述處理在緊隨所述成像裝置 的啟動(dòng)之后的第一幀中設(shè)置所述成像元件的曝光時(shí)間；在第二幀中通過(guò)在前一幀設(shè)置的曝 光時(shí)間使所述成像元件積累光；以及在第三幀中通過(guò)應(yīng)用在第二幀設(shè)置的增益而輸出所述 圖像數(shù)據(jù)。
2.根據(jù)權(quán)利要求1所述的成像裝置，其中所述圖像傳感器處理單元包括圖像評(píng)估單元，所述圖像評(píng)估單元計(jì)算用于通過(guò)所述成像元件獲得的圖像數(shù)據(jù)的評(píng)估 的數(shù)據(jù)；和曝光控制器，所述曝光控制器基于在獲得所述圖像數(shù)據(jù)之前的多個(gè)初始值，并且基于 在獲得所述圖像數(shù)據(jù)之后所述圖像評(píng)估單元的用于評(píng)估的數(shù)據(jù)，而設(shè)置所述成像元件的曝 光，其中所述圖像評(píng)估單元順序地計(jì)算用于在所述第三幀和后續(xù)幀中獲得的圖像數(shù)據(jù)的評(píng)估 的數(shù)據(jù)，并且所述曝光控制器基于在所述第三幀和后續(xù)幀中獲得的用于評(píng)估的數(shù)據(jù)而確定最佳曝 光并且將所述最佳曝光設(shè)置到所述成像裝置。
3.根據(jù)權(quán)利要求1所述的成像裝置，其中在沒(méi)有反饋控制的情況下所述成像傳感器處 理單元連續(xù)地執(zhí)行達(dá)到三個(gè)幀的所述流水線處理。
4.根據(jù)權(quán)利要求2所述的成像裝置，其中所述多個(gè)初始值中的每一個(gè)是如此的值，即， 通過(guò)該值，能夠獲得在適當(dāng)曝光附近的預(yù)定范圍的亮度的圖像。
5.根據(jù)權(quán)利要求4所述的成像裝置，其中所述多個(gè)初始值包括第一至第三初始值，并 且基于所述多個(gè)初始值中的每一個(gè)的在適當(dāng)曝光附近的預(yù)定范圍被設(shè)置為連續(xù)的。
6.根據(jù)權(quán)利要求4所述的成像裝置，其中所述多個(gè)初始值包括第一至第三初始值，并 且基于所述多個(gè)初始值中的每一個(gè)的在適當(dāng)曝光附近的預(yù)定范圍的至少一部分被設(shè)置為 重疊。
7.根據(jù)權(quán)利要求4所述的成像裝置，其中所述在適當(dāng)曝光附近的預(yù)定范圍是動(dòng)態(tài)的范圍。
8.根據(jù)權(quán)利要求5所述的成像裝置，其中設(shè)置所述第一初始值以獲得如此的亮度的圖 像，即，該亮度能夠確定在室內(nèi)位置或者室外位置捕獲圖像。
9.根據(jù)權(quán)利要求8所述的成像裝置，其中設(shè)置所述第二初始值以獲得如此的亮度的圖 像，即，該亮度設(shè)想在室內(nèi)位置捕獲圖像，并且設(shè)置所述第三初始值以獲得如此的亮度的圖 像，即，該亮度設(shè)想在室外位置捕獲圖像。
10.根據(jù)權(quán)利要求9所述的成像裝置，其中所述成像傳感器處理單元包括WB控制器，所 述WB控制器確定白平衡，其中所述WB控制器基于在所述第三幀獲得的圖像數(shù)據(jù)確定室內(nèi)位置或者室外位置，并且 基于確定結(jié)果設(shè)置所述白平衡。
11.根據(jù)權(quán)利要求10所述的成像裝置，其中，當(dāng)所述成像傳感器處理單元基于被設(shè)置為所述第一初始值并且首先獲得的圖像而確定當(dāng)前環(huán)境是室外位置時(shí)，所述成像傳感器處 理單元將在所述第三幀中被設(shè)置為所述第三初始值并且在第五幀獲得的圖像輸出作為輸 出圖像。
12.根據(jù)權(quán)利要求10所述的成像裝置，其中，當(dāng)所述成像傳感器處理單元基于被設(shè)置 為所述第一初始值并且首先獲得的圖像而確定當(dāng)前環(huán)境是室內(nèi)位置時(shí)，所述成像傳感器處 理單元通過(guò)所述WB控制器對(duì)在所述第二幀中被設(shè)置為所述第二初始值并且在第四幀獲得 的圖像執(zhí)行白平衡控制，并且將所述圖像輸出作為輸出圖像。
13.一種用于控制成像裝置的方法，所述成像裝置基于通過(guò)成像元件獲得的圖像數(shù)據(jù) 通過(guò)反饋控制來(lái)重置所述成像元件的曝光，所述方法包括在所述反饋控制之前，通過(guò)流水線處理連續(xù)地執(zhí)行下述處理在緊隨所述成像裝置的 啟動(dòng)之后的第一幀中設(shè)置所述成像元件的曝光時(shí)間；在第二幀中通過(guò)在前一幀設(shè)置的曝光 時(shí)間使所述成像元件積累光；以及在第三幀中通過(guò)應(yīng)用在第二幀設(shè)置的增益而輸出所述圖 像數(shù)據(jù)；和順序地評(píng)估在所述第三幀和后續(xù)幀中連續(xù)地獲得的圖像數(shù)據(jù)，基于評(píng)估結(jié)果而確定最 佳曝光，以及將所述最佳曝光設(shè)置給所述成像元件。
14.根據(jù)權(quán)利要求13所述的用于控制成像裝置的方法，其中在所述反饋控制之前執(zhí)行 達(dá)到三個(gè)幀的所述流水線處理。
15.根據(jù)權(quán)利要求13所述的用于控制成像裝置的方法，其中通過(guò)基于在獲得所述圖像 數(shù)據(jù)之前的多個(gè)初始值并且基于在獲得所述圖像數(shù)據(jù)之后的所述評(píng)估結(jié)果而設(shè)置所述成 像元件的曝光來(lái)進(jìn)行最佳曝光的確定。
16.根據(jù)權(quán)利要求14所述的用于控制成像裝置的方法，其中所述多個(gè)初始值中的每一 個(gè)是如此的值，即，通過(guò)該值，能夠獲得在適當(dāng)曝光附近的預(yù)定范圍的亮度的圖像。
17.根據(jù)權(quán)利要求16所述的用于控制成像裝置的方法，其中所述多個(gè)初始值包括第一 至第三初始值，并且基于所述多個(gè)初始值中的每一個(gè)的在適當(dāng)曝光附近的預(yù)定范圍被設(shè)置 為連續(xù)的并且不重疊。
18.根據(jù)權(quán)利要求16所述的用于控制成像裝置的方法，其中所述在適當(dāng)曝光附近的預(yù) 定范圍是動(dòng)態(tài)的范圍。
19.根據(jù)權(quán)利要求16所述的用于控制成像裝置的方法，其中設(shè)置所述第一初始值以獲 得能夠確定室內(nèi)位置或者室外位置的亮度的圖像。
20.根據(jù)權(quán)利要求19所述的用于控制成像裝置的方法，其中設(shè)置所述第二初始值以獲 得設(shè)想室內(nèi)位置的亮度的圖像，并且設(shè)置所述第三初始值以獲得設(shè)想室外位置的亮度的圖 像。
21.根據(jù)權(quán)利要求13所述的用于控制成像裝置的方法，進(jìn)一步包括基于在所述第三幀獲得的圖像數(shù)據(jù)確定室內(nèi)位置或者室外位置，并且基于確定結(jié)果設(shè) 置所述白平衡。
全文摘要
本發(fā)明涉及成像裝置、用于控制成像裝置的方法。成像裝置包括成像元件，該成像元件獲得圖像；和成像傳感器處理單元，該成像傳感器處理單元基于通過(guò)成像元件獲得的圖像數(shù)據(jù)通過(guò)反饋控制重置成像元件的曝光。成像傳感器處理單元通過(guò)流水線處理連續(xù)地執(zhí)行下述處理在緊隨成像裝置的啟動(dòng)之后的第一幀中設(shè)置成像元件的曝光時(shí)間；在第二幀中通過(guò)在前一幀設(shè)置的曝光時(shí)間使成像元件積累光；以及在第三幀中通過(guò)應(yīng)用在第二幀設(shè)置的增益而輸出圖像數(shù)據(jù)。
文檔編號(hào)H04N5/235GK102053453SQ20101052624
公開(kāi)日2011年5月11日 申請(qǐng)日期2010年10月27日 優(yōu)先權(quán)日2009年10月27日
發(fā)明者新倉(cāng)謙太郎 申請(qǐng)人:瑞薩電子株式會(huì)社