專利名稱：攝像裝置的制作方法
技術領域：
本發(fā)明涉及使用CCD(Charge Coupled Device)等固體攝像元件的攝像裝置，特別涉及一種進行從曝光不同的多張攝像原圖像合成一張圖像的動態(tài)范圍(ダイナミツクレンジ)擴大攝像的攝像裝置。
背景技術：
動態(tài)范圍擴大攝像的試驗已有多種方案，例如已知有將由曝光不同的攝像獲得的2張(以上)原圖像進行合成處理的方案。在采用這種方式的場合，在攝影時若發(fā)生手搖晃，則在兩次原圖像攝像時刻之間圖像發(fā)生偏移，因此，由于各像素不對應于被攝體的同一點上，故存在致使合成圖像上發(fā)生圖像質量破綻(不能容許的圖像質量劣化)的問題。
針對該問題，本申請人在先申請的日本特愿2000-358144號公告中特別記載了以下技術采用使2幅圖像攝影定時連續(xù)的攝像順序，同時利用預定的手搖晃臨界快門速度，限定在可使用短時間快門速度的場合，可以使用動態(tài)范圍擴大影像，由此，謀求回避圖像質量破綻。
本申請人在先申請的日本特愿2000-358144號中記載的技術雖然對于回避圖像質量破綻而言極為有效，但因此動態(tài)范圍擴大攝像的適用被僅限于可以使用高速快門、高亮度的被攝體，對于較低亮度的被攝體，則存在有不能進行動態(tài)范圍擴大攝像的問題。

發(fā)明內(nèi)容
本發(fā)明是考慮上述情況而做出的發(fā)明，其目的是提供一種攝像裝置，該攝像裝置對于較低亮度的被攝體，也可以使用動態(tài)范圍擴大攝像獲得寬動態(tài)范圍圖像。
本發(fā)明的特征在于其具備攝像裝置，該裝置將被攝體以預定的曝光進行攝像，輸出圖像信號；曝光控制裝置，該裝置是對上述攝像裝置控制曝光量的；圖像信號生成處理控制裝置，該裝置對由上述曝光控制裝置對上述攝像裝置付與不同的曝光量而分別獲得的多幅原圖像信號，在將上述多幅原圖像信號之間的位置偏移進行修正的同時進行合成，生成合成圖像信號。
在該攝像裝置中，在動態(tài)范圍擴大攝像時，即使隨著為謀求低亮度區(qū)域一側的動態(tài)范圍擴大而加大曝光量(例如加長曝光時間)，由于手的搖晃等原因在多幅圖像上發(fā)生位置偏移，通過修正圖像之間的位置偏移的同時合成最終圖像，因此，不會在其過程中招致圖像質量的劣化。
附圖的簡要說明圖1是表示本實施例中攝像裝置的構成的框圖。
圖2是表示使用一般攝像元件構成攝像裝置的情況下的攝像元件的光電變換特性圖。
圖3是表示用于使用長短2個曝光時間的兩幅圖像連續(xù)攝像的攝像順序的時間圖。
圖4是本實施例中從CCD攝像元件105讀出的第一、二各原圖像的像素信息信號的光電變換特性圖。
圖5是用于對本實施例中的圖像信號生成處理進行說明的流程圖。
圖6是示出第一、二各原圖像和生成圖像之間關系的圖。
符號的說明101 透鏡102 透鏡驅動機構103 曝光控制機構104 機械快門105 CCD攝像元件
106 CCD驅動器107 預處理器電路108 數(shù)據(jù)處理電路109 卡接口110 存儲卡111 LCD圖像顯示系統(tǒng)112 系統(tǒng)控制器(CPU)112a 兩幅圖像連續(xù)攝像控制部112b 圖像信號生成處理控制部113 操作開關系統(tǒng)114 操作顯示系統(tǒng)115 透鏡驅動器116 頻閃觀測器117 曝光控制驅動器118 永久存儲器(EEPROM)發(fā)明的具體實施方式
下面，參照


本發(fā)明的實施例。
圖1中示出了本實施例中攝像裝置的構成。在這里，舉出作為數(shù)碼相機實現(xiàn)的情況為例進行說明。
圖中101是由各種透鏡(攝影透鏡)構成的攝影透鏡系統(tǒng)，102是用于進行透鏡系統(tǒng)101的伸縮驅動或透鏡系統(tǒng)101內(nèi)的可變焦透鏡以及聚焦透鏡的驅動的透鏡驅動機構，103是用于控制透鏡系統(tǒng)101的光圈或機械快門的曝光控制機構，104是機械快門，105是內(nèi)置了濾色鏡的用于將被攝體圖像進行光電變換的CCD攝像元件(攝像構件)，106是用于驅動攝像元件105的CCD驅動器，107是包括模擬放大器和A/D變換器等的預處理電路，108是用于記錄圖像的生成的顏色信號生成處理、矩陣變換處理、壓縮擴展處理、以及其他各種數(shù)據(jù)處理的數(shù)據(jù)處理電路，109是卡接口，110是存儲卡，111則表示LCD圖像顯示系統(tǒng)。
此外，圖中的112表示綜合控制各部分的系統(tǒng)控制器(CPU)，113表示由點動開關、設定按鈕等各種開關組成的操作開關系統(tǒng)，114表示用于顯示操作狀態(tài)及模式狀態(tài)等的操作顯示系統(tǒng)，115表示用于控制透鏡驅動機構102的透鏡驅動器，116表示作為發(fā)光裝置的頻閃觀測器，117表示用于控制曝光控制機構103及頻閃觀測器116的曝光控制驅動器，118表示用于存儲各種設定信息等的永久存儲器(EEPROM)。
在本實施例的攝像裝置中，系統(tǒng)控制器112對整個裝置進行綜合控制，進行曝光控制機構103及機械快門104、和由CCD驅動器106執(zhí)行的CCD攝像元件105的驅動，而進行曝光(電荷聚積)和信號的讀出，并將其通過預處理電路107作A/D變換之后輸入數(shù)據(jù)處理電路108中，在數(shù)據(jù)處理電路108內(nèi)實施各種信號處理之后，通過卡接口109存儲于存儲卡110中。曝光控制機構103及機械快門104以及它們的控制部(包括系統(tǒng)控制器112和曝光控制驅動器117)構成曝光控制裝置。
再者，作為CCD攝像元件105，例如使用縱型溢漏排出(オ—バ—フロ—ドレイン)構造的隔行型逐步(順次)掃描型攝像元件。
CCD攝像元件105的驅動控制利用由CCD驅動器106輸出的各種驅動信號(電荷轉送脈沖TG、垂直/水平轉送用脈沖、基板外加高電壓脈沖VSUB等)進行。CCD攝像元件105是由矩陣配置的電荷聚積部和分別被水平和垂直地配置的電荷轉送部(垂直電荷轉送路、水平電荷轉送路)組成的一般隔行型結構，一旦電荷轉移脈沖TG被輸出，則在各電荷聚積部和垂直電荷轉送部之間設置的轉送門被打開，電荷從各電荷聚積部向對應的垂直電荷轉送路上被轉送。通過電荷轉送脈沖TG的輸出定時，進行實質性的曝光時間控制。此外，基板外加高電壓脈沖VSUB用于將電荷聚積部的電荷向半導體基板(感光底層＝縱型溢漏排除VOFD)強制排出。
在本實施例中的攝像裝置(數(shù)碼相機)中，除了下面詳述的為實現(xiàn)攝像圖像的搖晃修正動態(tài)范圍擴大而進行的圖像信號處理控制之外，是與通常的數(shù)碼相機進行相同的動作和控制，因此，對于這種公知的部分省略其說明。
系統(tǒng)控制器112上，如圖所示，作為本實施例的特征的用于搖晃修正動態(tài)范圍擴大的功能，設置有兩幅圖像連續(xù)攝像控制部112a和圖像信號生成處理控制部112b。兩幅圖像連續(xù)攝像控制部112a，為獲得最終的一幅靜止圖像，通過連續(xù)進行長短兩次曝光時間的曝光，控制攝像順序的執(zhí)行，其為沒有定時差的獲得不同曝光量的兩幅圖像(原圖像信號)的攝像順序。圖像信號生成處理控制部112b控制圖像信號生成處理，對通過兩幅圖像連續(xù)攝像控制部112a的控制獲得的兩幅圖像(原圖像信號)，一邊進行原圖像信號間的位置偏移修正，一邊合成產(chǎn)生一幅靜止圖像(合成圖像信號)。
下面，對本實施例中攝像裝置的動作進行說明。
攝像范圍并不只由攝像元件而決定，而是由包括使用該攝像元件的攝像裝置的信號處理的整體來決定，但是至少在其高亮度一側，攝像元件的飽和電平成為界限，在低亮度一側，則組裝于攝像裝置的狀態(tài)下的攝像元件輸出的噪聲電平成為界限，因此至少可以獲得超過該界限的攝像范圍。
在使用一般攝像元件構成的攝像裝置場合，攝像元件的光電變換特性成為如圖2中模式性地所示那樣。圖2中，橫軸表示入射光量，縱軸將信號電平分別以對數(shù)表示。圖2中，UL表示高亮度一側的臨界電平，LL表示低亮度一側的臨界電平。UL為大致對應于攝像元件的飽和電平的電平，另一方面關于LL不是定為噪聲電平NL，而是定為具有即使與噪聲共存也可以經(jīng)得住鑒賞的預定臨界S/N比的信號電平?jīng)Q定?；蛘呤牵苑Q為“這以下的電平為黑色損壞”的判定基準進行視覺評價，也可以定LL作為臨界電平。而且，UL和LL之間成為有效亮度區(qū)域，這些(對數(shù)軸上的)差DR＝UL-LL即為攝像范圍。
該DR根據(jù)攝像裝置的設計制造而不同，在多數(shù)情況下為5～6EV(30～36dB)的程度，本實施例的攝像裝置也具有這樣的結構。此外，在以下說明中，為了使說明變得簡單以進行黑白圖像的攝像的情況為例。
首先，對用于根據(jù)兩幅圖像連續(xù)攝像控制部112a的控制，用長短兩個曝光時間進行兩幅圖像連續(xù)攝像的攝像順序，參照圖3中所示的時間圖進行說明。圖3中示出的攝像順序是由本申請人在先申請的特愿2000-358144號公報中記載的，逐步掃描(整幀讀出)對應型CCD和機械快門相組合而進行沒有時滯的兩幅圖像攝像的驅動方法。根據(jù)該驅動順序可以使攝像兩幅原圖像的時間差盡量縮小，因此，可以使利用長短2個曝光時間的兩幅圖像的位置偏移變小(修正的必要性可以變小)，有利于攝像。
圖3中，VD為垂直同期信號(但是可根據(jù)需要重新設置，因此，在這個意義上也可以稱為1幀動作的開始基準信號)，TG是用于從電荷聚積部向垂直電荷轉送路(VCCD)上轉移信號電荷的電荷轉移脈沖，V轉送是用于在垂直電荷轉送路內(nèi)轉送電荷的電荷轉送脈沖，VSUB是用于將電荷聚積部的聚積電荷向基板側排出的基板外加高電壓脈沖，機械快門表示機械快門104的開閉狀態(tài)。
首先，機械快門104，開始時為開放，之后被關閉。機械快門104以開放的狀態(tài)，利用V轉送脈沖，對“主曝光(本露光)1”進行VCCD的高速電荷排出驅動。此外，在曝光之前，電荷聚積部內(nèi)的電荷通過VSUB脈沖向基板側排出。
利用最小的VSUB脈沖，開始“主曝光1”，利用第一電荷轉移脈沖TG1將電荷聚積部的信號電荷轉送到VCCD，同時終止“主曝光1”，同時開始“主曝光”。
還有，由機械快門104的遮光，終止“主曝光2”之后，進行用于讀出由“主曝光1”獲得的第一原圖像的V轉送。而且，在結束第一原圖像的讀出之后，利用第二電荷轉移脈沖TG2開始讀出由“主曝光2”獲得的第二原圖像。
由“主曝光1”獲得的第一原圖像和由“主曝光2”獲得的第二原圖像，以系統(tǒng)控制器112(圖像信號生成處理控制部112b)的控制為基礎，通過數(shù)字處理電路108的數(shù)字運算處理而進行合成處理，由此，生成最終的一幅靜止圖像。
再者，若適用以下詳述的本實施例中的偏移修正，則即使兩幅原圖像的攝像定時稍微不同，通過修正位置偏移的同時進行圖像合成不產(chǎn)生圖像質量劣化。因此，不根據(jù)如上述圖3所示的攝像順序，而可以使用一般攝像裝置中使用的攝像順序也可以。
由此，若進行了兩幅原圖像的攝像，則根據(jù)系統(tǒng)控制器112(圖像信號生成處理控制部112b)的控制，進行以下說明的動作，利用數(shù)字處理電路108進行合成兩幅原圖像生成一幅圖像的圖像信號處理。
從CCD攝像元件105讀出的原圖像的像素信息信號的光電變換特性，對于第一、第二的各原圖像，如圖4中所示。即，第二原圖像(圖中T2)比第一原圖像(圖中T1)以更長的曝光時間進行曝光，只有相當于該曝光時間差的部分，被左右平行移動。而且，此時的長短為相反的也可以。
下面，對本實施例中的圖像信號生成處理，參照圖5所示的流程圖進行說明。圖像信號生成處理是通過圖像信號生成處理控制部112b的控制來實現(xiàn)。
在這里，將第一原圖像的圖像信號作為S1，將第二原圖像的圖像信號作為S2進行說明。
(1)首先，將表示該兩幅圖像的相對位置移動的移動矢量信息即移動矢量(V＝(x，y))，通過相關運算求出(步驟A1)。具體來說，對攝影圖框，將預定部分區(qū)域設定為檢測區(qū)域，關于該檢測區(qū)域，根據(jù)一假定的移動矢量V，算出兩幅圖像的相關評價值。而且，比較每次變更移動矢量V＝(x，y)的假定時所獲得的各相關評價值，以付與最小值(于相關度最大相對應、完全一致的場合成為0)的V作為所求的移動矢量。
但是，由于兩幅圖像的曝光量不同，故特別需要下面兩點處理。
第一，作為移動矢量檢測區(qū)域使用的區(qū)域被設定在兩幅圖像的共通區(qū)域中。即，從信號S1、信號S2的各圖像中分別抽出對應于圖4中所示的共通亮度區(qū)域的區(qū)域，以使該檢測區(qū)域被包含于該被抽出的區(qū)域中的方式設定檢測區(qū)域(步驟A11)。
第二，修正兩幅圖像的曝光電平差進行相關運算。在這里是對用低曝光攝像獲取的信號S1，以曝光時間比g作為修正系數(shù)相乘進行處理(步驟A12)。
以下示出相關評價值的一例。
∑|g·S1(i，j)□S2(i+x，j+y)| …(1)(∑為關于i，j的總和符號)由此，作為該相關評價值的與最小值(與最小值)求出移動矢量V＝(x，y)。
(2)下面，根據(jù)在步驟A1中檢測出的移動矢量信息，將第二原圖像的攝影圖像框進行變換，同時通過對第1原圖像進行圖像合成，生成最終的攝像圖像Sout(i，j)(步驟A2)。在這里是作為圖像合成的方法，是通過兩幅圖像的加法平均生成圖像的。
該攝影圖像Sout(i，j)如圖6(b)中所示，具有對應于生成圖像大小的區(qū)域的預定像素數(shù)p×q(1≤i≤p，1≤j≤q)。再者，生成圖像大小，如圖6(a)所示，預測由于搖晃引起的移動量，設定為比攝像元件的整體圖像框大小稍微小一些的大小。此外，最初的曝光(第1原圖像)的攝影圖像框中心設定在有效攝像區(qū)域的中央，但是為了簡化說明將有效攝像區(qū)域的坐標在該狀態(tài)下設定為與生成圖像的坐標(i，j)同數(shù)值(因此，在該狀態(tài)下的生成圖像框之外還存在負值坐標。)生成運算公式用下面的式(2)表示Sout(i，j)＝{S1(i，j)+S2(i+x，j+y)}/2…(2)再者，在上述說明中，通過算出加法平均值進行了第一原圖像和第二原圖像的合成，但也可以適用除此之外的任意的方法。
由此，利用圖像信號生成處理合成兩幅圖像而獲得的圖像信號，在后段的電路中被處理，最終記錄在存儲卡110中，或者在LCD圖像顯示系統(tǒng)111中顯示。
如上所述，根據(jù)圖像信息生成處理，通過在將曝光不同的兩幅圖像間的位置差進行修正的同時進行合成處理，即使適用動態(tài)范圍擴大攝像，也可以回避由于手的搖晃而引起的圖像質量的劣化。因此，對于較低亮度的被攝體也可以適用動態(tài)范圍擴大攝像。
再者，在上述說明中，以攝像黑白圖像進行了說明，但是也可以適用于攝像彩色圖像的場合。例如，即使是單板元件，經(jīng)同時化后，即，使各像素都具有RGB信息時，則在上述圖像信號生成處理的步驟A1的移動矢量(位置差)檢測中，作為信號S1、S2，例如使用由亮度矩陣Y＝0.299R+0.587G+0.114B算出的亮度信號Y(用G信號代替也可以)。還有，在步驟A2的圖像生成運算中，根據(jù)以亮度信號Y(或者是G信號)為基礎檢出的移動矢量信息，對RGB各信息與上述相同進行用于圖像合成的運算。
此外，移動矢量信息的檢測，在實際上使用被攝影圖像的這一點上是優(yōu)良的，但另一方面，檢測區(qū)域被限制在共通亮度域內(nèi)。此時，對于被攝體的亮度分布來說，也存在不屬于共通亮度域的部分而不能適用的情況。關于這一點，可以通過如下變形例1、2的結構可以對應。
變形例1在主攝影(本撮影)中，首先，以對應于在監(jiān)控模式(不適用動態(tài)范圍擴大的一般動畫輸出模式)中獲取的多幅靜態(tài)圖像的圖像信號為基礎，通過與上述相同的公知的相關運算方法求出移動矢量信息(位置移動)，將該最終移動矢量信息(主攝影之前的信息)適用于圖像信號生成處理(代替步驟A11的處理)。由此，與被攝體的亮度分布無關，可以獲取移動矢量信息。此外，在主攝影中事先不僅求出移動矢量信息，在主攝影結束之后同樣也求出移動矢量信息，并算出主攝影之前和之后的移動矢量的平均值，也可將其作為移動矢量信息來適用。進一步，也可以僅適用主攝影之后求出的移動矢量信息。
變形例2設置加速度傳感器或角速度傳感器等搖晃檢測傳感器119(參照圖1)，系統(tǒng)控制器112在主攝影時，獲取利用搖晃檢測傳感器119檢測出的搖晃量信息。圖像信號生成處理控制部112b，根據(jù)從搖晃檢測傳感器119獲取的搖晃量求出移動矢量信息，根據(jù)該移動矢量信息經(jīng)如上所述的處理進行圖像合成。
此外，本實施例的攝像裝置中，也可能存在如下的變形例。
上述說明中，作為兩幅圖像的合成處理，示出了利用最簡單的加法平均的例子，但利用其他任意的合成處理方法也可以。例如，也可以是利用嵌入合成法的情況。在嵌入合成法中，例如通過對一幅原圖像的超出亮度范圍的區(qū)域嵌入另一幅原圖像，或者通過比較像素的顏色信息或局部對比度信息等圖像質量(信息)，對于每個像素采用更好一方的原圖像，從而進行合成。
此外，在兩幅圖像連續(xù)攝像的攝像順序中，曝光時間的錯開量為任意的。而且，曝光量也可以根據(jù)曝光時間以外的參數(shù)(例如光圈量)來調整。
此外，為了使說明變簡單，舉例了將曝光量不同的兩幅圖像進行合成的情況，但實際上將曝光量不同的三幅以上的圖像進行合成的構成也可以的。例如，可以對曝光量為大、中、小的3幅圖像A、B、C，進行與上述相同的處理。
此外，本申請發(fā)明并不限于上述實施例，可以在實施階段在不脫離其要點范圍內(nèi)進行各種變形。而且，含有在上述實施例中種種階段的方案，由所披露的多個構成要件的適當組合可以做出各種方案。例如，即使從實施例中揭示的全體構成要件中刪去幾個構成要件，也能獲得效果的情況下，可以將該構成要件刪除之后的構成作為方案抽出。
根據(jù)如上述所詳述的本發(fā)明，在由不同曝光的多幅攝像原圖像合成一幅圖像的動態(tài)范圍擴大攝像中，由于將各原圖像間的位置偏移進行修正的同時進行合成處理，因此，即使適用于動態(tài)范圍擴大攝像也能避免由于手搖晃引起的圖像質量劣化，對于較低亮度的被攝體也能獲得寬動態(tài)范圍圖像。
權利要求
1.一種攝像方法，使用一種具有攝像被攝體輸出圖像信號的攝像機構和控制上述攝像機構的曝光量的曝光控制機構的電子攝像裝置，其特征在于由上述曝光控制機構對上述攝像機構分別設定不同的多個曝光量；根據(jù)上述被設定的曝光量依次執(zhí)行曝光；將根據(jù)上述多次的曝光所獲得的多幅原圖像信號分別存儲；對于上述被存儲的多幅原圖像信號檢測出相互位置偏移；修正上述被檢測出的位置偏移；更新存儲上述位置偏移修正后的原圖像；合成上述被更新存儲的原圖像信號，輸出擴大動態(tài)范圍的一幅圖像信號。
2.根據(jù)權利要求1所述的攝像方法，其特征在于上述多幅原圖像的位置偏移檢測是基于上述多幅原圖像信號之間共通的亮度范圍的圖像信息進行檢測。
3.根據(jù)權利要求1所述的攝像方法，其特征在于上述多幅原圖像間的位置偏移檢測是基于由在上述多次攝像的事前或事后的至少任一方所獲得的圖像信號進行檢測。
4.根據(jù)權利要求1所述的攝像方法，其特征在于還具有在攝像時將相機的搖晃以搖晃量輸出的搖晃檢測機構，根據(jù)檢測出的上述搖晃量，將上述多幅原圖像信號之間的位置偏移檢測出。
5.一種電子攝像裝置，其包括攝像被攝體輸出圖像信號的攝像機構和控制上述攝像機構的曝光量的曝光控制機構，其特征在于，其包括設定機構，該機構利用上述曝光控制機構對上述攝像機構分別設定不同的多個曝光量；曝光控制機構，該機構根據(jù)上述被設定的曝光量依次執(zhí)行上述攝像機構的曝光；存儲機構，該機構將通過上述曝光所獲得的多幅原圖像信號分別進行存儲；檢測機構，該機構對上述被存儲的多幅原圖像信號檢測出相互的位置偏移；修正機構，該機構修正上述被檢測出的位置偏移；將上述位置偏移修正之后的原圖像更新存儲于上述存儲機構中的機構；合成機構，該機構合成上述被更新存儲的原圖像信號作成擴大動態(tài)范圍的一幅圖像信號。
6.根據(jù)權利要求5所述的電子攝像裝置，其特征在于上述檢測機構，根據(jù)在上述多幅原圖像信號之間共通的亮度范圍的圖像信息，檢測出位置偏移。
7.根據(jù)權利要求5所述的電子攝像裝置，其特征在于上述檢測機構，根據(jù)上述多次攝像的事前或事后的至少一方獲得的圖像信號，檢測出位置偏移。
8.根據(jù)權利要求5所述的電子攝像裝置，其特征在于還具有將攝像時的相機搖晃以搖晃量輸出的搖晃檢測機構，根據(jù)由該搖晃檢測機構檢測出的上述搖晃量，檢測出上述多幅原圖像信號之間的位置偏移。
全文摘要
本發(fā)明提供一種攝像裝置。其對較低亮度的被寫體也能獲得使用動態(tài)范圍擴大攝像的寬動態(tài)范圍圖像。其中，CCD攝像元件105以由曝光控制機構(103)控制的規(guī)定的曝光，攝像被攝體輸出圖像信號。兩幅圖像連續(xù)攝像控制部(112a)，為獲得最終的一幅靜止圖像，控制獲得曝光量不同的兩幅圖像(原圖像信號)的攝像順序的執(zhí)行。圖像信號生成處理控制部(112b)通過兩幅圖像連續(xù)攝像控制部(112a)的控制，對從CCD攝像元件(105)獲得的兩幅圖像(原圖像信號)，控制進行原圖像信號之間位置偏移的修正的同時進行合成產(chǎn)生一幅靜止圖像(合成圖像信號)的圖像信號生成處理。
文檔編號H04N5/351GK1452386SQ0311065
公開日2003年10月29日 申請日期2003年4月18日 優(yōu)先權日2002年4月18日
發(fā)明者吉田英明 申請人:奧林巴斯光學工業(yè)株式會社