專利名稱：電子式抖動校正裝置的制作方法
技術領域：
本發(fā)明涉及一種對所拍攝的圖像的抖動進行電子校正的電子式抖動校正裝置。
背景技術：
使用固體攝像元件來拍攝靜態(tài)圖像和動態(tài)圖像的攝像裝置，有不少采取用手握持著來攝影的結構。在這種攝像裝置中，例如在被攝體的亮度低時，快門速度變慢，容易產生抖動，這已被公知。并且，在車載攝像機等中，由于行駛時的振動，同樣有可能產生抖動，這也被公知。
以往已提出各種校正這種抖動的技術，有對應于振動使光學系統(tǒng)移動的光學式抖動校正、對應于振動使固體攝像元件移動的傳感器移動式抖動校正、通過處理所拍攝的圖像來校正抖動的電子式抖動校正等。
其中，在電子式抖動校正中有對應動畫的校正，該技術對應于抖動使圖像切取位置在每幀中不同，由此使圖像內的被攝體位置保持一定，該技術不是用于防止1幀內的圖像抖動的，所以不能適用于靜態(tài)圖像。
與此相對，也提出各種能夠適用于靜態(tài)圖像的電子式抖動校正。
例如，在日本特開2001-45359號公報中記載的攝像裝置，從攝像元件連續(xù)讀出多個圖像存儲在圖像存儲器中，然后校正這些多個圖像的相互之間的抖動并合成，由此生成校正了抖動的圖像。
另外，在日本特開2005-198148號公報中記載的固體攝像元件，在攝像元件內設置沿水平和垂直方向傳送圖像的電荷傳送部，校正所攝像的第1圖像和在上述電荷傳送部上傳送的第2圖像的相對抖動，將這些第1圖像和第2圖像合成，由此生成校正了抖動的圖像。
專利文獻1 日本特開2001-45359號公報專利文獻2 日本特開2005-198148號公報上述各個公報記載的技術在調整了多個圖像的相對位置后進行合成，從而獲得一個圖像?？墒牵谛Ｕ齨(n為正的整數(shù))張時分拍攝的圖像的相互之間的抖動后生成一個合成圖像時，在所生成的合成圖像的端部產生所合成的圖像的張數(shù)不足n張的區(qū)域。這種不足n張的區(qū)域與n張所合成的區(qū)域相比，亮度級差式地變小，所以需要切除或進行校正處理。這種不足n張的區(qū)域通常與圖像總體大小相比小到可以忽視的程度，并且校正時需要復雜的處理，所以采用切除的方法即簡單又實用。但是，在像照相機這樣由不特定的很多用戶使用的設備中，根據攝影者的技能，抖動變得非常大，也考慮將會產生導致有效圖像區(qū)域狹小到不能允許的程度的情況。

發(fā)明內容
本發(fā)明就是鑒于上述情況而提出的，其目的在于，提供一種電子式抖動校正裝置，該電子式抖動校正裝置可以確保抖動被校正了的規(guī)定以上的大小的圖像的有效區(qū)域，且不依賴于攝影者的技能。
為了達到上述目的，第一發(fā)明的電子式抖動校正裝置具有攝影單元，其連續(xù)拍攝多個圖像；抖動校正單元，其檢測上述圖像的抖動；攝影次數(shù)控制單元，其控制連續(xù)拍攝的次數(shù)，以使上述連續(xù)拍攝的多個圖像內連續(xù)的規(guī)定數(shù)量的圖像全體的抖動量在預先確定的規(guī)定值內；抖動校正單元，其校正根據上述攝影次數(shù)控制單元的控制而進行了規(guī)定次數(shù)拍攝所得到的多個圖像的相互的抖動；以及圖像合成單元，其將由上述抖動校正單元校正后的圖像合成。
并且，第二發(fā)明的電子式抖動校正裝置在上述第一發(fā)明的電子式抖動校正裝置中，上述攝影單元構成為包括攝像元件，該攝像元件具有排列成矩陣狀的多個像素、和保存利用該像素生成的第1圖像的寄存器，上述抖動校正單元為了使利用上述像素生成的第2圖像和保存在上述寄存器中的第1圖像的相對抖動抵消，而使上述第1圖像和上述第2圖像的相對位置發(fā)生移動，上述圖像合成單元將由上述抖動校正單元校正后的上述第1圖像和上述第2圖像合成。
另外，第三發(fā)明的電子式抖動校正裝置在上述第一發(fā)明的電子式抖動校正裝置中，上述攝影次數(shù)控制單元控制攝影次數(shù)，以使上述連續(xù)拍攝的多個圖像的全體的抖動量在預先確定的規(guī)定值以內。
第四發(fā)明的電子式抖動校正裝置在上述第一發(fā)明的電子式抖動校正裝置中，上述攝影次數(shù)控制單元控制攝影次數(shù)，以使上述連續(xù)拍攝的多個圖像的全體的曝光時間在把攝影鏡頭的焦距的倒數(shù)乘以預先確定的規(guī)定系數(shù)而得到的曝光時間以下。
第五發(fā)明的電子式抖動校正裝置在上述第二發(fā)明的電子式抖動校正裝置中，還具有放大單元，在上述連續(xù)拍攝的圖像的數(shù)量未達到預先確定的規(guī)定數(shù)量時，上述放大單元將由上述圖像合成單元合成的圖像放大。
第六發(fā)明的電子式抖動校正裝置在上述第一發(fā)明的電子式抖動校正裝置中，上述攝像單元構成為具有攝像元件，其具有排列成矩陣狀的多個像素；信號處理單元，其接受該攝像元件的輸出信號，生成被數(shù)字化的多個圖像；存儲單元，其存儲由上述信號處理單元處理后的圖像，上述抖動校正單元校正存儲在上述存儲單元中的圖像的抖動。
根據本發(fā)明的電子式抖動校正裝置，可以確保抖動被校正了的規(guī)定以上大小的圖像的有效區(qū)域，且不依賴于攝影者的技能。


圖1是表示本發(fā)明的實施方式1的數(shù)字照相機的主要的電氣結構的方框圖。
圖2是表示在上述實施方式1中，把儲存在光電二極管中的電荷作為第1像素電荷傳送給垂直傳送CCD的狀態(tài)的圖。
圖3是表示在上述實施方式1中，在讀出第1像素電荷后把儲存在光電二極管中的電荷作為第2像素電荷傳送給水平傳送CCD并繼續(xù)沿水平方向傳送，同時在垂直方向傳送第1像素電荷的狀態(tài)的圖。
圖4是表示在上述實施方式1中，將第1像素電荷和第2像素電荷相加的狀態(tài)的圖。
圖5是表示在上述實施方式1中，將相加后的電荷轉移到同一像素內的垂直傳送CCD的電荷保存部中的狀態(tài)的圖。
圖6是表示上述實施方式1的攝像元件的第1結構示例的圖。
圖7是表示上述實施方式1的攝像元件的第2結構示例的圖。
圖8是表示上述實施方式1的電荷排出用漏極的一個結構示例的圖。
圖9是表示上述實施方式1的電荷排出用漏極的另一結構示例的圖。
圖10是表示在上述實施方式1中，利用數(shù)字照相機拍攝并記錄圖像時、對應于圖7所示第2結構示例的攝像元件的處理的一例的流程圖。
圖11是表示在上述實施方式1中，利用數(shù)字照相機拍攝并記錄圖像時、對應于圖7所示第2結構示例的攝像元件的處理的另一示例的流程圖。
圖12是表示在上述實施方式1中3個時分圖像的重疊關系的有效區(qū)域的圖。
圖13是表示在上述實施方式1中攝像元件的攝像區(qū)域之中的有效區(qū)域的圖。
圖14是表示本發(fā)明的實施方式2的攝像元件的動作的時序圖。
圖15是表示上述實施方式2的信息處理部的抖動圖像校正處理的流程圖。
標號說明1固體攝像元件(攝影單元)；1a攝像部；1b儲存部；2相關雙采樣電路(CDS)(攝影單元、信息處理單元)；3增益控制放大器(AMP)(攝影單元、信息處理單元、放大單元)；4A/D轉換器(攝影單元、信息處理單元)；5定時產生器(TG)(攝影單元、攝影次數(shù)控制單元)；6信號產生器(SG)(攝影單元、攝影次數(shù)控制單元)；7CPU(攝影單元、抖動檢測單元、攝影次數(shù)控制單元、抖動校正單元、圖像合成單元)；8信息處理部(攝影單元、抖動校正單元、圖像合成單元、信息處理單元、抖動檢測單元)；8a緩沖存儲器(存儲單元)；9 DRAM；10壓縮解壓縮部；11記錄介質；12液晶顯示部；13接口部；14鏡頭驅動系統(tǒng)；15攝影鏡頭(攝影單元)；16光圈驅動系統(tǒng)；17光圈(攝影單元)；18a第1快門釋放開關；18b第2快門釋放開關；19、20角速度傳感器(抖動檢測單元)；21、22 A/D轉換器(抖動檢測單元)；23距離檢測部；24EEPROM；25攝影模式設定部；26攝影條件設定部；27光電二極管；28水平傳送CCD；29垂直傳送CCD；30電荷排出用漏極；31讀出用水平傳送CCD；32光電二極管；33垂直傳送CCD；34垂直傳送CCD；35水平傳送CCD；36電荷排出用漏極；37讀出用水平傳送CCD；381像素；39傳送電極；40柵極；41電荷排出用漏極；42n型襯底；43p型擴散區(qū)域；44n-擴散區(qū)域；51、52、53時分圖像；54有效區(qū)域；55攝像區(qū)域；56有效區(qū)域。
具體實施例方式
在具體說明實施方式之前，首先簡單說明用于校正抖動的原理。
例如，假設對被攝體進行測光得到的合適曝光時間(總曝光時間)為1/15秒。并且，假設在該1/15秒的曝光時間(快門速度)中產生抖動。與此相對，在曝光時間(快門速度)為1/125秒時，認為沒有產生抖動、或者產生的抖動實質上可以忽視。在這種情況下，把上述的總曝光時間1/15秒時分割為1/125秒的曝光時間，通過該時分攝影進行8次攝影，將通過該時分攝影得到的8張圖像合成(相加)，由此得到1/15秒的合適曝光時間的1張圖像。但是，如果將上述以1/125秒拍攝的基于時分攝影的圖像單純地合成則不能校正抖動，所以在相互地校正了各個時分圖像的抖動后再合成。在該合成的圖像中所有時分圖像相重復的區(qū)域成為有效區(qū)域。但是，在抖動過大時，該有效區(qū)域變狹小。因此，在抖動量大于等于規(guī)定的允許量時，將超過該允許水平的圖像從合成對象中排除，以使有效區(qū)域不怎么變小。并且，將1張以上的時分圖像排除后得到的合成圖像在不進行任何處理的狀態(tài)下信號電平不能達到規(guī)定電平，所以根據所排除的時分圖像的數(shù)量、即所合成的時分圖像的數(shù)量，將圖像放大以得到合適的信號電平。
以下說明的實施方式1，在攝像元件內快速進行這種抖動校正和時分圖像的合成。并且，以下說明的實施方式2，在從攝像元件讀出時分圖像并轉換為數(shù)字信號后，進行上述的抖動校正和時分圖像的合成。
以下，參照

本發(fā)明的實施方式。
圖1～圖13表示本發(fā)明的實施方式1，圖1是表示數(shù)字照相機的主要電氣結構的方框圖。本實施方式將電子式抖動校正裝置適用于數(shù)字照相機。
該數(shù)字照相機包括固體攝像元件(以下適當?shù)芈苑Q為攝像元件)1；相關雙采樣電路(CDSCorrelated Double Sampling)2；增益控制放大器(AMP)3；A/D轉換器4；定時產生器(TG)5；信號產生器(SG)6；CPU7；信息處理部8；DRAM9；壓縮解壓縮部10；記錄介質11；液晶顯示部12；接口部13；鏡頭驅動系統(tǒng)14；攝影鏡頭15；光圈驅動系統(tǒng)16；光圈17；第1快門釋放開關18a和第2快門釋放開關18b；角速度傳感器19和角速度傳感器20；A/D轉換器21和A/D轉換器22；距離檢測部23；內置于CPU 7中的EEPROM24；攝影模式設定部25；攝影條件設定部26。
攝影鏡頭15是使被攝體像成像于攝像元件1的攝像面的攝像光學系統(tǒng)，構成攝像單元。
光圈17是通過規(guī)定來自該攝影鏡頭15的成像光束的通過范圍來進行光量調整的光學光圈，是攝像光學系統(tǒng)的一部分，構成攝影單元。
攝像元件1對通過光圈17由攝影鏡頭15成像的被攝體像進行光電轉換，作為電信號輸出，構成攝影單元。此處，圖6表示攝像元件1的第1結構示例，圖7表示攝像元件1的第2結構示例。圖6、圖7所示的攝像元件1均具有被排列成矩陣狀的多個光電二極管；保存通過可以允許抖動的快速曝光控制由上述光電二極管生成的第1圖像的、作為第1寄存器的水平傳送CCD或垂直傳送CCD；保存在上述第1圖像之后拍攝的第2圖像的、作為與上述第1寄存器不同的第2寄存器的水平傳送CCD或垂直傳送CCD，為了抵消保存在第1寄存器和第2寄存器中的兩個圖像的相對抖動，在將這兩個圖像在上述第1寄存器內和上述第2寄存器內移位之后，將上述兩個圖像合成，把該合成的圖像保存在上述第1寄存器或上述第2寄存器中，通過反復執(zhí)行這些動作，在攝像元件1內生成校正了抖動的圖像。關于這種攝像元件1的更加具體的結構和作用將在后面說明。
TG 5提供用于驅動該攝像元件1的傳送脈沖，構成攝影單元、信號處理單元。
CDS 2按照從TG 5提供的樣本保持脈沖(sample hold pulse)而被驅動，通過對從攝像元件1輸出的圖像信號進行相關雙采樣等處理，去除復位噪聲，構成攝影單元、信號處理單元。
SG 6根據CPU 7的控制，生成同步信號輸出給TG 5，構成攝影單元、信號處理單元。
增益控制放大器(AMP)3是對從CDS 2輸出的模擬信號進行放大的放大單元，構成攝影單元、信號處理單元。該增益控制放大器(AMP)3的放大率被設定為與ISO(International Organization for Standardization)靈敏度Sv對應的放大率，即增益控制放大器(AMP)3成為ISO靈敏度變更部。并且，增益控制放大器(AMP)3的放大率也在當時分拍攝的圖像數(shù)量未達到規(guī)定數(shù)量時，為了彌補該不足部分而將所合成的圖像放大時使用。
A/D轉換器4是模擬/數(shù)字轉換部，其按照從TG 5提供的信號，把從增益控制放大器(AMP)3輸出的模擬信號轉換為數(shù)字信號，構成攝影單元、信號處理單元。
信息處理部8處理從A/D轉換器4輸出的像素信號，輸出圖像數(shù)據，構成攝影單元、抖動校正單元、圖像合成單元、信號處理單元。該信息處理部8包括有效區(qū)域提取部，其具有從由攝像元件1輸出的圖像數(shù)據中提取出適當?shù)匦Ｕ硕秳拥膱D像數(shù)據的功能。另外，該信息處理部8構成為具有作為存儲單元的緩沖存儲器8a，用于暫時存儲圖像數(shù)據。
DRAM 9暫時存儲從信息處理部8輸出的圖像數(shù)據，并且暫時存儲通過壓縮解壓縮部10將從記錄介質11讀出的壓縮圖像數(shù)據解壓縮得到的圖像數(shù)據。另外，上述緩沖存儲器8a也可以構成為兼?zhèn)銬RAM 9的功能。
壓縮解壓縮部10壓縮存儲在DRAM 9中的圖像數(shù)據，并且將從記錄介質11讀出的壓縮圖像數(shù)據解壓縮。
記錄介質11是記錄被壓縮解壓縮部10壓縮的圖像數(shù)據的記錄部，例如是非易失性記錄介質。
液晶顯示部12顯示從信息處理部8輸出的圖像數(shù)據、或從DRAM 9輸出的被解壓縮的圖像數(shù)據。該液晶顯示部12兼作為進行各種報警顯示等的顯示部。
接口部13是包括進行與監(jiān)視器和個人電腦等外部裝置的數(shù)據交接的端子的接口?？梢酝ㄟ^該接口部13向外部裝置輸出從信息處理部8或DRAM 9提供的圖像數(shù)據等，或者根據情況可以將圖像數(shù)據等從外部裝置取入數(shù)字照相機內。
鏡頭驅動系統(tǒng)14根據由距離檢測部23檢測出的被攝體距離，從CPU7接受指令，向對焦位置驅動攝影鏡頭15。這種處理作為所謂的自動對焦控制已被公知。另外，此處根據來自距離檢測部23的輸出進行自動對焦控制，但是CPU 7也可以對存儲在DRAM 9中的1幀(1畫面)部分的圖像數(shù)據的亮度成分，使用高通濾波器等提取高頻成分，計算所提取的高頻成分的累計合成值等，由此計算與高頻側的輪廓成分等對應的AF評價值，根據該AF評價值進行焦點檢測。
光圈驅動系統(tǒng)16是光圈控制部，作為測光部的CPU 7根據存儲在DRAM 9中的圖像數(shù)據進行曝光計算，光圈驅動系統(tǒng)16從該CPU 7接受基于該結果的指令，從而驅動光圈17并變更開口直徑。這種處理作為所謂AE(自動曝光)控制已被公知。
角速度傳感器19是抖動檢測單元，在把從被攝體側觀看數(shù)字照相機時的左右方向的右方向設為X軸方向時，檢測以該X軸方向為旋轉中心使數(shù)字照相機旋轉時的角速度。
另一方面，角速度傳感器20是抖動檢測單元，在把數(shù)字照相機的上下方向的上方向設為Y軸方向時，檢測以該Y軸方向為旋轉中心使數(shù)字照相機旋轉時的角速度。
A/D轉換器21是抖動檢測單元的一部分，按規(guī)定的時間間隔(采樣間隔)把表示由角速度傳感器19檢測出的角速度的模擬信號轉換為數(shù)字信號。
同樣，A/D轉換器22是抖動檢測單元的一部分，按規(guī)定的時間間隔(采樣間隔)把表示由角速度傳感器20檢測出的角速度的模擬信號轉換為數(shù)字信號。
CPU 7進行對通過A/D轉換器21轉換后的數(shù)字信號進行時間積分的處理。該時間積分后的數(shù)字信號相當于以照相機主體的上述X軸為旋轉中心的旋轉量。并且，繞X軸的旋轉方向是右旋轉還是左旋轉，根據角速度傳感器19的模擬輸出信號是正還是負來判別。
同樣，CPU 7進行對通過A/D轉換器22轉換后的數(shù)字信號進行時間積分的處理。該時間積分后的數(shù)字信號相當于以照相機主體的上述Y軸為旋轉中心的旋轉量。并且，繞Y軸的旋轉方向是右旋轉還是左旋轉，根據角速度傳感器20的模擬輸出信號是正還是負來判別。
第1快門釋放開關18a是由指示輸入攝像動作的自動恢復型的兩級開關構成的快門釋放開關的第1級。當快門釋放開關被按下，該第1快門釋放開關18a接通時，進行測距動作和測光動作。
第2快門釋放開關18b是由指示輸入攝像動作的自動恢復型的兩級開關構成的快門釋放開關的第2級。當快門釋放開關進一步被按下，該第2快門釋放開關18b接通時，通過攝像元件1進行攝像動作，按照上面所述生成圖像數(shù)據，在被壓縮后記錄在記錄介質11中。
距離檢測部23用于檢測到被攝體的距離，可以適當采用公知的結構。
攝影模式設定部25用于選擇快門優(yōu)先攝影模式、光圈優(yōu)先攝影模式、程序攝影模式中的任一模式。
攝影條件設定部26用于設定快門速度(曝光時間)和光圈值、ISO靈敏度等各種攝影條件。
CPU 7內置EEPROM 24作為非易失性存儲器，該EEPROM 24存儲曝光值Ev與用于進行最佳曝光控制的Tv(曝光時間的峰值)以及Av(光圈值的峰值)的關系作為程序線圖。在該EEPROM 24中也可以適當存儲數(shù)字照相機所需要的其他信息。
該CPU 7被輸入來自第1快門釋放開關18a的信號、來自第2快門釋放開關18b的信號、通過了A/D轉換器21的來自角速度傳感器19的信號、通過了A/D轉換器22的來自角速度傳感器20的信號、來自攝影模式設定部25的信號、和來自攝影條件設定部26的信號。并且，CPU 7向TG 5和SG 6輸出指令。
另外，CPU 7與信息處理部8、DRAM 9、鏡頭驅動系統(tǒng)14、光圈驅動系統(tǒng)16和距離檢測部23雙向連接，CPU 7成為控制包括這些部分在內的數(shù)字照相機整體的控制部，兼作為攝影單元、抖動檢測單元、攝影次數(shù)控制單元、抖動校正單元和圖像合成單元。
具體地講，CPU 7進行上述的自動對焦控制和AE控制，根據來自第1快門釋放開關18a和第2快門釋放開關18b的指示取入靜態(tài)圖像的信號，進行攝像元件1的驅動模式的切換。另外，該CPU 7進行變更光圈17的開口的控制、和攝像元件1的曝光時間控制等。并且，CPU 7根據來自攝影模式設定部25的輸入，設定該數(shù)字照相機的攝影模式，根據來自攝影條件設定部26的輸入，設定數(shù)字照相機的相關攝影條件。此外，CPU 7也根據來自角速度傳感器19、20的輸出進行抖動量的計算等。
下面，參照圖2～圖5說明攝像元件1的動作原理。圖2是表示把儲存在光電二極管中的電荷作為第1像素電荷傳送給垂直傳送CCD的狀態(tài)的圖，圖3是表示在讀出第1像素電荷后把儲存在光電二極管中的電荷作為第2像素電荷傳送給水平傳送CCD并繼續(xù)沿水平方向傳送，并且在垂直方向傳送第1像素電荷的狀態(tài)的圖，圖4是表示將第1像素電荷和第2像素電荷相加的狀態(tài)的圖，圖5是表示將相加的電荷轉移到同一像素內的垂直傳送CCD的電荷保存部中的狀態(tài)的圖。
在攝像元件1中，接受來自被攝體的光線而產生電荷的多個光電二極管27排列成矩陣狀，被排列成矩陣狀的這些光電二極管27構成光電轉換部。
另外，攝像元件1具有作為抖動校正部、合成部的水平傳送CCD 28，該水平傳送CCD 28是與光電轉換部的光電二極管27的各行相鄰地沿行方向配置的水平傳送寄存器。該水平傳送CCD 28存儲讀出由光電二極管27產生的電荷而得到的第1圖像，并且在水平方向傳送該第1圖像。
并且，攝像元件1具有作為抖動校正部、合成部的垂直傳送CCD 29，該垂直傳送CCD 29是與光電轉換部的光電二極管27的各列相鄰地沿列方向配置的垂直傳送寄存器。該垂直傳送CCD 29存儲與將在第1圖像的前面時刻得到的電荷合成而得到的合成電荷相關的第2圖像，并且在垂直方向傳送該第2圖像。
并且，配置在水平傳送CCD 28和垂直傳送CCD 29交叉的位置上的電極部分，作為將第1圖像和第2圖像模擬合成的合成部發(fā)揮作用。
另外，此處示出多個光電二極管27在縱方向和與該縱方向垂直的橫方向排列形成矩陣狀的示例，但只要是實質上形成矩陣狀的排列即可，不限于此。例如，也可以是排列在一個方向上和與該一個方向斜交的另一個方向上并形成矩陣狀。此時，只要將水平傳送CCD 28和垂直傳送CCD 29配置在相互斜交的方向上即可。另外，光電二極管27的形狀也不限于正方形和矩形，還可以是平行四邊形和三角形、六邊形等各種形狀。
并且，攝像元件1中的1像素38包括一個光電二極管27、和與該光電二極管27相鄰的水平傳送CCD 28的部分和垂直傳送CCD 29的部分。并且，把1像素38的尺寸設為水平方向(橫方向)長度為Lx、垂直方向(縱方向)長度為Ly。
說明這種結構的攝像元件1的動作。
以下，把配置在攝像元件1的左上角的光電二極管表述為P1、1，把配置在水平方向向右側第i(i為1以上的整數(shù))個、垂直方向向下側第j(j為1以上的整數(shù))個的位置上的光電二極管表述為Pi、j。
圖2表示將最初被光電轉換并儲存的光電二極管Pi、j的電荷(第1像素電荷)(在圖中利用圓圈表示)移動(讀出)到與該光電二極管Pi、j相鄰的垂直傳送CCD 29中的狀態(tài)。另外，在該圖2中，只圖示了與光電二極管Pi、j相關的第1像素電荷，但在其他所有光電二極管中僅在相同時間被光電轉換并儲存的電荷，同樣也被一起移動到垂直傳送CCD 29中。
圖3表示將在移動第1像素電荷后被光電轉換并儲存的光電二極管Pi-1、j-1的電荷(第2像素電荷)，首先移動(讀出)到與該光電二極管Pi-1、j-1相鄰的水平傳送CCD 28中的狀態(tài)。另外，在該圖3中，只圖示了與光電二極管Pi-1、j-1相關的第2像素電荷，但在其他所有光電二極管中僅在相同時間進行光電轉換并儲存的電荷，同樣也被一起移動到水平傳送CCD 28中。此處，假設在儲存第1像素電荷時到達光電二極管Pi、j的來自被攝體的光，在儲存第2像素電荷時由于抖動等移動到到達光電二極管Pi-1、j-1的位置。該光的到達位置的變化在第2像素電荷的儲存結束的時間點才被判明，所以在圖2所示狀態(tài)下，先不傳送第1像素電荷，而只保存(存儲)在垂直傳送CCD 29中。但是，在讀出第2像素電荷后，根據角速度傳感器19、20的輸出判明光的到達位置的變化，所以了解了涉及同一被攝體光的第1像素電荷和第2像素電荷的位置關系，為了進行后面敘述的合成，進行向相互接近的位置(同一像素38內的位置)的傳送。即，在圖3中，示出了第2像素電荷在水平傳送CCD 28上沿紙面右方向被傳送1個像素分量，并且第1像素電荷在垂直傳送CCD29上沿紙面上方向被傳送1像素分量的示例。另外，第1像素電荷的傳送和第2像素電荷的傳送對于所有光電二極管涉及的像素電荷都進行，這與上面敘述的相同。為了進行這種基于水平傳送CCD 28的傳送和基于垂直傳送CCD 29的傳送，需要花費功夫進行傳送電極的配置，以使在各個傳送CCD交叉的位置上水平傳送CCD 28內的電荷和垂直傳送CCD 29內的電荷不干涉。
圖4表示將第1像素電荷和第2像素電荷移動到水平傳送CCD 28和垂直傳送CCD 29交叉的位置，并在該交叉位置合成的狀態(tài)(在圖4中利用“+”表示合成)。當然，對于所有光電二極管涉及的第1像素電荷和所有光電二極管涉及的第2合成電荷都進行該合成。
由此，第1圖像(由所有第1像素電荷構成的圖像)、和該第1圖像之后連續(xù)拍攝的第2圖像(由所有第2像素電荷構成的圖像)，在僅移動了抖動量后、即校正了抖動后被合成。
另外，在新讀出第3個及第3個以后的時分圖像時，相當于第1圖像的圖像是將此前的時分圖像合成得到的合成圖像(依次對從第一個時分圖像到最新的前一個時分圖像進行校正抖動并合成得到的圖像)，所以通過進行該圖4所示的動作，在校正了新的時分圖像(由所有新的像素電荷構成的圖像)和合成圖像的相對抖動量后合成。
圖5表示將在水平傳送CCD 28和垂直傳送CCD 29的交叉位置上合成后的像素電荷傳送(轉移)到同一像素內的例如垂直傳送CCD 29的電荷保存部的狀態(tài)。由于交叉位置在水平傳送和垂直傳送雙方中使用，所以若在該交叉位置上保存合成電荷，則不能進行與下一個讀出的像素電荷的合成。
因此，此處暫且將合成后的電荷轉移到垂直傳送CCD 29的電荷保存部中。由此，如果向水平傳送CCD 28讀出下一個像素電荷，則與上述相同可以進行像素的合成。
另外，此處將合成后的電荷傳送(轉移)到同一像素內的垂直傳送CCD 29的電荷保存部中，但也可以傳送(轉移)到同一像素內的水平傳送CCD 28的電荷保存部中來取代垂直傳送CCD 29的電荷保存部。此時，下一個像素電荷被讀出到垂直傳送CCD 29中。并且，把合成后的像素電荷轉移也不一定局限在同一像素內。
因此，不限于圖2～圖5所示的示例，合成電荷可以存儲在水平傳送CCD 28和垂直傳送CCD 29的任一方的存儲部中，新的像素電荷也可以讀出并存儲到水平傳送CCD 28和垂直傳送CCD 29中任一另一方的存儲部中。
按照以上說明的那樣重復進行以下步驟圖像向水平傳送CCD的移動→校正相對抖動用的電荷傳送→電荷的合成→使合成后的電荷從水平傳送CCD和垂直傳送CCD交叉的位置轉移。
但是，對于多個時分攝影內第一個時分攝影的時分圖像，抖動量為0，垂直傳送CCD的電荷的合成值為0，所以執(zhí)行相同步驟即足以。
另外，在圖2～圖5中，示出了新的時分圖像相對于合成圖像僅向左方向偏移1像素而且向上方向偏移1像素的示例，但一般使在水平方向和垂直方向上僅移動對應于偏移量的適當?shù)南袼財?shù)。
以上說明的抖動校正的動作原理，用于校正在被配置成包圍攝像部的各個光電二極管的水平傳送CCD和垂直傳送CCD中儲存的兩個圖像的X方向和Y方向的相對抖動(參照圖6)。與此相對，如后面參照圖7說明的那樣，在攝像元件1內設置與攝像部不同的儲存圖像用的儲存部，在該儲存部中，設置用于保存時分拍攝到的圖像的垂直傳送CCD、和用于存儲對該時分圖像和此前的時分圖像的抖動進行校正并合成得到的合成圖像的水平傳送CCD，由此同樣可以在攝像元件1內生成校正了抖動的圖像。
下面，圖6是表示攝像元件1的第1結構示例的圖。
第1結構示例的攝像元件1如圖6所示構成為具有對圖像進行光電轉換并儲存的光電二極管27；水平傳送CCD 28，其沿水平方向傳送從該光電二極管27讀出的電荷；垂直傳送CCD 29，其沿垂直方向傳送從該光電二極管27讀出的電荷；電荷排出用漏極30，其將傳送到上述水平傳送CCD 28或垂直傳送CCD 29的端部的電荷排出到傳送路徑之外；讀出用水平傳送CCD 31，其從攝像元件1將從垂直傳送CCD 29傳送來的電荷讀出到外部。
此處，電荷排出用漏極30在攝像部的讀出用水平傳送CCD 31側除外的邊緣，被設置成為“コ”狀，以便可以將傳送到所有水平傳送CCD 28的兩端部、和所有垂直傳送CCD 29的位于圖6中紙面上側的端部的電荷排出到傳送路徑之外。
在這種結構中，通過光電二極管27被光電轉換并儲存的像素電荷，被讀出并存儲在水平傳送CCD 28中。儲存在該水平傳送CCD 28中的電荷全體形成第1圖像。并且，在垂直傳送CCD 29中存儲著此前的合成電荷。該合成電荷全體形成第2圖像。新讀出的像素電荷在被讀出的水平傳送CCD 28內，根據基于角速度傳感器20的輸出而計算的繞Y軸的抖動而被傳送，傳送的移動量僅是用于校正與存儲在垂直傳送CCD 29中的第2圖像在水平方向上的相對抖動量的移動量。另一方面，存儲在垂直傳送CCD 29中的作為合成圖像的第2圖像在垂直傳送CCD 29內，根據基于角速度傳感器19的輸出而計算的繞X軸的抖動而被傳送，傳送的移動量僅是用于校正與存儲在水平傳送CCD 28中的第1圖像在垂直方向上的相對抖動量的移動量。
在進行了這種僅校正抖動量的移動后，然后在水平傳送CCD 28和垂直傳送CCD 29交叉的位置，將新讀出的像素電荷與此前的合成電荷合成存儲在垂直傳送CCD 29中，由此生成校正了相對抖動的新的合成電荷。對以上說明的動作進行作為時分攝影的次數(shù)而設定的規(guī)定次數(shù)、例如10次。此處，儲存在垂直傳送CCD 29和水平傳送CCD 28中的電荷，對應于抖動而向上下左右移動，所以將到達各個傳送CCD 28、29的端部的電荷通過電荷排出用漏極30排出到傳送路徑之外。
在圖6所示的第1結構示例中，電荷排出用漏極30按圖8所示構成。此處，圖8是表示電荷排出用漏極30的結構示例的圖。在該圖8所示的結構示例中，在n型襯底(例如n型硅襯底)42的表面部分，首先朝向表面?zhèn)软樞蛐纬蓀型擴散區(qū)域(p阱p-well)43和n-擴散區(qū)域44。另外，與水平傳送CCD 28或垂直傳送CCD 29的端部即傳送電極39下方的勢阱(potential well)(n-擴散區(qū)域44)相鄰地形成有n+擴散區(qū)域的漏極30。并且，到達端部的傳送電極39的電荷通過該n+擴散區(qū)域的漏極30被排出。另一方面，到達垂直傳送CCD 29的讀出用水平傳送CCD31側的端部的電荷，通過該讀出用水平傳送CCD 31被排出。通過具有這種電荷排出結構，可以防止電荷在水平傳送CCD 28和垂直傳送CCD29中溢出。
通過以上處理得到的最終的合成電荷成為構成校正了抖動的圖像的電荷。
另外，在圖6所示的第1結構示例中，將時分圖像讀出到水平傳送CCD 28中，并且將所合成的圖像保存在垂直傳送CCD 29中，但也可以不這樣，而將時分圖像讀出到垂直傳送CCD 29中，將所合成的圖像保存在水平傳送CCD 28中。
下面，圖7表示攝像元件1的第2結構示例。
該圖7所示的攝像元件1是攝像部1a和儲存部1b要相分離的所謂FIT型CCD(幀內線傳送型CCD)。
攝像部1a構成為具有對圖像進行光電轉換并儲存的光電二極管32；在垂直方向上傳送從該光電二吸管32讀出的電荷的垂直傳送CCD33。
儲存部1b構成為具有垂直傳送CCD 34，其將從攝像部1a的垂直傳送CCD 33傳送來的電荷傳送到該儲存部1b內的規(guī)定位置；與該垂直傳送CCD 34交叉配置的水平傳送CCD 35；電荷排出用漏極36，其將傳送到水平傳送CCD 35的兩端部的電荷排出到傳送路徑之外；電荷排出用漏極41，其將傳送到垂直傳送CCD 34的攝像部1a側的端部的電荷排出到傳送路徑之外；讀出用水平傳送CCD 37，其從攝像元件1將從垂直傳送CCD 34傳送來的電荷讀出到外部。
在這種結構的攝像元件1中，通過光電二極管32被光電轉換并儲存的像素電荷，通過垂直傳送CCD 33被傳送給儲存部1b的垂直傳送CCD34。被傳送給該垂直傳送CCD 34的電荷全體形成第1圖像。
首先，通過第1次時分攝影傳送給垂直傳送CCD 34的第1圖像之后被傳送給水平傳送CCD 35。把儲存在該水平傳送CCD 35中的圖像作為第2圖像。
然后，通過時分攝影而拍攝的圖像再次傳送給垂直傳送CCD 34。并且，該第1圖像根據基于角速度傳感器19的輸出而計算的繞X軸的抖動，在抵消與儲存在水平傳送CCD 35中的第2圖像在垂直方向上的相對抖動的方向上僅移動規(guī)定量。并且，第2圖像根據基于角速度傳感器20的輸出而計算的繞Y軸的抖動，在抵消與儲存在垂直傳送CCD 34中的第1圖像在水平方向上的相對抖動的方向上僅移動規(guī)定量。并且，為了抵消垂直方向和水平方向上的相對抖動而移動后的第1圖像和第2圖像，在垂直傳送CCD 34和水平傳送CCD 35交叉的位置或其附近被合成，并儲存在水平傳送CCD 35中。
然后再次進行時分攝影，該拍攝的圖像作為第1圖像保存在儲存部1b的垂直傳送CCD 34中。并且，與此相同生成校正了抖動的合成圖像，并保存在水平傳送CCD 35中。對這種動作進行作為時分攝影的次數(shù)而設定的規(guī)定次數(shù)、例如10次。此處，為了使儲存在垂直傳送CCD 34和水平傳送CCD 35中的電荷對應于抖動而向上下左右移動，到達水平傳送CCD 35的端部的電荷通過電荷排出用漏極36排出到傳送路徑之外，到達垂直傳送CCD 34的攝像部1a側的端部的電荷通過電荷排出用漏極41排出到傳送路徑之外，到達垂直傳送CCD 34的讀出用水平傳送CCD 37側的端部的電荷通過該讀出用水平傳送CCD 37排出到傳送路徑之外。
該圖7所示的第2結構示例的攝像元件1的電荷排出用漏極36，與圖6所示的第1結構示例的攝像元件1的電荷排出用漏極30(參照圖8)相同，成為與水平傳送CCD 35的端部即傳送電極下方的勢阱(n-擴散區(qū)域)相鄰設置的n+擴散區(qū)域的漏極。
另一方面，如果使第2結構示例的攝像元件1的電荷排出用漏極41構成為與圖8所示相同，則來自攝像部1a的電荷將不會傳送到儲存部1b。因此，該電荷排出用漏極41按圖9所示構成。此處，圖9是表示電荷排出用漏極41的結構示例的圖。即，與垂直傳送CCD 34的攝像部1a側的端部的傳送電極39相鄰設置柵極40，在夾著該柵極40的傳送電極39的相反側位置上設置由n+擴散區(qū)域形成的電荷排出用漏極41。并且，傳送到垂直傳送CCD 34的攝像部1a側的端部的電荷，通過柵極40被選擇性地排出到電荷排出用漏極41。
即，在將來自攝像部1a的電荷傳送給儲存部1b時，向柵極40施加低電壓。由此，防止在垂直傳送CCD 34中傳送的電荷被排出到電荷排出用漏極41。另一方面，為了對儲存在儲存部1b中的電荷進行抖動校正而在垂直傳送CCD 34內傳送時，向柵極40施加高電壓，由此傳送到垂直傳送CCD 34的攝像部1a側的端部的電荷被排出到電荷排出用漏極41。并且，到達垂直傳送CCD 34的讀出用水平傳送CCD 37側的端部的電荷通過該讀出用水平傳送CCD 37被排出。
根據這種結構和作用，可以防止在垂直傳送CCD 34和水平傳送CCD 35中電荷溢出。
另外，在上述結構示例中，在進行抖動校正用的電荷傳送時，將垂直傳送CCD 34的攝像部1a側的端部的電荷排出到電荷排出用漏極41。但是，也可以不這樣，在進行抖動校正用的電荷傳送時，垂直傳送CCD 33也同時驅動并將到達垂直傳送CCD 34的上端部的電荷傳送(排出)給該垂直傳送CCD 33，由此防止電荷溢出。在該情況下，將排出到垂直傳送CCD 33的電荷，通過垂直傳送CCD 34(進行第1圖像和第2圖像的合成并儲存在水平傳送CCD 35中，未保存電荷的狀態(tài)下的垂直傳送CCD34)和讀出用水平傳送CCD 37而排出，然后進行下一次的時分攝影。
如上所述，當結束了規(guī)定次數(shù)的抖動校正和合成動作時，保存在水平傳送CCD 35中的圖像被傳送給垂直傳送CCD 34，然后通過垂直傳送CCD 34和讀出用水平傳送CCD 37從攝像元件1讀出到外部。
下面，圖10是利用數(shù)字照相機拍攝并記錄圖像時對應于圖7所示第2結構示例的攝像元件1的處理的一例的流程圖。
當數(shù)字照相機的電源被投入(例如更換電池等)、或未圖示的動作開始開關(例如電源開關)被操作時，該數(shù)字照相機開始動作。
當開始處理時，在進行了規(guī)定的初始值設定等后，首先根據攝影者的快門釋放操作判定是否處于第1快門釋放開關18a閉合的狀態(tài)(步驟S101)。
此處，在第1快門釋放開關18a沒有閉合時，分支到J101，反復進行相同的第1快門釋放開關18a的檢測。但是，實際上在J101和步驟S101之間，執(zhí)行進行顯示或檢測其他未圖示的鍵的輸入狀態(tài)的動作等，關于這種一般動作，以下將適當省略說明。
在步驟S101檢測到第1快門釋放開關18a已閉合時，接著運算抖動界限曝光時間TLimit(步驟S102)。該抖動界限曝光時間TLimit是從曝光開始起的假設抖動量達到允許界限的抖動量的時間。
此處，說明抖動界限曝光時間TLimit。作為有關35mm膠片照相機的縱24mm×橫36mm(對角43.28mm)的所謂萊卡版架構(別稱雙架構)照相機的長年經驗規(guī)律，在把毫米單位的攝影鏡頭的焦距設為f時，公知抖動界限曝光時間TLimit為TLimit1/f(秒)。在本實施方式中，在考慮了在數(shù)字照相機的攝像元件1的有效攝像區(qū)域內設定的攝影畫框大小的基礎上應用該經驗規(guī)律。另外，抖動界限曝光時間TLimit不一定要使用根據1/f而提供的值，總之，只要使用實質上不會產生抖動的曝光時間即可。因此，抖動界限曝光時間Tlimit也可以是大致上比根據1/f而提供的曝光時間短的時間。
然后，對被攝體的亮度進行測光(步驟S103)。該測光是監(jiān)視從攝像元件1反復輸出的圖像信號的電平，計算被攝體的亮度。即，從攝像元件1讀出的圖像信號通過CDS 2進行處理并通過增益控制放大器3放大后，通過A/D轉換器4轉換為數(shù)字值，經過信息處理部8暫時存儲在DRAM 9中。存儲在該DRAM 9中的圖像信號內的圖像整體中的例如中央部附近的規(guī)定區(qū)域的圖像信號，被CPU 7讀出，并求出其電平的相加平均值。并且，CPU 7根據所求出的相加平均值計算被攝體的亮度(Bv)。
然后，CPU 7計算為了實現(xiàn)合適曝光所需要的快門速度值(曝光時間)TExp和光圈17的光圈值，并且根據計算結果通過光圈驅動系統(tǒng)16進行光圈17的光圈設定(步驟S104)。此處，上述曝光時間TExp在把時分攝影的曝光時間設為ΔTExp、把時分攝影的次數(shù)設為m時，關系TExp＝m×ΔTExp成立。
然后，判定第2快門釋放開關18b是否閉合(步驟S105)。此處，在第2快門釋放開關18b沒有閉合時，只要第1快門釋放開關18a閉合就分支到J102，反復進行上述步驟S102～S105的處理，并待機等待該第2快門釋放開關18b閉合。
這樣，在步驟S105判定為第2快門釋放開關18b閉合時，判定曝光時間TExp是否比抖動界限曝光時間Tlimit短(步驟S106)。
在該步驟S106，在判定為不是TExp＜TLimit時，接著把將曝光時間TExp除以時分攝影次數(shù)m而得到的值，存儲在用于存儲時分攝影的曝光時間ΔTExp的存儲器中(步驟S107)。另外，〔〕表示存儲括弧內的數(shù)據的存儲器。因此，〔ΔTExp〕表示存儲括弧內的變量ΔTExp的存儲器。
然后，在存儲時分攝影實際執(zhí)行的次數(shù)n的存儲器〔n〕中存儲初始值“0”(步驟S108)。此處，作為上述時分攝影的曝光時間ΔTExp，有使用上述的抖動界限曝光時間TLimit的方法、和使用將在上述步驟S103計算的曝光時間TExp除以預先確定的時分攝影次數(shù)m而得到的曝光時間的方法。從能夠可靠校正抖動的方面講，使用抖動界限曝光時間TLimit作為時分攝影的曝光時間ΔTExp的方法比較好，但是當曝光時間TExp變長時，時分攝影的次數(shù)增加。如果時分攝影的次數(shù)增加，則每一次的時分攝影中能夠獲得的信號量變小，所以S/N(信噪比)有可能降低。并且，需要根據時分攝影的次數(shù)調整光電二極管的飽和信號量，所以攝像元件的結構變復雜。因此，時分攝影次數(shù)m的種類盡可能地少最好。在本實施方式中，時分攝影的次數(shù)m只有一種。并且，時分攝影的曝光時間使用將曝光時間TExp除以m而得到的值。
然后，開始曝光(步驟S109)。攝像元件1被反復施加攝像元件1的襯底施加高電壓脈沖VSUB，用于將在即將開始曝光前儲存在光電二極管32中的電荷強制排出到半導體襯底(襯底＝縱形溢出漏極VOFD)，該高電壓脈沖VSUB的施加結束、將VSUB的值設定為對應于上述時分攝影次數(shù)m的值的時間點為該步驟S109的曝光開始的時間點。
然后，判定1次時分攝影是否已結束(步驟S110)。此處，分支到J103待機等待時分攝影結束，直到判定為1次時分攝影已結束。
這樣，在步驟S110判定為1次時分攝影已結束的情況下，向配置于攝像元件1的光電二極管32和垂直傳送CCD 33之間的傳送柵極施加高電壓的傳送脈沖，由此將儲存于光電二極管32中的電荷移動到攝像部1a的垂直傳送CCD 33中。這種被移動到垂直傳送CCD 33中的電荷然后被傳送給儲存部1b的垂直傳送CCD 34。
此處，參照圖12和圖13說明攝像元件的有效區(qū)域。圖12是表示3個時分圖像的重疊關系中的有效區(qū)域的圖，圖13是表示攝像元件的攝像區(qū)域中的有效區(qū)域的圖。
首先，圖12表示以下情況，時分圖像51和時分圖像52和時分圖像53按照時分圖像51和時分圖像52和時分圖像53的順序通過時分攝影得到，為使各個圖像中的同一被攝體處于相同位置而將圖像進行了排列時的各個圖像彼此的位置關系按照圖示偏移。在這種情況下，最終校正了抖動并合成的有效區(qū)域54如圖所示，成為3個時分圖像51、52、53都重疊的區(qū)域。并且，圖像的抖動量越大該有效區(qū)域54越小。
通常，把根據圖像的長邊和短邊預先確定的規(guī)定區(qū)域(例如縱橫分別為畫面的98％的區(qū)域)設定為攝像區(qū)域55的有效區(qū)域56(參照圖13)，只要不把其他區(qū)域作為有效區(qū)域即足以。但是，根據攝影者的技能等，有時會產生設定之外的大的抖動。因此，在結束了一次時分攝影時，判定距曝光開始位置的X方向抖動量的絕對值Bx、或距曝光開始位置的Y方向抖動量的絕對值By是否大于等于預先設定的規(guī)定值α(該規(guī)定值α被設定為在絕對值Bx和By雙方小于α時，作為合成圖像至少能夠確保包括有效區(qū)域56的圖像的值)(步驟S111)。
并且，在該步驟S111，判定為X方向抖動量的絕對值Bx和Y方向抖動量的絕對值By的至少一方大于等于規(guī)定值α時，退出時分曝光程序，在對標志FLG設定1后(步驟S112)，轉入后述步驟S119的圖像的讀出處理(J104)。這是因為在抖動量大于等于規(guī)定值α時，抖動被正常地校正的圖像的有效區(qū)域變得比預先確定的規(guī)定區(qū)域狹小，所以為了防止該情況，結束時分攝影，以確保規(guī)定大小的有效區(qū)域。
并且，在步驟S112將FLG設定為1時，意味著時分攝影的次數(shù)未達到規(guī)定次數(shù)m，所以總體曝光時間未達到TExp，合成圖像的水平低于合適水平。因此，此時按照后面所述，利用增益控制放大器3放大圖像。例如，把時分攝影的次數(shù)設為k時(k為小于m的正整數(shù))，增益控制放大器3的放大率成為通常情況時的m/k倍。
并且，在步驟S111，判定為X方向抖動量的絕對值Bx和Y方向抖動量的絕對值By雙方均小于規(guī)定值α時，接著進行像素值合成處理(步驟S113)。在該像素值合成中，如已經說明的那樣，使通過時分攝影得到的垂直傳送CCD 34內的第1圖像、和保存在水平傳送CCD 35內的第2圖像，根據基于角速度傳感器19、20的輸出信號而計算的X方向和Y方向的抖動量，在各個傳送CCD 34、35內移動，由此進行抵消抖動的校正，然后進行合成處理。該像素值合成處理通常是比時分攝影中的曝光時間ΔTexp更快速地進行。
然后，在存儲已經進行的時分攝影次數(shù)n的存儲器〔n〕中存儲n+1(步驟S114)。
并且，判定已經進行的時分攝影次數(shù)n是否等于所設定的時分攝影次數(shù)m(步驟S115〕。
此處，在未達到n＝m時，分支到J103，按照上面所述反復進行時分攝影處理和像素值合成處理。
并且，在步驟S115判定為n＝m時，分支到J104，把存儲在水平傳送CCD 35中的合成圖像傳送給垂直傳送CCD 34，然后進行后述的步驟S119的讀出處理。
另一方面，在上述步驟S106判定為TExp＜TLimit時，即使不進行時分攝影，實質上也不會產生抖動。因此，此時在存儲器〔ΔTExp〕中存儲曝光時間TExp(步驟S116)。
然后，開始曝光(步驟S117)，判定曝光時間是否已達到存儲在存儲器〔ΔTExp〕中的曝光時間ΔTExp。在判定為已達到曝光時間ΔTExp時，將通過光電二極管32生成的電荷移動到垂直傳送CCD 33中，由此結束曝光(步驟S118)。在該曝光結束后，攝像部1a中的垂直傳送CCD 33的電荷被傳送給儲存部1b的垂直傳送CCD 34。另一方面，反復進行上述判定直到達到曝光時間ΔTExp。
這樣，在曝光時間TExp比抖動界限曝光時間TLimit短時，不進行時分攝影，與以往的攝影相同，通過一次攝影輸出沒有抖動的圖像，所以處理變簡單，并且可以防止伴隨抖動校正形成的電力的無用浪費。
在判定為在該步驟S118中曝光已結束、或在步驟S112已對標志FLG設定1并結束、或在步驟S115判定為n＝m時，所拍攝的圖像通過垂直傳送CCD 34和讀出用水平傳送CCD 37，被從該攝像元件1讀出到外部(步驟S119)。
這樣從攝像元件1讀出的圖像信號通過CDS 2進行處理，通過增益控制放大器(AMP)3放大后，通過A/D轉換器4轉換為數(shù)字信號(步驟S120)。但是，在上述步驟S112中標志FLG被設定為1時，增益控制放大器(AMP)3的放大率如上所述成為通常的放大率的m/k倍。
然后，將圖像信號數(shù)字化得到的圖像數(shù)據被存儲在緩沖存儲器8a中，然后通過信息處理部8實施規(guī)定的信號處理(步驟S121)。
通過該信息處理部8進行的信號處理，也包括從由攝像元件1輸出的圖像數(shù)據中提取被視為已有效地進行了抖動校正的預先確定的區(qū)域的圖像的處理。即，信息處理部8也具有有效區(qū)域提取部的功能。如上所述，在攝像元件1中，只對以最初拍攝的時分圖像為基準的抖動量小于預先確定的規(guī)定值α的時分圖像進行合成處理，以使所有時分圖像重復的區(qū)域包括預先確定的有效區(qū)域(圖13所示的有效區(qū)域56)。因此，信息處理部8可以簡單地進行有效區(qū)域的提取處理。
然后，通過信息處理部8進行信號處理后的圖像數(shù)據被暫時存儲在DRAM 9中(步驟S122)。
然后，通過壓縮解壓縮部10對存儲在DRAM 9中的圖像數(shù)據進行圖像壓縮(步驟S123)，把壓縮的圖像數(shù)據記錄在記錄介質11中(步驟S124)，結束該處理。
然后，圖11是表示在利用數(shù)字照相機拍攝并記錄圖像時、對應于圖7所示第2結構示例的攝像元件1的處理的另一示例的流程圖。另外，在該圖11中，對進行和圖10相同的處理的部分，敘述其主旨，并適當省略說明。
步驟S201～步驟S207的處理與圖10中的步驟S101～步驟S107的處理相同。但是，在步驟S201中第1快門釋放開關18a沒有閉合時跳到J201，在步驟S205中第2快門釋放開關18b沒有閉合時跳到J202。
并且，在步驟S207的處理結束后，接著計算(β×TLimit)/ΔTExp，把所計算的值存儲在變量k的存儲器即〔k〕中(步驟S208)。該計算算式中的β為預先確定的規(guī)定的系數(shù)，該計算式中的分子β×TLimit表示為了確保規(guī)定大小以上的大小的有效區(qū)域所必需的總體抖動量(以下稱為“允許抖動量”)。
此處，所說的有效區(qū)域指所有時分圖像重復的區(qū)域。因此，如果以曝光時間ΔTExp進行比[(β×TLimit)/ΔTExp]還多的次數(shù)的時分攝影，則總體抖動量將超過允許抖動量。
因此，判定是否k＞m(步驟S209)。
此處，在判定為k＞m時，即判定為由于k大于作為初始值預先確定的時分攝影次數(shù)m，所以即使進行m次的時分攝影也不會超過允許抖動量時，在存儲時分攝影次數(shù)的存儲器〔p〕中存儲m(步驟S210)。
另一方面，在判定為不是k＞m時，如果時分攝影次數(shù)超過k次，則時分攝影的總體抖動量將超過允許抖動量，所以在〔p〕中存儲k(步驟S211)。
在步驟S210或步驟S211的處理結束后，然后在存儲時分攝影次數(shù)的存儲器〔n〕中存儲初始值0(步驟S212)。
并且，開始曝光(步驟S213)，進行曝光直到曝光時間成為ΔTExp(步驟S214)。
然后，與在圖10的步驟S113中說明的相同，進行像素值合成(步驟S215)，在存儲器〔n〕中存儲n+1，由此增加時分攝影的次數(shù)(步驟S216)。
然后，判定時分攝影的次數(shù)〔n〕是否是p(步驟S217)，如果不是n＝p，則跳到J203，按照上面所述反復進行時分攝影和像素值合成。
并且，在該步驟S217中判定為n＝p時，跳到J204，把存儲在水平傳送CCD 35中的合成圖像傳送給垂直傳送CCD 34，然后通過讀出用水平傳送CCD 37讀出到該攝像元件1的外部(步驟S221)。
在后面的步驟S223中，通過增益控制放大器3將從攝像元件1讀出的圖像放大為通常放大率的m/p倍。進行這種放大是因為雖然為了獲得合適水平的圖像需要進行m次的時分攝影，但實際的時分攝影次數(shù)是p，需要根據該次數(shù)p進行放大。
并且，在步驟S206判定為TExp＜TLimit時，步驟S218～S226的處理與圖10中的步驟S116～S124的處理相同，所以省略說明。
如以上說明的那樣，在圖11中說明的處理中，把根據經驗見解得到的抖動界限曝光時間TLimit的β倍定義為為了確保預先確定的有效區(qū)域以上的區(qū)域而可以允許的總體抖動量，由于對時分攝影的次數(shù)進行控制以不超過該抖動量，與圖10中說明的那樣實時監(jiān)視抖動量并判定總體抖動量是否超過允許值的處理相比，具有容易控制的優(yōu)點。并且，通過進行該圖11所示的處理，將不需要角速度傳感器19、20和A/D轉換器21、22等，所以也能夠簡化結構。
另外，在上述圖10、圖11的流程圖中，說明了對應于圖7所示的第2結構示例的攝像元件1的數(shù)字照相機的動作，但關于對應于圖6所示的第1結構示例的攝像元件1的數(shù)字照相機的動作，只有圖10的步驟S113中的像素值合成處理被替換為已經說明的對應于圖6的攝像元件1的像素值合成，其他動作相同。
根據這種實施方式1，將連續(xù)拍攝的多個時分圖像中、具有與最初拍攝的時分圖像相比的抖動量在預先確定的規(guī)定值內的抖動量的時分圖像合成，所以能夠生成規(guī)定的有效區(qū)域的合成圖像。這樣，即使對于攝影技能不同的不特定的多個攝影者，也能夠使圖像的有效區(qū)域為規(guī)定大小以上的大小。
并且，在該合成圖像的信號電平沒有達到規(guī)定電平時，將合成圖像放大而使得達到規(guī)定電平，所以能夠獲得合適曝光的圖像。
并且，如果進行圖11所示的處理，則不采用檢測抖動量的角速度傳感器等特殊裝置，也能夠控制連續(xù)拍攝的次數(shù)，所以能夠簡化結構，并且容易進行控制。
圖14和圖15表示本發(fā)明的實施方式2，圖14是表示攝像元件1的動作的時序圖。在該實施方式2中，對與上述實施方式1相同的部分賦予相同標號并省略說明，主要只說明不同之處。
該實施方式2從攝像元件1讀出時分拍攝的圖像并將其數(shù)字化，存儲在緩沖存儲器8a中，然后利用信息處理部8進行抖動校正和圖像合成。
該數(shù)字照相機的電氣結構基本上與圖1所示大致相同，所以參照著該圖1等，主要說明與實施方式1的不同之處。
首先，固體攝像元件1在該實施方式2中不是能夠進行在實施方式1中敘述的抖動校正的攝像元件，是在普通數(shù)字照相機中使用的固體攝像元件、例如CCD固體攝像元件。另外，當然不限于CCD固體攝像元件，也可以是CMOS固體攝像元件等。
信息處理部8如上所述具有緩沖存儲器8a，但該緩沖存儲器8a為其容量可以存儲通過時分攝影得到的多個圖像的存儲器。并且，信息處理部8根據CPU 7的控制，計算求出通過時分攝影得到的多個圖像相互的抖動量，根據所求出的抖動量進行圖像處理，校正多個圖像的抖動并進行合成。此處，信息處理部8如后面所述，根據圖像內的數(shù)個點的特征點計算圖像的抖動量。因此，實施方式2的信息處理部8兼作為抖動檢測單元。這樣，在該實施方式2中，也可以不設置圖1所示的角速度傳感器19、20和A/D轉換器21、22。
下面，說明該實施方式的數(shù)字照相機的動作。首先，參照圖14說明攝像元件1的動作。
如圖14所示，當?shù)?快門釋放開關18b閉合并產生攝影觸發(fā)信號時，從定時產生器5向攝像元件1提供時鐘信號CLK。
接受了時鐘信號CLK的攝像元件1被反復施加襯底施加高電壓脈沖VSUB，用于將儲存在構成攝像元件1的像素的光電二極管中的電荷強制排出到半導體襯底(襯底＝縱形溢出漏極VOFD)，在該高電壓脈沖VSUB的施加結束時，曝光開始。
并且，當規(guī)定的時分攝影的曝光時間ΔTExp結束時，輸出用于把攝像元件1的光電二極管的電荷移動到垂直傳送CCD的移動脈沖TP。然后，與垂直同步信號VD同步，向各個傳送電極施加電壓Vφ1～Vφ4，由此圖像被從攝像元件1讀出。
并且，與來自攝像元件1的圖像的讀出開始同步，再次向攝像元件1施加VSUB僅規(guī)定的施加時間Tsub。
在該VSUB的施加結束后，同樣曝光開始，與下一個垂直同步信號VD同步，進行第二次時分攝影的圖像的讀出。
將以上說明的動作進行規(guī)定次數(shù)(例如10次)。并且，根據該說明可知，從讀出時間TRead減去VSUB的施加時間Tsub后的時間，成為時分攝影的曝光時間ΔTExp。
從攝像元件1讀出的時分圖像通過CDS 2去除復位噪聲后，通過增益控制放大器(AMP)3進行模擬的信號放大。此處，在把對應于ISO(International Organization for Standardization，國際標準組織)靈敏度Sv的放大率設為A1，把用于彌補時分攝影的圖像的曝光不足部分的放大率設為A2時，增益控制放大器(AMP)3的放大率被設定為A1×A2。
另外，在把通常攝影的曝光量設為E1、把通過時分攝影得到的曝光量設為E2時，A2＝E1/E2。更加具體地講，把用于獲得合適曝光的曝光時間設為TExp，假設以將TExp等分為m次的曝光時間TExp/m來進行m次時分攝影時，在各個時分攝影中，A2＝TExp/(TExp/m)＝m。
通過增益控制放大器(AMP)3放大的模擬圖像信號，通過A/D轉換器4，按照從TG 5提供的信號被轉換為數(shù)字信號。
通過A/D轉換器4轉換為數(shù)字信號的圖像信號，通過信息處理部8進行處理，生成圖像數(shù)據。
下面，圖15是表示信息處理部8的抖動圖像校正處理的流程圖。
在開始該處理后，首先，作為初始設定，在用于存儲與用于識別時分圖像的ID相當?shù)淖兞縤的存儲器〔i〕中存儲0(步驟S301)。
然后，計算圖像I(i)與圖像I(i+1)的抖動Δ(i、i+1)(步驟S302)。該抖動Δ通是過設定圖像I(i)中的數(shù)個點的特征點，根據公知的動態(tài)向量運算來求出與該特征點一致的圖像I(i+1)的特征點的位置，求出對應位置的相對抖動來進行的。另外，上述抖動Δ是矢量。
然后，計算將抖動Δ累計(依次的矢量加算)而得到的∑Δ(k、k+1)(其中，k＝0～i)的標量值|∑Δ(k、k+1)|，比較該值和預先確定的規(guī)定值α(步驟S303)。此處，在判定為不是|∑Δ(k、k+1)|＞α時，增大存儲器〔i〕的內容(步驟S304)。
然后，根據抖動Δ校正了圖像I(i)與圖像I(i+1)的抖動后，將對應的像素的值相加(合成)(步驟S305)。
然后，比較i和m-1(步驟S306)。此處，m表示時分攝影的次數(shù)、即通過時分攝影得到的圖像數(shù)。在該步驟S306判定為不是i＝m-1時，分支到J301，反復進行上述的處理。
并且，在步驟S306判定為i＝m-1時，然后計算合成圖像的平均值(步驟S307)。
并且，在步驟S303中判定為|∑Δ(k、k+1)|＞α時，判定為時分攝影期間的總體抖動量大于可以允許的(難以確保有效區(qū)域的)值，分支到J302，進行上述步驟S307的處理。
這樣，在進行了步驟S307的處理后，結束該處理。
如以上說明的那樣，信息處理部8將以最初拍攝的時分圖像為基準的抖動量在預先確定的規(guī)定大小以上的大小的時分圖像，從合成處理對象中排除，以使所有時分圖像重復的區(qū)域進入預先確定的有效區(qū)域內。
并且，對于抖動量在規(guī)定值內的時分圖像，從所合成的圖像中的最初拍攝的時分圖像中提取預先確定的區(qū)域內的圖像。由此，可以簡單地進行規(guī)定大小以上的有效區(qū)域的提取處理。
這樣通過信息處理部8校正了抖動的有效區(qū)域的圖像數(shù)據被暫時存儲在DRAM 9中，然后通過壓縮解壓縮部10壓縮為JPEG等規(guī)定格式形式的圖像數(shù)據，記錄在記錄介質11中。
另外，在上述說明中根據時分圖像內的特征點進行抖動檢測，當然也可以根據角速度傳感器等的輸出進行抖動檢測。
根據這種實施方式2，可以發(fā)揮與上述實施方式1相同的效果，并且根據從攝像元件1讀出的時分圖像中的抖動量在規(guī)定抖動量以內的時分圖像，生成校正了抖動的合成圖像。
并且，在使用不具備抖動校正功能的普通攝像元件1的數(shù)字照相機等中，也能夠進行抖動校正。
另外，根據時分圖像內的特征點進行抖動檢測，所以不需要角速度傳感器等，可以簡化結構。
另外，本發(fā)明不限于上述實施方式，當然可以在本發(fā)明宗旨的范圍內進行各種變形和應用。
本發(fā)明適合用于電子式校正所拍攝的圖像的抖動的電子式抖動校正裝置。
權利要求
1.一種電子式抖動校正裝置，其特征在于，該電子式抖動校正裝置具有攝影部，其連續(xù)拍攝多個圖像；抖動校正部，其檢測上述圖像的抖動；攝影次數(shù)控制部，其控制連續(xù)拍攝的次數(shù)，以使上述連續(xù)拍攝的圖像中連續(xù)的規(guī)定數(shù)量的圖像全體的抖動量在預先確定的規(guī)定值以內；抖動校正部，其校正根據上述攝影次數(shù)控制部的控制而進行了規(guī)定次數(shù)攝影所得到的多個圖像的相互的抖動；以及圖像合成部，其將由上述抖動校正部校正后的圖像合成。
2.根據權利要求1所述的電子式抖動校正裝置，其特征在于，上述攝影部構成為包括攝像元件，該攝像元件具有排列成矩陣狀的多個像素、和保存利用該像素生成的第1圖像的寄存器，上述抖動校正部為了抵消利用上述像素生成的第2圖像和保存在上述寄存器中的第1圖像的相對抖動，使上述第1圖像和上述第2圖像的相對位置發(fā)生移動，上述合成部將由上述抖動校正部校正后的上述第1圖像和上述第2圖像合成。
3.根據權利要求1所述的電子式抖動校正裝置，其特征在于，上述攝影次數(shù)控制部控制攝影次數(shù)，以使上述連續(xù)拍攝的圖像的全體的抖動量成為在預先確定的規(guī)定值以內的值。
4.根據權利要求1所述的電子式抖動校正裝置，其特征在于，上述攝影次數(shù)控制部控制攝影次數(shù)，以使上述連續(xù)拍攝的多個圖像的全體的曝光時間小于等于將攝影鏡頭的焦距的倒數(shù)乘以預先確定的規(guī)定系數(shù)而得到的曝光時間。
5.根據權利要求2所述的電子式抖動校正裝置，其特征在于，該電子式抖動校正裝置還具有放大部，在上述連續(xù)拍攝的圖像數(shù)量未達到預先確定的規(guī)定數(shù)量時，上述放大部將由上述圖像合成部合成的圖像放大。
6.根據權利要求1所述的電子式抖動校正裝置，其特征在于，上述攝像部構成為具有攝像元件，其具有排列成矩陣狀的多個像素；信號處理部，其接受該攝像元件的輸出信號，生成被數(shù)字化的多個圖像；以及存儲部，其存儲通過上述信號處理部處理后的圖像，上述抖動校正部校正存儲在上述存儲部中的圖像的抖動。
全文摘要
本發(fā)明提供一種電子式抖動校正裝置。該電子式抖動校正裝置可以確保被校正了抖動的規(guī)定以上大小的圖像的有效區(qū)域，且不依賴于攝影者的技能。該電子式抖動校正裝置適用于數(shù)字照相機，具有檢測圖像的抖動的角速度傳感器(19、20)；固體攝像元件(1)，其在時間上連續(xù)地拍攝多個圖像，根據由角速度傳感器(19、20)檢測出的抖動量，校正所拍攝的多個圖像的相互的抖動，將校正后的多個圖像合成并生成一個圖像；CPU(7)，其控制上述固體攝像元件(1)的連續(xù)拍攝次數(shù)，以使連續(xù)拍攝的多個圖像的全體的抖動量在預先確定的規(guī)定值內。
文檔編號H04N5/3728GK101026691SQ20071007886
公開日2007年8月29日 申請日期2007年2月16日 優(yōu)先權日2006年2月23日
發(fā)明者山崎正文 申請人:奧林巴斯映像株式會社, 奧林巴斯株式會社