專利名稱：成像設(shè)備及成像設(shè)備的圖像產(chǎn)生方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種成像設(shè)備，如數(shù)字?jǐn)z像機(jī)等，以及一種成像方法，更具體地，涉及一種成像設(shè)備，處理相同流上的主要作為運(yùn)動圖像(相對較小的像素數(shù))而檢索到的圖像以及能夠作為靜態(tài)圖像(相對較大的像素數(shù))處理的圖像，以及一種成像設(shè)備的圖像產(chǎn)生方法。
背景技術(shù)：
已經(jīng)提出了數(shù)字?jǐn)z像機(jī)，該攝像機(jī)通過離散預(yù)先變換(DCT)或小波變換和可變長度編碼，對基于使用成像元件而捕獲的成像信號的數(shù)字視頻信號進(jìn)行壓縮，并記錄在如磁帶、磁盤和光盤等記錄介質(zhì)中。
此數(shù)字?jǐn)z像機(jī)具有運(yùn)動圖像記錄模式和靜態(tài)圖像記錄模式，在運(yùn)動圖像記錄模式下，通過執(zhí)行針對運(yùn)動圖像的壓縮記錄，在記錄介質(zhì)中進(jìn)行記錄，以及在靜態(tài)圖像記錄模式下，通過執(zhí)行針對靜態(tài)圖像的壓縮記錄，在記錄介質(zhì)中進(jìn)行記錄。
已經(jīng)提出了多種能夠在捕獲運(yùn)動圖像時捕獲高分辨率的靜態(tài)圖像的成像設(shè)備，如以下第一成像設(shè)備到第十七成像設(shè)備所示。
第一成像設(shè)備是一種在運(yùn)動圖像的幀循環(huán)的每個整數(shù)次循環(huán)時自動捕獲一幀高分辨率靜態(tài)圖像的成像設(shè)備，其在捕獲運(yùn)動圖像時，通過稀疏讀取出像素信號，而在捕獲靜態(tài)圖像時，通過分為兩個場，讀取出全部的像素信號(參見未審專利公開(Kokai)No.2002-44531)。
第二成像設(shè)備在捕獲運(yùn)動圖像時以預(yù)定的周期拍攝靜態(tài)圖像(參見未審專利公開(Kokai)No.H7(1995)-245722)。
第三成像設(shè)備是一種通過操作者的操作或以恒定的時間間隔自動捕獲高分辨率靜態(tài)圖像的設(shè)備，其中將靜態(tài)圖像記錄為靜態(tài)圖像數(shù)據(jù)，將運(yùn)動圖像記錄為運(yùn)動圖像數(shù)據(jù)，在再現(xiàn)運(yùn)動圖像時，顯示表示對靜態(tài)圖像的記錄存在的指示符，并通過操作者的操作，將顯示切換為靜態(tài)圖像(參見未審專利公開(Kokai)No.H9(1997)-51498)。
第四成像設(shè)備是一種通過操作者的快門按鈕操作以捕獲預(yù)定時間段內(nèi)的運(yùn)動圖像來捕獲靜態(tài)圖像的圖像記錄設(shè)備，其中使用靜態(tài)圖像之前和/或之后的運(yùn)動圖像，對所捕獲的靜態(tài)圖像進(jìn)行校正。
第五成像設(shè)備是一種運(yùn)動圖像記錄設(shè)備，如便攜式攝像機(jī)等，當(dāng)在捕獲運(yùn)動圖像中操作快門按鈕時，捕獲高度精細(xì)的靜態(tài)圖像，其中將操作快門按鈕而得到的高度鏡像的靜態(tài)圖像強(qiáng)制編碼為碼內(nèi)圖像(I圖像)(參見未審專利公開(Kokai)No.H7(1995)-284058)。
第六成像設(shè)備是能夠在捕獲運(yùn)動圖像時捕獲靜態(tài)圖像的設(shè)備，其中當(dāng)所需的靜態(tài)圖像不存在時，以所需的運(yùn)動圖像及預(yù)期相關(guān)聯(lián)的靜態(tài)圖像合成與所需的運(yùn)動圖像相對應(yīng)的高分辨率圖像(參見未審專利公開(Kokai)No.2002-51252)。
第七成像設(shè)備是一種數(shù)字?jǐn)z像機(jī)，通過將快門按鈕按下一半開始記錄運(yùn)動圖像，以及在記錄運(yùn)動圖像時，通過完全按下快門按鈕來捕獲靜態(tài)圖像，其中通過與運(yùn)動圖像相關(guān)聯(lián)來記錄在捕獲運(yùn)動圖像時所捕獲的靜態(tài)圖像數(shù)據(jù)(參見未審專利公開(Kokai)No.2002-84442)。
第八成像設(shè)備是一種圖像記錄設(shè)備，通過操作者在捕獲運(yùn)動圖像中的快門按鈕操作來捕獲靜態(tài)圖像，其中使用靜態(tài)圖像之前和/或之后的運(yùn)動圖像，對所捕獲的靜態(tài)圖像進(jìn)行校正(參見未審專利公開(Kokai)No.H7(1995)-143439)。
第九成像設(shè)備是一種將運(yùn)動圖像和靜態(tài)圖像的數(shù)據(jù)記錄為一系列文件的設(shè)備，其中其中通過位于主級別處的主要簡檔表(MP@ML)來記錄運(yùn)動圖像，通過位于高級別處的主要簡檔表來記錄靜態(tài)圖像(參見未審專利公開(Kokai)No.H11(1999)-234623)。
第十成像設(shè)備暫時存儲一系列連續(xù)捕獲的圖像，并且只將操作者所選擇的圖像記錄在存儲卡中(參見未審專利公開(Kokai)No.2001-78136)。
第十一成像設(shè)備通過執(zhí)行如減色、切塊或分辨率縮減等處理，對已記錄圖像進(jìn)行重新記錄(參見未審專利公開(Kokai)No.2002-10209)。
第十二成像設(shè)備在捕獲運(yùn)動圖像時，沿CCD的垂直方向執(zhí)行電荷混合，并通過電平控制器將增益提高如6dB等，而無需執(zhí)行CCD的像素混合(參見未審專利公開(Kokai)No.2003-125278)。
第十三成像設(shè)備能夠產(chǎn)生對四個像素的信號進(jìn)行了平均(將增益提高了四倍)的1/2像素屏幕和正常像素屏幕(參見未審專利公開(Kokai)No.H4(1992)-17087)。
第十四成像設(shè)備根據(jù)對象的亮度決定要增加像素的線數(shù)(參見未審專利公開(Kokai)No.H4(1992)-172073)。
第十五成像設(shè)備根據(jù)對象的亮度決定不增加像素的模式和要增加像素的模式(參見未審專利公開(Kokai)No.H10(2000)-150601)。
第十六成像設(shè)備在初始設(shè)置中執(zhí)行加法成像，并通過用戶改變設(shè)置來執(zhí)行非加法成像(參見未審專利公開(Kokai)No.2001-359038)。
第十七成像設(shè)備在對象的亮度較低時被設(shè)置在加法輸出模式下，而在對象的亮度較高時被設(shè)置在非加法輸出模式下(參見未審專利公開(Kokai)No.2003-319407)。
同時，在每個上述成像設(shè)備中，通常在捕獲運(yùn)動圖像級的圖像時，順序執(zhí)行重復(fù)曝光卷動快門和傳輸數(shù)據(jù)。此外，當(dāng)執(zhí)行靜態(tài)圖像的連續(xù)捕獲時，與上面相類似地，重復(fù)使用卷動快門，或使用機(jī)械快門。
這里，在僅通過卷動快門來捕獲圖像時，在圖像的頂部和底部發(fā)生圖像變形。但是，其是可允許的，因為其是運(yùn)動圖像。
但是，當(dāng)捕獲靜態(tài)圖像時，圖像的變形可能是不被允許的。因此，機(jī)械快門和球形快門成為必需，但是，機(jī)械快門驅(qū)動對以極高速執(zhí)行連續(xù)捕獲存在限制。
此外，在數(shù)字?jǐn)z像機(jī)等中，為了獲得所需的高分辨率圖像，操作者觀察成像對象，并需要在操作者瞄準(zhǔn)的定時操作釋放按鈕。
但是，即使在操作者瞄準(zhǔn)的定時進(jìn)行操作，仍然不一定能獲得所需的圖像，已經(jīng)利用了連續(xù)捕獲功能來解決此問題。
但是，例如，當(dāng)以每秒幾個場景來捕獲高分辨率圖像十秒鐘時，所記錄的圖像數(shù)據(jù)將是巨大的，考慮到存儲卡的容量等，其具有較小的實(shí)用性。
此外，在這種具有連續(xù)捕獲功能的數(shù)字?jǐn)z像機(jī)中，當(dāng)連續(xù)捕獲具有幾百萬像素的高分辨率靜態(tài)圖像時，由于上限極大地取決于CCD等的讀出處理能力，每秒幾個場景將成為上限，如果所需的圖像是具有快速運(yùn)動的對象，即使使用連續(xù)捕獲，仍然難以獲得所需的圖像。
此外，在具有將運(yùn)動圖像和具有與運(yùn)動圖像不同的分辨率的靜態(tài)圖像記錄為一個流的第一模式和只執(zhí)行對運(yùn)動圖像的捕獲的第二模式的數(shù)字?jǐn)z像機(jī)中，由于在第一模式下所捕獲的數(shù)據(jù)不時地具有高分辨率的靜態(tài)圖像，所保存的文件尺寸變得大于捕獲簡單的運(yùn)動圖像的情況。結(jié)果，記錄介質(zhì)的容量變大，并存在難以確保實(shí)際記錄容量的缺點(diǎn)。
因此，對成像設(shè)備進(jìn)行了新的研發(fā)，其中成像設(shè)備允許獲得所需的高分辨率的靜態(tài)圖像，而與連續(xù)捕獲的速度無關(guān)，對記錄容量加以抑制，并且與對快門進(jìn)行定時的操作者無關(guān)。

發(fā)明內(nèi)容
本發(fā)明是得自于這種研發(fā)的全新事物，如獲得高分辨率靜態(tài)圖像等上述問題并非本發(fā)明的背景。本發(fā)明的一個目的在于提供一種具有非傳統(tǒng)的全新成像方法的成像設(shè)備，以及一種該成像設(shè)備的成像產(chǎn)生方法。
根據(jù)本發(fā)明的第一方面，提供了一種成像設(shè)備，具有成像元件，在其上形成對象的光學(xué)圖像；信號處理系統(tǒng)，從所述成像元件讀取出具有高分辨率的高圖像數(shù)據(jù)或具有低分辨率的低圖像數(shù)據(jù)，并針對讀取出的圖像數(shù)據(jù)執(zhí)行預(yù)定的圖像處理，其中所述信號處理系統(tǒng)包括圖像處理部分，產(chǎn)生在捕獲一幅運(yùn)動圖像數(shù)據(jù)時以幀內(nèi)壓縮對高圖像數(shù)據(jù)進(jìn)行壓縮的第一壓縮圖像和在產(chǎn)生所述第一壓縮圖像的前周期和/或后周期中以幀間壓縮對低圖像數(shù)據(jù)進(jìn)行壓縮的第二壓縮圖像，作為一個流。
優(yōu)選地，所述高圖像數(shù)據(jù)包括未經(jīng)稀疏地從所述成像元件讀取出的圖像數(shù)據(jù)或由所述圖像處理系統(tǒng)以任意的稀疏量進(jìn)行了稀疏而讀取出的圖像數(shù)據(jù)，以及所述低圖像數(shù)據(jù)包括由所述圖像處理系統(tǒng)以任意的稀疏量進(jìn)行了稀疏以變?yōu)楸人龈邎D像數(shù)據(jù)低的分辨率的、從所述成像元件讀取出的圖像數(shù)據(jù)。
優(yōu)選地，所述成像設(shè)備具有球形快門功能和卷動快門功能，作為快門功能，其中所述圖像處理部分根據(jù)以所述球形快門所捕獲的圖像數(shù)據(jù)來產(chǎn)生第一壓縮圖像，而根據(jù)以所述卷動快門所捕獲的圖像數(shù)據(jù)來產(chǎn)生第二壓縮圖像。
優(yōu)選地，所述圖像處理部分將所述第一壓縮圖像的圖像電平和所述第二壓縮圖像的圖像電平校正為近似等效的電平。
優(yōu)選地，當(dāng)指定所述第二壓縮圖像的一個屏幕時，所述圖像處理部分通過以包括所述第二壓縮圖像之前和/或之后的所述第一壓縮圖像的其他圖像對所述第二壓縮圖像的屏幕進(jìn)行解壓縮和解碼，產(chǎn)生表示所述一個指定屏幕的高分辨率靜態(tài)圖像數(shù)據(jù)。
優(yōu)選地，所述成像設(shè)備還具有流輸出單元，通過使用所述高分辨率的第一壓縮圖像和所述低分辨率的第二壓縮圖像，輸出低分辨率和連續(xù)的視頻流；判別單元，判別所述第一壓縮圖像是否為高分辨率或低分辨率的；以及判別信號輸出單元，通過所述判定單元，輸出表示所述第一壓縮圖像是否為高分辨率或低分辨率的信號。
優(yōu)選地，所述成像設(shè)備具有存儲單元，用于存儲一系列所述第一壓縮圖像和所述第二壓縮圖像的流數(shù)據(jù)，其中當(dāng)指定一個流數(shù)據(jù)上的所述第一壓縮圖像的一個屏幕時，所述圖像處理部分將所述第一壓縮圖像的分辨率降低到所述第二壓縮圖像的等效程度，并將所述流數(shù)據(jù)中的所述第一壓縮圖像替換為對其分辨率進(jìn)行了縮減的第一壓縮圖像，并將其重新存儲在所述存儲單元中。
優(yōu)選地，所述成像設(shè)備具有存儲單元，用于存儲一系列所述第一壓縮圖像和所述第二壓縮圖像的流數(shù)據(jù)，其中所述圖像處理部分將一個流數(shù)據(jù)上的多個第一壓縮圖像中的所有圖像的分辨率降低到所述第二壓縮圖像的等效程度，并將所述流數(shù)據(jù)中的所述第一壓縮圖像替換為對其分辨率進(jìn)行了縮減的第一壓縮圖像，并將其重新存儲在所述存儲單元中。
優(yōu)選地，當(dāng)以稀疏從所述成像元件讀取出圖像數(shù)據(jù)時，所述信號處理系統(tǒng)通過執(zhí)行同色鄰近像素的積分處理，產(chǎn)生稀疏數(shù)據(jù)。
優(yōu)選地，所述成像處理部分通過根據(jù)對所述第二壓縮圖像執(zhí)行積分處理讀出的R電平，來校正所述第一壓縮圖像的圖像電平，將所述第一壓縮圖像的圖像電平和所述第二壓縮圖像的圖像電平校正為近似等效的電平。
優(yōu)選地，所述成像處理部分通過保持所述第一壓縮圖像的圖像電平，并通過劃分所述積分處理的集成量來校正所述第二壓縮圖像的圖像電平，將所述第一壓縮圖像的圖像電平和所述第二壓縮圖像的圖像電平校正為近似等效的電平。
優(yōu)選地，所述信號處理系統(tǒng)包括像素平均讀出電路，能夠?qū)碜运龀上裨亩鄠€像素數(shù)據(jù)進(jìn)行平均并讀取出；像素加法讀出電路，能夠?qū)碜运龀上裨亩鄠€像素數(shù)據(jù)進(jìn)行相加并讀取出；亮度檢測器，檢測對象的亮度；以及選擇器，根據(jù)所述亮度檢測器的檢測輸出，選擇所述像素平均讀出電路和所述像素加法讀出電路的一個輸出。
優(yōu)選地，所述信號處理系統(tǒng)包括相加像素改變電路，根據(jù)所述亮度檢測器的輸出，改變所述像素相加讀出電路中相加的像素數(shù)；轉(zhuǎn)換器，將由所述選擇器選中的所述像素相加讀出電路或所述像素平均讀出電路的輸出數(shù)據(jù)從模擬數(shù)據(jù)轉(zhuǎn)換為數(shù)字?jǐn)?shù)據(jù)；以及參考電壓改變電路，根據(jù)所述亮度檢測器的輸出或所述相加像素讀出電路的輸出，改變所述轉(zhuǎn)換器的參考電壓值。
根據(jù)本發(fā)明的第二方面，提出了一種圖像設(shè)備的圖像產(chǎn)生方法，對從成像元件讀取出的圖像數(shù)據(jù)執(zhí)行預(yù)定的圖像處理，具有以下步驟通過使對象的光學(xué)圖像形成在所述成像元件上，從所述成像元件中讀取出具有高分辨率的高圖像數(shù)據(jù)或具有低分辨率的低圖像數(shù)據(jù)；通過在捕獲一幅運(yùn)動圖像數(shù)據(jù)時，以幀內(nèi)壓縮對高圖像數(shù)據(jù)進(jìn)行壓縮，產(chǎn)生第一壓縮圖像；通過在產(chǎn)生所述第一壓縮圖像的前周期和/或后周期中，以幀間壓縮對低圖像數(shù)據(jù)進(jìn)行壓縮，產(chǎn)生第二壓縮圖像；以及產(chǎn)生以幀內(nèi)壓縮對高圖像數(shù)據(jù)進(jìn)行壓縮的第一壓縮圖像和在產(chǎn)生所述第一壓縮圖像的前周期和/或后周期中以幀間壓縮對低圖像數(shù)據(jù)進(jìn)行壓縮的第二壓縮圖像，作為一個流。


通過以下參照附圖而給出的對優(yōu)選實(shí)施例的描述，本發(fā)明的這些和其他目的和特征將變得更加清楚，其中圖1是示出了根據(jù)本發(fā)明的成像設(shè)備的第一實(shí)施例的方框圖；圖2是用于解釋本實(shí)施例中的流數(shù)據(jù)改變模式中的操作的視圖；圖3是示出了使用卷動快門的成像元件(圖像傳感器)的示例的視圖；圖4A到圖4F是示出了在假設(shè)在如圖3所示的元件中存在從LA到LF的線時、圖像的控制波形的示例的視圖；圖5是示出了在假設(shè)在使用球形快門的、如圖3所示的元件中存在從LA到LF的線時、圖像的控制波形的示例的視圖；圖6是圖像傳感器的概念圖；圖7是示出了根據(jù)本發(fā)明的校正處理的概念的視圖；圖8是混合了運(yùn)動圖像(低像素)和靜態(tài)圖像(高像素)的流的方框圖；圖9是示出了根據(jù)本發(fā)明的成像設(shè)備的第二實(shí)施例的方框圖；圖10是圖像傳感器的概念圖和用于解釋第二實(shí)施例中的像素控制方法的視圖；圖11是示出了根據(jù)第二實(shí)施例的讀出電路的結(jié)構(gòu)的示例的方框圖；圖12是示出了根據(jù)本發(fā)明的成像設(shè)備的第三實(shí)施例的方框圖；以及圖13是示出了根據(jù)第三實(shí)施例的讀出電路的結(jié)構(gòu)的示例的方框圖。
具體實(shí)施例方式
將參照附圖，對本發(fā)明的優(yōu)選實(shí)施例進(jìn)行描述。
<第一實(shí)施例>
圖1是示出了根據(jù)本發(fā)明的成像設(shè)備的第一實(shí)施例的方框圖。本成像設(shè)備1具有通常被分類為光學(xué)系統(tǒng)、信號處理系統(tǒng)、記錄系統(tǒng)、顯示系統(tǒng)和控制系統(tǒng)的組件。
根據(jù)本發(fā)明的成像設(shè)備1通過在捕獲運(yùn)動圖像時，在信號處理系統(tǒng)中，以幀內(nèi)壓縮對高像素圖像數(shù)據(jù)進(jìn)行壓縮，產(chǎn)生第一壓縮圖像，通過在產(chǎn)生第一壓縮圖像的前周期和/或后周期中，以幀間壓縮對的像素圖像數(shù)據(jù)進(jìn)行壓縮，產(chǎn)生第二壓縮圖像。此外，當(dāng)指定第二壓縮圖像的屏幕時，成像設(shè)備1通過對包括之前和之后的第二壓縮圖像和第一壓縮圖像的其他壓縮圖像進(jìn)行解壓縮和解碼，產(chǎn)生示出了指定屏幕的高分辨率靜態(tài)圖像數(shù)據(jù)。
于是，根據(jù)本實(shí)施例的成像設(shè)備1在捕獲運(yùn)動圖像數(shù)據(jù)時，與球形快門功能組合使用卷動快門功能。
此外，根據(jù)本發(fā)明的成像設(shè)備1將高分辨率的第一壓縮圖像的圖像電平和低分辨率的第二壓縮圖像的圖像電平校正為近似等效的電平，并進(jìn)行控制，例如，使第一和第二壓縮圖像的輸出電平恒定。
此外，根據(jù)本發(fā)明的成像設(shè)備1具有三種模式，即，回放模式、靜態(tài)圖像再現(xiàn)模式和流數(shù)據(jù)改變模式。
此后，將對每個部分的組成和功能進(jìn)行解釋。
光學(xué)系統(tǒng)包括透鏡光學(xué)系統(tǒng)10和如CMOS傳感器等圖像傳感器(IMGSNS)11。
透鏡光學(xué)系統(tǒng)10包括與對象相對的光學(xué)透鏡和未示出的光學(xué)低通濾波器等。在透鏡光學(xué)系統(tǒng)10中，通過光學(xué)透鏡101，對對象的光學(xué)圖像進(jìn)行會聚，并在圖像傳感器11上形成對象的圖像。
作為成像元件，圖像傳感器11例如具有設(shè)置有濾色器的CMOS圖像傳感器，并對由透鏡光學(xué)系統(tǒng)10形成的對象圖像進(jìn)行光電轉(zhuǎn)換。
圖像傳感器11具有包括球形快門(global shutter)功能和卷動快門(rolling shutter)功能的快門功能。
根據(jù)控制系統(tǒng)的控制，有選擇地使用球形快門功能和卷動快門功能，并對快門功能加以控制，從而使其能夠在以卷動快門捕獲像素的同時，以球形快門捕獲圖像。即，在捕獲一幅運(yùn)動圖像的數(shù)據(jù)時，一起使用卷動快門功能和球形快門功能。
信號處理系統(tǒng)具有相關(guān)雙重采樣(CDS)電路12，用于通過對從成像傳感器11輸出的電信號進(jìn)行采樣，來降低噪聲；模擬/數(shù)字(A/D)轉(zhuǎn)換器13，將由CDS 12輸出的模擬信號轉(zhuǎn)換為數(shù)字信號；以及圖像處理部分(IMGPRC)14，對由A/D轉(zhuǎn)換器13輸出的數(shù)字信號執(zhí)行稍后所述的預(yù)定圖像處理。
根據(jù)本發(fā)明的圖像處理部分14通過以幀內(nèi)壓縮對由球形快門所捕獲的像素的數(shù)據(jù)進(jìn)行壓縮，產(chǎn)生第一壓縮圖像，以及通過在產(chǎn)生第一壓縮圖像的周期的前周期和/或后周期中，以幀間壓縮對由卷動快門所捕獲的像素數(shù)據(jù)進(jìn)行壓縮，產(chǎn)生第二壓縮圖像。
如后詳細(xì)所述，圖像處理部分14通過無稀疏地從圖像傳感器中讀取出圖像數(shù)據(jù)來產(chǎn)生第一壓縮圖像，而通過進(jìn)行稀疏地從圖像傳感器中讀取出圖像數(shù)據(jù)來產(chǎn)生第二壓縮圖像。
圖像處理部分14在產(chǎn)生第一壓縮圖像時以幀內(nèi)壓縮，對高像素圖像數(shù)據(jù)進(jìn)行壓縮，而在產(chǎn)生第二壓縮圖像時，以幀間壓縮，對低像素圖像數(shù)據(jù)進(jìn)行壓縮。
此外，當(dāng)通過以稀疏數(shù)據(jù)從圖像傳感器進(jìn)行讀出而產(chǎn)生第二壓縮數(shù)據(jù)時，圖像處理部分14執(zhí)行同色鄰近像素的積分處理，并利用稀疏進(jìn)行讀出。
圖像處理部分14具有將第一壓縮圖像的圖像電平和第二壓縮圖像的圖像電平校正為近似等效的電平的功能。
如稍后所述，圖像處理部分14具有通過根據(jù)由其讀出第二壓縮圖像的R電平，執(zhí)行校正第一壓縮圖像的圖像電平的積分處理，將第一壓縮圖像的圖像電平和第二壓縮圖像的圖像電平校正為近似等效的電平的功能。
此外，圖像處理部分14具有通過保持第一壓縮圖像的圖像電平而通過分割積分處理的積分量來校正第二壓縮圖像的圖像電平，將第一壓縮圖像的圖像電平和第二壓縮圖像的圖像電平校正為近似等效的電平的功能。
當(dāng)指定第二壓縮圖像的屏幕時，圖像處理部分14具有通過對包括第二壓縮圖像之前和/或之后的第二壓縮圖像和第一壓縮圖像的其他壓縮圖像進(jìn)行解壓縮和解碼處理，產(chǎn)生示出了此指定屏幕的高分辨率靜態(tài)圖像數(shù)據(jù)的功能。
當(dāng)指定一個流數(shù)據(jù)上的第一壓縮圖像的屏幕時，圖像處理部分14將第一壓縮圖像數(shù)據(jù)的分辨率降低到與第二壓縮圖像等效的程度，并將一個流數(shù)據(jù)的第一壓縮圖像數(shù)據(jù)替換為降低了分辨率的第一圖像數(shù)據(jù)，并將其重新記錄在存儲器15中。
圖像處理部分14將一個流數(shù)據(jù)的多個第一壓縮圖像的分辨率全部降低到與第二壓縮圖像等效的程度，并將一個流數(shù)據(jù)的第一壓縮圖像替換為降低了分辨率的第一圖像數(shù)據(jù)，并將其重新記錄在存儲器15中。
具有上述功能的圖像處理部分14在上述三種模式下(即，回放模式、靜態(tài)圖像再現(xiàn)模式和流數(shù)據(jù)改變模式)執(zhí)行以下處理。
圖像處理部分14以高分辨率的第一壓縮圖像和低分辨率的第二壓縮圖像產(chǎn)生低分辨率的連續(xù)視頻流，并在回放模式下，對其進(jìn)行顯示。
在靜態(tài)圖像再現(xiàn)模式下，在通過使用高分辨率的第一壓縮圖像和低分辨率的第二壓縮圖像回放低分辨率的連續(xù)視頻流時，由操作者指定特定的圖像。
在靜態(tài)圖像再現(xiàn)模式下，當(dāng)由操作者指定的圖像是第一壓縮圖像時，圖像處理部分14輸出第一壓縮圖像的高精確靜態(tài)圖像，并對其進(jìn)行顯示。此外，當(dāng)指定的圖像是第二壓縮圖像時，圖像處理部分14根據(jù)該圖像的至少一個或多個屏幕、第二壓縮圖像之前和/或之后的第一壓縮圖像和第二壓縮圖像，產(chǎn)生并輸出與所指定的圖像相對應(yīng)的高分辨率的圖像，并對其進(jìn)行顯示。
在靜態(tài)圖像再現(xiàn)模式下，顯示具有高分辨率的第一壓縮圖像和低分辨率的第二壓縮圖像的低分辨率連續(xù)圖像(如縮略圖等)，通過操作者的按鍵操作等進(jìn)行圖像的指定，并由圖像處理部分14執(zhí)行類似的處理。
在流數(shù)據(jù)改變模式下，根據(jù)操作者的按鍵操作等，圖像處理部分14執(zhí)行將一個指定流數(shù)據(jù)中的所有高分辨率的第一壓縮圖像自動替換為低分辨率的第一壓縮圖像的處理。
通過流數(shù)據(jù)改變模式的處理，可以縮減文件大小。稍后將更為詳細(xì)地描述此處理。
即使在對其進(jìn)行回放時，將運(yùn)動圖像文件停止在特定的圖像處，由于運(yùn)動圖像的分辨率較低，即使將其保存為靜態(tài)圖像或進(jìn)行打印，其仍然具有較差的質(zhì)量。
為了解決此問題，如圖2所示，成像設(shè)備1具有以下功能，捕獲每秒多幀(例如，30幀)的圖像(例如，VGA尺寸)，形成文件，作為運(yùn)動圖像，將運(yùn)動圖像文件中每秒中的幾幀(例如，5幀)捕獲為具有比運(yùn)動圖像高的分辨率的靜態(tài)圖像(例如，SXGA尺寸)，并將其記錄為一個流。
這樣能夠通過在簡單的運(yùn)動圖像文件中插入幾幅高分辨率的靜態(tài)圖像，并補(bǔ)償VGA尺寸的圖像和以有規(guī)律的時間間隔所捕獲的高分辨率的靜態(tài)圖像，即使在任何地方停下來，都能作為高質(zhì)量的靜態(tài)圖像進(jìn)行保存和打印。
但是，如果什么都不作，文件大小可能會變大，因為在運(yùn)動圖像文件中存在高分辨率的靜態(tài)圖像，可能會占用具有有限容量的記錄存儲器15的剩余容量。
因此，在根據(jù)本實(shí)施例的成像設(shè)備1的圖像處理部分14中，當(dāng)操作者判斷不必打印在混合靜態(tài)圖像和運(yùn)動圖像的模式下所捕獲的圖像時，如圖2所示，則可以通過將高分辨率的靜態(tài)圖像(SXGA尺寸)轉(zhuǎn)換為來自數(shù)據(jù)文件的低分辨率圖像(VGA尺寸)，并形成簡單的運(yùn)動圖像文件，來減小文件大小。
可以通過操作者的按鍵操作等來執(zhí)行此操作，從而能夠節(jié)約存儲器的剩余容量。此外，由于只是剪切靜態(tài)圖像的高分辨率信息，在作為運(yùn)動圖像對其進(jìn)行回放時，并不存在如圖像質(zhì)量的降低等問題。
此外，圖像處理部分14除了具有輸出視頻流的流輸出功能之外，還具有判別功能。所述判別功能為當(dāng)在上述三種模式下輸出具有高分辨率的第一壓縮圖像和低分辨率的第二壓縮圖像的低分辨率連續(xù)視頻流時，該功能判別同時輸出的第一壓縮圖像是高分辨率圖像還是低分辨率圖像，并輸出表明第一壓縮圖像是高分辨率圖像還是低分辨率圖像的信號。
具體地，當(dāng)在以N劃分的多顯示屏幕上存在第一壓縮圖像時，在第一壓縮圖像的屏幕附近顯示能夠判別其是高分辨率圖像還是低分辨率圖像的標(biāo)記。此外，在運(yùn)動圖像的顯示模式下，顯示表示其為高分辨率圖像的標(biāo)記，從而重疊在上方。
此外，作為額外的模式，添加指示圖像數(shù)據(jù)是比每個第一壓縮圖像高或低分辨率的標(biāo)志信號，并在向其他設(shè)備和如存儲卡等記錄介質(zhì)傳輸圖像數(shù)據(jù)時一起傳輸。
此外，在指示視頻流的文件列表顯示屏幕中，一起傳輸表示在一個流數(shù)據(jù)中是否存在高分辨率的第一壓縮圖像、在存在時存在多少屏幕的數(shù)據(jù)和現(xiàn)有流數(shù)據(jù)上的位置數(shù)據(jù)(時間信息)。
記錄系統(tǒng)包括存儲器15，存儲由控制部分執(zhí)行的控制程序和由圖像處理部分14產(chǎn)生的壓縮圖像的壓縮數(shù)據(jù)。
在作為存儲單元的存儲器15中，由圖像處理部分14存儲第一和第二壓縮圖像的一系列的流數(shù)據(jù)。
顯示系統(tǒng)具有數(shù)字/模擬(D/A)轉(zhuǎn)換器18，使存儲在嵌入式圖像存儲器中的圖像數(shù)據(jù)成為模擬數(shù)據(jù)；以及顯示部分19，包括液晶顯示器(LCD)等，通過顯示輸入圖像，用作取景器。
控制系統(tǒng)具有圖像傳感器11；CDS 12；定時發(fā)生器17，控制A/D轉(zhuǎn)換器13的操作定時；操作輸入部分(OPINPT)20，用于由用戶(操作者)輸入快門操作和其他命令；圖像處理部分14；和控制部分16，包括中央處理單元(CPU)等，讀取出存儲在存儲器15中的控制程序，并根據(jù)所讀取出的控制程序和用戶從操作輸入部分20輸入的命令，控制整個成像設(shè)備1。
當(dāng)在一個流上捕獲具有不同像素數(shù)的圖像數(shù)據(jù)時，控制部分(CTL)16進(jìn)行控制，從而在運(yùn)動圖像的情況下，使用卷動快門功能，而在靜態(tài)圖像的情況下，使用球形快門。
這里，當(dāng)在一個流上捕獲具有不同像素數(shù)的圖像數(shù)據(jù)時，對于運(yùn)動圖像使用卷動快門，而對于靜態(tài)圖像，根據(jù)攝像機(jī)條件判斷使用卷動快門還是球形快門。
即，在控制部分16在一系列操作中從成像元件檢索到不同的像素數(shù)的系統(tǒng)中，當(dāng)處理相同流上作為運(yùn)動圖像(相對較小的像素數(shù))而檢索到的圖像和作為靜態(tài)圖像(相對較大的像素數(shù))而檢索到的圖像時，根據(jù)本發(fā)明的成像設(shè)備1在捕獲低像素的情況下，并不使用球形快門，而只在捕獲高像素的情況下，判斷是否使用球形快門(或機(jī)械快門)。
通常，當(dāng)捕獲運(yùn)動圖像級的圖像時，順序執(zhí)行卷動快門的重復(fù)曝光和數(shù)據(jù)傳輸。此外，當(dāng)執(zhí)行靜態(tài)圖像的連續(xù)捕獲時，通過按照類似于上述方式的方式連續(xù)使用卷動快門、使用機(jī)械快門或使用球形快門，來進(jìn)行控制。
這里，在只使用卷動快門捕獲圖像時，在圖像的頂部和底部發(fā)生圖像的變形。但是，其是可允許的，因為其是運(yùn)動圖像。
但是，當(dāng)捕獲靜態(tài)圖像時，圖像的變形是不能允許的。因此，機(jī)械快門和球形快門變?yōu)楸匦?。由于機(jī)械快門對于以極高的速度進(jìn)行連續(xù)捕獲存在限制，球形快門變得必不可少。
這里，當(dāng)在一個流上捕獲具有不同像素數(shù)的圖像數(shù)據(jù)時，將卷動快門用于運(yùn)動圖像，而對于靜態(tài)圖像，則根據(jù)攝像機(jī)條件，判斷是使用卷動快門還是球形快門。
圖3是示出了使用卷動快門的成像元件(圖像傳感器)的示例的視圖。
如圖3所示，當(dāng)假設(shè)在元件中存在從LA到LF的線時，對圖像的控制如圖4A到4F所示。
通常，當(dāng)使用此卷動快門時，由于從LA到LF發(fā)生曝光時間的差異，發(fā)生圖像的變形。
圖5是示出了在假設(shè)如圖3所示的元件中存在從LA到LF的線時、圖像的控制波形的示例的視圖。
在這種情況下，由于使用球形快門，并不存在曝光時間的差異，因而并不發(fā)生圖像的變形。但是，曝光同時截止，需要同時開始對所有元件的曝光。此外，由于圖像傳輸同時開始，需要比卷動快門更長的時間。
因此，卷動快門具有捕獲速度高于球形快門和機(jī)械快門的優(yōu)點(diǎn)。其具有在線之間發(fā)生圖像變形的缺點(diǎn)。
與此相比，球形快門(或機(jī)械快門)具有可以獲得使圖像的變形不發(fā)生的數(shù)據(jù)。而捕獲速度低于卷動快門。
當(dāng)事先作為攝像機(jī)系統(tǒng)來評估這些優(yōu)點(diǎn)和缺點(diǎn)時，在圖像的變形可以被允許且速度是必需的情況下，無論任何像素數(shù)的圖像，都通過卷動快門進(jìn)行捕獲，而在圖像質(zhì)量優(yōu)先的情況下，根據(jù)普通狀況，將球形快門用于該圖像數(shù)據(jù)。
應(yīng)當(dāng)注意，不僅應(yīng)用于在一系列操作中從成像元件檢索到不同像素數(shù)的系統(tǒng)，還可以類似于處理等效像素數(shù)的情況。
在成像設(shè)備1中，對象的光學(xué)圖像通過透鏡光學(xué)系統(tǒng)10進(jìn)入圖像傳感器11，并由圖像傳感器11進(jìn)行光電轉(zhuǎn)換，而成為電信號。由CDS 12從所獲得的電信號中去除噪聲，并由A/D轉(zhuǎn)換器13對其進(jìn)行數(shù)字化，然后，由圖像處理部分14將數(shù)字信號暫時存儲在嵌入式圖像存儲器中。
在正常狀態(tài)下，以由定時發(fā)生器17根據(jù)信號處理系統(tǒng)的控制而產(chǎn)生的恒定幀速率，以圖像信號恒定地覆寫嵌入在圖像處理部分14中的圖像存儲器。D/A轉(zhuǎn)換器18將嵌入在圖像處理部分14中的圖像存儲器的圖像信號轉(zhuǎn)換為模擬信號，并在顯示部分19上顯示相應(yīng)的圖像。
顯示部分19具有成像設(shè)備1的取景器的功能。在用戶按下(操作)包括在操作輸入部分20中的快門按鈕之后，控制部分16針對定時發(fā)生器17，控制信號處理系統(tǒng)，以便在按下快門按鈕之后，立即保持圖像信號，即，從而并不以圖像信號覆寫圖像處理部分14的圖像存儲器。然后，通過預(yù)定的方法，對保持在圖像處理部分14的圖像存儲器中的圖像數(shù)據(jù)進(jìn)行壓縮，并記錄在存儲器15中。
接下來，將對圖像處理部分14中所執(zhí)行的特征處理進(jìn)行解釋。
<在捕獲具有不同像素數(shù)的圖像時的增益可變功率或平均控制>
在一系列的操作中從成像元件檢索不同像素數(shù)的系統(tǒng)中，當(dāng)處理相同流上作為運(yùn)動圖像(相對較小的像素數(shù))而檢索到的圖像和作為靜態(tài)圖像(相對較大的像素數(shù))而檢索到的圖像時，當(dāng)捕獲較少像素時，輸出像素包括至少一個或多個像素的相同顏色像素的積分像素數(shù)據(jù)。當(dāng)捕獲較多像素時，其變?yōu)楸炔东@較少像素時的積分像素數(shù)少的像素數(shù)。
由于原始積分像素數(shù)的不同，輸出像素中的一個像素的輸出不同。當(dāng)判斷每個像素的不同數(shù)據(jù)相同時，由于在圖像處理中具體地連續(xù)產(chǎn)生了具有不同亮度的圖像，產(chǎn)生了古怪的圖像。
為了解決該問題，設(shè)置以像素數(shù)為依據(jù)的數(shù)字增益(或模擬增益)電路，或以像素數(shù)進(jìn)行平均的電路，并在圖像處理部分14中輸出像素的部分中設(shè)置用于校正每個像素的圖像輸出的差異產(chǎn)生的電路。
圖6是圖像傳感器的概念圖。應(yīng)當(dāng)注意，圖6中的R、G和B表示三原色紅、綠和藍(lán)。
考慮如圖6所示的傳感器，在捕獲靜態(tài)圖像(高像素)時，捕獲幾乎對應(yīng)于全部像素的像素。另一方面，在運(yùn)動圖像(低像素)的情況下，捕獲全部像素是不必要的，而執(zhí)行對最低必需像素的捕獲，因為允許所捕獲的像素數(shù)量較少。
通過簡單的稀疏消除了通常不必要的像素，但是，當(dāng)要求運(yùn)動圖像的質(zhì)量時，作為運(yùn)動圖像，對外圍R進(jìn)行積分，并如圖6所示進(jìn)行(R)檢索。
該時刻輸出的像素數(shù)據(jù)在靜態(tài)圖像(高像素)和運(yùn)動圖像(低像素)的情況之間不同，且輸出電平的差上升。
為了校正輸出電平的差，在高像素和低像素時，通過將輸出數(shù)據(jù)乘以與積分像素的比例相一致的系數(shù)，或者以與積分像素數(shù)相一致的系數(shù)對積分像素數(shù)據(jù)進(jìn)行平均，對靜態(tài)圖像和運(yùn)動圖像的輸出電平進(jìn)行校正。
圖7是示出了根據(jù)本發(fā)明的校正處理的概念的視圖。在圖7中，在校正電路(CRCT)141中執(zhí)行上述處理。
<高像素時的S/N信息控制>
在一系列的操作中從成像元件檢索不同像素數(shù)的系統(tǒng)中，當(dāng)處理相同流上作為運(yùn)動圖像(相對較小的像素數(shù))而檢索到的圖像和作為靜態(tài)圖像(相對較大的像素數(shù))而檢索到的圖像時，在低像素捕獲的情況下，輸出像素包括至少一個或多個像素的相同顏色像素的積分像素數(shù)據(jù)。在高像素捕獲的情況下，其變?yōu)楸炔东@較少像素時的積分像素數(shù)少的像素數(shù)。
在低像素捕獲的情況下，以多個像素的積分產(chǎn)生一個像素的數(shù)據(jù)。與捕獲高像素時的數(shù)據(jù)相比，輸出按照積分?jǐn)?shù)變大。此外，作為S/N，與高像素的S/N相比，其通常在S/N方面為優(yōu)先信息。
在本實(shí)施例中，實(shí)現(xiàn)了積分?jǐn)?shù)據(jù)的圖像質(zhì)量改進(jìn)(高圖像數(shù)據(jù)(靜態(tài)圖像的信息)利用運(yùn)動圖像信息的S/N信息，并定義為其具有相對多的噪聲)。
由于原始積分像素數(shù)的不同，輸出像素中的一個像素的輸出不同。當(dāng)判斷每個像素的不同數(shù)據(jù)相同時，由于在圖像處理中具體地連續(xù)產(chǎn)生了具有不同亮度的圖像，產(chǎn)生了古怪的圖像。
為了解決該問題，設(shè)置以像素數(shù)為依據(jù)的數(shù)字增益(或模擬增益)電路，或以像素數(shù)進(jìn)行平均的電路，并在輸出像素的部分中設(shè)置用于校正每個像素的圖像輸出的差異的產(chǎn)生的電路。
在參考圖6時，圖6示出了對四個像素進(jìn)行積分的視圖。
與單一像素相比，由此輸出的(R)信息成為具有大約四倍輸出的圖像輸出。有利地，其通過兩步來靠近ISO敏感度而進(jìn)行工作。在低像素輸出時，始終利用此(R)信息。
在高像素輸出時，與低像素輸出相比，利用單獨(dú)的像素輸出信息r1到r4。
為了調(diào)整從圖像傳感器11輸出的信號的電平，在相同的流上，通過由于模擬或數(shù)字?jǐn)?shù)據(jù)而產(chǎn)生的增益上升來校正此單獨(dú)的像素信息r1到r4。此增益上升引起了S/N的嚴(yán)重惡化。
由于(R)最初是r1到r4的積分信息，可以由具有較少的噪聲的(R)信息來類推其。
相反，單獨(dú)的像素rn最終成為增益上升的Rn。
即，各個增益上升的數(shù)據(jù)的和(R1+R2+R3+R4)邏輯上必須等價于作為原始數(shù)據(jù)的和(r1+r2+r3+r4)的(R)。但是，通常以下關(guān)系成立，因為噪聲增加，如增益上升(gain-up)等。
r1+r2+r3+r4＞＞ (R)因此，當(dāng)現(xiàn)有分量(R1+R2+R3+R4)與運(yùn)動圖像信息(R)以及單一像素的地址相一致時，以(R)返回到原始分量(r1+r2+r3+r4)的內(nèi)容應(yīng)當(dāng)由其積分構(gòu)成，通過以應(yīng)用于每個數(shù)據(jù)的增益往回計算。于是，當(dāng)關(guān)系r1+r2+r3+r4＞＞ (R)成立時，所超過的量被判定為噪聲，對每個Rn執(zhí)行在下式中減去與n1到n4相對應(yīng)的N1到N4的校正(r1-n1)+(r2-n2)+(r3-n3)+(r4-r4)。
在這種情況下，n1到n4可以是常數(shù)值，可以是r1與r4的輸出比，以及可以是二者的混合。其取決于對于攝像機(jī)系統(tǒng)中的噪聲分量，哪種噪聲占據(jù)主導(dǎo)地位。
此外，由于可以在計算中包括誤差余量(量化噪聲等)，上述等式的右側(cè)并不固定為(R)，而是(R)±x。
此時，x是由于如舍入誤差等誤差而引起的誤差校正數(shù)。
<即使在運(yùn)動圖像定時中的回放中，產(chǎn)生靜態(tài)圖像質(zhì)量的方法>
在一系列的操作中從成像元件檢索不同像素數(shù)的系統(tǒng)中，此方法是處理相同流上作為運(yùn)動圖像(相對較小的像素數(shù))而檢索到的圖像和作為靜態(tài)圖像(相對較大的像素數(shù))而檢索到的圖像的方法，即使在上述回放時，在只能獲得運(yùn)動圖像質(zhì)量的定時，仍然能夠通過來自靜態(tài)圖像的周圍信息的預(yù)測信息，將運(yùn)動圖像質(zhì)量恢復(fù)為靜態(tài)圖像。
混合了運(yùn)動圖像(低像素)和靜態(tài)圖像(高像素)的流變得如圖8所示。
這里，在高像素的圖像數(shù)據(jù)(靜態(tài)圖像)In和低像素的圖像數(shù)據(jù)bn(運(yùn)動圖像)之間，存在差異，In具有一個像素的信息，而bn在與一個像素相對應(yīng)的輸出圖像信息中具有積分信息的信息。
此外，由于可以對In進(jìn)行數(shù)字積分，In中的實(shí)際信息具有靜態(tài)圖像信息和運(yùn)動圖像信息。
這里，根據(jù)包括從In預(yù)測出的信息的運(yùn)動圖像信息bn，計算出使積分信息成為一塊的對象遷移信息。
此外，根據(jù)In獲得每個積分單一像素的包含比例信息。
因此，為了產(chǎn)生如b5等只具有運(yùn)動圖像的像素數(shù)信息的靜態(tài)圖像，如果乘以根據(jù)In信息的波動而預(yù)測出的每個積分單一像素的分量比例，則恢復(fù)出像素分量。通過根據(jù)離散的單一像素信息，產(chǎn)生圖像，可以產(chǎn)生靜態(tài)圖像質(zhì)量的圖像。此外，因為上述原因，可以根據(jù)bn的對象遷移信息和In的包含比例信息，產(chǎn)生b與b之間的圖像。
如上所述，本第一實(shí)施例中的成像設(shè)備1，當(dāng)捕獲運(yùn)動圖像時，在信號處理系統(tǒng)中，以幀內(nèi)壓縮對高像素的圖像數(shù)據(jù)進(jìn)行壓縮，以產(chǎn)生第一壓縮圖像，在產(chǎn)生第一壓縮圖像的周期的前周期和/或后周期中，以幀間壓縮對低像素的圖像數(shù)據(jù)進(jìn)行壓縮，以產(chǎn)生第二壓縮圖像，以及當(dāng)指定第二壓縮圖像的一個屏幕時，成像設(shè)備1執(zhí)行對第二壓縮圖像和包括第二壓縮圖像之前和/或之后的第一壓縮圖像的其他圖像的解壓縮和解碼，以產(chǎn)生示出了一個指定屏幕的高分辨率靜態(tài)圖像數(shù)據(jù)。
于是，根據(jù)本實(shí)施例的成像設(shè)備1具有能夠高速執(zhí)行連續(xù)捕獲同時防止圖像的變形的產(chǎn)生的優(yōu)點(diǎn)，因為一起使用了卷動快門功能和球形快門功能。
于是，根據(jù)本實(shí)施例的成像設(shè)備1具有將第一壓縮圖像的圖像電平和第二壓縮圖像的圖像電平校正為近似等效的電平以及能夠防止亮度連續(xù)不同的圖像的產(chǎn)生的優(yōu)點(diǎn)。
此外，根據(jù)本實(shí)施例的成像設(shè)備1能夠根據(jù)數(shù)據(jù)文件，將高分辨率的靜態(tài)圖像轉(zhuǎn)換為低分辨率的圖像，形成簡單的運(yùn)動圖像文件，以減小文件大小，由操作者以按鍵操作等執(zhí)行，并在操作者判斷在靜態(tài)圖像和動態(tài)圖像相混合的模式下所捕獲的圖像不必打印等時，使其能夠節(jié)省存儲器的剩余容量。此外，其具有在作為運(yùn)動圖像回放時不存在圖像質(zhì)量惡化的問題的優(yōu)點(diǎn)，因為只是剪切了靜態(tài)圖像的高分辨率信息。
<第二實(shí)施例>
圖9是示出了根據(jù)本發(fā)明的點(diǎn)成像設(shè)備的第二實(shí)施例的方框圖。
第二實(shí)施例的成像設(shè)備1A與上述第一實(shí)施例的成像設(shè)備1的不同點(diǎn)在于成像設(shè)備1A具有位于圖像傳感器11和CDS 12之間的讀出電路(RO)，并采用對像素的積分進(jìn)行平均/求和的圖像讀出控制方法。
以定時發(fā)生器17的定時對讀出電路21進(jìn)行控制。由于其他組成基本上類似于第一實(shí)施例，此后將主要對讀出電路21的組成和功能進(jìn)行解釋。
如上所述，在本第二實(shí)施例中，設(shè)置讀出電路21，并采用對像素的積分進(jìn)行平均/求和的圖像讀出控制方法。
通常，在其捕獲小于圖像元件的像素數(shù)時，輸出數(shù)據(jù)稀疏像素或執(zhí)行求和積分處理。在簡單稀疏的情況下，盡管結(jié)構(gòu)簡單，但由于從圖像中減去了像素，恐怕會引起圖像的惡化。
另一方面，在求和積分方法中，盡管其結(jié)構(gòu)上比簡單稀疏復(fù)雜，由于增加了像素，在所增加的數(shù)據(jù)中包括了所謂的舍入信息，其與簡單稀疏相比，具有幾乎不會發(fā)生圖像質(zhì)量惡化的優(yōu)點(diǎn)。
此外，由于增加了像素，外觀的敏感度上升，其具有即使在黑暗中仍能掌管大量信息的優(yōu)點(diǎn)。
在本第二實(shí)施例中，采用了稍后將進(jìn)行解釋的、包括上述特征的像素控制方法。
圖10是圖像傳感器的概念圖。應(yīng)當(dāng)注意，圖10中的RGB表示三原色中的紅、綠和藍(lán)。
考慮如圖10所示的傳感器，關(guān)注R顏色。
通常，考慮四個像素的求和積分，將作為(R)＝R1+R2+R3+R4的(R)用作圖像輸出。
通常，由后一級中的A/D轉(zhuǎn)換器13將此(R)轉(zhuǎn)換為數(shù)字信號。
向A/D轉(zhuǎn)換器13提供與A/D轉(zhuǎn)換有關(guān)的參考電壓，被稱為Vref電壓。按照預(yù)定的比特數(shù)進(jìn)行分割的Vref電壓成為了A/D的分辨率。
通常，將參考電壓Vref確定為單一像素的飽和電平附近，作為其上限。
由于(R)是多個像素的求和電平信號，當(dāng)對較亮的對象(具有高亮度的對象)進(jìn)行成像時，其可能飽和。
但是，不利地，在暗對象的情況下(具有低亮度的對象)，由于即使電平的輸出信號淹沒在噪聲中，仍添加和捕獲通常的單一像素，可以確保預(yù)定的信號電平。
考慮像素平均，在模擬級，對R1、R2、R3和R4進(jìn)行平均。
圖10是示出了如上構(gòu)成的讀出電路21的示例的電路圖。
此讀出電路21具有亮度檢測部分221；平均讀出電路222，作為像素平均讀出電路，能夠?qū)碜詧D像傳感器11的多個像素數(shù)據(jù)進(jìn)行平均，并對其進(jìn)行讀取；加法讀出電路223，作為像素加法讀出電路，能夠?qū)碜韵袼貍鞲衅?1的多個像素數(shù)據(jù)相加，并對其進(jìn)行讀??；以及選擇電路224，根據(jù)亮度檢測電路221的檢測輸出，選擇平均讀出電路222和加法讀出電路223的一個輸出。
加法讀出電路223具有除法電路2231到2234和加法電路2235。
加法讀出電路223在除法電路2231到2234中將每個輸入信號R1到R4除以預(yù)設(shè)的相加數(shù)，然后在加法電路2235中相加。
由于與加法像素的信息相比，圖11所示的電路的平均像素的信息輸出幾乎與單一像素的輸出相同，在暗位置中，輸出電平較低，但是，與單一像素相比，由于包括了周圍像素的信息，圖像質(zhì)量惡化的程度較低，且噪聲電平較低。此外，在其較亮?xí)r，也不存在飽和的問題。
根據(jù)上述基礎(chǔ)，選擇電路224接收亮度檢測部分221的亮度信息(照度信息)S221，并與預(yù)設(shè)閾值N進(jìn)行比較，用于判斷是執(zhí)行像素平均還是執(zhí)行像素相加。
當(dāng)亮度信息大于閾值N(S221＞N)時，選擇電路224將其視為亮對象，并輸出選擇信號S224，選擇平均讀出電路222。
另一方面，當(dāng)亮度信息等于或小于閾值N(S221≤N)時，選擇電路224將其視為暗對象，并輸出選擇信號S224，選擇加法讀出電路223。
如上所述，由于本第二實(shí)施例中的成像設(shè)備1A具有讀出電路21，所述讀出電路21包括以下功能對來自圖像傳感器11的多個成像元件的多個像素數(shù)據(jù)輸出進(jìn)行平均和讀出以及相加和讀出，并根據(jù)對象的亮度，選擇讀出并輸出所讀出的平均數(shù)據(jù)或讀出相加數(shù)據(jù)并輸出所選數(shù)據(jù)，成像設(shè)備1A除了上述第一實(shí)施例的優(yōu)點(diǎn)之外，還具有在亮對象的情況下輸出不飽和且能夠在暗對象的情況下將圖像質(zhì)量惡化程度抑制到較低水平的優(yōu)點(diǎn)。
<第三實(shí)施例>
圖12是示出了根據(jù)本發(fā)明的成像設(shè)備的第三實(shí)施例的方框圖。圖13是示出了根據(jù)第三實(shí)施例的讀出電路的結(jié)構(gòu)的示例的方框圖。
本第三實(shí)施例的成像設(shè)備1B與上述第二實(shí)施例的成像設(shè)備的不同點(diǎn)在于讀出電路21A根據(jù)亮度選擇平均(高亮度到正常亮度)、第一預(yù)定量的相加(稍低亮度)、第二預(yù)定量的相加(中等低亮度)和第三預(yù)定量的相加(相當(dāng)?shù)土炼?，根據(jù)相加的程度，改變A/D轉(zhuǎn)換器13A的參考電壓Vref，并已知電平的波動。
具體地，指定參考電壓源電路(RVSP)22，從而在選擇電路224A選擇平均讀出處理時，向A/D轉(zhuǎn)換器13A提供參考電壓Vref1，當(dāng)其選擇第一預(yù)定量的相加時，向A/D轉(zhuǎn)換器13A提供參考電壓Vref2，當(dāng)其選擇第二預(yù)定量的相加時，向A/D轉(zhuǎn)換器13A提供參考電壓Vref3，以及當(dāng)其選擇第三預(yù)定量的相加時，向A/D轉(zhuǎn)換器13A提供參考電壓Vref4。
在這種情況下，選擇電路224A用作相加像素數(shù)改變電路，以及選擇電路224A和參考電壓源電路22用作參考電壓改變電路。
其他組成類似于第二實(shí)施例。
本第三實(shí)施例具有能夠充分地抑制由亮度的改變而引起的電平的波動的優(yōu)點(diǎn)。
盡管已經(jīng)參照為了描述的目的而選擇的特定實(shí)施例，對本發(fā)明進(jìn)行了描述，應(yīng)當(dāng)清楚的是，在不偏離本發(fā)明的基本概念和范圍的前提下，本領(lǐng)域的普通技術(shù)人員可以對其進(jìn)行多種修改。
權(quán)利要求
1.一種成像設(shè)備，包括成像元件，在其上形成對象的光學(xué)圖像；信號處理系統(tǒng)，從所述成像元件讀取出具有高分辨率的高圖像數(shù)據(jù)或具有低分辨率的低圖像數(shù)據(jù)，并針對讀取出的圖像數(shù)據(jù)執(zhí)行預(yù)定的圖像處理，其中所述信號處理系統(tǒng)包括圖像處理部分，產(chǎn)生在捕獲一幅運(yùn)動圖像數(shù)據(jù)時以幀內(nèi)壓縮對高圖像數(shù)據(jù)進(jìn)行壓縮的第一壓縮圖像和在產(chǎn)生所述第一壓縮圖像的前周期和/或后周期中以幀間壓縮對低圖像數(shù)據(jù)進(jìn)行壓縮的第二壓縮圖像，作為一個流。
2.根據(jù)權(quán)利要求1所述的成像設(shè)備，其特征在于所述高圖像數(shù)據(jù)包括未經(jīng)稀疏地從所述成像元件讀取出的圖像數(shù)據(jù)或由所述圖像處理系統(tǒng)以任意的稀疏量進(jìn)行了稀疏而讀取出的圖像數(shù)據(jù)，以及所述低圖像數(shù)據(jù)包括由所述圖像處理系統(tǒng)以任意的稀疏量進(jìn)行了稀疏以變?yōu)楸人龈邎D像數(shù)據(jù)低的分辨率的、從所述成像元件讀取出的圖像數(shù)據(jù)。
3.根據(jù)權(quán)利要求1所述的成像設(shè)備，其特征在于包括球形快門功能和卷動快門功能，作為快門功能，其中所述圖像處理部分根據(jù)以所述球形快門所捕獲的圖像數(shù)據(jù)來產(chǎn)生第一壓縮圖像，而根據(jù)以所述卷動快門所捕獲的圖像數(shù)據(jù)來產(chǎn)生第二壓縮圖像。
4.根據(jù)權(quán)利要求2所述的成像設(shè)備，其特征在于所述圖像處理部分將所述第一壓縮圖像的圖像電平和所述第二壓縮圖像的圖像電平校正為近似等效的電平。
5.根據(jù)權(quán)利要求1所述的成像設(shè)備，其特征在于當(dāng)指定所述第二壓縮圖像的一個屏幕時，所述圖像處理部分通過以包括所述第二壓縮圖像之前和/或之后的所述第一壓縮圖像的其他圖像對所述第二壓縮圖像的屏幕進(jìn)行解壓縮和解碼，產(chǎn)生表示所述一個指定屏幕的高分辨率靜態(tài)圖像數(shù)據(jù)。
6.根據(jù)權(quán)利要求1所述的成像設(shè)備，其特征在于還包括流輸出單元，通過使用所述高分辨率的第一壓縮圖像和所述低分辨率的第二壓縮圖像，輸出低分辨率和連續(xù)的視頻流；判別單元，判別所述第一壓縮圖像是否為高分辨率或低分辨率的；以及判別信號輸出單元，通過所述判定單元，輸出表示所述第一壓縮圖像是否為高分辨率或低分辨率的信號。
7.根據(jù)權(quán)利要求1所述的成像設(shè)備，其特征在于包括存儲單元，用于存儲一系列所述第一壓縮圖像和所述第二壓縮圖像的流數(shù)據(jù)，其中當(dāng)指定一個流數(shù)據(jù)上的所述第一壓縮圖像的一個屏幕時，所述圖像處理部分將所述第一壓縮圖像的分辨率降低到所述第二壓縮圖像的等效程度，并將所述流數(shù)據(jù)中的所述第一壓縮圖像替換為對其分辨率進(jìn)行了縮減的第一壓縮圖像，并將其重新存儲在所述存儲單元中。
8.根據(jù)權(quán)利要求8所述的成像設(shè)備，其特征在于包括存儲單元，用于存儲一系列所述第一壓縮圖像和所述第二壓縮圖像的流數(shù)據(jù)，其中所述圖像處理部分將一個流數(shù)據(jù)上的多個第一壓縮圖像中的所有圖像的分辨率降低到所述第二壓縮圖像的等效程度，并將所述流數(shù)據(jù)中的所述第一壓縮圖像替換為對其分辨率進(jìn)行了縮減的第一壓縮圖像，并將其重新存儲在所述存儲單元中。
9.根據(jù)權(quán)利要求4所述的成像設(shè)備，其特征在于當(dāng)稀疏地從所述成像元件讀取出圖像數(shù)據(jù)時，所述信號處理系統(tǒng)通過執(zhí)行同色鄰近像素的積分處理，產(chǎn)生稀疏數(shù)據(jù)。
10.根據(jù)權(quán)利要求4所述的成像設(shè)備，其特征在于所述成像處理部分通過根據(jù)對所述第二壓縮圖像執(zhí)行積分處理讀出的R電平，來校正所述第一壓縮圖像的圖像電平，將所述第一壓縮圖像的圖像電平和所述第二壓縮圖像的圖像電平校正為近似等效的電平。
11.根據(jù)權(quán)利要求9所述的成像設(shè)備，其特征在于所述成像處理部分通過保持所述第一壓縮圖像的圖像電平，并通過分割所述積分處理的積分量來校正所述第二壓縮圖像的圖像電平，將所述第一壓縮圖像的圖像電平和所述第二壓縮圖像的圖像電平校正為近似等效的電平。
12.根據(jù)權(quán)利要求1所述的成像設(shè)備，其特征在于所述信號處理系統(tǒng)包括像素平均讀出電路，能夠?qū)碜运龀上裨亩鄠€像素數(shù)據(jù)進(jìn)行平均并讀出；像素加法讀出電路，能夠?qū)碜运龀上裨亩鄠€像素數(shù)據(jù)進(jìn)行相加并讀出；亮度檢測器，檢測對象的亮度；以及選擇器，根據(jù)所述亮度檢測器的檢測輸出，選擇所述像素平均讀出電路和所述像素加法讀出電路的一個輸出。
13.根據(jù)權(quán)利要求12所述的成像設(shè)備，其特征在于所述信號處理系統(tǒng)包括相加像素改變電路，根據(jù)所述亮度檢測器的輸出，改變所述像素相加讀出電路中相加的像素數(shù)；轉(zhuǎn)換器，將由所述選擇器選中的所述像素相加讀出電路或所述像素平均讀出電路的輸出數(shù)據(jù)從模擬數(shù)據(jù)轉(zhuǎn)換為數(shù)字?jǐn)?shù)據(jù)；以及參考電壓改變電路，根據(jù)所述亮度檢測器的輸出或所述相加像素讀出電路的輸出，改變所述轉(zhuǎn)換器的參考電壓值。
14.一種圖像設(shè)備的圖像產(chǎn)生方法，對從成像元件讀取出的圖像數(shù)據(jù)執(zhí)行預(yù)定的圖像處理，具有以下步驟通過使對象的光學(xué)圖像形成在所述成像元件上，從所述成像元件中讀取出具有高分辨率的高圖像數(shù)據(jù)或具有低分辨率的低圖像數(shù)據(jù)；通過在捕獲一幅運(yùn)動圖像數(shù)據(jù)時，以幀內(nèi)壓縮對高圖像數(shù)據(jù)進(jìn)行壓縮，產(chǎn)生第一壓縮圖像；通過在產(chǎn)生所述第一壓縮圖像的前周期和/或后周期中，以幀間壓縮對低圖像數(shù)據(jù)進(jìn)行壓縮，產(chǎn)生第二壓縮圖像；以及產(chǎn)生以幀內(nèi)壓縮對高圖像數(shù)據(jù)進(jìn)行壓縮的第一壓縮圖像和在產(chǎn)生所述第一壓縮圖像的前周期和/或后周期中以幀間壓縮對低圖像數(shù)據(jù)進(jìn)行壓縮的第二壓縮圖像，作為一個流。
全文摘要
一種成像設(shè)備，具有非傳統(tǒng)的全新成像方法，以及一種該成像設(shè)備的圖像產(chǎn)生方法，其中所述成像設(shè)備具有圖像處理部分，產(chǎn)生在捕獲一幅運(yùn)動圖像數(shù)據(jù)時以幀內(nèi)壓縮對高圖像數(shù)據(jù)進(jìn)行壓縮的第一壓縮圖像和在產(chǎn)生所述第一壓縮圖像的前周期和/或后周期中以幀間壓縮對低圖像數(shù)據(jù)進(jìn)行壓縮的第二壓縮圖像，作為一個流，其中當(dāng)指定第二壓縮圖像的一個屏幕時，所述圖像處理部分通過對第二壓縮圖像和包括第一壓縮圖像的其他壓縮圖像進(jìn)行解壓縮和解碼，產(chǎn)生表示一個指定屏幕的高分辨率靜態(tài)圖像數(shù)據(jù)。
文檔編號H04N5/225GK1662038SQ20051005245
公開日2005年8月31日 申請日期2005年2月28日 優(yōu)先權(quán)日2004年2月27日
發(fā)明者芳川誠司, 澤田隆一 申請人:京瓷株式會社