專利名稱:具有全局及滾動(dòng)快門過程的成像器的制作方法
技術(shù)領(lǐng)域:
本發(fā)明大體來說涉及供在數(shù)碼相機(jī)及其它類型的成像裝置中使用的電子圖像傳感器,且更特定來說涉及電子圖像傳感器中的圖像讀出。
背景技術(shù):
典型的電子圖像傳感器包含布置成二維陣列的若干個(gè)光電二極管或其它光敏元件。這些元件也通常稱作圖片元素或“像素”且對(duì)應(yīng)陣列稱作像素陣列。入射于像素陣列上的光由所述光敏元件轉(zhuǎn)換成電荷。使用有源像素傳感器(APQ或電荷耦合裝置(CCD)布置來從像素陣列的光敏元件讀取給定圖像捕獲周期的所收集電荷。眾所周知,可使用互補(bǔ)金屬氧化物半導(dǎo)體(CMOS)電路來實(shí)施APS圖像傳感器。此類型的圖像傳感器通常稱作CMOS圖像傳感器。在此布置中,每一像素包含至少一光電二極管及一轉(zhuǎn)移門。結(jié)合圖像讀出利用所述轉(zhuǎn)移門來控制所收集電荷從光電二極管到感測(cè)節(jié)點(diǎn)的轉(zhuǎn)移。所述感測(cè)節(jié)點(diǎn)通常包含浮動(dòng)擴(kuò)散部。每一像素可包括其自己的浮動(dòng)擴(kuò)散部,或小像素群組可共享單個(gè)浮動(dòng)擴(kuò)散部。作為后一種布置的實(shí)例,兩個(gè)、三個(gè)或四個(gè)像素的群組可每一者共享單個(gè)浮動(dòng)擴(kuò)散部。給定此種群組的像素中的每一者包括一轉(zhuǎn)移門,所述轉(zhuǎn)移門用于在圖像讀出期間將對(duì)應(yīng)光電二極管以可控制方式連接到浮動(dòng)擴(kuò)散部??稍诙鄠€(gè)像素之間共享其它讀出電路,例如復(fù)位門、輸出晶體管及行選擇晶體管。許多CMOS圖像傳感器利用所謂的“滾動(dòng)快門”來控制對(duì)入射光的暴光。所述滾動(dòng)快門為一種類型的芯片上電子快門,其以類似于膠卷相機(jī)中的機(jī)械焦面快門的方式操作。 與在圖像傳感器中使用滾動(dòng)快門相關(guān)聯(lián)的各種處理操作在本文中也統(tǒng)稱作“滾動(dòng)快門過程 ο在典型的滾動(dòng)快門過程中,依序?qū)D像傳感器中的像素行復(fù)位,在像素陣列的頂部處開始且逐行進(jìn)行到底部。當(dāng)此復(fù)位操作已沿像素陣列移動(dòng)某一距離時(shí),讀出操作開始, 其中依序讀出像素行,以與復(fù)位操作完全相同的方式且以與復(fù)位操作完全相同的速度在像素陣列的頂部處開始且逐行進(jìn)行到底部。所述滾動(dòng)快門過程通過控制正在復(fù)位的給定行與正在讀出的所述行之間的時(shí)間延遲來控制每一行及一行中的每一像素的暴光時(shí)間,所述時(shí)間延遲也稱作積分時(shí)間。舉例來說,所述積分時(shí)間可從單個(gè)線時(shí)間(即,給定行的讀出在所述行的復(fù)位完成之后即刻開始)一直到全幀時(shí)間(即,像素陣列中的底部行的復(fù)位在頂部行的讀出開始之前完成)或更大而變化。盡管使用滾動(dòng)快門過程避免機(jī)械快門的成本及復(fù)雜性,但其也可導(dǎo)致輸出圖像中的不期望運(yùn)動(dòng)假象。舉例來說,如果車輛在捕獲期間正移動(dòng)穿過圖像場(chǎng),那么來自車輛的頂部的光將在比來自車輛的底部的光早的某一時(shí)間積分,因此導(dǎo)致車輛的底部呈現(xiàn)為沿運(yùn)動(dòng)方向向前傾斜。使用滾動(dòng)快門過程還可導(dǎo)致其它類型的假象,例如,由于不同的閃光時(shí)間量,所捕獲圖像中的不同行展現(xiàn)不同的亮度水平。所屬技術(shù)中已知若干種用于校正使用滾動(dòng)快門過程產(chǎn)生的圖像中的運(yùn)動(dòng)假象的技術(shù)。舉例來說,參見標(biāo)題為“用以促進(jìn)滾動(dòng)快門圖像校正的方法及設(shè)備(Method andApparatus to Facilitate Correcting Rolling Shutter Images) " 2007/0154202 號(hào)美國(guó)專利申請(qǐng)公開案及標(biāo)題為“用于提供圖像校正的系統(tǒng)、方法、裝置及計(jì)算機(jī)程序產(chǎn)品(System, Method,Device, and Computer Program Product for Providing Image Correction) ”的第2008/0144964號(hào)美國(guó)專利申請(qǐng)公開案。然而,這些校正技術(shù)不能提供滾動(dòng)快門假象的產(chǎn)生的任何實(shí)質(zhì)減少,且可顯著增加數(shù)碼相機(jī)或其它數(shù)字成像裝置的成本及復(fù)雜性。因此,需要用于在不顯著增加對(duì)應(yīng)數(shù)字成像裝置的成本及復(fù)雜性的情況下減少歸因于使用滾動(dòng)快門過程的運(yùn)動(dòng)假象及其它假象的技術(shù)。
發(fā)明內(nèi)容
本發(fā)明的說明性實(shí)施例提供圖像傳感器,在所述圖像傳感器中以傾向于減少與滾動(dòng)快門過程的常規(guī)使用相關(guān)聯(lián)的運(yùn)動(dòng)假象及其它假象的方式將全局快門過程及滾動(dòng)快門過程應(yīng)用于像素陣列的相應(yīng)像素集合。根據(jù)本發(fā)明的一個(gè)方面,圖像傳感器包括包含至少第一及第二像素集合的像素陣列。圖像傳感器電路耦合到所述像素陣列且包含信號(hào)產(chǎn)生器,所述信號(hào)產(chǎn)生器用于控制使用全局快門過程從所述像素陣列的所述第一像素集合捕獲圖像數(shù)據(jù)且用于控制使用滾動(dòng)快門過程從所述像素陣列的所述第二像素集合捕獲圖像數(shù)據(jù),其中所述第二集合的所述像素不同于所述第一集合的所述像素。所述像素陣列可包含多個(gè)浮動(dòng)擴(kuò)散部,其中在多個(gè)像素之間共享每一此浮動(dòng)擴(kuò)散部。舉例來說,在4T4S像素共享布置中,可在所述像素中的四個(gè)像素之間共享所述浮動(dòng)擴(kuò)散部中的給定一者。作為另一實(shí)例,在4T2S像素共享布置中,可在所述像素中的兩個(gè)像素之間共享所述浮動(dòng)擴(kuò)散部中的給定一者。更特定來說,可在所述第一像素集合的至少一個(gè)像素與所述第二像素集合的至少一個(gè)像素之間共享所述浮動(dòng)擴(kuò)散部中的給定一者,以使得所述給定浮動(dòng)擴(kuò)散部用于使用所述全局快門過程從所述第一像素集合的所述至少一個(gè)像素捕獲圖像數(shù)據(jù)且還用于使用所述滾動(dòng)快門過程從所述第二像素集合的所述至少一個(gè)像素捕獲圖像數(shù)據(jù)。所述像素陣列的每一像素可具有其自己的浮動(dòng)擴(kuò)散部也是可行的。在說明性實(shí)施例中的給定一者中,所述圖像傳感器的所述像素陣列根據(jù)包括色彩像素及全色像素的稀疏濾色器陣列圖案來配置,且使用所述全局快門過程從其捕獲圖像數(shù)據(jù)的所述第一像素集合實(shí)質(zhì)上完全由全色像素構(gòu)成。所述第二像素集合主要包含彩色像素,但也可包括一些全色像素。根據(jù)本發(fā)明的另一方面,所述像素陣列可進(jìn)一步包含第三像素集合,其中所述第三集合的所述像素不同于所述第一及第二集合的所述像素,且其中所述信號(hào)產(chǎn)生器操作以控制利用額外全局快門過程從所述第三像素集合捕獲圖像數(shù)據(jù)。用于從所述第三像素集合捕獲圖像數(shù)據(jù)的所述額外全局快門過程可具有不同于用于從所述第一像素集合捕獲圖像數(shù)據(jù)的所述全局快門過程的暴光時(shí)間的暴光時(shí)間。此外,用于從所述第三像素集合捕獲圖像數(shù)據(jù)的所述額外全局快門過程可具有至少部分地重疊用于從所述第一像素集合捕獲圖像數(shù)據(jù)的所述全局快門過程的暴光時(shí)間的暴光時(shí)間。根據(jù)本發(fā)明的又一方面,進(jìn)一步處理使用所述全局快門過程產(chǎn)生的全局快門圖像及使用所述滾動(dòng)快門過程產(chǎn)生的滾動(dòng)快門圖像以便產(chǎn)生至少一個(gè)額外圖像。舉例來說,所述額外圖像可為使用所述全局快門圖像校正了運(yùn)動(dòng)假象的經(jīng)校正滾動(dòng)快門圖像,或通過將所述全局快門圖像的至少一部分與所述滾動(dòng)快門圖像的至少一部分組合而產(chǎn)生的組合圖像。根據(jù)本發(fā)明的圖像傳感器可有利地實(shí)施于數(shù)碼相機(jī)或其它類型的成像裝置中,且在不顯著增加所述成像裝置的成本或復(fù)雜性的情況下提供歸因于滾動(dòng)快門過程的使用的運(yùn)動(dòng)假象及其它假象的實(shí)質(zhì)減少。
當(dāng)結(jié)合以下說明及圖式閱讀時(shí),本發(fā)明的以上及其它目標(biāo)、特征及優(yōu)點(diǎn)將變得更為顯而易見,所述圖式中在可能的情況下使用相同參考編號(hào)來指定各圖所共有的相同特征,且其中圖1是具有根據(jù)本發(fā)明的實(shí)施例配置的圖像傳感器的數(shù)碼相機(jī)的框圖;圖2是展示圖1的數(shù)碼相機(jī)的圖像傳感器的一部分的更詳細(xì)視圖的框圖;圖3A是圖1的數(shù)碼相機(jī)的圖像傳感器中的像素陣列的一部分的一個(gè)可能實(shí)施方案的示意圖;圖;3B圖解說明圖3A的4T4S像素布置的像素電路;圖3C圖解說明4T2S像素布置中的替代像素電路;圖4圖解說明用于包含4T4S像素布置的像素陣列的實(shí)施于圖1數(shù)碼相機(jī)中的圖像數(shù)據(jù)捕獲過程,其中全局快門過程應(yīng)用于所述像素陣列的第一像素集合且滾動(dòng)快門過程應(yīng)用于所述像素陣列的第二像素集合;圖5是圖4的圖像數(shù)據(jù)捕獲過程的流程圖;圖6到圖8圖解說明用于包含4T4S像素布置的像素陣列的可實(shí)施于圖1數(shù)碼相機(jī)中的圖像數(shù)據(jù)捕獲過程的其它實(shí)例,其中全局快門過程應(yīng)用于所述像素陣列的第一像素集合且滾動(dòng)快門過程應(yīng)用于所述像素陣列的第二像素集合;圖9到圖11圖解說明用于包含4T2S像素布置的像素陣列的可實(shí)施于圖1數(shù)碼相機(jī)中的圖像數(shù)據(jù)捕獲過程的額外實(shí)例,其中全局快門過程應(yīng)用于所述像素陣列的第一像素集合且滾動(dòng)快門過程應(yīng)用于所述像素陣列的第二像素集合。
具體實(shí)施例方式本文中將結(jié)合數(shù)碼相機(jī)、圖像傳感器、圖像傳感器電路及相關(guān)聯(lián)圖像讀出技術(shù)的特定實(shí)施例來圖解說明本發(fā)明。然而,應(yīng)理解,這些說明性布置僅以舉例的方式呈現(xiàn),且不應(yīng)視為以任何方式限制本發(fā)明的范圍。所屬領(lǐng)域的技術(shù)人員將認(rèn)識(shí)到,所述所揭示的布置可適于以直接方式與各種各樣的其它類型的成像裝置、圖像傳感器、圖像傳感器電路及相關(guān)聯(lián)圖像讀出技術(shù)一同使用。圖1展示本發(fā)明的說明性實(shí)施例中的數(shù)碼相機(jī)100。在所述數(shù)碼相機(jī)中,來自被攝體場(chǎng)景的光輸入到成像級(jí)102。所述成像級(jí)可包含例如透鏡、中性密度濾光器、光圈及快門等常規(guī)元件。所述光由成像級(jí)102聚焦以在圖像傳感器104上形成圖像,圖像傳感器104 將入射光轉(zhuǎn)換成電信號(hào)。數(shù)碼相機(jī)100進(jìn)一步包括處理器106、存儲(chǔ)器108、顯示器110及一個(gè)或一個(gè)以上額外輸入/輸出(I/O)元件112。盡管在圖1的實(shí)施例中展示為單獨(dú)的元件,但成像級(jí)102可與圖像傳感器104及 (可能地)數(shù)碼相機(jī)100的一個(gè)或一個(gè)以上額外元件集成在一起以形成緊湊的相機(jī)模塊。圖像傳感器104通常將實(shí)施為具有相關(guān)聯(lián)濾色器陣列(CFA)圖案的彩色圖像傳感器??捎糜趫D像傳感器104中的一種類型的CFA圖案為眾所周知的拜爾(Bayer)圖案,其揭示于標(biāo)題為“彩色成像陣列(Color Imaging Array) ”的第3,971,065號(hào)美國(guó)專利中,所述專利以引用方式并入本文中??捎糜趫D像傳感器104中的CFA圖案的其它實(shí)例包括標(biāo)題為“具有經(jīng)改善光敏性的圖像傳感器(Image Sensor with Improved Light Sensitivity)” 的第2007/0024931號(hào)美國(guó)專利申請(qǐng)公開案中所揭示的那些實(shí)例,所述公開案以引用方式并入本文中。這些實(shí)例包括提供具有全色光電響應(yīng)的像素中的某些像素的圖案。此類圖案在本文中通常也稱作“稀疏”CFA圖案。配置有稀疏CFA圖案的圖像傳感器展現(xiàn)較大光敏性且因此尤其適合用于涉及低場(chǎng)景照明、短暴光時(shí)間、小孔徑或?qū)Φ竭_(dá)圖像傳感器的光的量的具有其它限制的應(yīng)用中。應(yīng)注意,圖像傳感器104不需要是具有CFA的彩色圖像傳感器。舉例來說,所述圖像傳感器可包含單色圖像傳感器或紅外圖像傳感器。舉例來說,處理器106可包含微處理器、中央處理單元(CPU)、專用集成電路 (ASIC)、數(shù)字信號(hào)處理器(DSP)或其它處理裝置或者多個(gè)此類裝置的組合。成像級(jí)102及圖像傳感器104的各種元件可由時(shí)序信號(hào)或從處理器106供應(yīng)的其它信號(hào)來控制。存儲(chǔ)器108可包含任一類型的存儲(chǔ)器,例如(舉例來說)隨機(jī)存取存儲(chǔ)器(RAM)、 只讀存儲(chǔ)器(ROM)、快閃存儲(chǔ)器、基于磁盤的存儲(chǔ)器、可裝卸存儲(chǔ)器或其它類型的存儲(chǔ)元件 (以任一組合方式)。由圖像傳感器104捕獲的給定圖像可由處理器106存儲(chǔ)于存儲(chǔ)器108中且呈現(xiàn)于顯示器110上。顯示器110通常為有源矩陣彩色液晶顯示器(LCD),但可使用其它類型的顯示器。舉例來說,額外1/0元件112可包含各種屏幕上控制件、按鈕或其它用戶接口、網(wǎng)絡(luò)接口、存儲(chǔ)器卡接口等。舉例來說,可在上文引用的第2007/0024931號(hào)美國(guó)專利申請(qǐng)公開案中找到關(guān)于圖1中所展示類型的數(shù)碼相機(jī)的操作的額外細(xì)節(jié)。在本實(shí)施例中假設(shè)圖像傳感器104為CMOS圖像傳感器,但可使用其它類型的圖像傳感器來實(shí)施本發(fā)明。如圖2中所展示,圖像傳感器104更特定來說包含像素陣列200、可控制的信號(hào)產(chǎn)生器202及信號(hào)處理電路204。在其它實(shí)施例中,元件202及204中的一者或其兩者可至少部分地布置于所述圖像傳感器外部。像素陣列200通常包括布置成行與列的多個(gè)像素以及與所述像素陣列的讀出相關(guān)聯(lián)的額外電路,下文將結(jié)合圖3A描述其更詳細(xì)實(shí)例。所述像素陣列的每一像素通常包含耦合到轉(zhuǎn)移門的至少一光電二極管或其它類型的光敏元件。可控制的信號(hào)產(chǎn)生器202可在處理器106的控制下操作以產(chǎn)生與像素陣列200的讀出相關(guān)聯(lián)的信號(hào),所述信號(hào)包括(以舉例的方式)復(fù)位門(RG)信號(hào)、轉(zhuǎn)移門(TG)信號(hào)及行選擇(舊)信號(hào),如圖2中所指示。信號(hào)產(chǎn)生器202也可產(chǎn)生與圖像讀出相關(guān)聯(lián)的其它類型的信號(hào),包括例如取樣與保持復(fù)位(SHR)及取樣與保持信號(hào)(SiB)等取樣信號(hào)。
信號(hào)產(chǎn)生器202可包含所屬技術(shù)中通常已知的類型的驅(qū)動(dòng)電路,其經(jīng)合適地修改以實(shí)施如本文中所描述的全局快門過程及滾動(dòng)快門過程。本文中所使用的術(shù)語“信號(hào)產(chǎn)生器”打算廣義地進(jìn)行解釋,以便涵蓋用以產(chǎn)生信號(hào)的電路的任一布置,所述信號(hào)用于應(yīng)用于像素陣列以實(shí)施全局快門過程或滾動(dòng)快門過程。舉例來說,信號(hào)處理電路204可包含用于處理從像素陣列200讀出的模擬信號(hào)的一個(gè)或一個(gè)以上模擬信號(hào)處理器(ASP)、用于放大此些信號(hào)的一個(gè)或一個(gè)以上可編程增益放大器(PGA)及用于將所述經(jīng)放大信號(hào)轉(zhuǎn)換成適合由處理器106處理的數(shù)字形式的模/數(shù)轉(zhuǎn)換器(ADC)。此信號(hào)處理電路的部分可布置于圖像傳感器外部,或與像素陣列200整體地(舉例來說)在共用集成電路上與像素陣列200的光敏元件及其它讀出電路元件一起形成。與像素陣列200的讀出及對(duì)應(yīng)圖像數(shù)據(jù)的處理相關(guān)聯(lián)的功能性可至少部分地以存儲(chǔ)于存儲(chǔ)器108中且由處理器106執(zhí)行的軟件的形式來實(shí)施。舉例來說,可響應(yīng)于處理器106對(duì)軟件的執(zhí)行來選擇或以其它方式配置由可控制的信號(hào)產(chǎn)生器202產(chǎn)生的各種信號(hào)。此軟件可以本文中所提供的教示所給出的簡(jiǎn)單方式來實(shí)施,如所屬領(lǐng)域的技術(shù)人員將了解。應(yīng)了解,如圖1及圖2中所展示的數(shù)碼相機(jī)100和圖像傳感器104可包含所屬領(lǐng)域的技術(shù)人員已知的類型的額外或替代元件。本文中未特定展示或描述的元件可選自所屬技術(shù)中已知的那些元件。本文中所描述的這些及其它圖經(jīng)簡(jiǎn)化以便清楚地圖解說明本發(fā)明的各種方面,且未必按比例繪制。給定實(shí)施例可包括未明確圖解說明但因通常與所描述的一般類型的數(shù)碼相機(jī)、圖像傳感器或圖像傳感器電路相關(guān)聯(lián)而為所屬領(lǐng)域的技術(shù)人員所熟悉的各種各樣的其它特征或元件。如上所述,使用滾動(dòng)快門過程的常規(guī)圖像傳感器的問題是由此些傳感器產(chǎn)生的圖像可含有運(yùn)動(dòng)假象或其它類型的假象。圖像傳感器104在說明性實(shí)施例中經(jīng)配置以通過將全局快門過程及滾動(dòng)快門過程應(yīng)用于像素陣列200的相應(yīng)像素集合來減少此些假象。圖3A展示說明性實(shí)施例中的圖像傳感器104的像素陣列200的一部分。為說明的簡(jiǎn)單及清晰起見,所展示的所述部分僅包括32個(gè)像素,但像素陣列的典型實(shí)際實(shí)施方案將包括實(shí)質(zhì)上更大數(shù)目的像素,其以類似于所展示的那些像素的方式布置。像素陣列200的每一像素300包含耦合到第一晶體管304的光電二極管302。包含第二晶體管306、第三晶體管308、第四晶體管310及浮動(dòng)擴(kuò)散部312的額外電路由布置成2X2塊的四個(gè)像素的子陣列共享。所述2X2像素塊是在本文中更通常稱作“單元”的一個(gè)實(shí)例。存在與所述2X2像素單元中的每一者相關(guān)聯(lián)的不同組的額外電路。此實(shí)施例中的像素陣列200的配置稱作4晶體管4共享GT4S)布置,因?yàn)榛鞠袼亟Y(jié)構(gòu)包含總共四個(gè)晶體管304、306、308及310,其中所述像素中的四個(gè)像素共享包含晶體管306、308及310 以及浮動(dòng)擴(kuò)散部312的額外電路。此實(shí)施例中的像素陣列的晶體管為η型MOS(NMOS)晶體管。通常,此些晶體管及相關(guān)聯(lián)光電二極管形成于η型襯底上的ρ阱區(qū)中。在NMOS像素晶體管的替代實(shí)施方案中, 所述NMOS晶體管形成于生長(zhǎng)于ρ型襯底上的ρ型外延層中。在其它實(shí)施例中,所述像素晶體管可為ρ型MOS(PMOS)晶體管,在此情況下所述光電二極管及所述晶體管可形成于(舉例來說)Ρ型襯底上的η阱區(qū)中。
第一晶體管304為轉(zhuǎn)移門,其經(jīng)配置以響應(yīng)于轉(zhuǎn)移門(TG)信號(hào)而將所收集電荷從光電二極管302轉(zhuǎn)移到浮動(dòng)擴(kuò)散部312。第二晶體管306為復(fù)位門,其經(jīng)配置以通過響應(yīng)于復(fù)位門(RG)信號(hào)而將浮動(dòng)擴(kuò)散部312耦合到像素電力供應(yīng)電壓Vdd來將其復(fù)位。當(dāng)結(jié)合第一晶體管304操作時(shí),第二晶體管306還可用以同時(shí)將光電二極管302與浮動(dòng)擴(kuò)散部312 復(fù)位。第三晶體管308為源極隨耦器或輸出晶體管,其經(jīng)配置以放大浮動(dòng)擴(kuò)散部上的信號(hào)且將所述經(jīng)放大信號(hào)供應(yīng)到標(biāo)記為PixColn^1且與像素陣列的列η及η+1相關(guān)聯(lián)的共用輸出線,其中η = 0、2、4等。在此實(shí)施例中,所述輸出晶體管經(jīng)由第四晶體管310耦合到所述共用輸出線,第四晶體管310為響應(yīng)于行選擇(RS)信號(hào)而操作的行選擇晶體管,如圖所展
7J\ ο如圖所展示,圖3A中的像素陣列200的元件耦合到供應(yīng)電壓Vdd及襯底電壓 Vsub。應(yīng)用于所述像素陣列的控制信號(hào)包括TG控制信號(hào)TG_P0、TG_C1、TG_C2及TG_P3,以及包括RG信號(hào)及RS信號(hào)的額外控制信號(hào)。與這些信號(hào)相關(guān)聯(lián)的下標(biāo)N+1及N是指所述陣列中的相應(yīng)上部及下部行對(duì)。RG、TG及RS信號(hào)為由信號(hào)產(chǎn)生器202產(chǎn)生的控制信號(hào)的群組的部分且應(yīng)用于像素陣列200以控制使用全局快門過程及滾動(dòng)快門過程捕獲圖像數(shù)據(jù),如下文將結(jié)合圖4到圖11描述。如前文所指示,圖3A圖解說明4T4S布置,其中在四個(gè)像素當(dāng)中共享給定復(fù)位門 306、輸出晶體管308、行選擇晶體管310及浮動(dòng)擴(kuò)散部312。圖展示此示范性共享4T4S 布置的另一視圖。在此圖示中,具有相應(yīng)轉(zhuǎn)移門TGI、TG2、TG3及TG4的四個(gè)光電二極管 302(也標(biāo)記為PD1、PD2、PD3及PD4)共享單個(gè)浮動(dòng)擴(kuò)散部312。其它類型的共享布置也是可行的,包括(舉例來說)其中在兩個(gè)像素之間共享此些元件的4T2S布置。另一示范性4T2S布置在兩個(gè)像素之間共享復(fù)位門、輸出晶體管及行選擇晶體管,但針對(duì)每一像素提供單獨(dú)的浮動(dòng)擴(kuò)散部。此外,給定實(shí)施例可給每一像素提供其自己的復(fù)位門、輸出晶體管、行選擇晶體管及浮動(dòng)擴(kuò)散部,使得不存在這些元件在不同像素當(dāng)中的共享。圖3C展示4T2S共享布置中的像素電路的實(shí)例,其中兩個(gè)光電二極管PDl與PD4共享第一浮動(dòng)擴(kuò)散部312-1且兩個(gè)其它光電二極管PD2與PD3共享第二浮動(dòng)擴(kuò)散部312-2。可使用圖像傳感器電路的眾多其它替代布置來實(shí)施本發(fā)明的給定實(shí)施例。舉例來說,盡管本文中所描述的說明性實(shí)施例利用4T像素,但可使用其它類型的像素結(jié)構(gòu)。所屬領(lǐng)域的技術(shù)人員很好地理解此電路的常規(guī)方面且因此本文中將不予以進(jìn)一步詳細(xì)描述。圖3A中還圖解說明與像素陣列200相關(guān)聯(lián)的CFA圖案。更特定來說,根據(jù)圖像傳感器104的指定稀疏CFA圖案,像素陣列中的像素300中的鄰近的每一者為其對(duì)應(yīng)濾色器元件的指示符,其可為紅色(R)、藍(lán)色(B)、綠色(G)或全色(P)。本文中所描述的說明性實(shí)施例中所使用的特定稀疏CFA圖案為上文引用的第2007/0024931號(hào)美國(guó)專利申請(qǐng)公開案中所揭示的全色棋盤圖案,但也可使用眾多其它CFA圖案。圖3A中所展示的陣列200的部分包括四個(gè)行,每行八個(gè)像素,其中此部分的上部?jī)尚性诒疚闹蟹Q作藍(lán)色/綠色行對(duì),且下部?jī)尚性诒疚闹蟹Q作紅色/綠色行對(duì)。此特定CFA 圖案中的最小重復(fù)單位是16個(gè)連續(xù)像素的子陣列,所述16個(gè)連續(xù)像素包含如圖3A中所展示的像素陣列200的所述部分的左半邊或右半邊。因此,所述最小重復(fù)單位包含如下布置成四個(gè)四像素單元的16個(gè)像素ZPYPPZPYYPXPPYPX其中P表示全色像素中的一者且X、Y及Z表示相應(yīng)色彩像素。在此特定實(shí)施例中,x、Y及Z分別為紅色、綠色及藍(lán)色?;蛘撸?、Υ及Z可以不同方式從紅色、綠色及藍(lán)色中個(gè)別地選出,或可從另一組色彩(例如,青綠色、品紅色及黃色)中個(gè)別地選出??墒褂镁哂衅渌钚≈貜?fù)單位的圖案,例如,如上文引用的第2007/0024931號(hào)美國(guó)專利申請(qǐng)公開案中所描述的具有至少12個(gè)像素的最小重復(fù)單位。圖3Α中所展示的像素陣列200的所述部分中的所述列被分為若干群組,其中每一群組包含所述列中的兩者且共享共用輸出。舉例來說,陣列的左側(cè)的前兩列中的像素共享標(biāo)記為PixColciZ1的共用輸出。類似地,陣列的下兩列中的像素共享標(biāo)記為PixCol2/3的共用輸出。剩余的兩對(duì)列共享標(biāo)記為PixCol4/5及PixCol6/7的相應(yīng)共用輸出。2X2像素單元中的給定一者中的每一像素可經(jīng)由與所述單元相關(guān)聯(lián)的輸出晶體管及行選擇晶體管連接到其共享共用輸出。圖3A的像素陣列200有利地經(jīng)配置以準(zhǔn)許同色像素的裝箱(binning)及全色像素的裝箱。本文中所使用的術(shù)語“裝箱”打算涵蓋涉及(舉例來說)在取樣同一共用輸出之前同時(shí)將來自同一像素單元的兩個(gè)或兩個(gè)以上像素連接到所述輸出的布置。也可使用其它類型的裝箱。本發(fā)明的替代實(shí)施例不需要經(jīng)配置來促進(jìn)此些裝箱操作。現(xiàn)在將參照?qǐng)D4到圖11來描述實(shí)施于本發(fā)明的說明性實(shí)施例中的數(shù)碼相機(jī)100 中的示范性數(shù)據(jù)捕獲過程。圖4到圖8假設(shè)使用4T4S像素結(jié)構(gòu),例如圖3A及圖中所圖解說明的像素結(jié)構(gòu),而圖9到圖11涉及替代4T2S像素結(jié)構(gòu),例如圖3C中所圖解說明的像素結(jié)構(gòu)。在要描述的示范性過程中,信號(hào)產(chǎn)生器202控制使用全局快門過程從像素陣列200 的第一像素集合捕獲圖像數(shù)據(jù),且控制使用滾動(dòng)快門過程從所述像素陣列的第二像素集合捕獲圖像數(shù)據(jù),其中所述第二集合的所述像素不同于所述第一集合的所述像素。如將描述, 此類型的布置有利地允許減少由讀出過程產(chǎn)生的圖像中的運(yùn)動(dòng)假象及其它假象?,F(xiàn)在翻到圖4,圖解說明圖3A的像素陣列200的圖像數(shù)據(jù)捕獲過程。此過程包括 全局讀出部分,其包含通過全局快門過程的單個(gè)捕獲;及快門讀出部分,其包含使用滾動(dòng)快門過程的另一單個(gè)捕獲。所述全局快門過程及所述滾動(dòng)快門過程兩者包括以下操作光電二極管及浮動(dòng)擴(kuò)散部的復(fù)位;浮動(dòng)擴(kuò)散部的取樣;電荷從光電二極管到浮動(dòng)擴(kuò)散部的轉(zhuǎn)移;及浮動(dòng)擴(kuò)散部的讀出,其中這些復(fù)位、取樣、轉(zhuǎn)移及讀出操作由相應(yīng)的實(shí)線或虛線指示, 如圖所展示。所述解說明依據(jù)時(shí)間將這些操作應(yīng)用于像素陣列200的行的方式。在此實(shí)施例中,使用全局快門過程來從像素陣列200的全色像素捕獲圖像數(shù)據(jù), 且使用滾動(dòng)快門過程來從所述像素陣列的彩色像素R、G及B捕獲圖像數(shù)據(jù)。因此,此實(shí)施例中的上述第一及第二像素集合分別主要包含全色像素及主要包含彩色像素。各種各樣的其它類型的分組也是可行的。舉例來說,第一集合不需要僅含有全色像素,而是可替代地也包括一些彩色像素。類似地,第二集合不需要僅含有彩色像素,而是可替代地也包括一些全色像素。然而,通常期望第一像素集合包括比第二集合的像素對(duì)光更敏感的像素,因?yàn)槿?br>
10快門捕獲將通常具有比滾動(dòng)快門捕獲短的暴光時(shí)間以減少運(yùn)動(dòng)假象。因此,全色像素優(yōu)選地包括于經(jīng)受全局快門過程的第一像素集合中。第一像素集合中所包括的像素的總數(shù)目的百分比可約為像素的25%,但也可使用其它百分比。在圖4實(shí)施例中,全局快門過程具有暴光時(shí)間400,且滾動(dòng)快門過程具有實(shí)質(zhì)上比暴光時(shí)間400長(zhǎng)的暴光時(shí)間402。在給定光電二極管及其對(duì)應(yīng)浮動(dòng)擴(kuò)散部的復(fù)位與所收集電荷從所述光電二極管到所述浮動(dòng)擴(kuò)散部的轉(zhuǎn)移之間測(cè)量這些暴光時(shí)間。對(duì)于全局快門過程,復(fù)位操作針對(duì)經(jīng)受全局快門的所有像素實(shí)質(zhì)上同時(shí)發(fā)生,而不管所述像素在哪一行中, 如同轉(zhuǎn)移操作。因此,全局快門過程的復(fù)位及轉(zhuǎn)移操作由相應(yīng)的垂直線圖解說明。對(duì)于滾動(dòng)快門過程,復(fù)位及轉(zhuǎn)移操作按行進(jìn)行,且因此由相應(yīng)的斜線圖解說明。相比之下,按行依序處理全局快門過程及滾動(dòng)快門過程兩者的取樣及讀出過程,使得展示斜線具有斜坡,所述斜坡指示每一圖像中的像素的數(shù)目。從圖4可見,滾動(dòng)快門圖像捕獲過程的開始與全局快門圖像捕獲過程的轉(zhuǎn)移操作大約重合。因此,全局快門圖像捕獲過程的讀出時(shí)間404可至少部分地重疊應(yīng)用于初始行 (針對(duì)其使用滾動(dòng)快門過程捕獲圖像數(shù)據(jù))的滾動(dòng)快門圖像捕獲過程的暴光時(shí)間。所述讀出時(shí)間表示在其中從浮動(dòng)擴(kuò)散部讀出由在轉(zhuǎn)移操縱中轉(zhuǎn)移到浮動(dòng)擴(kuò)散部的電荷產(chǎn)生的電壓的時(shí)間周期。應(yīng)注意,對(duì)于給定浮動(dòng)擴(kuò)散部,必須在可對(duì)所述浮動(dòng)擴(kuò)散部進(jìn)行復(fù)位或取樣之前讀出由來自第一圖像(在此情況下其為全局快門圖像)的電荷產(chǎn)生的電壓作為第二圖像的部分,在此情況下所述第二圖像為滾動(dòng)快門圖像?,F(xiàn)在參照?qǐng)D5,其展示更詳細(xì)地圖解說明圖4的總體圖像數(shù)據(jù)捕獲過程的流程圖。 步驟502到514對(duì)應(yīng)于全局快門圖像數(shù)據(jù)捕獲,而步驟516到5M對(duì)應(yīng)于滾動(dòng)快門圖像數(shù)據(jù)捕獲。如前文所指示,使用全局快門過程從像素陣列200的第一像素集合(例如,全色像素)捕獲圖像數(shù)據(jù),且使用滾動(dòng)快門過程從像素陣列200的第二像素集合(例如,彩色像素)捕獲圖像數(shù)據(jù)。這些第一及第二像素集合在所述流程圖的上下文中及本文別處分別稱作全局快門像素及滾動(dòng)快門像素,且其相關(guān)聯(lián)光電二極管分別稱作全局快門光電二極管及滾動(dòng)快門光電二極管。然而,應(yīng)注意,像素及光電二極管以及用以從所述像素及光電二極管獲得圖像的電子快門過程可(舉例來說)在相機(jī)操作模式的改變期間從全局快門過程改變?yōu)闈L動(dòng)快門過程。圖像數(shù)據(jù)捕獲在步驟500中開始,且在步驟502中將所有全局快門光電二極管及浮動(dòng)擴(kuò)散部復(fù)位。全局快門光電二極管的電荷的積分在步驟504中開始。所述過程的此部分涉及在步驟506中對(duì)對(duì)應(yīng)浮動(dòng)擴(kuò)散部進(jìn)行復(fù)位及取樣。在全局快門光電二極管的積分完成之后,實(shí)質(zhì)上同時(shí)將電荷從全局快門光電二極管轉(zhuǎn)移到浮動(dòng)擴(kuò)散部,如步驟508中所指示。在步驟510中關(guān)斷全局快門光電二極管的轉(zhuǎn)移門。讀出操作接著通過測(cè)量由從全局快門光電二極管轉(zhuǎn)移的電荷產(chǎn)生的浮動(dòng)擴(kuò)散部中的電壓且逐行地將所述電壓讀取到適當(dāng)列電路上而在步驟512中開始。在步驟514中,使用信號(hào)處理電路204的ADC將電壓讀數(shù)轉(zhuǎn)換成數(shù)字全局快門圖像數(shù)據(jù)且接著將所述數(shù)字全局讀出圖像數(shù)據(jù)存儲(chǔ)于存儲(chǔ)器中。舉例來說,其中存儲(chǔ)此些像素?cái)?shù)據(jù)的所述存儲(chǔ)器可為數(shù)碼相機(jī)100的存儲(chǔ)器108或圖像傳感器104 的內(nèi)部存儲(chǔ)器。滾動(dòng)快門光電二極管的電荷的積分在步驟516中逐行開始。所述過程的此部分涉及在步驟518中逐行地對(duì)對(duì)應(yīng)浮動(dòng)擴(kuò)散部進(jìn)行復(fù)位及取樣。在一行中的每一滾動(dòng)快門像素的積分完成之后,將電荷從滾動(dòng)快門光電二極管轉(zhuǎn)移到所述行內(nèi)的浮動(dòng)擴(kuò)散部,如步驟520 中所指示。盡管圖中未指示,但在電荷轉(zhuǎn)移之后逐行地關(guān)斷滾動(dòng)快門光電二極管的轉(zhuǎn)移門。 滾動(dòng)快門光電二極管的讀出操作接著通過測(cè)量由從滾動(dòng)快門光電二極管轉(zhuǎn)移的電荷在浮動(dòng)擴(kuò)散部中產(chǎn)生的電壓且逐行地將所述所測(cè)量電壓讀取到適當(dāng)列電路上而在步驟522中開始。在步驟524中,使用信號(hào)處理電路204的ADC將所述電壓測(cè)量轉(zhuǎn)換成數(shù)字滾動(dòng)快門圖像數(shù)據(jù),且接著將所述數(shù)字全局讀出圖像數(shù)據(jù)存儲(chǔ)于存儲(chǔ)器中,所述存儲(chǔ)器如上所述可為數(shù)碼相機(jī)100的存儲(chǔ)器108或圖像傳感器104的內(nèi)部存儲(chǔ)器。應(yīng)了解,僅以舉例的方式呈現(xiàn)圖5的特定過程步驟,且在本發(fā)明的替代實(shí)施例中可使用其它類型的圖像數(shù)據(jù)捕獲過程。舉例來說,步驟512及522可利用除特定列舉的那些測(cè)量布置以外的其它類型的測(cè)量布置。可將全局快門圖像數(shù)據(jù)連同滾動(dòng)快門圖像數(shù)據(jù)一同處理,以便產(chǎn)生最終圖像。舉例來說,可使用從全局快門像素產(chǎn)生的全局快門圖像來校正從滾動(dòng)快門像素產(chǎn)生的滾動(dòng)快門圖像中的運(yùn)動(dòng)假象或其它假象。在圖4實(shí)例中,使用全色像素非??焖俚夭东@全局快門圖像以消除例如運(yùn)動(dòng)模糊及拖影等假象,且用較長(zhǎng)的暴光時(shí)間來捕獲滾動(dòng)快門圖像以提供良好的色彩性能及低噪聲。從全局快門圖像與滾動(dòng)快門圖像的組合產(chǎn)生的最終圖像具有比使用常規(guī)滾動(dòng)快門技術(shù)產(chǎn)生的圖像更少的假象及顯著更高的質(zhì)量?,F(xiàn)在將更詳細(xì)地描述用于從全局快門圖像數(shù)據(jù)及滾動(dòng)快門圖像數(shù)據(jù)產(chǎn)生最終圖像或其它經(jīng)改善圖像的示范性技術(shù)。由于全局快門圖像具有在持續(xù)時(shí)間及時(shí)序兩者上均不同于滾動(dòng)快門圖像的暴光時(shí)間的暴光時(shí)間,因此相機(jī)運(yùn)動(dòng)或場(chǎng)景中的物體運(yùn)動(dòng)可導(dǎo)致全局快門圖像中所含有的圖像內(nèi)容與滾動(dòng)快門圖像中所含有的圖像內(nèi)容之間的不對(duì)準(zhǔn)。在一個(gè)實(shí)施例中,通過將全局快門圖像用作基線圖像以引導(dǎo)滾動(dòng)快門圖像中的運(yùn)動(dòng)假象的校正來形成經(jīng)改善圖像。接著可單獨(dú)地或以組合方式使用全局快門圖像及滾動(dòng)快門圖像以形成經(jīng)進(jìn)一步改善的圖像。以舉例的方式,與從全局快門圖像及滾動(dòng)快門圖像產(chǎn)生一個(gè)或一個(gè)以上經(jīng)改善圖像相關(guān)聯(lián)的處理操作可在圖像傳感器104的信號(hào)處理電路204中實(shí)施??墒褂眠\(yùn)動(dòng)估計(jì)與補(bǔ)償技術(shù)來完成滾動(dòng)快門圖像中的運(yùn)動(dòng)假象的校正,在所述運(yùn)動(dòng)估計(jì)與補(bǔ)償技術(shù)中,確定全局快門圖像與滾動(dòng)快門圖像之間的差且接著移動(dòng)所述滾動(dòng)快門圖像的部分以將其與所述全局快門圖像對(duì)準(zhǔn)。此些運(yùn)動(dòng)估計(jì)與補(bǔ)償技術(shù)的常規(guī)方面在所屬技術(shù)中為已知,且可涉及(舉例來說)使用仿射模型、基于塊的平移運(yùn)動(dòng)模型或來自光流算法的密集運(yùn)動(dòng)場(chǎng)。作為適合用于本發(fā)明的存儲(chǔ)器受限的實(shí)施例中的運(yùn)動(dòng)估計(jì)與補(bǔ)償?shù)母囟▽?shí)例, 可在給定時(shí)間讀出較少數(shù)目個(gè)圖像傳感器像素行并在存儲(chǔ)器中緩沖。接著使用基于塊的平移運(yùn)動(dòng)模型來提供對(duì)運(yùn)動(dòng)的快速局部估計(jì)??刹糠值匾罁?jù)緩沖器中可用的像素行的數(shù)目來選擇用以將全局快門圖像內(nèi)的塊與滾動(dòng)快門圖像內(nèi)的塊匹配的塊大小及搜索范圍。舉例來說,可將圖像劃分成8X8塊且以多達(dá)4個(gè)像素的運(yùn)動(dòng)范圍進(jìn)行搜索以識(shí)別匹配塊??舍槍?duì)每一塊保存塊匹配統(tǒng)計(jì)作為用于后續(xù)分析中的匹配塊之間的偏移。此些統(tǒng)計(jì)可包括與優(yōu)選匹配相關(guān)聯(lián)的誤差以及跨越所有偏移的平均誤差與最小誤差之間的比率?!┮厌槍?duì)當(dāng)前行群組中的所有塊確定運(yùn)動(dòng)偏移,則進(jìn)一步處理所述偏移以強(qiáng)制規(guī)則性且減小噪聲對(duì)運(yùn)動(dòng)估計(jì)的影響。此可通過使用來自當(dāng)前及先前行的可用運(yùn)動(dòng)數(shù)據(jù)對(duì)運(yùn)動(dòng)偏移進(jìn)行中值濾波來實(shí)現(xiàn)。為避免跨越強(qiáng)邊緣的中值濾波,可使用所計(jì)算的塊匹配統(tǒng)計(jì)來使塊不改變地通過中值濾波器。特定來說,平均誤差與最小誤差之間的高比率表明強(qiáng)匹配及實(shí)質(zhì)圖像內(nèi)容。從中值濾波器將其平均誤差對(duì)最小誤差比率超過預(yù)設(shè)閾值的塊排除。在替代實(shí)施方案中可使用不同運(yùn)動(dòng)估計(jì)技術(shù)。在其中緩沖器存儲(chǔ)器較不受限且整個(gè)或幾乎整個(gè)圖像可在處理之前存儲(chǔ)于存儲(chǔ)器中的實(shí)施例中,可使用更復(fù)雜的運(yùn)動(dòng)分析。 舉例來說,可使用光流算法來針對(duì)每個(gè)像素產(chǎn)生運(yùn)動(dòng)向量?;蛘撸蓪⒏蟮乃阉鞣秶糜趬K運(yùn)動(dòng)估計(jì)。在其中全局快門圖像暴光時(shí)間在滾動(dòng)快門圖像的較長(zhǎng)暴光時(shí)間內(nèi)大致居中的情形中(如在圖6的實(shí)施例中),運(yùn)動(dòng)估計(jì)與補(bǔ)償可完全被跳過或另外與減小的搜索范圍一同使用,從而減小處理算法的總體復(fù)雜性。一旦運(yùn)動(dòng)估計(jì)完成,則根據(jù)運(yùn)動(dòng)估計(jì)來調(diào)整滾動(dòng)快門圖像以將其與全局快門圖像對(duì)準(zhǔn)。滾動(dòng)快門圖像的此調(diào)整可包括針對(duì)運(yùn)動(dòng)的調(diào)整,其逐行變化以將所述圖像內(nèi)的特征與所述全局快門圖像對(duì)準(zhǔn)。針對(duì)運(yùn)動(dòng)的所述調(diào)整可為所述圖像的部分的橫向移位以補(bǔ)償運(yùn)動(dòng)的影響及全局快門圖像的行是在不同時(shí)間捕獲的事實(shí)。接著可單獨(dú)使用所述經(jīng)調(diào)整滾動(dòng)快門圖像或可將其與全局快門圖像組合以形成具有較高信噪比的經(jīng)改善的組合圖像。舉例來說,此可通過使用堆疊方法來完成,所述堆疊方法通常涉及將圖像內(nèi)的類似像素位置的碼值加在一起。另外或或者,由于是用較短的暴光時(shí)間捕獲使得運(yùn)動(dòng)假象減少,因此全局快門圖像可用來幫助引導(dǎo)滾動(dòng)快門圖像內(nèi)的邊緣的清晰化??墒褂帽姸嗥渌夹g(shù)來使用全局快門圖像及滾動(dòng)快門圖像產(chǎn)生一個(gè)或一個(gè)以上經(jīng)改善圖像。如前文所指示,這些技術(shù)可至少部分地實(shí)施于圖像傳感器104的信號(hào)處理電路204中。圖6到圖8圖解說明用于包含圖3A及圖中所展示的4T4S像素布置的像素陣列200的可實(shí)施于圖1數(shù)碼相機(jī)中的圖像數(shù)據(jù)捕獲過程的其它實(shí)例。在這些額外實(shí)例中的每一者中,將全局快門過程應(yīng)用于像素陣列的第一像素集合且將滾動(dòng)快門過程應(yīng)用于像素陣列的第二像素集合,如在結(jié)合圖4及圖5所描述的實(shí)例中。將針對(duì)本文中的這些及其它實(shí)例再次假設(shè)所述第一像素集合包含全色像素且所述第二像素集合包含彩色像素,但如前文所指示,將像素分組成集合的眾多其它分組也是可行的。現(xiàn)在參照?qǐng)D6,其展示圖像數(shù)據(jù)捕獲過程,其中全局快門光電二極管的暴光時(shí)間完全重疊滾動(dòng)快門光電二極管的暴光時(shí)間。在此情況下,滾動(dòng)快門光電二極管的復(fù)位在全局快門光電二極管的復(fù)位之前發(fā)生,而電荷從全局快門光電二極管的轉(zhuǎn)移及浮動(dòng)擴(kuò)散部的相關(guān)聯(lián)讀出在電荷從滾動(dòng)快門光電二極管的轉(zhuǎn)移及浮動(dòng)擴(kuò)散部的相關(guān)聯(lián)讀出之前發(fā)生。所述過程另外以類似于圖4及圖5的過程的方式配置。圖7展示一布置的實(shí)例,其中結(jié)合單個(gè)滾動(dòng)快門捕獲執(zhí)行兩個(gè)短全局快門捕獲。 此為更一般布置的一個(gè)實(shí)例,其中在其中使用滾動(dòng)快門過程從第二像素集合捕獲單個(gè)圖像的時(shí)間周期期間使用全局快門過程從第一像素集合捕獲多個(gè)圖像。此類型的布置的其它實(shí)例可在其中僅捕獲單個(gè)滾動(dòng)快門圖像的時(shí)間周期上捕獲三個(gè)或三個(gè)以上全局快門圖像。用于所述多個(gè)全局快門捕獲的像素可為相同像素或不同像素。在圖7實(shí)例中,第二全局快門捕獲具有完全重疊滾動(dòng)快門捕獲的暴光時(shí)間的暴光時(shí)間。圖8展示替代布置,其中全局快門暴光時(shí)間與滾動(dòng)快門暴光時(shí)間不存在此重疊。而是,在圖8的布置中,滾動(dòng)快門捕獲由兩個(gè)全局快門捕獲環(huán)繞或括起來。如在圖4實(shí)例中,圖8中的全局快門圖像捕獲過程的讀出時(shí)間至少部分地重疊應(yīng)用于初始行(針對(duì)其使用滾動(dòng)快門過程捕獲圖像數(shù)據(jù))的滾動(dòng)快門圖像捕獲過程的暴光時(shí)間。應(yīng)注意,在重疊的捕獲布置(例如,圖6或圖7中所圖解說明的布置)中,未必對(duì)浮動(dòng)擴(kuò)散部進(jìn)行兩次取樣。而是,僅對(duì)浮動(dòng)擴(kuò)散部進(jìn)行一次取樣也是可行的。舉例來說,此單次取樣可在積分的開始處以便避免引入噪聲或?yàn)闇?zhǔn)確起見在積分的中間以使取樣在時(shí)間上最靠近讀出。圖9到圖11圖解說明用于像素陣列200的可實(shí)施于圖1數(shù)碼相機(jī)中的圖像數(shù)據(jù)捕獲過程的其它實(shí)例,但在這些實(shí)例中包含4T2S像素布置,例如圖3C中所展示的布置而非圖3A及圖;3B的4T4S像素布置。圖9展示用于具有4T2S像素布置的像素陣列的單個(gè)全局快門捕獲與單個(gè)滾動(dòng)快門捕獲。從圖中顯而易見,在四像素單元內(nèi)使用兩個(gè)浮動(dòng)擴(kuò)散部使得全局快門像素與滾動(dòng)快門像素中的至少一些的取樣及讀出能夠重疊。如圖所展示,全局快門捕獲的暴光時(shí)間至少部分地重疊滾動(dòng)快門捕獲的暴光時(shí)間,且全局快門像素的浮動(dòng)擴(kuò)散部的取樣與滾動(dòng)快門像素的浮動(dòng)擴(kuò)散部的取樣實(shí)質(zhì)上同時(shí)進(jìn)行。圖10圖解說明具有4T4S布置的實(shí)例,其中兩個(gè)全局快門捕獲可彼此重疊且重疊單個(gè)滾動(dòng)快門捕獲。所述兩個(gè)重疊全局快門捕獲應(yīng)用于單獨(dú)的像素集合。因此,在圖10實(shí)例中,像素陣列的像素劃分成三個(gè)集合,其中所述集合中的兩者經(jīng)受相應(yīng)全局快門過程且所述集合中的一者經(jīng)受滾動(dòng)快門過程。所述全局快門過程兩者具有部分地重疊所述滾動(dòng)快門過程的暴光時(shí)間的暴光時(shí)間。此外,所述兩個(gè)全局快門過程的所述暴光時(shí)間不相同,其中所述暴光時(shí)間中的一者具有比另一者顯著更長(zhǎng)的暴光時(shí)間。所述兩個(gè)全局快門圖像的暴光時(shí)間及讀出時(shí)序的差僅受圖像傳感器的讀出能力及數(shù)碼相機(jī)的相關(guān)聯(lián)能力限制。在圖11的實(shí)例中,單個(gè)全局快門捕獲具有完全重疊滾動(dòng)快門捕獲的暴光時(shí)間的暴光時(shí)間。此實(shí)例中的全局快門捕獲為經(jīng)裝箱的全局快門捕獲,其中裝箱因子為2或2以上。裝箱通常通過將電荷從一個(gè)以上光電二極管轉(zhuǎn)移到單個(gè)浮動(dòng)擴(kuò)散部中來完成。在用裝箱因子2進(jìn)行裝箱時(shí),來自兩個(gè)光電二極管的電荷轉(zhuǎn)移到單個(gè)浮動(dòng)擴(kuò)散部中,以便減小噪聲且增加經(jīng)裝箱圖像的敏感性。也可以類似于上文在圖4及圖5的上下文中所描述的方式的方式來處理使用圖6 到圖11中所圖解說明的技術(shù)捕獲的全局及滾動(dòng)快門圖像以產(chǎn)生最終圖像或其它類型的經(jīng)改善圖像。如前文所提及,僅以舉例的方式呈現(xiàn)結(jié)合圖4到圖11所描述的特定圖像數(shù)據(jù)捕獲過程,且其它實(shí)施例可使用替代圖像數(shù)據(jù)捕獲過程,其中使用全局快門過程從至少一個(gè)像素集合捕獲圖像數(shù)據(jù)且使用滾動(dòng)快門過程從至少一個(gè)其它像素集合捕獲圖像數(shù)據(jù)。上文所描述的說明性實(shí)施例有利地在不顯著增加圖像傳感器或其相關(guān)聯(lián)數(shù)字成像裝置的成本或復(fù)雜性的情況下提供通常與滾動(dòng)快門的常規(guī)使用相關(guān)聯(lián)的運(yùn)動(dòng)假象及其它假象的顯著減少。盡管已特別參照本發(fā)明的某些說明性實(shí)施例詳細(xì)描述了本發(fā)明,但應(yīng)理解,可在如所附權(quán)利要求書中所述的本發(fā)明范圍內(nèi)實(shí)現(xiàn)若干變化及修改。舉例來說,所揭示的技術(shù)可適于與其它類型的圖像傳感器一起使用且使用圖像傳感器電路的其它布置來實(shí)施。因此,在替代實(shí)施例可變化所使用的信號(hào)產(chǎn)生器及驅(qū)動(dòng)電路的特定類型。此外,例如所使用的CFA圖案的特定類型、像素陣列的配置及圖像數(shù)據(jù)捕獲操作(例如,復(fù)位、取樣、轉(zhuǎn)移及讀出)等特征在其它實(shí)施例中可被更改以適應(yīng)其它圖像捕獲裝置及操作模式的需要。此外, 可使用許多替代技術(shù)來組合或以其它方式處理全局快門圖像與滾動(dòng)快門圖像以產(chǎn)生最終圖像或者一個(gè)或一個(gè)以上其它經(jīng)改善圖像。所屬領(lǐng)域的技術(shù)人員將易于明了這些及其它替代實(shí)施例。另外,雖然本文中已描述本發(fā)明的特定實(shí)施例,但應(yīng)注意,本申請(qǐng)案不限于這些實(shí)施例。特定來說,關(guān)于一個(gè)實(shí)施例所描述的任何特征也可在兼容的情況下用于其它實(shí)施例中。且可在兼容的情況下交換不同實(shí)施例的特征。舉例來說,圖像傳感器包括像素陣列, 其包含至少第一及第二像素集合;及圖像傳感器電路,其耦合到所述像素陣列且包含信號(hào)產(chǎn)生器,所述信號(hào)產(chǎn)生器用于控制使用全局快門過程從所述像素陣列的所述第一像素集合捕獲圖像數(shù)據(jù)且控制使用滾動(dòng)快門過程從所述像素陣列的所述第二像素集合捕獲圖像數(shù)據(jù),所述第二集合的所述像素不同于所述第一集合的所述像素。所述像素陣列可包括多個(gè)浮動(dòng)擴(kuò)散部,其中每一浮動(dòng)擴(kuò)散部與所述像素中的僅一個(gè)像素相關(guān)聯(lián)。所述像素陣列可包含多個(gè)浮動(dòng)擴(kuò)散部,其中在多個(gè)像素之間共享每一浮動(dòng)擴(kuò)散部??稍谒鱿袼刂械乃膫€(gè)像素或所述像素中的兩個(gè)像素之間共享所述浮動(dòng)擴(kuò)散部??稍谒龅谝幌袼丶系闹辽僖粋€(gè)像素與所述第二像素集合的至少一個(gè)像素之間共享所述浮動(dòng)擴(kuò)散部,使得給定浮動(dòng)擴(kuò)散部用于使用所述全局快門過程從所述第一像素集合的所述至少一個(gè)像素捕獲圖像數(shù)據(jù)且也用于使用所述滾動(dòng)快門過程從所述第二像素集合的所述至少一個(gè)像素捕獲圖像數(shù)據(jù)。使用所述全局快門過程從所述第一集合的所述像素捕獲的圖像數(shù)據(jù)的讀出時(shí)間可至少部分地重疊所述滾動(dòng)快門過程的暴光時(shí)間。所述全局快門過程的暴光時(shí)間可至少部分地重疊所述滾動(dòng)快門過程的暴光時(shí)間??稍谄渲惺褂盟鰸L動(dòng)快門過程從所述第二像素集合捕獲單個(gè)圖像的時(shí)間周期期間使用所述全局快門過程從所述第一像素集合捕獲多個(gè)圖像。所述像素陣列可進(jìn)一步包括第三像素集合,其中所述第三集合的所述像素不同于所述第一及第二集合的所述像素。所述信號(hào)產(chǎn)生器可操作以控制利用額外全局快門過程從所述第三像素集合捕獲圖像數(shù)據(jù)。用于從所述第三像素集合捕獲圖像數(shù)據(jù)的所述額外全局快門過程可具有不同于用于從所述第一像素集合捕獲圖像數(shù)據(jù)的所述全局快門過程的暴光時(shí)間的暴光時(shí)間。 用于從所述第三像素集合捕獲圖像數(shù)據(jù)的所述額外全局快門過程可具有至少部分地重疊用于從所述第一像素集合捕獲圖像數(shù)據(jù)的所述全局快門過程的暴光時(shí)間的暴光時(shí)間。所述像素陣列的所述像素可包含彩色像素或全色像素。使用所述全局快門過程從其捕獲圖像數(shù)據(jù)的所述第一像素群組可實(shí)質(zhì)上完全為全色像素。所述信號(hào)產(chǎn)生器可包含經(jīng)配置以產(chǎn)生至少?gòu)?fù)位門信號(hào)、轉(zhuǎn)移門信號(hào)及行選擇信號(hào)的驅(qū)動(dòng)電路,所述信號(hào)用于應(yīng)用于所述像素陣列以控制所述全局快門過程及所述滾動(dòng)快門過程。所述圖像傳感器可包含信號(hào)處理電路,所述信號(hào)處理電路經(jīng)配置以處理包含使用所述全局快門過程從所述像素陣列的所述第一像素集合捕獲的所述圖像數(shù)據(jù)的全局快門圖像及包含使用所述滾動(dòng)快門過程從所述像素陣列的所述第二像素集合捕獲的所述圖像數(shù)據(jù)的滾動(dòng)快門圖像,以便從所述全局快門圖像及所述滾動(dòng)快門圖像產(chǎn)生至少一個(gè)額外圖像。數(shù)字成像裝置可包括如上文所描述的圖像傳感器及經(jīng)配置以處理所述圖像傳感器的輸出以產(chǎn)生數(shù)字圖像的一個(gè)或一個(gè)以上處理元件。從包含像素陣列的圖像傳感器捕獲圖像數(shù)據(jù)的方法可包含使用全局快門過程從所述像素陣列的第一像素集合捕獲圖像數(shù)據(jù);及使用滾動(dòng)快門過程從所述像素陣列的第二像素集合捕獲圖像數(shù)據(jù),所述第二集合的所述像素不同于所述第一集合的所述像素。可在其中使用所述滾動(dòng)快門過程從所述第二像素集合捕獲單個(gè)圖像的時(shí)間周期期間使用所述全局快門過程從所述第一像素集合捕獲多個(gè)圖像??衫妙~外全局快門過程從所述像素陣列的第三像素集合捕獲圖像數(shù)據(jù),所述第三集合的所述像素不同于所述第一及第二集合的所述像素。可處理包含使用所述全局快門過程從所述像素陣列的所述第一像素集合捕獲的所述圖像數(shù)據(jù)的全局快門圖像及包含使用所述滾動(dòng)快門過程從所述像素陣列的所述第二像素集合捕獲的所述圖像數(shù)據(jù)的滾動(dòng)快門圖像,以便從所述全局快門圖像及所述滾動(dòng)快門圖像產(chǎn)生至少一個(gè)額外圖像。所述額外圖像可包含使用所述全局快門圖像校正了運(yùn)動(dòng)假象的經(jīng)校正滾動(dòng)快門圖像。所述額外圖像可包含通過將所述全局快門圖像的至少一部分與所述滾動(dòng)快門圖像的至少一部分組合而產(chǎn)生的圖像。
0098]部件列表0099]100數(shù)碼相機(jī)0100]102成像級(jí)0101]104圖像傳感器0102]106處理器0103]108存儲(chǔ)器0104]110顯不器0105]112輸入/輸出(I/O)元件0106]200像素陣列0107]202可控制的信號(hào)產(chǎn)生器0108]204信號(hào)處理電路0109]300像素0110]302光電二極管0111]304轉(zhuǎn)移門0112]306復(fù)位門0113]308輸出晶體管0114]310行選擇晶體管0115]312浮動(dòng)擴(kuò)散部0116]400-.402暴光時(shí)間0117]404讀出時(shí)間0118]500到524圖像數(shù)據(jù)捕獲過程步驟
權(quán)利要求
1.一種圖像傳感器,其包含像素陣列,其包含至少第一及第二像素集合;及圖像傳感器電路,其耦合到所述像素陣列且包含信號(hào)產(chǎn)生器,所述信號(hào)產(chǎn)生器用于控制使用全局快門過程從所述像素陣列的所述第一像素集合捕獲圖像數(shù)據(jù)且控制使用滾動(dòng)快門過程從所述像素陣列的所述第二像素集合捕獲圖像數(shù)據(jù),所述第二集合的所述像素不同于所述第一集合的所述像素。
2.根據(jù)權(quán)利要求1所述的圖像傳感器,其中所述像素陣列包含多個(gè)浮動(dòng)擴(kuò)散部,其中每一浮動(dòng)擴(kuò)散部與所述像素中的僅一個(gè)像素相關(guān)聯(lián)。
3.根據(jù)權(quán)利要求1所述的圖像傳感器,其中所述像素陣列包含多個(gè)浮動(dòng)擴(kuò)散部,其中每一浮動(dòng)擴(kuò)散部在多個(gè)像素之間共享。
4.根據(jù)權(quán)利要求3所述的圖像傳感器,其中所述浮動(dòng)擴(kuò)散部中的給定一者在所述像素中的四個(gè)像素之間共享。
5.根據(jù)權(quán)利要求3所述的圖像傳感器,其中所述浮動(dòng)擴(kuò)散部中的給定一者在所述像素中的兩個(gè)像素之間共享。
6.根據(jù)權(quán)利要求3所述的圖像傳感器,其中所述浮動(dòng)擴(kuò)散部中的給定一者在所述第一像素集合的至少一個(gè)像素與所述第二像素集合的至少一個(gè)像素之間共享,使得所述給定浮動(dòng)擴(kuò)散部用于使用所述全局快門過程從所述第一像素集合的所述至少一個(gè)像素捕獲圖像數(shù)據(jù)且也用于使用所述滾動(dòng)快門過程從所述第二像素集合的所述至少一個(gè)像素捕獲圖像數(shù)據(jù)。
7.根據(jù)權(quán)利要求1到6中任一權(quán)利要求所述的圖像傳感器,其中使用所述全局快門過程從所述第一集合的所述像素捕獲的圖像數(shù)據(jù)的讀出時(shí)間至少部分地重疊所述滾動(dòng)快門過程的暴光時(shí)間。
8.根據(jù)權(quán)利要求1到7中任一權(quán)利要求所述的圖像傳感器,其中所述全局快門過程的暴光時(shí)間至少部分地重疊所述滾動(dòng)快門過程的暴光時(shí)間。
9.根據(jù)權(quán)利要求1到8中任一權(quán)利要求所述的圖像傳感器,其中多個(gè)圖像是在其中使用所述滾動(dòng)快門過程從所述第二像素集合捕獲單個(gè)圖像的時(shí)間周期期間使用所述全局快門過程從所述第一像素集合捕獲的。
10.根據(jù)權(quán)利要求1到8中任一權(quán)利要求所述的圖像傳感器,其中所述像素陣列進(jìn)一步包含第三像素集合,其中所述第三集合的所述像素不同于所述第一及第二集合的所述像素,且其中所述信號(hào)產(chǎn)生器操作以控制利用額外全局快門過程從所述第三像素集合捕獲圖像數(shù)據(jù)。
11.根據(jù)權(quán)利要求10所述的圖像傳感器,其中用于從所述第三像素集合捕獲圖像數(shù)據(jù)的所述額外全局快門過程具有不同于用于從所述第一像素集合捕獲圖像數(shù)據(jù)的所述全局快門過程的暴光時(shí)間的暴光時(shí)間。
12.根據(jù)權(quán)利要求10所述的圖像傳感器,其中用于從所述第三像素集合捕獲圖像數(shù)據(jù)的所述額外全局快門過程具有至少部分地重疊用于從所述第一像素集合捕獲圖像數(shù)據(jù)的所述全局快門過程的暴光時(shí)間的暴光時(shí)間。
13.根據(jù)權(quán)利要求1到12中任一權(quán)利要求所述的圖像傳感器,其中所述像素陣列的所述像素包含彩色像素及全色像素,且進(jìn)一步其中使用所述全局快門過程從其捕獲圖像數(shù)據(jù)的第一像素群組實(shí)質(zhì)上完全由全色像素構(gòu)成。
14.根據(jù)權(quán)利要求1到13中任一權(quán)利要求所述的圖像傳感器,其中所述信號(hào)產(chǎn)生器包含經(jīng)配置以產(chǎn)生至少?gòu)?fù)位門信號(hào)、轉(zhuǎn)移門信號(hào)及行選擇信號(hào)的驅(qū)動(dòng)電路,所述信號(hào)用于應(yīng)用于所述像素陣列以控制所述全局快門過程及所述滾動(dòng)快門過程。
15.根據(jù)權(quán)利要求1到14中任一權(quán)利要求所述的圖像傳感器,其進(jìn)一步包含信號(hào)處理電路,所述信號(hào)處理電路經(jīng)配置以處理包含使用所述全局快門過程從所述像素陣列的所述第一像素集合捕獲的所述圖像數(shù)據(jù)的全局快門圖像及包含使用所述滾動(dòng)快門過程從所述像素陣列的所述第二像素集合捕獲的所述圖像數(shù)據(jù)的滾動(dòng)快門圖像,以便從所述全局快門圖像及所述滾動(dòng)快門圖像產(chǎn)生至少一個(gè)額外圖像。
16.一種從包含像素陣列的圖像傳感器捕獲圖像數(shù)據(jù)的方法,所述方法包含使用全局快門過程從所述像素陣列的第一像素集合捕獲圖像數(shù)據(jù);及使用滾動(dòng)快門過程從所述像素陣列的第二像素集合捕獲圖像數(shù)據(jù),所述第二集合的所述像素不同于所述第一集合的所述像素。
17.根據(jù)權(quán)利要求16所述的方法,其中在其中使用所述滾動(dòng)快門過程從所述第二像素集合捕獲單個(gè)圖像的時(shí)間周期期間使用所述全局快門過程從所述第一像素集合捕獲多個(gè)圖像。
18.根據(jù)權(quán)利要求16所述的方法,其進(jìn)一步包含利用額外全局快門過程從所述像素陣列的第三像素集合捕獲圖像數(shù)據(jù),所述第三集合的所述像素不同于所述第一及第二集合的所述像素。
19.根據(jù)權(quán)利要求16到18中任一權(quán)利要求所述的方法,其進(jìn)一步包含處理包含使用所述全局快門過程從所述像素陣列的所述第一像素集合捕獲的所述圖像數(shù)據(jù)的全局快門圖像及包含使用所述滾動(dòng)快門過程從所述像素陣列的所述第二像素集合捕獲的所述圖像數(shù)據(jù)的滾動(dòng)快門圖像,以便從所述全局快門圖像及所述滾動(dòng)快門圖像產(chǎn)生至少一個(gè)額外圖像。
20.根據(jù)權(quán)利要求19所述的方法,其中所述額外圖像包含使用所述全局快門圖像校正了運(yùn)動(dòng)假象的經(jīng)校正滾動(dòng)快門圖像。
21.根據(jù)權(quán)利要求19所述的方法,其中所述額外圖像包含通過將所述全局快門圖像的至少一部分與所述滾動(dòng)快門圖像的至少一部分組合而產(chǎn)生的圖像。
22.—種數(shù)字成像裝置,其包含圖像傳感器;及一個(gè)或一個(gè)以上處理元件,其經(jīng)配置以處理所述圖像傳感器的輸出以產(chǎn)生數(shù)字圖像;其中所述圖像傳感器包含像素陣列,其包含第一及第二像素集合;及圖像傳感器電路,其耦合到所述像素陣列且包含信號(hào)產(chǎn)生器,所述信號(hào)產(chǎn)生器用于控制使用全局快門過程從所述像素陣列的所述第一像素集合捕獲圖像數(shù)據(jù)且控制使用滾動(dòng)快門過程從所述像素陣列的所述第二像素集合捕獲圖像數(shù)據(jù),所述第二集合的所述像素不同于所述第一集合的所述像素。
23.根據(jù)權(quán)利要求22所述的數(shù)字成像裝置,其中所述數(shù)字成像裝置包含數(shù)碼相機(jī)。
全文摘要
一種CMOS圖像傳感器或其它類型的圖像傳感器包括像素陣列,所述像素陣列包含至少第一及第二像素集合。圖像傳感器電路耦合到所述像素陣列且包含信號(hào)產(chǎn)生器,所述信號(hào)產(chǎn)生器用于控制使用全局快門過程從所述像素陣列的所述第一像素集合捕獲圖像數(shù)據(jù)且用于控制使用滾動(dòng)快門過程從所述像素陣列的所述第二像素集合捕獲圖像數(shù)據(jù),其中所述第二集合的所述像素不同于所述第一集合的所述像素。所述圖像傳感器可實(shí)施于數(shù)碼相機(jī)或其它類型的數(shù)字成像裝置中。
文檔編號(hào)H04N5/355GK102449999SQ201080024327
公開日2012年5月9日 申請(qǐng)日期2010年5月21日 優(yōu)先權(quán)日2009年6月3日
發(fā)明者約翰·托馬斯·康普頓, 約翰·諾爾沃爾德·博德 申請(qǐng)人:全視科技有限公司