本公開涉及傳感器,并且更具體地,涉及高動態(tài)范圍傳感器。
背景技術(shù):
成像系統(tǒng)依賴于圖像傳感器以生成視覺圖像的電子表示。圖像傳感器的示例包括電荷耦合器件(ccd)圖像傳感器和有源像素傳感器(aps)器件。通常,這些圖像傳感器包括以行和列的規(guī)則圖案布置的多個光敏元件(感測器)。由每一個感測器生成的信號表示入射到與該感測器對應(yīng)的區(qū)域上的光的量。
這些圖像傳感器的動態(tài)范圍通常由給定感測器可以收集和保持的電荷量限制。因此,如果入射光非常亮并且產(chǎn)生比可以由該感測器保持的更多的電子,那么丟失了由這些過剩電子所代表的光。例如,受諸如電子容量和電子讀出噪聲之類的特性限制的現(xiàn)代圖像傳感器可以檢測到每一個感測器的大約14檔(stop)的動態(tài)范圍(即,需要最小可記錄值的14次翻倍(doubling)來達(dá)到飽和)。
因此,能夠提供比常規(guī)圖像傳感器所提供的動態(tài)范圍更寬的動態(tài)范圍的圖像傳感器是所期望的。例如,當(dāng)捕獲包括亮度劇烈變化的場景時,如果使曝光確保在暗區(qū)中有足夠的信號,那么具有較強光的區(qū)域?qū)⑹垢袦y器飽和,并且不能獲得用于那些飽和的元件的實際光輻射。因此,需要具有更高動態(tài)范圍的傳感器來捕獲這樣的場景。
技術(shù)實現(xiàn)要素:
本公開提供用于使得圖像傳感器能夠測量大于該傳感器的典型性能的光量。
在一種實現(xiàn)中,公開了一種捕獲圖像的方法。該方法包括:接收圖像傳感器的曝光時間;測量圖像傳感器的多個感測器中的每一個感測器的飽和時間;以及使用飽和時間、曝光時間和每一個感測器的存儲單元的電子收集容量計算將會由具有無限存儲容量的每一個感測器收集到的電子的數(shù)量。
在另一實現(xiàn)中,公開了一種傳感器系統(tǒng)。該傳感器系統(tǒng)包括:感測圖像的圖像傳感器,所述圖像傳感器包括多個感測器;定時器,其包括多個定時元件,每一個定時元件耦合到所述多個感測器中的對應(yīng)的感測器,其中每一個定時元件測量所述對應(yīng)的感測器的飽和時間以預(yù)測將會由所述對應(yīng)的感測器收集到的電子的數(shù)量。
在另一實現(xiàn)中,公開了一種圖像捕獲器件。該圖像捕獲器件包括:成像臺;耦合到成像臺的圖像傳感器,該圖像傳感器包括多個感測器;定時器,其包括多個定時元件,每一個定時元件耦合到所述多個感測器中的對應(yīng)的感測器;以及耦合到所述定時器的處理器,所述處理器被配置成從每一個定時元件接收信號以測量所述對應(yīng)的感測器的飽和時間并且計算由所述對應(yīng)的感測器收集到的電子的數(shù)量。
從通過示例的方式說明本公開的各方面的本描述中,本公開的其它特征和優(yōu)點應(yīng)當(dāng)是顯而易見的。
附圖說明
本公開的細(xì)節(jié),無論其結(jié)構(gòu)還是操作,都可以通過研究附圖部分地收集,其中,相同的標(biāo)號指代相同的部分,并且其中:
圖1是圖示出根據(jù)本公開的一種實現(xiàn)的圖像捕獲器件的功能框圖;
圖2是作為耦合到圖1中所示的圖像傳感器的定時器的一種實現(xiàn)的傳感器系統(tǒng)的功能圖;以及
圖3是圖示出根據(jù)本公開的一種實現(xiàn)的用于捕獲圖像的過程的流程圖。
具體實施方式
為了獲得用于圖像傳感器的高動態(tài)范圍,如本文所公開的幾種實現(xiàn)使得圖像傳感器能夠測量大于該傳感器的典型性能的量。在閱讀本描述之后,在各種實現(xiàn)和應(yīng)用中如何實現(xiàn)本公開將變得顯而易見。但是,雖然本文將描述本公開的各種實現(xiàn),但是應(yīng)當(dāng)理解的是,這些實現(xiàn)僅通過示例的方式呈現(xiàn)并不是限制。因此,各種實現(xiàn)的這種詳細(xì)描述不應(yīng)當(dāng)被解釋為限制本公開的范圍或?qū)挾取?/p>
圖1是圖示出根據(jù)本公開的一種實現(xiàn)的圖像捕獲器件100的功能框圖。在一種實現(xiàn)中,圖像捕獲器件100被配置成數(shù)字相機。雖然本公開不限于圖像傳感器或器件,但是關(guān)于圖像傳感器做出實現(xiàn)的描述。
在圖1所圖示的實現(xiàn)中,圖像捕獲器件100包括透鏡110、成像臺120、圖像傳感器130、定時器140和處理器150。透鏡110接收并聚焦來自對象場景的光102以在圖像傳感器130上形成圖像。圖像傳感器130將入射光轉(zhuǎn)換成每一個像素的電信號。在一種實現(xiàn)中,圖像傳感器130是電荷耦合器件(ccd)類型。在另一實現(xiàn)中,圖像傳感器130是有源像素傳感器(aps)類型,其通常被稱為互補金屬氧化物半導(dǎo)體(cmos)傳感器,因為能夠使用cmos制造工藝制造它們。
成像臺120可以包括元件,諸如中性密度(nd)濾光器、光圈、快門、曝光控制器、亮度傳感器和/或配置成調(diào)節(jié)到達(dá)圖像傳感器130的光量的其它單元。光圈和快門可以被配置成通過控制孔徑以及快門打開的持續(xù)時間來調(diào)節(jié)到達(dá)圖像傳感器130的光量。曝光控制器可以響應(yīng)于由亮度傳感器計量的場景中可用的光量,并且控制包括中性密度(nd)濾光器、光圈和/或快門的其它元件。在一種實現(xiàn)中,圖像傳感器130配置有多個感測元件。處理器150處理從圖像傳感器130的感測元件接收到的信號以形成輸出圖像152。在一些實現(xiàn)中,成像臺120包括透鏡110。
在一個示例中,圖像傳感器(例如,aps)的操作在三個步驟中執(zhí)行:復(fù)位步驟,其中傳感器從先前的整合(integration)周期復(fù)位;圖像整合步驟,其中光能被收集并轉(zhuǎn)換成電信號;以及信號讀出步驟,其中信號被讀出。
可以選擇圖像捕獲器件100以在兩種操作模式(正常操作模式和飽和操作模式)中的一種操作。如果當(dāng)圖像傳感器的感測器中的任何一個飽和到其最大值時的時間長度預(yù)計長于當(dāng)圖像傳感器被曝光時的時間長度(即,整合時段或曝光時間),那么可以選擇正常操作模式。如果任何感測器的飽和時間預(yù)計短于曝光時間,那么可以選擇飽和操作模式。在一種實現(xiàn)中,操作模式由處理器150設(shè)置。
在正常操作模式中的圖像整合步驟的一種實現(xiàn)中,以光子形式的光能敲擊感測器中的光電二極管,從而產(chǎn)生許多電子-空穴對。光電二極管被設(shè)計成限制新形成的電子-空穴對之間的復(fù)合(recombination)。因此,空穴被吸引到光電二極管的接地端子,而電子被吸引到光電二極管的正端子,其中每一個額外的電子降低光電二極管上的電壓。在整合時段結(jié)束時,在圖像整合時段期間由光電二極管吸收的光子的數(shù)量可以通過從整合時段開始時的電壓中減去整合時段結(jié)束時的電壓來確定。因此,感測器通過計數(shù)經(jīng)由光電效應(yīng)移位并存儲在電容器中的電子的數(shù)量來測量進(jìn)入的光子的數(shù)量。在曝光結(jié)束時測量電容器上的電荷,以推斷入射光子的原始數(shù)量。
通過在整合時段期間傳感器可以收集的光子的最大數(shù)量以及可以在本底噪聲上檢測到的在整合時段期間傳感器可以收集的光子的最小數(shù)量來確定在正常操作模式中的傳感器的動態(tài)范圍。如上所述,處理具有劇烈照明變化的圖像對于具有有限動態(tài)范圍的圖像捕獲器件是挑戰(zhàn)。例如,如果傳感器的整合時段被縮短到?jīng)]有亮光信息丟失(即,收集到的光子的數(shù)量將不超過在整合時段期間傳感器的容量)的程度,那么大多數(shù)(如果不是全部)的低光(low-light)信息將丟失(導(dǎo)致“遭到擠壓”的圖像的區(qū)域成黑色),因為將有如此少收集到的光子以致不能在噪聲水平上區(qū)分光子。相反,如果傳感器的整合時段被增加以捕獲低光信息(即,收集到的光子的數(shù)量在本底噪聲上是可檢測到的),那么丟失相當(dāng)一部分亮光(bright-light)信息(導(dǎo)致“被吹出”的圖像的區(qū)域),因為收集到的光子的數(shù)量將超過傳感器的容量。因此,動態(tài)范圍由存儲器件(例如,電容器)的容量部分地限制。
在一種實現(xiàn)中,飽和操作模式中的圖像整合步驟包括執(zhí)行正常模式中所涉及的所有任務(wù)。但是,在執(zhí)行正常模式的任務(wù)的同時,飽和操作模式還包括測量圖像傳感器130中每一個感測器的飽和時間。由定時器140測量和記錄圖像傳感器130中每一個感測器的飽和時間。
在一種實現(xiàn)中,在正常操作模式中,開關(guān)160由處理器150閉合以接收由圖像傳感器130的感測器在整合步驟期間收集到的光子值。在飽和操作模式中,開關(guān)160和162兩者都由處理器150閉合。因此,在這種配置中(即,開關(guān)160、162兩者都閉合),處理器150通過開關(guān)160接收由圖像傳感器130的感測器電容器為在曝光時間結(jié)束時還沒有飽和的那些感測器收集到的光子值。在從圖像傳感器130接收光子值之外,處理器150還指示定時器140從圖像傳感器130的每一個感測器的整合步驟的開始時開始計數(shù)。用于每一個感測器的計時器140在感測器已經(jīng)飽和時停止計數(shù)以生成飽和時間。因此,定時器140為圖像傳感器130的每一個感測器保留飽和時間,并將它們發(fā)送到處理器150。一旦已經(jīng)接收所有感測器的飽和時間,處理器150就替換已經(jīng)飽和的那些感測器的光子值。下面詳細(xì)描述用于計算已經(jīng)飽和的那些感測器的收集到的光子值的方法。
在一種實現(xiàn)中,定時器140包括多個探測器,其中每一個探測器被配置成測量圖像傳感器130的每一個感測器的飽和時間的計數(shù)器。因此,在這種實現(xiàn)中,定時器140可以被配置成放置在圖像傳感器130上方的探測器層。
在一種實現(xiàn)中,處理器150處理從定時器140接收到的數(shù)據(jù)以計算將在圖像傳感器130的曝光時間(即,整合步驟)期間入射的光子的數(shù)量。這個計算依賴于傳感器的特性。例如,在其中電子的累積與入射光子的數(shù)量成線性比例的圖像傳感器的情況中,被推斷為由給定感測器的存儲單元(假定無限的存儲容量)捕獲的電子的數(shù)量e將通過e=c*te/ts計算,其中c是感測元件的電子容量,te是曝光時間,以及ts是該感測器的飽和時間。計算需要模擬傳感器在全曝光時段中將捕獲的量。因此,在非線性傳感器的情況中,函數(shù)將考慮非線性。在一些實現(xiàn)中,使用數(shù)的查找表模擬非線性函數(shù)。
如上面提到的,可以根據(jù)測量的飽和時間計算將會累積的電子的數(shù)量(假定電子的累積與入射光子的數(shù)量成線性比例)。例如,假定1/8000秒的典型的最快快門速度(即,曝光時間),并且測量的感測器的飽和時間為1/16000秒,那么應(yīng)該已經(jīng)被存儲的電子的數(shù)量(與入射光子的數(shù)量成比例)等于c*(1/8000)/(1/16000)=2c,其等于該感測器的存儲容量的兩倍。在另一個示例中,如果測量的感測器的飽和時間為1/32000秒,那么應(yīng)該已經(jīng)被存儲的電子的數(shù)量等于c*(1/8000)/(1/32000)=4c,其等于該感測器的存儲容量的四倍。
不飽和的感測器將以與正常傳感器相同的方式對待。即,那個感測器中的電子的數(shù)量被簡單地計數(shù)。
如上面提到的,由諸如電子容量和電子讀出噪聲的特性限制的現(xiàn)代圖像傳感器可以檢測到大約14檔的動態(tài)范圍(即,需要最小可記錄值的14次翻倍來達(dá)到飽和)。如果通過使用圖像傳感器的感測器的測量的飽和時間可以足夠準(zhǔn)確地測量時間,那么理論上可以記錄超過飽和的更多檔的信息。例如,如果(例如,通過能夠測量1/(1024×8000)秒)可以有意義地記錄超過飽和的10個附加檔的信息(給定由(一個或多個)定時器測量的時間分辨率),那么這種類型的圖像捕獲器件可以提供線性信息的1024倍(=210)的量。
圖2是作為耦合到圖1中所示的圖像傳感器130的定時器140的一種實現(xiàn)的傳感器系統(tǒng)200的功能圖。在圖2所圖示的實現(xiàn)中,傳感器系統(tǒng)200包括具有多個感測器的圖像傳感器220和具有多個定時元件的定時器210。圖2還圖示出插入件230,其示出放置在感測器250上方的定時元件240的詳細(xì)視圖。
在一種實現(xiàn)中,定時元件240被配置成測量感測器250的飽和時間。在這種實現(xiàn)中,定時元件240耦合到感測器250并且被配置成測量感測器的飽和時間的探測器。在另一實現(xiàn)中,定時元件240的定時部分被構(gòu)建在感測器250中,而定時元件240的接口部分耦合到定時部分并且充當(dāng)用于輸出從定時部分接收到的感測器250的飽和時間的裝置。
在另一實現(xiàn)中,定時元件240被配置成測量從感測器250的飽和到曝光時間結(jié)束的時間。在這種實現(xiàn)中,捕獲的電子的數(shù)量將被計算為e=c*te/(te-tse),其中tse是從感測器的飽和到曝光時間結(jié)束的時間。
在還有的另一實現(xiàn)中,每一個定時元件簡單地從公共主定時元件取回時間或一些計數(shù)并且記錄該值用于以后使用,避免每一個感測器需要具有其自己的專用定時器。
圖3是圖示出根據(jù)本公開的一種實現(xiàn)的用于捕獲圖像的過程300的流程圖。在捕獲圖像的過程中,如果任何感測器的飽和時間預(yù)計短于曝光時間,那么可以選擇飽和操作模式。在圖3所圖示的實現(xiàn)中,在塊310處,使用在圖像傳感器的曝光開始時開始并且當(dāng)感測器飽和時或當(dāng)曝光時間已過去時停止的定時器來測量圖像傳感器的每一個感測器的飽和時間。如果在塊320處確定飽和時間出現(xiàn)在曝光時間結(jié)束之前,那么在塊330處計算收集到的電子的理論數(shù)量為c*te/ts,其中c是感測器的電子容量,te是曝光時間,以及ts是該感測器達(dá)到飽和所花費的時間。否則,如果在塊320處確定曝光時間短于飽和時間(即,感測器從未飽和),那么在塊340處通過測量感測器的電容器上的電荷來計算收集到的電子的數(shù)量。在這種情況中,在曝光時間結(jié)束時測量電容器上的電荷。
前述方法和裝置易于進(jìn)行許多變化。此外,為了清楚和簡要描述,方法和裝置的許多描述已被簡化。許多描述使用特定標(biāo)準(zhǔn)的術(shù)語和結(jié)構(gòu)。但是,所公開的方法和裝置是更廣泛適用的。
本領(lǐng)域技術(shù)人員將理解的是,結(jié)合本文所公開的實現(xiàn)而描述的各種說明性邏輯塊、模塊、單元和算法步驟常??梢詫崿F(xiàn)為電子硬件、計算機軟件或兩者的組合。為了清楚地說明硬件和軟件的這種可互換性,已經(jīng)在上面在其功能性方面一般性地描述了各種說明性組件、塊、模塊和步驟。這種功能性實現(xiàn)為硬件還是軟件取決于整個系統(tǒng)上施加的具體約束。本領(lǐng)域技術(shù)人員可以對于每一個具體的系統(tǒng)以不同方式實現(xiàn)所描述的功能性,但是這種實現(xiàn)決策不應(yīng)當(dāng)被解釋為導(dǎo)致脫離本公開的范圍。此外,在單元、模塊、塊或步驟內(nèi)功能的分組是為了便于描述。在不脫離本公開的情況下,可以從一個單元、模塊或塊中移走特定功能或步驟。
提供所公開實現(xiàn)的以上描述是為了使任何本領(lǐng)域技術(shù)人員能夠?qū)崿F(xiàn)或使用本公開。對這些實現(xiàn)的各種修改對本領(lǐng)域技術(shù)人員將是顯而易見的,并且在不脫離本公開的精神或范圍的情況下,本文描述的一般原理可以應(yīng)用到其它實現(xiàn)。因此,技術(shù)不限于上述特定示例。因此,應(yīng)當(dāng)理解的是,本文呈現(xiàn)的描述和附圖表示本公開的當(dāng)前可能的實現(xiàn),并且因此代表由本公開廣泛預(yù)期的主題。還應(yīng)當(dāng)理解的是,本公開的范圍完全包括對于本領(lǐng)域技術(shù)人員可能變得顯而易見的其它實現(xiàn),并且本公開的范圍因此僅由所附權(quán)利要求限定。