專利名稱：減小成像器件中暗電流和有缺陷的像素的影響的方法和設備的制作方法
技術領域：
本發(fā)明涉及成像器件中暗電流和有缺陷的像素的影響的識別和補償。
背景技術：
暗電流是指一種即使在不存在光信號的情況下成像器件的像素產(chǎn)生的不希望有的信號。暗電流的一個來源是熱產(chǎn)生的電子和空穴。CMOS有源像素成像器件中熱產(chǎn)生的暗電流在許多成像應用中造成問題。隨著溫度上升，暗電流也增大。熱能在像素中產(chǎn)生不希望有的自由電子。這些不希望有的自由電子改變由入射光子產(chǎn)生的所需的信號。另外，某些數(shù)字式照相機要求長的積分(曝光)時間，這使較高的成像靈敏度成為可能。但是，積分時間越長，對熱產(chǎn)生的暗電流的靈敏度越高。
像素陣列中最大部分不希望有的自由電子出現(xiàn)在覆蓋形成像素器件的芯片的基片的二氧化硅層和外延或其它硅基片層之間的界面上。即使在理想的無缺陷的工藝過程中，暗電流也會由于用作像素的光敏元件的光電二極管耗盡區(qū)中的產(chǎn)生/復合中心而存在。存在暗電流的熱力學下限，它限制了光靈敏度。隨著用于單一芯片數(shù)字攝像機的高密度百萬像素陣列的像素技術的按比例縮小，亞微米CMOS工藝過程引入的缺陷急劇增大。除其他因素外，應力、擴展缺陷(extended defects)和金屬雜質全都造成不希望有的暗電流。
例如，一般在四晶體管(4T)像素中使用的轉移、復位、源極跟隨器晶體管必須按比例縮小，以便達到較高像素密度。在不相應地增加摻雜劑含量(例如，p-阱、Vt調整和鹵素(halo)注入)和減小晶體管的柵極氧化物厚度的情況下，這樣的縮放是不可能的。除其他以外，這導致較高的結泄漏電平、柵致漏極漏電流(GIDL)電平、漏極誘發(fā)勢壘降低(DIBL)。上述全都造成不希望有的暗電流電平。另外，電場隔離區(qū)域間距也必須按比例縮小，導致應力級上升和光電二極管電場邊沿附近的電子泄漏。
給定像素的暗電流實際上具有兩個分量，一個靜態(tài)部分和一個可變部分?？勺儾糠质怯缮⒘Ｔ胍粢鸬牟⒆裱此山y(tǒng)計，而均方根(rms)暗電流噪音等于所述暗電流的平方根。
已經(jīng)有一種補償暗電流的方法，識別平均像素暗電流并從每一個像素信號減去所述平均值。但是，所述方法未能提供準確和現(xiàn)實的圖像并忽略從成像面積外面產(chǎn)生的暗電流噪音。所述技術不可重復而且對于大部分CMOS成像傳感器工作得不好。
有缺陷的像素是成像器的另一個問題。有缺陷的像素包括熱像素、壞像素和死像素。熱像素具有來自制造過程的高于平均值的暗電流，因此由每一個熱像素引起的暗電流保持不變并且可以修正。熱像素信息用暗電流信息記錄，而暗電流補償也將補償熱像素。壞像素是制造時就壞的像素，或者有征兆表明它們可能在其壽命過程中變壞。壞像素的檢測是通過以不同的積分時間捕獲均勻照明的背景完成的。具體地說，隨著積分時間延長，表現(xiàn)良好的(亦即，良好的)像素預計會產(chǎn)生隨著積分時間延長而線性增大的信號。以非線性方式表現(xiàn)的像素(例如，以虛假數(shù)值響應積分時間線性延長)識別為壞像素。死像素是對光輸入響應不正確的像素。這些像素可能作為彩色亮點出現(xiàn)或作為圖像上的暗點出現(xiàn)，取決于其失效機制。有三種形式的死像素；暗死像素、白死像素和飽和死像素。死像素可以在制造像素陣列之后通過硬件或軟件檢測出來。當在無光狀態(tài)下暗閾值高于正常像素的平均值時，檢測出暗死像素。當例如，在大致28勒克斯的光照狀態(tài)下白閾值高于或低于正常像素的平均值時，檢測出白死像素。當例如，在大致100勒克斯的光照狀態(tài)下飽和閾值低于正常像素的平均值時，檢測出飽和死像素。
有缺陷的像素，諸如熱像素、死像素和壞像素是制造過程中造成的，可能在包含像素陣列的成像器件的壽命過程中出現(xiàn)。像素陣列的產(chǎn)出考慮和替換成本要求提供放棄像素陣列或替換攝像機或成像器件的像素陣列的替代方案。
發(fā)明概要本發(fā)明提供減少成像器件中暗電流和有缺陷的像素影響的方法和設備。本發(fā)明使用與像素傳感器陣列相聯(lián)系的板上可用存儲器，通過在成像器件出廠銷售以前在不同的增益狀態(tài)下并以不同的曝光時間(積分時間)捕獲和存儲暗基準圖像和白基準圖像，來減少暗電流和有缺陷的像素的影響。除了(或代替)在制造時捕獲的基準圖像以外，用戶還可以在不同的增益狀態(tài)和曝光時間下，捕獲附加的暗電流基準圖像和白基準圖像。當像素陣列采集實際的成像時，所述捕獲的暗電流和白基準圖像用來產(chǎn)生對暗電流和有缺陷的像素的修正。
從本發(fā)明的推薦實施例的結合附圖的以下詳細說明，將更加清楚地理解本發(fā)明這些及其他特征。
附圖的簡短說明

圖1a是具有本發(fā)明的暗電流和有缺陷的像素補償電路的示范性數(shù)字照相機系統(tǒng)的方框圖；圖1b是數(shù)字攝像機中本發(fā)明的暗電流和有缺陷的像素補償電路的示范性實施例的方框圖；圖2是在制造和測試時本發(fā)明的用于暗電流和白基準圖像捕獲的示范性方法的流程圖；圖3-a是在用戶操作數(shù)字攝像機之前本發(fā)明的用于暗電流和有缺陷的像素補償?shù)氖痉缎苑椒ǖ牧鞒虉D；圖3-b是圖3-a的繼續(xù)；圖3-c是圖3-b的步驟380的擴展視圖的流程圖3-d是圖3-b的步驟375的擴展視圖的流程圖；圖3-e是關于基準圖像的特性的信號的示例；圖3-f是關于圖3-e的實際圖像特性的信號的示例；以及圖4是具有本發(fā)明的暗電流和有缺陷的像素補償電路的計算機系統(tǒng)的方框圖。
推薦實施例的詳細說明白基準圖像和暗電流基準圖像是在所述數(shù)字攝像機使用過程中遇到的大部分(若不是全部)可能的增益和曝光組合下捕獲的。然后用白基準圖像和暗基準圖像來產(chǎn)生存儲在數(shù)據(jù)結構中(諸如表、清單、矩陣等)的識別哪些需要校正的像素和數(shù)字攝像機使用過程中可能用到的每一種增益和曝光組合所需要的校正的類型的數(shù)據(jù)。數(shù)據(jù)結構存儲在非易失存儲器中。在數(shù)字攝像機用來實際捕獲圖像的過程中，相關的增益和曝光組合用來訪問和檢索最接近匹配實際捕獲的圖像用的增益和曝光組合的識別/定位數(shù)據(jù)。識別需要校正的像素和所需要的校正類型，并用來校正實際圖像的像素。所需要的校正種類或類型包括這樣的信息，諸如是否是有缺陷的像素，例如，是暗死像素、白死像素、飽和死像素或壞像素。
在不同的增益狀態(tài)和曝光時間下，捕獲暗電流和白基準圖像。在低增益狀態(tài)下的高暗電流意味著白點缺陷。在高增益狀態(tài)下的暗電流給出像素中泄漏的相對振幅。所述信息用來建立品質不良的像素的坐標清單。具體地說，前者(在低增益狀態(tài)下的高暗電流)是不能容易地修正的工藝缺陷的結果。后者(泄漏)是工藝變動的問題。由于工藝變動，諸如掩模對不準、微透鏡對不準等，后者在小尺寸像素中是一個更大的問題，越來越受到關心。本發(fā)明提供一種進行修正的能力，來補償工藝變動并在用于高密度、小尺寸像素設計的陣列中建立品質更均勻的像素。
每一種類型的校正都具有它自己的一組數(shù)據(jù)。就是說，存在用于受暗電流(包括熱像素)和有缺陷的像素影響的像素的各自的位置數(shù)據(jù)。所述數(shù)據(jù)分別識別和定位受暗電流(或熱像素)和有缺陷的像素(包括暗死像素、白死像素、飽和死像素和壞像素)影響的像素。在某個時刻，用戶捕獲實際的圖像。此時，利用需要校正的像素的定位和關于所需要的校正類型的數(shù)據(jù)，可以修正實際圖像的像素的信號值。例如，利用所述暗電流像素位置數(shù)據(jù)(用于給定的增益和曝光組合)，針對在所述暗電流像素位置數(shù)據(jù)中識別的暗電流像素，算出平均信號值。把所述數(shù)值存儲在存儲器中。利用所述暗死像素位置數(shù)據(jù)，識別其在無光條件下的暗閾值高于正常像素的平均值的一組像素。如下面描述的，利用平滑或縮放來修正這樣識別的像素。應該指出，可以建立和使用單一的集成像素位置數(shù)據(jù)結構。但是，像素可能受一種類型以上的缺陷影響，因此，需要多個修正，因此單一的集成像素位置數(shù)據(jù)結構可能必須是多維的或包含缺陷類型或在替代方案中所需的校正類型的指示。在以下的描述中使用多個像素位置數(shù)據(jù)結構，但也可以使用單個像素位置數(shù)據(jù)結構。單個像素位置數(shù)據(jù)結構必須或者是多維的或者包含缺陷的類型或所需的校正類型的指示。
有幾個方法可以建立像素位置數(shù)據(jù)結構或數(shù)據(jù)結構。在一個示范性實施例中，暗電流和白基準圖像將是彼此重疊的，并且進行諸如AND(“與”)和/或EXCLUSIVE-OR(“異”)等邏輯運算來選通像素位置數(shù)據(jù)結構中的像素位置。所述邏輯運算將提供一組具有高泄漏的像素。利用現(xiàn)有的行和列譯碼器可以找到這些像素的精確的行和列位置。在替代的示范性實施例中，可以單獨地使用暗電流和白基準圖像。使在低增益狀態(tài)下捕獲的圖像通過調諧到某個泄漏電平的濾波器。所述調諧參數(shù)是傳遞給所述濾波器的變量，它可以用硬件或軟件實現(xiàn)。利用不同的泄漏電平作為判據(jù)，可以建立代表具有特定倉位范圍內的泄漏電平的像素的像素倉位(直方圖)。所述信息存儲在可用緩沖區(qū)中，并提供對不同像素中泄漏的相對振幅的快速參照，并可以進一步用在不同的增益狀態(tài)、曝光時間和光照狀態(tài)下拍攝的圖像處理過程中。
圖1a是數(shù)字照相機系統(tǒng)100的一部分的示范性實施例，它使用圖像處理器140并具有按照本發(fā)明的暗電流和有缺陷的像素補償電路145。圖1a可以一起集成在一個集成電路中或可以用分立部件實現(xiàn)。連接到像素陣列115的行譯碼器105和列譯碼器110用來在像素陣列115中選擇像素。每一個像素輸出像素復位信號Vrst和像素圖像信號Vsig。陣列控制器120連接到行譯碼器105和列譯碼器110，并確定激活哪些行和列來產(chǎn)生像素陣列115中選定行和列線的信號Vrst和Vsig。采樣/保持電路125通過列譯碼器110選擇電路從列線順序地接收像素信號。采樣/保持電路125向減法器130提供Vrst和Vsig像素信號，對它們執(zhí)行減法運算。模數(shù)(A/D)轉換器135從減法器130接收所述信號，并向圖像處理器140輸出代表對Vrst和Vsjg像素信號執(zhí)行減法運算后的數(shù)字信號。圖像處理器140還連接到暗電流和有缺陷的像素補償電路145，而且還連接到輸出并串行轉換器150。
圖1b是暗電流和有缺陷的像素補償電路145的示范性實現(xiàn)方案的方框圖。CPU 147或其它類型的處理器執(zhí)行圖像補償。CPU 147連接到局部總線155，以便控制CPU 147及其他存儲器部件之間的通信。非易失閃存緩沖區(qū)165儲存在各種各樣的增益狀態(tài)下和以各種各樣的曝光時間拍攝的多個暗電流和白基準像素陣列圖像。這些圖像是在制造時采集的和/或隨后由用戶輸入和由CPU 147從圖像處理器140接收的。非易失閃存緩沖區(qū)170可以用來存儲多個實際圖像。緩沖區(qū)160可以用來存儲任何其它的所需的數(shù)據(jù)。盡管暗電流和有缺陷的像素補償電路145在圖1a中表示為單獨的部件，但是它可以利用作為圖像處理器140的CPU 147來實現(xiàn)。
暗電流和有缺陷的像素補償電路145可以嵌入數(shù)字固態(tài)攝像機(DSC)中，DSC可以是計算機系統(tǒng)的輸入裝置。作為另一方案，可以在DSC的板外作為單獨的計算機系統(tǒng)的一部分來提供暗電流和有缺陷的像素補償電路145。如所指出的，還可以利用存儲和運行在圖像處理器140的軟件來實現(xiàn)暗電流和有缺陷的像素補償。
不同的曝光和增益狀態(tài)下的白基準圖像和暗電流基準圖像可以在銷售前采集和/或由用戶采集。
圖2是用于在制造和測試時捕獲暗電流和白基準圖像的示范性方法200的流程圖。在步驟205，在各種各樣的增益和曝光狀態(tài)/組合下采集暗電流基準圖像。這些圖像與關于每一個圖像的增益和曝光信息一起存儲在非易失閃存存儲器，例如，存儲器165中。
在步驟210，處理所述暗電流基準圖像。這要求產(chǎn)生像素識別/定位數(shù)據(jù)。利用從所述暗電流基準圖像產(chǎn)生的數(shù)據(jù)來識別和定位受暗電流和熱像素影響的像素。全部數(shù)據(jù)(例如存儲在諸如表的數(shù)據(jù)結構中的數(shù)據(jù))存儲在存儲器例如存儲緩沖區(qū)160中。定位數(shù)據(jù)是所述圖像傳感器的像素映射。具體地說，像素的暗電流像素位置數(shù)據(jù)結構(對于特定的增益和曝光組合的)具有″0″或″1″的位，指示所述像素是否受暗電流或熱像素影響。針對每一個增益和曝光組合為每一個暗電流基準圖像設置暗電流和熱像素定位數(shù)據(jù)結構。
類似地，在步驟215在各種各樣的增益狀態(tài)和曝光時間下捕獲白基準圖像并將其存儲起來。全部數(shù)據(jù)(例如存儲在諸如表等數(shù)據(jù)結構的數(shù)據(jù))存儲在存儲器，例如存儲緩沖區(qū)160中。所述白基準圖像是在各種各樣的光照狀態(tài)下捕獲的，所述各種各樣的光照狀態(tài)包括無光、例如28勒克斯的第一光電平下的光和例如例如100勒克斯的第二光電平下的光。利用從所述白基準圖像產(chǎn)生的數(shù)據(jù)來識別和定位有缺陷的像素。有缺陷的像素包括暗死像素、白死像素、飽和死像素和壞像素。
在步驟220，處理白基準圖像。這要求為有缺陷的像素產(chǎn)生不同的數(shù)據(jù)結構如下。暗死像素定位數(shù)據(jù)結構是針對各種各樣的增益狀態(tài)和曝光時間通過像素位置的映射產(chǎn)生的，在無光照狀態(tài)下它具有高于正常像素平均值的暗閾值。白死像素定位數(shù)據(jù)結構是針對各種各樣的增益狀態(tài)和曝光時間通過映射這樣的像素的位置的而產(chǎn)生的，所述像素的白閾值高于或低于正常像素在例如28勒克斯的第一光電平的光照狀態(tài)下的平均值。飽和死像素定位數(shù)據(jù)結構是針對各種各樣的增益狀態(tài)和曝光時間通過映射這樣的像素的位置的而產(chǎn)生的，所述像素的飽和閾值低于正常像素在例如100勒克斯的第二光電平的光照狀態(tài)下的平均值。壞像素的白基準圖像是在均勻地照明的背景下以不同的積分時間捕獲的。壞像素位置表是通過映射不隨著積分時間增大而線性響應的像素的位置而產(chǎn)生的。
可以以若干種方法來完成映射。一個示范性映射方案可以是具有與每一個像素對應的項的陣列或矩陣，其中每一項具有表示與所述項對應的像素是不是例如暗死像素的指示?？梢葬槍γ恳环N類型的有缺陷的像素設置陣列或矩陣，或者設置至少三維的單個矩陣，其中第三維對應于有缺陷的像素的類型?？梢詾槊恳粋€增益狀態(tài)下每一種類型的有缺陷的像素設置多個陣列或矩陣，所述多個陣列或矩陣具有的表示所述像素是不是有缺陷的以及所述像素有缺陷時的增益狀態(tài)和曝光時間組合和光照狀態(tài)的指示。在所述替換方案中，并且為了節(jié)省存儲器(尤其在僅僅幾個像素是有缺陷時)，可以利用清單型的數(shù)據(jù)結構，其中每一項都是一個記錄，指示有缺陷的像素的位置和所述缺陷的屬性。
圖3-a是用于暗電流和有缺陷的像素補償?shù)氖痉缎苑椒?00的流程圖。圖3-b是圖3-a的繼續(xù)。首先參見圖3-a，在步驟305詢問用戶確定他/她是否要求在攝像機的操作過程中為暗電流和有缺陷的像素補償產(chǎn)生數(shù)據(jù)；亦即，用戶可以選擇在當前環(huán)境狀態(tài)下拍攝附加的暗電流和白基準圖像，用于暗電流和有缺陷的像素的補償。這些附加的暗電流和白基準圖像更加準確，并且與在工廠制造和測試攝像機成像器時拍攝的那些暗電流和白基準圖像相比包括更多的當前環(huán)境狀態(tài)，并且所述附加的暗電流和白基準圖像也存儲在非易失閃存存儲器中。根據(jù)對這種查詢的響應，設置(步驟310)或清除(步驟325)標志。在步驟315，若所述標志已經(jīng)設置，則除那些在銷售前已經(jīng)在工廠拍攝的以外，還拍攝和存儲暗電流和白基準圖像，并在步驟320處理。在步驟330給圖像計數(shù)器賦初值。圖像計數(shù)器用來確定捕獲的實際圖像的數(shù)目和利用在工廠產(chǎn)生的存儲的數(shù)據(jù)結構或在當前環(huán)境狀態(tài)下產(chǎn)生的存儲的數(shù)據(jù)結構進行補償。在步驟335，用戶操作攝像機，以便捕獲和存儲所需的實際圖像/信號，并在步驟340使圖像計數(shù)器加一。與所捕獲和存儲的實際圖像一起，還捕獲和存儲附加的信息，諸如增益和曝光/積分時間。
根據(jù)存儲在制造過程中預先設置的數(shù)據(jù)結構的數(shù)據(jù)，或根據(jù)存儲在步驟320產(chǎn)生的數(shù)據(jù)結構中的新產(chǎn)生的數(shù)據(jù)，識別和定位受暗電流(包括熱像素)和有缺陷的像素影響的像素。
圖3-b是圖3-a的繼續(xù)。在步驟395進行數(shù)字照相機系統(tǒng)內部的咨詢，以便確定實際圖像的圖像捕獲是否完成。若所述用戶斷開所述數(shù)字照相機系統(tǒng)，或者若內部計時器超過在其中沒有捕獲實際圖像的時間閾值，則認為圖像捕獲已經(jīng)完成。若圖像捕獲尚未完成，則程序300在步驟335持續(xù)?？梢允紫葘τ腥毕莸南袼剡M行補償，然后對暗電流和熱像素進行補償，或相反。順序并不重要。也可以在攝像機空閑的任何時間進行補償。若圖像捕獲已經(jīng)完成，則在步驟375所述數(shù)字照相機系統(tǒng)訪問實際圖像，并使用白基準圖像來識別和定位有缺陷的像素。例如，或者利用基于可用的相鄰像素信號值的平滑功能，或者對實際圖像的有缺陷的像素的信號值進行縮放，用補償后的信號值代替實際圖像中在一個或多個有缺陷像素數(shù)據(jù)結構中標識為有缺陷的像素的像素信號值。比例系數(shù)的一個示例是平均白死像素信號值除以當前白死像素信號值。有缺陷的像素的補償順序并不重要。
作為具體示例，考察暗死像素。利用暗死像素定位數(shù)據(jù)結構來定位暗死像素。只有識別為暗死像素的像素才在該步驟補償。所述暗死像素的位置用作指示實際圖像的下標，并且取出所述像素的信號值。檢查相鄰像素的信號值。若相鄰像素的信號值可用，則例如通過求相鄰像素的像素信號值的平均值來利用相鄰像素信號值算出所述像素的新的(補償后的)信號值。所述過程是平滑的。若所述相鄰的像素也被標記為需要補償，則相鄰像素信號值不可用。若相鄰像素信號值不可用，則采用縮放方法。通過把最接近匹配具有要補償像素的實際圖像的增益和曝光組合的平均暗死像素信號值除以要補償?shù)南袼氐陌邓老袼匦盘栔担瑏硭愠霰壤禂?shù)。術語″最接近匹配″是指，在兩個或兩個以上增益和曝光組合中間，與其他組合相比更接近所述實際圖像的增益和曝光組合的一個組合。這可以根據(jù)增益或根據(jù)曝光或根據(jù)這兩者確定。把要補償?shù)陌邓老袼爻艘运霰壤禂?shù)，算出用于所述識別的暗死像素的新像素信號值。用類似的方法來完成對白死像素、飽和死像素和壞像素的補償。
在步驟380，在最接近匹配所述實際圖像的增益和曝光組合的增益和曝光狀態(tài)下，對從所述暗電流基準圖像識別的受暗電流影響和識別為熱像素的像素進行補償。首先，從在所述暗電流像素位置數(shù)據(jù)結構中被識別為受像素暗電流影響的像素的像素信號，減去平均暗當前信號值，然后進行補償，諸如平滑(利用相鄰的可用像素)?？梢葬槍φ麄€像素陣列算出泄漏電平的平均值。這可以從全部圖像中減去，因為″基線信號″總是存在的。在完美的像素的理想的情況下，泄漏電平將為零。接著，若所述感興趣的像素標記為高暗電流像素，則所述像素的信號值按照權重因數(shù)按比例縮小。例如，把補償后的暗電流信號值設置為等于老的/原來的暗電流信號值乘以平均暗電流信號值，除以所述像素的暗電流信號值。若識別出新的有缺陷的像素，則把它們的地址與攝像機編碼的初始的狀態(tài)諸如曝光、孔徑、增益等一起記錄在暗電流像素位置數(shù)據(jù)結構中。然后把補償后的像素信號值寫回非易失存儲器，代替實際圖像中所述像素的原來的信號值。對受暗電流影響的每一個像素和每一個熱像素重復所述過程。
在步驟385使所述捕獲的實際圖像的圖像計數(shù)器減一，通過測試圖像計數(shù)器是否等于零，來確定是否對全部實際圖像，圖像補償均已完成。若圖像補償已經(jīng)完成，則過程300完成。若對于全部實際圖像，圖像補償尚未完成，則所述過程序列返回到步驟375的圖像補償，由用戶拍攝下一個實際圖像。
用圖3-c所示的方法完成暗電流和熱像素補償，圖3-c是圖3-b的步驟380的擴展的視圖的流程圖，并且對受暗電流影響的每一個像素和需要補償?shù)拿恳粋€熱像素執(zhí)行所述方法。針對每一個實際圖像捕獲和存儲包括增益和曝光值的附加的信息。在步驟380-a針對具有最接近匹配實際圖像的增益和曝光組合的暗電流像素位置數(shù)據(jù)結構，搜索暗電流像素位置數(shù)據(jù)結構。一旦定位并取出最適當?shù)陌惦娏飨袼匚恢脭?shù)據(jù)結構，便用選定的暗電流像素位置數(shù)據(jù)結構來確定哪些像素必須補償。在實際圖像中分別定位每一個必須補償?shù)南袼?。在步驟380-b中，所述攝像機逐個像素地判別是否要通過平滑進行暗電流和熱像素補償。假設暗電流和熱像素補償不是通過平滑完成的，則暗電流和熱像素將通過縮放完成。選擇平滑還是縮放的判據(jù)是通過所述攝像機用上面針對暗死像素補償而描述的方法完成的。
任選地，在通過平滑或縮放進行暗電流和熱像素補償之前，可以算出某些信號偏移值并將其從實際圖像減去。例如，對于給定的行或列特性，諸如漏極誘發(fā)勢壘下降(DIBL)和/或柵致漏極漏電流(GIDL)等數(shù)據(jù)，可從基準圖像獲得數(shù)據(jù)。通過獲得關于實際圖像中給定特性的數(shù)值和關于暗電流基準圖像中給定特性的數(shù)據(jù)之間的差值，來算出給定特性的信號偏移值。然后，從關于實際圖像中給定特性的數(shù)值減去關于給定特性的信號偏移值。對圖像的每一行或列進行所述運算，而且可以視特性(暗電流基準圖像存在關于該特性的數(shù)據(jù))的數(shù)目而定進行多次運算。例如，可以象關于基準圖像的圖3-e那樣表示給定的特性。在實際圖像中，可以象圖3-f那樣表示所述相同的特性。通過從圖3-f中的值減去圖3-e中的值，算出給定的特性的信號偏移值。然后在進一步處理之前可以從實際圖像減去所述差值。上述任選的步驟可以出現(xiàn)在步驟380-a之后和步驟380--b以前。
在步驟380-c首先通過從受暗電流影響的像素的信號值減去平均像素暗電流信號值來進行暗電流和熱像素補償，然后利用可用的相鄰的像素平滑、以便在步驟380-d計算受暗電流影響的像素的新的信號值。作為另一方案，在步驟380-e可以通過使受暗電流影響的像素諸如按照上述的權重因數(shù)按比例縮小。補償后的信號值在步驟380-f寫回存儲系統(tǒng)的非易失存儲器。最后，在步驟380-g進行測試，以便確定對于選定的實際圖像是否已經(jīng)完成暗電流和熱像素補償(已經(jīng)補償全部暗電流和熱像素)。若暗電流和熱像素補償尚未完成，則在步驟380-b繼續(xù)處理。
利用多種技術來進行補償，所述技術包括若干數(shù)學函數(shù)，諸如高階多項式函數(shù)、梯度算子、拉普拉斯算子和樣條函數(shù)。泄漏電平和其他特性將確定哪些函數(shù)和/或算子將用于所述補償。高階多項式的示例可以是axn+bxn-1+cxn-2+...。其中a，b和c是常數(shù)，而x是與行或列位置有關的索引符號。梯度運算可以是▿F=(GxGy)=(δf/δxδf/δy)=mag(▿f)=[Gx2+Gy2]1/2]]>其中梯度矢量指向位置(x，y)上函數(shù)變化最大速率的方向。拉普拉斯算子可以是▿2F=δ2fδx2+δ2fδy2]]>樣條函數(shù)可以是例如三次或二維多項式，它們是分段多項式，在各段之間具有分割點。
可以按任何順序進行有缺陷的像素補償。圖3-d是圖3-b的步驟375的擴展的視圖的流程圖，這里描述的和圖3-d所示的順序是任意，而且不應解釋為限制。在步驟375-a取出實際圖像數(shù)據(jù)。在步驟375-b選定并訪問具有最接近匹配要補償?shù)膶嶋H圖像的增益和曝光組合的暗死像素定位數(shù)據(jù)結構，并用來確定哪些像素是必須補償?shù)陌邓老袼?。分別確定實際圖像中每一個必須補償?shù)陌邓老袼氐奈恢谩Ｔ诓襟E375-c，通過把每一個暗死像素的信號值按照無光照狀態(tài)下正常像素的平均信號值的權重因數(shù)按比例縮小，來進行暗死像素的補償。通過把無光照狀態(tài)下正常像素的平均信號值除以要補償?shù)陌邓老袼氐男盘栔祦硭愠鏊鰴嘀匾驍?shù)。
在步驟375-b，選定和訪問具有最接近匹配要補償?shù)膶嶋H圖像的增益和曝光組合的白死像素定位數(shù)據(jù)結構，并將其用來確定哪些像素是必須補償?shù)陌姿老袼?。分別確定所述實際圖像中每一個必須補償?shù)陌姿老袼氐奈恢谩Ｔ诓襟E375-d，通過把每一個白死像素的信號值按照在例如大約28勒克斯光照狀態(tài)下正常像素的平均信號值的權重因數(shù)按比例縮小或放大，來進行白死像素補償。通過把在例如大約28勒克斯光照狀態(tài)下正常像素的平均信號值除以要補償?shù)陌姿老袼氐男盘栔?，來算出所述權重因?shù)。
在步驟375-b選定和訪問具有最接近匹配要補償?shù)膶嶋H圖像的增益和曝光組合的飽和死像素定位數(shù)據(jù)結構，并將其用來確定哪些像素是必須補償?shù)娘柡退老袼?。分別確定實際圖像中每一個必須補償?shù)娘柡退老袼氐奈恢?。在步驟375-e，通過把每一個飽和死像素的信號值按照在例如大約100勒克斯光照狀態(tài)下正常像素的平均信號值的權重因數(shù)按比例放大，來進行飽和死像素的補償。通過把在例如大約100勒克斯光照狀態(tài)下正常像素的平均信號值除以要補償?shù)娘柡退老袼氐男盘栔?，來算出所述權重因?shù)。
在步驟375-f，根據(jù)對所述實際圖像的曝光和增益的最接近匹配，在多個壞像素位置數(shù)據(jù)結構當中選定壞像素位置數(shù)據(jù)結構。在步驟375-g，根據(jù)所述選定的壞像素位置數(shù)據(jù)結構，判定哪些像素是壞的。在步驟375-h，通過按比例縮放，分別調整實際圖像中每一個作為壞像素的像素的信號值，使之與積分時間線性地對應，來完成壞像素補償。最后，壞像素的一種或多種顏色可能是有缺陷的。例如，若所述感興趣的像素是′紅′像素，則利用這樣一個公式，對來自相鄰的像素的紅多加權一些，例如，對來自相鄰的紅像素加權50％，而對每一個來自相鄰的藍或綠像素加權25％。若兩種顏色都是壞的，則可以使用一個這樣的公式，即對兩個有缺陷的顏色都加權。例如，若所述感興趣的像素在″藍″和″綠″上都是有缺陷的，則用一個這樣的公式，對藍加權40％，對綠加權40％而對紅加權20％。
上述示范性圖像信號處理方法可以用軟件、硬件、固件、專用集成電路(ASIC)、現(xiàn)場可編程門陣列(FPGA)或上述的任何組合或它們的等效方法實現(xiàn)。
圖4中一般地舉例說明一上面描述的按照本發(fā)明的包括CMOS成像器件的典型的基于處理器的系統(tǒng)900。示范的基于處理器的系統(tǒng)是具有數(shù)字電路的系統(tǒng)，它可以包括CMOS成像裝置910，其細節(jié)參照圖1至3d描述。
諸如計算機系統(tǒng)的處理器系統(tǒng)例如一般包括中央處理單元(CPU)944，后者通過總線952與輸入/輸出(I/O)裝置946通信。CMOS成像器910也通過總線952與系統(tǒng)通信。計算機系統(tǒng)900還包括隨機訪問存儲器(RAM)948和在計算機系統(tǒng)的情況下可能包括外圍設備，諸如軟盤驅動器954和光盤(CD)ROM驅動器956，后者也通過總線952與CPU 944通信。軟件可以存儲在軟盤驅動器954中或CD-ROM驅動器956中，用以在圖像處理器140或CPU/處理器147上運行。
應該再次指出，盡管已經(jīng)具體地參照CMOS成像器件描述了本發(fā)明，但是本發(fā)明具有廣闊的應用可能性并可以使用在任何成像設備。以上的描述和附圖舉例說明本發(fā)明的推薦的實施例。本發(fā)明不擬限于舉例說明的實施例。落在以下權利要求書的精神和范圍內的本發(fā)明的任何修改，均應視為本發(fā)明的一部分。
權利要求
1.一種圖像處理設備，它包括存儲系統(tǒng)，用于存儲與至少一個實際圖像對應的第一數(shù)據(jù)和與通過像素陣列捕獲的至少一個暗電流基準圖像和至少一個白基準圖像中至少一個對應的第二數(shù)據(jù)；以及處理器，它連接到所述存儲系統(tǒng)，用于利用所述第二數(shù)據(jù)補償所述第一數(shù)據(jù)。
2.如權利要求1所述的圖像處理設備，其中所述存儲系統(tǒng)存儲與所述第一數(shù)據(jù)相聯(lián)系的增益狀態(tài)和曝光時間以及用于所述第二數(shù)據(jù)的增益狀態(tài)和曝光時間，所述處理器利用所述第二數(shù)據(jù)完成所述補償，所述第二數(shù)據(jù)具有最接近匹配與所述第一數(shù)據(jù)相聯(lián)系的所述增益和曝光時間的相關聯(lián)的增益和曝光時間。
3.如權利要求2所述的圖像處理設備，其中所述處理器對所述第一數(shù)據(jù)進行暗電流和有缺陷的像素補償。
4.如權利要求2所述的圖像處理設備，其中所述像素陣列捕獲在多種增益和曝光狀態(tài)下的多個暗電流基準圖像，并且把與所述多個捕獲的暗電流基準圖像對應的所述各自的第二數(shù)據(jù)，與用于每一個暗電流基準圖像的相關聯(lián)的增益和曝光狀態(tài)信息一起，存儲在所述存儲系統(tǒng)中。
5.如權利要求2所述的圖像處理設備，其中所述像素陣列捕獲在多種增益和曝光狀態(tài)下的多個白基準圖像，并且把與所述多個白基準圖像對應的所述各自的第二數(shù)據(jù)，連同相關聯(lián)的增益和曝光信息存儲在所述存儲系統(tǒng)中。
6.如權利要求5所述的圖像處理設備，其中所述像素陣列還捕獲在多個光照狀態(tài)下的所述多個白基準圖像，并且把與所述多個白基準圖像對應的所述各自的第二數(shù)據(jù)也與相關聯(lián)的光照狀態(tài)一起存儲。
7.如權利要求6所述的圖像處理設備，其中所述多個光照狀態(tài)包括無光照狀態(tài)、第一光照狀態(tài)和具有比所述第一光照狀態(tài)高的勒克斯數(shù)值的第二光照狀態(tài)。
8.一種用于補償像素的方法，所述方法包括利用像素陣列捕獲與至少一個暗電流基準圖像和至少一個白基準圖像中的一個對應的第一數(shù)據(jù)；把與所述至少一個暗電流基準圖像和所述至少一個白基準圖像中的一個對應的基準數(shù)據(jù)存儲在存儲系統(tǒng)中；利用像素陣列捕獲至少一個實際圖像；把與所述至少一個實際圖像對應的第二數(shù)據(jù)存儲在所述存儲系統(tǒng)中；以及利用所述基準數(shù)據(jù)補償所述第二數(shù)據(jù)。
9.如權利要求8所述的方法，其中所述補償操作是在數(shù)字攝像機處于空閑狀態(tài)時完成的。
10.如權利要求8所述的方法，其中所述補償操作還包括利用所述至少一種暗電流基準數(shù)據(jù)識別受暗電流影響的像素；利用所述基準數(shù)據(jù)補償像素位置上的所述第二數(shù)據(jù)；以及把所述補償后的第二數(shù)據(jù)存儲在所述存儲系統(tǒng)中。
11.如權利要求8所述的方法，其中還包括利用所述基準數(shù)據(jù)把像素識別為有缺陷的像素；利用所述基準數(shù)據(jù)補償像素位置上的所述第二數(shù)據(jù)；以及把所述補償后的第二數(shù)據(jù)存儲在所述存儲系統(tǒng)中。
12.如權利要求8所述的方法，其中還包括在多個增益狀態(tài)和曝光時間下捕獲多個暗電流基準圖像，用于建立各自的暗電流基準數(shù)據(jù)并且用于在所述多個增益和曝光狀態(tài)的每一個組合下，識別那些需要補償?shù)陌惦娏飨袼氐奈恢茫灰约皬乃霾东@的多個暗電流基準圖像建立所述各自的暗電流基準數(shù)據(jù)，并且針對增益狀態(tài)和曝光時間的每一個增益組合，識別那些需要補償?shù)臒嵯袼氐奈恢谩?br> 13.如權利要求8所述的方法，其中還包括在多個增益狀態(tài)和曝光時間下捕獲多個白基準圖像，用于建立各自的有缺陷的像素基準數(shù)據(jù)，并且針對增益狀態(tài)和曝光時間的每一個組合，識別那些需要補償?shù)挠腥毕莸南袼氐奈恢谩?br> 14.如權利要求8所述的方法，其中還包括在多個光照狀態(tài)下捕獲所述多個白基準圖像，用于建立各自的有缺陷的像素基準數(shù)據(jù)，并且針對所述多個光照狀態(tài)中的每一個，識別那些需要補償?shù)挠腥毕莸南袼氐奈恢谩?br> 15.如權利要求14所述的方法，其中所述多個光照狀態(tài)包括無光照狀態(tài)、第一光照狀態(tài)和具有比所述第一光照狀態(tài)較高的勒克斯數(shù)值的第二光照狀態(tài)。
16.如權利要求15所述的方法，其中還包括建立暗死像素基準數(shù)據(jù)，并且針對每一個增益狀態(tài)和曝光時間組合，識別那些需要補償?shù)陌邓老袼氐奈恢谩?br> 17.如權利要求15所述的方法，其中還包括建立白死像素基準數(shù)據(jù)，并且針對每一個增益狀態(tài)和曝光時間組合，識別那些需要補償?shù)陌姿老袼氐奈恢谩?br> 18.如權利要求15所述的方法，其中還包括建立飽和死像素基準數(shù)據(jù)，并且針對每一個增益狀態(tài)和曝光時間組合，識別那些需要補償?shù)娘柡退老袼氐奈恢谩?br> 19.如權利要求14所述的方法，其中還包括建立壞像素基準數(shù)據(jù)，并且針對每一個增益狀態(tài)和曝光時間組合，識別那些需要補償?shù)膲南袼氐奈恢谩?br> 20.如權利要求14所述的方法，其中還包括根據(jù)最接近匹配所述第二數(shù)據(jù)的增益和曝光組合的所述增益和曝光組合，通過選擇所述多個增益和曝光組合中的一個來選擇所述暗電流和熱像素基準數(shù)據(jù)中的一個。
21.如權利要求20所述的方法，其中還包括利用來自可用的相鄰像素的信號值平滑所述受暗電流影響的像素，利用所述選定的暗電流和熱像素基準數(shù)據(jù)來識別所述受暗電流影響的像素，從所述第二數(shù)據(jù)檢索識別為受暗電流影響的每一個像素的所述信號值。
22.如權利要求21所述的方法，其中通過求所述相鄰像素的所述信號值的平均值來完成所述平滑。
23.如權利要求20所述的方法，其中還包括按比例縮小受暗電流影響的信號值，利用所述選定的暗電流和熱像素基準數(shù)據(jù)來識別所述受暗電流影響的像素，從所述第二數(shù)據(jù)檢索被識別為受暗電流影響的每一個像素的所述信號值。
24.如權利要求23所述的方法，其中是，通過把所述信號值乘以對于所述選定的增益和曝光組合下的暗電流和熱像素的平均信號值，再除以所述要補償?shù)南袼氐男盘栔祦硗瓿伤霭幢壤s小。
25.如權利要求16所述的方法，其中還包括采用以下方法來補償暗死像素利用所述暗死像素基準數(shù)據(jù)確定所述暗死像素的位置，把被識別為暗死像素的像素的信號電平按比例縮小到無光照狀態(tài)下正常像素的平均信號電平。
26.如權利要求17所述的方法，其中還包括采用以下方法來補償白死像素利用所述白死像素基準數(shù)據(jù)確定所述白死像素的位置，把被識別為白死像素的像素的信號電平按比例放大或按比例縮小到所述第一光照狀態(tài)下正常像素的平均信號電平。
27.如權利要求18所述的方法，其中還包括采用以下方法來補償飽和死像素利用所述飽和死像素基準數(shù)據(jù)確定所述飽和死像素的位置，把被識別為飽和死像素的像素的信號電平按比例放大到所述第二光照狀態(tài)下正常像素的平均信號電平。
28.如權利要求19所述的方法，其中還包括采用以下方法來補償壞像素根據(jù)所述增益和曝光時間組合中選擇的一個，選擇所述壞像素基準數(shù)據(jù)之一，并且按比例縮放被識別為壞像素的像素的信號電平，使之與所述選定的曝光時間線性對應。
29.如權利要求28所述的方法，其中還包括利用基于所述壞像素的若干個有缺陷的顏色的公式，對壞像素進行顏色補償。
30.一種數(shù)字照相機系統(tǒng)，它包括圖像傳感器；暗電流和有缺陷的像素補償電路，用于補償與實際圖像對應的第一數(shù)據(jù)；以及圖像處理器，它連接到所述暗電流和有缺陷的像素補償電路，用于把所述第一數(shù)據(jù)從所述圖像傳感器轉送到所述暗電流和有缺陷的像素補償電路。
31.如權利要求30所述的數(shù)字照相機系統(tǒng)，其中所述暗電流和有缺陷的像素補償電路還包括至少一個處理器；總線；以及存儲系統(tǒng)，它通過所述總線連接到所述至少一個處理器，用于存儲與所述至少一個實際圖像對應的第一數(shù)據(jù)和與所述圖像傳感器捕獲的所述至少一個暗電流基準圖像和所述至少一個白基準圖像中的一個對應的所述第二數(shù)據(jù)。
32.如權利要求31所述的數(shù)字照相機系統(tǒng)，其中所述存儲系統(tǒng)還包括存儲裝置，它通過所述總線連接到所述至少一個處理器；以及至少一個非易失存儲裝置，它通過所述總線連接到所述至少一個處理器。
33.一種計算機系統(tǒng)，它包括第一處理器；存儲裝置，它通過總線連接到所述處理器；至少一個輸入/輸出裝置，所述至少一個輸入/輸出裝置通過所述外圍總線連接到所述處理器，所述輸入/輸出裝置是成像器件；所述成像器件還包括存儲系統(tǒng)，用于存儲與至少一個實際圖像對應的第一數(shù)據(jù)和與像素陣列捕獲的至少一個暗電流基準圖像和至少一個白基準圖像中的一個對應的第二數(shù)據(jù)；以及至少一個第二處理器，它連接到所述存儲系統(tǒng)，用于補償與所述實際圖像對應的所述數(shù)據(jù)。
34.一種圖像處理設備，它包括存儲系統(tǒng)，用于存儲與至少一個實際圖像對應的第一數(shù)據(jù)和與像素陣列捕獲的至少一個暗電流基準圖像和至少一個白基準圖像對應的數(shù)據(jù)；以及處理器，它連接到所述存儲系統(tǒng)，用于利用所述第二數(shù)據(jù)補償所述第一數(shù)據(jù)。
35.一種圖像處理設備，它包括存儲系統(tǒng)，用于存儲與至少一個實際圖像對應的第一數(shù)據(jù)和與像素陣列捕獲的至少一個暗電流基準圖像和至少一個白基準圖像對應的第二數(shù)據(jù)；以及處理器，它連接到所述存儲系統(tǒng)，用于利用所述第二數(shù)據(jù)補償所述第一數(shù)據(jù)，其中所述存儲系統(tǒng)存儲與所述第一數(shù)據(jù)相聯(lián)系的增益狀態(tài)和曝光時間，所述存儲系統(tǒng)還存儲與所述第二數(shù)據(jù)相聯(lián)系的增益狀態(tài)和曝光時間，并且所述存儲系統(tǒng)處理器還存儲關于所述第二數(shù)據(jù)的光照狀態(tài)信息。
36.一種數(shù)字照相機系統(tǒng)，它包括圖像傳感器；暗電流和有缺陷的像素補償電路，用于補償與實際圖像對應的第一數(shù)據(jù)；以及圖像處理器、它連接到所述暗電流和有缺陷的像素補償電路，用于把所述第一數(shù)據(jù)從所述圖像傳感器轉送到所述暗電流和有缺陷的像素補償電路。
37.如權利要求36所述的數(shù)字照相機系統(tǒng)，其中所述暗電流和有缺陷的像素補償電路還包括至少一個處理器；總線；以及存儲系統(tǒng)，它通過所述總線連接到所述至少一個處理器，用于存儲與所述至少一個實際圖像對應的第一數(shù)據(jù)和與所述圖像傳感器捕獲的所述至少一個暗電流基準圖像和所述至少一個白基準圖像對應的第二數(shù)據(jù)。
38.一種計算機系統(tǒng)，它包括第一處理器；存儲裝置，它通過總線連接到所述處理器；至少一個輸入/輸出裝置，所述至少一個輸入/輸出裝置通過所述外圍總線連接到所述處理器，所述輸入/輸出裝置是成像器件；所述成像器件還包括存儲系統(tǒng)，用于存儲與至少一個實際圖像對應的第一數(shù)據(jù)和與像素陣列捕獲的至少一個暗電流基準圖像和至少一個白基準圖像中的一個對應的第二數(shù)據(jù)；以及至少一個第二處理器，它連接到所述存儲系統(tǒng)，用于補償與所述實際圖像對應的所述數(shù)據(jù)。
39.一種暗電流和有缺陷的像素補償電路，它包括至少一個處理器；總線；以及存儲系統(tǒng)，它通過所述總線連接到所述至少一個處理器，用于存儲與所述至少一個實際圖像對應的第一數(shù)據(jù)和與所述圖像傳感器捕獲的所述至少一個暗電流基準圖像和所述至少一個白基準圖像對應的第二數(shù)據(jù)。
40.一種集成電路，它包括暗電流和有缺陷的像素補償電路，用于補償與實際圖像對應的第一數(shù)據(jù)；以及圖像處理器，它連接到所述暗電流和有缺陷的像素補償電路，用于把所述第一數(shù)據(jù)從所述圖像傳感器轉送到所述暗電流和有缺陷的像素補償電路。
41.如權利要求40所述的集成電路，其中所述暗電流和有缺陷的像素補償電路還包括至少一個處理器；總線；以及存儲系統(tǒng)，它通過所述總線連接到所述至少一個處理器，用于存儲與所述至少一個實際圖像對應的第一數(shù)據(jù)和與所述圖像傳感器捕獲的所述至少一個暗電流基準圖像和所述至少一個白基準圖像對應的第二數(shù)據(jù)。
全文摘要
用于識別和補償具有圖像處理設備的高分辨率數(shù)字攝像機中有缺陷的像素的影響的方法和設備。所述設備包括存儲系統(tǒng)，用于存儲與像素陣列捕獲的暗電流基準圖像和白基準圖像以及至少一個實際圖像對應的數(shù)據(jù)；以及至少一個處理器，它連接到存儲系統(tǒng)，用于根據(jù)存儲的數(shù)據(jù)補償與實際圖像對應的數(shù)據(jù)。所述方法包括捕獲和存儲暗基準圖像和白基準圖像兩者以及捕獲和存儲實際圖像；識別受暗電流影響的像素或有缺陷的像素；從所述存儲系統(tǒng)讀出實際圖像的與受暗電流影響的或有缺陷的像素對應的數(shù)據(jù)；以及補償所述受影響的像素。
文檔編號H04N5/357GK1843028SQ200480024492
公開日2006年10月4日 申請日期2004年6月24日 優(yōu)先權日2003年6月26日
發(fā)明者C·穆利 申請人:微米技術有限公司