專利名稱：成像設(shè)備和成像方法
技術(shù)領(lǐng)域：
本公開涉及諸如視頻攝錄機之類的成像設(shè)備以及用于該成像設(shè)備的成像方法，更具體地，涉及用于去除垂直行狀固定圖案噪聲的技術(shù)。
背景技術(shù)：
在使用圖像傳感器的成像設(shè)備中，在一些情況下垂直行狀固定圖案噪聲出現(xiàn)在從成像設(shè)備輸出的圖像的特定部分中。例如，在使用CMOS圖像傳感器的成像設(shè)備中，垂直行狀固定噪聲例如由于以列為基礎(chǔ)執(zhí)行并行處理的A/D轉(zhuǎn)換器中的偏移誤差而出現(xiàn)。另一方面，在使用CCD圖像傳感器的成像設(shè)備中，垂直行狀噪聲有時會出現(xiàn)，例如在高頻水平傳輸脈沖被使用并且水平傳輸脈沖滿足具體相位條件時。這樣產(chǎn)生的垂直行狀噪聲可以通過如下方式被去除檢測作為噪聲的源的偏移分量并且從像素信號中減去偏移分量。偏移分量不僅存在于來自有效像素區(qū)域中的像素的輸出中并且也存在于來自光學(xué)黑區(qū)域(以下也稱為OPB區(qū)域)中的像素的輸出中。鑒于該事實，在現(xiàn)有技術(shù)中，從OPB區(qū)域中的像素輸出的光學(xué)黑信號(以下也稱為OPB信號)被用來檢測偏移分量的量，即，垂直行電平(vertical line level)，并且產(chǎn)生用于去除垂直行狀噪聲的校正值。垂直行狀噪聲可以通過如下方式被去除將從有效像素區(qū)域中的像素輸出的有效像素信號乘以這樣產(chǎn)生的校正值。部分OPB區(qū)域(其具有垂直形狀并且被遮光以使得光不能入射到其上)在許多情況下被用作從其檢測垂直行電平的區(qū)域，特別是用作具有與有效像素區(qū)域中的行的數(shù)目相對應(yīng)的寬度的區(qū)域。在該區(qū)域被掃描的時段中，從該區(qū)域中的像素讀出的OPB信號被用來檢測垂直行電平和產(chǎn)生校正值，該校正值被用來處理來自有效像素區(qū)域中的行中的有效像素信號。因此可以在圖像被捕獲的同時，實時地去除垂直行狀噪聲。然而，在上述方法中， 垂直行電平被采樣的位置的絕對數(shù)目是小的，導(dǎo)致垂直行電平的檢測精度降低。即，將不會以令人滿意的方式校正垂直行狀噪聲。作為用于提高垂直行電平檢測精度的一種方法，例如，JP-A-10-313428描述了一種方法，用于選擇與圖像傳感器中的多個水平行相對應(yīng)的像素，將來自垂直方向的像素的輸出加和，將該和除以加和的行數(shù)來產(chǎn)生平均值，并且通過使用平均值來產(chǎn)生校正數(shù)據(jù)。

發(fā)明內(nèi)容
另一方面，當(dāng)成像設(shè)備中使用的圖像傳感器具有較窄的可變模擬增益范圍時，在稍后階段中進一步施加數(shù)字增益。例如，當(dāng)圖像傳感器的可變模擬增益范圍從1倍到4倍時，在稍后階段中施加從1倍到2倍的數(shù)字增益提供了從1倍到8倍的擴展可變相機增益。然而，當(dāng)垂直行電平未被精確地檢測并且因此垂直行狀噪聲未被充分去除時，施加數(shù)字增益不利地放大了寬度方向上的垂直行狀噪聲。因此，期望在應(yīng)用了模擬增益和數(shù)字增益二者的成像設(shè)備中在不損失實時處理速度的情況下提高校正垂直行狀噪聲的能力。
本公開的一個實施例針對一種成像設(shè)備，其包括像素、模擬放大器、垂直行檢測器、垂直行校正器和乘算器。上述組件中的每一個具有如下功能配置像素將經(jīng)過鏡頭入射的對象光轉(zhuǎn)換成電荷并累積電荷，所述像素被部署在光學(xué)黑區(qū)域中和有效像素區(qū)域中，光學(xué)黑區(qū)域被遮光以使得沒有光入射到其上并且輸出光學(xué)黑信號，有效像素區(qū)域未被遮光以使得光能入射到其上，部署在光學(xué)黑區(qū)域和有效像素區(qū)域中的像素在水平方向和垂直方向上按矩陣排列。模擬放大器對作為有效像素信號從有效像素區(qū)域中的像素中的每個像素讀取的電荷施加預(yù)定增益，并輸出結(jié)果信號。垂直行檢測器首先在所述鏡頭被遮光的情況下，將模擬放大器的增益因子從最小向最大改變，讀取在所述有效像素區(qū)域內(nèi)的被部署于每個垂直列中并被排列于由預(yù)定水平行形成的區(qū)域中的每個像素的像素值。垂直行檢測器隨后計算在每個垂直列中所讀取的像素值的算術(shù)平均值，并且從鉗位后的黑電平(零)減去計算出的算術(shù)平均值中的每個算術(shù)平均值，以檢測垂直行電平。垂直行檢測器隨后基于檢測出的垂直行電平來計算用于去除垂直行狀固定圖案噪聲的校正值。垂直行校正器將由垂直行檢測器計算出的每個校正值與相應(yīng)有效像素信號相加。乘算器將每個有效像素信號乘以數(shù)字增益，或?qū)⒁呀?jīng)經(jīng)歷了垂直行校正器中的垂直行校正以使得像素信號不包含垂直行狀固定圖案噪聲的每個像素信號乘以數(shù)字增益。上述配置和處理使得可以根據(jù)每個模擬增益級來產(chǎn)生有效像素區(qū)域中的每個水平位置的垂直行狀噪聲校正值。這樣產(chǎn)生的校正值被用來校正垂直行狀噪聲。根據(jù)本公開的實施例，因為垂直行狀噪聲的垂直行電平是基于有效像素區(qū)域內(nèi)的被所部署于每個垂直列中并被排雷于由預(yù)定水平行形成的區(qū)域中的像素的像素值的算術(shù)平均值而產(chǎn)生的，所以，垂直行電平可以被更精確地檢測到。即，垂直行狀噪聲被以更令人滿意的方式校正。此外，垂直行狀噪聲基于為所有模擬增益級預(yù)先產(chǎn)生的校正值被實時校正。此外，因為垂直行電平檢測被高精度地執(zhí)行，所以即使在除了模擬增益以外還施加數(shù)字增益的成像設(shè)備中，垂直行狀噪聲也可以被校正。


圖1是示出根據(jù)本公開第一實施例的成像設(shè)備的配置示例的框圖；圖2A至圖2C是示出根據(jù)本公開第一實施例的垂直行電平檢測的示例的示意圖， 圖2A示出其中垂直行電平被檢測的區(qū)域的示例，圖2B示出垂直行電平的示例，并且圖2C 示出在存儲部件中如何存儲垂直行電平的示例；圖3示出根據(jù)本公開第一實施例的像素信號和校正值在垂直行狀噪聲校正和數(shù)字增益施加之前和之后如何變化的示例，其中(a)示出輸入圖像的像素值的示例，(b)示出鉗位后的像素值以及基于鉗位后的像素值產(chǎn)生的垂直行校正值的示例，(c)示出已經(jīng)經(jīng)歷了垂直行校正的像素信號的示例，(d)示出被施加了數(shù)字增益的像素信號的示例，并且(e) 示出已經(jīng)經(jīng)歷了基底恢復(fù)(pedestal restoration)的像素信號的示例。圖4示出在余留有垂直行分量的情況下像素信號和校正值在垂直行狀噪聲校正和數(shù)字增益施加之前和之后如何變化的示例，其中(a)示出輸入圖像的像素值的示例，(b) 示出鉗位后的像素值以及基于鉗位后的像素值產(chǎn)生的垂直行校正值的示例，(c)示出已經(jīng)經(jīng)歷了垂直行校正的像素信號的示例，(d)示出被施加了數(shù)字增益的垂直行校正值和像素信號的示例，并且(e)示出已經(jīng)經(jīng)歷了基底重建的像素信號的示例。圖5是示出根據(jù)本公開第一實施例的垂直行校正值的計算和存儲的示例的示意圖；圖6是示出根據(jù)本公開第一實施例的垂直行電平檢測的示例的流程圖；圖7是示出根據(jù)本公開第一實施例的缺陷點檢測的示例的示意圖；圖8是示出根據(jù)本公開第一實施例的缺陷點檢測的示例的流程圖；圖9A和圖9B是示出根據(jù)本公開第一實施例的斑點電平(shading level)檢測的示例的示意圖；圖10是示出根據(jù)本公開第一實施例的斑點電平檢測的示例的流程圖；圖11是示出根據(jù)本公開第一實施例的成像設(shè)備中的可變增益范圍的示例的示意圖；圖12是示出根據(jù)本公開第一實施例的易失性存儲器的配置的示例的示意圖；圖13是示出根據(jù)本公開第一實施例的非易失性存儲器的配置示例的示意圖；以及圖14是示出根據(jù)本公開第二實施例的成像設(shè)備的配置示例的框圖。
具體實施例方式以下將描述用于實施本公開的實施例。描述將按照以下次序來進行1.第一實施例(單個乘算器被用來執(zhí)行垂直行狀噪聲校正和黑斑(black shading)校正的情況)2.第一實施例(垂直行狀噪聲校正被有效地執(zhí)行的情況)<1.第一實施例>[總體系統(tǒng)配置的示例]圖1是示出根據(jù)本發(fā)明第一實施例的成像設(shè)備的示例的框圖。圖1中示出的成像設(shè)備1包括圖像傳感器10、信號處理器20、易失性存儲器30和非易失性存儲器40。圖像傳感器10例如由CMOS固態(tài)成像裝置形成，并且將經(jīng)過鏡頭(未示出)并被聚焦到圖像傳感器的成像表面上的對象光轉(zhuǎn)換成電像素信號。在本實施例中為CMOS固態(tài)成像裝置的圖像傳感器10可以可替換地是任意其它固態(tài)成像裝置，諸如C⑶固態(tài)成像裝置。在本實施例中，有效像素區(qū)域具有水平排列的752像素乘垂直排列的480行，如圖 2A中所示。除了有效像素區(qū)域以外，還設(shè)置被遮光以使得沒有光入射到其上的OPB區(qū)域。根據(jù)本實施例的成像設(shè)備1通過使用從有效像素區(qū)域中的像素輸出的有效像素信號而不是從垂直延伸的OPB區(qū)域中的像素的信號來檢測垂直行電平。垂直行電平因而是例如在出廠之前的調(diào)節(jié)時或在用戶指示校準時，在鏡頭被遮光的情況下(即，在所謂的全黑狀態(tài)中)被檢測的。在本實施例中，垂直行電平是在由有效像素區(qū)域中的水平排列的752 像素乘垂直排列的256行形成的區(qū)域中被檢測的。用來采樣垂直行電平的垂直排列行數(shù)不限于256，而是可以是2的某次冪并且認為對于采樣充分足夠的任意值。從部署在有效像素區(qū)域中的每個像素讀出的電荷被輸出作為有效像素信號。盡管未被示出，但是有效像素區(qū)域中的垂直排列的行中的每一行設(shè)置了模擬放大器和A/D轉(zhuǎn)換器。模擬放大器放大每個有效像素信號的電平，并且A/D轉(zhuǎn)換器將模擬有效像素信號轉(zhuǎn)換為數(shù)字像素信號。在本實施例中，模擬放大器具有25級，通過這25級可以實現(xiàn)從1倍到4 倍的可變范圍。產(chǎn)生垂直行狀噪聲的位置以及噪聲的量(垂直行電平)取決于模擬放大器被設(shè)置到的級。換而言之，產(chǎn)生垂直行狀噪聲的位置以及噪聲的量可以由模擬放大器被設(shè)置到的級來決定。在本實施例中使用的圖像傳感器10中，產(chǎn)生垂直行狀噪聲的位置以及噪聲的量不隨溫度變化。返回參考圖1，將再次描述成像設(shè)備1的配置。信號處理器20例如由DSP (數(shù)字信號處理器)形成并且包括鉗位(cramp)處理器21、垂直行行檢測器/校正器22、存儲部件 23、乘算器對、基底處理器25、缺陷校正器沈和缺陷/斑點檢測器27。信號處理器20還包括存儲器控制器觀和控制器四。成像設(shè)備1還包括易失性存儲器30和非易失性存儲器 40。鉗位處理器21執(zhí)行鉗位，鉗位使得下游乘算器M不是對整個像素信號施加數(shù)字增益而是只對與亮度的變化有關(guān)的部分施加數(shù)字增益。即，從輸入的像素信號的像素值中減去鉗位值以使得從圖像傳感器10輸出的像素信號的黑電平變?yōu)榱?。鉗位值是基于從圖像傳感器10的OPB區(qū)域輸出的OPB信號的電平而確定的。鉗位處理器21向垂直行行檢測器/校正器22輸出已經(jīng)經(jīng)歷了鉗位的像素信號。垂直行行檢測器/校正器22基于從鉗位處理器21輸出的像素信號來檢測垂直行電平以產(chǎn)生校正值并且基于所產(chǎn)生的校正值來校正垂直行狀噪聲。垂直行檢測和校正功能可以被獨立地使能和禁用。在垂直行電平檢測時，諸如在出廠前，垂直行檢測功能被使能， 而垂直行校正功能被禁用。相反，在圖像捕獲開始之后的實際校正時，垂直行校正功能被使能，而垂直行檢測功能被禁用。稍后將參考圖2A至圖2C、圖3、圖4、圖5和圖6來詳細描述垂直行電平檢測。存儲部件23例如由RAM形成并且存儲由垂直行行檢測器/校正器22檢測到的垂直行電平。存儲部件23還暫時地存儲基于垂直行電平產(chǎn)生的校正值。乘算器M將已經(jīng)經(jīng)歷了垂直行行檢測器/校正器22中的垂直行狀噪聲校正的像素信號乘以用戶設(shè)置的數(shù)字增益和由缺陷/斑點檢測器27產(chǎn)生的斑點校正增益。數(shù)字增益可以從1倍變到4倍，并且斑點校正增益最大是2倍。在圖1中，“d_gain”表示數(shù)字增益，并且“s_gain”表示斑點校正增益。描述“d_gain±S_gain”包括“士”，這是因為稍后將描述的斑點校正增益可以是負值。 基底處理器25將鉗位值與輸入的像素信號相加以便將已被乘算器M施加了增益的像素信號的黑電平變回到實際的黑電平。黑電平已經(jīng)通過基底恢復(fù)被恢復(fù)的像素信號被輸出給缺陷校正器26。缺陷校正器沈使得由缺陷/斑點檢測器27檢測到的有缺陷的像素經(jīng)歷利用校正像素的插值。校正像素是基于部署在有缺陷的像素周邊的多個像素而產(chǎn)生的。缺陷校正器26也可以被使能和禁用。當(dāng)缺陷校正器沈被禁用時，輸入的像素信號被原樣輸出給缺陷/斑點檢測器27。 缺陷/斑點檢測器27接收黑電平已經(jīng)通過基底處理器25被恢復(fù)的像素信號，檢測輸入的像素信號是否表示缺陷點，并且檢測像素信號中所包含的斑點電平。缺陷點是指相比于周邊的像素具有過高的信號電平的像素。缺陷點是通過將輸入的像素信號的像素值與鉗位值相比較而檢測到的。當(dāng)有缺陷的像素被檢測到時，表示涉及的像素是有缺陷的像素的缺陷標記被設(shè)置(“1”)，而當(dāng)正常的像素被檢測到時，缺陷標記被清除(“0”)。缺陷標記的狀態(tài)在存儲器控制器觀的控制下被寫入易失性存儲器30。將參考圖7至圖11來詳細描述缺陷/斑點檢測器27的操作。斑點電平通過計算形成通過在均勻光源下捕獲均勻灰度主體而獲得的圖像的單個幀的所有像素的像素值來被定義，并且特別指所計算的像素值的平均值或最大值與每個輸入像素信號的像素值之差。這樣確定的差被用來計算斑點校正增益，并且計算出的斑點校正增益被寫入易失性存儲器30中的預(yù)定區(qū)域。乘算器對將像素信號乘以斑點校正增益， 從而由于圖像傳感器的特性導(dǎo)致的白(調(diào)制)斑和由于通過鏡頭周邊部分的光量減少導(dǎo)致的亮度不均勻可以被同時校正。即，通過用所計算的最大值或平均值來替換形成單個幀的所有像素的像素值，可以產(chǎn)生圖像畫面中沒有亮度不均勻的圖像。當(dāng)沒有灰塵玷污或缺陷點時，利用最大值的校正是最準確的校正。另一方面，利用平均值的校正可以在某種程度上去除由于灰塵玷污或少量缺陷點導(dǎo)致的缺陷，盡管動態(tài)范圍變窄，這是因為利用平均值的校正施加負的數(shù)字增益。用戶可以選擇是使用最大值還是平均值來計算校正值。缺陷/斑點檢測器27也可以被使能和禁用。在檢測缺陷點和斑點電平時，缺陷/ 斑點檢測器27被使能，而乘算器M和缺陷校正器沈被禁用。在缺陷點和斑點電平被檢測到之后并且在實際校正被開始之前，缺陷/斑點檢測器27被禁用，而乘算器M和缺陷校正器26被使能。存儲器控制器觀對向易失性存儲器30寫入數(shù)據(jù)和從易失性存儲器30讀取數(shù)據(jù)進行控制。例如，由垂直行行檢測器/校正器22產(chǎn)生的校正值和由缺陷/斑點檢測器27產(chǎn)生的缺陷標記狀態(tài)和斑點校正增益在存儲器控制器觀的控制下被寫入易失性存儲器30。 存儲器控制器觀還對將在上述組件中所執(zhí)行的校正值計算的過程中產(chǎn)生的數(shù)字數(shù)據(jù)寫入易失性存儲器30和從易失性存儲器30讀取所述數(shù)字數(shù)據(jù)進行控制。此外，存儲在易失性存儲器30中的校正值或任意其它值在存儲器控制器觀的控制下被讀取并被提供給進行實際校正的組件?？刂破魉挠衫鏜PU (微處理單元)形成并且控制形成成像設(shè)備1的組件中的每個組件的操作。例如，控制器四指示存儲器控制器28讀取已被寫入易失性存儲器30的校正值或任意其他值并且將讀取的值寫入非易失性存儲器40，或者在成像設(shè)備被上電時讀取已被寫入非易失性存儲器40的校正值或任意其它值并將讀取的值加載到易失性存儲器30 中。易失性存儲器30由例如RAM形成并且接收以下值來作為寫入數(shù)據(jù)在有關(guān)組件中所執(zhí)行的校正值計算的過程中產(chǎn)生的數(shù)字數(shù)據(jù)、由垂直行行檢測器/校正器22產(chǎn)生的校正值以及由缺陷/斑點檢測器27產(chǎn)生的缺陷標記狀態(tài)和斑點校正增益。非易失性存儲器40 由例如閃速存儲器形成并且接收以下值來作為寫入數(shù)據(jù)由垂直行行檢測器/校正器22產(chǎn)生的校正值和由缺陷/斑點檢測器27產(chǎn)生的缺陷標記狀態(tài)和斑點校正增益。稍后將參考圖12和圖13來描述上述數(shù)據(jù)被存儲在易失性存儲器30和非易失性存儲器40中的方式。[垂直行電平檢測的示例]以下將參考圖2A至圖2C、圖3、圖4、圖5和圖6來描述由垂直行行檢測器/校正器22執(zhí)行的垂直行電平檢測的示例。垂直行電平檢測通過利用圖像傳感器10的有效像素區(qū)域中的水平排列的752像素乘垂直排列的256行而被執(zhí)行，如圖2A中所示。首先，在上述區(qū)域中的水平方向上的752個位置處，在垂直方向上所有256個像素的像素值被加和并且平均(算術(shù)平均)像素值被計算。為了去除隨機噪聲分量，以4幀為基礎(chǔ)來采樣水平排列的752像素乘垂直排列的256行的像素值。用來采樣垂直行電平的幀數(shù)可以是至少為4 的任意值。然而，應(yīng)當(dāng)注意，隨著用于采樣的幀數(shù)增大，在校正值計算的過程中產(chǎn)生的數(shù)據(jù)量也增大，并且保持在該計算過程中所產(chǎn)生的值的非易失性存儲器40的區(qū)域也需要相應(yīng)地擴大。垂直行電平被表示為黑電平(=鉗位值)和像素值之間的差，如圖2B中所示。在圖2B中，縱軸表示像素值，并且橫軸表示水平位置。如圖2A中的有效像素區(qū)域中的垂直實線所示，產(chǎn)生垂直行狀噪聲的每個位置示出大的、正像素值或負像素值，如圖2B中所示。垂直行電平因此可以通過如下方式來檢測從鉗位后的黑參考值(零)減去水平有效像素區(qū)域的各個像素位置中的垂直方向上的256個像素的像素值的平均值。如圖2C中所示，每當(dāng)水平有效像素區(qū)域的各個像素位置中的垂直方向上的256個像素的像素值的平均值以及基于平均值產(chǎn)生的校正值被產(chǎn)生時，平均值和校正值被存儲在存儲部件23中，其中存儲部件23具有與水平排列的像素的數(shù)目(75 相應(yīng)的存儲區(qū)域。在本實施例中，由于以4幀為基礎(chǔ)來采樣水平排列的752像素乘垂直排列的256 行的像素值，所以垂直行電平被高精度地檢測并且由垂直行行檢測器/校正器22執(zhí)行的垂直行校正被相應(yīng)地改進。結(jié)果，即使下游乘算器M對已經(jīng)經(jīng)歷了垂直行校正的像素信號施加數(shù)字增益，垂直行狀噪聲也不會被擴大。圖3示出像素值(垂直行電平)和用于校正垂直行狀噪聲的校正值(以下稱為垂直行校正值)。在圖3中，縱軸表示像素值電平，每個實線表示像素值并且每個虛線表示垂直行校正值。圖3中的(a)中示出的表示通過捕獲全黑狀態(tài)獲得的輸入圖像的像素信號被鉗位，并且垂直行校正值基于鉗位后的像素信號被產(chǎn)生，如圖3中的(b)中所示。具有與垂直行電平相應(yīng)的量并且具有與產(chǎn)生垂直行狀噪聲的方向相反的方向的垂直行校正值被與像素值相加，從而不包含垂直行分量的像素信號被產(chǎn)生，如圖3中的(c)中所示。數(shù)字增益隨后被施加于不包含垂直行分量的像素信號，并且在圖3中的(d)中示出的已被施加數(shù)字增益的像素信號或圖3中的(e)中示出的已經(jīng)經(jīng)歷了基底恢復(fù)的像素信號中不產(chǎn)生垂直行。圖4示出在垂直行電平的采樣數(shù)小并且在余留有垂直行分量的情況下施加數(shù)字增益的情況中的像素信號如何變化。在圖4中，縱軸表示像素值電平，每個實線表示像素值并且每個虛線表示垂直行校正值。圖4中的(a)中示出的表示通過捕獲全黑狀態(tài)獲得的輸入圖像的像素信號被鉗位，并且垂直行校正值基于鉗位后的像素信號被產(chǎn)生，如圖4中的 (b)中所示。然而，還沒有基于充分的采樣產(chǎn)生垂直行校正值。結(jié)果，執(zhí)行垂直行校正(其中具有與產(chǎn)生垂直行狀噪聲的方向相反的方向的校正值被與像素值相加)仍然余留有還未被去除的垂直行分量，如圖4中的(c)中所示。當(dāng)乘算器M然后對后對余留有垂直行分量的像素信號施加數(shù)字增益時，垂直行不利地更被擴大，如圖4中的(d)中所示(在第二實施例中，被擴大的垂直行分量被用于校正)。垂直行電平以及產(chǎn)生垂直行狀噪聲的位置也隨著圖像傳感器10中所施加的模擬增益的大小的改變而改變。鑒于該事實，在每個模擬增益級中計算垂直行校正值。即，在從最小到最大的每個模擬增益級中計算垂直行校正值。圖5示出圖像傳感器10中的模擬增益級與易失性存儲器30(非易失性存儲器40)中所存儲的垂直行校正值之間的關(guān)系的示例。 在圖5中示出的示例中，圖像傳感器10的模擬增益從1倍到4倍，并且級數(shù)是25，這些級以
90.125倍的增量被間隔開。在此情況下，垂直行行檢測器/校正器22以1. 000倍的模擬增益和1倍的模擬增益計算與形成單行的像素數(shù)(75 相應(yīng)的垂直行校正值。隨后通過將模擬增益改為1. 125 倍來執(zhí)行相同計算，并一直重復(fù)直到模擬增益達到4. 000倍。每組這樣計算的垂直行校正值被存儲在易失性存儲器30中的預(yù)定區(qū)域中。圖6是示出上述由垂直行行檢測器/校正器22執(zhí)行的垂直行校正值計算的處理步驟中的一部分，特別是執(zhí)行垂直行電平檢測的處理步驟的流程圖。首先，鏡頭被遮光來實現(xiàn)全黑狀態(tài)。全黑狀態(tài)的圖像被捕獲并且隨后垂直行電平檢測被開始(步驟Si)。計算幀數(shù)的幀計數(shù)器的值隨后被清零(步驟S》。隨后判斷是否已經(jīng)針對4幀對有效像素區(qū)域中的排列在垂直方向上的中心256行執(zhí)行了垂直行電平檢測(采樣)(步驟S3)。當(dāng)檢測 (采樣)黑沒有完成時，水平752個像素的每個像素的位置中的垂直行中的像素的像素值被鉗位處理器21進行鉗位，并且鉗位后的像素值被順次相加并存儲在存儲部件23中(步驟S4)。當(dāng)上述處理步驟被完成了時，幀計數(shù)器的值遞增1(步驟S5)，并且控制返回到步驟 S3。當(dāng)步驟S3中的判定示出已經(jīng)針對4幀對有效像素區(qū)域中的排列在垂直方向上的中心256行執(zhí)行了垂直行電平檢測時，針對4幀對通過對256行執(zhí)行上述檢測獲得的垂直行電平求平均值(步驟S6)。具體地，每組像素值通過如下方式來求平均值將步驟S4中存儲在存儲部件23中的加和像素值中的相應(yīng)一個加和像素值除以IOM056行X4幀)。 隨后通過從鉗位后的黑參考值(零)減去在步驟S6中計算出的垂直行的每個垂直行中的像素的像素值的平均值來檢測垂直行電平(步驟S7)。隨后判斷是否已經(jīng)以所有模擬增益級執(zhí)行了垂直行電平檢測(步驟S8)。當(dāng)檢測還未完成時，模擬增益被改為另一級(步驟 S9)，并且控制返回步驟S2。當(dāng)檢測已被完成時，垂直行電平檢測完成。當(dāng)成像設(shè)備1開始圖像捕獲時，以每個模擬增益級產(chǎn)生的并被存儲在易失性存儲器30中的垂直行校正值被垂直行行檢測器/校正器22讀取，并且被用在實際校正中。艮口， 每當(dāng)模擬增益改變時，與改變后的模擬增益級相應(yīng)的垂直行校正值被讀取以用于校正。結(jié)果，在圖像捕獲開始之后，預(yù)先產(chǎn)生的校正值被用來進行實時的校正。[缺陷點/斑點電平檢測的示例]接著，將參考圖7至圖10來描述由缺陷/斑點檢測器27執(zhí)行的缺陷點/斑點電平檢測的示例。將首先參考圖7和圖8來描述缺陷點檢測。圖7示意性地示出如何檢測缺陷像素。缺陷/斑點檢測器27首先預(yù)先確定用于缺陷點檢測的閾值(以下稱為缺陷點閾值)并且針對輸入的單個幀中的每個像素判斷像素的像素值和鉗位值之間的差是否大于缺陷點閾值。在圖7中示出的示例中，用黑圈指示的兩個像素中的每一個像素被判定為缺陷點，其中像素值和鉗位值之間的差大于缺陷點閾值。S卩，這兩個像素的每一個像素的缺陷標記被設(shè)置為“1”。對于其它8個像素中的每個像素，像素值和鉗位值之間的差不大于缺陷點閾值，缺陷標記被設(shè)置為“0”。上述檢測針對形成單個幀的所有像素上被執(zhí)行，并且針對單個幀的缺陷點校正數(shù)據(jù)是基于檢測結(jié)果而產(chǎn)生的。在本實施例中，針對在通過對任意4幀求算術(shù)平均而獲得的1幀中的全部像素執(zhí)行缺陷點檢測，從而提高了缺陷點檢測的精度。接著將參考圖8中示出的流程圖來描述缺陷點檢測的過程。首先，鏡頭被遮光以實現(xiàn)全黑狀態(tài)。全黑狀態(tài)的圖像被捕獲，并且隨后缺陷點檢測開始(步驟Sll)。幀計數(shù)器的值隨后被清零(步驟Si》。隨后判定是否已經(jīng)針對4幀對有效像素區(qū)域中的所有752像素乘480行進行了采樣(步驟Si； )。當(dāng)采樣已經(jīng)被完成時，隨后判斷是否已經(jīng)對1幀執(zhí)行了采樣(S14)。除非已經(jīng)對1幀執(zhí)行了采樣，否則，步驟S14中的判斷被重復(fù)執(zhí)行。當(dāng)已經(jīng)對1幀執(zhí)行了采樣時，幀計數(shù)器的值遞增1，并且控制返回步驟S13。當(dāng)步驟S13中的判定示出已經(jīng)針對4幀對有效像素區(qū)域中的所有752像素乘480 行進行了采樣時，針對4幀對已采樣的像素的像素值加和(步驟S16)。通過將加和的像素值中的相應(yīng)一個加和像素值除以4來計算每個像素的平均像素值(步驟S17)。隨后判斷每個像素的平均像素值與鉗位值之間的差是否大于缺陷點閾值(步驟S18)。當(dāng)差不大于缺陷點閾值時，缺陷標記被設(shè)置為“0”并且像素可以被認為是正常的(步驟S19)。當(dāng)每個像素的平均像素值與鉗位值之間的差大于缺陷點閾值時，缺陷標記被設(shè)置為“1”并且像素被認為是有缺陷的(步驟S20)?；谕ㄟ^上述處理步驟獲得的信息來創(chuàng)建單個幀的缺陷像素判定數(shù)據(jù)(步驟S21)并且從而完成缺陷點檢測。這樣設(shè)置的缺陷標記狀態(tài)在存儲器控制器觀的控制下被寫入易失性存儲器30的預(yù)定區(qū)域中，如上所述。缺陷校正器26隨后針對每個像素參考被寫入易失性存儲器30的相應(yīng)缺陷標記。當(dāng)缺陷校正器26參考的缺陷標記是“1”時，所涉及的像素的像素值用周邊像素的像素值被插值，而當(dāng)缺陷標記為“0”時，沒有處理被執(zhí)行。接著將參考圖9A、圖9B和圖10來描述斑點電平檢測。圖9A和圖9B示意性地示出如何執(zhí)行斑點電平檢測。首先，計算形成單個幀的所有像素的像素值的平均值或最大值， 并且具有最大像素值或平均像素值的像素被設(shè)置為目標像素。圖9A示出在具有最大像素值的像素被設(shè)置為目標像素的情況中的斑點電平檢測的示例，而圖9B示出具有平均像素值的像素被設(shè)置為目標像素的情況中的斑點電平檢測的示例。當(dāng)如圖9A中所示具有最大像素值的像素被設(shè)置為目標像素時，與每個輸入像素的像素值和最大像素值之間的差對應(yīng)的斑點校正增益被計算，以使得輸入像素的像素值等于最大像素值。當(dāng)如圖9B中所示具有平均像素值的像素被設(shè)置為目標像素時，與每個輸入像素的像素值與平均像素值之間的差對應(yīng)的校正增益被計算，以使得輸入像素的像素值等于平均像素值。當(dāng)具有平均像素值的像素被設(shè)置為目標像素時，負(_)增益被施加于具有比平均像素值更大的像素值的像素， 而正(+)增益被施加于具有比平均像素值更小的像素值的像素。用戶可以選擇目標像素是具有最大像素值還是具有平均像素值，如上所述。接著將參考圖10中示出的流程圖來描述斑點電平檢測的過程。首先，捕獲整體上均與的灰度圖像，并且隨后開始斑點電平檢測(步驟S31)。幀計數(shù)器的值隨后被清零(步驟S3》。隨后判斷是否已經(jīng)針對4幀對有效像素區(qū)域中的所有752像素乘480行進行了采樣(步驟S3； )。當(dāng)采樣已被完成時，隨后判斷是否已經(jīng)對1幀執(zhí)行了采樣(S34)。除非還未對1幀執(zhí)行完采樣，否則步驟S34中的判斷被重復(fù)執(zhí)行。當(dāng)已經(jīng)對1幀執(zhí)行了采樣時，幀計數(shù)器的值被遞增1 (步驟S3。，并且控制返回到步驟S33。當(dāng)步驟S33中的判定示出已經(jīng)針對4幀對有效像素區(qū)域中的所有752像素乘480 行進行了采樣時，針對4幀對已采樣的像素的像素值加和(步驟S36)。通過將加和的像素值中的相應(yīng)一個加和像素值除以4來計算每個像素的平均像素值(步驟S37)。從步驟S37 中所確定的每個像素的平均像素值確定單個幀的所有像素的像素值的最大值或平均值，并且將具有最大像素值或平均像素值的像素設(shè)置為目標像素(步驟S38)。隨后判斷每個像素的平均像素值是否不同于目標像素的像素值(步驟S39)。當(dāng)沒有不同時，斑點校正增益被設(shè)置為零(步驟S40)。當(dāng)涉及的像素的平均像素值不同于目標像素的像素值時，根據(jù)差來計算斑點校正增益(步驟S41)。通過對單個幀中的所有像素執(zhí)行上述處理步驟來產(chǎn)生用于單個幀的校正數(shù)據(jù)(步驟S42)。從而，完成斑點電平檢測。斑點校正增益數(shù)據(jù)在存儲器控制器觀的控制下被存儲在易失性存儲器30中的預(yù)定區(qū)域中，如上所述。每當(dāng)像素信號被輸入乘算器M時，存儲在易失性存儲器30中的斑點校正增益數(shù)據(jù)被讀取，乘算器M將像素信號乘以這些斑點增益校正數(shù)據(jù)中相關(guān)的一個斑點校正增益數(shù)據(jù)。在乘算器M中將像素信號與斑點校正增益數(shù)據(jù)相乘不僅校正垂直行狀噪聲并且也校正由圖像傳感器的特性導(dǎo)致的白(調(diào)制)斑。圖11示出根據(jù)本實施例的成像設(shè)備1 中的可調(diào)增益范圍。圖像傳感器10中的可調(diào)模擬增益范圍從1倍到4倍，這是窄的，但是另外還可以施加從1倍到4倍的數(shù)字增益，從而整個可變增益范圍是從1倍到16倍。斑點校正增益(最大為2倍)負責(zé)可變數(shù)字增益范圍的一部分，特別是覆蓋高增益因子的那部分。即，可以用因子8來改變相機增益，8是模擬增益因子4和另外數(shù)字增益因子4的和。[在非易失性存儲器和易失性存儲器中如何存儲數(shù)據(jù)的示例]接著將參考圖12和圖13來描述在非易失性存儲器40和易失性存儲器30中如何存儲數(shù)據(jù)的示例。圖12示出在易失性存儲器30中如何存儲數(shù)據(jù)的示例。易失性存儲器30 具有用于存儲在有關(guān)組件所執(zhí)行的校正值計算的過程中產(chǎn)生的計算數(shù)據(jù)的區(qū)域，并且該存儲區(qū)域是針對形成單個幀的像素中的每一個像素來設(shè)置的。易失性存儲器30還具有用于存儲缺陷標記狀態(tài)和斑點校正增益的區(qū)域，并且該存儲區(qū)域是針對形成4幀的像素中的每個像素來設(shè)置的。易失性存儲器30還具有用于存儲垂直行校正值的區(qū)域。存儲區(qū)域的數(shù)目是25，這對應(yīng)于模擬增益級數(shù)。25個區(qū)域中的每個區(qū)域存儲與形成有效像素區(qū)域中的單個水平行的752個像素相對應(yīng)的垂直行校正值。在易失性存儲器30中所存儲的數(shù)據(jù)中，缺陷標記狀態(tài)、斑點校正增益值以及垂直行校正值被保存在非易失性存儲器40中，如圖13中所示。存儲于非易失性存儲器40中的數(shù)據(jù)例如在當(dāng)成像設(shè)備被上電時在控制器四的控制下被讀取并被加載到易失性存儲器30 中。如上所述，在根據(jù)本實施例的成像設(shè)備1中，與所有模擬增益級相對應(yīng)的垂直行校正值被預(yù)先存儲，并且實際校正是基于垂直行校正值來進行的，從而可以根據(jù)每一幀的增益變化來進行校正。此外，在圖像捕獲開始之后，因為必要的操作只有讀取預(yù)先存儲的垂直行校正值并相應(yīng)地做出校正，所以成像設(shè)備1可以充分滿足通常要求實時操作的任何應(yīng)用(諸如機器視覺)中的要求。此外，在本實施例中，因為垂直行電平檢測是基于有效像素區(qū)域中的多個(256) 行而不是垂直延伸的OPB區(qū)域來執(zhí)行的，所以垂直行電平檢測被更精確地執(zhí)行并且垂直行校正被以更令人滿意的方式做出。結(jié)果，即使在可變模擬增益范圍窄并且除了模擬增益以外還施加數(shù)字增益的成像設(shè)備中，垂直行狀噪聲可以被校正。此外，隨機噪聲分量可以通過對多個幀0幀)的像素進行采樣而被去除。在該處理中，將采樣中使用的幀數(shù)設(shè)置為4使 (易失性存儲器30)用于存儲在校正值計算的過程中產(chǎn)生的計算數(shù)據(jù)必需的區(qū)域最小化，即使有效像素信號由多個像素信號形成。此外，在本實施例中，垂直行行檢測器/校正器22和用于數(shù)字增益和斑點校正增益相乘的乘算器M被部署在鉗位處理器21和基底處理器25之間。該配置消除了向用于斑點校正的塊和任何其它塊添加用于固定和恢復(fù)黑電平的電路的需要。即，可以簡化與黑電平相關(guān)聯(lián)的處理，并且可以減小整個成像設(shè)備1中的電路的規(guī)模。此外，因為乘算器M 可以執(zhí)行數(shù)字增益乘算和斑點校正增益乘算，所以相比單獨提供用于執(zhí)行與乘算有關(guān)的處理的電路的情況，乘算器的數(shù)目可以更少。<2.第二實施例>[總體系統(tǒng)配置的示例]接著將參考圖14來描述根據(jù)本公開第二實施例的成像設(shè)備。在圖14中，與圖1 中的部分相對應(yīng)的部分具有相同的標號并且將不詳細描述這些部分。在第二實施例中，用于數(shù)字增益的乘算器和用于斑點校正增益的乘算器沒有被整合到單個乘算器中，而是提供只用于數(shù)字增益的乘算器。第二實施例還在垂直行行檢測器/校正器22如何檢測垂直行電平以及乘算器M所處的位置這些方面不同于第一實施例。第二實施例與第一實施例一致的方面在于垂直行電平檢測是針對每個模擬增益級來提供的，不同的方面在于垂直行電平檢測是在數(shù)字增益被最大化的情況下被執(zhí)行的。即，當(dāng)數(shù)字增益的最大值為4倍時，通過將數(shù)字增益設(shè)置為4倍來對垂直行電平進行采樣。因為垂直行電平檢測是通過將數(shù)字增益設(shè)置為4倍來執(zhí)行的，所以基于檢測到的垂直行電平產(chǎn)生大的垂直行校正值。在此情況中，通過乘算器24 (乘算器M將像素信號乘以垂直行校正值中的任一個)施加的增益被設(shè)置為數(shù)字增益的導(dǎo)數(shù)。例如，當(dāng)數(shù)字增益是 4倍時，像素信號被乘以垂直行校正值1倍G倍乘以1/4)，或當(dāng)數(shù)字增益為2倍時，像素信號被乘以垂直行校正值0. 5 O倍乘以1/4)。即，在乘算之前，垂直行校正值根據(jù)數(shù)字增益被正規(guī)化。如圖3和圖4中所示，因為在數(shù)字增益乘算之前和之后的垂直行校正值與數(shù)字增益因子準確地成比例，所以可以通過執(zhí)行上述處理來校正垂直行狀噪聲。為了進行上述校正(可以認為其是“過校正”)，像素信號需要乘以準確地作為檢測到的垂直行電平的倒數(shù)的垂直行校正值，否則，垂直行校正不以令人滿意的方式被執(zhí)行。 在垂直行狀噪聲被有效地去除的本實施例中，將像素信號乘以數(shù)字增益的乘算器M與將像素信號乘以斑點校正增益的乘算器被分離地設(shè)置。此外，用于數(shù)字增益乘算的乘算器M 被部署在垂直行行檢測器/校正器22的上游。相比于第一實施例中的圖像處理，上述配置簡化了信號處理器20a中的圖像處理，從而表示像素所必需的比特長度可以比根據(jù)第一實施例的成像設(shè)備1中必需的比特長度更短。在根據(jù)上述第二實施例的成像設(shè)備Ia中，表示像素必需的比特長度可以縮短，這樣像第一實施例中所提供的有益效果一樣，圖像處理電路的規(guī)?？梢詼p小。本申請包含與2010年10月19日于日本專利局提交的日本在先專利申請JP 2010-234652中所公開的主題有關(guān)的主題，該申請的全部內(nèi)容通過引用結(jié)合于此。本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，根據(jù)設(shè)計要求和其它因素可以進行各種修改、組合、子組合和更改，只要它們在所附權(quán)利要求及其等同物的范圍內(nèi)即可。
權(quán)利要求
1.一種成像設(shè)備，包括多個像素，所述多個像素將經(jīng)過鏡頭入射的對象光轉(zhuǎn)換成電荷并累積所述電荷，所述多個像素被部署在光學(xué)黑區(qū)域中和有效像素區(qū)域中，所述光學(xué)黑區(qū)域被遮光以使得沒有光入射到其上并且輸出光學(xué)黑信號，所述有效像素區(qū)域未被遮光以使得光能入射到其上， 部署在所述光學(xué)黑區(qū)域和所述有效像素區(qū)域中的像素在水平方向和垂直方向上按矩陣排列；模擬放大器，所述模擬放大器對作為有效像素信號從所述有效像素區(qū)域中的像素中的每個像素讀取的電荷施加預(yù)定增益，并輸出結(jié)果信號；垂直行檢測器，所述垂直行檢測器基于垂直行電平來計算用于去除垂直行狀固定圖案噪聲的校正值，所述垂直行電平是通過如下方式檢測到的在所述鏡頭被遮光的情況下，將所述模擬放大器的增益因子從最小向最大改變，讀取所述有效像素區(qū)域內(nèi)的被部署于每個垂直列中并被排列于由預(yù)定水平行形成的區(qū)域中的每個像素的像素值，計算在每個垂直列中所讀取的像素值的算術(shù)平均值，并且從鉗位后的黑參考值減去計算出的算術(shù)平均值中的每個算術(shù)平均值；垂直行校正器，所述垂直行校正器將由所述垂直行檢測器計算出的每個校正值與相應(yīng)有效像素信號相加來去除所述垂直行狀固定圖案噪聲；以及乘算器，所述乘算器將每個有效像素信號乘以數(shù)字增益，或?qū)⒁呀?jīng)經(jīng)歷了所述垂直行校正器中的垂直行校正以使得像素信號不包含垂直行狀固定圖案噪聲的每個像素信號乘以所述數(shù)字增益。
2.如權(quán)利要求1所述的成像設(shè)備，其中，所述垂直行檢測器基于至少4幀中的像素來計算所述算術(shù)平均值。
3.如權(quán)利要求2所述的成像設(shè)備，其中，所述垂直行檢測器、所述垂直行校正器以及所述乘算器被部署在鉗位處理器的下游并且在基底處理器的上游，所述鉗位處理器從自所述有效像素區(qū)域中的每個像素讀取的有效像素信號的像素值減去預(yù)定鉗位值來固定黑電平，所述基底處理器將所述鉗位值與輸入的像素信號相加來恢復(fù)所述黑電平。
4.如權(quán)利要求3所述的成像設(shè)備，還包括斑點檢測器，所述斑點檢測器產(chǎn)生用于斑點校正的校正值，所述校正值通過如下方式來產(chǎn)生計算針對至少4幀被平均的、來自被部署在所述有效像素區(qū)域中的每個像素的有效像素信號的像素值的算術(shù)平均值，計算所述有效像素區(qū)域中的所述算術(shù)平均值的最大值和/或平均值，并且根據(jù)所述有效像素信號的像素值與所述算術(shù)平均值的最大值和 /或平均值的差來確定所述校正值，其中，所述乘算器將已經(jīng)經(jīng)歷了所述垂直行校正的像素信號乘以由所述斑點檢測器產(chǎn)生的用于斑點校正的相應(yīng)校正值。
5.如權(quán)利要求3所述的成像設(shè)備，其中，所述垂直行檢測器在所述模擬放大器的每一級中，在所述數(shù)字增益被最大化的情況下，獲取所述有效像素區(qū)域內(nèi)被部署于每個垂直列中并被排列于由所述預(yù)定水平行形成的區(qū)域中的像素的像素值，并且計算每個垂直列中的像素值的算術(shù)平均值，并且所述垂直行校正器將由所述垂直行檢測器產(chǎn)生每個校正值乘以所述數(shù)字增益的倒數(shù)。
6. 一種成像方法，包括提供將經(jīng)過鏡頭入射的對象光轉(zhuǎn)換成電荷并累積所述電荷的多個像素，從部署在未被遮光以使得光能入射到其上的有效像素區(qū)域中的每個像素讀取電荷來作為有效像素信號， 對所述有效像素信號施加預(yù)定增益，并且輸出結(jié)果信號；在所述透鏡被遮光的情況下將模擬放大器的增益因子從最小向最大改變并讀取所述有效像素區(qū)域內(nèi)不部署于每個垂直列中并被排列于由預(yù)定水平行形成的區(qū)域中的每個像素的像素值；計算在每個垂直列中的所讀取的像素值的算術(shù)平均值并且從鉗位后的黑參考值減去計算出的算術(shù)平均值中的每個算術(shù)平均值來檢測垂直行電平；基于每個垂直行電平來計算用于去除垂直行狀固定圖案噪聲的校正值； 將計算出每個校正值與相應(yīng)有效像素信號相加來去除所述垂直行狀固定圖案噪聲；并且將每個有效像素信號乘以數(shù)字增益或?qū)⒁呀?jīng)經(jīng)歷了所述垂直行校正以使得像素信號不包含垂直行狀固定圖案噪聲的每個像素信號乘以數(shù)字增益。
全文摘要
本發(fā)明公開了成像設(shè)備和成像方法。成像設(shè)備包括像素，其將對象光轉(zhuǎn)換成電荷并累積電荷，像素被部署在光學(xué)黑區(qū)域中和有效像素區(qū)域中，并且所述像素在水平方向和垂直方向上按矩陣排列；模擬放大器，其對從有效像素區(qū)域的每個像素讀取的作為有效像素信號的電荷施加預(yù)定增益并輸出結(jié)果信號；垂直行檢測器，其基于垂直行電平計算用于去除垂直行狀固定圖案噪聲的校正值；垂直行校正器，其將校正值中的每個校正值與相應(yīng)有效像素信號相加來去除垂直行狀固定圖案噪聲；乘算器，其將有效像素信號中的每個有效像素信號乘以數(shù)字增益，或?qū)⒁呀?jīng)經(jīng)歷了垂直行校正器中的垂直行校正從而像素信號不包含垂直行狀固定圖案噪聲的每個像素信號乘以數(shù)字增益。
文檔編號H04N5/367GK102547163SQ201110316310
公開日2012年7月4日 申請日期2011年10月12日 優(yōu)先權(quán)日2010年10月19日
發(fā)明者小森英明 申請人:索尼公司