專利名稱：固態(tài)成像裝置、信號處理裝置和信號處理方法和成像設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及固態(tài)成像裝置、用于固態(tài)成像裝置的信號處理裝置和信號處 理方法以及成像設(shè)備。
背景技術(shù)：
近些年來，在被認(rèn)為適于諸如視頻照相機和數(shù)字靜態(tài)照相機之類的應(yīng)用 的固態(tài)成像元件的CCD(電荷耦合器件)圖像傳感器和放大型圖像傳感器中， 通過增加像素數(shù)量，并且在高靈敏度減小圖像尺寸來進(jìn)一步減小像素尺寸。另一方面，通常，諸如CCD圖像傳感器和CMOS (互補金屬氧化物半 導(dǎo)體)圖像傳感器之類的固態(tài)成像元件趨于用在諸如室內(nèi)和室外以及用在白 天和晚上之類的各種環(huán)境下。當(dāng)固態(tài)成像元件用在這樣的情況下時，需要根 據(jù)外部光線等的變化通過(例如)控制光電轉(zhuǎn)換元件中的電荷積累時間來調(diào) 節(jié)曝光時間段，并且將靈敏度設(shè)置為最佳值。作為擴展CMOS圖像傳感器的動態(tài)范圍的方法，已經(jīng)l是出了，例如，如 圖19A和19B所示，將在多個曝光時間段中拍攝的多個幀組合的方法(見， 例如，JP-A-2004-3 63 666 (下面稱為專利文檔1 )),以及如圖20A和20B所 示，通過將不同的曝光時間段應(yīng)用到像素陣列的相應(yīng)行來擴展動態(tài)范圍的方 法(見,例長口 IEEE Conference on Computer Vision and Pattern Recognition 2000 上的 "High Dynamic Range Imaging: Spatially Varying Pixel Exposures"(下面 稱為非專利文檔l))。在下面的解釋中，前一個方法稱為寬動態(tài)范圍方法1,而后一個方法稱 為寬動態(tài)方法2。在寬動態(tài)范圍方法1和2中，獲取具有不同靈敏度的多個 圖像作為第一視頻信號、第二視頻信號等。作為示例，將所獲取的多個視頻信號相加并組合來獲得具有寬動態(tài)范圍的圖像。在圖19A和19B以及圖20A和20B中，橫坐標(biāo)P。指示入射光的強度， 而縱坐標(biāo)YL指示傳感器(光接收單元)的輸出。FS表示傳感器的飽和等級。 使用一個視頻信號，很難獲得具有等于或個高于FS的飽和等級的輸出信號。發(fā)明內(nèi)容在寬動態(tài)范圍方法1和2中，當(dāng)獲取低亮度信號時，可能在低亮度像素 周圍存在在高亮度飽和的像素。通過分別讀出信號來從飽和高亮度像素獲得 信號。然而，在飽和狀態(tài)期間電荷溢出，并且作為高光溢出(blooming)漏 入低亮度像素。在圖21中顯示高光溢出的出現(xiàn)的狀態(tài)。使強光入射到相鄰像素之一，使 暗光入射到其它像素，并且使強光入射到其上的光^t妄收單元1處于飽和狀態(tài)。 在這種情況下，通過使光入射到光接收單元1產(chǎn)生的電荷不在光接收單元1 中積累，并且部分電荷漏入光接收單元2。該現(xiàn)象稱為高光溢出。在該解釋 中，引起高光溢出的像素被稱為攻擊者(aggressor),而經(jīng)歷高光溢出的像素 被稱為受害者以區(qū)分像素。在圖22A和22B中顯示在寬動態(tài)范圍方法1和2中高光溢出出現(xiàn)的定時 的示例。如22A顯示在寬動態(tài)范圍方法1中的定時的示例。當(dāng)高亮度信號和低亮 度信號相互相鄰時，高亮度像素在獲得第一視頻信號時的階段處于飽和狀態(tài)。 另一方面，低亮度像素不飽和，并且積累電荷。因此，高亮度像素是攻擊者， 并且引起高光溢出，而具有第一視頻信號的低亮度像素是受害者，并且經(jīng)受 高光溢出的影響。根據(jù)入射光的強度還可能在第二和第三視頻信號中發(fā)生高 光溢出。圖22B顯示在寬動態(tài)范圍方法2中的定時的示例。針對兩行一組設(shè)置不 同的曝光時間段。例如，針對第n行和第n+1行執(zhí)行不同的曝光時間段，而 針對第n + 2行和第n + 3行設(shè)置不同的曝光時間段。當(dāng)使高亮度光入射到第 n行和第n + 1行的組，第n行飽和。在開始用于信號讀出的曝光時間段之前， 第n+l行可能飽和。在這些行中的像素是攻擊者，并且引起高光溢出，而例 如與之相鄰的、低亮度光入射到其上的第n + 2行的像素是受害者，并且經(jīng)受 高光溢出。由于高光溢出的影響，依賴于低亮度像素周圍的高亮度像素的狀態(tài)，低
亮度像素的信號受到光電荷的漏入(leakin)的影響。因此，在低亮度區(qū)域中 出現(xiàn)依賴于周圍像素的狀態(tài)的非線性特性。結(jié)果，引起圖像質(zhì)量的降低。
如圖23所示，當(dāng)組合寬動態(tài)范圍的圖像時，由于外圍像素的狀態(tài)，在低 亮度區(qū)域中的信號的輸入和輸出之間的關(guān)系被破壞。這引起亮度轉(zhuǎn)變和色彩 漂移來降低圖像質(zhì)量。
特別地，在彩色圖像的情況下，依賴于由于入射光的波長和像素的濾色 器的類型而導(dǎo)致的靈敏度差異，高光溢出量是不同的。這引起色彩漂移，并 且降低圖像質(zhì)量。由于依賴于外圍像素的狀態(tài)高光溢出量不同，因此很難利 用用于將每種色彩乘以不同的增益系數(shù)的白平^f處理防止彩色漂移的問題。
因此，希望提供一種固態(tài)成像裝置、用于固態(tài)成像裝置的信號處理裝置 和信號處理方法以及控制由于高光溢出導(dǎo)致的非線性并使得可以改善圖像質(zhì) 量的成像設(shè)備。
根據(jù)本發(fā)明的實施例，提供固態(tài)成像裝置，包括像素陣列單元，其中 以矩陣形狀排列包括用于將光信號轉(zhuǎn)換為信號電荷的光電轉(zhuǎn)換元件的單元像 素。在獲得在第一靈敏度下成像的第一視頻信號和在第二靈敏度下成像的第 二視頻信號并執(zhí)行用于組合第 一和第二視頻信號的處理時，固態(tài)成像裝置關(guān) 于參考亮度值比較像素陣列單元中感興趣的像素的第 一視頻信號的亮度值等 級和第二視頻信號的亮度值等級，由此判斷感興趣的像素是否是在曝光時間
段期間要飽和的像素。當(dāng)判斷出感興趣的像素是在曝光時間段期間要飽和的 像素時，固態(tài)成像裝置將感興趣的像素設(shè)置為校正像素。固態(tài)成像裝置基于 校正像素的外圍像素的第二視頻信號的亮度值計算校正量，并且將通過該計 算獲得的校正量應(yīng)用到校正像素的第一視頻信號的亮度值，由此校正由于光 電荷從外圍像素漏入校正像素導(dǎo)致的噪聲信號量。
固態(tài)成像裝置根據(jù)用于執(zhí)行組合第一和第二視頻信號的處理的寬動態(tài)范 圍操作獲取入射到在曝光期間飽和的像素(攻擊者)的光亮度值。固態(tài)成像 裝置使用飽和的像素的高光溢出量(由于漏入光電荷導(dǎo)致的噪聲信號量)與 飽和像素的靈敏度成比例的事實，從飽和的像素(攻擊者)的第二視頻信號 的亮度值預(yù)測高光溢出量。固態(tài)成像裝置從高光溢出量計算校正量。固態(tài)成 像裝置可以通過將校正量應(yīng)用到經(jīng)受高光溢出的像素(受害者)的第一視頻 信號的亮度值，來校正像素(受害者)的高光溢出量。根據(jù)本發(fā)明的實施例，可以通過校正經(jīng)受高光溢出的像素的高光溢出量
來控制由于高光溢出導(dǎo)致的非線性，并且精確地表示圖像的層次(gradation )。 因此，可以改善圖像質(zhì)量。


圖1是顯示根據(jù)本發(fā)明第一實施例的CMOS圖像傳感器的配置示例的系 統(tǒng)圖示；
圖2是顯示單元像素的電路配置的示例的電路圖3是顯示根據(jù)第一示例的DSP電路的校正處理功能的功能方框圖4是用于解釋參考亮度值1的設(shè)置的示例的圖示；
圖5A和5B是用于解釋參考亮度值1的設(shè)置的示例的圖示；
圖6是用于解釋參考亮度值1的設(shè)置的另一示例的圖示；
圖7A和7B是用于解釋參考亮度值1的設(shè)置的另一示例的圖示；
圖8是顯示根據(jù)第二示例的DSP電路的校正處理功能的功能方框圖9是顯示根據(jù)第三示例的DSP電路的校正處理功能的功能方框圖11是顯示在利用軟件執(zhí)行校正處理中的處理過程的示例的流程圖； 圖12A到12D是用于解釋在利用軟件執(zhí)行校正處理中的處理的圖示； 圖13是顯示4艮據(jù)本發(fā)明第二實施例的CMOS圖像傳感器的配置示例的 系統(tǒng)圖示；
圖14是顯示根據(jù)第一示例的校正處理電路的配置的方框圖15是顯示要被校正的顯示和該像素的周圍像素之間的關(guān)系的圖示；
圖16顯示根據(jù)第二實施例的校正處理電路的配置的方框圖17是顯示要被校正的顯示和該像素的周圍像素之間的關(guān)系的圖示；
圖18是顯示根據(jù)本發(fā)明實施例的成像設(shè)備的結(jié)構(gòu)的示例的方框圖19A和19B是用于解釋寬動態(tài)范圍方法1的圖示；
圖20A和20B是用于解釋寬動態(tài)范圍方法2的圖示；
圖21是高光溢出產(chǎn)生的狀態(tài)的圖示；
圖22A和22B是顯示高光溢出的出現(xiàn)的定時的示例的圖示；和 圖23是用于解釋當(dāng)組合寬動態(tài)范圍的圖像時，由于周圍像素的狀態(tài)破壞 低亮度區(qū)域中的信號輸入和輸出的關(guān)系的圖示。
具體實施方式
在下面將參照附圖解釋本發(fā)明的實施例。 第一實施例圖l是顯示根據(jù)本發(fā)明第一實施例的固態(tài)成像元件(例如，CMOS圖像傳感器)的配置示例的系統(tǒng)圖示。如圖1所示j艮據(jù)該實施例的CMOS圖像傳感器10A包括像素陣列單元 11和像素陣列單元11的外圍電路，在該單元11中，以矩形形狀二維排列包 括光電轉(zhuǎn)換元件的單元像素(下面也簡稱為"像素")20。像素陣列11的外圍電路是，例如，垂直掃描電路12、列電路13、水平 掃描電路14和列信號選擇電路15。在集成了像素陣列單元11的芯片30 (半 導(dǎo)體基片)上集成外圍電路。在芯片30外部，提供信號處理電路(例如DSP (數(shù)字信號處理器))電路40。關(guān)于像素陣列單元ii的矩陣形狀的像素陣列，針對相應(yīng)像素列布線垂直掃描線lll，并且針對相應(yīng)像素行布線驅(qū)動控制線，例如傳送控制線112、重 置控制線113和選擇控制線114。垂直掃描電路12包括移位寄存器和地址解碼器。在針對電子快門行和讀 出行中的每一個、在垂直方向上(從上到下方向)以行為單位掃描像素陣列 單元11中的相應(yīng)像素20的同時，垂直掃描電路12針對電子快門行執(zhí)行用于 掃除(sweep)行中的像素20的信號的電子快門操作，并且針對讀出行執(zhí)行 用于讀出行中的像素20的信號的讀出操作。雖然在圖中未示出，但是垂直掃描電路12包括用于執(zhí)行用來讀出在讀出 行中的相應(yīng)像素20的信號的讀出操作，同時順序地選擇行單元中的像素20 的讀出掃描系統(tǒng)；以及用于在由讀出掃描系統(tǒng)進(jìn)行讀出掃描之前對相同行(電 子快門行)執(zhí)行于快門速度對應(yīng)的時間那么長的電子快門操作。從通過電子快門掃描系統(tǒng)的快門掃描重置光電轉(zhuǎn)換單元的不必要的電荷 的定時到通過讀出掃描系統(tǒng)的讀出掃描讀出像素20的信號的定時的時間段 是像素20中的信號電荷的一個單元中的積累時間段(曝光時間段)。換句話 說，電子快門操作是用于執(zhí)行光電轉(zhuǎn)換單元中積累的信號電荷的重置(掃除)， 并且開始在重置后重新開始信號電荷的積累的操作。列電路13包括一組單元列電路130，該單元列電路130，例如，包括在像素陣列單元11的像素陣列的相應(yīng)像素列上(即，以與像素列的——對應(yīng)關(guān) 系)排列的信號處理電路131。列電路13通過垂直信號線111將預(yù)定的信號處理應(yīng)用到從通過垂直掃描電路12的垂直掃描選擇的讀出行中的相應(yīng)像素 20輸出的信號，并且在信號處理后臨時保存像素信號。在像素陣列單元11的像素陣列的相應(yīng)像素列中提供單元列電路130。然 而也可以在相應(yīng)的多個列組中提供單元列電路130 。例如，在單元列電路130中，信號處理電路131通過垂直信號線111將 各種信號處理應(yīng)用到從所選行中的相應(yīng)像素20輸出的像素信號，各種信號處 理諸如用于利用CDS處理(相關(guān)雙釆樣)處理減少重置噪聲和諸如放大晶體 管24的閾值波動之類的、像素特有的固定模式噪聲的降噪處理、用于寬動態(tài) 范圍的信號組合處理和用于將模擬信號轉(zhuǎn)換為數(shù)字信號的AD轉(zhuǎn)換處理。水平掃描電路14包括移位寄存器或地址解碼器。水平掃描電路14水平 地掃描在像素陣列11的相應(yīng)像素列中順序布置的列電路13的單元列電路 130。列信號選擇電路15包括水平選擇開關(guān)和水平信號線。列信號選擇電路 15與水平掃描電路14的水平掃描同步地將在列電^各13中臨時保存的像素的 信號順序地輸出到芯片30外部。由未示出的定時控制電路產(chǎn)生作為垂直掃描電路12、列電路13、水平掃 描電路14等的操作基準(zhǔn)的定時信號和控制信號。除了關(guān)于照相機處理的各種操作之外，DSP電路40還執(zhí)行特征化本實 施例的校正處理，即用于根據(jù)寬動態(tài)范圍操作獲取飽和像素(攻擊者)的入 射光的亮度值，并且使用高光溢出量與飽和像素的靈敏度成比例的事實校正 經(jīng)受高光溢出的像素(受害者)的值的校正操作。在下面描述校正處理的細(xì)節(jié)在該示例中，在芯片30外部提供DSP電路40。然而，與垂直掃描電路 12、列電路13、水平掃描電路14、列信號選擇電路15等相似，也可以將諸 如具有校正處理功能的DSP電路40之類的信號處理電路集成在集成了像素 陣列單元11的芯片30上。像素電路圖2是顯示單元像素20的電路配置的示例的電路圖。 根據(jù)該電路示例的單元像素20是包括(除了光電轉(zhuǎn)換元件之外)，例如，嵌入式光電二極管21、諸如傳送晶體管(傳送元件)22、重置晶體管23、放 大晶體管24和選擇晶體管25之類的四個晶體管的像素電路。例如，在該示 例中，將N溝道MOS晶體管用作晶體管22到25。然而，晶體管22到25 不限于N溝道MOS晶體管。傳送晶體管22連接在光電二極管21的陰極電極和浮動擴散電容 (floating diffusion capacitor)(下面稱為FD單元)26之間。傳送晶體管22 根據(jù)提供到其的柵極電極(控制電極)的傳送脈沖TRG將光電二極管21光 電轉(zhuǎn)換、且在傳送晶體管22中積累的信號電荷(電子)傳送到FD單元26。 FD單元26用作將信號電荷轉(zhuǎn)換為電壓信號的電荷-電壓轉(zhuǎn)換單元。重置晶體管23的漏極電極連接到具有電源電壓VDD的像素電源，并且 其源極電極連接到FD單元26。當(dāng)在將信號電荷從光電二極管21傳送到FD 單元26之前重置脈沖RST被提供到柵極電極時，重置晶體管23將FD單元 26的電勢重置到電源電壓VDD。放大晶體管24的柵極電極連接到FD單元26,并且其漏極電極連接到具 有電源電壓VDD的像素電源。在由重置晶體管23重置之后，放大晶體管24 輸出FD單元26的電勢作為重置電平，并且在由傳送晶體管22傳送信號電 荷之后輸出FD單元26的電勢作為信號電平。選擇晶體管25的漏極電極連接到放大晶體管24的源極電極，并且其源 極電極連接到垂直信號線111。選擇晶體管25在選擇脈沖SEL被提供到其柵 極電極時設(shè)置處于選擇狀態(tài)的像素，并且將從放大晶體管24輸出的信號輸出 到垂直信號線?？梢詫⑦x擇晶體管25連接在像素電源和放大晶體管24的漏 才及電纟及之間。在該示例中，本發(fā)明應(yīng)用到包括四晶體管配置(包括傳送晶體管22、重 置晶體管23、放大晶體管24和選擇晶體管25 )的單元像素20的CMOS傳 感器。然而，本發(fā)明不限于該應(yīng)用示例。具體地，本發(fā)明還可以應(yīng)用到例如包括三晶體管配置的CMOS傳感器， 在其中移除選擇晶體管25，并且通過使其可以切換電源電壓VDD的電壓值 來向放大晶體管24賦予選擇晶體管25的功能。校正處理解釋校正處理的細(xì)節(jié)。實現(xiàn)校正處理來用于根據(jù)寬動態(tài)范圍操作獲取飽 和像素(攻擊者)的入射光的亮度值，并且使用高光溢出量與飽和像素的靈敏度成比例的事實，對從像素(校正像素)的外圍像素經(jīng)受高光溢出的該像 素校正高光溢出量(即，由于從外圍像素漏入校正像素的光電荷(photo-charge)導(dǎo)致的噪聲信號量)。通過從像素獲得通過寬動態(tài)范圍操作獲得的、在積累期間要飽和的像素 (攻擊者)的入射光亮度(亮度值)計算在校正處理中的校正量。在像素飽 和之前不發(fā)生高光溢出。因此，量化獲得從亮度值，即超過飽和等級的值減去等于飽和等級的亮度值計算出的值，并且通過將該值與系數(shù)相乘來獲得在 超過飽和等級的值的固定比率的、漏入校正像素的高光溢出量。由于從外圍像素發(fā)生高光溢出，因此將從與校正像素相鄰的 一個或多個 外圍像素獲得的高光溢出量的總和設(shè)置為校正值。通過從經(jīng)受高光溢出的像 素(受害者)的亮度值減去高光溢出校正值來執(zhí)行校正。如上所述，該校正處理作為在DSP電路40中的各種信號處理之一來執(zhí) 行。在下面解釋由DSP電路40執(zhí)行的校正處理的特定示例。第一示例圖3是顯示根據(jù)第一示例的DSP電路40的校正處理的功能的功能方框圖。如圖3所示，根據(jù)第一示例的DSP電路40A包括視頻信號存儲區(qū)域411、 寬動態(tài)范圍視頻信號組合單元412、亮度值判斷單元413、校正量計算單元 414和校正單元415。這里，假設(shè)通過應(yīng)用專利文檔1中公開的寬動態(tài)范圍方法、非專利文檔 1中公開的寬動態(tài)范圍方法、或由申請人在日本專利申請No.2006-280959中 提出的寬動態(tài)范圍方法(即，通過在曝光期間部分讀出高亮度像素并相加高 亮度像素的方法(下面稱為寬動態(tài)范圍方法3))實現(xiàn)的寬動態(tài)范圍操作，從 像素陣列單元ii中的相應(yīng)像素獲得具有不同靈敏度的第一和第二視頻信號。在圖3中，視頻信號存儲區(qū)域411包括，例如，幀存儲器，并且臨時存 儲從感興趣的像素輸出的第 一和第二視頻信號。寬動態(tài)范圍視頻信號組合單 元412通過組合第一和第二視頻信號(例如，相加第一和第二視頻信號)來 獲得寬動態(tài)范圍視頻信號。亮度值確定單元413將寬動態(tài)范圍視頻信號的亮度值與參考亮度值1進(jìn) 行比較，由此判斷感興趣的像素是否被高光溢出影響。亮度值判斷單元413 提供判斷信號到校正量計算單元414,并且將寬動態(tài)范圍視頻信號直接傳送到校正單元415。當(dāng)寬動態(tài)范圍視頻信號的亮度值小于參考亮度值1時，亮度值判斷單元413判斷感興趣的像素受到高光溢出影響。假設(shè)參考亮度值1是等于在曝光 時間段像素至少臨時飽和的最低入射光亮度。后面將描述參考亮度值的設(shè)置 的細(xì)節(jié)。當(dāng)視頻信號的亮度值低于參考亮度值1時，這表示在曝光時間段該 像素未飽和。校正量計算單元414將像素(關(guān)于其從亮度值判斷單元413提供判斷信 號)設(shè)置為要被校正的像素(校正像素)，并且從該像素的外圍信號中的、其 亮度值超出參考亮度值2的像素的視頻信號的亮度值計算校正量。與參考亮 度值l相同，參考亮度值2等于像素飽和的輸出值。將在曝光時間段至少臨 時飽和的像素的視頻信號檢測為校正量計算的對象。校正單元415通過將由校正量計算單元414計算出的校正量(高光溢出 校正值)應(yīng)用到從亮度值判斷單元413輸入的寬動態(tài)范圍視頻信號的亮度值， 例如從寬動態(tài)范圍視頻信號的亮度值減去校正量來校正高光溢出量，并且在 校正之后輸出寬動態(tài)范圍視頻信號作為視頻信號。參考亮度值1的設(shè)置更具體地解釋參考亮度值1的設(shè)置。如圖4所示，當(dāng)以長積累時間和短 積累時間獲得具有不同靈敏度的第一和第二視頻信號時，如圖5A所示，依 賴于入射光亮度像素臨時飽和。在這種情況下，圖5B顯示像素飽和的最低入 射光亮度。等于最低入射光亮度的輸出值REF1和REF2是參考亮度值1。當(dāng)將參考亮度值的亮度值與第一視頻信號進(jìn)行比較時，輸出值REF1是 參考亮度值1。當(dāng)參考亮度值1的亮度值與視頻信號2進(jìn)行比較時，輸出值 REF2是參考亮度值1。當(dāng)?shù)谝缓偷诙曨l信號的亮度值小于參考亮度值1時， 判斷在曝光時間段期間像素不飽和。然而，考慮到容限(margin),最好將參 考亮度值1設(shè)置為稍微小于輸出值REF1和REF2。如圖6所示，例如，如圖7A所示，當(dāng)將不同的積累時間應(yīng)用到相應(yīng)像 素或相應(yīng)行時，被應(yīng)用了短積累時間的像素可能在開始短積累時間之前飽和。 圖7B顯示像素飽和的最低入射光亮度的情況。將輸出值REF3設(shè)置為參考亮 度值。第二示例圖8是顯示根據(jù)第二示例的DSP電路40B的校正處理功能的示例的功能方框圖。在該圖中，由相同的附圖標(biāo)記指示與圖3的部件相同的部件。如寬動態(tài)范圍方法1和2那樣，在從芯片30交替地輸出等于長曝光時間 段的高靈敏度圖像幀和等于短曝光時間段的低靈敏度圖像幀的條件下，描述 根據(jù)第二示例的DSP電路40B。較早從芯片30輸出的高靈敏度圖像幀和低靈敏度圖像幀之一被臨時存 儲在包括幀存儲器的視頻信號存儲區(qū)域411中。在該示例中，較早從芯片30 輸出作為低靈敏度圖像(在短曝光時間段)的第二視頻信號，并且將其存儲 在視頻信號存儲區(qū)域411中。當(dāng)從芯片30讀出作為高靈敏度圖像(在長曝光時間段中的圖像)的第一 視頻信號時，寬動態(tài)范圍視頻信號組合單元412通過組合臨時存儲在視頻信 號存儲區(qū)域411中的第一視頻信號和第二視頻信號(例如，將第一視頻信號 和第二視頻信號相加)來獲得寬動態(tài)范圍視頻信號。亮度值判斷單元413每次在從芯片30順序讀取第一視頻信號時，通過將 寬動態(tài)范圍視頻信號的亮度值與參考亮度值1進(jìn)行比較來判斷像素是否是經(jīng) 受高光溢出的像素(受害者)。亮度值判斷單元413將判斷信號提供給校正量 計算單元414，并且直接將寬動態(tài)范圍視頻信號傳送到校正單元415。校正量計算單元414將關(guān)于其從亮度值判斷單元413提供判斷信號的像 素設(shè)置為要被校正的像素(校正像素)，并且從該像素的外圍像素中的、其亮 度值超過參考亮度值2的像素的亮度值計算校正量(高光溢出校正值)。校正 單元415通過從亮度值判斷單元413輸入的寬動態(tài)范圍視頻信號減去由校正 量計算單元414計算出的^f交正量來校正高光溢出量，并且在校正后輸出寬動 態(tài)范圍視頻信號作為視頻信號。在第一示例中，較早讀出作為低靈敏度圖像的第二視頻信號。然而，當(dāng) 較早讀出作為高靈敏度圖像的第 一視頻信號時，在幀存儲器中存儲圖像的圖 像幀，在存儲介質(zhì)中臨時存儲接下來要被讀出的低靈敏度圖像的多個行的像 素值，并且使用該像素值來從外圍像素的像素值預(yù)測高光溢出量是完全可以 的。當(dāng)針對每個像素或每一行(而是不每一幀)交替輸出第一視頻信號和第 二視頻信號時，只有計算所需的視頻信號必須存儲在視頻信號存儲區(qū)域411 中。不需要總是存儲所有的幀。第三示例圖9是顯示根據(jù)第三示例的DSP電路40C的校正處理功能的功能的示例 的方框圖。在圖中，由相同的附圖標(biāo)記指示與圖8的部件相同的部件。如圖9所示，在根據(jù)第三示例的DSP電路40C中，在校正單元415的后 級(post stage)設(shè)置寬動態(tài)范圍視頻信號組合單元412。通過組合由校正單 元415校正的第一視頻信號和臨時存儲在視頻信號存儲區(qū)域411中的第二視 頻信號(例如，將第一視頻信號和第二視頻信號相加)來獲得寬動態(tài)范圍視 頻信號。甚至在執(zhí)行針對可視頻信號的高光溢出量的校正之后執(zhí)行用于組合寬動 態(tài)范圍視頻信號的處理之后，可以實現(xiàn)與第二示例的校正處理相同的校正處 理。如上述的第一到第三示例那樣，在DSP電路40中，通過寬動態(tài)范圍操 作獲取飽和像素(攻擊者)的入射光的亮度值，使用高光溢出量與飽和像素 的靈敏度成比例的事實，從飽和像素的第二視頻信號的亮度值預(yù)測高光溢出 量，并且從高光溢出量計算校正量來校正經(jīng)受高光溢出的像素(受害者)的 高光溢出量。因此，可以控制由于高光溢出引起的非線性(見圖23)。因此， 由于可以精確地表示圖像的層次，所以可以改善圖像質(zhì)量。在彩色圖像中， 可以解決彩色漂移，即由于亮度導(dǎo)致與實際色彩的色差的產(chǎn)生。圖10顯示通過實驗獲得的校正處理的效果。關(guān)于通過透射波長G的G 過濾器的入射光，從具有高靈敏度的G (綠色)像素向具有低靈敏度的R (紅 色)像素發(fā)生高光溢出。當(dāng)在高靈敏度G像素中從低亮度區(qū)域輸出的第 一視頻信號飽和時，即， 當(dāng)?shù)谝灰曨l信號的亮度值超出參考亮度值2 (Dref2)時，在R像素中發(fā)生高 光溢出。此外，當(dāng)?shù)挽`敏度R像素的第一視頻信號未飽和時，即，當(dāng)?shù)谝灰?頻信號的亮度值小于參考亮度值1 (Drefl)時，高光溢出量引起的錯誤破壞 線性。應(yīng)用根據(jù)第一到第三示例的校正處理(信號處理)來從外圍高靈敏度G 像素計算高光溢出校正量，并且根據(jù)高光溢出校正量校正R信號的輸出。因 此，可以將輸出校正到接近理想線性的輸出特性。修改在上述實施例中，由DSP電路40執(zhí)行用于校正經(jīng)受高光溢出的像素(受 害者)的高光溢出量的校正處理。然而，可以在微計算機的控制下使用軟件執(zhí)行用于校正處理的 一 系列處理。參照流程圖11和圖12A到12D中用于解釋處理的圖示來解釋使用軟件 執(zhí)行校正處理中的處理過程。解釋從通過應(yīng)用寬動態(tài)范圍方法1、 2、 3等獲 得具有不同靈敏度的第 一和第二視頻信號直到輸出校正后的視頻信號輸出為 止的一系列處理過程。獲得感興趣的像素i的第 一視頻信號的亮度值Dlow一i和第二視頻信號的 亮度值Dhigh—i。然后，首先判斷第 一視頻信號的亮度值Dlow—i是否小于作 為低靈敏度像素的飽和級的參考亮度值Drefl，由此判斷感興趣的像素i是否 是經(jīng)受高光溢出的像素(受害者)(步驟Sll)。如圖12A所示，在經(jīng)受高光溢出的像素(受害者)i中，當(dāng)?shù)谝灰曨l信 號的亮度值Dlow—i小于參考亮度值Drefl ( Dlow—KDrefl )時，使用第一視 頻信號的亮度值Dlowj令像素未飽和。判斷像素經(jīng)受在像素飽和時發(fā)生的高 光溢出。當(dāng)在步驟Sll判斷出感興趣的像素i未經(jīng)受高光溢出時，不執(zhí)行校正處 理。當(dāng)判斷出感興趣的像素i是經(jīng)受高光溢出的像素(受害者)時，感興趣 的像素i被設(shè)置為要被校正的像素，并且從校正像素i的周圍像素檢測在曝光 時間段期間或在電荷積累期間要飽和的像素(攻擊者)j (步驟S12)。如圖12B所示，當(dāng)外圍像素j的第二視頻信號的亮度值DhighJ超出作 為高靈敏度像素的飽和級的參考亮度值Dref2時(即DhighJ>Dref2 )時，使 用第二視頻信號的亮度值DhighJ令像素飽和。因此，在與像素i相鄰的外圍 像素j中發(fā)生高光溢出。從引起高光溢出的外圍像素(攻擊者)j的像素值DhighJ減去等于令像 素j飽和的亮度的像素值Dref2 ( DhighJ - Dref2 )。將通過將減法結(jié)果與對應(yīng) 于漏入光電荷的比率(高光溢出)的校正系數(shù)AJ相乘獲得的值設(shè)置為來自 系數(shù)j的高光溢出量(步驟S13)。換句話說，根據(jù)高光溢出量與飽和像素的靈敏度成比例的事實，通過將 像素h的像素值DhighJ超出參考亮度值Dref2的部分與校正系數(shù)AJ相乘獲 得的值A(chǔ)J ( DhighJ - Dref2 )被預(yù)測為來自像素j的高光溢出量。如圖12C所示，來自外圍像素j的高光溢出量AJ ( DhighJ - Dref2 )的 總和是包含在校正像素i中的高光溢出量。因此，獲得該總和作為校正像素i 的校正量(高光溢出校正量)Dblm—i (步驟S14 )。如圖12D所示，從經(jīng)受高光溢出的像素(受害者)i的亮度值Dlow一i中 減去在步驟S14中獲得的高光溢出校正量Dblm—i，由此執(zhí)行關(guān)于高光溢出的 校正，以輸出第一視頻信號Dout—i作為校正后的第一視頻信號。如上所述，即使在微計算機的控制下由軟件執(zhí)行用于校正經(jīng)受高光溢出 的像素(受害者)的高光溢出量的校正處理，也可以如由DPS電路40執(zhí)行 校正處理那樣控制由于高光溢出導(dǎo)致的非線性。因此，由于可以精確地表示 圖像的層次，因此可以改善圖像質(zhì)量。在彩色圖像中，可以解決色彩漂移的 問題，即，由于亮度導(dǎo)致的與實際色彩的色差的產(chǎn)生。在實施例和實施例的修改中，可以通過使用較大數(shù)量的像素作為感興趣 的像素的外圍像素(用于預(yù)測經(jīng)受高光溢出的像素(校正像素)的高光溢出 量)預(yù)測高光溢出量來改善校正精度。然而，如果諸如相鄰一個像素、左右 兩個像素、上下兩個像素、上下左右四個像素或上下左右以及傾斜方向上的 八個像素之類的至少 一個像素被表示為外圍像素，則可以獲得校正效果。當(dāng)預(yù)測高光溢出量時，超過飽和級的值與對應(yīng)于漏入光電荷的比率的校 正系數(shù)AJ相乘?？梢愿鶕?jù)外圍像素與校正像素的位置關(guān)系，即外圍像素排 列的方向和與校正像素的物理距離或濾色器的像素特性的差異，通過應(yīng)用不 同的系數(shù)值作為校正系數(shù)AJ改善校正精度。這是因為在與校正像素左右和 上下相鄰以及與校正像素傾斜相鄰的像素中，高光溢出量是不同的，并且由 于像素特定不同而高光溢出量也是不同的。第二實施例圖13是顯示根據(jù)本發(fā)明第二實施例的固態(tài)成像元件，例如CMOS圖像 傳感器的配置示例的系統(tǒng)圖示。在圖中，由相同的附圖標(biāo)記表示與圖1的部 件相同的部件。在根據(jù)該實施例的CMOS圖像傳感器10B中，將用于校正經(jīng)受高光溢出 的像素(受害者)的高光溢出量的校正功能提供給列電路13。另外，CMOS 圖像傳感器10B與根據(jù)第一實施例的CMOS圖像傳感器19A相同。因此， 在下面的解釋中，主要解釋列電路13的結(jié)構(gòu)和操作，省略其它部件的解釋以 避免不簡明。列電路13包括一組單元列電路130，該單元列電路130，例如，包括在 像素陣列單元ii的像素陣列的相應(yīng)像素列上(即，以與像素列的——對應(yīng)關(guān) 系)排列的信號處理電路131。列電路13通過垂直信號線111將預(yù)定的信號處理應(yīng)用到從通過垂直掃描電路12的垂直掃描選擇的讀出行中的相應(yīng)像素20輸出的信號，并且在信號處理后臨時保存像素信號。在單元列電路130中，信號處理電路131通過垂直信號線111將各種信 號處理應(yīng)用到從所選行中的相應(yīng)像素20輸出的像素信號，各種信號處理諸如 用于利用CDS處理減少重置噪聲和諸如放大晶體管24的閾值波動(見圖2) 之類的、像素特有的固定模式噪聲的降噪處理、用于寬動態(tài)范圍的信號組合 處理和用于將模擬信號轉(zhuǎn)換為數(shù)字信號的AD轉(zhuǎn)換處理。校正處理電路校正處理電路132執(zhí)行用于校正經(jīng)受高光溢出的像素(受害者)的高光 溢出量的校正處理。參照具體示例解釋校正處理電路132的細(xì)節(jié)。在下面解釋的相應(yīng)示例中，當(dāng)應(yīng)用寬動態(tài)范圍方法1到3中，CMOS圖 像傳感器IOB使用像素的浮動擴散電容(stray difftision capacitor)或通過向 像素添加模擬存儲器來保存在像素中較早讀出的圖像幀，并且以像素為單元 或以行為單元順序輸出來自高靈敏度像素和低靈敏度像素的信號。替代地， 當(dāng)應(yīng)用寬動態(tài)范圍方法2時，在像素陣列中混合高靈敏度像素和低靈敏度像 素，并且在讀出像素值中，CMOS圖像傳感器10B以像素為單元或以行為單 元交替輸出像素值。第一示例圖14是顯示根據(jù)第一示例的校正處理電路132A的配置示例的方框圖。如圖14所示，根據(jù)第一示例的校正處理電路132A包括亮度值判斷電路 1321、校正量計算電路1322和校正電路1323。亮度值判斷電路1321具有與根據(jù)第一實施例的亮度值判斷單元413的功 能相同的功能。亮度值判斷電路1321將經(jīng)受用于信號處理電路131的寬動態(tài) 范圍的信號組合處理的視頻信號(寬動態(tài)范圍視頻信號)的亮度值與參考電 路值1進(jìn)行比較，由此判斷感興趣的像素是否受高光溢出影響。亮度值判斷 電路1321將判斷信號提供給校正量計算電路1322,并且直接將視頻信號發(fā) 送到校正電路1323。當(dāng)亮度值小于參考亮度值1時，亮度值判斷單元1321判斷感興趣的像素 經(jīng)歷高光溢出。假設(shè)參考亮度值1是等于用以在曝光時間段像素至少臨時飽 和的最低入射光亮度。當(dāng)視頻信號的亮度值低于參考亮度值1，則這表示在 曝光時間段該像素未飽和。參考亮度值1的設(shè)置與第一實施例相同。校正量計算單元1322具有與根據(jù)第一實施例的校正值計算單元的功能的相同的功能。校正量計算單元1322將像素(關(guān)于其從亮度值判斷單元1321 提供判斷信號)設(shè)置為要被校正的像素(校正像素)，并且從該像素的外圍信 號中的、其亮度值超出參考亮度值2的像素的視頻信號的亮度值計算校正量。如圖15所示，例如，校正量計算電路1322將要被校正的像素(感興趣 的像素)左和右側(cè)上的兩個像素設(shè)置為用于校正量計算出的外圍像素。與參 考亮度值l相同，假設(shè)參考亮度值2是等于像素飽和的輸出值的輸出值。在 曝光時間段臨時飽和的像素的視頻信號被檢測為校正量計算的對象。校正電路1323具有與第 一 實施例中的校正單元415的功能相同的功能。 校正電路1323通過將由校正量計算電路1332計算出的校正量(高光溢出校 正值)應(yīng)用到從亮度值判斷電路1321輸入的寬動態(tài)范圍視頻信號的亮度值 (例如，從寬動態(tài)范圍視頻信號的亮度值減去校正量)來校正高光溢出量， 并且在校正后輸出寬動態(tài)范圍視頻信號作為視頻信號。第二示例圖16顯示根據(jù)第二實施例的校正處理電路132B的配置示例的方框圖。 在該圖中，與圖14所示的組件相同的組件用同意附圖標(biāo)記表示。如圖16所示，根據(jù)第二示例的校正處理電路132B設(shè)置要被校正的像素 的上下左右四個像素作為用于校正量計算出的外圍像素。因此，除了亮度值 判斷電路1321、校正量計算電路1322和校正電路1323之外，校正處理電路 132B還包括三個存儲電路(A) 1324、 (B) 1325和(C) 1326。要被校正的像素B之上的像素A的信號被存儲在存儲電路(A )1324中。 要被校正的像素B的信號被存儲在存儲電路(B) 1325中。要被校正的像素 B之下的像素C的信號被存儲在存儲電路(C ) 1326中。亮度值判斷電路1321將經(jīng)受用于信號處理電路131的寬動態(tài)范圍的信號 組合操作的像素B的寬動態(tài)范圍視頻信號的亮度值與參考亮度值1進(jìn)行比較， 由此判斷像素B是否被高光溢出影響。亮度值判斷電路1321將判斷信號提供 給校正量計算電路1322，并且直接將寬動態(tài)范圍視頻信號傳送到校正電路 1323。當(dāng)從亮度值判斷電路1321得到關(guān)于像素B的判斷信號時，校正量計算 電路1322將像素B設(shè)置為要被校正的像素，并且將像素B左右上的像素的 相應(yīng)亮度值、存儲在存儲電路(A) 1324中的像素A的信號和存儲在存儲電路(C) 1326中的像素C的信號與參考亮度值2進(jìn)行比較，并且使用其亮度 值超出參考亮度值2的像素信號來計算校正量。
校正電路1323通過從亮度值判斷電路1321輸入的像素B的寬動態(tài)范圍 視頻信號減去由校正量計算電路1322計算出的校正量來校正高光溢出量，并 且在校正后輸出寬動態(tài)范圍視頻信號作為視頻信號。
如上述第一和第二示例那樣，在列電路13中，通過寬動態(tài)范圍操作獲取 飽和像素(攻擊者)的入射光的亮度值，使用高光溢出量與飽和像素的靈敏 度成比例的事實從飽和像素的第二視頻信號的亮度值預(yù)測高光溢出量，并且 從高光溢出量計算校正量來校正經(jīng)受高光溢出的像素的高光溢出量。因此， 可以控制由于高光溢出導(dǎo)致的非線性。因此，由于可以精確地表示圖像的層 次，因而可以改善圖像質(zhì)量。在彩色圖像中，可以解決色彩漂移的問題，即 由于亮度導(dǎo)致產(chǎn)生與實際色彩的色差。
用于預(yù)測經(jīng)受高光溢出的像素(校正像素)的高光溢出量的校正像素的 外圍像素在第一示例中是在左右的兩個像素，以及在第二示例中的在上下左 右的四個像素。然而，外圍像素不限于此。如果將諸如相鄰一個像素、或者 上下、左右以及在傾斜方向上的八個像素之類的至少一個像素表示為外圍像 素，則可以獲得校正的效果。然而，可以通過使用較大數(shù)量的像素預(yù)測高光 溢出量來改善校正精度。
如在第一實施例那樣，當(dāng)預(yù)測高光溢出量時，將超出飽和級的值乘以與 漏入光電荷的比率對應(yīng)的校正系數(shù)。可以通過根據(jù)校正像素和外圍像素位置 關(guān)系，即其中排列外圍像素的方向以及到校正像素的物理距離或濾色器的像 素特性中的差異應(yīng)用不同的系數(shù)值作為校正系統(tǒng)來改善校正精度。
修改
在上述實施例中，從具有兩個靈敏度，即高靈敏度和低靈敏度的第一和 第二視頻信號的亮度值計算校正量。然而，本發(fā)明不限于此。還可以獲得具 有第 一靈敏度的第 一視頻信號以及具有相互不同的多個第二靈敏度的多個第
二、第三.....第N視頻信號，并且針對第一、第二、第三.....第N視頻
信號的每一個從具有較低靈敏度的 一個或多個視頻信號的亮度值計算校正 量。
在實施例中描述的示例中，將本發(fā)明應(yīng)用到CMOS圖^f象傳感器，該CMOS 傳感器中以矩陣形狀排列用于將與可見光的光量對應(yīng)的信號電荷檢測為物理量的單元像素。然而，本發(fā)明不限于應(yīng)用到CMOS圖像傳感器。本發(fā)明可以
應(yīng)用到通常采用諸如寬動態(tài)范圍方法1到3之類的擴展動態(tài)范圍的方法的固
態(tài)成像裝置。
本發(fā)明不限于應(yīng)用到用于檢測可見光的入射光量的分布并將該分布成像 為圖像的固態(tài)成像裝置。本發(fā)明通常可應(yīng)用到固態(tài)成像裝置(物理量分布檢
測裝置)，諸如將紅外線、x射線、粒子等的入射光量的分布成像為圖像的固
態(tài)成像裝置以及檢測(在更廣的意義下)諸如壓力和電容之類的其它物理量 的分布并將該分布成像為圖像的指紋檢測傳感器。
此外，本發(fā)明不僅可應(yīng)用到以行為單元掃描像素陣列中的相應(yīng)單位像素， 并且從相應(yīng)單元像素讀出像素信號的固態(tài)成像裝置，而且可以應(yīng)用到選擇像 素單元中的任意像素，并且從像素單元中的所選擇的像素讀出信號的固態(tài)成 像裝置。
可以將固態(tài)成像裝置形成為一個芯片，或者可以是具有通過整合地封裝 成像單元和信號處理單元或光學(xué)系統(tǒng)形成成像功能的模塊形式。
本發(fā)明不限于應(yīng)用到固態(tài)成像裝置，還可以應(yīng)用到成像設(shè)備。成像設(shè)備 指的是諸如數(shù)字靜態(tài)照相機或視頻照相機之類的照相機系統(tǒng)或諸如手機之類 的具有成像功能的電子設(shè)備。安裝在電子設(shè)備上的模塊形式，即照相機模塊 可以是成像設(shè)備。
成像設(shè)備
圖18是顯示根據(jù)本發(fā)明實施例的成像設(shè)備的結(jié)構(gòu)的示例的方框圖。如圖 18所示，根據(jù)本發(fā)明實施例的成像設(shè)備50包括光學(xué)系統(tǒng)51、固態(tài)成像裝置 52、作為照相機信號處理電路的DSP電路53、幀存儲器54、顯示器裝置55、 記錄裝置56、操作系統(tǒng)57和電源系統(tǒng)58。 DSP電路53、幀存儲器54、顯示 器裝置55、記錄裝置56、操作系統(tǒng)57和電源系統(tǒng)58經(jīng)由總線59相互連接。
透鏡組51捕獲來自景物(subject)的入射光，并且將入射光聚焦在固態(tài) 成像裝置52的成像表面上。固態(tài)成像裝置52將通過透鏡組51聚焦在成像表 面上的入射光的光量以像素為單元轉(zhuǎn)換為電信號，并且將電信號作為像素信 號輸出。作為固態(tài)成像裝置52,使用根據(jù)上述第一和第二實施例的CMOS圖 像傳感器IOA和IOB。
顯示器裝置55包括諸如液晶顯示器裝置或有機EL (電致發(fā)光)顯示器 裝置之類的面板型顯示器裝置。該顯示器裝置55顯示由固態(tài)成像裝置52成
23像的運動圖像或靜態(tài)圖像。記錄裝置56在諸如錄像帶或DVD (數(shù)字多功能 盤)之類的記錄介質(zhì)中記錄由固態(tài)成像裝置52成像的運動圖像或靜態(tài)圖像。 操作系統(tǒng)57在用戶的控制下發(fā)出用于成像設(shè)備的各種功能的操作命令。 電源系統(tǒng)58合適地將用作DSP電路53、幀存儲器54、顯示器裝置55、記錄 裝置56、操作系統(tǒng)57和電源系統(tǒng)58的操作電源的各種電源提供給這些供電 對象。
如上所述，在諸如視頻照相機或數(shù)字靜態(tài)照相機之類的成像設(shè)備和用于 諸如手機之類的移動設(shè)備的照相機模塊中，根據(jù)上述第一和第二實施例的 CMOS圖像傳感器10A和10B被用作成像設(shè)備的固態(tài)成像裝置。因此，在 CMOS圖像傳感器IOA和10B中，可以通過校正經(jīng)受高光溢出的像素的高光 溢出量，并控制由于高光溢出導(dǎo)致的非線性來精確地表示圖像的層次。因此， 可以實現(xiàn)具有高圖像質(zhì)量的成像設(shè)備。
本領(lǐng)域技術(shù)人員應(yīng)該理解，可以根據(jù)涉及需要或其它因素對本發(fā)明進(jìn)行 各種修改、組合、子組合和改變，其均落入所附權(quán)利要求及其等效物的范圍 內(nèi)。
權(quán)利要求
1. 一種固態(tài)成像裝置，包括像素陣列單元，其中以矩陣形狀排列包括用于將光信號轉(zhuǎn)換為信號電荷 的光電轉(zhuǎn)換元件的單元像素；和信號處理電路，用于獲得在第一靈敏度下成像的第一4^L頻信號和在第二 靈敏度下成像的第二視頻信號，并且執(zhí)行用于組合該第一和第二視頻信號的 處理，其中該信號處理電路包括判斷裝置，用于根據(jù)參考亮度值比較該像素陣列單元中感興趣的像素的 該第 一視頻信號的亮度值等級和該第二視頻信號的亮度值等級，由此判斷該 感興趣的像素是否是在曝光時間段期間要飽和的像素；計算裝置，用于將由該判斷裝置判斷為要飽和的像素的該感興趣的像素 設(shè)置為校正像素，并且基于該校正像素的外圍像素的該第二視頻信號的亮度 值計算校正量；和校正裝置，用于將通過該計算裝置獲得的該校正量應(yīng)用到該校正像素的 第一視頻信號的亮度值，由此校正由于光電荷從外圍像素漏入校正像素導(dǎo)致 的噪聲信號量。
2. 如權(quán)利要求1所述的固態(tài)成像裝置，其中該第一靈敏度高于該第二靈 敏度。
3. 如權(quán)利要求l所述的固態(tài)成像裝置，其中計算裝置獲得在該第一靈敏 度下成像的第一視頻信號以及在低于該第一靈敏度的、相互不同的多個第二靈敏度下成像的多個第二、第三.....和第N視頻信號，并且針對該第一、第二、第三、...第N視頻信號中的每一個，從具有較低靈敏度的一個或多個 視頻信號的亮度值計算校正量。
4. 如權(quán)利要求1所述的固態(tài)成像裝置，其中當(dāng)在第一靈敏度和第二靈敏 度下成像視頻信號時，判斷裝置將在等于曝光時間段的末尾飽和、或在曝光 時間段臨時飽和的像素的入射光亮度的輸出值設(shè)置為該參考亮度值。
5. 如權(quán)利要求1所述的固態(tài)成像裝置，其中計算裝置從該外圍像素的第 二視頻信號的亮度值減去該參考亮度值，并且將通過將減法的結(jié)果與校正系 數(shù)相乘獲得的值設(shè)置為校正量。
6. 如權(quán)利要求5所述的固態(tài)成像裝置，其中計算裝置根據(jù)該外圍像素與該校正像素的位置關(guān)系或該校正像素和該外圍像素之間的像素特性中的差 異，將不同的系數(shù)值作為該校正系數(shù)應(yīng)用在計算校正量中。
7. 如權(quán)利要求5所述的固態(tài)成像裝置，其中 存在多個該外圍像素，和計算裝置針對相應(yīng)的多個外圍像素，從該外圍像素的該第二視頻信號的 亮度值減去該參考亮度值，計算通過將減法的結(jié)果與校正系數(shù)相乘而獲得的 值，并且將這些值的總和設(shè)置為校正量。
8. 如權(quán)利要求1所述的固態(tài)成像裝置，其中在形成該像素陣列的基片的 外部提供該信號處理電路。
9. 如權(quán)利要求1所述的固態(tài)成像裝置，其中在該像素陣列單元的像素陣 列中的每一單元列或每一多個列的組中提供該信號處理電路。
10. 如權(quán)利要求9所述的固態(tài)成像裝置，其中該信號處理電路具有存儲 一個或多個像素的亮度值的存儲電路。
11. 一種在包括其中以矩陣形狀排列包括用于將光信號轉(zhuǎn)換為信號電荷 的光電轉(zhuǎn)換元件的單元像素的像素陣列單元的固態(tài)成像裝置中的信號處理電 路，用于獲得在第一靈敏度下成像的第一視頻信號和在第二靈敏度下成像的 第二視頻信號，并且執(zhí)行用于組合該第一和第二視頻信號的處理，該信號處 理電路包括判斷裝置，用于根據(jù)參考亮度值比較該像素陣列單元中感興趣的像素的 該第一視頻信號的亮度值等級和該第二視頻信號的亮度值等級，由此判斷該 感興趣的像素是否是在曝光時間段期間要飽和的像素；計算裝置，用于將由該判斷裝置判斷為要飽和的像素的該感興趣的像素 設(shè)置為校正像素，并且基于該校正像素的外圍像素的該第二視頻信號的亮度 值計算校正量；和校正裝置，用于將通過該計算裝置獲得的該校正量應(yīng)用到該校正像素的 第 一視頻信號的亮度值，由此校正由于光電荷從外圍像素漏入校正像素導(dǎo)致 的噪聲信號量。
12. —種在包括其中以矩陣形狀排列包括用于將光信號轉(zhuǎn)換為信號電荷 的光電轉(zhuǎn)換元件的單元像素的像素陣列單元的固態(tài)成像裝置中獲得在第 一靈 敏度下成像的第 一視頻信號和在第二靈敏度下成像的第二視頻信號，并且執(zhí)行用于組合該第一和第二視頻信號的信號處理方法，該信號處理方法包括 根據(jù)參考亮度值比較該像素陣列單元中感興趣的像素的該第 一視頻信號的亮度值等級和該第二視頻信號的亮度值等級，由此判斷該感興趣的像素是否是在曝光時間段期間要飽和的像素；將由該判斷步驟判斷為要飽和的像素的該感興趣的像素設(shè)置為校正像素，并且基于該校正像素的外圍像素的該第二視頻信號的亮度值計算校正量；和將通過該計算步驟獲得的該校正量應(yīng)用到該校正像素的第 一視頻信號的 亮度值，由此校正由于光電荷從該外圍像素漏入校正像素導(dǎo)致的噪聲信號量。
13. 如權(quán)利要求12所述的信號處理方法，其中該第一靈敏度高于該第二 靈敏度。
14. 如權(quán)利要求12所述的信號處理方法，其中在計算步驟中，獲得在該 第 一靈敏度下成像的第 一視頻信號以及在低于該第一靈敏度的、相互不同的多個第二靈敏度下成像的多個第二、第三.....和第N視頻信號，并且針對該第一、第二、第三、…第N視頻信號中的每一個從具有較低靈敏度的一個 或多個視頻信號的亮度值計算校正量。
15. 如權(quán)利要求12所述的信號處理方法，其中在判斷步驟中，當(dāng)在第一 靈敏度和第二靈敏度下成像視頻信號時，將在等于曝光時間段的末尾飽和、 或在曝光時間段臨時飽和的像素的入射光亮度的輸出值設(shè)置為該參考亮度 值。
16. 如權(quán)利要求12所述的信號處理方法，其中在計算步驟中，從該外圍 像素的第二視頻信號的亮度值減去該參考亮度值，并且將通過將減法的結(jié)果 與校正系數(shù)相乘獲得的值設(shè)置為校正量。
17. 如權(quán)利要求16所述的信號處理方法，其中在計算步驟中，根據(jù)該外 圍像素與該校正像素的位置關(guān)系或該校正像素和該外圍像素之間的像素特性 中的差異，將不同的系數(shù)值作為該校正系數(shù)應(yīng)用在計算校正量中。
18. 如權(quán)利要求16所述的信號處理方法，其中 存在多個該外圍像素，和在計算步驟中，針對相應(yīng)的多個外圍像素，從該外圍像素的該第二視頻 信號的亮度值減去該參考亮度值，計算通過將減法的結(jié)果與校正系數(shù)相乘而 獲得的值，并且將這些值的總和設(shè)置為校正量。
19. 一種成像設(shè)備，包括固態(tài)成像裝置，包括其中以矩陣形狀排列包括用于將光信號轉(zhuǎn)換為信號 電荷的光電轉(zhuǎn)換元件的單元像素的像素陣列單元以及用于獲得在第 一靈敏度 下成像的第 一視頻信號和在第二靈敏度下成像的第二視頻信號并執(zhí)行用于組合該第一和第二視頻信號的處理的信號處理電路；和光學(xué)系統(tǒng)，用于將入射光聚焦在固態(tài)成像裝置的成像表面上，其中該信號處理電i 各包括判斷裝置，用于根據(jù)參考亮度值比較該像素陣列單元中感興趣的像素的 該第 一視頻信號的亮度值等級和該第二視頻信號的亮度值等級，由此判斷該 感興趣的像素是否是在曝光時間段期間要飽和的像素；計算裝置，用于將由該判斷裝置判斷為要飽和的像素的該感興趣的像素 設(shè)置為校正像素，并且基于該校正像素的外圍像素的該第二視頻信號的亮度 值計算校正量；和校正裝置，用于將通過該計算裝置獲得的該校正量應(yīng)用到該校正像素的 第 一視頻信號的亮度值，由此校正由于光電荷從外圍像素漏入校正像素導(dǎo)致 的噪聲信號量。
20. —種固態(tài)成像裝置，包括像素陣列單元，其中以矩陣形狀排列包括用于將光信號轉(zhuǎn)換為信號電荷的光電轉(zhuǎn)換元件的單元像素；和信號處理電路，用于獲得在第一靈敏度下成像的第一視頻信號和在第二 靈敏度下成像的第二視頻信號，并且執(zhí)行用于組合該第一和第二視頻信號的 處理，其中該信號處理電路包括判斷單元，用于根據(jù)參考亮度值比較該像素陣列單元中感興趣的像素的 該第一視頻信號的亮度值等級和該第二視頻信號的亮度值等級，由此判斷該 感興趣的像素是否是在曝光時間段期間要飽和的像素；計算單元，用于將由該判斷單元判斷為要飽和的像素的該感興趣的像素設(shè)置為校正像素，并且基于該校正像素的外圍像素的該第二視頻信號的亮度 值計算校正量；和校正單元，用于將通過該計算單元獲得的該校正量應(yīng)用到該校正像素的 第 一視頻信號的亮度值，由此校正由于光電荷從外圍像素漏入校正像素導(dǎo)致的噪聲信號量。
21. —種在包括其中以矩陣形狀排列包括用于將光信號轉(zhuǎn)換為信號電荷 的光電轉(zhuǎn)換元件的單元像素的像素陣列單元的固態(tài)成像裝置中的信號處理電 路，用于獲得在第一靈敏度下成像的第一視頻信號和在第二靈敏度下成像的第二^L頻信號，并且執(zhí)行用于組合該第一和第二一見頻信號的處理，該信號處 理電路包括判斷單元，用于根據(jù)參考亮度值比較該像素陣列單元中感興趣的像素的 該第一視頻信號的亮度值等級和該第二視頻信號的亮度值等級，由此判斷該 感興趣的像素是否是在曝光時間段期間要飽和的像素；計算單元，用于將由該判斷單元判斷為要飽和的像素的該感興趣的像素 設(shè)置為校正像素，并且基于該校正像素的外圍像素的該第二視頻信號的亮度 值計算校正量；和校正單元，用于將通過該計算單元獲得的該校正量應(yīng)用到該校正像素的 第 一視頻信號的亮度值，由此校正由于光電荷從外圍像素漏入校正像素導(dǎo)致 的噪聲信號量。
全文摘要
固態(tài)成像裝置，包括像素陣列單元，其中以矩陣形狀排列單元像素；和信號處理電路，用于獲得第一視頻信號和第二視頻信號，并且執(zhí)行用于組合該第一和第二視頻信號的處理。該信號處理電路包括判斷裝置，用于判斷像素陣列單元中的感興趣的像素是否是在曝光時間段期間要飽和的像素；計算裝置，用于將該感興趣的像素設(shè)置為校正像素，并且基于該校正像素的外圍像素的第二視頻信號的亮度值計算校正量；和校正裝置，用于將校正量應(yīng)用到校正像素的第一視頻信號的亮度值，由此校正由于光電荷從外圍像素漏入校正像素導(dǎo)致的噪聲信號量。
文檔編號H04N5/232GK101312504SQ200810108818
公開日2008年11月26日 申請日期2008年5月26日 優(yōu)先權(quán)日2007年5月24日
發(fā)明者大池佑輔 申請人:索尼株式會社