專利名稱：具有帶有全色棋盤圖案的彩色濾光器陣列的圖像傳感器的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及帶有具有改善的光靈敏度的全色像素的二維彩色圖像傳感器。
背景技術(shù)：
電子成像系統(tǒng)依賴于電子圖像傳感器來(lái)創(chuàng)建視覺(jué)圖像的電子表示。這樣的電子圖 像傳感器的實(shí)例包括電荷耦合器件(CCD)圖像傳感器和有源像素傳感器(APS)裝置(APS 裝置因?yàn)槟軌蛞曰パa(bǔ)金屬氧化物半導(dǎo)體工藝來(lái)制造它們而通常被稱為CMOS傳感器)。典型 地，這些圖像傳感器包括通常以行和列的規(guī)則圖案布置的多個(gè)光敏像素。為了捕獲彩色圖 像，通常將濾光器的圖案制造在像素的圖案上，其中使用不同濾光器材料來(lái)使各個(gè)像素僅 對(duì)一部分可見(jiàn)光譜敏感。彩色濾光器必定會(huì)降低到達(dá)每個(gè)像素的光量，并且因此降低每個(gè) 像素的光靈敏度。持續(xù)需要改善電子彩色圖像傳感器的光靈敏度或照相速度以便準(zhǔn)許在較 低光級(jí)下捕獲圖像或者允許以較短的曝光時(shí)間來(lái)捕獲較高光級(jí)的圖像。
圖像傳感器或者是線性的或者是二維的。 一般來(lái)說(shuō)，這些傳感器具有兩種不同類 型的應(yīng)用。二維傳感器通常適合于諸如數(shù)字照相機(jī)、蜂窩電話的圖像捕獲設(shè)備和其它應(yīng)用。 線性傳感器通常用于掃描文件。在任何一種情況下，當(dāng)采用彩色濾光器時(shí)，圖像傳感器都具 有降低的靈敏度。 由Eastman Kodak公司制造的線性圖像傳感器KLI-4104包括四個(gè)線性、單像素寬 的像素陣列，其中將彩色濾光器應(yīng)用于它們中的三個(gè)陣列以使得每個(gè)陣列完全對(duì)紅色、綠 色或藍(lán)色敏感，并且沒(méi)有彩色濾光器陣列應(yīng)用于第四陣列；此外，這三個(gè)彩色陣列具有較大 的像素以補(bǔ)償因?yàn)椴噬珵V光器而導(dǎo)致的光靈敏度的降低，并且第四陣列具有較小的像素以 捕獲高分辨率亮度圖像。當(dāng)使用這樣的圖像傳感器捕獲圖像時(shí)，圖像被表現(xiàn)為高分辨率、高 照相靈敏度亮度圖像，伴隨有三個(gè)具有大致相同的照相靈敏度的較低分辨率的圖像，并且 這三個(gè)圖像中的每一個(gè)對(duì)應(yīng)于來(lái)自圖像的紅光、綠光或者藍(lán)光；因此，電子圖像上的每個(gè)點(diǎn) 都包括亮度值、紅色值、綠色值和藍(lán)色值。然而，因?yàn)檫@是線性圖像傳感器，所以它需要圖像 傳感器和圖像之間的相對(duì)機(jī)械運(yùn)動(dòng)，以便跨越四個(gè)線性像素陣列掃描圖像。這限制了掃描 圖像的速度，并且排除了在手持照相機(jī)中或在捕獲包括運(yùn)動(dòng)物體的場(chǎng)景時(shí)使用該傳感器。
本領(lǐng)域還已知Akira Muramatsu的美國(guó)專利4， 823， 186中所描述的包括兩個(gè)傳感 器的電子成像系統(tǒng)，其中每個(gè)傳感器都包括二維像素陣列，但是一個(gè)傳感器不具有彩色濾 光器而另一個(gè)傳感器包括彩色濾光器的圖案(所述彩色濾光器是像素所具有的)，并且還 包括有光學(xué)分束器以便為每個(gè)圖像傳感器提供圖像。因?yàn)椴噬珎鞲衅骶哂兴鶓?yīng)用的彩色濾 光器圖案，所以彩色傳感器中的每個(gè)像素僅提供單一顏色。當(dāng)利用該系統(tǒng)捕獲圖像時(shí)，電 子圖像中的每個(gè)點(diǎn)都包括亮度值和一個(gè)顏色值，并且彩色圖像在從附近的顏色被插值的每 個(gè)像素位置處肯定有遺漏的顏色。盡管該系統(tǒng)相比于單個(gè)傳統(tǒng)的圖像傳感器改善了光靈敏 度，但是系統(tǒng)的整體復(fù)雜性、大小和成本都因?yàn)樾枰獌蓚€(gè)傳感器和分束器而較大。此外，分 束器僅將一半的光從圖像引導(dǎo)到每個(gè)傳感器，從而限制了照相速度的改善。
除了上面提到的線性圖像傳感器之外，本領(lǐng)域還已知具有二維像素陣列的圖像傳
3感器，其中像素包括沒(méi)有將彩色濾光器應(yīng)用于其上的像素。例如，見(jiàn)Sato等人的美國(guó)專利 4， 390， 895、 Yamagami等人的美國(guó)專利5， 323， 233、 Gindele等人的美國(guó)專利6， 476， 865以 及Frame的美國(guó)專利申請(qǐng)2003/0210332。在所引用的每個(gè)專利中，與亮度或未濾光的像素 的采樣布置相比，彩色像素的采樣布置有利于亮度圖像超過(guò)有利于彩色圖像，或者反之，或 者以其它方式提供彩色和亮度像素的次優(yōu)布置。 因此，存在對(duì)改善使用具有二維像素陣列的單個(gè)傳感器的電子捕獲設(shè)備的光靈敏 度的不斷需求。

發(fā)明內(nèi)容
本發(fā)明致力于提供具有二維彩色和全色像素陣列的圖像傳感器，所述二維彩色和 全色像素陣列提供高靈敏度并且在產(chǎn)生全顏色圖像方面是有效的。 簡(jiǎn)言之，根據(jù)本發(fā)明的一個(gè)方面，本發(fā)明提供用于捕獲彩色圖像的圖像傳感器，所 述圖像傳感器包括具有多個(gè)最小重復(fù)單元的二維像素陣列，其中每個(gè)重復(fù)單元由八個(gè)像素 構(gòu)成，這八個(gè)像素包括四個(gè)全色像素、兩個(gè)具有相同顏色響應(yīng)的像素以及兩個(gè)具有不同顏 色響應(yīng)，所述具有不同顏色響應(yīng)的像素與具有相同顏色響應(yīng)的像素不同，其中平鋪?zhàn)钚≈?復(fù)單元以使得圖像傳感器的每一行或每一列具有單色的彩色像素。 本發(fā)明的另一個(gè)方面是用于捕獲彩色圖像的圖像傳感器，所述圖像傳感器包括具 有多個(gè)最小重復(fù)單元的二維像素陣列，其中每個(gè)重復(fù)單元由八個(gè)像素構(gòu)成，這八個(gè)像素包 括四個(gè)全色像素、兩個(gè)具有相同顏色響應(yīng)的像素以及兩個(gè)具有不同顏色響應(yīng)，所述具有不 同顏色響應(yīng)的像素與具有相同顏色響應(yīng)的像素不同，其中平鋪?zhàn)钚≈貜?fù)單元以使得圖像傳 感器的每一行和每一列具有僅兩種顏色的彩色像素。 根據(jù)本發(fā)明的圖像傳感器特別適合于低水平照明條件，其中這樣的低水平照明條
件是低場(chǎng)景照明、短曝光時(shí)間、小孔徑或?qū)Φ竭_(dá)傳感器的光的其它限制的結(jié)果。它們具有廣
泛的應(yīng)用并且許多類型的圖像捕獲設(shè)備可以有效地使用這些傳感器。此外，根據(jù)本發(fā)明的
圖像傳感器便于處理所捕獲的圖像以便產(chǎn)生最終的完全彩色渲染的圖像。 通過(guò)下面對(duì)優(yōu)選實(shí)施例的詳細(xì)描述和所附權(quán)利要求的評(píng)述，并且通過(guò)參考附圖，
將會(huì)更清楚地理解和認(rèn)識(shí)本發(fā)明的這些和其它方面、目標(biāo)、特征和優(yōu)點(diǎn)。


圖1是可以使用傳統(tǒng)傳感器和處理方法或本發(fā)明的傳感器和處理方法的傳統(tǒng)數(shù) 字靜止照相機(jī)系統(tǒng)的框圖； 圖2(現(xiàn)有技術(shù))是示出最小重復(fù)單元和非最小重復(fù)單元的傳統(tǒng)Bayer彩色濾光 器陣列圖案； 圖3提供紅色、綠色和藍(lán)色像素的代表性光譜量子效率曲線以及更寬光譜全色量 子效率，所有都乘以了紅外截止濾光器的傳輸特性； 圖4(現(xiàn)有技術(shù))是具有全色像素和彩色像素的彩色濾光器陣列圖案的最小重復(fù) 單元； 圖5A-5B示出了本發(fā)明的彩色濾光器陣列圖案的變形的最小重復(fù)單元；
圖6A-6B示出了平鋪圖5A的最小重復(fù)單元的兩種方式；
圖7A-7B示出了本發(fā)明的包括具有兩個(gè)靈敏度的全色像素的最小重復(fù)單元；以及
圖8A-8C示出了圖5A的最小重復(fù)單元以及旋轉(zhuǎn)四十五度的圖6A-6B的平鋪布置；
圖9A-9C示出紅色、綠色和藍(lán)色像素的不同布置。
具體實(shí)施例方式
因?yàn)橐压褂糜糜谛盘?hào)捕獲和校正以及用于曝光控制的相關(guān)電路和成像設(shè)備 的數(shù)字照相機(jī)，所以本說(shuō)明書將特別涉及形成根據(jù)本發(fā)明的方法和裝置的一部分或者更直 接地與根據(jù)本發(fā)明的方法和裝置合作的元件。在此處沒(méi)有具體示出或描述的元件是從本領(lǐng) 域中已知的那些中選擇的。要描述的實(shí)施例的某些方面以軟件提供。假定在下列材料中根 據(jù)本發(fā)明所示和所述的系統(tǒng)，在此處沒(méi)有具體示出、描述或建議的對(duì)實(shí)施本發(fā)明有幫助的 軟件是常規(guī)的并且處于該領(lǐng)域的普通技術(shù)內(nèi)。 現(xiàn)在轉(zhuǎn)向圖l，示出了被示出為體現(xiàn)本發(fā)明的數(shù)字照相機(jī)的圖像捕獲設(shè)備的框圖。 盡管現(xiàn)在將解釋數(shù)字照相機(jī)，但是本發(fā)明可以清楚地應(yīng)用于其它類型的圖像捕獲設(shè)備。在 所公開(kāi)的照相機(jī)中，來(lái)自對(duì)象場(chǎng)景的光IO被輸入到成像級(jí)ll，在成像級(jí)11處，光由透鏡12 聚焦以在固態(tài)圖像傳感器20上形成圖像。圖像傳感器20將入射光轉(zhuǎn)換成用于每個(gè)圖像元 素(像素)的電信號(hào)。優(yōu)選實(shí)施例的圖像傳感器20是電荷耦合器件(CCD)類型或有源像 素傳感器(APS)類型(APS裝置因?yàn)槟軌蛞曰パa(bǔ)金屬氧化物半導(dǎo)體工藝來(lái)制造它們而通常 被稱為CMOS傳感器)。如果其它類型的具有二維像素陣列的圖像傳感器采用本發(fā)明的圖 案，則可以使用這樣的圖像傳感器。本發(fā)明還使用具有二維彩色和全色像素陣列的圖像傳 感器20，如在圖1的描述之后稍后在本說(shuō)明書中將變得清楚的那樣。盡管可以在圖5A-5B、 圖6A-6B、圖7A-7B和圖8A-8C中看到用于圖像傳感器20的本發(fā)明的彩色和全色像素的圖 案的實(shí)例，但是在本發(fā)明的精神內(nèi)可以使用其它圖案。 改變孔徑的虹彩光圈(iris)塊14和包括插入光路中的一個(gè)或多個(gè)中性密度(ND) 濾光器的ND濾光器塊13調(diào)節(jié)到達(dá)傳感器20的光量。而且，調(diào)節(jié)整體光級(jí)的是快門塊18打 開(kāi)的時(shí)間。到達(dá)傳感器20的光量還由快門塊18打開(kāi)的時(shí)間來(lái)調(diào)節(jié)。曝光控制器塊40響 應(yīng)于由亮度傳感器塊16計(jì)量的場(chǎng)景中可用的光量并且控制所有這三個(gè)調(diào)節(jié)功能。
對(duì)于本領(lǐng)域的技術(shù)人員來(lái)說(shuō)對(duì)特定照相機(jī)配置的該描述將是熟悉的，并且顯而易 見(jiàn)的是存在許多變形和附加特征。例如，添加自動(dòng)聚焦，或者透鏡是可拆卸的并且可互換。 應(yīng)當(dāng)理解，本發(fā)明適用于任何類型的數(shù)字照相機(jī)，其中相似的功能有可替換的部件提供。例 如，數(shù)字照相機(jī)是相對(duì)簡(jiǎn)單的傻瓜(point and shoot)數(shù)字照相機(jī)，其中快門18是相對(duì)簡(jiǎn) 單的可移動(dòng)葉片快門等等，而不是更復(fù)雜的焦平面布置。本發(fā)明還可以在包括在非照相機(jī) 設(shè)備(例如移動(dòng)電話和機(jī)動(dòng)車輛)中的成像部件上實(shí)行。 來(lái)自圖像傳感器20的模擬信號(hào)被模擬信號(hào)處理器22處理，并且被施加到模數(shù)(A/ D)轉(zhuǎn)換器24。定時(shí)生成器26產(chǎn)生用以選擇行和像素的各種時(shí)鐘信號(hào)，并且使模擬信號(hào)處 理器22與A/D轉(zhuǎn)換器24的操作同步。圖像傳感器級(jí)28包括圖像傳感器20、模擬信號(hào)處理 器22、 A/D轉(zhuǎn)換器24和定時(shí)生成器26。圖像傳感器級(jí)28的部件是分別制造的集成電路， 或者它們被制造成單一集成電路，像通常利用CMOS圖像傳感器所完成的那樣。來(lái)自A/D轉(zhuǎn) 換器24的所得到的數(shù)字像素值流被存儲(chǔ)在與數(shù)字信號(hào)處理器(DSP)36相關(guān)聯(lián)的存儲(chǔ)器32 中。
除了系統(tǒng)控制器50和曝光控制器40之外，數(shù)字信號(hào)處理器36是本實(shí)施例中的三
個(gè)處理器或控制器中的一個(gè)。盡管在多個(gè)控制器和處理器之間的照相機(jī)功能控制的這樣的
劃分是典型的，但是可以在不影響照相機(jī)的功能操作和本發(fā)明的應(yīng)用的情況下以各種方式
來(lái)組合這些控制器或處理器。這些控制器或處理器可以包括一個(gè)或多個(gè)數(shù)字信號(hào)處理器設(shè)
備、微控制器、可編程邏輯器件或其它數(shù)字邏輯電路。盡管已經(jīng)描述了這樣的控制器或處理
器的組合，但是顯而易見(jiàn)的是，可以指定一個(gè)控制器或處理器來(lái)執(zhí)行所有所需的功能。所有
這些變形可以執(zhí)行相同的功能并且都落入本發(fā)明的范圍中，并且術(shù)語(yǔ)"處理級(jí)"將根據(jù)需要
被用來(lái)將所有這樣的功能包括在一個(gè)短語(yǔ)中，例如圖1中的處理級(jí)38中。 在所說(shuō)明的實(shí)施例中，DSP 36根據(jù)永久存儲(chǔ)在程序存儲(chǔ)器54中并且復(fù)制到存儲(chǔ)
器32以便在圖像捕獲期間執(zhí)行的軟件程序來(lái)處理其存儲(chǔ)器32中的數(shù)字圖像數(shù)據(jù)。DSP 36
執(zhí)行實(shí)行圖l所示的圖像處理所必需的軟件。存儲(chǔ)器32包括任何類型的隨機(jī)存取存儲(chǔ)器，
諸如SDRAM。包括用于地址和數(shù)據(jù)信號(hào)的通道的總線30將DSP 36連接到其相關(guān)的存儲(chǔ)器
32、 A/D轉(zhuǎn)換器24和其它相關(guān)的設(shè)備。 系統(tǒng)控制器50基于存儲(chǔ)在程序存儲(chǔ)器54中的軟件程序控制照相機(jī)的整個(gè)操作， 該程序存儲(chǔ)器54可以包括閃速電可擦寫可編程只讀存儲(chǔ)器(Flash EEPROM)或其它非易失 性存儲(chǔ)器。該存儲(chǔ)器還可以被用來(lái)存儲(chǔ)圖像傳感器校準(zhǔn)數(shù)據(jù)、用戶設(shè)置選擇和在照相機(jī)關(guān) 閉時(shí)必須被保存的其它數(shù)據(jù)。系統(tǒng)控制器50通過(guò)引導(dǎo)曝光控制器40操作之前描述的透鏡 12、ND濾光器13、虹彩光圈14和快門18，引導(dǎo)定時(shí)生成器26操作圖像傳感器20和相關(guān)的 元件，以及引導(dǎo)DSP 36處理所捕獲的圖像數(shù)據(jù)，來(lái)控制圖像捕獲序列。在圖像被捕獲和處 理之后，存儲(chǔ)在存儲(chǔ)器32中的最終圖像文件經(jīng)由主機(jī)接口 57傳輸?shù)街鳈C(jī)計(jì)算機(jī)，存儲(chǔ)在移 動(dòng)存儲(chǔ)卡64或其它存儲(chǔ)設(shè)備上，并且為用戶顯示在圖像顯示器88上。
總線52包括用于地址、數(shù)據(jù)和控制信號(hào)的通道，并且將系統(tǒng)控制器50連接到DSP 36、程序存儲(chǔ)器54、系統(tǒng)存儲(chǔ)器56、主機(jī)接口 57、存儲(chǔ)卡接口 60和其它相關(guān)設(shè)備。主機(jī)接 口 57提供到個(gè)人計(jì)算機(jī)(PC)或其它主機(jī)計(jì)算機(jī)的高速連接以便傳輸圖像數(shù)據(jù)用于顯示、 存儲(chǔ)、處理或打印。該接口是IEEE1394或USB2.0串行接口或任何其它適合的數(shù)字接口。 存儲(chǔ)卡64通常是插入到插口 62中和經(jīng)由存儲(chǔ)卡接口 60連接到系統(tǒng)控制器50的緊湊閃存 (Compact Flash，CF)。所使用的其它類型的存儲(chǔ)裝置包括但不限于PC卡、多媒體卡(匪C) 或安全數(shù)字(SD)卡。 所處理的圖像被復(fù)制到系統(tǒng)存儲(chǔ)器56中的顯示緩沖器，并且經(jīng)由視頻編碼器80 被連續(xù)地讀出以產(chǎn)生視頻信號(hào)。直接從照相機(jī)輸出該信號(hào)以便在外部監(jiān)視器上顯示，或者 由顯示控制器82處理該信號(hào)且呈現(xiàn)在圖像顯示器88上。該顯示器通常是有源矩陣彩色液 晶顯示器(LCD)，但是也可以使用其它類型的顯示器。 用戶控制和接口狀態(tài)68包括取景器顯示器70、曝光顯示器72、狀態(tài)顯示器76和 圖像顯示器88以及用戶輸入74的所有或任何組合，并且由在曝光控制器40和系統(tǒng)控制器 50上執(zhí)行的軟件程序的組合來(lái)控制。用戶輸入74通常包括按鈕、搖桿式開(kāi)關(guān)、操縱桿、旋轉(zhuǎn) 式撥盤或觸摸屏的某組合。曝光控制器40操作測(cè)光、曝光模式、自動(dòng)聚焦和其它曝光功能。 系統(tǒng)控制器50管理呈現(xiàn)在一個(gè)或多個(gè)顯示器上(例如在圖像顯示器88上)的圖形用戶界 面(GUI)。 GUI通常包括用于進(jìn)行各種選項(xiàng)選擇的菜單和用于檢查所捕獲的圖像的回看模 式。
曝光控制器40接受選擇曝光模式、透鏡孔徑、曝光時(shí)間(快門速度)和曝光指數(shù) 或ISO速度等級(jí)的用戶輸入，并且相應(yīng)地引導(dǎo)透鏡和快門以便進(jìn)行隨后的捕獲。使用亮度 傳感器16來(lái)測(cè)量場(chǎng)景的亮度并且為用戶提供曝光計(jì)功能以便指出何時(shí)手動(dòng)設(shè)置ISO速度 等級(jí)、孔徑和快門速度。在這種情況下，當(dāng)用戶改變一個(gè)或多個(gè)設(shè)置時(shí)，呈現(xiàn)在取景器顯示 器70上的光度計(jì)指示器告訴用戶圖像將被過(guò)度曝光或曝光不足到什么程度。在自動(dòng)曝光 模式中，用戶改變一個(gè)設(shè)置，則曝光控制器40自動(dòng)改變另一個(gè)設(shè)置以便維持正確的曝光， 例如對(duì)于給定的IS0速度等級(jí)來(lái)說(shuō)，當(dāng)用戶減小透鏡孔徑時(shí)，曝光控制器40自動(dòng)增加曝光 時(shí)間以便維持相同的整體曝光。 ISO速度等級(jí)是數(shù)字靜止照相機(jī)的重要屬性。曝光時(shí)間、透鏡孔徑、透鏡透射比、場(chǎng) 景照明的等級(jí)和光譜分布以及場(chǎng)景反射系數(shù)確定數(shù)字靜止照相機(jī)的曝光等級(jí)。當(dāng)使用不足 曝光從數(shù)字靜止照相機(jī)獲得圖像時(shí)，通常可以通過(guò)增大電子或數(shù)字增益來(lái)維持正確的色調(diào) 重現(xiàn)，但是圖像將包含不能接受的噪聲量。當(dāng)曝光增加時(shí)，增益降低，并且因此圖像噪聲通 ?？梢员粶p小到可接受的等級(jí)。如果過(guò)度地增加曝光，則在圖像的明亮區(qū)域中的所產(chǎn)生的 信號(hào)可以超過(guò)圖像傳感器或照相機(jī)信號(hào)處理的最大信號(hào)電平容量。這可以使圖像高亮被削 減從而形成均一明亮的區(qū)域，或者使圖像高亮發(fā)展到圖像的周圍區(qū)域。指導(dǎo)用戶設(shè)置正確 的曝光很重要。ISO速度等級(jí)旨在作為這樣的指導(dǎo)。為了使攝影師容易地理解，數(shù)字靜止照 相機(jī)的ISO速度等級(jí)應(yīng)該直接與照相膠片照相機(jī)的ISO速度等級(jí)相關(guān)。例如，如果數(shù)字靜 止照相機(jī)具有ISO 200的ISO速度等級(jí)，則相同的曝光時(shí)間和孔徑應(yīng)該適合于ISO 200標(biāo) 定膠片(film)/處理系統(tǒng)。 ISO速度等級(jí)旨在與膠片ISO速度等級(jí)相協(xié)調(diào)。然而，排除精確相等的電子成像
系統(tǒng)和基于膠片的成像系統(tǒng)之間存在差異。數(shù)字靜止照相機(jī)可以包括可變?cè)鲆?，并且?br> 以在圖像數(shù)據(jù)被捕獲之后提供數(shù)字處理，從而使得能夠在照相機(jī)曝光范圍上獲得色調(diào)重
現(xiàn)。因此數(shù)字靜止照相機(jī)具有速度等級(jí)范圍是有可能的。該范圍被定義為ISO速度范圍
(latitude)。為了防止混淆，信號(hào)值被指定為固有ISO速度等級(jí)，其中ISO速度范圍上限和
下限指示速度范圍，即包括不同于固有ISO速度等級(jí)的有效速度等級(jí)的范圍。要記住，固有
ISO速度是根據(jù)在數(shù)字靜止照相機(jī)的焦平面處提供以產(chǎn)生特定照相機(jī)輸出信號(hào)特性的曝光
而計(jì)算出的數(shù)值。固有速度通常是對(duì)于常規(guī)場(chǎng)景的給定照相機(jī)系統(tǒng)產(chǎn)生最高圖像質(zhì)量的曝
光指數(shù)值，其中曝光指數(shù)是與提供給圖像傳感器的曝光成反比的數(shù)值。 前面對(duì)數(shù)字照相機(jī)的描述對(duì)本領(lǐng)域技術(shù)人員來(lái)說(shuō)是熟悉的。顯而易見(jiàn)的是，存在
該實(shí)施例的許多可能的變形，并且選擇許多變形來(lái)降低成本、添加特征或改善照相機(jī)的性
能。下面的描述將詳細(xì)公開(kāi)根據(jù)本發(fā)明的用于捕獲圖像的該照相機(jī)的操作。盡管該描述是
參考數(shù)字照相機(jī)而進(jìn)行的，但是將會(huì)理解本發(fā)明適用于帶有具有彩色和全色像素的圖像傳
感器的任何類型的圖像捕獲設(shè)備。 圖1中示出的圖像傳感器20通常包括制造在硅襯底上的二維光敏像素陣列，其提 供將每個(gè)像素處的入射光轉(zhuǎn)換成被測(cè)電信號(hào)的方式。當(dāng)傳感器暴露于光時(shí)，自由電子被生 成并且被捕獲在每個(gè)像素處的電子結(jié)構(gòu)內(nèi)。捕獲這些自由電子一定時(shí)間段，并且然后測(cè)量 所捕獲的電子的數(shù)目或者測(cè)量生成自由電子的速率，從而測(cè)量每個(gè)像素處的光級(jí)。在前面 的情況中，所累積的電荷被移出像素陣列到電荷到電壓(charge tovoltage)測(cè)量電路(如 在電荷耦合器件(CCD)中)，或者靠近每個(gè)像素的區(qū)域包含電荷到電壓測(cè)量電路(如在有源像素傳感器(APS或CMOS傳感器)中)的元件。 當(dāng)在下面的描述中對(duì)圖像傳感器進(jìn)行統(tǒng)一指代時(shí)，應(yīng)該理解為表示圖1的圖像傳 感器20。進(jìn)一步應(yīng)該理解，在該說(shuō)明書中公開(kāi)的本發(fā)明的圖像傳感器體系結(jié)構(gòu)和像素圖案 的所有實(shí)例和它們的等同物都用于圖像傳感器20。 在圖像傳感器的背景中，像素("圖像元素"的縮寫)指的是離散光感測(cè)區(qū)域和與 該光感測(cè)區(qū)域相關(guān)聯(lián)的電荷移位或電荷測(cè)量電路。在數(shù)字彩色圖像的背景中，術(shù)語(yǔ)像素通 常指的是具有相關(guān)顏色值的圖像中的特定位置。 為了產(chǎn)生彩色圖像，圖像傳感器中的像素陣列通常具有置于它們之上的彩色濾光 器圖案。圖2示出了通常使用的紅色、綠色和藍(lán)色彩色濾光器的圖案。如在US 3， 971， 065 中所公開(kāi)的，該特定圖案因?yàn)槠浒l(fā)明人Bryce Bayer而通常被稱為Bayer彩色濾光器陣列 (CFA)。該圖案在具有二維彩色像素陣列的圖像傳感器中被有效地使用。結(jié)果，每個(gè)像素具 有特定的顏色光響應(yīng)，在這種情況下，該特定的光響應(yīng)是對(duì)紅色、綠色或藍(lán)色光的主要靈敏 度。另一些有用的各種顏色光響應(yīng)是對(duì)品紅色、黃色或青色光的主要靈敏度。在每種情況 下，特定的顏色光響應(yīng)對(duì)可見(jiàn)光譜的某部分具有高靈敏度，而且同時(shí)對(duì)可見(jiàn)光譜的其它部 分具有低靈敏度。術(shù)語(yǔ)彩色像素是指具有顏色光響應(yīng)的像素。 所選擇的用于傳感器中的一組顏色光響應(yīng)通常具有三種顏色，如在Bayer CFA中 所示的那樣，但是它還可以包括四種或更多的顏色。如此處所使用的那樣，全色光響應(yīng)指具 有比在所選擇的那組顏色光響應(yīng)中所表現(xiàn)出的那些光譜靈敏度更寬的光譜靈敏度的光響 應(yīng)。全色光響應(yīng)可以具有跨越整個(gè)可見(jiàn)光譜的高靈敏度。術(shù)語(yǔ)全色像素將指具有全色光響 應(yīng)的像素。盡管全色像素通常具有比那組顏色光響應(yīng)更寬的光譜靈敏度，但是每個(gè)全色像 素可以具有相關(guān)聯(lián)的濾光器。這樣的濾光器或者是中性密度濾光器或者是彩色濾光器。
當(dāng)彩色和全色像素的圖案在圖像傳感器的表面上時(shí)，每個(gè)這樣的圖案都具有重復(fù) 單元，所述重復(fù)單元是作為基本構(gòu)建塊的鄰近像素子陣列。通過(guò)將重復(fù)單元的多個(gè)副本并 列布置，產(chǎn)生整個(gè)傳感器圖案。在對(duì)角線方向以及水平和垂直方向來(lái)完成重復(fù)單元的多個(gè) 副本的并列布置。 最小重復(fù)單元是使得沒(méi)有其它的重復(fù)單元具有更少的像素的重復(fù)單元。例如，圖 2中的CFA包括最小重復(fù)單元，該最小重復(fù)單元是由圖2中的像素塊100示出的兩個(gè)像素 乘以兩個(gè)像素。該最小重復(fù)單元的多個(gè)副本被平鋪以覆蓋圖像傳感器中的整個(gè)像素陣列。 最小重復(fù)單元被示為在右上角具有綠色像素，但是通過(guò)使粗線勾勒的區(qū)域向右移動(dòng)一個(gè)像 素、向下移動(dòng)一個(gè)像素或者沿對(duì)角線向右和向下移動(dòng)一個(gè)像素可以容易地識(shí)別三個(gè)可替換 的最小重復(fù)單元。盡管像素塊102是重復(fù)單元，但是它不是最小重復(fù)單元，因?yàn)橄袼貕K100 是重復(fù)單元并且塊100具有比塊102少的像素。 使用具有帶有圖2的CFA的二維陣列的圖像傳感器捕獲的圖像在每個(gè)像素處僅具 有一種顏色。為了產(chǎn)生全顏色圖像，存在許多在每個(gè)像素處推斷或插值缺少的顏色的技術(shù)。 這些CFA插值技術(shù)是本領(lǐng)域中熟知的并且參考下面的專利US 5， 506， 619、 US 5， 629， 734 和US 5,652,621。 圖3示出了在典型照相機(jī)應(yīng)用中具有紅色、綠色和藍(lán)色彩色濾光器的像素的相對(duì) 光譜靈敏度。圖3的X軸表示以納米計(jì)的光波長(zhǎng)，并且Y軸表示效率。在圖3中，曲線110 表示用于阻擋紅外光和紫外光到達(dá)圖像傳感器的典型濾光器的光譜透射特性。需要這樣的濾光器是因?yàn)橛糜趫D像傳感器的彩色濾光器通常不會(huì)阻擋紅外光從而像素不能區(qū)別紅
外光和在它們相關(guān)的彩色濾光器的通帶內(nèi)的光。曲線iio示出的紅外截止特性防止紅外光 破壞可見(jiàn)光信號(hào)。具有所應(yīng)用的紅色、綠色和藍(lán)色濾光器的典型硅傳感器的光譜量子效率 (即被捕獲并且轉(zhuǎn)換成可測(cè)量的電信號(hào)的入射光子的比例)被乘以由曲線110表示的紅外 截止濾光器的光譜透射特性，以產(chǎn)生由用于紅色的曲線114、用于綠色的曲線116以及用于 藍(lán)色的曲線118表示的組合的系統(tǒng)量子效率。從這些曲線可以理解，每個(gè)顏色光響應(yīng)僅對(duì) 可視光譜的一部分敏感。與此相對(duì)照，曲線112示出了不具有所應(yīng)用的彩色濾光器(但是 包括紅外截止濾光器特性)的相同硅傳感器的光響應(yīng)；這是全色光響應(yīng)的實(shí)例。通過(guò)將顏 色光響應(yīng)曲線H4、116和118與全色光響應(yīng)曲線112進(jìn)行比較，顯然全色光響應(yīng)對(duì)寬光譜 光要比任何一種顏色光響應(yīng)更靈敏度三到四倍。盡管不同類型的另一種傳感器可以具有不 同于圖3示出的光響應(yīng)，但是顯然更寬闊的全色響應(yīng)將總是比任何一種顏色光響應(yīng)對(duì)寬光 譜光更靈敏。 在圖3中示出的更大的全色靈敏度準(zhǔn)許通過(guò)混合包括彩色濾光器的像素和不包 括彩色濾光器的像素來(lái)改善圖像傳感器的整體靈敏度。然而，彩色濾光器像素比全色像素 明顯較不靈敏。在這種情況下，如果全色像素被適當(dāng)?shù)乇┞队诠舛沟脕?lái)自場(chǎng)景的光強(qiáng)范 圍覆蓋全色像素的全部測(cè)量范圍，則彩色像素將明顯曝光不足。因此，調(diào)整彩色濾光器像素 的靈敏度以使得他們具有與全色像素大致相同的靈敏度是有利地。例如通過(guò)增加彩色像素 相對(duì)于全色像素的大小，來(lái)增加彩色像素的靈敏度，其中空間像素具有相關(guān)的減少。
在包括全色像素和彩色像素的圖像捕獲設(shè)備中，像素陣列中的全色和彩色像素的 布置影響圖像捕獲設(shè)備的空間采樣特性。在全色像素代替彩色像素的情況下，顏色采樣的 頻率被減小。例如，如果將圖2的最小重復(fù)單元100中的一個(gè)綠色像素用全色像素來(lái)代替， 如在Gindele等人的美國(guó)專利6， 476， 865中那樣，則綠色采樣頻率被減小，這是因?yàn)?，存?如圖2示出的原始圖案中的一半之多的綠色像素。在該特定的情況下，全色像素的采樣頻 率和每個(gè)彩色像素的采樣頻率相同。 因?yàn)槿袼赝ǔ１炔噬袼馗`敏，所以期望全色像素比任何一個(gè)彩色像素具 有更高的采樣頻率，由此提供圖像的魯棒的、更高靈敏度的全色表示，以便為隨后的圖像處 理和在每個(gè)像素處插值缺少的顏色提供基礎(chǔ)。例如，Yamagami等人在美國(guó)專利5， 323， 233 中示出了具有50 %的全色像素、25 %的綠色像素以及紅色像素和藍(lán)色像素各12. 5 %的圖 案。在圖4中示出了該圖案的最小重復(fù)單元。使綠色像素為兩種彩色像素中的任何一種彩 色像素的兩倍之多是與廣泛使用的Bayer圖案一致的，但是這在與如Yamagami所示的魯棒 全色采樣布置組合時(shí)并不一定提供優(yōu)點(diǎn)。減小綠色采樣布置以能和其它顏色相比，將不會(huì) 對(duì)完全處理的圖像產(chǎn)生顯著的不利影響。 圖5A示出了本發(fā)明的最小重復(fù)單元，該最小重復(fù)單元具有被均勻的布置在整個(gè) 最小重復(fù)單元上的四個(gè)全色像素以及一個(gè)紅色像素(R)、兩個(gè)綠色像素(G)和一個(gè)藍(lán)色像 素。 圖5B示出了本發(fā)明的另一個(gè)最小重復(fù)單元。除了分別用品紅色、黃色和青色像素 來(lái)代替紅色、綠色和藍(lán)色像素之外，圖5B與圖5A相似，從而表明本發(fā)明可以用于任何一組 四個(gè)不同的光譜靈敏度。 圖5A的最小重復(fù)單元被平鋪以便以一些方式提供更大的像素陣列而沒(méi)有缺少的
9像素。圖6A示出了以下平鋪布置其中圖5A的最小重復(fù)單元按行和列被均勻地平鋪。圖 6B示出了以下平鋪布置其中最小重復(fù)單元的每一行相對(duì)于上面的行向右移位兩個(gè)像素； 換句話說(shuō)，圖5B的最小重復(fù)單元按行被均勻地平鋪，其中每行相對(duì)于上面相鄰的行向右移 位最小重復(fù)單元的一半。 在圖6A示出的圖5A的平鋪布置提供其中每一列具有全色像素和單色的彩色像素 的像素陣列。將圖6A的布置旋轉(zhuǎn)90度提供了本發(fā)明的可替換像素陣列。在該旋轉(zhuǎn)的情況 下，像素陣列的每一行具有全色像素和單色的彩色像素。 在圖6B示出的圖5A的平鋪布置提供其中每一列和每一行具有全色像素和兩種顏 色的彩色像素的像素陣列。將圖6B的布置旋轉(zhuǎn)90度提供了本發(fā)明的可替換像素陣列。在 該旋轉(zhuǎn)的情況下，像素陣列的每一行和每一列具有全色像素和兩種顏色的彩色像素。
圖6A和6B的平鋪布置是本發(fā)明的兩個(gè)實(shí)施例。注意，這兩個(gè)平鋪布置都提供像素 的全色棋盤，其中每個(gè)全色像素與四個(gè)其它全色像素對(duì)角相鄰。還注意，彩色像素的這兩個(gè) 布置提供不同的顏色采樣特性。例如，圖6A的顏色采樣具有比水平頻率更高的垂直頻率。 可替換地，圖6B的顏色采樣具有相等的垂直頻率和水平頻率。在像素為矩形并且長(zhǎng)且窄的 情況下，圖6A的不同的顏色采樣頻率是有用的；在像素是方形的情況下，圖6B的相等的顏 色采樣頻率是有用的。 —般來(lái)說(shuō)，根據(jù)本發(fā)明的圖像傳感器可以具有下面的最小重復(fù)單元
P B P C
A P B P 其中P表示全色像素，并且A、B和C表示具有不同顏色響應(yīng)的像素。在一個(gè)布置 中，A、B和C表示具有分別從紅色、綠色或藍(lán)色顏色響應(yīng)中選擇的顏色響應(yīng)的像素。在特定 的布置中，A表示具有紅色顏色響應(yīng)的像素，B表示具有綠色顏色響應(yīng)的像素，并且C表示具 有藍(lán)色顏色響應(yīng)的像素?？商鎿Q地，A、B和C可以表示具有分別從青色、黃色或品紅色響應(yīng) 中選擇的顏色響應(yīng)的像素。在特定的布置中，A表示具有青色顏色響應(yīng)的像素，B表示具有 黃色顏色響應(yīng)的像素，并且C表示具有品紅色顏色響應(yīng)的像素。 本發(fā)明的圖案中的全色像素在靈敏度上沒(méi)必要一樣。例如，圖7A示出了與圖5A
相似的最小重復(fù)單元，其中所述兩個(gè)全色像素被用具有不同于原始全色像素的照相速度的
全色像素代替。具有不同全色靈敏度的全色像素被用來(lái)捕獲更寬范圍的光級(jí)。圖7B示出
了帶有具有兩個(gè)不同照相速度的全色像素的可替換布置的另一最小重復(fù)單元。 注意，旋轉(zhuǎn)圖5A、圖7A、圖7B中的任何陣列或旋轉(zhuǎn)任何其它之前描述的本發(fā)明實(shí)
施例都完全落在本發(fā)明的范圍內(nèi)。例如，圖8A示出了等同于將圖5A的最小重復(fù)單元逆時(shí)
針?lè)较蛐D(zhuǎn)四十五度的八角形像素的布置的最小重復(fù)單元。圖8B示出了平鋪圖8A的最小
重復(fù)單元以形成等同于圖6A的四十五度逆時(shí)針?lè)较蛐D(zhuǎn)的圖案。圖8C示出了平鋪圖8A
的最小重復(fù)單元以形成等同于圖6B的四十五度逆時(shí)針?lè)较蛐D(zhuǎn)的圖案。在這些旋轉(zhuǎn)布置
的情況下，并且以與最小重復(fù)單元和平鋪布置的旋轉(zhuǎn)一致的方式，像素的行和列被認(rèn)為是
經(jīng)旋轉(zhuǎn)的。 為了某些目的，從傳感器產(chǎn)生較低分辨率的圖像是有利的，例如以便為視頻捕獲 提供更高的幀速率或者在顯示屏上提供活動(dòng)的預(yù)覽圖像。在圖1中，DSP 36提供從由傳感 器和成像子系統(tǒng)提供的未處理圖像的經(jīng)處理的圖像。為了以視頻幀速率提供經(jīng)處理的圖像
10系列，在很多情況下DSP 36提供硬連線的圖像處理路徑(與可編程的圖像處理路徑相反)。 這樣的硬連線圖像處理路徑通常需要傳感器數(shù)據(jù)與圖2的Bayer濾光器圖案一致。因此， 有利的是提供從本發(fā)明的傳感器便利地讀取降低分辨率的Bayer圖像的能力。
參考圖9A，示出了本發(fā)明的彩色和全色像素的布置。圖9A與圖6B類似，其中添 加了每個(gè)像素的指數(shù)以幫助示出從本發(fā)明的圖像傳感器產(chǎn)生降低分辨率的Bayer圖像。在 圖9A中，最小重復(fù)單元120被示出為與圖5A示出的最小重復(fù)單元相同。圖9B示出了僅包 括來(lái)自圖9A的彩色像素的像素布置。這與Bayer布置接近，除了奇數(shù)和偶數(shù)行像素被水平 偏移之外。圖9C的降低分辨率的Bayer布置是從圖9B的彩色像素產(chǎn)生的，如下所示。在 沒(méi)有修改的情況下，在圖9C中使用圖9B中的藍(lán)色像素(B14、B18、B34、B38、B54、B58、B74、B78)和 圖9B中在前述藍(lán)色像素的相同行上的綠色像素(G12、G16、G32、G36、G52、G56、G72、G76)。從圖9B 的對(duì)應(yīng)行中的綠色像素和紅色像素插值圖9C中剩余的綠色像素(G24' 、G28' 、G44' 、G48' 、G84'、 G88，)和紅色像素(R22， 、 R26， 、 R42， 、 R46， 、 R62， 、 R66， 、 R82， 、 R86， ) 。 R22，的示例插值被給出為: R22'= (3*R21+l*R25)/4?？梢允褂帽绢I(lǐng)域技術(shù)人員熟知的其它形式的插值，例如雙三次插值 和自適應(yīng)性插值。圖9C的Bayer圖像具有圖9A的原始圖像的1/2的水平分辨率和全垂直 分辨率。另外，該結(jié)果圖像可以進(jìn)一步被抽取以用于VGA(640行乘以480列)輸出或任何 其它尺寸的形式的輸出。 例如可以通過(guò)組合像素中的電荷、通過(guò)平均所采樣的電壓或通過(guò)組合像素信號(hào)的
數(shù)字表示來(lái)完成圖9B中示出的像素的插值以便獲得圖9C中示出的像素。 部件列表 IO來(lái)自對(duì)象場(chǎng)景的光 ll成像級(jí) 12透鏡 13中性密度濾光器 14虹彩光圈 16亮度傳感器 18快門 20圖像傳感器 22模擬信號(hào)處理器 24模數(shù)(A/D)轉(zhuǎn)換器 26定時(shí)生成器 28圖像傳感器級(jí) 30數(shù)字信號(hào)處理器(DSP)總線 32數(shù)字信號(hào)處理器(DSP)存儲(chǔ)器 36數(shù)字信號(hào)處理器(DSP) 38處理級(jí) 40曝光控制器 50系統(tǒng)控制器 52系統(tǒng)控制器總線 54程序存儲(chǔ)器
11
56系統(tǒng)存儲(chǔ)器57主機(jī)接口60存儲(chǔ)卡接口62存儲(chǔ)卡插口64存儲(chǔ)卡68用戶控制和狀態(tài)接口70取景器顯示器72曝光顯示器74用戶輸入76狀態(tài)顯示器80視頻編碼器82顯示控制器88圖像顯示器100Bayer圖案的最小重復(fù)單元102Bayer圖案的不是最小的重復(fù)單元110紅外截止濾光器的光譜透射曲線112傳感器的未濾光的光譜光響應(yīng)曲線114傳感器的紅色光響應(yīng)曲線116傳感器的綠色光響應(yīng)曲線118傳感器的藍(lán)色光響應(yīng)曲線120本發(fā)明的最小重復(fù)單元
權(quán)利要求
一種用于捕獲彩色圖像的圖像傳感器，包括具有多個(gè)最小重復(fù)單元的二維像素陣列，其中每個(gè)重復(fù)單元由八個(gè)像素構(gòu)成，這八個(gè)像素包括四個(gè)全色像素、兩個(gè)具有相同顏色響應(yīng)的像素以及兩個(gè)具有不同顏色響應(yīng)的像素，所述具有不同顏色響應(yīng)的像素與具有相同顏色響應(yīng)的像素不同，其中所述最小重復(fù)單元被平鋪以使得像素陣列的每一行或每一列具有單色的彩色像素。
2. 根據(jù)權(quán)利要求1所述的圖像傳感器，其中所述全色像素為棋盤圖案的形式。
3. 根據(jù)權(quán)利要求1所述的圖像傳感器，具有下面的最小重復(fù)單元<formula>formula see original document page 2</formula>其中P表示全色像素，并且A、 B和C表示具有不同顏色響應(yīng)的像素。
4. 根據(jù)權(quán)利要求3所述的圖像傳感器，其中A、 B和C表示具有分別選自紅色、綠色或藍(lán)色顏色響應(yīng)的顏色響應(yīng)的像素。
5. 根據(jù)權(quán)利要求3所述的圖像傳感器，其中A表示具有紅色顏色響應(yīng)的像素，B表示具有綠色顏色響應(yīng)的像素，并且C表示具有藍(lán)色顏色響應(yīng)的像素。
6. 根據(jù)權(quán)利要求3所述的圖像傳感器，其中A、 B和C表示具有分別選自青色、黃色或品紅色響應(yīng)的顏色響應(yīng)的像素。
7. 根據(jù)權(quán)利要求3所述的圖像傳感器，其中A表示具有青色顏色響應(yīng)的像素，B表示具有黃色顏色響應(yīng)的像素，并且C表示具有品紅色顏色響應(yīng)的像素。
8. —種用于捕獲彩色圖像的圖像傳感器，包括具有多個(gè)最小重復(fù)單元的二維像素陣列，其中每個(gè)重復(fù)單元由八個(gè)像素構(gòu)成，這八個(gè)像素包括四個(gè)全色像素、兩個(gè)具有相同顏色響應(yīng)的像素以及兩個(gè)具有不同顏色響應(yīng)的像素，所述具有不同顏色響應(yīng)的像素與具有相同顏色響應(yīng)的像素不同，其中所述最小重復(fù)單元被平鋪以使得像素陣列的每一行和每一列具有僅兩種顏色的彩色像素。
9. 根據(jù)權(quán)利要求8所述的圖像傳感器，其中所述全色像素為棋盤圖案的形式。
10. 根據(jù)權(quán)利要求8所述的圖像傳感器，具有下面的最小重復(fù)單元<formula>formula see original document page 2</formula>其中P表示全色像素，并且A、 B和C表示具有不同顏色響應(yīng)的像素。
11. 根據(jù)權(quán)利要求10所述的圖像傳感器，其中A、B和C表示具有分別選自紅色、綠色或藍(lán)色顏色響應(yīng)的顏色響應(yīng)的像素。
12. 根據(jù)權(quán)利要求IO所述的圖像傳感器，其中A表示具有紅色顏色響應(yīng)的像素，B表示具有綠色顏色響應(yīng)的像素，并且C表示具有藍(lán)色顏色響應(yīng)的像素。
13. 根據(jù)權(quán)利要求10所述的圖像傳感器，其中A、 B和C表示具有分別選自青色、黃色或品紅色響應(yīng)的顏色響應(yīng)的像素。
14. 根據(jù)權(quán)利要求10所述的圖像傳感器，其中A表示具有青色顏色響應(yīng)的像素，B表示具有黃色顏色響應(yīng)的像素，并且C表示具有品紅色顏色響應(yīng)的像素。
全文摘要
一種用于捕獲彩色圖像的圖像傳感器，包括具有多個(gè)最小重復(fù)單元的二維像素陣列，其中每個(gè)重復(fù)單元由八個(gè)的像素構(gòu)成，這八個(gè)像素包括四個(gè)全色像素、兩個(gè)具有相同顏色響應(yīng)的像素以及兩個(gè)具有不同顏色響應(yīng)的像素，所述具有不同顏色響應(yīng)的像素與具有相同顏色響應(yīng)的像素不同，其中平鋪所述最小重復(fù)單元以使得圖像傳感器的每一行或每一列具有單色的彩色像素或者使得每一行或每一列具有僅兩種顏色的彩色像素。
文檔編號(hào)H04N9/07GK101785319SQ200880104051
公開(kāi)日2010年7月21日 申請(qǐng)日期2008年8月20日 優(yōu)先權(quán)日2007年8月23日
發(fā)明者C·帕克斯, E·O·莫雷爾斯, J·T·坎普頓, M·奧布賴恩 申請(qǐng)人:伊斯曼柯達(dá)公司