專(zhuān)利名稱(chēng)：在產(chǎn)生數(shù)字圖像時(shí)曝光像素組的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種使用二維圖像傳感器陣列進(jìn)行多次曝光和讀出來(lái)產(chǎn)生數(shù)字圖像的圖像捕捉裝置。
背景技術(shù)：
在數(shù)字成像中，期望捕捉具有高圖像品質(zhì)、高空間分辨率和高時(shí)間分辨率(亦稱(chēng)為幀速率)的圖像序列。然而，使用許多當(dāng)前的圖像序列捕捉裝置不可能獲得這種高品質(zhì)圖像序列。在許多情況下，所期望的圖像序列屬性之一是以(犧牲)其他圖像序列屬性為代價(jià)來(lái)獲得的。例如，在公知的圖像序列捕捉裝置中，給定圖像的曝光持續(xù)時(shí)間受限于幀速率。幀速率越高，各圖像曝光必然越短。在弱光環(huán)境中，圖像序列內(nèi)的個(gè)別圖像捕捉可接收不充足的光并產(chǎn)生有噪聲圖像。藉由對(duì)各圖像利用較長(zhǎng)的曝光持續(xù)時(shí)間可改良給定圖像關(guān)于噪聲的品質(zhì)，但這是以較低幀速率為代價(jià)的。或者，藉由通過(guò)像元合并(binning)技術(shù)組合若干像素可改良關(guān)于噪聲的圖像品質(zhì)，然而此改良是以較低空間分辨率為代價(jià)的。在許多情況下，圖像序列的空間和時(shí)間分辨率受傳感器的讀出能力所限制。傳感器每秒能夠讀取一定數(shù)目的像素。此讀出能力在讀出的空間與時(shí)間分辨率之間達(dá)到平衡。增加一個(gè)分辨率必須以另一分辨率為代價(jià)，以將所讀取像素的總數(shù)目保持在傳感器的可達(dá)到范圍之內(nèi)。已經(jīng)提出許多解決方案以允許數(shù)字圖像序列捕捉裝置捕捉具有改良的品質(zhì)和分辨率的圖像序列。減少數(shù)字圖像序列中的噪聲的一種方法為通過(guò)時(shí)間噪聲清除。美國(guó)專(zhuān)利 No. 7，330，218中給出這種技術(shù)的一示例。時(shí)間噪聲減少技術(shù)利用鄰近圖像之間的高度時(shí)間關(guān)聯(lián)以實(shí)現(xiàn)噪聲減少。在靜態(tài)場(chǎng)景中，可在連續(xù)圖像中獲得相同圖像場(chǎng)景內(nèi)容的多次讀出，從而允許有效的噪聲減少。時(shí)間噪聲減少的缺點(diǎn)包含緩沖多個(gè)圖像的存儲(chǔ)器需要以及過(guò)濾這些圖像的計(jì)算需要，尤其在運(yùn)動(dòng)估計(jì)和補(bǔ)償被用來(lái)對(duì)齊局域或全域運(yùn)動(dòng)區(qū)域的情況下。另外，時(shí)間噪聲減少絲毫未改良圖像序列的空間或時(shí)間分辨率。改良時(shí)間分辨率的一種方法為時(shí)間幀內(nèi)插。然而，本領(lǐng)域技術(shù)人員將理解，這種技術(shù)是計(jì)算復(fù)雜、存儲(chǔ)器密集的且經(jīng)常在經(jīng)內(nèi)插幀中產(chǎn)生偽像。改良圖像序列的空間分辨率的一種方法為通過(guò)超級(jí)分辨率技術(shù)。美國(guó)專(zhuān)利 No. 7，215，831和7，379，612中提供超級(jí)分辨率算法的示例。視頻超級(jí)分辨率技術(shù)使用鄰近幀來(lái)估計(jì)各高分辨率視頻幀?？臻g視頻超級(jí)分辨率的缺點(diǎn)包含計(jì)算復(fù)雜性和存儲(chǔ)器需求。 空間超級(jí)分辨率算法亦難以處理動(dòng)態(tài)場(chǎng)景。改良數(shù)字圖像序列的品質(zhì)的另一種方法為通過(guò)使用雙傳感器相機(jī)。題為“Digital Camera Using Multiple Image Sensors to Provide Improved Temporal Sampling"(使用多個(gè)圖像傳感器來(lái)提高改良時(shí)間采樣)的美國(guó)專(zhuān)利申請(qǐng)No. 2008/0211941中提出這種系統(tǒng)。藉由交錯(cuò)雙傳感器的曝光可實(shí)現(xiàn)改良的時(shí)間分辨率。藉由使兩個(gè)傳感器同等地曝光然后組合所得的圖像，改良的圖像品質(zhì)和噪聲減少是可能的。此解決方案的缺點(diǎn)包含與雙傳感器相機(jī)相關(guān)聯(lián)的成本。另外，在雙透鏡裝置中，需要空間對(duì)齊從不同透鏡系統(tǒng)捕捉的圖像。
4
改良空間分辨率的另一種方法是藉由捕捉斷續(xù)的高分辨率圖像連同低分辨率圖像序列，然后進(jìn)行處理)以從聚合數(shù)據(jù)產(chǎn)生整個(gè)高分辨率圖像序列。這種解決方案的示例為美國(guó)專(zhuān)利No. 7，110，025和7，372，504。此解決方案的缺點(diǎn)包含在某些情況下需要附加傳感器及其他硬件來(lái)捕捉高分辨率圖像而不中斷圖像序列捕捉過(guò)程。其他缺點(diǎn)包含取決于在產(chǎn)生最終高分辨率圖像序列時(shí)這些高分辨率圖像的頻率和使用率，需要緩沖多個(gè)圖像。用于改良圖像序列的品質(zhì)的另一種方法為通過(guò)使用具有改良的光靈敏度的圖像傳感器。如美國(guó)專(zhuān)利No. 3，971，065中所描述的，許多圖像傳感器使用排列為熟悉的拜耳(Bayer)圖案的紅色、綠色和藍(lán)色濾光片的組合。作為用于改良在變化的光條件下的圖像捕捉且用于改良成像傳感器的整體靈敏度的解決方案，已經(jīng)揭示對(duì)該熟悉拜耳圖案的若干修改。例如，Hamilton等人的題為“Capturing Images Under Varying Lighting Conditions”(在變化照明條件下捕捉圖像)的共同受讓美國(guó)專(zhuān)利申請(qǐng)公開(kāi) No. 2007/0046807 及 Compton 等人的題為 “Image Sensor with Improved Light Sensitivity"(具有改進(jìn)光靈敏性的圖像傳感器)的美國(guó)專(zhuān)利申請(qǐng)公開(kāi)No. 2007/0024931 兩者描述以某種方式交錯(cuò)組合彩色濾光片與全色濾光片元件的替代傳感器配置。在此類(lèi)型解決方案的情況下，圖像傳感器的某部分檢測(cè)色彩，其他全色部分被最優(yōu)化以針對(duì)改良的動(dòng)態(tài)范圍和靈敏度檢測(cè)橫跨可見(jiàn)頻帶的光。這種解決方案由此提供像素圖案，某些像素具有彩色濾光片(提供窄頻帶光譜響應(yīng))而某些像素沒(méi)有彩色濾光片(未經(jīng)過(guò)濾的像素或經(jīng)過(guò)濾以提供寬頻帶光譜響應(yīng)的像素)。使用窄光譜頻帶像素響應(yīng)和寬光頻譜帶像素響應(yīng)兩者的組合，圖像傳感器可在較低光能級(jí)下使用或提供較短的曝光持續(xù)時(shí)間。參見(jiàn)&ito等人在美國(guó)專(zhuān)利No. 4，390，895、 Yamagami等人在美國(guó)專(zhuān)利No. 5，323，233及Gindele等人在美國(guó)專(zhuān)利No. 6，476，865中發(fā)熱內(nèi)容。這種傳感器可在低光能級(jí)下提供改良的圖像品質(zhì)，但是需要附加的技術(shù)來(lái)解決對(duì)于產(chǎn)生具有改良的空間和時(shí)間分辨率的圖像序列的需要。在數(shù)字成像中，亦期望捕捉具有高動(dòng)態(tài)范圍的圖像序列。在攝影及成像中，在照度表達(dá)為坎德拉/平方米(Cd/m2)的情況下，動(dòng)態(tài)范圍表示兩個(gè)照度值的比率。人類(lèi)視覺(jué)可處置的照度范圍相當(dāng)大。雖然星光的照度為大約0. OOlcd/m2，但是陽(yáng)光照射的場(chǎng)景的照度為大約100，000cd/m2，其比前者高一億倍。太陽(yáng)自身的照度為大約l，000，000，000cd/m2。人眼可容納單一視圖中的大約10，000 1的動(dòng)態(tài)范圍。相機(jī)的動(dòng)態(tài)范圍被定義為剛好使相機(jī)飽和的強(qiáng)度與剛好使相機(jī)響應(yīng)提升高于相機(jī)噪聲一個(gè)標(biāo)準(zhǔn)差的強(qiáng)度的比率。在今日的大多數(shù)商用傳感器中，像素的最大信噪比大約為100 1。此繼而表示像素的最大動(dòng)態(tài)范圍。因?yàn)榇蠖鄶?shù)數(shù)碼相機(jī)僅能夠捕捉有限的動(dòng)態(tài)范圍(曝光設(shè)定確定將捕捉整個(gè)動(dòng)態(tài)范圍的哪部分)，所以高動(dòng)態(tài)范圍圖像通常從在不同曝光程度下進(jìn)行的對(duì)相同場(chǎng)景的若干捕捉建立。對(duì)于排除太陽(yáng)的大多數(shù)白天室外場(chǎng)景，由兩個(gè)曝光值間隔開(kāi)的三個(gè)曝光經(jīng)常足以適當(dāng)?shù)馗采w該動(dòng)態(tài)范圍。然而，此方法需要在系列中的捕捉之間不變化的場(chǎng)景。Jones (US 6,924, 841 B2)揭示一種用于藉由擁有具有不同靈敏度的兩組像素來(lái)擴(kuò)展傳感器的動(dòng)態(tài)范圍的方法。然而，Jones需要第一組像素的靈敏度與第二組像素的靈敏度重迭以具有某一共同動(dòng)態(tài)范圍。此方法是不合需要的，因?yàn)椴粫?huì)提供對(duì)于現(xiàn)實(shí)世界場(chǎng)景的實(shí)質(zhì)動(dòng)態(tài)范圍。該方法還需要具有不同靈敏度的像素的專(zhuān)用傳感器。Kindt等人在美國(guó)專(zhuān)利No. 6，348，681中揭示一種用于設(shè)定若干斷點(diǎn)而使傳感器實(shí)現(xiàn)用戶所選的分段線性傳遞函數(shù)的方法及電路。Ando等人在美國(guó)專(zhuān)利No. 7，446，812中揭示一種在相同幀期間使用雙重積分周期及讀出以增加捕捉的動(dòng)態(tài)范圍的方法。此方法不利用到達(dá)傳感器的每個(gè)光子，因?yàn)樵谧x出具有較短積分時(shí)間的像素與具有較長(zhǎng)積分時(shí)間的像素的時(shí)間之間，具有較短積分時(shí)間的像素不會(huì)捕捉光子。因此，存在以下的需要產(chǎn)生具有改良的圖像品質(zhì)、空間分辨率和時(shí)間分辨率的數(shù)字圖像序列，而不產(chǎn)生空間或時(shí)間偽像且不需大量存儲(chǔ)器成本、計(jì)算成本或硬件成本。亦存在以下的需要從圖像傳感器產(chǎn)生高動(dòng)態(tài)范圍圖像而基本上無(wú)需增加傳感器中各個(gè)像素的復(fù)雜性或成分。

發(fā)明內(nèi)容
本發(fā)明的目的為從圖像傳感器陣列所捕捉的像素信號(hào)產(chǎn)生數(shù)字圖像。該目的藉由一種用于從圖像傳感器陣列所捕捉的像素信號(hào)產(chǎn)生數(shù)字圖像的方法來(lái)實(shí)現(xiàn)。該方法包括下列步驟a)提供具有至少兩組像素的圖像傳感器陣列，其中任一組像素的數(shù)目具有不少于整個(gè)傳感器的產(chǎn)生數(shù)字圖像的部分的像素的數(shù)目的四分之一，且其中各組像素均勻地分布在傳感器上；b)將圖像傳感器陣列曝光于場(chǎng)景光并僅從第一組像素讀取像素電荷以產(chǎn)生第一像素信號(hào)集合；c)在產(chǎn)生第一像素信號(hào)集合之后，使圖像傳感器陣列曝光，然后從第二組像素讀取像素電荷且再次從第一組讀取像素以產(chǎn)生第二像素信號(hào)集合；及d)使用第一像素信號(hào)集合和第二像素信號(hào)集合來(lái)產(chǎn)生數(shù)字圖像。本發(fā)明的一個(gè)優(yōu)點(diǎn)在于可產(chǎn)生具有增加的空間分辨率、時(shí)間分辨率和圖像品質(zhì)的色彩圖像序列而無(wú)需附加的透鏡及圖像傳感器陣列。本發(fā)明的另一優(yōu)點(diǎn)在于可產(chǎn)生具有增加的空間分辨率、時(shí)間分辨率和圖像品質(zhì)的色彩圖像序列而無(wú)需計(jì)算復(fù)雜和存儲(chǔ)器密集的算法。本發(fā)明的另一優(yōu)點(diǎn)在于可產(chǎn)生具有低空間分辨率、高時(shí)間分辨率、彩色圖像的序列與具有高空間分辨率、低時(shí)間分辨率、彩色圖像的序列的若干組合而無(wú)需附加的透鏡及圖像傳感器陣列。本發(fā)明的另一優(yōu)點(diǎn)在于可產(chǎn)生經(jīng)擴(kuò)展的動(dòng)態(tài)范圍圖像而無(wú)需附加的透鏡及圖像傳感器陣列。本發(fā)明的另一優(yōu)點(diǎn)在于可使用較低緩沖且無(wú)需計(jì)算復(fù)雜和存儲(chǔ)器密集的算法而產(chǎn)生經(jīng)擴(kuò)展的動(dòng)態(tài)范圍圖像。從對(duì)較佳實(shí)施例的下列詳細(xì)描述及所附權(quán)利要求的審查并參考附圖，將更清楚地理解并了解本發(fā)明的此種及其他方面、目的、特征及優(yōu)點(diǎn)。附圖簡(jiǎn)單說(shuō)明

圖1為常規(guī)靜態(tài)數(shù)碼相機(jī)系統(tǒng)的框圖，該常規(guī)靜態(tài)數(shù)碼相機(jī)系統(tǒng)可使用常規(guī)傳感器及處理方法或本發(fā)明的傳感器及處理方法；圖2(現(xiàn)有技術(shù))為示出最小重復(fù)單元和非最小重復(fù)單元的常規(guī)拜耳彩色濾光片的陣列圖案；圖3A及圖3B(現(xiàn)有技術(shù))示出在各種光條件下的卷動(dòng)快門(mén)操作的時(shí)序圖；圖4 (現(xiàn)有技術(shù))提供紅色、綠色及藍(lán)色像素的代表性光譜量子效率曲線以及較寬光譜全色量子效率曲線，全部乘以紅外光截止濾光片的透射特性；圖5繪示本發(fā)明一實(shí)施例的時(shí)序圖；圖6為示出本發(fā)明一實(shí)施例的流程圖；圖7(現(xiàn)有技術(shù))為示出含有全色和色彩像素的示例彩色濾光片陣列圖案的示圖；圖8(現(xiàn)有技術(shù))為示出如何可使鄰近行中的像素像元合并在一起從而共享相同浮動(dòng)擴(kuò)散組件的示意圖；圖9為示出本發(fā)明一實(shí)施例中對(duì)全色和色彩像素的卷動(dòng)快門(mén)操作的時(shí)序圖；圖10為示出從全色像素的讀出以及從經(jīng)像元合并的全色像素和經(jīng)像元合并的色彩像素的讀出產(chǎn)生處于近似傳感器的空間分辨率下的數(shù)字圖像的示圖；圖11為示出從全色像素的讀出以及從經(jīng)像元合并的全色像素和經(jīng)像元合并的色彩像素的讀出產(chǎn)生處于近似傳感器的一半水平空間分辨率和一半垂直空間分辨率下的數(shù)字圖像的示圖；圖12為示出從全色像素的讀出以及從經(jīng)像元合并的全色像素和經(jīng)像元合并的色彩像素的讀出產(chǎn)生處于近似傳感器的一半水平空間分辨率和一半垂直空間分辨率下的數(shù)字圖像，以及處于近似傳感器的空間分辨率下的數(shù)字圖像的示圖；圖13為示出產(chǎn)生殘留圖像的流程圖；圖14為示出從經(jīng)像元合并的全色像素的讀出以及從經(jīng)像元合并在一起的全色和色彩像素的讀出產(chǎn)生處于近似傳感器的一半水平空間分辨率和一半垂直空間分辨率下的數(shù)字圖像的示圖；圖15為示出含有全色像素的示例彩色濾光片陣列圖案的示圖；圖16為示出從全色像素的讀出產(chǎn)生數(shù)字圖像的示圖；圖17為示出含有全色像素的示例濾光片陣列圖案的示圖；圖18為示出產(chǎn)生本發(fā)明的經(jīng)擴(kuò)展動(dòng)態(tài)范圍實(shí)施例中的全色像素的數(shù)字圖像的示圖；圖19為示出含有全色像素和色彩像素的示例濾光片陣列圖案的示圖；以及圖20為示出本發(fā)明一實(shí)施例中對(duì)于全色像素的卷動(dòng)快門(mén)操作的時(shí)序圖。實(shí)施方式因?yàn)槭褂贸上裱b置和相關(guān)電路來(lái)進(jìn)行信號(hào)捕捉和校正且用于曝光控制的數(shù)碼相機(jī)是為人熟知的，所以本描述將具體涉及形成根據(jù)本發(fā)明的方法及裝置的部分或更直接地與根據(jù)本發(fā)明的方法及裝置協(xié)作的元件。本文未具體示出或描述的元件選自本領(lǐng)域中已知的元件。待描述的實(shí)施例的某些方面以軟件提供。給出如在下列材料中根據(jù)本發(fā)明所示出并描述的系統(tǒng)，本文未具體示出、描述或建議而對(duì)于本發(fā)明的實(shí)施方案有用的軟件是常規(guī)的且在本領(lǐng)域一般技術(shù)范圍內(nèi)?，F(xiàn)在轉(zhuǎn)到圖1，其示出作為體現(xiàn)本發(fā)明的數(shù)碼相機(jī)而示出的圖像捕捉裝置的框圖。 雖然現(xiàn)在將解釋數(shù)碼相機(jī)，但是本發(fā)明顯然適用于其他類(lèi)型的圖像捕捉裝置，比如包含在
7非相機(jī)裝置(諸如移動(dòng)電話及機(jī)動(dòng)車(chē))中的成像子系統(tǒng)。將來(lái)自主體場(chǎng)景的光10輸入至成像級(jí)11，其中藉由透鏡12聚焦該光以在固態(tài)圖像傳感器20上形成圖像。圖像傳感器20 藉由對(duì)各圖像元素(像素)積分電荷而將入射光轉(zhuǎn)換為電信號(hào)。較佳實(shí)施例的圖像傳感器 20為電荷耦合裝置(CXD)類(lèi)型或有源像素傳感器(APQ類(lèi)型。(APS裝置通常稱(chēng)為CMOS傳感器，因?yàn)樵诨パa(bǔ)金屬氧化物半導(dǎo)體(CM0Q工藝中制造它們的能力)。傳感器包含如隨后更詳細(xì)描述的彩色濾光片配置。到達(dá)傳感器20的光的量由改變孔徑的虹膜區(qū)塊14和包含插入于光學(xué)路徑中的一個(gè)或更多個(gè)中性密度(ND)濾光片的中性密度(ND)濾光片區(qū)塊13調(diào)節(jié)?？扉T(mén)區(qū)塊18處于開(kāi)放的時(shí)間亦調(diào)節(jié)整體的光能級(jí)。曝光控制器區(qū)塊40對(duì)如由亮度傳感器區(qū)塊16所計(jì)量的在場(chǎng)景中可用的光的量作出響應(yīng)，并控制全部三個(gè)這些調(diào)節(jié)功能。來(lái)自圖像傳感器20的模擬信號(hào)由模擬信號(hào)處理器22處理并被施加至模數(shù)(A/D) 轉(zhuǎn)換器M以數(shù)字化這些傳感器信號(hào)。時(shí)序產(chǎn)生器26產(chǎn)生各種時(shí)鐘信號(hào)來(lái)選擇行和像素， 并使模擬信號(hào)處理器22與A/D轉(zhuǎn)換器M的操作同步。圖像傳感器級(jí)觀包含圖像傳感器 20、模擬信號(hào)處理器22、A/D轉(zhuǎn)換器M及時(shí)序產(chǎn)生器26。圖像傳感器級(jí)觀的功能元件是單獨(dú)制造的集成電路，或可將它們制造為如通常在CMOS圖像傳感器情況下所做的單一集成電路。將從A/D轉(zhuǎn)換器M得到的數(shù)字像素值流被儲(chǔ)存在與數(shù)字信號(hào)處理器(DSP) 36相關(guān)聯(lián)的存儲(chǔ)器32中。除系統(tǒng)控制器50和曝光控制器40以外，數(shù)字信號(hào)處理器36是本實(shí)施例中的三個(gè)處理器或控制器之一。雖然在多個(gè)控制器和處理器之間的此相機(jī)功能控制分布是典型的， 但是這些控制器或處理器以各種方式組合而不影響相機(jī)的功能操作及本發(fā)明的應(yīng)用。這些控制器或處理器可包括一個(gè)或多個(gè)數(shù)字信號(hào)處理器裝置、微控制器、可編程邏輯器件或其他數(shù)字邏輯電路。雖然已經(jīng)描述這種控制器或處理器的組合，但是一個(gè)控制器或處理器被指定來(lái)執(zhí)行全部所需功能應(yīng)當(dāng)是顯而易見(jiàn)的。所有這些變體可執(zhí)行相同的功能且落在本發(fā)明的范圍內(nèi)，且術(shù)語(yǔ)“處理級(jí)”將視需要用于在一個(gè)短語(yǔ)內(nèi)涵蓋此功能的全部，例如在圖1 中的處理級(jí)38中。在所繪示的實(shí)施例中，DSP 36根據(jù)永久地儲(chǔ)存在程序存儲(chǔ)器M中并在圖像捕捉期間復(fù)制到存儲(chǔ)器32供執(zhí)行的軟件程序操縱在其存儲(chǔ)器32中的數(shù)字圖像數(shù)據(jù)。DSP 36執(zhí)行實(shí)踐圖18中所示的圖像處理所需的軟件。存儲(chǔ)器32包含任意類(lèi)型的隨機(jī)存取存儲(chǔ)器，諸如SDRAM。包括地址和數(shù)據(jù)信號(hào)的路徑的總線30將DSP 36連接至與其相關(guān)的存儲(chǔ)器32、 A/D轉(zhuǎn)換器M及其他相關(guān)的裝置。系統(tǒng)控制器50基于儲(chǔ)存在程序存儲(chǔ)器M中的軟件程序控制相機(jī)的整體操作，該程序存儲(chǔ)器M可包含閃存EEPROM或其他非易失性存儲(chǔ)器。此存儲(chǔ)器亦可用于儲(chǔ)存圖像傳感器校準(zhǔn)數(shù)據(jù)、用戶設(shè)定選擇及在相機(jī)關(guān)閉時(shí)必須保存的其他數(shù)據(jù)。藉由引導(dǎo)曝光控制器 40來(lái)如前所述地操作透鏡12、ND濾光器13、虹膜14及快門(mén)18，引導(dǎo)時(shí)序發(fā)生器沈來(lái)操作圖像傳感器20及相關(guān)聯(lián)元件，且引導(dǎo)DSP 36來(lái)處理所捕捉的圖像數(shù)據(jù)，系統(tǒng)控制器50控制圖像捕捉序列。在捕捉并處理圖像之后，經(jīng)由接口接口 57將儲(chǔ)存在存儲(chǔ)器32中的最終圖像文件傳送至主機(jī)計(jì)算機(jī)，將圖像文件儲(chǔ)存在可移動(dòng)存儲(chǔ)器卡64或其他儲(chǔ)存裝置上，并在圖像顯示器88上向用戶顯示。總線52包含地址信號(hào)、數(shù)據(jù)信號(hào)及控制信號(hào)的通路，并將系統(tǒng)控制器50連接至
8DSP 36、程序存儲(chǔ)器W、系統(tǒng)存儲(chǔ)器56、主機(jī)接口 57、存儲(chǔ)器卡接口 60及其他相關(guān)裝置。主機(jī)接口 57提供至個(gè)人計(jì)算機(jī)(PC)或其他主機(jī)計(jì)算機(jī)的高速連接以傳送用于顯示、儲(chǔ)存、操縱或打印的圖像數(shù)據(jù)。此接口為IEEE 1394或USB2. 0串行接口或任意其他適當(dāng)?shù)臄?shù)字接口。 存儲(chǔ)器卡64通常為插入于插口 62中并經(jīng)由存儲(chǔ)器卡接口 60連接至系統(tǒng)控制器50的緊湊型閃存(CF)存儲(chǔ)器卡。所利用的其他類(lèi)型存儲(chǔ)包含但不限于PC卡、多媒體卡(MMC)或安全數(shù)字(SD)卡。經(jīng)處理圖像被復(fù)制到系統(tǒng)存儲(chǔ)器56中的顯示緩沖器，并經(jīng)由視頻編碼器80連續(xù)地讀出以產(chǎn)生視頻信號(hào)。從相機(jī)直接輸出此信號(hào)用于顯示在外部監(jiān)視器上，或由顯示控制器82處理并呈現(xiàn)在圖像顯示器88上。此顯示器通常為有源矩陣彩色液晶顯示器(IXD)，雖然亦可使用其他類(lèi)型顯示器。包含取景顯示器70、曝光顯示器72、狀態(tài)顯示器76和圖像顯示器88以及用戶輸入74的全部或任意組合的用戶接口 68由在曝光控制器40和系統(tǒng)控制器50上執(zhí)行的軟件程序的組合控制。用戶輸入74通常包含按鈕、搖桿開(kāi)關(guān)、操縱桿、旋轉(zhuǎn)式撥號(hào)盤(pán)或觸控螢?zāi)坏哪骋唤M合。曝光控制器40操作光計(jì)量、曝光模式、自動(dòng)聚焦及其他曝光功能。系統(tǒng)控制器50管理呈現(xiàn)在這些顯示器的個(gè)或多個(gè)(例如圖像顯示器88)的圖形用戶接口(⑶I)。該 ⑶I通常包含用于做各種可選選擇的菜單及用于檢查所捕捉圖像的檢視模式。曝光控制器40接受選擇曝光模式、透鏡孔徑、曝光時(shí)間(快門(mén)速度)及曝光指數(shù)或ISO感光速率的用戶輸入，并相應(yīng)地引導(dǎo)透鏡及快門(mén)進(jìn)行后續(xù)捕捉。亮度傳感器16被用來(lái)測(cè)量場(chǎng)景的亮度并提供在手動(dòng)地設(shè)定ISO感光速率、孔徑及快門(mén)速度時(shí)供用戶參照的曝光計(jì)量功能。在此情況下，隨著用戶改變一個(gè)或多個(gè)設(shè)定，呈現(xiàn)在取景顯示器70上的光計(jì)量指示符告訴用戶圖像將曝光過(guò)度或曝光不足到什么程度。在自動(dòng)曝光模式下，用戶改變一個(gè)設(shè)定，該曝光控制器40自動(dòng)地改變另一設(shè)定以維持正確的曝光，例如對(duì)于給定的ISO 感光速率，當(dāng)用戶減小透鏡孔徑時(shí)，曝光控制器40自動(dòng)地增加曝光時(shí)間以維持相同的整體曙光οISO感光速率為數(shù)字靜態(tài)相機(jī)的重要屬性。曝光時(shí)間、透鏡孔徑、透鏡透射率、場(chǎng)景照明的能級(jí)與光譜分布以及場(chǎng)景反射率確定數(shù)字靜態(tài)相機(jī)的曝光程度。當(dāng)使用不充足的曝光從數(shù)字靜態(tài)相機(jī)獲得圖像時(shí)，藉由增加電子或數(shù)字增益可大體上維持合適的色調(diào)重現(xiàn)， 但是圖像會(huì)含有不可接受的噪聲量。隨著增加曝光，增益減小，因此通?？蓪D像噪聲減小到可接受的能級(jí)。若過(guò)分增加曝光，則在圖像的明亮區(qū)域中得到的信號(hào)可超過(guò)圖像傳感器或相機(jī)信號(hào)處理的最大信號(hào)電平容量。這可導(dǎo)致圖像最明亮部分被裁剪以形成亮度均勻的區(qū)域，或輝散至圖像的周?chē)鷧^(qū)域中。重要的是指引用戶設(shè)定合適曝光。期望將ISO感光速率用作為這種指引。為了容易被攝影師所理解，數(shù)字靜態(tài)相機(jī)的ISO感光速率應(yīng)直接相關(guān)于照相軟片相機(jī)的ISO感光速率。例如，若數(shù)字靜態(tài)相機(jī)具有ISO 200的ISO感光速率，則對(duì)于ISO 200額定軟片/處理系統(tǒng)，相同的曝光時(shí)間及孔徑應(yīng)為合適。期望使ISO感光速率與軟片ISO感光速率協(xié)調(diào)。然而，電子成像系統(tǒng)與排除精確等效性的基于軟片的成像系統(tǒng)之間存在差異。數(shù)字靜態(tài)相機(jī)可包含可變?cè)鲆?，且可在已?jīng)捕捉圖像數(shù)據(jù)之后提供數(shù)字處理，從而能夠?qū)崿F(xiàn)整個(gè)相機(jī)曝光范圍上的色調(diào)重現(xiàn)。由于此靈活性，數(shù)字靜態(tài)相機(jī)可具有一感光速率范圍。此范圍被定義為ISO速度寬容度。為防止混淆，將單一值指定為固有的ISO感光速率，而ISO速度寬容度上限和下限指示速度范圍，亦即包含與固有的ISO感光速率不同的有效感光速率的范圍。將此銘記在心，固有的ISO 速度為根據(jù)在數(shù)字靜態(tài)相機(jī)的聚焦平面處提供以產(chǎn)生指定的相機(jī)輸出信號(hào)特性的曝光所計(jì)算的數(shù)字值。固有速度通常為對(duì)于正常場(chǎng)景產(chǎn)生給定相機(jī)系統(tǒng)的峰值圖像品質(zhì)的曝光指數(shù)值，其中曝光指數(shù)為與提供給圖像傳感器的曝光成反比例的數(shù)字值。本領(lǐng)域技術(shù)人員將熟悉以上對(duì)數(shù)碼相機(jī)的描述。顯而易見(jiàn)的是，存在可選擇以降低成本，增加特征或改良相機(jī)性能的此實(shí)施例的許多變體。例如，添加自動(dòng)聚焦系統(tǒng)，或透鏡被可拆卸和可互換。應(yīng)了解，本發(fā)明適用于任意類(lèi)型的數(shù)碼相機(jī)或更為概括的數(shù)字圖像捕捉裝置，其中替代模塊提供類(lèi)似的功能。給出圖1的示例性示例，下列描述然后將詳細(xì)描述根據(jù)本發(fā)明的用于捕捉圖像序列的此相機(jī)的操作。在下列描述中每當(dāng)籠統(tǒng)引用圖像傳感器時(shí)，應(yīng)將其理解為代表來(lái)自圖 1的圖像傳感器20。圖1中所示的圖像傳感器20通常包含制造在硅基板上的光敏像素的二維陣列，這些光敏像素將各像素處的入射光轉(zhuǎn)換為所測(cè)量的電信號(hào)。在圖像傳感器背景下，像素(“圖像元素”的縮寫(xiě))指代離散光感測(cè)區(qū)域及與該光感測(cè)區(qū)域相關(guān)聯(lián)的電荷移位或電荷測(cè)量電路。在數(shù)字彩色圖像的背景下，術(shù)語(yǔ)像素通常指代圖像中具有相關(guān)聯(lián)色彩值的特定位置。術(shù)語(yǔ)彩色像素將指代在相對(duì)窄的光譜頻帶上具有色彩光響應(yīng)的像素。術(shù)語(yǔ)曝光持續(xù)時(shí)間及曝光時(shí)間被可互換地使用。當(dāng)使傳感器20曝露于光時(shí)，在各像素處的電子結(jié)構(gòu)內(nèi)產(chǎn)生并捕捉自由電子。持續(xù)某一時(shí)間周期捕捉這種自由電子且然后測(cè)量所捕捉的電子數(shù)目或測(cè)量產(chǎn)生自由電子的速率可測(cè)量各像素處的光能級(jí)。在前一種情況下，所累積的電荷移出像素陣列至如電容耦合裝置(CCD)中的電荷至電壓測(cè)量電路，或者接近各像素的區(qū)域可含有如有源像素傳感器 (APS或CMOS傳感器)中的電荷至電壓測(cè)量電路的若干元件。為了產(chǎn)生彩色圖像，圖像傳感器中的像素陣列通常具有置于它們之上的彩色濾光片圖案。圖2示出常用的紅色(R)、綠色(G)及藍(lán)色(B)濾光片的圖案。通常將此特定圖案稱(chēng)為以其發(fā)明者布萊斯拜耳(Bryce Bayer)命名的拜耳彩色濾光片陣列(CFA)，如美國(guó)專(zhuān)利No. 3，971，065中所揭示的。在具有二維色彩像素陣列的圖像傳感器中有效地使用此圖案。因此，各像素具有特定色彩光響應(yīng)，在此情況下，這是對(duì)于紅色、綠色或藍(lán)色光的主導(dǎo)靈敏度。另一種有用的色彩光響應(yīng)為對(duì)洋紅色、黃色或青色光的主導(dǎo)靈敏度。在各情況下，特定色彩光響應(yīng)具有對(duì)可見(jiàn)光譜的某些部分的高度靈敏度，而同時(shí)具有對(duì)可見(jiàn)光譜的其他部分的低靈敏度。最小重復(fù)單元為使得無(wú)其他重復(fù)單元具有更少像素的重復(fù)單元。例如，圖2中的 CFA包含如由圖2中的像素塊100所示的兩個(gè)像素乘兩個(gè)像素的最小重復(fù)單元，可將其表示為G RB G此最小重復(fù)單元的多個(gè)副本被磚塊式排列以覆蓋圖像傳感器中的整個(gè)像素陣列。 左上角中的綠色像素示出該最小重復(fù)單元，但是藉由將粗外框區(qū)域向右移一個(gè)像素，向下移一個(gè)像素，或?qū)窍蛴蚁路揭埔粋€(gè)像素，可容易辨別三個(gè)可選最小重復(fù)單元。雖然像素塊 102為重復(fù)單元，但其不是最小重復(fù)單元，因?yàn)橄袼貕K100為重復(fù)單元而塊100具有小于塊 102的像素。
使用具有含圖2的CFA的二維陣列的圖像傳感器所捕捉的圖像在各像素處僅具有一色彩值。為了產(chǎn)生全色圖像，存在用于推斷或內(nèi)插各像素處的缺失色彩的許多技術(shù)。 這種CFA內(nèi)插技術(shù)是本領(lǐng)域公知的且參考下列專(zhuān)利美國(guó)專(zhuān)利No. 5，506，619、美國(guó)專(zhuān)利 No. 5，629，734 及美國(guó)專(zhuān)利 No. 5，652，621。圖像傳感器20的各像素具有光檢測(cè)器及用于讀出像素信號(hào)的有源晶體管電路兩者。圖像傳感器陣列中的各像素的光檢測(cè)器藉由光電效應(yīng)將撞擊在像素上的光子轉(zhuǎn)換為電荷。在足夠長(zhǎng)以收集可檢測(cè)量的電荷、但是又足夠短以避免使儲(chǔ)存元件飽和的時(shí)間周期期間積分電荷。此積分時(shí)間周期類(lèi)似于軟片曝光時(shí)間(亦即快門(mén)速度)。圖像捕捉的時(shí)序可遵循兩種基本圖案的一種。在全域捕捉序列中，同時(shí)簡(jiǎn)單地讀取全部圖像像素。然而，此類(lèi)型序列需要相當(dāng)高的裝置復(fù)雜性且可為不利，因?yàn)槠浼s束了傳感器晶片上用于光子接收的空間量。替代地，已經(jīng)采納逐行式讀取法，且其經(jīng)常為讀取CMOS APS像素的較佳模式。在CMOS APS裝置的圖像傳感器陣列中，積分時(shí)間為介于給定行的重設(shè)與對(duì)該行的后續(xù)讀取之間的時(shí)間。因?yàn)橐淮蝺H可選擇一行，故重設(shè)/讀取例程是順序的(亦即逐行式)。 將此讀取技術(shù)稱(chēng)為“卷動(dòng)電子快門(mén)”，或更簡(jiǎn)單地稱(chēng)為“卷動(dòng)快門(mén)”模式且在成像領(lǐng)域中是公知的。Yadid-Pecht 等人的題為"Image Sensor Producing at Least Two Integration Times from Each Sensing Pixel”(從每個(gè)感測(cè)像素產(chǎn)生至少兩個(gè)積分時(shí)間的圖像傳感器)的美國(guó)專(zhuān)利 No. 6，115，065 及 Krymski 等人的題為 “Look-Ahead Rolling Shutter System in CMOS Sensors”(CM0S傳感器中的超前卷動(dòng)快門(mén)系統(tǒng))的美國(guó)專(zhuān)利No. 6，809，766 中給出卷動(dòng)快門(mén)時(shí)間序列的變體的少數(shù)示例。讀取序列的快門(mén)寬度為介于積分啟用與讀出之間的時(shí)間。這可取決于具有相同積分時(shí)間的鄰近像素?cái)?shù)量而具有可變大小。一次讀取一行或多行的快門(mén)寬度亦可調(diào)整一固定值，以控制傳感器陣列的經(jīng)曝光區(qū)域的增益。作為一種用于卷動(dòng)快門(mén)序列的方法，將重設(shè)指針編索引在讀取指針之前等于快門(mén)寬度的量。兩個(gè)指針之間的時(shí)間差對(duì)應(yīng)于像素積分時(shí)間。如上所述，快門(mén)寬度完全類(lèi)似于機(jī)械聚焦平面快門(mén)的兩個(gè)簾之間的實(shí)際開(kāi)口的寬度。在下文中，術(shù)語(yǔ)曝光持續(xù)時(shí)間將用于對(duì)應(yīng)積分時(shí)間。圖3A示出如常規(guī)地在相對(duì)良好照明條件下使用的卷動(dòng)快門(mén)模式的時(shí)序序列。橫座標(biāo)(X軸)表示時(shí)間?？v座標(biāo)(y軸)表示圖像傳感器的被讀出的行。各實(shí)斜線302表示從最高編號(hào)行開(kāi)始并且進(jìn)行至最低編號(hào)行順序地讀出圖像傳感器的全部行。(或者，表示讀出的線可從左到右向上傾斜以指示從最低編號(hào)行到最高編號(hào)行讀出這些行)。各虛線300 表示再次從最高編號(hào)行開(kāi)始并且進(jìn)行至最低編號(hào)行順序地重設(shè)圖像傳感器的全部行，其中整個(gè)重設(shè)程序需要與讀出程序恰好相同的時(shí)間。重設(shè)進(jìn)程300與其緊接著的讀出程序302 之間的延遲為這些像素320的積分時(shí)間，如由實(shí)箭頭所指示。注意，對(duì)于每行讀出，積分時(shí)間是恒定的，但是各行的積分周期相關(guān)于前面行及后面行時(shí)間移位。如可從圖3A的時(shí)序圖看到，此簡(jiǎn)單卷動(dòng)快門(mén)序列允許尤其介于讀取302與其緊接著的重設(shè)300之間的未獲得光子的周期。雖然在良好照明下這是可接受的，但是在弱光條件下，此配置不可良好地執(zhí)行。這是因?yàn)殡S著光強(qiáng)度減小，可能需要更長(zhǎng)的像素積分時(shí)間。 圖3B的時(shí)序圖示出對(duì)于弱光條件的時(shí)序序列，其中緊接著讀取302執(zhí)行重設(shè)300或重設(shè) 300與讀取302同時(shí)執(zhí)行。因此，像素積分時(shí)間320已經(jīng)增加以填充連續(xù)讀取之間的時(shí)間且浪費(fèi)非常少的光子。
11
然而，即使采納卷動(dòng)快門(mén)技術(shù)，有效率地讀取圖像傳感器的任務(wù)仍然具有其缺點(diǎn)。 剪切運(yùn)動(dòng)偽像為一類(lèi)問(wèn)題。場(chǎng)景(或該場(chǎng)景的元素)與圖像傳感器之間的相對(duì)運(yùn)動(dòng)導(dǎo)致該場(chǎng)景中的物體在圖像傳感器所捕捉的圖像中表現(xiàn)為扭曲。稱(chēng)為圖像“剪切”的此效應(yīng)是卷動(dòng)快門(mén)配置的特性。例如，若這種所謂的卷動(dòng)快門(mén)或電子聚焦平面快門(mén)圖像傳感器被用于捕捉水平移動(dòng)的小汽車(chē)的圖像，則隨著曝光并讀出所捕捉圖像的各行，小汽車(chē)相對(duì)于圖像傳感器移動(dòng)，故所捕捉圖像的各行示出小汽車(chē)處于不同位置處。此可導(dǎo)致小汽車(chē)的圓形輪胎表現(xiàn)為橢圓，且小汽車(chē)的矩形窗表現(xiàn)為平行四邊形。此扭曲為讀出圖像傳感器的全部行所需的時(shí)間量的直接后果。仍然可改良弱光性能而圖像動(dòng)態(tài)范圍可仍然比所期望的范圍小。已經(jīng)提出的一類(lèi)型解決方案為使用傳感器陣列像素的某一部分作為全色像素。例如，Compton 等人的題為 “Image Sensor with Improved Light Sensitivity，，(具有改良光靈敏性的圖像傳感器)的共同授讓美國(guó)專(zhuān)利申請(qǐng)NO.2007/00M931揭示具有色彩及全色像素兩者的圖像傳感器。在本發(fā)明的背景下，術(shù)語(yǔ)全色像素指代具有大致全色光響應(yīng)的像素，全色像素具有比在所選集合的色彩光響應(yīng)中所表示的較窄光譜靈敏度寬的光譜靈敏度。亦即，全色像素可具有對(duì)跨整個(gè)可見(jiàn)光譜的光的高度靈敏度。雖然這些全色像素通常具有比該集合色彩光響應(yīng)寬的光譜靈敏度，但是各全色像素亦可具有相關(guān)聯(lián)的濾光片。此種濾光片可為中性密度濾光片或彩色或頻寬濾光片。參考圖4的示圖，其示出在典型相機(jī)應(yīng)用中具有紅色、綠色及藍(lán)色濾光片的像素的相對(duì)光譜靈敏度。圖4中的X軸表示以納米為單位的光波長(zhǎng)，波長(zhǎng)大約從近紫外光橫跨至近紅外光，且Y軸表示效率(標(biāo)準(zhǔn)化)。在圖4中，曲線110表示用于阻擋紅外光及紫外光到達(dá)圖像傳感器的典型帶寬濾光片的光譜透射特性。需要這種濾光片是因?yàn)橛糜趫D像傳感器的這些彩色濾光片通常不阻擋紅外光，因此這些像素不能區(qū)分紅外光與在其相關(guān)聯(lián)彩色濾光片的通帶內(nèi)的光。曲線110所示出的紅外光阻擋特性由此防止紅外光破壞可見(jiàn)光信號(hào)。將應(yīng)用紅色、綠色及藍(lán)色濾光片的典型硅傳感器的光譜量子效率(亦即捕捉并轉(zhuǎn)換為可測(cè)量電信號(hào)的入射光子的比例)乘以曲線110所表示的紅外光阻擋濾光片的光譜透射特性以產(chǎn)生由對(duì)于紅色的曲線114、對(duì)于綠色的曲線116及對(duì)于藍(lán)色的曲線118所表示的組合系統(tǒng)量子效率。應(yīng)從這種曲線了解，各色彩的光子響應(yīng)僅對(duì)可見(jiàn)光譜的一部分靈敏。相比而言，曲線112示出不應(yīng)用濾光片(但是包含紅外光阻擋濾光片特性)的相同硅傳感器的光響應(yīng)，此為全色光響應(yīng)的示例。藉由比較色彩光響應(yīng)曲線114、116和118與全色光子響應(yīng)曲線112，顯然全色光響應(yīng)可比這些色彩光響應(yīng)的任一個(gè)對(duì)寬光譜光更靈敏三倍至四倍。在卷動(dòng)快門(mén)模式下，通常如圖3A及圖;3B中所示地讀取圖像序列。讀取整個(gè)圖像傳感器且此構(gòu)成圖像序列中的一個(gè)圖像。隨后，再次讀取整個(gè)圖像傳感器且此構(gòu)成圖像序列中的下一圖像?；蛘?，如美國(guó)專(zhuān)利申請(qǐng)No. 11/780，523中所述，將圖像傳感器劃分為分開(kāi)式子集，且以某一相對(duì)順序讀取這些子集。圖5示出本發(fā)明的較佳實(shí)施例的卷動(dòng)快門(mén)模式的時(shí)序序列，其中圖像傳感器陣列具有至少兩組像素，其中任一組像素的數(shù)量具有不少于整個(gè)傳感器的產(chǎn)生數(shù)字圖像的部分的像素?cái)?shù)量的四分之一，且其中各組像素被均勻地分布在傳感器上。404所給出的卷動(dòng)快門(mén)讀取時(shí)間表示對(duì)圖像傳感器的全部像素的像素信號(hào)422的讀出，其中可個(gè)別地讀出第一組像素(Xl)及第二組像素?cái)M、或?qū)Φ谝唤M像素(Xl)及第二組像素、\1、像元合并。在讀取這些像素之后，可重設(shè)404這些像素。根據(jù)402所給出的卷動(dòng)快門(mén)讀取時(shí)間讀出并重設(shè)Xl像素。線條410示出各Xl像素的整體曝光，其表示介于重設(shè)并讀取圖像傳感器的各行的這些Xl像素之間的時(shí)間。像素信號(hào)420表示全部這些Xl像素的讀出。讀取圖案在此階段重復(fù)，因?yàn)榻又鶕?jù)404所給出的卷動(dòng)快門(mén)讀取時(shí)間讀出整個(gè)圖像傳感器。已經(jīng)多次讀出這些Xl像素。在404處的某些像素讀出具有線條412所給出的較短曝光，而其他像素具有線條414所給出的較長(zhǎng)曝光。因此，可利用可到達(dá)傳感器的每個(gè)光子。本領(lǐng)域技術(shù)人員將理解，存在對(duì)本發(fā)明的許多替代方法。可對(duì)這些像素進(jìn)行像元合并或個(gè)別地讀出這些像素?？墒褂脙山M以上像素以具有多個(gè)曝光時(shí)間。任一組像素的讀出程序與重設(shè)程序之間可存在延遲。下列較佳實(shí)施例將詳述這種替代方法的某一些。圖6為本發(fā)明的較佳實(shí)施例的高級(jí)流程圖。最初，諸如圖1中所描述的數(shù)碼相機(jī)藉由將圖像傳感器陣列20曝光于場(chǎng)景光而發(fā)起圖像捕捉序列502。圖1中的圖像傳感器級(jí) 28控制選擇和讀取像素的進(jìn)程。通過(guò)模擬信號(hào)處理器22從傳感器504讀取第一時(shí)間像素信號(hào)，這些第一時(shí)間像素信號(hào)產(chǎn)生第一像素信號(hào)集合510。第一像素信號(hào)集合510可來(lái)自第一組像素，或第一像素信號(hào)集合510可來(lái)自第一組像素及第二組像素。若第一讀取為第一組像素，則從傳感器506讀取第一組像素的全部。若第一讀取為第一組像素和第二組像素，則讀取第二組像素的全部且從圖像傳感器508讀取第一組像素。繼續(xù)使圖像傳感器曝光直到終止捕捉進(jìn)程。對(duì)于來(lái)自傳感器的后續(xù)讀出，讀出進(jìn)程以與第一讀取類(lèi)似的方式繼續(xù)。例如，從傳感器讀取第二時(shí)間像素信號(hào)，這些第二時(shí)間像素信號(hào)產(chǎn)生第二像素信號(hào)集合 510。第二像素信號(hào)集合510可來(lái)自第一組像素或來(lái)自第一組像素及第二組像素。若第二讀取來(lái)自第一組像素，則再次從傳感器506讀取全部第一組像素。若第二讀取來(lái)自第一組像素及第二組像素，則讀取第二組像素的全部且再次從圖像傳感器508讀取第一組像素。在從傳感器讀取這些像素信號(hào)510之后，圖像處理步驟512對(duì)可用的像素信號(hào)操作以產(chǎn)生數(shù)字圖像514。圖1中的數(shù)字信號(hào)處理器36可執(zhí)行此處理。圖像處理步驟512可利用來(lái)自當(dāng)前讀出的像素信號(hào)以及來(lái)自先前傳感器讀出的在存儲(chǔ)器32中緩沖的數(shù)據(jù)。所產(chǎn)生的數(shù)字圖像514可對(duì)應(yīng)于當(dāng)前傳感器讀出，或先前傳感器讀出，或當(dāng)前與先前傳感器讀出的任意組合。相對(duì)于從給定傳感器讀出所獲得的像素信號(hào)，數(shù)字圖像514可具有更高的空間分辨率、改良的圖像品質(zhì)、改良的色彩信息或其他增強(qiáng)。數(shù)字圖像序列亦可具有比藉由在目標(biāo)空間分辨率下讀取傳感器而簡(jiǎn)單可實(shí)現(xiàn)的時(shí)間分辨率高的時(shí)間分辨率。將數(shù)字圖像514傳遞至數(shù)字圖像利用功能516。此功能可表示編碼進(jìn)程，藉由該進(jìn)程將數(shù)字圖像514 編碼為視頻位流。此功能可表示顯示功能，藉由該功能在顯示器上產(chǎn)生數(shù)字圖像514。此功能可表示打印功能，藉由該功能打印數(shù)字圖像514。此功能亦可表示共享功能，藉由該功能與其他裝置共享數(shù)字圖像514。以上所提及的(方法)為可如何利用數(shù)字圖像514的示例，且無(wú)限制。若完成圖像捕捉序列518，則終止捕捉進(jìn)程520。否則，捕捉進(jìn)程評(píng)估來(lái)自傳感器 522的下一讀取是否為第一組像素或第一組像素及第二組像素，且重復(fù)讀出并迭代處理循環(huán)直到完成捕捉進(jìn)程。所提出的發(fā)明能夠與具有任意彩色濾光片陣列圖案的圖像傳感器一起使用。所提出的發(fā)明亦能夠與僅使用全色像素的圖像傳感器一起使用。然而，在較佳實(shí)施例中，圖像傳感器具有全色像素及色彩像素兩者。全色像素為第一組像素，且色彩像素為第二組像素。在所提出的發(fā)明中，藉由交替地讀取全部全色像素、讀取色彩像素以及再次讀取這些全色像
13素來(lái)捕捉圖像序列。關(guān)于圖7中所示的彩色濾光片陣列圖案描述本發(fā)明的法。圖7繪示本發(fā)明的較佳實(shí)施例的示例彩色濾光片陣列圖案602。在此示例中，大約一半像素為全色604，而另一半為在紅色(R)606、綠色(G)608及藍(lán)色(B)610當(dāng)中分開(kāi)的色彩像素。該彩色濾光片陣列圖案602具有最小重復(fù)單元，該最小重復(fù)單元含有下列4乘4陣列中的16個(gè)像素PGPRGPRPPBPGB P G P。本領(lǐng)域技術(shù)人員將理解，在本發(fā)明的范圍內(nèi)，其他彩色濾光片陣列配置及最小重復(fù)單元是可能的?？山M合若干像素，且可讀出這種經(jīng)組合像素。在較佳實(shí)施例中，通過(guò)像素的像元合并來(lái)實(shí)現(xiàn)像素組合。如圖8中所示，可在讀出圖像傳感器期間使用各種像素像元合并方案。 圖8中示出圖像傳感器的兩個(gè)部分行701、702。在此示例中，傳感器陣列的底層讀出電路使用可切換地一次連接至一個(gè)或多個(gè)周?chē)袼氐母?dòng)擴(kuò)散704。對(duì)于數(shù)字圖像采集領(lǐng)域的技術(shù)人員，浮動(dòng)擴(kuò)散的實(shí)施方案及使用是公知的。圖8示出常規(guī)配置，其中各浮動(dòng)擴(kuò)散704提供四個(gè)周?chē)袼?，在一示例中該四個(gè)周?chē)袼厥緸橐粋€(gè)四像素組706?？蓪⑾袼匦盘?hào)切換至處于許多組合的任一組合中的浮動(dòng)擴(kuò)散704。在讀出組合 708中，四像素組706中的各像素使其電荷單獨(dú)地傳送至浮動(dòng)擴(kuò)散704，且由此個(gè)別地予以讀取。在讀出組合710中，像元合并全色像素P，亦即藉由同時(shí)將其所儲(chǔ)存的電荷清空至浮動(dòng)擴(kuò)散704來(lái)共享浮動(dòng)擴(kuò)散704 ；類(lèi)似地，像元合并該四像素組中的兩個(gè)色彩(G)像素，同時(shí)將其信號(hào)切換至浮動(dòng)擴(kuò)散704。在此像元合并方案中，全色像素僅與其他全色像素組合， 且色彩像素僅與其他色彩像素組合。在另一讀出組合712中，未像元合并全色像素P而是單獨(dú)地予以讀??；此處像元合并色彩像素(G)。在另一讀出組合714中，同時(shí)像元合并連接至給定浮動(dòng)擴(kuò)散單元的全部四個(gè)像素。在此像元合并方案中，全色像素與色彩像素及其他全色像素兩者組合。色彩像素與全色像素及其他色彩像素兩者組合。圖9示出根據(jù)本發(fā)明的較佳實(shí)施例的圖像傳感器的讀出圖案。此圖基于具有圖7 中所示的彩色濾光片陣列圖案的圖像傳感器并利用卷動(dòng)快門(mén)讀出。圖9中示出像素信號(hào)的若干連續(xù)讀出。此像素信號(hào)集合表示整個(gè)圖像捕捉進(jìn)程的一部分。整個(gè)圖像捕捉進(jìn)程可含有對(duì)在沿著時(shí)間軸的任一方向上延伸的像素信號(hào)的附加讀出。讀出804表示對(duì)應(yīng)于色彩像素與全色像素的組合的圖像傳感器的全部像素的讀出。對(duì)于連接至浮動(dòng)擴(kuò)散單元的像素的各四像素組，像元合并兩個(gè)色彩像素并讀取為單一值。亦單獨(dú)地像元合并兩個(gè)全色像素并讀取為單一值。當(dāng)組合時(shí)，它們給出對(duì)應(yīng)于經(jīng)像元合并全色/經(jīng)像元合并色彩讀出的像素信號(hào)810。在讀取這些像素之后，可重設(shè)這些像素804。在傳感器讀出過(guò)程期間，存取各浮動(dòng)擴(kuò)散單元兩次。亦根據(jù)806所給出的卷動(dòng)快門(mén)重設(shè)時(shí)間重設(shè)這些色彩像素。根據(jù)802所給出的卷動(dòng)快門(mén)時(shí)間讀出并重設(shè)這些全色像素。線條814示出各全色像素的整體曝光，其表示介于圖像傳感器的各行全色像素的重設(shè)與讀取之間的時(shí)間。無(wú)需任意像元合并讀出這些全色像素以產(chǎn)生像素信號(hào)812，使得在這些全色像素的整體讀出期間存取各浮動(dòng)擴(kuò)散單元兩次。因此，對(duì)全色像素802的讀出及對(duì)全色像素與色彩像素804的組合的讀出具有相同的讀出速率及相同的運(yùn)動(dòng)剪切屬性。此設(shè)計(jì)不但對(duì)于運(yùn)動(dòng)剪切有利，而且對(duì)于最小化未使用的光、同時(shí)維持對(duì)全部全色像素的相等曝光持續(xù)時(shí)間以及對(duì)全部色彩像素的相等曝光持續(xù)時(shí)間有利。根據(jù)808所給出的卷動(dòng)快門(mén)重設(shè)時(shí)間再次重設(shè)這些全色像素。讀取圖案在此階段重復(fù)，因?yàn)榻又鶕?jù)804所給出的卷動(dòng)快門(mén)讀取時(shí)間讀出整個(gè)圖像傳感器。在804處的這些全色像素讀出具有816所給出的較短曝光，而這些色彩像素具有818所給出的較長(zhǎng)曝光。 2008年10月25日提交的美國(guó)專(zhuān)利申請(qǐng)No. 12/258，389描述用于組合具有相對(duì)較短曝光的全色像素與具有相對(duì)較長(zhǎng)曝光的色彩像素的技術(shù)，該申請(qǐng)以引用方式包含于本文中。在圖9中，在未經(jīng)像元合并讀出之前，使這些全色像素曝光持續(xù)與其在經(jīng)像元合并讀出之前所曝光的持續(xù)時(shí)間不同的持續(xù)時(shí)間。具體而言，在經(jīng)像元合并讀出之前，使這些全色像素曝光持續(xù)其在未經(jīng)像元合并讀出之前所曝光的持續(xù)時(shí)間的大約一半的持續(xù)時(shí)間。 此為本發(fā)明的有利特征，因?yàn)檫@些全色像素信號(hào)被曝光平衡，使得不管在較短曝光持續(xù)時(shí)間下經(jīng)像元合并還是在較長(zhǎng)曝光持續(xù)時(shí)間下未經(jīng)像元合并，從對(duì)應(yīng)于這些全色像素的浮動(dòng)擴(kuò)散單元讀取的電荷近似相等。在圖9中，在全色像素讀出之前的全色像素的曝光與在色彩像素的后續(xù)讀出之前的色彩像素的曝光部分重迭。圖10更詳細(xì)地描述一種在完成對(duì)像素信號(hào)的各次讀出之后的圖像處理512方法。 可從此初始彩色濾光片陣列數(shù)據(jù)對(duì)作為經(jīng)像元合并色彩像素及經(jīng)像元合并全色像素的組合的像素信號(hào)810進(jìn)行色彩內(nèi)插，以產(chǎn)生四分之一分辨率的色彩圖像902。全色像素信號(hào) 812可被空間內(nèi)插以產(chǎn)生傳感器分辨率的全色圖像904。對(duì)應(yīng)于各次讀出而產(chǎn)生處于圖像傳感器的空間分辨率下的數(shù)字圖像906。對(duì)應(yīng)于全色像素信號(hào)812的讀出，使用來(lái)自傳感器分辨率的全色圖像904以及來(lái)自全色及色彩像素信號(hào)810的先前及后續(xù)讀出的四分之一分辨率的色彩圖像902的數(shù)據(jù)而產(chǎn)生傳感器分辨率的數(shù)字圖像906。對(duì)應(yīng)于作為全色及色彩像素信號(hào)810的組合的讀出，使用來(lái)自四分之一分辨率的色彩圖像902以及來(lái)自全色像素信號(hào)812的先前及后續(xù)讀出的傳感器分辨率的全色圖像904的數(shù)據(jù)而產(chǎn)生傳感器分辨率的數(shù)字圖像906。此方案需要某些緩沖。在各數(shù)字圖像906的形成中使用三次讀出。所提出的發(fā)明允許產(chǎn)生具有高空間分辨率、高時(shí)間分辨率及高圖像品質(zhì)的數(shù)字圖像906的圖像序列。對(duì)于根據(jù)先前方法的圖像序列捕捉，藉由重復(fù)讀取整個(gè)傳感器而產(chǎn)生具有高空間分辨率的圖像序列。讀出整個(gè)傳感器所需的時(shí)間比讀出經(jīng)像元合并的全色及經(jīng)像元合并的色彩像素信號(hào)810或全色像素信號(hào)812所需的時(shí)間更長(zhǎng)。因此，這種圖像序列的時(shí)間分辨率(亦即幀速率)低于使用所提出發(fā)明所實(shí)現(xiàn)的時(shí)間分辨率。圖11更詳細(xì)地描述在完成對(duì)像素信號(hào)的各次讀出之后的另一種圖像處理512方法?？蓮拇顺跏疾噬珵V光片陣列數(shù)據(jù)對(duì)作為經(jīng)像元合并的色彩像素及經(jīng)像元合并的全色像素的組合的像素信號(hào)810色彩內(nèi)插，以產(chǎn)生四分之一分辨率的色彩圖像902。全色像素信號(hào)812可被空間內(nèi)插以產(chǎn)生傳感器分辨率的全色圖像904。對(duì)應(yīng)于各次讀出而產(chǎn)生處于傳感器空間分辨率的四分之一(一半水平分辨率和一半垂直分辨率)的數(shù)字圖像1002。對(duì)應(yīng)于全色像素信號(hào)812，使用來(lái)自傳感器分辨率的全色圖像904以及來(lái)自全色及色彩像素信號(hào)的先前及后續(xù)讀出的四分之一分辨率的色彩圖像902的數(shù)據(jù)而產(chǎn)生經(jīng)增強(qiáng)的四分之一分辨率的數(shù)字圖像1002。對(duì)應(yīng)于作為全色及色彩像素信號(hào)810的組合的讀出，使用來(lái)自四分之一分辨率的色彩圖像902以及來(lái)自先前及后續(xù)的全色像素信號(hào)812的傳感器分辨率的全色圖像904的數(shù)據(jù)而產(chǎn)生經(jīng)增強(qiáng)的四分之一分辨率的數(shù)字圖像1002。此方案需要某些緩沖。在各數(shù)字圖像1002的形成中使用三次讀出。所提出的發(fā)明允許產(chǎn)生具有改良的空間分辨率、高時(shí)間分辨率及高圖像品質(zhì)的數(shù)字圖像1002的圖像序列。對(duì)于根據(jù)先前方法的圖像序列捕捉，可藉由重復(fù)像元合并或子取樣并讀取傳感器而產(chǎn)生四分之一分辨率圖像的圖像序列。為了讀出處于高時(shí)間分辨率下的圖像序列，將各次讀出像元合并或子取樣為傳感器分辨率的四分之一。因此，圖像序列的空間分辨率受到限制。在所提出的本發(fā)明中，對(duì)全色像素信號(hào)812的讀出具有傳感器的空間分辨率，且由此可維持?jǐn)?shù)字圖像1002中的改良的高空間頻率信息。另外，在所提出的方法中，色彩像素可具有比幀速率的倒數(shù)更長(zhǎng)的曝光持續(xù)時(shí)間。在根據(jù)先前方法的圖像序列捕捉中，此是不可能的，因?yàn)楦鞔巫x出均為全傳感器讀出。經(jīng)延長(zhǎng)的色彩像素曝光持續(xù)時(shí)間允許獲得色彩像素的改良信噪比，并且改良這些數(shù)字圖像的整體圖像品質(zhì)。圖12更詳細(xì)地描述在完成對(duì)像素信號(hào)的各次讀出之后的另一種圖像處理512的方法?？蓮拇顺跏紴V光片陣列數(shù)據(jù)對(duì)作為經(jīng)像元合并的色彩像素及經(jīng)像元合并的全色像素的組合的像素信號(hào)810色彩內(nèi)插，以產(chǎn)生四分之一分辨率的色彩圖像902。全色像素信號(hào) 812可被空間內(nèi)插以產(chǎn)生傳感器分辨率的全色圖像904。對(duì)應(yīng)于全色像素信號(hào)812，使用來(lái)自傳感器分辨率的全色圖像904以及來(lái)自全色和色彩像素信號(hào)810的先前及后續(xù)讀出的四分之一分辨率的色彩圖像902的數(shù)據(jù)而產(chǎn)生經(jīng)增強(qiáng)的四分之一分辨率(一半水平空間分辨率，一半垂直空間分辨率)的數(shù)字圖像1002以及經(jīng)增強(qiáng)的傳感器分辨率的數(shù)字圖像906兩者。對(duì)應(yīng)于全色及色彩像素信號(hào)810的讀出，使用來(lái)自四分之一分辨率的色彩圖像902以及來(lái)自先前和后續(xù)的全色像素信號(hào)812的傳感器分辨率的全色圖像904的數(shù)據(jù)而產(chǎn)生經(jīng)增強(qiáng)的四分之一分辨率的數(shù)字圖像1002。此方案需要某些緩沖。在各四分之一分辨率的數(shù)字圖像906或傳感器分辨率的數(shù)字圖像1002的形成中使用三次讀出。所提出的發(fā)明允許同時(shí)產(chǎn)生低空間分辨率、高幀速率圖像序列以及高空間分辨率、低幀速率圖像序列。因此，有可能同時(shí)捕捉低分辨率圖像序列與高分辨率、高品質(zhì)的靜態(tài)圖像兩者。用于同時(shí)捕捉圖像序列與靜態(tài)圖像的先前解決方案通常需要附加硬件，或必須中斷圖像序列捕捉以獲取靜態(tài)圖像。對(duì)于圖12中所描述的圖像處理512，存在如何處理數(shù)字圖像514的多個(gè)選擇。在一方法中，將這些四分之一分辨率的色彩圖像902處理為第一序列，并將這些傳感器分辨率的色彩圖像處理為獨(dú)立的第二序列，且將該兩個(gè)序列儲(chǔ)存為單獨(dú)序列。圖13示出用于處置四分之一分辨率及傳感器分辨率的數(shù)字圖像514的替代方法。在上采樣塊1206中對(duì)四分之一分辨率的彩色圖像1202上采樣，以產(chǎn)生傳感器分辨率的上采樣彩色圖像1208。藉由從傳感器分辨率的彩色圖像1204減掉傳感器分辨率的上采樣彩色圖像1208而在殘留圖像形成塊1210中形成殘留圖像1212。儲(chǔ)存此殘留圖像1212以及四分之一分辨率的彩色圖像1202?？蓡为?dú)地或組合儲(chǔ)存兩個(gè)圖像。在一示例中，可使用壓縮語(yǔ)法和文件格式(諸如 JPEG壓縮標(biāo)準(zhǔn)及TIFF文件格式)儲(chǔ)存四分之一分辨率的彩色圖像1202，并可將殘留圖像 1212儲(chǔ)存為文件內(nèi)的元數(shù)據(jù)。在另一示例中，可使用壓縮語(yǔ)法及文件格式(諸如MPEG壓縮標(biāo)準(zhǔn)及Quicktime. MOV文件格式)儲(chǔ)存四分之一分辨率的彩色圖像1202，并可將該殘留圖
16像1212儲(chǔ)存為文件內(nèi)的元數(shù)據(jù)。文件閱讀器可忽略數(shù)據(jù)元數(shù)據(jù)而僅編碼四分之一分辨率的彩色圖像。智能文件閱讀器亦可提取元數(shù)據(jù)并重新建構(gòu)這些傳感器分辨率的彩色圖像。圖14示出根據(jù)本發(fā)明另一較佳實(shí)施例的圖像傳感器的讀出圖案和圖像產(chǎn)生。此附圖基于具有圖7中所示的彩色濾光片圖案并且利用卷動(dòng)快門(mén)讀出的圖像傳感器。圖14 中示出若干連續(xù)讀出。此像素信號(hào)集合表示整個(gè)圖像捕捉進(jìn)程的部分。整個(gè)圖像捕捉進(jìn)程可含有對(duì)在沿著時(shí)間軸的任一方向上延伸的像素信號(hào)的附加讀出。讀出1302表示對(duì)應(yīng)于色彩像素及全色像素的組合的圖像傳感器的全部像素的讀出。對(duì)于連接至浮動(dòng)擴(kuò)散單元的像素的各四像素組，像元合并兩個(gè)色彩像素及兩個(gè)全色像素并且讀取為單一值。當(dāng)組合時(shí)， 其產(chǎn)生具有經(jīng)稀釋拜耳圖案的像素信號(hào)1308。在讀取這些像素之后，亦在1302處重設(shè)這些像素。在傳感器讀出過(guò)程期間，存取各浮動(dòng)擴(kuò)散單元一次。亦根據(jù)1304所給出的卷動(dòng)重設(shè)時(shí)間重設(shè)這些色彩像素。根據(jù)1306所給出的卷動(dòng)快門(mén)時(shí)間讀取并重設(shè)這些全色像素。線條1316示出各全色像素的整體曝光，其表示介于圖像傳感器的各行的全色像素的重設(shè)與讀出之間的時(shí)間。藉由以像元合并讀取這些全色像素而產(chǎn)生全色像素信號(hào)1310，以使在對(duì)這些全色像素的整體讀出期間存取各浮動(dòng)擴(kuò)散單元一次。因此，全色像素讀出1306以及全色像素和色彩像素的讀出1302具有相同的讀出速率和相同的運(yùn)動(dòng)剪切屬性。此設(shè)計(jì)不但對(duì)于運(yùn)動(dòng)剪切有利，而且對(duì)于最小化未使用的光同時(shí)維持全部全色像素的相等曝光持續(xù)時(shí)間以及全部色彩像素的相等曝光持續(xù)時(shí)間有利。讀取圖案在此階段重復(fù)，因?yàn)榻又鶕?jù)1302所給出的卷動(dòng)快門(mén)重設(shè)時(shí)間讀取整個(gè)圖像傳感器。在1302處讀取的這些全色像素具有1318所給出的曝光，而這些色彩像素具有1320所給出的曝光。圖14示出色彩像素，這些色彩像素具有比在像素讀出1302處所讀出的全色像素的曝光持續(xù)時(shí)間1318更長(zhǎng)的曝光持續(xù)時(shí)間1320。然而，此關(guān)系是非固定的，且實(shí)際上，色彩像素曝光持續(xù)時(shí)間1320亦可比這些全色像素的曝光持續(xù)時(shí)間1318更短或與之相等。圖14亦更詳細(xì)地描述在完成對(duì)像素信號(hào)的各次讀出之后的一種圖像處理512方法。可組合對(duì)經(jīng)像元合并的色彩和全色像素信號(hào)1308的讀出與對(duì)經(jīng)像元合并的全色像素信號(hào)1310的鄰近讀出，以產(chǎn)生改良的全色和色彩像素圖像1312。類(lèi)似地，可組合對(duì)經(jīng)像元合并的全色像素信號(hào)1310的讀出與對(duì)經(jīng)像元合并的色彩和全色像素信號(hào)1308的鄰近讀出，以產(chǎn)生改良的全色和色彩像素圖像1312。該改良的全色及色彩像素圖像1312可被處理以產(chǎn)生經(jīng)增強(qiáng)的四分之一分辨率的彩色圖像1314。此方案需要某些緩沖。在各數(shù)字圖像 1314的形成中使用三次讀出。本發(fā)明的另一實(shí)施例提供經(jīng)擴(kuò)展的動(dòng)態(tài)范圍圖像。圖15及圖16中參考圖5更詳細(xì)地描述此實(shí)施例。圖15提供示例性像素陣列圖案1402。在此示例中，像素(Xl) 1404表示第一組像素，且像素(X》1406表示第二組像素。Xl及X2表示全色像素。圖5示出使用圖15中所示的濾光片陣列圖案的卷動(dòng)快門(mén)模式的時(shí)序序列。圖16更詳細(xì)地描述一種在完成對(duì)關(guān)于圖15中的像素陣列圖案的像素信號(hào)的各次讀出之后的圖6的圖像處理512方法?？蓮拇顺跏缄嚵袛?shù)據(jù)合適地處理像素信號(hào)420以產(chǎn)生圖像430。可從此初始陣列數(shù)據(jù)合適地處理像素信號(hào)422以產(chǎn)生圖像432。在此情況下， 圖像430和432為傳感器的水平分辨率的一半。各次讀出的像素信號(hào)按照這些讀出的全部的最長(zhǎng)曝光與讀出的曝光的比率縮放。這些經(jīng)縮放像素信號(hào)的總和按照讀出的像素信號(hào)數(shù)目標(biāo)準(zhǔn)化，以產(chǎn)生該讀出的圖像值。方程式1示出一種用于計(jì)算這些圖像值的簡(jiǎn)單方法& =像素信υω"方程式 L
f S其中Pe表示這些經(jīng)擴(kuò)展動(dòng)態(tài)范圍圖像值，r表示讀出，g表示讀出內(nèi)組的數(shù)目，Tf 表示最長(zhǎng)的曝光， ；, g表示讀出及組的曝光，且像素信號(hào)r,g表示讀出及組的像素信號(hào)。若像素信號(hào)大于上限或小于下限，則不在圖像值的計(jì)算中使用該像素信號(hào)并相應(yīng)地調(diào)整讀出 (g)的組的數(shù)目。下列對(duì)圖16的描述將闡明逐步進(jìn)程中的計(jì)算。參考圖5，線條414所示的曝光對(duì)應(yīng)于最長(zhǎng)的曝光(TF1)。從方程式2給出像素信號(hào)420的圖像值1 Pa= (TFl/TSl)*Xl(420)/g(420) 方程式 2其中以線條410所示的曝光(TSl)使XK420)曝光，線條414示出幀曝光(TFl)， 且讀出的像素信號(hào)數(shù)目為g (420)。讀出的像素信號(hào)數(shù)目g為對(duì)于該特定讀出所讀取的像素的組數(shù)。因?yàn)橄袼匦盘?hào)集合420僅含有一組像素(Xl)，故在方程式2中g(shù)(420)的值為1。 類(lèi)似地，從方程式3給出像素信號(hào)422的圖像值1 Pb = ((TF1/TS2) (422) +X2 (422)) /g (422) 方程式 3其中以線條412所示的曝光(TS2)對(duì)Xl (422)曝光，以線條414所示的最長(zhǎng)曝光 (TFl)對(duì)X2(422)曝光，且讀出的像素信號(hào)數(shù)目為W422)。方程式2中g(shù)(422)的值為2，因?yàn)橛袃山M像素用于計(jì)算此。若Xl或X2的值大于上限或小于下限，則不在圖像值的計(jì)算中使用Xl或X2并相應(yīng)地調(diào)整讀出(g)的組數(shù)。半分辨率圖像432及430被合并以產(chǎn)生具有經(jīng)擴(kuò)展動(dòng)態(tài)范圍值Pe的數(shù)字圖像434。在另一示例中，1 及1 相加并除以半分辨率圖像的數(shù)目以產(chǎn)生半分辨率數(shù)字圖像。在另一示例中，由1 及1 內(nèi)插值Pe以產(chǎn)生數(shù)字圖像。 本領(lǐng)域技術(shù)人員將理解，存在用于計(jì)算經(jīng)擴(kuò)展動(dòng)態(tài)范圍圖像的許多替代方法。圖17提供本發(fā)明的另一較佳實(shí)施例的示例性像素陣列圖案1412。在此示例中，像素(Xl) 1414、(X2) 1416、(X3) 1418及(X4) 1420表示四個(gè)不同組的全色像素。在另一實(shí)施例中，可使用色彩像素替換這些全色像素的一個(gè)或多個(gè)。色彩像素可將色彩信息提供給經(jīng)最后處理的圖像。色彩像素可提供與如在圖4中先前所述的全色像素不同的靈敏度。圖18示出根據(jù)本發(fā)明的另一較佳實(shí)施例的圖像傳感器的讀出圖案及圖像產(chǎn)生。 此附圖基于具有圖17中所示的像素陣列圖案并且利用卷動(dòng)快門(mén)讀出的圖像傳感器。此像素信號(hào)集合表示整個(gè)圖像捕捉進(jìn)程的一部分。整個(gè)圖像捕捉進(jìn)程可含有對(duì)在沿著時(shí)間軸的任一方向上延伸的像素信號(hào)的附加讀出。1504所給出的卷動(dòng)快門(mén)讀取時(shí)間表示對(duì)圖像傳感器的全部像素(X1、X2、X3及X4)的像素信號(hào)1510的讀取。在讀取這些像素之后，可重設(shè)這些像素1504。根據(jù)1502所給出的卷動(dòng)快門(mén)讀取時(shí)間讀出并重設(shè)這些Xl像素。線條1512示出各Xl像素的整體曝光(TSl)，其表示介于圖像傳感器的各行的這些Xl像素的重設(shè)與讀取之間的時(shí)間。像素信號(hào)1520表示對(duì)全部這些Xl像素的讀出。根據(jù)1506所給出的卷動(dòng)快門(mén)讀取時(shí)間再次讀出并重設(shè)這些Xl及X2像素。線條 1515示出各Xl像素的整體曝光(TS2)，其表示介于圖像傳感器的各行的這些Xl像素的重設(shè)與讀取之間的時(shí)間。線條1516示出各X2像素的整體曝光(TS3)，其表示介于圖像傳感器的各行的這些X2像素的重設(shè)與讀取之間的時(shí)間。像素信號(hào)1522表示對(duì)圖像傳感器的全部這些Xl及X2像素的讀出。此設(shè)計(jì)是有利的，因?yàn)槠渥钚』词褂玫墓馔瑫r(shí)擴(kuò)展傳感器的動(dòng)態(tài)范圍。讀取圖案在此階段重復(fù)，因?yàn)榻又淖x出是根據(jù)1504所給出的卷動(dòng)快門(mén)讀取時(shí)間對(duì)整個(gè)圖像傳感器的讀出。在1504處讀出的這些像素的某些像素具有由1517所給出的較短曝光(TS4)，而其他像素具有1518所給出的較長(zhǎng)曝光(TFl)。在圖18中，以不同持續(xù)時(shí)間使這些像素曝光。此為本發(fā)明的有利特征，因?yàn)檫@些不同的曝光允許在一組像素內(nèi)的更大動(dòng)態(tài)范圍。本發(fā)明的另一有利特征在于讀取并且可使用可到達(dá)傳感器的每個(gè)光子。另外，某些像素組可與其他像素組像元合并以有效地使靈敏度翻倍。例如，可對(duì)于像素信號(hào)1510像元合并來(lái)自組X3及X4的像素?？蓪?duì)于像素信號(hào) 1510像元合并來(lái)自組Xl及X2的像素。可像元合并具有給定讀出的相等曝光的像素組。類(lèi)似于對(duì)于圖16所給出的解釋進(jìn)行圖像值計(jì)算。可從此初始陣列數(shù)據(jù)合適地處理像素信號(hào)1520以產(chǎn)生圖像430?？蓮拇顺跏缄嚵袛?shù)據(jù)合適地處理像素信號(hào)1522以產(chǎn)生圖像432?？蓮拇顺跏缄嚵袛?shù)據(jù)合適地處理像素信號(hào)1510以產(chǎn)生圖像436。根據(jù)方程式2 計(jì)算圖像值I^a。根據(jù)方程式4計(jì)算圖像值1 Pb = ((TFl/TS2)*Xl+(TFl/TS3)*X2)/g 方程式 4其中以線條1515所示的曝光(TS2)對(duì)Xl (1522)曝光，以線條1516所示的曝光(TS;3)對(duì)X2(152》曝光，線條1518示出最長(zhǎng)曝光(TFl)，且讀出的像素信號(hào)數(shù)目為 g(1522)。方程式5給出像素信號(hào)1510的圖像值PfPf = ((TF1/TS4) * (X1+X2) +X3+X4) /g 方程式 5其中以線條1517所示的曝光(TS3)對(duì)Xl (1510)及X2(1510)曝光，以線條1518 所示的最長(zhǎng)曝光(TFl)對(duì)X3(1510)及X4(1510)曝光，且讀出的像素信號(hào)數(shù)目為g (1510)。 若對(duì)于讀出1510像元合并像素組Xl及X2，對(duì)Xl與X2的總和施加標(biāo)量以適應(yīng)像元合并。 類(lèi)似地，若對(duì)于讀出1510像元合并X3及X4，則對(duì)X3與X4的總和施加標(biāo)量。圖像430、432 及436被合并以產(chǎn)生具有經(jīng)擴(kuò)展動(dòng)態(tài)范圍值Pe的數(shù)字圖像434。 本領(lǐng)域技術(shù)人員將理解，常規(guī)自動(dòng)曝光技術(shù)及電路可被調(diào)適以適應(yīng)本發(fā)明的若干實(shí)施例所提供的多組信號(hào)。在足夠長(zhǎng)以收集全部像素的可檢測(cè)量電荷的時(shí)間周期期間積分電荷，同時(shí)需要較小約束以避免使存儲(chǔ)元件飽和。藉由對(duì)于給定場(chǎng)景最優(yōu)化這些像素組各自的曝光持續(xù)時(shí)間，通?？珊线m地曝光圖像的經(jīng)裁剪最明亮區(qū)域及黑暗區(qū)域。具有高動(dòng)態(tài)范圍的場(chǎng)景將提供比具有較低動(dòng)態(tài)范圍的場(chǎng)景更高的動(dòng)態(tài)范圍圖像。圖19示出本發(fā)明的較佳實(shí)施例的示例性彩色濾光片陣列圖案1702。在此示例中， 像素為全色(P) 1704、紅色(R) 1706、綠色(G) 1708及藍(lán)色(B) 1710。該彩色濾光片陣列圖案 1702具有最小重復(fù)單元，該最小重復(fù)單元含有下列4乘4陣列中的16個(gè)像素GPBPPPPPRPGPP P P P。本領(lǐng)域技術(shù)人員將理解，在本發(fā)明的范圍內(nèi)，其他彩色濾光片陣列配置及最小重復(fù)單元是可能的。圖20示出根據(jù)本發(fā)明的另一較佳實(shí)施例的圖像傳感器的讀出圖案及圖像產(chǎn)生。此附圖基于具有圖19中所示的彩色濾光片陣列圖案并且利用卷動(dòng)快門(mén)讀出的圖
19像傳感器。此為圖18中所示的讀出圖案的略有不同的變體，其變更之處在于色彩像素已經(jīng)取代這些全色像素X2之一。在需要具有某些色彩信息的更大動(dòng)態(tài)范圍應(yīng)用中，這是有用的。此像素信號(hào)集合表示整個(gè)圖像捕捉進(jìn)程的一部分。整個(gè)圖像捕捉進(jìn)程可含有對(duì)在沿著時(shí)間軸的任一方向上延伸的像素信號(hào)的附加讀出。1804所給出的卷動(dòng)快門(mén)讀取時(shí)間表示圖像傳感器的全部像素(XI、色彩、X3及X4)的像素信號(hào)1810的讀出。在讀取這些像素之后，可重設(shè)這些像素1804。根據(jù)1802所給出的卷動(dòng)快門(mén)讀取時(shí)間讀出并重設(shè)這些Xl像素。線條1812示出各Xl像素的整體曝光，其表示介于圖像傳感器的各行的這些Xi像素的重設(shè)與讀取之間的時(shí)間。像素信號(hào)1820表示對(duì)全部這些Xl像素的讀出。根據(jù)1806所給出的卷動(dòng)快門(mén)讀取時(shí)間再次讀出并重設(shè)這些Xl及X4像素。線條 1815示出各Xl像素的整體曝光，其表示介于圖像傳感器的各行的這些Xl像素的重設(shè)與讀取之間的時(shí)間。線條1816示出各X4像素的整體曝光，其表示介于圖像傳感器的各行的這些X4像素的重設(shè)與讀取之間的時(shí)間。像素信號(hào)1822表示對(duì)圖像傳感器的全部這些Xl及 X4像素的讀出。此設(shè)計(jì)是有利的，因?yàn)槠渥钚』词褂玫墓馔瑫r(shí)擴(kuò)展傳感器的動(dòng)態(tài)范圍。讀取圖案在此階段重復(fù)，因?yàn)榻又淖x出是根據(jù)1804所給出的卷動(dòng)快門(mén)讀取時(shí)間對(duì)整個(gè)圖像傳感器的讀出。在1804處讀出的這些像素的某些像素具有由1817所給出的較短曝光，而其他像素具有1818所給出的較長(zhǎng)曝光。在圖18中，以不同持續(xù)時(shí)間使這些像素曝光。此為本發(fā)明的有利特征，因?yàn)檫@些不同的曝光允許在一組像素內(nèi)的更大動(dòng)態(tài)范圍。本發(fā)明的另一有利特征在于讀取并且可使用可到達(dá)傳感器的每個(gè)光子。另外，某些像素組可與其他像素組像元合并以有效地使靈敏度翻倍。例如，可對(duì)于像素信號(hào)1810像元合并來(lái)自組X3及色彩的像素?？蓪?duì)于像素信號(hào)
810像元合并來(lái)自組Xl及X4的像素?？上裨喜?duì)給定讀出具有相同曝光的像素組。
0142]本領(lǐng)域技術(shù)人員將S0143]部件列表0144]10光0145]11成像級(jí)0146]12透鏡0147]13濾光區(qū)塊0148]14虹膜0149]16傳感器區(qū)塊0150]18快門(mén)區(qū)塊0151]20圖像傳感器0152]22模擬信號(hào)處理器0153]24A/D轉(zhuǎn)換器0154]26時(shí)序產(chǎn)生器0155]28傳感器級(jí)0156]30總線0157]32DSP存儲(chǔ)器0158]36數(shù)字信號(hào)處理器
38處理級(jí)
40曝光控制器
50系統(tǒng)控制器
52總線
54程序存儲(chǔ)器
56系統(tǒng)存儲(chǔ)器
57主機(jī)接口
60存儲(chǔ)器卡接口
62插口
64存儲(chǔ)器卡
68用戶接口
70取景器顯示器
72曝光顯示器
74用戶輸入
76狀態(tài)顯示器
80視頻編碼器
82顯示控制器
88圖像顯示器
100區(qū)塊
102區(qū)塊
110濾光片透射曲線
112全色光響應(yīng)曲線
114彩色光響應(yīng)曲線
116彩色光響應(yīng)曲線
118彩色光響應(yīng)曲線
300重設(shè)程序
302讀出程序
320像素積分時(shí)間
402卷動(dòng)快門(mén)讀取時(shí)間
404卷動(dòng)快門(mén)讀取時(shí)間
410像素曝光
412像素曝光
414像素曝光
420像素信號(hào)
422像素信號(hào)
430圖像
432圖像
434數(shù)字圖像
436圖像
說(shuō)明書(shū)
18/21頁(yè)
21
502圖像捕捉序列504傳感器506傳感器508圖像傳感器510像素信號(hào)512圖像處理步驟514數(shù)字圖像516數(shù)字圖像利用率518圖像捕捉完成查詢(xún)520圖像捕捉程序終止522來(lái)自傳感器的下ー讀取602彩色濾光片陣列圖案604全色像素606紅色像素608綠色像素610藍(lán)色像素701對(duì)亍702對(duì)亍704浮動(dòng)擴(kuò)散706像素的四像素組708讀出組合710讀出組合712讀出組合714讀出組合802全色像素讀出804像素讀出及重設(shè)806卷動(dòng)快門(mén)重設(shè)時(shí)間808卷動(dòng)快門(mén)重設(shè)時(shí)間810全色及彩色像素信號(hào)812像素信號(hào)814全色像素曝光816全色像素曝光818彩色像素曝光902四分之一分辨率彩色像素904傳感器分辨率全色像素906數(shù)字圖像1002數(shù)字圖像1202四分之一分辨率彩色圖像1204傳感器分辨率彩色圖像
1206上采樣區(qū)塊
1208傳感器分辨率的上采樣彩色圖像
1210殘留圖像形成區(qū)塊
1212殘留圖像
1302像素讀出及重設(shè)
1304彩色像素重設(shè)
1306全色像素讀出及重設(shè)
1308像素信號(hào)
1310全色像素信號(hào)
1312彩色像素圖像
1314數(shù)字圖像
1316全色像素曝光
1318全色像素曝光
1320彩色像素曝光
1402像素陣列圖案
1404第一組像素
1406第二組像素
1412像素陣列圖案
1414第一組像素
1416第二組像素
1418第三組像素
1420第四組像素
1502卷動(dòng)快門(mén)讀取時(shí)間
1504卷動(dòng)快門(mén)讀取時(shí)間
1506卷動(dòng)快門(mén)讀取時(shí)間
1510像素信號(hào)
1512像素曝光
1515像素曝光
1516像素曝光
1517像素曝光
1518像素曝光
1520像素信號(hào)
1522像素信號(hào)
1702彩色濾光片陣列圖案
1704第一組像素
1706第二組像素
1708第三組像素
1710第四組像素
1802像素讀出及重設(shè)
1804像素讀出及■設(shè)
1806像素讀出及■設(shè)
1810像素信號(hào)
1812像素閑I光
1815像素閑I光
1816像素閑I光
1817像素閑I光
1818像素閑I光
1820像素信號(hào)
1822像素信號(hào)
權(quán)利要求
1.一種用于從圖像傳感器陣列所捕捉的像素信號(hào)產(chǎn)生數(shù)字圖像的方法，所述方法包括下列步驟a)提供具有至少兩組像素之一圖像傳感器陣列，其中任一組像素的數(shù)目具有不少于所述整個(gè)傳感器的產(chǎn)生所述數(shù)字圖像的部分像素的數(shù)目的四分之一，且其中各組像素被均勻地分布在所述傳感器上；b)將所述圖像傳感器陣列曝光于場(chǎng)景光并僅從第一組像素讀取像素電荷以產(chǎn)生第一像素信號(hào)集合；c)在產(chǎn)生所述第一像素信號(hào)集合之后，使所述圖像傳感器陣列曝光，然后從第二組像素讀取像素電荷且再次從所述第一組讀取像素以產(chǎn)生第二像素信號(hào)集合；以及d)使用所述第一像素信號(hào)集合和所述第二像素信號(hào)集合來(lái)產(chǎn)生所述數(shù)字圖像。
2.如權(quán)利要求1所述的方法，其特征在于，所述像素包含全色像素或全色和色彩像素。
3.如權(quán)利要求1所述的方法，其特征在于，所述步驟a)進(jìn)一步包含對(duì)于所述第一組像素具有全色像素以及對(duì)于所述第二組像素具有色彩像素，其中所述全色像素是像素總數(shù)目的至少一半，且所述色彩像素具有至少兩種不同色彩。
4.如權(quán)利要求1所述的方法，其特征在于，步驟b)進(jìn)一步包含組合像素并且讀出所述經(jīng)組合像素。
5.如權(quán)利要求1所述的方法，其特征在于，步驟c)進(jìn)一步包含組合像素并且讀出所述經(jīng)組合像素。
6.如權(quán)利要求5所述的方法，其特征在于，所述經(jīng)組合像素為全色像素和色彩像素，以使全色像素僅與其他全色像素組合，且色彩像素僅與其他色彩像素組合。
7.如權(quán)利要求3所述的方法，其特征在于，所述經(jīng)組合像素為全色像素和色彩像素，以使全色像素與色彩像素和其他全色像素兩者組合，且色彩像素與全色像素和其他色彩像素兩者組合。
8.如權(quán)利要求1所述的方法，其特征在于，所述第一組像素與所述第二組像素的步驟 c)的曝光持續(xù)時(shí)間不同。
9.如權(quán)利要求1所述的方法，其特征在于，所述第一組像素的步驟b)的曝光持續(xù)時(shí)間與所述第一組像素的步驟c)的曝光持續(xù)時(shí)間不同。
10.如權(quán)利要求9所述的方法，其特征在于，第一組像素的步驟c)的曝光持續(xù)時(shí)間大約為所述第一組像素的步驟b)的曝光持續(xù)時(shí)間的一半。
11.如權(quán)利要求1所述的方法，其特征在于，第二組像素的步驟C)的曝光與所述第一組像素的步驟b)的曝光至少部分重迭。
12.如權(quán)利要求3所述的方法，其特征在于，所述圖像傳感器陣列具有全色P、第一色彩 A、第二色彩B以及第三色彩C像素，且其中使用下列最小重復(fù)單元配置所述像素PBPABPAPPCPBC P B P。
13.如權(quán)利要求12所述的方法，其特征在于，A為紅色，B為綠色且C為藍(lán)色。
14.如權(quán)利要求1所述的方法，其特征在于，所述圖像傳感器陣列具有全色P、第一色彩A、第二色彩B及第三色彩C像素，且其中使用下列最小重復(fù)單元配置所述像素PPPPPAPBPPPPP B P C。
15.如權(quán)利要求14所述的方法，其特征在于，A為紅色，B為綠色且C為藍(lán)色。
16.如權(quán)利要求1所述的方法，其特征在于，在步驟b)和c)中讀出像素電荷使用卷動(dòng)電子快門(mén)序列來(lái)完成。
17.如權(quán)利要求12所述的方法，其特征在于，第一組像素產(chǎn)生所述第一像素信號(hào)集合， 且第一組像素組合以及第二組像素組合以產(chǎn)生所述第二像素信號(hào)集合。
18.如權(quán)利要求所述12的方法，其特征在于，第一組像素組合以產(chǎn)生所述第一像素信號(hào)集合，且第一組像素與第二組像素組合在一起以產(chǎn)生所述第二像素信號(hào)集合。
19.如權(quán)利要求1所述的方法，其特征在于，在步驟d)中所產(chǎn)生的所述數(shù)字圖像大致具有所述圖像傳感器陣列的空間分辨率。
20.如權(quán)利要求1所述的方法，其特征在于，在步驟d)中所產(chǎn)生的所述數(shù)字圖像大致具有所述圖像傳感器陣列的一半垂直空間分辨率和一半水平空間分辨率。
21.如權(quán)利要求1所述的方法，其特征在于，步驟d)產(chǎn)生大致具有所述圖像傳感器陣列的空間分辨率的第一數(shù)字圖像，以及大致具有所述圖像傳感器陣列的一半垂直空間分辨率和一半水平空間分辨率第二數(shù)字圖像兩者。
22.如權(quán)利要求21所述的方法，其特征在于，所述第一數(shù)字圖像與所述第二數(shù)字圖像分開(kāi)儲(chǔ)存。
23.如權(quán)利要求21所述的方法，其特征在于，在所述第一數(shù)字圖像與所述第二數(shù)字圖像的空間上采樣版本之間形成殘留圖像。
24.如權(quán)利要求23所述的方法，其特征在于，所述殘留圖像作為元數(shù)據(jù)連同所述第二數(shù)字圖像一起儲(chǔ)存。
25.一種用于從圖像傳感器陣列所捕捉的像素信號(hào)產(chǎn)生數(shù)字圖像的方法，所述方法包括下列步驟a)提供具有至少兩組像素的圖像傳感器陣列，其中任一組像素的數(shù)目具有不少于所述整個(gè)傳感器的產(chǎn)生所述數(shù)字圖像的部分的像素的數(shù)目的四分之一，且其中各組像素被均勻地分布在所述傳感器上；b)將所述圖像傳感器陣列曝光于場(chǎng)景光并從第一組像素和第二組像素讀取像素電荷以產(chǎn)生第一像素信號(hào)集合；c)在產(chǎn)生所述第一像素信號(hào)集合之后，使所述圖像傳感器陣列曝光，然后再次從所述第一組像素讀取像素電荷以產(chǎn)生第二像素信號(hào)集合；及d)使用所述第一像素信號(hào)集合和所述第二像素信號(hào)集合來(lái)產(chǎn)生所述數(shù)字圖像。
全文摘要
本發(fā)明揭示一種用于從由圖像傳感器陣列所捕捉的像素信號(hào)產(chǎn)生數(shù)字圖像的方法。該方法包含提供具有至少兩組像素之一圖像傳感器陣列，其中各組的像素被均勻地分布在傳感器上；將該圖像傳感器陣列曝光于場(chǎng)景光并僅從第一組像素讀取像素電荷以產(chǎn)生第一像素信號(hào)集合；在產(chǎn)生該第一像素信號(hào)集合之后，使圖像傳感器陣列曝光，然后從第二組像素讀取像素電荷且再次從該第一組讀取像素以產(chǎn)生第二像素信號(hào)集合；以及使用第一像素信號(hào)集合和第二像素信號(hào)集合來(lái)產(chǎn)生數(shù)字圖像。
文檔編號(hào)H04N5/355GK102365861SQ201080015712
公開(kāi)日2012年2月29日 申請(qǐng)日期2010年3月30日 優(yōu)先權(quán)日2009年4月1日
發(fā)明者A·D·恩格, A·T·迪弗爾, B·H·皮爾曼, J·T·康普頓 申請(qǐng)人:美商豪威科技股份有限公司