專利名稱：具有兩種工作模式的圖像捕捉系統(tǒng)和方法
具有兩種工作模式的圖像捕捉系統(tǒng)和方法本發(fā)明涉及(靜止或運動)圖像捕捉數(shù)字系統(tǒng)，例如照相機、攝像機、照相電話 (能捕捉圖像的移動電話)、掃描儀、傳真機、內(nèi)窺鏡、監(jiān)視攝像機、玩具、個人助理、電腦、熱感照相機、超聲診斷儀、IRM(核磁共振)成像系統(tǒng)、X射線成像設(shè)備等等。其通常包括含有多個光敏元件的傳感器，以及使光線向傳感器對焦的光學系統(tǒng)。 所述光敏元件被稱為像素，能把接收到的光線量轉(zhuǎn)變?yōu)閿?shù)字值。傳感器可例如是CCD電荷耦合檢測器(Charged Coupled Device，電荷耦合器件)、CM0S (互補金屬氧化物半導體)器件、CID (Charge Induced Device,電荷感應器件)、 IRCCD (紅外 CCD)，ICCD (增強 CCD)，EBCCD (Electron Bombarded CCD，電子轟擊 CCD)， MIS (Metal Insulator Semiconductor，金屬絕緣體半導體)器件、APS (Active Pixel Sensor，有源像素傳感器)、QWIP (Quantum Well Infrared Photodetectors，量子阱紅外光電檢測器)、MPQ(Multi_Puits Quantiques,多量子阱)器件、對光譜和/或其它電磁頻譜敏感的傳感器，或其它傳感器。其可以被連接在拜耳濾波器上，從而獲得彩色圖像。某些所述傳感器可包括數(shù)百萬像素，目前被使用來計算傳感器像素的單位是兆像素。更確切地，本發(fā)明涉及的問題是需通過所述圖像捕捉系統(tǒng)獲取銳利的圖像。已知圖像捕捉系統(tǒng)包括光學系統(tǒng)、數(shù)字圖像傳感器以及自動對焦模塊。光學系統(tǒng)是指包括一個或者多個元件尤其是透鏡、反射鏡和/或折射元件的光學系統(tǒng)。自動對焦模塊包括適合調(diào)整系統(tǒng)的對焦，從而獲得銳利的圖像的自動對焦功能。對焦操作旨在使從光學系統(tǒng)出來的光線匯聚于圖像傳感器處。匯聚是指使在圖像傳感器處所獲得的圖像斑點的尺寸最小化。通常，通過連續(xù)的迭代確定所述對焦遍歷所述自動對焦模塊可訪問的各種配置， 并對所述配置分別測量銳度，例如當涉及彩色圖像時，可測量綠色成分。注意，在本文件中，“色彩成分”和“色彩”對應相同的概念。然而，使用自動對焦模塊存在兩主要的缺點用來確定最優(yōu)配置的時間可能較長 (該時間被稱為“對焦延時”)，以及，尤其在用來進行移動時產(chǎn)生的電能消耗較大。在圖5上示出了現(xiàn)有技術(shù)下帶有自動對焦組件的傳感系統(tǒng)的耗電量在點Jl和 Kl之間的曲線11代表當系統(tǒng)在設(shè)于無限遠的對象和近處對象之間進行對焦的情況下，根據(jù)失焦值得到的電強度值。點JI對應于零失焦(無限遠的對象)而點Kl對應于最大失焦 (近處對象)。該圖是作為舉例給出的。失焦-耗電量關(guān)系可以根據(jù)所使用的自動對焦模塊類型而發(fā)生變化。此外，正是所述原因，在大部分的照相手機中，當使用者在預顯示模式中(也就是當圖像僅在低分辨率例如最大320像素X400像素下被捕捉時(把圖像所含像素的數(shù)量稱為分辨率)，即在使用者以更大分辨率真正啟動圖像捕捉之前)使用照相手機時，未啟動自動對焦模塊(對無限遠的對象，其固定不變)。自動對焦模塊僅在使用者啟動圖像捕捉時才被啟動。因此理論上不會知道該圖像捕捉得到的圖像是否會模糊。
因此需要有一種能獲得銳利圖像同時使耗能和對焦延時最小化的方法。為此，按照第一方面，本發(fā)明提出被配置為捕捉至少一個場景圖像的數(shù)字圖像捕捉系統(tǒng)，所述系統(tǒng)包括光學系統(tǒng)、傳感器、被配置為調(diào)整系統(tǒng)對焦的自動對焦模塊以及數(shù)字
處理裝置。該系統(tǒng)被配置為估算代表在場景的被捕捉到的至少一個初始圖像的至少一個區(qū)域上的銳度的值，自動對焦模塊被配置為以系統(tǒng)的預定對焦來捕捉所述初始圖像。系統(tǒng)還被配置為至少根據(jù)代表所估算的銳度的值在第一模式和第二模式之中挑選工作模式。在第一模式中，使用自動對焦模塊來調(diào)整系統(tǒng)的對焦，從而捕捉所述場景的更銳利的圖像，而在第二模式中，所捕捉的初始圖像或另一圖像經(jīng)由數(shù)字處理裝置處理，所述另一圖像是以系統(tǒng)的所述預定對焦捕捉的。通過在適合時使用數(shù)字處理單元，以及對確實需改進銳度的情況保留對自動對焦模塊的使用，所述系統(tǒng)能改善由捕捉系統(tǒng)提供的圖像的銳度，并減少延時和所需的能耗。對焦調(diào)整通常借助于以下手段實現(xiàn)借助致動器(音圈技術(shù)、步進馬達、壓電裝置、MEMS (微機電系統(tǒng))，USM(超聲波馬達)或其它裝置)來移動光學系統(tǒng)和/或傳感器， 或者使光學系統(tǒng)內(nèi)部的元件發(fā)生移動，還可以使用能改變構(gòu)成光學系統(tǒng)的元件的形狀和/ 或位置的液體透鏡或任何其它類型的電、機械和/或磁裝置，從而使傳感器位于所捕捉場景的圖像對焦平面內(nèi)。液晶相位調(diào)制裝置(DPLC)的使用是通過改變光學系統(tǒng)特性來調(diào)整對焦的另一示例。本發(fā)明包括設(shè)置自動對焦模塊，從而以系統(tǒng)的預定對焦捕捉圖像的步驟。預定對焦是指在未啟動自動對焦模塊時獲得的對焦，并且最好是在所述預定對焦的所有位置，對焦都保持穩(wěn)定，而不消耗電流或盡可能小地消耗電流?？梢栽谧詣訉鼓K休止的狀態(tài)或在改變對焦之后得到的狀態(tài)下得到所述預定對焦。更好地，所述預定對焦可以是能允許以最大景深在無限遠處獲得銳利圖像的超焦距對焦，或用來例如使第二模式下的景深最大化而確定的另一種對焦。所述預定對焦還取決于使用者對例如光學系統(tǒng)的孔徑或焦距的調(diào)節(jié)或光學系統(tǒng)的孔徑或焦距的自動調(diào)節(jié)。所述預定對焦還可以是在系統(tǒng)啟動之后或在系統(tǒng)運作過程中，尤其在實施第一模式之后得到的任何位置。本發(fā)明使用圖像處理裝置。圖像處理裝置可以與傳感器和光學系統(tǒng)合為一體或位于通過傳輸裝置被連接到圖像捕捉系統(tǒng)的獨立設(shè)備中。把可輸入一個或多個圖像且在所述圖像上進行處理的軟件稱為圖像處理裝置。所述處理尤其可以包括-計算被修正的圖像，和/或-進行測量，和/或-組合多個圖像，和/或-改善圖像的保真度，和/或-改善圖像主體的質(zhì)量，和/或-在場景內(nèi)探測物或人，和/或-在場景內(nèi)加入物或人，和/或
-在場景內(nèi)替換或改變物或人，和/或-抹去場景內(nèi)的陰影，和/或-增加場景內(nèi)的陰影，和/或-在圖像數(shù)據(jù)庫中搜索對象在一實施方式中，例如在捕捉初始圖像之后捕捉所述另一圖像。在一實施方式中，系統(tǒng)被配置為捕捉圖像序列，且其還包括當以所述預定對焦或另一對焦捕捉至少一個隨后的圖像時，能根據(jù)代表從該隨后的圖像估算的銳度的值，在第一模式和第二模式之中選擇工作模式的裝置，在第二模式中，該隨后的圖像或所述另一圖像經(jīng)由數(shù)字處理裝置被處理，所述另一圖像是用與該隨后的圖像相同的對焦被捕捉的。在一實施方式中，在第二工作模式中，數(shù)字處理裝置被配置為對初始圖像、該隨后的圖像或被捕捉的所述另一圖像施加改進銳度的數(shù)字圖像處理，而無需使用自動對焦模塊。在所述實施方式中，第一和第二工作模式被用來獲得場景更銳利的圖像。在一實施方式中，所述另一圖像例如在捕捉初始圖像之后被捕捉。在按照本發(fā)明的圖像捕捉系統(tǒng)的一實施方式中，代表銳度的值根據(jù)以下被確定-初始圖像上至少兩色彩成分各自的銳度之間的關(guān)系；和/或-初始圖像上至少兩色彩成分各自的銳度之間的對比。所述裝置可允許僅在對初始圖像所實現(xiàn)的測量基礎(chǔ)上選擇工作模式。在一實施方式中，圖像捕捉系統(tǒng)還被配置為在選擇第一工作模式之后，根據(jù)以下選擇對對焦的調(diào)整-根據(jù)初始圖像確定的至少兩色彩各自的銳度之間的關(guān)系；和/或-在初始圖像的至少一個區(qū)域以及在至少一個色彩上的像散測量。所述裝置由此能減少自動對焦功能所實施的必要迭代次數(shù)，且由此減少了所需的延時和能耗。在一實施方式中，圖像捕捉系統(tǒng)還被配置為，在選擇第二工作模式之后，在經(jīng)由數(shù)字處理裝置處理的圖像的至少一個區(qū)域上，識別出較銳利的色彩成分和較不銳利的色彩成分，從而能根據(jù)較銳利的色彩的圖像像素亮度，對較不銳利的色彩改變被處理圖像的像素亮度。所述裝置因此能經(jīng)由數(shù)字處理輕松地改進被處理圖像的銳度。按照第二方面，本發(fā)明提出用于包括光學系統(tǒng)、傳感器和自動對焦模塊以及數(shù)字處理裝置的系統(tǒng)的圖像捕捉方法，所述自動對焦模塊用來調(diào)節(jié)該系統(tǒng)的對焦，該方法包括以下步驟-估算代表捕捉的場景的至少一個初始圖像的至少一個區(qū)域上的銳度的值，所述自動對焦模塊被設(shè)置用來以系統(tǒng)的預定對焦來捕捉所述初始圖像；至少根據(jù)代表所估算的銳度的值，在第一模式和第二模式之中選擇工作模式，其中，在第一模式中，使用所述自動對焦模塊調(diào)整系統(tǒng)的對焦，以捕捉場景的更銳利的圖像；且在第二模式中，被捕捉的初始圖像經(jīng)由數(shù)字處理裝置被處理，另一圖像以系統(tǒng)的所述預定對焦被捕捉。按照第三方面，本發(fā)明提出安裝在圖像捕捉系統(tǒng)的處理模塊中的信息程序和/或電子部件，該圖像捕捉系統(tǒng)被配置為捕捉場景的至少一個圖像，且包括光學系統(tǒng)、傳感器、 被配置為調(diào)整系統(tǒng)對焦的自動對焦模塊，所述程序包括指令且/或所述部件包括電路，在通過所述處理模塊執(zhí)行程序和/或啟動所述部件時，能實施按照本發(fā)明第二方面的方法的步驟。在閱讀后面的說明時還可發(fā)現(xiàn)本發(fā)明的其它特征和優(yōu)點。所述說明純粹為示意性且需要參考附圖閱讀，附圖中-

圖1示出本發(fā)明一實施方式的圖像捕捉系統(tǒng)1；-圖2示出按照本發(fā)明的方法步驟；-圖3示出對象的圖像銳度根據(jù)不同的色彩成分以及根據(jù)對象和照相機之間的分開距離的變化；-圖4示出了圖像兩色彩成分之間的相對銳度隨圖像失焦的變化；-圖5示出帶有標準自動對焦模塊的現(xiàn)有技術(shù)的圖像捕捉系統(tǒng)隨失焦而變化的電消耗。-圖6示出按照本發(fā)明圖像捕捉系統(tǒng)的隨失焦而變化的電消耗。圖1示出本發(fā)明實施方式中的圖像捕捉系統(tǒng)1，例如照相機。照相機1包括光學系統(tǒng)2、傳感器3、自動對焦模塊4和處理單元5。自動對焦模塊4被配置為根據(jù)場景的圖像進行自動對焦，在此處所考慮的情況下，例如可借助電機改變光學系統(tǒng)2和傳感器3之間的距離(然而，也可以在本發(fā)明中實施如上描述的其它類型的對焦)。傳感器3具備能把光子流轉(zhuǎn)變?yōu)殡娦盘柕拿舾性?。在所考慮的實施方式中，敏感元件具有三色感光性能。被捕捉的數(shù)字圖像因此是分別包括三個色彩成分的彩色圖像。注意，可考慮兩種或更多的色彩來實施本發(fā)明。在此處描述的實施方式中，考慮被捕捉的圖像包括藍色成分Cl (波長基本介于 400和500nm之間)，綠色成分C2 (波長基本介于500和600nm)以及紅色成分C3 (波長基本介于600和700nm之間)的情況。在其它實施方式中，為實施本發(fā)明，可以考慮其它成分(例如紅外線、紫外線等等)和/或大于或等于二的任意數(shù)量的成分。在此可想到以下兩點-首先，光學系統(tǒng)2的焦點是特定于每一種色彩的，從而使對應色彩Cl的焦點01 不同于對應另一色彩C2的焦點02。因此，在傳感器處，由第二色彩構(gòu)成的圖像比由第一色彩構(gòu)成的圖像更不銳利或更銳利，由此降低了傳感器所形成圖像的整體銳度。-第二，光學系統(tǒng)針對某一波長的焦點可根據(jù)圖像所表示的場景所在的距離而發(fā)生變化。圖3示出所捕捉對象的色彩成分Cl、C2、C3的銳度根據(jù)光學系統(tǒng)2和待捕捉對象之間的距離d的變化。色彩成分C1、C2、C3例如分別對應藍、綠、紅成分。在橫坐標上，列出距離d，而在縱坐標上，列出對象圖像點的直徑T。距離范圍d被細分為三部分藍色成分最銳利的部分是被稱為“微距”的部分 Pl (通常小于60cm)，綠色成分比藍色成分和紅色成分更銳利的部分PII是被稱為“肖像”的部分(通常介于60cm和^!之間)，而紅色成分比藍色成分和綠色成分更銳利的部分PIII是被稱為“風景”的部分(通常大于4m)。注意，在色彩之間的所述特定對焦順序僅以舉例方式考慮。無論色彩之間的對焦順序如何，都可以實施本發(fā)明，尤其在色彩反轉(zhuǎn)系統(tǒng)中(例如可借助衍射對象實現(xiàn))?？紤]照相機1所捕捉的場景的彩色初始圖像I，此時自動對焦模塊4被固定為針對無限遠或更遠的對象(實際上，經(jīng)常需要將自動對焦模塊調(diào)節(jié)到超過無限遠位置，從而即使存在引起失焦的熱差和位置誤差仍可保證無限遠處的銳度)。照相機1被配置為實施參考圖2描述的以下步驟。在步驟101中，處理單元5對在圖像I中確定的區(qū)域Z進行至少一個銳度測量，自動對焦模塊4被設(shè)置為以系統(tǒng)的預定對焦捕捉所述初始圖像。在一實施方式中，為了進行該測量，光學系統(tǒng)在一開始被調(diào)整為超焦距，從而能利用第二模式(M》的最大景深。在一實施方式中，區(qū)域Z由整體圖像I構(gòu)成，在其它實施方式中。區(qū)域Z對應所選擇的像素群。根據(jù)測得的銳度和尤其根據(jù)測得的銳度確定的選擇規(guī)則R，處理單元5在模式Ml 和模式M2中選擇一種工作模式。如果在步驟101中所選擇的工作模式是M1，則在步驟102中，自動對焦模塊4被啟動，從而以改進的銳度獲得場景的圖像。這樣，通過針對光學系統(tǒng)2和傳感器3之間的間隔距離的每一次改變來計算針對光學系統(tǒng)2和傳感器3之間的該間隔距離捕捉的場景圖像的銳度的相應量度，實施對焦調(diào)整(例如光學系統(tǒng)2和傳感器3之間的對應于最優(yōu)銳度(或至少大于預定的最小閾值)的最優(yōu)距離的調(diào)整)的迭代過程。如果在步驟101中所選擇的工作模式是M2，則在步驟103中，通過處理單元5對被捕捉的場景的初始圖像(或可能是另一圖像)進行數(shù)字處理，以例如獲得具有改善的銳度的場景圖像，而無需使用自動對焦功能。以下詳細描述不同步驟的內(nèi)容。步驟101在步驟101由處理單元5對圖像I的區(qū)域Z進行的銳度測量可以是對圖像的整體測量，或相反，是根據(jù)單獨考慮的色彩成分進行的測量。在步驟101的一實施方式中，對整體銳度進行測量且選擇規(guī)則R例如對應于測得的銳度和預定閾值之間的對比。如果測得的銳度小于預定閾值，選擇工作模式Ml。否則，選擇工作模式M2。在步驟101的另一實施方式中，處理單元5對一種色彩成分進行銳度測量，且通過把銳度測量值與預定閾值比較，在模式Ml和M2中選擇一種工作模式。在步驟101的另一實施方式中，處理單元對多個色彩成分進行銳度測量，且通過把銳度測量值與預定的相應閾值比較，在工作模式Ml和M2中選擇一種模式。在步驟101 的另一實施方式中，處理單元分別沿著兩不同方向中的每一個進行銳度測量，且通過比較銳度測量值，在工作模式Ml和M2中選擇一種模式。在步驟101的另一實施方式中，處理單元5在至少兩色彩成分之間進行相對銳度的測量。例如，該單元在藍色成分和綠色成分之間確定哪個是圖像I更銳利的色彩成分。隨后，如果藍色成分在藍綠兩成分之中更銳利，處理單元5將因此選擇工作模式M1，否則選擇工作模式M2。上面對于步驟101所考慮的實施方式對位于“微距”部分Pl內(nèi)的被捕捉場景使用自動對焦模塊4，而對于位于“肖像”部分PII和“風景”部分PIII內(nèi)的被捕捉場景，則可僅使用數(shù)字處理單元而無需使用自動對焦模塊4，兩種模式Ml和M2之間的選擇可簡單地基于兩色彩成分的銳度之間的比較。在其它實施方式中，例如對于“微距”部分和“肖像”部分，可選擇模式Ml，而對于 “風景”部分可選擇模式M2。在一實施方式中，當符合以下兩種條件Condl和Cond2時，選擇工作模式Ml Condl 場景位于微距區(qū)(例如，藍色成分比綠色成分更銳利)；Cond2 藍色成分的銳度還小于預定閾值。或者，條件Cond2可考慮兩個或更多色彩成分之間的相對銳度，因此取決于多個色彩成分銳度之間的關(guān)系。在另一實施方式中，例如根據(jù)閾值與不同色彩成分銳度函數(shù)(例如，成分Cl和C3 之間的銳度的差除以成分C2的銳度)之間的比較選擇工作模式。相對銳度測量值可以是一色彩成分的銳度測量值與另一色彩成分的銳度測量值之間的商或差的函數(shù)。一色彩成分相對于另一色彩成分的相對銳度測量值，比起圖像的絕對銳度測量值是一優(yōu)點，因為其更精確且不取決于所觀測的場景的內(nèi)容。實際上，在某些情況下，為了確定是否該設(shè)在模式Ml或M2時，絕對銳度不夠可靠。例如，絕對銳度測量值完全可以在強反差場景(例如測試卡)中工作，而如果場景的內(nèi)容很平滑，則是不可靠的。因此，更好的是使用存在縱向色差的光學系統(tǒng)(例如透鏡)，從而可以實現(xiàn)一色彩成分相對于另一色彩成分的相對銳度測量，且獲得不取決于被觀察場景的更穩(wěn)定的測量值。例如可結(jié)合以下描述的規(guī)則或使用其它規(guī)則來確定其它選擇規(guī)則。此外，本發(fā)明的實施可使用各種公知的銳度測量方式，無論是按色彩成分的銳度還是整體銳度。銳度測量值為標量或矢量。例如，色彩的銳度可以對應于測量被稱為BXU值的測量值，該BXU值是對模糊點面禾只的測量值，如發(fā)表在〈〈Proceedings of IEEE, International Conference of Image Processing, Singapore，2004》(IEEE論文集2004年新加坡圖像處理國際會議)中， Jerome BUZZI 和 F6r6ric GUICHARD 的名為《Uniqueness of Blur Measure》(模糊測量的唯一性)的文章中所描述的?？筛鶕?jù)圖像斑點的變化或借助FTM(Fonction de Transfert de Modulation，調(diào)制傳遞函數(shù))指示銳度，F(xiàn)TM是斑點圖像的傅里葉變換的模。測量所述銳度的不同方法在眾多教材和出版物中都有描述，例如由Al Bovik編輯并由Academic出版社出版的《Handbook of Image&Video Processing))(圖像和視頻處理手冊)中的415到430頁。在一實施方式中，色彩成分的銳度可通過梯度計算獲得。例如，對各個或某些像素P，針對給定色彩成分C，進行對應于P的鄰域中C的變化梯度的測量M，從而在數(shù)字圖像的區(qū)域Z的像素上估算出銳度值。可通過以下計算獲得該值對于給定色彩C，把像素P的鄰域設(shè)為V(P)。把GM記為鄰域V(P)上的梯度幅值平均值，而SM為GM和鄰域V(P)上的梯度之間的差的幅度值的平均值?？赏ㄟ^同一色彩的兩像素的亮度差的幅度來計算梯度。鄰域V(P)中的梯度對應于涉及鄰域V(P)中預定數(shù)量的像素對的梯度。代表具有顏色C的像素P的銳度的測量值M可由SM和GM之間的比確定。由此得到值 M (P，C)。因此，在帶有標準自動對焦模塊的圖像捕捉設(shè)備中，必然需要啟動自動對焦模塊來確定圖像是否銳利，這意味著需采集至少兩圖像才能對比其銳度，按照本發(fā)明的圖像捕捉設(shè)備能通過捕捉的單幅圖像來確定是否需要使用自動對焦模塊。步驟102:在一實施方式中，當選擇工作模式Ml時，處理單元5計算對焦調(diào)節(jié)定值，例如為了使用自動對焦功能而在光學系統(tǒng)2和傳感器3之間執(zhí)行的距離，并把該值提供給自動對焦模塊4。該對焦調(diào)節(jié)定值的計算例如是根據(jù)在使用自動對焦模塊之前進行的一個或多個銳度測量，例如步驟101中進行的銳度測量。例如，如圖4所示，根據(jù)兩色彩成分之間的相對銳度(此處是對照相機1建立的一曲線圖，示出了色彩Cl的銳度和色彩C3的銳度之間的差值△被色彩C2的銳度除，以及反向差值)，可以從中推導出圖像的失焦值，此失焦值代表在所考慮的改變要在傳感器3和光學系統(tǒng)2之間實現(xiàn)的距離的情況下，要實施的對焦調(diào)節(jié)。該配置的效果在于加速由自動對焦模塊4實施的迭代過程的收斂，且因此減少了所需的延時和能耗。在另一個實施方式中，可以使用像散與對焦的相關(guān)性，從而還能更進一步減少延時，尤其是當△值不再與焦距變化保持線性關(guān)系時。當在光學系統(tǒng)中存在像散時，圖像斑點的形狀取決于對焦。在圖像斑點對稱的對焦點兩側(cè)，一個方向相對于另一個方向更有利，其效果是在一個方向圖像將較銳利，而在垂直方向，圖像將較模糊。因此，根據(jù)圖像中銳度的方向，可以把其與失焦相關(guān)聯(lián)。對于完全未修正像散(其涉及大部分的光學系統(tǒng))的對稱系統(tǒng)，其將體現(xiàn)在像場中。在系統(tǒng)的光學設(shè)計階段，可以在對像散和/或其方向的測量值與光學系統(tǒng)的失焦之間建立對應表。此外， 對于構(gòu)成光學系統(tǒng)的光學元件具有較大軸線偏斜的光學系統(tǒng)，可以設(shè)計校準階段，把在光軸(圖像中心)方向上對像散和/或其方向的測量與失焦關(guān)聯(lián)起來。這之所以可能，是因為當系統(tǒng)由彼此不對齊的元件構(gòu)成時，在圖像中心存在像散。此外，通過使用像散對失焦的測量對場景的內(nèi)容相對不敏感，因為像散根據(jù)所考慮的色彩成分而不同，從而可以區(qū)別出來自光學系統(tǒng)的像散，且因此能夠區(qū)分來自場景的、 不取決于色彩成分的失焦特性。步驟103在一實施方式中，當選擇工作模式M2時，處理單元5進行初始圖像I的數(shù)字處理而不使用自動對焦功能。所進行的數(shù)字處理可以為各種類型例如形狀識別、白平衡調(diào)節(jié)、色調(diào)曲線調(diào)節(jié)、去矩陣化(dematricge)......在一實施方式中，數(shù)字處理對應于文獻PCT/FR2006/050197所描述的處理，其被配置為通過在圖像色彩中選擇至少一個被稱為“銳利色”的色彩成分，并使銳利色成分的銳度反映到至少另一不太銳利的色彩成分上，來改進該至少一個色彩成分的銳度。因此，可認為，上述例如選擇工作模式M2的實施方式根據(jù)的是藍色成分Cl的銳度小于綠色成分C2的銳度的判斷。因此可在下一個步驟確定，在色彩成分C2和色彩成分C3之間哪個色彩成分銳度更高。確定的最銳利的色彩成分在以下被稱為銳利色，而其它兩色彩成分被稱為待改進成分。在該示例中，CA、C0和CN分別是像素的亮度，其用灰度級來表征，且分別代表待改進成分和銳利色成分。按照以下類型的公式，通過使用濾波器F，把銳利色成分的銳度反映到待改進色彩成分的銳度上，CA = CN+F (CO-CN)由此獲得的效果在于可抽出待改進色彩成分的高頻部分，并用銳利色成分的高頻取代之。一般地，濾波器F的特點在于去除其所作用的圖像的細節(jié)。為此，可以使用線性低通(或中值)濾波器。還可以使用具有去除細節(jié)的特性的多種已知的非線性濾波器中的一種，例如中值濾波器。在該階段，可以想到，針對圖像的細節(jié)，人的視網(wǎng)膜對綠色具有特別高的敏感度， 由此光學系統(tǒng)的調(diào)節(jié)目的也通常旨在對該色彩在特定調(diào)整范圍內(nèi)獲得改進的銳度(參考， 例如由 Addison Wesley 編輯的 Mark D. Fairchild 的著作《Color appearance models》的 30到33頁)。因此，按照針對本發(fā)明的觀察，得到的圖像銳度不令人眼滿意的光學裝置對于其色彩中的一種，例如藍或紅，可以呈現(xiàn)令人滿意的銳度，而對所述銳度令人滿意的色彩，在考慮細節(jié)時人眼的敏感度較低。一般，對于聚焦在超焦距的光學系統(tǒng)，當考慮呈現(xiàn)一近處對象和一遠處對象的圖像時，使用綠色通常更有利于遠處對象的銳度，而近處對象的銳度則通過考慮藍色而獲得改進。因此顯得重要的是，可以根據(jù)兩種色彩的相對銳度，按照不同的銳利色改進圖像的各個區(qū)域。由此，在本發(fā)明的一實施方式中，把圖像I分解為多個區(qū)域。隨后相繼考慮各個區(qū)域，對每一區(qū)域識別出最銳利的色彩。在一實施方式中，在所考慮的區(qū)域，把最銳利的色彩的銳度反映在其它色彩成分上。在另一實施方式，對圖像施加全局校正，該全局校正是借助于加權(quán)系數(shù)計算的，例如，一種加權(quán)系數(shù)體現(xiàn)相關(guān)銳利色在各個區(qū)域上被作為銳利色識別出來的次數(shù)。這樣的根據(jù)圖像不同區(qū)域的特征進行的處理優(yōu)于在現(xiàn)有技術(shù)的圖像捕捉系統(tǒng)中使用的自動對焦模塊。實際上，在具有位于不同距離處的對象的場景的情況下，現(xiàn)有技術(shù)的捕捉系統(tǒng)將僅對焦在對象之一上，而本發(fā)明可獲得對所考慮的所有對象都銳利的圖像。
在一實施方式中，通過執(zhí)行程序由處理單元5實施步驟101、102和103中指出的上述處理。所述程序包括在由處理單元5的計算裝置執(zhí)行程序時，用于實施屬于處理單元 5的步驟的指令。在所述的實施方式中，在被捕捉的初始圖像I上進行選擇模式M2之后改進銳度的步驟103。在另一實施方式中，步驟103的改進處理在一個或多個另外的圖像上進行，例如在視頻圖像情況下，所述另外的圖像是初始圖像之后被捕捉的圖像，所述另外的圖像以預定對焦被捕捉。在視頻圖像捕捉的情況下，實施本發(fā)明帶來特別有利的結(jié)果。實際上，源自自動對焦模塊的迭代操作的延時在視頻圖像的情況下十分不利，尤其當被捕捉對象處于運動狀態(tài)時，其還會在顯示對焦圖像時，引起對焦的振蕩現(xiàn)象。本發(fā)明大大減少了在捕捉視頻圖像時為獲得銳利圖像遇到的振蕩現(xiàn)象以及所需的延時時間。實際上，在可以選擇工作模式M2時，其能大大減少自動對焦模塊的使用，這在對象移動時顯得特別重要。這一點是從穩(wěn)定圖像的意義上來說的。當先于自動對焦模塊運用根據(jù)所進行的銳度測量值確定的預定對焦調(diào)節(jié)時，例如在以上展開步驟102的描述中所具體描述的，還能增加穩(wěn)定。本發(fā)明也允許提高穩(wěn)定圖像操作的可靠性，穩(wěn)定圖像操作是通過使用數(shù)字和/或光學修正(例如移動透鏡)來彌補光學/傳感器系統(tǒng)的運動而非場景本身的運動導致的模糊。由于在模式Ml中可更快速地收斂，對銳利圖像所作的穩(wěn)定測量更為可靠。在模式 M2中，無需使用自動對焦模塊，圖像也很銳利，同樣地，用于圖像穩(wěn)定的測量更可靠。因此，由于減少了延時，可更快地獲得銳利圖像且更可靠地進行穩(wěn)定測量。在現(xiàn)有技術(shù)的自動對焦模塊上，為達到較佳配置而使用的二分法導致振蕩，導致較難以進行用于圖像穩(wěn)定的測量。圖6圖示了按照本發(fā)明的捕捉系統(tǒng)的耗電量點Jl和Kl之間的曲線L2代表當光學系統(tǒng)在無限遠和給定的近處之間對焦時，電強度值隨失焦值(Def)的變化。點Jl對應零失焦(無限遠的對象)，點Kl對應最大失焦(近處對象)。由箭頭指示的垂直虛線標記出從工作模式M2 (在該垂線左側(cè))到工作模式Ml (在該垂線右側(cè))的轉(zhuǎn)變。因此，在工作模式Ml中，按照本發(fā)明的捕捉系統(tǒng)的耗電量等于現(xiàn)有技術(shù)系統(tǒng)對于相同的失焦的耗電量(見圖5)。相反，在模式Ml中，得益于預先提供的對焦定值，曲線Ll 并未像現(xiàn)有技術(shù)那樣為確定對焦位置而經(jīng)過多次二分法迭代處理。對于模式2中所有失焦值，按照本發(fā)明的捕捉系統(tǒng)的耗電量等于現(xiàn)有技術(shù)的系統(tǒng)對于零失焦的耗電量，也就是最小耗電量。例如，在之前描述的工作模式M2對應肖像部分和風景部分，而工作模式Ml對應微距部分的實施方式中，對于距離系統(tǒng)介于無限遠和約60cm之間的場景，產(chǎn)生所述最小耗電量，這對應于圖像捕捉系統(tǒng)的大多數(shù)應用。 通過數(shù)字處理把更銳利色彩的銳度向一個或多個不夠銳利的色彩傳遞，本發(fā)明因此能限制自動對焦模塊僅在銳度的改進不令人滿意的有限數(shù)量的情況下被使用，或者僅在恰當?shù)那闆r下使用。本發(fā)明因此能在改進被捕捉圖像銳度的同時限制耗電量和對焦延時。
在照相電話中，即使在預顯示時也可以進行對焦。此外，在拍攝視頻時，相繼的圖像也可以銳利(在之前這是不可能的，由于圖像的快速更替，無法對每個視頻圖像通過自動對焦模塊進行對焦)。
權(quán)利要求
1.圖像捕捉系統(tǒng)(1)，被配置為捕捉場景的至少一個圖像，所述系統(tǒng)包括光學系統(tǒng) O)、傳感器(3)、被配置為調(diào)整圖像捕捉系統(tǒng)的對焦的自動對焦模塊以及數(shù)字處理裝置⑶，該圖像捕捉系統(tǒng)被配置為估算代表在場景的被捕捉到的至少一個初始圖像的至少一個區(qū)域上的銳度的值；所述自動對焦模塊被配置為以圖像捕捉系統(tǒng)的預定對焦來捕捉所述初始圖像；所述圖像捕捉系統(tǒng)還被配置為至少根據(jù)代表所估算的銳度的值，在第一模式(Ml)和第二模式(IC)之中挑選工作模式，其中，在第一模式(Ml)中，使用自動對焦模塊來調(diào)整圖像捕捉系統(tǒng)的對焦，以捕捉所述場景的更銳利的圖像，在第二模式(M》中，所捕捉的初始圖像或另一圖像經(jīng)由數(shù)字處理裝置( 處理，所述另一圖像是以圖像捕捉系統(tǒng)的所述預定對焦捕捉的。
2.如權(quán)利要求1所述的圖像捕捉系統(tǒng)，被配置為捕捉圖像序列，還包括當以所述預定對焦或另一對焦捕捉至少一個隨后的圖像時，根據(jù)代表從該隨后的圖像估算的銳度的值， 在第一模式(Ml)和第二模式(Μ》之中選擇工作模式的裝置，在第二模式(M》中，該隨后的圖像或所捕捉的所述另一圖像經(jīng)由數(shù)字處理裝置( 被處理，所述另一圖像是用與該隨后的圖像相同的對焦被捕捉的。
3.如權(quán)利要求1或2所述的圖像捕捉系統(tǒng)(1)，其中，在第二模式(M2)中，數(shù)字處理裝置(5)對初始圖像、該隨后的圖像或捕捉的所述另一圖像施加改進銳度的數(shù)字圖像處理， 而無需使用自動對焦模塊。
4.如權(quán)利要求1到3之一所述的圖像捕捉系統(tǒng)(1)，其中，代表銳度的值根據(jù)以下被確定-初始圖像上至少兩色彩成分(Cl，C2，C3)各自的銳度之間的關(guān)系；和/或 -初始圖像上至少兩色彩成分(C1，C2，C3)各自的銳度之間的對比。
5.如前述權(quán)利要求之一所述的圖像捕捉系統(tǒng)(1)，被配置為在選擇第一模式(Ml)之后，根據(jù)以下選擇對對焦的調(diào)整-根據(jù)初始圖像確定的至少兩色彩成分(Cl，C2，C3)各自的銳度之間的關(guān)系；和/或 -在初始圖像的至少一個區(qū)域以及在至少一個色彩上的像散測量。
6.如前述權(quán)利要求之一所述的圖像捕捉系統(tǒng)(1)，還被配置為，在選擇第二模式(M2) 之后，在經(jīng)由數(shù)字處理裝置處理的圖像的至少一個區(qū)域上，識別出較銳利的色彩成分和較不銳利的色彩成分，從而根據(jù)較銳利的色彩成分的圖像像素亮度，對較不銳利的色彩改變被處理圖像的像素亮度。
7.用于包括光學系統(tǒng)O)、傳感器(3)和自動對焦模塊⑷以及數(shù)字處理裝置(5)的圖像捕捉系統(tǒng)(1)的圖像捕捉方法，所述自動對焦模塊用來調(diào)節(jié)該圖像捕捉系統(tǒng)的對焦， 該方法包括以下步驟-估算代表捕捉的場景的至少一個初始圖像的至少一個區(qū)域上的銳度的值，所述自動對焦模塊被設(shè)置為以圖像捕捉系統(tǒng)系統(tǒng)的預定對焦來捕捉所述初始圖像；-至少根據(jù)代表所估算的銳度的值，在第一模式(Ml)和第二模式(IC)之中選擇工作模式，其中，在第一模式(Ml)中，使用所述自動對焦模塊(4)調(diào)整圖像捕捉系統(tǒng)C3)的對焦， 以捕捉場景的更銳利的圖像；且在第二模式(M》中，被捕捉的初始圖像或者另一圖像經(jīng)由數(shù)字處理裝置( 被處理， 所述另一圖像是以圖像捕捉系統(tǒng)的所述預定對焦被捕捉的。
8.如權(quán)利要求7所述的圖像捕捉方法，被配置為捕捉圖像序列，還包括當以所述預定對焦或另一對焦捕捉至少一個隨后的圖像時，根據(jù)代表從該隨后的圖像估算的銳度的值， 在第一模式(Ml)和第二模式(Μ》之中選擇工作模式的裝置，在第二模式(M》中，該隨后的圖像或所捕捉的所述另一圖像經(jīng)由數(shù)字處理裝置( 被處理，所述另一圖像是用與該隨后的圖像相同的對焦被捕捉的。
9.如權(quán)利要求7或8所述的圖像捕捉方法，其中，在第二模式(IC)中，數(shù)字處理裝置 (5)對初始圖像、該隨后的圖像或捕捉的所述另一圖像施加改進銳度的數(shù)字圖像處理，而無需使用自動對焦模塊。
10.如權(quán)利要求7到9之一所述的圖像捕捉方法，其中，代表銳度的值根據(jù)以下被確定-初始圖像上至少兩色彩成分(Cl，C2，C3)各自的銳度之間的關(guān)系；和/或-初始圖像上至少兩色彩成分(C1，C2，C3)各自的銳度之間的對比。
11.如權(quán)利要求7到10之一所述的圖像捕捉方法(1)，被配置為在選擇第一模式(Ml) 之后，根據(jù)以下選擇對對焦的調(diào)整-在初始圖像上確定的至少兩色彩成分(Cl，C2，C3)各自的銳度之間的關(guān)系；和/或-在初始圖像的至少一個區(qū)域以及在至少一個色彩上的像散測量。
12.如權(quán)利要求7到11之一所述的圖像捕捉方法，其中，在選擇第二模式(M2)之后，在經(jīng)由數(shù)字處理裝置處理的圖像的至少一個區(qū)域上，識別出較銳利的色彩成分和較不銳利的色彩成分，從而根據(jù)較銳利的色彩成分的圖像像素亮度，對較不銳利的色彩改變被處理圖像的像素亮度。
13.圖像捕捉系統(tǒng)(1)的處理模塊(5)中的信息程序和/或電子部件，該圖像捕捉系統(tǒng)被配置為捕捉場景的至少一個圖像，且包括光學系統(tǒng)O)、傳感器(3)、被配置為調(diào)整圖像捕捉系統(tǒng)的對焦的自動對焦模塊，所述程序包括指令且/或所述部件包括電路，在通過所述處理模塊執(zhí)行程序和/或啟動所述部件時，能實施按照權(quán)利要求7到12之一所述的方法的步驟。
全文摘要
圖像捕捉系統(tǒng)(1)，被配置為捕捉場景的至少一個圖像，所述系統(tǒng)包括光學系統(tǒng)(2)、傳感器(3)、被配置為調(diào)整圖像捕捉系統(tǒng)的對焦的自動對焦模塊(4)以及數(shù)字處理裝置(5)，該圖像捕捉系統(tǒng)被配置為估算代表在場景的被捕捉到的至少一個初始圖像的至少一個區(qū)域上的銳度的值；所述自動對焦模塊被配置為以圖像捕捉系統(tǒng)的預定對焦來捕捉所述初始圖像；所述圖像捕捉系統(tǒng)還被配置為至少根據(jù)代表所估算的銳度的值，在第一模式和第二模式之中挑選工作模式，其中，在第一模式中，使用自動對焦模塊(4)來調(diào)整圖像捕捉系統(tǒng)的對焦，以捕捉所述場景的更銳利的圖像，在第二模式中，所捕捉的初始圖像或另一圖像經(jīng)由數(shù)字處理裝置(5)處理，所述另一圖像是以圖像捕捉系統(tǒng)的所述預定對焦捕捉的。
文檔編號H04N9/64GK102550010SQ201080035183
公開日2012年7月4日 申請日期2010年8月6日 優(yōu)先權(quán)日2009年8月10日
發(fā)明者吉蘭·德沃, 布魯諾·列日, 弗雷德里克·吉查德, 艾蒂安·克瑙爾, 雷日斯·泰西埃, 霍安-菲·阮 申請人:德克索實驗室