圖像的聚焦誤差估計的制作方法
【專利摘要】估計圖像中的聚焦誤差包括訓(xùn)練階段和應(yīng)用階段。在訓(xùn)練階段，光學(xué)系統(tǒng)由點-擴(kuò)散函數(shù)表示。圖像傳感器陣列由一個或多個波長靈敏度函數(shù)、一個或多個噪聲函數(shù)和一個或多個空間取樣函數(shù)表示。點-擴(kuò)散函數(shù)被應(yīng)用到指定范圍內(nèi)的多個散焦程度的每一個的圖像塊以產(chǎn)生訓(xùn)練數(shù)據(jù)。使用波長靈敏度和空間取樣函數(shù)對每個散焦程度(即聚焦誤差)的每個圖像進(jìn)行取樣。使用噪聲函數(shù)添加噪聲。從傳感器陣列到訓(xùn)練數(shù)據(jù)的響應(yīng)被用于生成用于估計指定范圍內(nèi)的聚焦誤差的散焦濾波器。然后，散焦濾波器被應(yīng)用到訓(xùn)練數(shù)據(jù)的圖像塊，并且對每個散焦程度的濾波器響應(yīng)的聯(lián)合概率分布進(jìn)行表征。在應(yīng)用階段，獲得并結(jié)合對任意圖像塊的濾波器響應(yīng)以推導(dǎo)出每個任意圖像塊的聚焦誤差的連續(xù)的、帶符號的估計。
【專利說明】圖像的聚焦誤差估計
[0001]相關(guān)申請的交叉引用
[0002]本申請是與2011年2月25日申請的、發(fā)明名稱為“單個自然圖像中的散焦估計”、序號為61 / 446566的美國臨時中請共同未決的非臨時專利申請。為了所有的目的，該臨時申請通過全文引用特別地合并在此。
[0003]關(guān)于對聯(lián)邦資助的研究或科研做出的發(fā)明的權(quán)利的聲明
[0004]根據(jù)國立健康研究院資助的2R01EY11747號的條款的規(guī)定，美國政府可擁有本發(fā)明的某些權(quán)利。
【技術(shù)領(lǐng)域】
[0005]本發(fā)明涉及自動聚焦光學(xué)系統(tǒng)，更特別地涉及對通過光學(xué)系統(tǒng)接收的圖像中的誤差的估計。
【背景技術(shù)】
[0006]自動聚焦光學(xué)系統(tǒng)(如數(shù)碼相機(jī)、數(shù)碼相機(jī)、顯微鏡、微加工設(shè)備)使用傳感器、控制系統(tǒng)和電機(jī)來全自動聚焦或手動聚焦到選擇的點或區(qū)域。自動聚焦光學(xué)系統(tǒng)用來確定正確焦點的聚焦方法主要有兩類。一類是被稱為“主動的，，的自動聚焦。此類自動聚焦通過發(fā)射信號(如紅外線、超聲波)來確定焦點。在發(fā)射聲波的情況下，通過測量聲波的反射延時來計算到對象的距離。在發(fā)射紅外線的情況下，通過三角定位到對象的距離來計算目標(biāo)距離。當(dāng)主動自動聚焦方法工作于非常低亮度的條件下時，不能聚焦到非常近的物體(如微距攝影)，并且由于玻璃會反射發(fā)射的信號，因而不能透過窗戶進(jìn)行聚焦。
[0007]自動聚焦的另一類方法被稱為“被動的”或“基于圖像”的自動聚焦。焦點是通過分析進(jìn)入光學(xué)系統(tǒng)的圖像來確定的。因此，被動的自動對焦方法通常不能朝對象引導(dǎo)任何能量，如超聲波或紅外光波。被動自動對焦的兩種主要方法是對比度測量和相位檢測。
[0008]對比度測量是通過測量小區(qū)域內(nèi)的圖像傳感器上的像素的強度差異來實現(xiàn)的。傳感器的相鄰像素間的強度差異通常隨著聚焦誤差的減少而增加。因此直到檢測到最大對比度才調(diào)節(jié)光學(xué)系統(tǒng)。然而，因為此聚焦方法搜索而不是獲得焦距的必需變化的估計，所以該方法是緩慢的。此外，該方法依賴于假設(shè)對比度完全跟隨聚焦誤差。但該假設(shè)并不完全正確。進(jìn)一步地，對比度測量不提供散焦符號的估計。也就是說，它不計算光學(xué)系統(tǒng)是否聚焦在對象的前面或后面。
[0009]相位檢測自動聚焦是通過將入射光分到成對的圖像并比較它們來實現(xiàn)的。系統(tǒng)耦合有光束分離器、一個小副鏡和兩個光學(xué)棱鏡來將光線引導(dǎo)到光學(xué)系統(tǒng)內(nèi)的專用自動聚集傳感器上。兩個光學(xué)棱鏡捕獲來自透鏡的反面的光線并將光線轉(zhuǎn)向到自動聚焦傳感器，構(gòu)成具有與光圈直徑類似的基礎(chǔ)的簡單測距儀。然后為相似光強度模型(峰與谷)分析這兩個圖像并計算相位差異以確定聚焦誤差的量級，并確定光學(xué)系統(tǒng)是否聚焦在對象的前面或后面。盡管相位檢測方法較快、較精確并且估計散焦符號，但因為需要特別的光束分離器、鏡子、棱鏡和傳感器，所以實施的代價很高。而且，額外的硬件增加了光學(xué)系統(tǒng)的尺寸和重量。此外，此方法不能運行于“實時取景”模式(特點是允許光學(xué)系統(tǒng)的顯示屏如數(shù)碼相機(jī)的顯示屏作為取景器使用)。
[0010]然而，如果可開發(fā)出不需要重復(fù)搜索和附加光學(xué)器件來完成聚焦誤差估計的技術(shù)，那么人們可獲得對比度和相位檢測方法的效益而避開它們的缺點。

【發(fā)明內(nèi)容】

[0011]在本發(fā)明的一個實施例中，在將物體的圖像數(shù)據(jù)接收到光學(xué)系統(tǒng)的傳感器陣列上后，通過計算光學(xué)系統(tǒng)的一個或更多個散焦濾波器的每一個的濾波器響應(yīng)值來估計光學(xué)系統(tǒng)的聚焦誤差，從而計算的響應(yīng)值包含接收的圖像數(shù)據(jù)的濾波器響應(yīng)矢量，然后識別每個可能散焦程度的概率，從這些概率估計散焦程度。在此方式中，不需要分離物鏡和傳感器陣列間的光學(xué)路徑就可估計聚焦誤差，確定步驟中的最后一個步驟變?yōu)殛P(guān)于接收的圖像數(shù)據(jù)的濾波器響應(yīng)矢量的相對簡單的代數(shù)運算。因此，聚焦誤差在一個計算步驟中確定，相比于對比度技術(shù)這是更高效的過程，并且不需要相位檢測技術(shù)的復(fù)雜硬件器件。
[0012]在本發(fā)明的其他方面，估計圖像中的聚焦誤差的方法包括收集一組圖像塊以獲得圖像的統(tǒng)計學(xué)描述。該方法進(jìn)一步包括通過用于在散焦程度范圍內(nèi)的多個散焦程度中每一個的點-擴(kuò)散(point-spread)函數(shù)來表現(xiàn)光學(xué)系統(tǒng)。而且，該方法包括通過至少一個波長靈敏度函數(shù)和空間取樣函數(shù)來表現(xiàn)傳感器陣列。另外，該方法包括使用用于多個散焦程度中的每一個的點擴(kuò)散函數(shù)來計算一組指向傳感器陣列的散焦圖像塊。進(jìn)一步地，該方法包括對在使用傳感器陣列的波長、空間-取樣和噪聲函數(shù)的傳感器陣列上的一組散焦圖像塊中的每一個進(jìn)行取樣。該方法進(jìn)一步包括從該傳感器陣列獲得用于給定類別傳感器的響應(yīng)。另外，該方法包括為多個散焦程度的每一個從來自傳感器陣列的傳感器響應(yīng)生成一組散焦濾波器。另外，該方法包括為用于一組圖像塊的多個散焦程度的每一個確定濾波器響應(yīng)分布的參數(shù)化描述。此外，該方法包括由處理器從任意濾波器響應(yīng)矢量和該濾波器響應(yīng)分布的參數(shù)化描述來計算聚焦誤差。
[0013]如上所述的該方法的實施例的其他形式可在系統(tǒng)和計算機(jī)程序產(chǎn)品中提供。
[0014]前述內(nèi)容已相當(dāng)綜合地概括了本發(fā)明的一個或更多個實施例的特征和技術(shù)優(yōu)勢，以便更好地理解后續(xù)的本發(fā)明的詳細(xì)說明。以下將說明形成本發(fā)明的權(quán)利要求的主題的本發(fā)明的附加特征和優(yōu)勢。
【專利附圖】

【附圖說明】
[0015]當(dāng)結(jié)合下列附圖考慮下列詳細(xì)說明時，可獲得對本發(fā)明的更好的理解，其中:
[0016]圖1為按照本發(fā)明實施例配置的系統(tǒng)的示意圖。
[0017]圖2為闡明用于確定圖1系統(tǒng)中的估計的聚焦誤差的圖1系統(tǒng)的操作的流程圖。
[0018]圖3為闡明在利用圖1系統(tǒng)的聚焦誤差確定法的裝置內(nèi)的調(diào)焦的流程圖。
[0019]圖4為顯示根據(jù)本發(fā)明實施例配置的計算機(jī)系統(tǒng)的細(xì)節(jié)的框圖。
[0020]圖5為根據(jù)本發(fā)明的實施例闡明對圖像中的聚焦誤差進(jìn)行估計的流程圖。
[0021]圖6為根據(jù)本發(fā)明實施例闡明產(chǎn)生散焦濾波器的流程圖。
[0022]圖7顯示了用于如圖1所示的示例性光學(xué)系統(tǒng)的散焦濾波器。
[0023]圖8顯示了對用于兩個圖7的濾波器的訓(xùn)練組圖像內(nèi)的光譜的響應(yīng)。[0024]圖9顯示了適于圖8的濾波器響應(yīng)的高斯分布。
[0025]圖10顯示了對訓(xùn)練組圖像的散焦估計。
【具體實施方式】
[0026]本發(fā)明包括用于估計圖像內(nèi)的散焦(即聚焦誤差)的方法、系統(tǒng)和計算機(jī)程序產(chǎn)品。在本發(fā)明的一個實施例中，由點-擴(kuò)散函數(shù)的波動光學(xué)模型表征光學(xué)系統(tǒng)并由每個傳感器類的波長靈敏度、空間取樣和噪聲函數(shù)表征傳感器陣列。收集了清晰圖像塊的訓(xùn)練組。為指定范圍內(nèi)的多個散焦程度的每一個，對每個傳感器類計算點-擴(kuò)散函數(shù)。另外，每個散焦程度的點-擴(kuò)散函數(shù)被應(yīng)用于每個圖像塊，然后使用用于傳感器陣列內(nèi)的每種傳感器的波長靈敏度和空間取樣函數(shù)對該圖像塊進(jìn)行取樣。將噪聲添加到傳感器陣列中的每種傳感器的每個傳感器元件的取樣響應(yīng)上。通過統(tǒng)計學(xué)學(xué)習(xí)步驟，來自傳感器陣列的傳感器響應(yīng)被用于生成一組最優(yōu)散焦濾波器。然后該最優(yōu)散焦濾波器被應(yīng)用于對訓(xùn)練組中的每個圖像塊的傳感器響應(yīng)。用于圖像塊的訓(xùn)練組內(nèi)的多個散焦程度的每一個的聯(lián)合濾波器響應(yīng)分布(即條件似然分布)被確定并以參數(shù)化函數(shù)(如多維高斯函數(shù))來表征。
[0027]前述的步驟表明了如何學(xué)習(xí)最優(yōu)散焦濾波器。后續(xù)描述的步驟表明怎樣使用最優(yōu)散焦濾波器來獲得用于任意圖像塊的最優(yōu)散焦估計。
[0028]為了估計具有任意聚焦誤差的任意塊的聚焦誤差，計算對于任意圖像塊的濾波器響應(yīng)矢量(即每個濾波器的響應(yīng))。濾波器響應(yīng)矢量和訓(xùn)練濾波器響應(yīng)分布的參數(shù)化描述被用于確定指定范圍內(nèi)的每個可能散焦程度的概率。從此概率分布可獲得聚焦誤差的連續(xù)貝葉斯最優(yōu)估計。用此方式，能夠開發(fā)軟件技術(shù)來執(zhí)行聚焦誤差估計，而不需要相位檢測自動聚焦方法的昂貴的硬件需求。該方式還具有額外的優(yōu)點，其可被應(yīng)用“實時取景”模式并可實施于蜂窩電話的相機(jī)、無反光鏡可換鏡頭照相機(jī)、傻瓜相機(jī)和其他當(dāng)前使用對比度測量自動聚焦并且由于太小或太低價而不能實現(xiàn)相位檢測自動聚焦的成像系統(tǒng)。
[0029]在下面的描述中，提出了很多詳細(xì)細(xì)節(jié)以提供對本發(fā)明的完全的理解。然而，對本領(lǐng)域技術(shù)人員來說顯而易見的是，可在沒有這些詳細(xì)細(xì)節(jié)的情況下實行本發(fā)明。在其他情況下，眾所周知的電路以框圖方式顯示以不使本發(fā)明模糊在不必要的細(xì)節(jié)中。在很大程度上，考慮定時注意事項或類似的細(xì)節(jié)被省略，因為這些細(xì)節(jié)對于完全理解本發(fā)明不是必需的，并且在相關(guān)領(lǐng)域內(nèi)的普通技術(shù)人員的技術(shù)范圍之內(nèi)。
[0030]圖1是按照本發(fā)明實施例配置的系統(tǒng)的示意圖。系統(tǒng)100接收從外部物體102進(jìn)入將該物體光線成像到傳感器陣列106上的光學(xué)系統(tǒng)104的光線。通過可相對彼此移動來調(diào)整光學(xué)系統(tǒng)104的焦距的物鏡108和目鏡110,該光學(xué)系統(tǒng)被不意性地表現(xiàn)在圖1中，但是可以理解的是，在可被調(diào)整用以將物體光線聚焦到傳感器陣列106上可被使用任意數(shù)量和任意布置的光學(xué)元件。傳感器陣列106可利用各種組件，可包括如響應(yīng)于接收預(yù)定波長，如長(如紅色)、中(如綠色)或短(如藍(lán)色)波長的光而生成電能的光電傳感器。在典型的系統(tǒng)100中，傳感器陣列106包括用于紅色光的多個傳感器和用于藍(lán)色光的多個傳感器。陣列中的每個傳感器根據(jù)它接收的光強生成小電流。每個傳感器被看作接收的傳感器圖像的像素。
[0031]來自陣列106的每個傳感器的電流被提供給用于計算的處理器112。處理器利用下面將進(jìn)一步說明的從數(shù)據(jù)存儲器114、如存儲器讀取的聚焦誤差數(shù)據(jù)。處理器根據(jù)它的基于存儲器114中的數(shù)據(jù)的處理來確定接收的圖像中的聚焦誤差的符號和量級，并確定接收的圖像的聚焦誤差。通過調(diào)整光學(xué)系統(tǒng)104以實現(xiàn)補償方向性符號(如后聚焦或前聚焦)并補償量級從而使得接收的圖像充分聚焦在傳感器陣列106上，處理器112能夠補償確定的聚焦誤差。也就是說，基于來自傳感器陣列的一組接收圖像數(shù)據(jù)，處理器112可計算對光學(xué)系統(tǒng)104的調(diào)整，該調(diào)整是在該光學(xué)系統(tǒng)的動作下促使接收圖像準(zhǔn)確對焦時所需的。通過光學(xué)系統(tǒng)的光路是直接的光路，在此情況下，從物體102到傳感器陣列106的光路不會被分散采集的光線的中間結(jié)構(gòu)所中斷。也就是說，光路不包含光束分離器或類似的器件。因而，避免了對比度聚焦系統(tǒng)的重復(fù)聚焦技術(shù)，并且不需要相位檢測聚焦系統(tǒng)的復(fù)雜的光路和棱鏡。
[0032]利用此處說明的聚焦誤差估計的系統(tǒng)100可被實施于在包括通過光學(xué)系統(tǒng)接收光線的傳感器陣列的各種設(shè)備中。例如，光學(xué)系統(tǒng)可位于具有光敏傳感器陣列和可根據(jù)估計的聚焦誤差調(diào)整光學(xué)系統(tǒng)的焦距的鏡頭聚焦系統(tǒng)的數(shù)碼相機(jī)中。可利用此處說明的聚焦誤差估計的其他系統(tǒng)包括具有光敏傳感器陣列和可根據(jù)估計的聚焦誤差調(diào)整顯微鏡的光學(xué)系統(tǒng)的焦距的透鏡聚焦系統(tǒng)的數(shù)碼顯微鏡。類似地，示例性設(shè)備可包括具有光敏傳感器陣列和可根據(jù)估計的聚焦誤差調(diào)整望遠(yuǎn)鏡的光學(xué)系統(tǒng)的焦距的鏡頭聚焦系統(tǒng)的數(shù)碼望遠(yuǎn)鏡?？衫么颂幷f明的聚焦誤差估計的另一示例性設(shè)備可包括具有光學(xué)傳感器陣列和可接收包含視頻幀的傳感器陣列上的圖像、并可根據(jù)估計的聚焦誤差調(diào)整相機(jī)的光學(xué)系統(tǒng)的焦距的鏡頭聚焦系統(tǒng)的數(shù)碼相機(jī)。也就是說，每幀視頻可使用此處說明的技術(shù)實現(xiàn)聚焦。由接收圖像的數(shù)碼相機(jī)系統(tǒng)和分析系統(tǒng)控制的多種多樣的機(jī)械設(shè)備可從此處描述的用于焦距估計和設(shè)備控制的技術(shù)獲益。例如，微加工、機(jī)器人和專家系統(tǒng)可從此處描述的技術(shù)獲益。本領(lǐng)域技術(shù)人員可獲知能夠使用此處描述的聚焦誤差確定技術(shù)的其他適當(dāng)?shù)脑O(shè)備和系統(tǒng)。
[0033]圖2是闡明為確定聚焦誤差而說明的操作的流程圖。在第一操作202，通過光學(xué)系統(tǒng)在傳感器陣列上從外部物體接收圖像數(shù)據(jù)。在從傳感器陣列的每個像素產(chǎn)生圖像數(shù)據(jù)后，在下一操作204，為光學(xué)系統(tǒng)的一個或更多個散焦濾波器的每一個計算接收的圖像數(shù)據(jù)的濾波器響應(yīng)值，從而計算的響應(yīng)值包括接收的圖像數(shù)據(jù)的濾波器響應(yīng)矢量。在【專利附圖】

【附圖說明】的實施例中，使用下面將進(jìn)一步說明的統(tǒng)計學(xué)學(xué)習(xí)技術(shù)來識別一組散焦濾波器。濾波器響應(yīng)值是為陣列中的一個或更多個傳感器類型計算的。例如，傳感器陣列可包括分別對紅、藍(lán)或綠光波敏感的光敏像素。如果要估計聚焦誤差的符號，濾波器將處理自這三個傳感器通道中的任意挑選的至少兩個傳感器通道的圖像數(shù)據(jù)。如果只需估計量級，濾波器將處理來自一個或更多個傳感器通道的數(shù)據(jù)。
[0034]在估計聚焦誤差時，給定觀測的濾波器響應(yīng)矢量，系統(tǒng)下一步計算指定范圍內(nèi)的每個可能散焦程度的概率。這表示于流程圖方框206中。散焦處理的下一步驟，如方框208處，是基于計算的每個散焦程度的概率獲得接收的圖像數(shù)據(jù)的聚焦誤差的估計。使用標(biāo)準(zhǔn)技術(shù)(如最小均方誤差(MMSE)估計或最大后驗(MAP)估計)從概率分布獲得聚焦誤差的貝葉斯最優(yōu)估計。用此方法確定的聚焦誤差可提供聚焦誤差的符號(方向)和聚焦誤差的量級。產(chǎn)生針對訓(xùn)練激勵的濾波器響應(yīng)矢量的數(shù)學(xué)細(xì)節(jié)將在下面進(jìn)一步說明。
[0035]圖3提供了闡明應(yīng)用到設(shè)備上的聚焦誤差估計技術(shù)的操作的流程圖。
[0036]在圖3的第一操作中，相應(yīng)于第一個方框302，由設(shè)備的用戶發(fā)起圖像接收過程。例如，如果該設(shè)備是數(shù)碼相機(jī)，用戶可充分按下快門按鈕以發(fā)起圖像處理但不足以發(fā)起圖像捕獲。此“圖像預(yù)覽”操作在傳統(tǒng)數(shù)碼相機(jī)中是眾所周知的。類似的圖像預(yù)覽操作在按照本發(fā)明構(gòu)造的數(shù)碼相機(jī)、攝像機(jī)、數(shù)碼顯微鏡或數(shù)碼望遠(yuǎn)鏡中是可用的。在下一操作方框304中，使用本文件中說明的、例如聯(lián)合圖2的操作說明的技術(shù)確定接收圖像中估計的聚焦誤差。聚焦誤差確定后，在方框306，在單次操作中調(diào)整設(shè)備的光學(xué)系統(tǒng)的焦距以適應(yīng)該估計誤差并移動光學(xué)系統(tǒng)組件以便促使外部物體充分進(jìn)入恰當(dāng)?shù)慕咕鄡?nèi)。然后用戶可繼續(xù)處理另一個圖像，即確定方框308是“是”，或者用戶可繼續(xù)該接收圖像的圖像捕獲，即確定方框是“否”。在“是”的情形下，設(shè)備操作循環(huán)返回方框302的圖像接收處理。
[0037]圖4是顯示按照本發(fā)明實施例配置的計算機(jī)系統(tǒng)的細(xì)節(jié)的框圖。圖4表明了實踐本發(fā)明的硬件環(huán)境的典型的計算機(jī)系統(tǒng)400的硬件配置的實施方式。在圖4中，計算機(jī)系統(tǒng)400可包括通過系統(tǒng)總線402耦合到各種其他組件的處理器401。操作系統(tǒng)403可在處理器401上運行以便提供控制并協(xié)調(diào)圖4的各種組件的功能。根據(jù)本發(fā)明根據(jù)此處的描述執(zhí)行各種功能或服務(wù)的原則，處理器401通過操作系統(tǒng)403執(zhí)行程序指令以提供應(yīng)用404。應(yīng)用404可包括例如如下面進(jìn)一步討論的用于圖像內(nèi)的估計散焦的功能和操作。
[0038]再如圖4所示，只讀存儲器(ROM) 405可耦合到系統(tǒng)總線402并可包括控制計算機(jī)系統(tǒng)400的某些基本功能的基本輸入/輸出系統(tǒng)(BIOS)。隨機(jī)接入存儲器(RAM) 406和磁盤適配器407也可耦合到系統(tǒng)總線402。應(yīng)該注意的是，包括操作系統(tǒng)403和應(yīng)用404的軟件組件可加載到作為計算機(jī)系統(tǒng)400的主存儲器RAM406中以便執(zhí)行。磁盤適配器407可以是電子集成驅(qū)動器(DE)適配器或類似的與存儲單元408如存儲器單元，硬盤驅(qū)動或固態(tài)硬盤驅(qū)動進(jìn)行通信的適配器。應(yīng)注意的是，如下面進(jìn)一步討論的用于估計圖像中散焦的程序可駐存于硬盤單元408或應(yīng)用404中。
[0039]計算機(jī)系統(tǒng)400可進(jìn)一步包括耦合到總線402的通信適配器409。通信適配器409可通過網(wǎng)絡(luò)接口將總線402與外部網(wǎng)絡(luò)(未示出)互連，因而允許計算機(jī)系統(tǒng)400與其他類似設(shè)備進(jìn)行通信。可替代地，計算機(jī)系統(tǒng)400可嵌入到設(shè)備中，例如相機(jī)或數(shù)字顯微鏡，它們均具有將光線從物體引導(dǎo)到傳感器陣列上以便可根據(jù)此處的描述調(diào)整光學(xué)系統(tǒng)到恰當(dāng)?shù)木劢沟墓鈱W(xué)系統(tǒng)。
[0040]輸入/輸出(I / O)設(shè)備可通過用戶接口適配器410和顯示器適配器411連接到計算機(jī)系統(tǒng)400。鍵盤412、鼠標(biāo)413和揚聲器414都可通過用戶接口適配器410與總線402互連。數(shù)據(jù)可通過任意這些設(shè)備輸入計算機(jī)系統(tǒng)400中。顯示監(jiān)視器415可通過顯示器適配器411連接到系統(tǒng)總線402。在此方式中，用戶可通過鍵盤412或鼠標(biāo)413提供到計算機(jī)系統(tǒng)400的輸入，可通過顯示器415或揚聲器414從計算機(jī)系統(tǒng)400接收輸出。
[0041]本領(lǐng)域技術(shù)人員能夠理解的是，本發(fā)明的方面可表現(xiàn)為系統(tǒng)、方法或計算機(jī)程序產(chǎn)品。相應(yīng)地，本發(fā)明的方面可采取完全硬件實施方式、完全軟件實施方式(包括固件、常駐軟件、微代碼等)或聯(lián)合軟件和硬件方面的一般在此被稱為為“電路”、“模塊”或“系統(tǒng)”的實施方式。此外，本發(fā)明的方面可采取體現(xiàn)在具有計算機(jī)可讀程序代碼的一個或更多個計算機(jī)可讀介質(zhì)內(nèi)的計算機(jī)程序產(chǎn)品的方式。
[0042]可以利用一個或更多個計算機(jī)可讀介質(zhì)的任意組合。計算機(jī)可讀介質(zhì)可以是計算機(jī)可讀信號介質(zhì)或非易失性計算機(jī)可讀存儲介質(zhì)。計算機(jī)可讀存儲介質(zhì)可以是但不限于例如電子的、磁的、光學(xué)的、電磁的、紅外線的、或半導(dǎo)體系統(tǒng)、裝置或設(shè)備或前述的任意合適的組合。非易失性計算機(jī)可讀存儲介質(zhì)的更具體的例子(非窮盡列表)可包括下列:便攜計算機(jī)磁盤、硬盤、隨機(jī)接入存儲器(RAM)、只讀存儲器(ROM)、可擦寫可編程只讀存儲器(EPR0M或閃存)、數(shù)據(jù)存儲介質(zhì)如光盤只讀存儲器(CD-ROM)、光學(xué)存儲設(shè)備、磁存儲設(shè)備、或前述的任意合適的組合。本文本的上下文中，計算機(jī)只讀存儲介質(zhì)可以是包含或存儲程序的任意有形介質(zhì)，以供指令執(zhí)行系統(tǒng)、裝置或設(shè)備使用或與指令執(zhí)行系統(tǒng)、裝置或設(shè)備聯(lián)合使用。
[0043]計算機(jī)可讀信號介質(zhì)可包括傳播的數(shù)據(jù)信號，其中結(jié)合有計算機(jī)可讀程序代碼，例如，在基帶或作為載波的一部分。此傳播信號可采用多種形式，包括但不限于電磁、光或它們的任意恰當(dāng)?shù)慕M合。計算機(jī)可讀信號介質(zhì)可以是非計算機(jī)可讀存儲介質(zhì)、并可通信、傳播或傳輸程序的任意計算機(jī)可讀介質(zhì)，以供指令執(zhí)行系統(tǒng)、裝置或設(shè)備使用或與指令執(zhí)行系統(tǒng)、裝置或設(shè)備聯(lián)合使用。。
[0044]結(jié)合于在計算機(jī)可讀介質(zhì)上的程序代碼可使用任意適當(dāng)?shù)慕橘|(zhì)來傳輸，包括但不限于無線、電纜、光纜、射頻等或上述的任意合適的組合。
[0045]執(zhí)行本發(fā)明的方面的操作的計算機(jī)程序代碼可聯(lián)合一種或多種編程語言來編寫，包括面向?qū)ο蟮木幊陶Z目如Java、Smalltalk、C++或類似的語目，傳統(tǒng)的過程編程語目如C編程語言或類似編程語言。程序代碼可完全地在用戶的計算機(jī)上、部分地在用戶的計算機(jī)上、作為獨立軟件包、部分地在用戶的計算機(jī)上且部分地在遠(yuǎn)程計算機(jī)上、或完全在遠(yuǎn)程計算機(jī)或服務(wù)器上執(zhí)行。在后者的場景中，遠(yuǎn)程計算機(jī)可通過任意類型網(wǎng)絡(luò)連接到用戶的計算機(jī)，包括局域網(wǎng)(LAN)或廣域網(wǎng)(WAN)，或者該連接可連接到外部計算機(jī)(如通過使用因特網(wǎng)服務(wù)提供商的因特網(wǎng))。
[0046]本發(fā)明的各方面可參考根據(jù)本發(fā)明的實施例的流程圖附圖和/或方法、裝置(系統(tǒng))和計算機(jī)程序產(chǎn)品的框圖來描述?？梢岳斫獾氖牵鞒虉D附圖和/或框圖的每個方框、流程圖附圖和/或框圖的方框的組合，可由計算機(jī)程序指令實施。計算機(jī)程序指令可提供至普通用途計算機(jī)、特殊用途計算機(jī)或其他可編程數(shù)據(jù)處理裝置的處理器，用于生產(chǎn)這樣的機(jī)器，以便通過計算機(jī)或其他可編程數(shù)據(jù)處理裝置執(zhí)行的指令產(chǎn)生執(zhí)行流程圖和/或框圖的方框中詳細(xì)說明的功能/動作的方法。
[0047]這些計算機(jī)程序指令也可存儲于可引導(dǎo)計算機(jī)、可編程數(shù)據(jù)處理裝置或其他設(shè)備以特殊方式運行的計算機(jī)可讀介質(zhì)中，以便存儲在計算機(jī)可讀介質(zhì)中的指令產(chǎn)生包括執(zhí)行流程圖和/或框圖方框中詳細(xì)說明的功能/動作的指令的制造產(chǎn)品。
[0048]計算機(jī)程序指令可也加載到計算機(jī)/其他可編程數(shù)據(jù)處理裝置、或其他設(shè)備上以引起一系列操作步驟，此操作步驟在計算機(jī)、其他可編程裝置或其他設(shè)備上執(zhí)行，以產(chǎn)生計算機(jī)執(zhí)行的過程，從而執(zhí)行于計算機(jī)或其它可編程裝置上的指令能夠提供用于執(zhí)行流程圖和/或框圖的方框中詳細(xì)說明的功能/動作的處理。
[0049]如在【背景技術(shù)】部分陳述的，通過將入射光分開到成對圖像上并對他們進(jìn)行比較來實現(xiàn)相位檢測自動聚焦。該系統(tǒng)耦合有光束分離器、一小副鏡以及兩個光學(xué)棱鏡，來將光引導(dǎo)到光學(xué)系統(tǒng)內(nèi)的專用自動聚焦傳感器。兩個光學(xué)棱鏡捕獲來自鏡頭反面的光線，將它們轉(zhuǎn)向到自動聚焦傳感器，生成具有與透鏡直徑一致基準(zhǔn)的簡單測距儀。然后為相似光強度模型(峰與谷)分析這兩個圖像并計算相位差以便發(fā)現(xiàn)物體在前焦或是后焦位置。盡管該相位檢測方法快且準(zhǔn)確并能估計散焦符號，但因為需要特殊光束分離器、鏡子、棱鏡和傳感器，實現(xiàn)起來成本很大。進(jìn)一步地，外部硬件增加了光學(xué)系統(tǒng)的尺寸和重量。此外，此方法不能操作于視頻模式或“實時取景”模式(特點是允許光學(xué)系統(tǒng)的顯示屏如數(shù)碼相機(jī)的顯示屏作為取景器使用)。然而，如果開發(fā)軟件技術(shù)來執(zhí)行最優(yōu)聚焦誤差估計，那么就不再需要相位檢測自動聚焦方法的昂貴的硬件需求。而且光學(xué)系統(tǒng)的重量可減輕。
[0050]因而，使用此處描述的聚焦誤差估計，有時與相對較大的相位檢測系統(tǒng)相關(guān)的改進(jìn)的性能可在小型系統(tǒng)內(nèi)獲得，如移動電話的照相機(jī)系統(tǒng)，無鏡面可換鏡頭照相機(jī)(即非單鏡頭反射相機(jī))，以及當(dāng)前使用對比度檢測聚焦系統(tǒng)的類似相機(jī)。
[0051]本發(fā)明的原理提供了執(zhí)行聚焦誤差估計的技術(shù)，該技術(shù)不需要對比度測量所需的緩慢重復(fù)程序，也不需要可應(yīng)用于下面進(jìn)一步討論的“實時取景”模式的相位檢測自動聚焦方法的昂貴的硬件需求。圖5是估計通過光學(xué)系統(tǒng)獲得的圖像內(nèi)的聚焦誤差的方法的流程圖。圖6是生成最優(yōu)散焦濾波器的方法的流程圖。
[0052]如圖5所示，第一操作501表明光學(xué)系統(tǒng)(如數(shù)碼相機(jī)或數(shù)碼顯微鏡)以點-擴(kuò)散函數(shù)建?；虮碚?。
[0053]討論光學(xué)系統(tǒng)的建模前，需要對散焦概念進(jìn)行簡單的討論。目標(biāo)圖像區(qū)域的散焦被定義為鏡頭系統(tǒng)的當(dāng)前功率與促使目標(biāo)區(qū)域聚焦所需的功率之間的差值，如下面的式I所示:
[0054]Δ D=Dfocus-D


target

(式I)
[0055]也就是說，此處描述的技 術(shù)估計例如自然圖像或計算機(jī)生成的圖像(或任意其他種類的圖像)的圖像的每個局部區(qū)域內(nèi)的聚焦誤差(AD)，也稱其為散焦。
[0056]類似于很多視覺估計任務(wù),估計散焦也會遭受“逆光學(xué)(inverse optics) ”問題:不可能僅從圖像準(zhǔn)確地確定圖像模糊是否由散焦或一些場景屬性(如霧)造成。聚焦誤差估計能夠受到符號模糊的影響。在一些條件下，比焦距近或遠(yuǎn)同一屈光距離的點目標(biāo)將被完全相同的成像。然而，此處描述的技術(shù)尋求可能的解決方法會受到一些限制。
[0057]在描述的聚焦誤差估計的方法中，對于每個波長λ，來自場景的輸入可由給出在光學(xué)系統(tǒng)的傳感器陣列的平面內(nèi)的每個X=(x，y)位置上的光線的理想化圖像I U，λ來表現(xiàn)?？傊鈱W(xué)系統(tǒng)降級理想化圖像并由式psf U，λ, AD)給出的點-擴(kuò)散函數(shù)表征，該式描述了穿過傳感器陣列的光線的空間分布，由波長λ和散焦AD的點目標(biāo)產(chǎn)生。可擴(kuò)展點-擴(kuò)散函數(shù)以使確定其形式的參數(shù)更明確，如下式2:
[0058]psf (X, λ ；a(z), W(ζ, λ , ΔD))(式 2)
[0059]其中a(z)表示光圈的形狀、尺寸和透光率，W(z，λ，AD)是波畸變函數(shù)，其依賴于光圈平面內(nèi)的位置ζ、光的波長λ，散焦程度AD和由鏡頭系統(tǒng)引進(jìn)的其他畸變。散焦程度是指圖像失焦的屈光度有多少，如果有的話。光圈函數(shù)決定了衍射對鏡頭系統(tǒng)的光學(xué)質(zhì)量的影響。波畸變函數(shù)決定并非由衍射造成的圖像質(zhì)量的退化。完美的鏡頭系統(tǒng)(即僅受限于衍射和散焦的鏡頭系統(tǒng))將源于目標(biāo)物體上的點的光轉(zhuǎn)變到聚合的球面波前。波畸變函數(shù)描述了實際聚合波前怎樣不同于在瞳孔孔徑(pupil aperture)內(nèi)的每個點上的完美球形波前。
[0060]在下一操作502，傳感器陣列由波長靈敏度函數(shù)SeO，每類傳感器c的空間取樣函數(shù)samp。(X)表現(xiàn)，其中一類傳感器指的是那些具有同一波長靈敏度簡檔(光譜靈敏度函數(shù))的傳感器。例如，當(dāng)另一類傳感器用于檢測短波長(如藍(lán))光時，一類傳感器可用于檢測長波長(如紅)光。這兩種傳感器類必須具有不同的波長靈敏度函數(shù)。在一實施例中，使用兩類或更多傳感器類來對色差加以利用，色差可被用于確定散焦的符號(即聚焦誤差的方向)，如在此進(jìn)一步所述的。也就是說，使用兩個或更多傳感器類來利用色差，色差除了連續(xù)估計散焦量級外，還可用于確定物體位于焦點前或是焦點后。在另一實施例中，使用一類或更多傳感器類對單色像差(如散光和球形像差)加以利用?？赏瑫r使用單色像差和色差來估計圖像(如自然圖像或任意其他種類的圖像，包括如計算機(jī)生成圖像的圖像)散焦。為特殊種類的傳感器，使用空間取樣函數(shù)samp。(X)來對每部分圖像(在此稱為“塊”)進(jìn)行取樣。
[0061]在下一操作503，確定最優(yōu)散焦濾波器。在一實施例中，散焦的最具診斷性的空間頻率濾波器被發(fā)現(xiàn)并隨后使用濾波器響應(yīng)獲得在此進(jìn)一步描述的連續(xù)的聚焦誤差估計。下面結(jié)合圖6討論用于生成最優(yōu)散焦濾波器的操作503的子步驟的詳細(xì)描述。
[0062]如圖6所示，在第一操作601中，收集一組隨機(jī)選擇的良好聚焦的(即清晰)圖像塊(如部分圖像)。然后圖像塊由用于散焦程度范圍內(nèi)的每個散焦程度的點-擴(kuò)散函數(shù)進(jìn)行散焦。例如，在典型數(shù)碼相機(jī)系統(tǒng)中，散焦程度可處于如從近似-2.25屈光度到近似2.25屈光度范圍的散焦范圍內(nèi)。散焦程度的范圍與光學(xué)系統(tǒng)的聚焦范圍相匹配。散焦的范圍以離散增加的屈光度步長(如以0.25屈光度步長)來設(shè)置。增加的屈光度步長大小應(yīng)該按需調(diào)整以為設(shè)備確保良好的連續(xù)估計性能。更特別地，散焦程度的范圍和離散屈光度步長的間距是根據(jù)可用的光圈設(shè)置和執(zhí)行聚焦誤差估計計算的系統(tǒng)的聚焦范圍預(yù)先確定的。如本領(lǐng)域技術(shù)人員所知的，可根據(jù)系統(tǒng)資源和應(yīng)用(如數(shù)碼相機(jī)、數(shù)碼顯微鏡、數(shù)碼望遠(yuǎn)鏡或數(shù)碼相機(jī))選擇散焦程度的其他范圍和增加的屈光度步長。
[0063]需要注意的是，包括用于單個圖像的傳感器陣列數(shù)據(jù)的圖像塊，典型地限定為圖像內(nèi)的任意像素塊區(qū)域。例如，執(zhí)行功率譜、變換和類似的計算的塊區(qū)域可包括與由用戶查看的光學(xué)系統(tǒng)的聚焦十字線對應(yīng)的圖像區(qū)域。此塊區(qū)域的尺寸典型的是處于圖像中心的量級為64x64像素區(qū)域或128x128像素區(qū)域。
[0064]在下一步驟602，為到每個圖像塊的每個散焦程度應(yīng)用點-擴(kuò)散函數(shù)。
[0065]在下一步驟603，每個失焦的圖像塊由傳感器陣列取樣，傳感器陣列由用于每類傳感器c的波長靈敏度函數(shù)ScU)和空間取樣函數(shù)samp。(X)表現(xiàn)。
[0066]此外，噪聲函數(shù)可包含在計算中。噪聲函數(shù)可包括例如被添加作為用于光學(xué)系統(tǒng)內(nèi)的噪聲程度的仿真(代理)的噪聲隨機(jī)值，如響應(yīng)于光學(xué)系統(tǒng)的傳感器的噪聲。
[0067]在下一操作604，為給定類別傳感器獲得傳感器陣列響應(yīng)。在步驟605，為每個散焦程度從來自傳感器陣列的響應(yīng)生成光學(xué)散焦濾波器。光學(xué)系統(tǒng)的散焦濾波器的典型數(shù)目是6個到8個。散焦濾波器的數(shù)目是由可用的系統(tǒng)資源和期望的操作精確度確定的。如上所述的，可由統(tǒng)計學(xué)學(xué)習(xí)技術(shù)確定散焦濾波器。散焦濾波器表示出可表征聚焦誤差的訓(xùn)練組內(nèi)的圖像的特征。
[0068]在一實施例中，通過稱為準(zhǔn)確性最大化分析(AMA)的技術(shù)獲得最優(yōu)散焦濾波器，這是用于降維的以任務(wù)為中心的統(tǒng)計技術(shù)。AMA技術(shù)實質(zhì)上勝過降維的傳統(tǒng)方法，如主成分分析(PCA)。實際上，AMA技術(shù)為散焦估計任務(wù)的執(zhí)行返回最優(yōu)濾波器(即，基)，在如Geisler, ff.S ；Najemnik, J.;和Ing, A.D.(2009)所作的《自然任務(wù)的最優(yōu)激勵編碼器》，第9(13)版期刊:17，1-16( “ΑΜΑ文件，，)中描述了 AMA技術(shù)。AMA文件通過參考結(jié)合于此。
[0069]在一實施例中，給定類別傳感器的響應(yīng)的空間模式如下式3:[0070]
【權(quán)利要求】
1.一種聚焦誤差處理方法，該方法包括: 接收光學(xué)系統(tǒng)的傳感器陣列上物體的圖像數(shù)據(jù)； 為光學(xué)系統(tǒng)的一組一個或更多散焦濾波器中的每個散焦濾波器計算針對接收的圖像數(shù)據(jù)的圖像塊的散焦濾波器的濾波器響應(yīng)值，從而計算的用于所述散焦濾波器組的濾波器響應(yīng)值產(chǎn)生接收的圖像數(shù)據(jù)的濾波器響應(yīng)矢量； 從所述接收的圖像數(shù)據(jù)的所述濾波器響應(yīng)矢量計算散焦程度的預(yù)定組中的多個散焦程度的每一個的概率；以及 基于計算的所述多個散焦程度的概率，確定所述接收的圖像數(shù)據(jù)的聚焦誤差的估計。
2.根據(jù)權(quán)利要求1所述的方法，其中計算多個散焦程度的每一個的概率包括使用包括具有對應(yīng)于散焦程度的預(yù)定組的散焦程度的圖像塊的訓(xùn)練組圖像的參數(shù)化函數(shù)，為所述散焦程度的預(yù)定組的每個散焦程度確定概率。
3.根據(jù)權(quán)利要求1所述的方法，其中確定聚焦誤差的估計包括從與與散焦程度相關(guān)聯(lián)的訓(xùn)練濾波器響應(yīng)矢量最相似的散焦程度的預(yù)定組中選擇散焦程度。
4.根據(jù)權(quán)利要求3所述的方法，其中選擇散焦程度包括根據(jù)確定最相似訓(xùn)練濾波器響應(yīng)矢量的最近鄰技術(shù)從散焦程度的預(yù)定組中進(jìn)行選擇。
5.根據(jù)權(quán)利要求1所述的方法，其中為一組一個或更多散焦濾波器內(nèi)的每個散焦濾波器計算濾波器響應(yīng)值包括: 計算接收的圖像數(shù)據(jù)的圖像塊的傅立葉變換； 從接收的圖像數(shù)據(jù)的傅立葉變 換計算徑向平均功率譜；以及 計算每個散焦濾波器的徑向平均功率譜的點積，為每個濾波器產(chǎn)生響應(yīng)值； 其中，濾波器的響應(yīng)值組包括所述濾波器響應(yīng)矢量。
6.根據(jù)權(quán)利要求1所述的方法，進(jìn)一步包括: 調(diào)整所述光學(xué)系統(tǒng)以補償聚焦誤差所確定的估計，在傳感器陣列上獲得充分對焦的圖像。
7.根據(jù)權(quán)利要求6所述的方法，其中所述光學(xué)系統(tǒng)包括數(shù)碼相機(jī)。
8.根據(jù)權(quán)利要求6所述的方法，其中所述光學(xué)系統(tǒng)包括數(shù)碼顯微鏡。
9.根據(jù)權(quán)利要求6所述的方法，其中所述光學(xué)系統(tǒng)包括數(shù)碼望遠(yuǎn)鏡。
10.根據(jù)權(quán)利要求6所述的方法，其中所述光學(xué)系統(tǒng)包括數(shù)碼攝像機(jī)。
11.根據(jù)權(quán)利要求6所述的方法，其中所述光學(xué)系統(tǒng)包括響應(yīng)于接收圖像數(shù)據(jù)進(jìn)行控制的設(shè)備。
12.—種聚焦誤差處理系統(tǒng)，所述系統(tǒng)包括: 光學(xué)系統(tǒng)； 接收通過所述光學(xué)系統(tǒng)查看的物體的圖像數(shù)據(jù)的傳感器陣列；以及處理器，其被配置為光學(xué)系統(tǒng)的一個或更多散焦濾波器中的每一個計算對接收的圖像數(shù)據(jù)的圖像塊的散焦濾波器的濾波器響應(yīng)值，從而計算的濾波器響應(yīng)值包含接收的圖像數(shù)據(jù)的濾波器響應(yīng)矢量； 從所述接收的圖像數(shù)據(jù)的所述濾波器響應(yīng)矢量計算散焦程度的預(yù)定組中的多個散焦程度的每一個的概率；以及 基于計算的所述多個散焦程度的概率，確定所述接收的圖像數(shù)據(jù)中的聚焦誤差的估if ο
13.根據(jù)權(quán)利要求12所述的系統(tǒng)，其中所述處理器計算多個散焦程度的每一個的概率是使用包括具有對應(yīng)于散焦程度的所述預(yù)定組的散焦程度的圖像塊的訓(xùn)練組圖像的參數(shù)化函數(shù)，為所述散焦程度的預(yù)定組的每個散焦程度確定概率。
14.根據(jù)權(quán)利要求12所述的系統(tǒng)，其中所述處理器確定聚焦誤差的估計是通過從與與散焦程度相關(guān)聯(lián)的訓(xùn)練濾波器響應(yīng)矢量最相似的散焦程度的預(yù)定組中選擇散焦程度。
15.根據(jù)權(quán)利要求14所述的系統(tǒng)，其中所述處理器選擇散焦程度是通過根據(jù)確定最相似訓(xùn)練濾波器響應(yīng)矢量的最近鄰技術(shù)從散焦程度的預(yù)定組中進(jìn)行選擇。
16.根據(jù)權(quán)利要求12所述的系統(tǒng)，其中所述處理器計算包含用于一個或更多散焦濾波器的每一個的濾波器響應(yīng)值的濾波器響應(yīng)矢量是通過: 計算接收的圖像數(shù)據(jù)的圖像塊的傅立葉變換，從接收的圖像數(shù)據(jù)的傅立葉變換計算徑向平均功率譜，并且計算每個散焦濾波器的徑向平均功率譜的點積，為每個濾波器產(chǎn)生響應(yīng)值，其中，濾波器響應(yīng)值組包括所述濾波器響應(yīng)矢量。
17.根據(jù)權(quán)利要求12所述的系統(tǒng)，其中所述處理器進(jìn)一步配置為調(diào)整所述光學(xué)系統(tǒng)以補償聚焦誤差的所確定的估計，并獲得充分對焦的傳感器陣列上的圖像。
18.根據(jù)權(quán)利要求17所述的方法，其中所述光學(xué)系統(tǒng)包括數(shù)碼相機(jī)。
19.根據(jù)權(quán)利要求17所 述的方法，其中所述光學(xué)系統(tǒng)包括數(shù)碼顯微鏡。
20.根據(jù)權(quán)利要求17所述的方法，其中所述光學(xué)系統(tǒng)包括數(shù)碼望遠(yuǎn)鏡。
21.根據(jù)權(quán)利要求17所述的方法，其中所述光學(xué)系統(tǒng)包括數(shù)碼攝像機(jī)。
22.根據(jù)權(quán)利要求17所述的方法，其中所述光學(xué)系統(tǒng)包括響應(yīng)于接收圖像數(shù)據(jù)進(jìn)行控制的設(shè)備。
23.一種估計通過光學(xué)系統(tǒng)接收的圖像內(nèi)的聚焦誤差的方法，所述方法包括: 為來自訓(xùn)練組圖像的一組圖像塊、為訓(xùn)練組圖像中的每個圖像塊的散焦程度的預(yù)定組內(nèi)的多個散焦程度的每一個、為光學(xué)系統(tǒng)的一組散焦濾波器內(nèi)的一個或更多散焦濾波器的每一個，計算濾波器響應(yīng)； 為所述多個散焦程度的每個散焦程度，從用于來自所述訓(xùn)練組圖像的一組圖像塊的所述計算的濾波器響應(yīng)獲得濾波器響應(yīng)矢量的分布；以及 基于濾波器響應(yīng)矢量的所述分布為每個散焦程度估計聚焦誤差。
24.根據(jù)權(quán)利要求23所述的方法，其中所述一組散焦濾波器是為用于訓(xùn)練組圖像中的每個圖像塊的散焦程度的預(yù)定組內(nèi)的多個散焦程度的每一個，使用表示光學(xué)系統(tǒng)的點-擴(kuò)散函數(shù)從用于每個散焦程度的所述訓(xùn)練組圖像確定的； 其中，使用用于光學(xué)系統(tǒng)的傳感器陣列內(nèi)的至少一類傳感器的至少一個波長靈敏度函數(shù)，至少一個空間取樣函數(shù)和至少一個噪聲函數(shù)，對訓(xùn)練組圖像內(nèi)的每個圖像塊進(jìn)行取樣，在傳感器陣列上產(chǎn)生通過所述光學(xué)系統(tǒng)接收的圖像的表示； 其中，從來自用于所述多個散焦程度的每一個的所述傳感器陣列的所述傳感器響應(yīng)獲得散焦濾波器的所述組。
25.根據(jù)權(quán)利要求23所述的方法，其中，使用包括準(zhǔn)確性最大化分析(AMA)的統(tǒng)計技術(shù)，從用于所述多個散焦程度的每一個的所述濾波器響應(yīng)獲得散焦濾波器的所述組。
26.根據(jù)權(quán)利要求23所述的方法，其中，使用包括主成分分析(PCA)的統(tǒng)計技術(shù)，從用于所述多個散焦程度的每一個的所述濾波器響應(yīng)獲得散焦濾波器的所述組。
27.根據(jù)權(quán)利要求23所述的方法，所述方法進(jìn)一步包括: 通過使參數(shù)化函數(shù)服從每個所述濾波器響應(yīng)矢量分布，對所述分布進(jìn)行表征，其中所述參數(shù)化函數(shù)包括條件似然分布函數(shù)。
28.根據(jù)權(quán)利要求27所述的方法，所述方法進(jìn)一步包括: 為具有訓(xùn)練散焦程度的所述組內(nèi)的散焦程度之間的值的散焦程度，內(nèi)插條件似然分布。
29.根據(jù)權(quán)利要求23所述的方法，進(jìn)一步包括: 通過響應(yīng)于任意圖像塊為一個或更多散焦濾波器的每一個計算散焦濾波器響應(yīng)值，使用條件似然分布的所述組并使用所述訓(xùn)練濾波器響應(yīng)矢量計算每個散焦程度的概率，來為任意圖像塊估計聚焦誤差； 其中，響應(yīng)于任意圖像塊從散焦濾波器的所述組、散焦濾波器的所述組的濾波器響應(yīng)的所述組合，來生成所述訓(xùn)練濾波器響應(yīng)矢量。
30.根據(jù)權(quán)利要求23所述的方法，其中散焦誤差的所述范圍是在大約0.25屈光度間隔內(nèi)從大約O屈光度到大約2.25屈光度的范圍內(nèi)。
31.根據(jù)權(quán)利要求23所述的方法，其中散焦誤差的所述范圍是在大約0.25屈光度的間隔內(nèi)從大約-2.25屈光度到大約2.25屈光度的范圍內(nèi)。`
32.根據(jù)權(quán)利要求23所述的方法，進(jìn)一步包括: 為所述類的傳感器，對來自所述傳感器陣列的所述傳感器響應(yīng)執(zhí)行傅立葉變換。
33.根據(jù)權(quán)利要求23所述的方法，進(jìn)一步包括: 為傳感器陣列內(nèi)的超過一類的傳感器，從傳感器陣列獲得響應(yīng)。
34.根據(jù)權(quán)利要求23所述的方法，其中為光學(xué)系統(tǒng)的傳感器陣列內(nèi)的超過一類的傳感器，確定散焦濾波器的所述組，從而散焦濾波器的所述組提供確定散焦程度的量級和符號的信息。
35.一種結(jié)合于計算機(jī)可讀存儲介質(zhì)中的用于估計聚焦誤差的計算機(jī)程序產(chǎn)品，所述計算機(jī)程序產(chǎn)品包括記錄在所述介質(zhì)中的可編程指令，當(dāng)被計算機(jī)處理器執(zhí)行時，所述可編程指令提供方法用于: 為來自訓(xùn)練組圖像的一組圖像塊、為訓(xùn)練組圖像中的每個圖像塊的散焦程度的預(yù)定組內(nèi)的多個散焦程度的每一個、為光學(xué)系統(tǒng)的一組散焦濾波器內(nèi)的一個或更多散焦濾波器的每一個，計算濾波器響應(yīng)； 為所述多個散焦程度的每個散焦程度，從用于來自所述訓(xùn)練組圖像的一組圖像塊的所述計算的濾波器響應(yīng)獲得濾波器響應(yīng)矢量的分布；以及 基于濾波器響應(yīng)矢量的所述分布為每個散焦程度估計聚焦誤差。
36.根據(jù)權(quán)利要求35所述的計算機(jī)程序產(chǎn)品，其中所述一組散焦濾波器是為用于訓(xùn)練組圖像中的每個圖像塊的散焦程度的預(yù)定組內(nèi)的多個散焦程度的每一個，使用表示光學(xué)系統(tǒng)的點擴(kuò)散函數(shù)，從用于的每個散焦程度的所述訓(xùn)練組圖像確定的； 其中，使用用于光學(xué)系統(tǒng)的傳感器陣列內(nèi)的至少一類傳感器的至少一個波長靈敏度函數(shù)，至少一個空間取樣函數(shù)和至少一個噪聲函數(shù)，對訓(xùn)練組圖像內(nèi)的每個圖像塊進(jìn)行取樣，在傳感器陣列上產(chǎn)生通過所述光學(xué)系統(tǒng)接收的圖像的表示；其中，從來自用于所述多個散焦程度的每一個的所述傳感器陣列的所述傳感器響應(yīng)獲得散焦濾波器的所述組。
37.根據(jù)權(quán)利要求35所述的計算機(jī)程序產(chǎn)品，其中，使用包括準(zhǔn)確性最大化分析(AMA)的統(tǒng)計技術(shù)，從用于所述多個散焦程度的每一個的所述濾波器響應(yīng)獲得散焦濾波器的所述組。
38.根據(jù)權(quán)利要求35所述的計算機(jī)程序產(chǎn)品，其中，使用包括主成分分析(PCA)的統(tǒng)計技術(shù)，從用于所述多個散焦程度的每一個的所述濾波器響應(yīng)獲得散焦濾波器的所述組。
39.根據(jù)權(quán)利要求35所述的計算機(jī)程序產(chǎn)品，其中所述處理器進(jìn)一步執(zhí)行: 通過使參數(shù)化函數(shù)服從每個所述濾波器響應(yīng)矢量分布，對所述分布進(jìn)行表征，其中所述參數(shù)化函數(shù)包括條件似然分布函數(shù)。
40.根據(jù)權(quán)利要求27所述的計算機(jī)程序產(chǎn)品，所述方法進(jìn)一步包括: 為訓(xùn)練散焦程度的所述組內(nèi)的散焦程度之間的值的散焦程度，內(nèi)插條件似然分布。
41.根據(jù)權(quán)利要求35所述的計算機(jī)程序產(chǎn)品，其中所述處理器進(jìn)一步執(zhí)行: 通過響應(yīng)于任意圖像塊為一個或更多散焦濾波器的每一個計算散焦濾波器響應(yīng)值，使用條件似然分布的所述組并使用所述訓(xùn)練濾波器響應(yīng)矢量計算每個散焦程度的概率，來為任意圖像塊估計聚焦誤差； 其中，響應(yīng)于任意圖像塊，從散焦濾波器的所述組、散焦濾波器的所述組的濾波器響應(yīng)的所述組合，來生成所述訓(xùn)練濾波器響應(yīng)矢量。
42.根據(jù)權(quán)利要求35所述的計算機(jī)程序產(chǎn)品，其中散焦誤差的所述范圍是在大約0.25屈光度間隔內(nèi)從大約O屈光度到大約2.25屈光度的范圍內(nèi)。
43.根據(jù)權(quán)利要求35所述的計算機(jī)程序產(chǎn)品，其中散焦誤差的所述范圍是在大約0.25屈光度的間隔內(nèi)從大約-2.25屈光度到大約2.25屈光度的范圍內(nèi)。
44.根據(jù)權(quán)利要求35所述的計算機(jī)程序產(chǎn)品，進(jìn)一步包括: 為所述類的傳感器，對來自所述傳感器陣列的所述傳感器響應(yīng)執(zhí)行傅立葉變換。
45.根據(jù)權(quán)利要求35所述的計算機(jī)程序產(chǎn)品，進(jìn)一步包括: 為傳感器陣列內(nèi)的超過一類的傳感器，從所述傳感器陣列獲得響應(yīng)。
46.根據(jù)權(quán)利要求35所述的計算機(jī)程序產(chǎn)品，其中為光學(xué)系統(tǒng)的傳感器陣列內(nèi)的超過一類的傳感器，確定散焦濾波器的所述組，從而散焦濾波器的所述組提供確定散焦程度的量級和符號的信息。
47.一種系統(tǒng),包括: 存儲用于估計圖像內(nèi)的聚焦誤差的計算機(jī)程序的存儲單元； 耦合到所述存儲單元的處理器，其中所述處理器包括電路，響應(yīng)于執(zhí)行所述計算機(jī)程序，來: 為來自訓(xùn)練組圖像的一組圖像塊、為訓(xùn)練組圖像中的每個圖像塊的散焦程度的預(yù)定組內(nèi)的多個散焦程度的每一個、為光學(xué)系統(tǒng)的一組散焦濾波器內(nèi)的一個或更多散焦濾波器的每一個，計算濾波器響應(yīng)； 為所述多個散焦程度的每個散焦程度，從用于來自所述訓(xùn)練組圖像的一組圖像塊的所述計算的濾波器響應(yīng)獲得濾波器響應(yīng)矢量的分布；以及 基于濾波器響應(yīng)矢量的所述分布為每個散焦程度估計聚焦誤差。
48.根據(jù)權(quán)利要求47所述的系統(tǒng)，其中所述一組散焦濾波器是為用于訓(xùn)練組圖像中的每個圖像塊的散焦程度的預(yù)定組內(nèi)的多個散焦程度的每一個，使用表示光學(xué)系統(tǒng)的點擴(kuò)散函數(shù)，從用于每個散焦程度的所述訓(xùn)練組圖像確定的； 其中，使用用于光學(xué)系統(tǒng)的傳感器陣列內(nèi)一類傳感器的至少一個波長靈敏度函數(shù)，空間取樣函數(shù)和至少一個噪聲函數(shù)，對訓(xùn)練組圖像內(nèi)的每個圖像塊進(jìn)行取樣，在傳感器陣列上產(chǎn)生通過所述光學(xué)系統(tǒng)接收的圖像的表示； 其中，從來自用于所述多個散焦程度的每一個的所述傳感器陣列的所述傳感器響應(yīng)獲得散焦濾波器的所述組。
49.根據(jù)權(quán)利要求47所述的系統(tǒng)，其中，使用包括準(zhǔn)確性最大化分析(AMA)的統(tǒng)計技術(shù)，從用于所述多個散焦程度的每一個的所述濾波器響應(yīng)獲得散焦濾波器的所述組。
50.根據(jù)權(quán)利要求47所述的系統(tǒng)，其中，使用包括主成分分析(PCA)的統(tǒng)計技術(shù)，從用于所述多個散焦程度的每一個的所述濾波器響應(yīng)獲得散焦濾波器的所述組。
51.根據(jù)權(quán)利要求47所述的系統(tǒng)，其中所述處理器進(jìn)一步執(zhí)行: 通過使參數(shù)化函數(shù)服從每個所述濾波器響應(yīng)矢量分布，對所述分布進(jìn)行表征，其中所述參數(shù)化函數(shù)包括條件似然分布函數(shù)。
52.根據(jù)權(quán)利要求51所述的系統(tǒng)，所述方法進(jìn)一步包括: 為具有訓(xùn)練散焦程度的所述組內(nèi)的散焦程度之間的值的散焦程度，內(nèi)插條件似然分布。
53.根據(jù)權(quán)利要求47所述的系統(tǒng)，其中所述處理器進(jìn)一步執(zhí)行: 通過響應(yīng)于任意圖像塊為一個或更多散焦濾波器的每一個計算散焦濾波器響應(yīng)值，使用條件似然分布的所述組并使用所述訓(xùn)練濾波器響應(yīng)矢量計算每個散焦程度的概率，來為任意圖像塊估計聚焦誤差； 其中，響應(yīng)于任意圖像塊，從散焦濾波器的所述組、散焦濾波器的所述組的濾波器響應(yīng)的所述組合，生成所述訓(xùn)練濾波器響應(yīng)矢量。
54.根據(jù)權(quán)利要求47所述的系統(tǒng)，其中散焦誤差的所述范圍是在大約0.25屈光度間隔內(nèi)從大約O屈光度到大約2.25屈光度的范圍內(nèi)。
55.根據(jù)權(quán)利要求47所述的系統(tǒng)，其中散焦誤差的所述范圍是在大約0.25屈光度的間隔內(nèi)從大約-2.25屈光度到大約2.25屈光度的范圍內(nèi)。
56.根據(jù)權(quán)利要求47所述的系統(tǒng)，進(jìn)一步包括: 為所述類的傳感器，對來自所述傳感器陣列的所述傳感器響應(yīng)執(zhí)行傅立葉變換。
57.根據(jù)權(quán)利要求47所述的系統(tǒng)，進(jìn)一步包括: 為傳感器陣列內(nèi)的超過一類的傳感器，從所述傳感器陣列獲得響應(yīng)。
58.根據(jù)權(quán)利要求47所述的系統(tǒng),其中為光學(xué)系統(tǒng)的傳感器陣列內(nèi)的超過一類的傳感器，確定散焦濾波器的所述組，從而散焦濾波器的所述組提供確定散焦程度的量級和符號的信息。
59.一種確定在光學(xué)系統(tǒng)的傳感器陣列上接收的圖像內(nèi)的聚焦誤差的方法，所述方法包括: 為一組在傳感器陣列上接收的、在使用表示光學(xué)系統(tǒng)的點-擴(kuò)散函數(shù)的仿真中失焦的訓(xùn)練圖像塊，為用于在訓(xùn)練圖像塊組內(nèi)的每個圖像塊的散焦范圍內(nèi)的多個散焦程度的每一個，為多個濾波器，計算濾波器響應(yīng)； 使用表示所述傳感器陣列的波長靈敏度函數(shù)和空間取樣函數(shù)，對在所述傳感器陣列上的所述組的訓(xùn)練圖像塊的每一個進(jìn)行取樣； 從傳感器陣列獲得傳感器陣列內(nèi)的一類傳感器的響應(yīng)； 為所述多個散焦程度的每一個，從來自所述傳感器陣列的傳感器響應(yīng)生成一組散焦濾波器； 通過獲得用于具有與在所述組的訓(xùn)練圖像塊內(nèi)相同散焦程度的所有圖像塊的濾波器響應(yīng)矢量的分布，確定每個濾波器響應(yīng)矢量的概率似然度； 使用參數(shù)化多維函數(shù)對對應(yīng)于所述訓(xùn)練組中的每個散焦程度的濾波器響應(yīng)分布進(jìn)行表征； 為在所述訓(xùn)練組中的散焦程度之間的散焦程度，內(nèi)插條件似然分布；以及 為具有未知聚焦誤差的任意圖像塊導(dǎo)出聚焦誤差估計，通過: 計算響應(yīng)于所述任意塊的所述濾波器響應(yīng)矢量， 計算在指定范圍內(nèi)的每個散焦程度的概率，以及 從概率分布導(dǎo)出聚焦誤差的估計。`
【文檔編號】G02B7/36GK103503433SQ201280008944
【公開日】2014年1月8日 申請日期:2012年2月27日 優(yōu)先權(quán)日:2011年2月25日
【發(fā)明者】W·吉斯勒, J·伯格 申請人:得克薩斯系統(tǒng)大學(xué)董事會