方式的照相機(jī)模塊使用“單次AF”或“連續(xù)AF”。單次AF技術(shù)涉及用于靜止采集的利用某個(gè)觸發(fā)器(例如快門)的一個(gè)AF操作。連續(xù)AF技術(shù)涉及在預(yù)覽或視頻捕捉期間連續(xù)地執(zhí)行AF。
[0070]完全遍歷式和爬山式AF
[0071]完全遍歷式AF技術(shù)掃描整個(gè)對(duì)焦范圍(例如，利用照相機(jī)模塊的可移動(dòng)透鏡或透鏡鏡筒的完全遍歷)。在圖8提供了完全遍歷式AF技術(shù)的時(shí)序圖的實(shí)例。確定從無限遠(yuǎn)到微距的感興趣區(qū)域或ROI窗口的對(duì)比度值。在該實(shí)施方式中，下面的、較長的具有指向右方的箭頭的黑線代表自動(dòng)對(duì)焦照相機(jī)模塊的一個(gè)或多個(gè)聚焦透鏡或透鏡鏡筒的行程的完全對(duì)焦范圍。找到峰值對(duì)焦評(píng)價(jià)函數(shù)值。將一個(gè)或多個(gè)透鏡或透鏡鏡筒移回到具有最佳對(duì)焦評(píng)價(jià)函數(shù)值(典型地，峰值對(duì)比度值)的焦點(diǎn)位置。從微距回到最佳焦點(diǎn)或峰值對(duì)比度的位置的這個(gè)移動(dòng)由圖8中的上面的、較短的具有指向左方的箭頭的黑線示出。透鏡在完全遍歷式AF處理期間移動(dòng)的總距離可以被估計(jì)為兩個(gè)黑線乘平均速度所代表的距離之和。與使用小于整個(gè)對(duì)焦范圍的技術(shù)相比，完全遍歷式AF技術(shù)可能花費(fèi)更多的時(shí)間來移動(dòng)一個(gè)或多個(gè)透鏡或透鏡鏡筒，盡管找到峰值通常比其他方法更簡單。因?yàn)榇嬖谙铝酗L(fēng)險(xiǎn)，即場(chǎng)景中的物或人可能在對(duì)焦周期過程中改變，所以在某些實(shí)施方式中希望減少對(duì)焦時(shí)間。
[0072]在某些實(shí)施方式中可以采用爬山式AF技術(shù)來相比于完全遍歷式技術(shù)減少對(duì)焦時(shí)間。在圖9提供了時(shí)序圖的實(shí)例以闡明爬山式AF技術(shù)。在爬山式AF技術(shù)中，從無限遠(yuǎn)開始，朝著微距位置移回，檢查感興趣的窗部區(qū)域的圖像對(duì)比度。一旦算法檢測(cè)到對(duì)比度減小，這應(yīng)該恰好在一個(gè)或多個(gè)透鏡或透鏡鏡筒越過產(chǎn)生峰值對(duì)比度的位置之后和在一個(gè)或多個(gè)透鏡或透鏡鏡筒僅僅橫越整個(gè)對(duì)焦范圍的一小部分之后發(fā)生，如圖9中下面的具有指向右方的箭頭的黑線所示，然后它就朝著峰值后退，如圖9中上面的、指向左方的短箭頭所示。在某些實(shí)施方式中，通過對(duì)焦范圍的最初的步幅是比較大的。在檢測(cè)到對(duì)比度減小之后，使用較小的步長。甚至在具有有點(diǎn)多的復(fù)雜的操作集的情況下，當(dāng)與完全遍歷式AF相比時(shí)，對(duì)焦時(shí)間也通常會(huì)減小，因?yàn)榕c完全遍歷式AF技術(shù)相比，在爬山式AF技術(shù)的過程中，透鏡移動(dòng)的距離較短，這例如由圖9中兩個(gè)黑線的總和遠(yuǎn)小于圖8中兩個(gè)黑線的總和而得到證明。只要時(shí)間不會(huì)由于減慢峰值對(duì)比度位置周圍的移動(dòng)或由于將太多的時(shí)間增加到反向滯后而太顯著地增加(如下所述)，就可以有利地與基于MEMS的自動(dòng)對(duì)焦照相機(jī)模塊結(jié)合使用爬山式AF技術(shù)，該自動(dòng)對(duì)焦照相機(jī)模塊可選地也具有變焦。當(dāng)希望非?？斓淖詣?dòng)對(duì)焦時(shí)，可以選擇圖2所示的實(shí)施方式，因?yàn)樵搶?shí)施方式中的單個(gè)可移動(dòng)透鏡L3僅僅具有比較短的橫向移動(dòng)距離，如上所述。關(guān)于爬山式AF技術(shù)的許多變化可以用在具有改進(jìn)的對(duì)焦評(píng)價(jià)函數(shù)值的不同實(shí)施方式中，或者利用巧妙的插值技術(shù)(如雙三次插值或樣條內(nèi)插)用來自少量最初AF步驟的數(shù)據(jù)找到峰值。
[0073]圖10包括可以用在某些實(shí)施方式中的爬山式AF技術(shù)的實(shí)例的流程圖結(jié)構(gòu)。一個(gè)或多個(gè)聚焦透鏡移動(dòng)到照相機(jī)的對(duì)焦范圍的末端，從圖像信號(hào)處理器或ISP獲得對(duì)比度數(shù)據(jù)并將其保存到陣列中。對(duì)于這個(gè)實(shí)例，假定感興趣的區(qū)域或ROI (AF窗口)是固定的。將最新的幀數(shù)據(jù)與之前的數(shù)據(jù)進(jìn)行比較。確定是否已經(jīng)越過峰值。對(duì)比度數(shù)據(jù)具有噪聲，因此它可能不會(huì)顯示峰值，即最新的對(duì)比度數(shù)據(jù)正好小于之前的對(duì)比度數(shù)據(jù)。因此，檢測(cè)峰值可能涉及使用閾值或檢查對(duì)比度數(shù)據(jù)的歷史記錄。如果確定已經(jīng)越過峰值，則使對(duì)焦光學(xué)器件移動(dòng)到峰值位置并且AF結(jié)束。如果確定沒有越過峰值，則確定當(dāng)前位置是否為微距。換句話說，由AF算法編程的處理器不能找到峰值?？梢詫⒔咕嘁苿?dòng)到下一個(gè)位置，或者如果在整個(gè)對(duì)焦范圍內(nèi)都沒有找到峰值，則系統(tǒng)可以從開始重新嘗試AF技術(shù)，或者可以將對(duì)焦光學(xué)器件移動(dòng)到默認(rèn)位置，例如超焦距長度。
[0074]滯后
[0075]滯后在圖11中示出，并且被定義為當(dāng)相同的電壓施加在致動(dòng)器上時(shí)、當(dāng)將一個(gè)或多個(gè)可移動(dòng)透鏡或透鏡鏡筒從微距移動(dòng)向無限遠(yuǎn)位置且然后沿相反方向從無限遠(yuǎn)移動(dòng)到微距位置時(shí)的透鏡位置的差別。值得注意地，包括在根據(jù)某些實(shí)施方式的自動(dòng)對(duì)焦照相機(jī)模塊中的MEMS致動(dòng)器包括三微米或更小的滯后。相比之下，VCM致動(dòng)器通常具有二十微米或更大的滯后，其是如此大的滯后以致于AF技術(shù)可能增加在找到峰值之后返回越過峰值并且再次移動(dòng)到峰值的步驟，如圖12的示意性實(shí)例中那樣。通過參考圖9的示例性時(shí)序圖，將向后朝著微距的第三次移動(dòng)(如圖12中的三個(gè)黑色箭頭中的上面的最短箭頭所示)增加到僅由其他兩個(gè)箭頭確定的總和，這將少量距離增加到總和，但與VCM自動(dòng)對(duì)焦相比增大了差別，因?yàn)樵谠摳叩枚嗟臏蟓h(huán)境中以足夠的準(zhǔn)確度找到對(duì)比度峰值具有更大的困難。
[0076]連續(xù)AF的基本概念與單次AF近似相同。然而，應(yīng)該避免作為問題的不必要的頻繁重新對(duì)焦，特別是對(duì)于視頻采集?？梢灶A(yù)先確定閾值，其中在場(chǎng)景或焦點(diǎn)窗口中的足夠小的變化將不會(huì)觸發(fā)重新對(duì)焦，而如果算法敏感，則它可能在每個(gè)圖像幀都被改變。因而，在連續(xù)AF技術(shù)的某些實(shí)施方式中提供了一些算法調(diào)整以獲得某些所需結(jié)果。
[0077]場(chǎng)景改變檢測(cè)
[0078]在某些實(shí)施方式中可以在連續(xù)AF技術(shù)中使用場(chǎng)景改變檢測(cè)部件，其可以用來避免頻繁的焦點(diǎn)移動(dòng)。這可以在要求新的焦點(diǎn)移動(dòng)之前為場(chǎng)景的改變?cè)O(shè)定閾值。
[0079]預(yù)測(cè)性臉部AF
[0080]在某些實(shí)施方式中，利用從場(chǎng)景中檢測(cè)到的臉部圖像得到的信息來幫助提供圖像幀中的臉部距離和臉部位置的估計(jì)。將基于臉部的技術(shù)與MEMS AF技術(shù)結(jié)合，特別是在自動(dòng)對(duì)焦照相機(jī)模塊包括MEMS致動(dòng)器的情況下當(dāng)滯后相對(duì)低且可重復(fù)性高時(shí)。如果實(shí)施與臉部追蹤的結(jié)合，則更巧妙的算法是可能的。
[0081]在某些實(shí)施方式中，當(dāng)可得到追蹤的臉部區(qū)域時(shí)，圖像幀內(nèi)的預(yù)測(cè)臉部區(qū)域的額外信息與統(tǒng)計(jì)的臉部追蹤數(shù)據(jù)相關(guān)聯(lián)并且可以用來通知AF算法。這也實(shí)現(xiàn)了精確的場(chǎng)景改變檢測(cè)，特別是當(dāng)人和/或臉常常是場(chǎng)景改變的主要來源時(shí)。作為例子，可以從幀-到-幀確定眼-到-眼的距離改變，這為追蹤的臉部區(qū)域提供了距離和速度度量。該信息幫助避免錯(cuò)誤方向上的焦點(diǎn)搜索。在追蹤多個(gè)臉部區(qū)域的場(chǎng)合，有各種選擇，例如，焦點(diǎn)可以是基于最近的臉的、最中間的臉的、最長的被追蹤的臉的、橫跨多個(gè)臉的平均或其他預(yù)先設(shè)定的標(biāo)準(zhǔn)。在某些實(shí)施方式中，在觸摸屏界面的情況下，用戶可以選擇優(yōu)先考慮的臉部區(qū)域。
[0082]ISP內(nèi)的硬件臉部追蹤
[0083]可以實(shí)施ISP的硬件附件，其可以提取本地圖像圖元并在圖像數(shù)據(jù)通過ISP時(shí)將多個(gè)平行對(duì)象分類器模板應(yīng)用于緩存的圖像數(shù)據(jù)(例如，參見公開的美國專利申請(qǐng)?zhí)?0120120304,20120106790 和 20120075504，其通過援引并入)。
[0084]在一個(gè)實(shí)施方式中，確定可能的(矩形)臉部區(qū)域。該數(shù)據(jù)隨著原始圖像幀被寫到系統(tǒng)存儲(chǔ)器以便主系統(tǒng)CPU或GPU進(jìn)行隨后的處理。在某些實(shí)施方式中，該數(shù)據(jù)被保留并在多個(gè)圖像幀上以ISP水平進(jìn)行統(tǒng)計(jì)學(xué)上的處理，或在ISP的硬件“附件”內(nèi)進(jìn)行統(tǒng)計(jì)學(xué)上的處理。在某些實(shí)施方式中，這被用來提供硬件臉部追蹤機(jī)構(gòu)，其可以確定較近圖像幀中的臉部的預(yù)測(cè)位置。由于在某些實(shí)施方式中，主CPU典型地有時(shí)成形本地硬件模塊，以例如通過加載不同的分類器模板來幫助高水平的臉部分析功能，所以能從在主CPU/GPU上運(yùn)行的其他算法獲得不定期的確認(rèn)。分類器模板不限于臉部。利用用于眼部區(qū)域、手、面部表情(微笑、眨眼)和用于非人對(duì)象(包括車輛、動(dòng)物、建筑物和樹木)的相同結(jié)構(gòu)，分類器模板被成功地實(shí)施。
[0085]用于某些應(yīng)用的一個(gè)特別相關(guān)的分類器是“眼睛對(duì)”模板，其確認(rèn)臉部區(qū)域并另外提供臉部區(qū)域尺寸的更精確的表示。
[0086]現(xiàn)在參考圖13，一組檢測(cè)到的臉部位置被表示為大矩形窗口內(nèi)的內(nèi)藏矩形，該大矩形窗口可以代表圖像邊界。這些內(nèi)藏矩形是將多個(gè)短分類器鏈并行匹配到圖像幀的窗口的結(jié)果。矩形區(qū)域顯示了當(dāng)每個(gè)所示矩形窗口將并行應(yīng)用的多個(gè)短分類器鏈之一成功地匹配到圖像幀的那個(gè)窗口時(shí)，檢測(cè)到可能的臉部區(qū)域的地方。與具有僅僅一個(gè)窗口或具有較少窗口的區(qū)域相比，具有多個(gè)重疊窗口的區(qū)域具有更高的包含臉部的概率。在圖13的實(shí)例中，注意到相當(dāng)大量的單個(gè)檢測(cè)，盡管如果在該位置沒有其他匹配被確定的情況下這不可能表明真實(shí)的臉部區(qū)域，因?yàn)樵谠撌纠詫?shí)施方式中將單獨(dú)的分類器鏈設(shè)計(jì)成高度包含一組特定的臉部特征，例如姿態(tài)、平面內(nèi)旋轉(zhuǎn)和/或照明度。
[0087]可以在多個(gè)圖像幀上對(duì)于一組候選的臉部區(qū)域獲得確認(rèn)并可以建立歷史記錄。歷史記錄可以包括記錄的方向和確認(rèn)區(qū)域的移動(dòng)程度。因而，在圖像采集開始時(shí)，可以通知ISP在之前的一個(gè)或多個(gè)圖像幀中臉部區(qū)域在哪里。其可以剛剛被分析并且類似于圖13的輸出可以用于最后的幀。在某些實(shí)施方式中，ISP也可以保存被追蹤的臉部或其他對(duì)象區(qū)域的統(tǒng)計(jì)歷史記錄，如圖14的實(shí)例中所示。
[0088]圖14表示確認(rèn)的臉部區(qū)域，其顯示于“微笑符”出現(xiàn)在大矩形窗口內(nèi)的位置處，在某些實(shí)施方式中，大矩形窗口基于追蹤的歷史記錄和/或追蹤的歷史記錄與一個(gè)或多個(gè)額外標(biāo)準(zhǔn)的組合。這種額外標(biāo)準(zhǔn)可以包括來自于在主CPU上運(yùn)行的較復(fù)雜且可能較慢的算法的非實(shí)時(shí)確認(rèn)。這些臉部或感興趣的其他對(duì)象或區(qū)域(ROI)中的每一個(gè)的焦距或焦點(diǎn)值也可以被確定和記錄為例如圖14中的fl、f2、f3和f4。圖14中的虛線表示預(yù)測(cè)的臉部區(qū)域或預(yù)期臉部處于目前正在采集的圖像幀內(nèi)的位置。該信息可以部分地基于歷史追蹤數(shù)據(jù)，部分地基于確定的當(dāng)前方向和/或移動(dòng)速度，和/或部分地基于被追蹤的臉部的尺寸(與照相機(jī)的接近度)。例如注意到f4正在以合理速度在水平方向上移動(dòng)，而f3正在以較慢速度在相反但仍為水平的方向上移動(dòng)，因此預(yù)測(cè)的臉部區(qū)域在f3的移動(dòng)方向上比在f4的移動(dòng)方向上伸出得少。圖14還表明fl正在沿垂直方向緩慢移動(dòng)，沒有檢測(cè)到f2的移動(dòng)或者檢測(cè)到的f2的任何移動(dòng)都低于閾值最小值。
[0089]基于臉部的檢測(cè)的一個(gè)方面是根據(jù)某些實(shí)施方式的基于MEMS的自動(dòng)對(duì)焦照相機(jī)模塊可以有利地用一個(gè)或多個(gè)預(yù)測(cè)的臉部區(qū)域作為AF算法的ROI。在圖14中所示的實(shí)例中，有四(4)個(gè)區(qū)域，每個(gè)都潛在地具有至少輕微不同的焦點(diǎn)設(shè)置，即fl、f2、f3和f4?？梢詰?yīng)用一系列不同的方法。在一個(gè)實(shí)施方式中，焦點(diǎn)位置是基于根據(jù)所有檢測(cè)到的臉部或者檢測(cè)到的或候選的臉部區(qū)域的子集而確定的單個(gè)值。在另一個(gè)實(shí)施方式中，基于最近(最大)的臉部上的，或最遠(yuǎn)(最小)距離的臉部上的，或位于對(duì)應(yīng)于最近和最遠(yuǎn)距離之間的中間設(shè)定值的焦點(diǎn)位置處的臉部上的，焦點(diǎn)來確定焦點(diǎn)；或者將焦點(diǎn)設(shè)定到上述焦點(diǎn)。在另一個(gè)實(shí)施方式中，焦點(diǎn)可以是基于時(shí)間的，例如，焦點(diǎn)可以被設(shè)定到最近檢測(cè)到的臉部；或最久的檢測(cè)到的臉部上，或在追蹤了閾值時(shí)間的過程中也具有足夠穩(wěn)定性或其他參數(shù)、標(biāo)準(zhǔn)或組合的已經(jīng)維持臉部鎖定的臉部上。
[0090]圖15示出了來自圖14的被追蹤的矩形區(qū)域與圖13的多個(gè)、在很可能的情況下重疊的、單幀的檢測(cè)相重疊，所述被追蹤的矩形區(qū)域在相應(yīng)臉部的移動(dòng)方向上的尺寸與臉部在場(chǎng)景內(nèi)移動(dòng)的速度成比例。在該實(shí)例中有趣的是，有可能的新的臉部區(qū)域似乎已經(jīng)從右側(cè)進(jìn)入圖像范圍，其具有與相配的四個(gè)不同的短分類器鏈對(duì)應(yīng)的四個(gè)單幀檢測(cè)，即使臉部追蹤鎖定沒有例如通過提供與移動(dòng)方向和速度成比例的虛線矩形而被表示為已經(jīng)被建立，從而使得可能沒有統(tǒng)計(jì)數(shù)據(jù)，也沒有相關(guān)聯(lián)的對(duì)應(yīng)于該位置的預(yù)測(cè)區(qū)域。
[0091]在某些實(shí)施方式中提供了專門的硬件以對(duì)對(duì)象(如臉)進(jìn)