用于利用自校準(zhǔn)的自動聚焦的方法和系統(tǒng)的制作方法
【專利說明】用于利用自校準(zhǔn)的自動聚焦的方法和系統(tǒng)
【背景技術(shù)】
[0001] 諸如數(shù)碼相機之類的數(shù)字圖像處理設(shè)備使用自動特征來提高圖像（例如，數(shù)碼相 機上的預(yù)覽屏幕以及所記錄的圖像和所錄制的視頻）的質(zhì)量。自動特征包括3A特征，所述 3A特征指的是自動白平衡（AWB)、自動聚焦（AF)以及自動曝光控制（AEC)。自動聚焦是相 對于圖像傳感器或其它圖像捕捉介質(zhì)對透鏡位置的自動調(diào)整，以獲得銳利的、清晰的圖像。
[0002] 透鏡的移動是由照相機致動器或電動機所控制的，假設(shè)是音圈電動機（VCM)致動 器，其將電流轉(zhuǎn)換為運動。透鏡的位置和所應(yīng)用的電流（單位為毫安）線性地成比例。為 了執(zhí)行計算以將透鏡放置在特定位置，必須確定的是，應(yīng)當(dāng)應(yīng)用多少電流以使透鏡移動到 該位置。由于對照相機設(shè)備和容納照相機的設(shè)備（當(dāng)以智能手機的部分為例時）的制造期 間可能發(fā)生的制造公差和/或其它錯誤，用于將透鏡移動到相同的期望位置的電流量可能 隨著設(shè)備的不同而不同。因此，開發(fā)了分別校準(zhǔn)每個設(shè)備的算法。這包括應(yīng)用充足的電流 以將透鏡放置在接近于照相機中的近機械端的第一位置，并且然后將透鏡放置在接近于照 相機內(nèi)的遠機械端的第二位置，其中距遠機械端和近機械端的距離是已知的。然后，用于獲 得沿著透鏡的運動范圍的其它重要位置的電流，可以根據(jù)這兩個位置進行內(nèi)插。
[0003] 因此，常規(guī)的校準(zhǔn)過程是冗長的、勞動密集的和耗時的，這增加了每個照相機設(shè)備 的成本。當(dāng)?shù)统杀驹O(shè)備制造商通常不想為其照相機設(shè)備進行工廠校準(zhǔn)時，校準(zhǔn)數(shù)據(jù)的缺乏 可能嚴(yán)重危害自動聚焦性能并且消極地影響聚焦速度和準(zhǔn)確性，這是由于AF可能需要遍 及整個VCM的取值范圍進行掃描以找到最優(yōu)的焦距對準(zhǔn)位置。
[0004] 另一方面，即使執(zhí)行了校準(zhǔn)，也不能保證所有設(shè)備都包含正確的校準(zhǔn)信息。結(jié)果在 很大程度上取決于自動聚焦校準(zhǔn)算法和校準(zhǔn)設(shè)置。校準(zhǔn)可能導(dǎo)致錯誤的參數(shù)，所述錯誤的 參數(shù)可能誤導(dǎo)自動聚焦算法而使透鏡移動到不想要的位置，這可能導(dǎo)致比根本不進行校準(zhǔn) 更差的結(jié)果，或者甚至可能導(dǎo)致自動聚焦功能的完全失效。
【附圖說明】
[0005] 本文所描述的材料以示例的方式而不是以限制的方式在附圖中示出。為了說明的 簡單和清楚，圖中所示出的元件不必需按比例進行繪制。例如，為了清楚起見，可以相對于 其它元件來擴大某些元件的尺度。此外，在認(rèn)為適當(dāng)?shù)牡胤?，附圖標(biāo)記在附圖之間重復(fù)以用 于指示相應(yīng)的或類似的元件。在附圖中：
[0006] 圖1是示出了在圖像捕捉設(shè)備上的透鏡的位置的示意圖。
[0007] 圖2是示出了透鏡位移與應(yīng)用到透鏡電動機的電流之間的關(guān)系的圖。
[0008] 圖3是示出了生產(chǎn)線校準(zhǔn)值的圖。
[0009] 圖4是示出了根據(jù)本文說明書的圖像捕捉設(shè)備上的自動聚焦的基本自校準(zhǔn)過程 的示意性流程圖。
[0010] 圖5是示出了圖像捕捉設(shè)備上的自動聚焦的自校準(zhǔn)過程的流程圖。
[0011] 圖6是示出了圖像捕捉設(shè)備上的自動聚焦的自校準(zhǔn)過程的另一流程圖。
[0012] 圖7A是焦距值直方圖的表格。
[0013] 圖7-12是示出了本文所描述的自校準(zhǔn)過程的自校準(zhǔn)緩沖區(qū)的表格。
[0014] 圖13是示出了在真無窮遠透鏡位置的周圍所觀察到的數(shù)據(jù)的高斯混合模型的 圖。
[0015] 圖14是示出了指示真無窮遠估計的最終透鏡位置的可能性的S狀彎曲權(quán)重函數(shù) 的圖。
[0016] 圖14A是示出了無窮遠位置與聚焦銳度的關(guān)系曲線的圖。
[0017] 圖15是示出了在圖像捕捉設(shè)備上用于捕捉視頻序列的自動聚焦的自校準(zhǔn)過程的 流程圖。
[0018] 圖16是示出了在圖像捕捉設(shè)備上用于捕捉靜態(tài)圖片的自動聚焦的自校準(zhǔn)過程的 流程圖。
[0019] 圖17是用于提供自動聚焦的自校準(zhǔn)過程的運轉(zhuǎn)中的示例性系統(tǒng)的說明性示圖。
[0020] 圖18是示例性系統(tǒng)的說明性示圖。
[0021] 圖19是另一例性系統(tǒng)的說明性圖；以及
[0022] 圖20示出了另一示例性設(shè)備，所有都是根據(jù)本公開內(nèi)容的至少某些實現(xiàn)方式來 安排的。
【具體實施方式】
[0023] 現(xiàn)在參考附圖對一個或多個實現(xiàn)方式進行描述。當(dāng)討論特定配置和布局時，應(yīng)當(dāng) 理解進行該討論僅出于示例性目的。在不脫離本說明書的精神和范圍的情況下，相關(guān)領(lǐng)域 技術(shù)人員將會認(rèn)識到可以采用其它配置和布局。對相關(guān)領(lǐng)域技術(shù)人員來說顯而易見的是， 也可以將本文所描述的技術(shù)和/或布局用于除本文所描述之外的各種其它系統(tǒng)和應(yīng)用。
[0024] 盡管在下文的說明書中闡述了顯現(xiàn)在例如諸如片上系統(tǒng)（SoC)架構(gòu)之類的架構(gòu) 中的各種實現(xiàn)方式，但是本文所描述的技術(shù)和/或布局的實現(xiàn)方式并不受限于特定架構(gòu)和 /或計算系統(tǒng)，并且可以由任何架構(gòu)和/或計算系統(tǒng)出于類似的目的來實現(xiàn)。例如，采用諸 如多個集成電路（1C)芯片和/或封裝之類的各種架構(gòu)，和/或諸如成像設(shè)備、數(shù)碼相機、智 能手機、網(wǎng)絡(luò)攝影機、視頻游戲面板或控制臺、機頂盒等等的各種計算設(shè)備和/或消費性電 子（CE)設(shè)備，可以實現(xiàn)本文所描述的技術(shù)和/或布局。此外，盡管在下文的說明書中可以 闡述諸如邏輯實現(xiàn)方式、類型和系統(tǒng)部件的相互關(guān)系、邏輯劃分/集成選擇等等的大量的 特定細(xì)節(jié)，但是在沒有這些特定細(xì)節(jié)的情況下，也可以實施所要求保護的主題。在其它實例 中，為了不使本文所公開的材料難以理解，諸如例如控制結(jié)構(gòu)和全部軟件指令序列之類的 某種材料可以不詳細(xì)示出。可以將本文所公開的材料實現(xiàn)在硬件、固件、軟件或其任意組合 中。
[0025] 本文所公開的材料也可以被實現(xiàn)為存儲在機器可讀介質(zhì)或存儲器上的指令，其可 以由一個或多個處理器讀取和執(zhí)行。機器可讀介質(zhì)可以包括以機器（例如，計算設(shè)備）可 讀的形式存儲或傳送信息的任意介質(zhì)和/或機制。例如，機器可讀介質(zhì)可以包括只讀存儲 器（ROM);隨機存取存儲器（RAM);磁盤存儲介質(zhì)；光存儲介質(zhì)；閃速存儲器設(shè)備；電學(xué)的、 光學(xué)的、聲學(xué)的或其它形式的傳播信號（例如，載波、紅外信號、數(shù)字信號等等）以及其它。 在另一形式中，諸如非暫時性計算機可讀介質(zhì)之類的非暫時性物，可以與上述示例中的任 何示例或除了不包括暫時的信號本身的示例之外的其它示例一起使用。其包括除了信號本 身之外的、可以以"暫時"方式臨時保持?jǐn)?shù)據(jù)的那些元件，諸如RAM等。
[0026] 在本說明書中對"一個實現(xiàn)方式"、"一實現(xiàn)方式"、"一示例性實現(xiàn)方式"等的引用 指示所描述的實現(xiàn)方式可以包括特定特征、結(jié)構(gòu)或特性，但是不必每個實現(xiàn)方式都包括該 特定特征、結(jié)構(gòu)或特性。而且，這樣的短語不必指代相同的實現(xiàn)方式。此外，無論本文是否 明確描述，當(dāng)結(jié)合實現(xiàn)方式來描述特定特征、結(jié)構(gòu)或特性時，認(rèn)為結(jié)合其它實現(xiàn)方式來影響 這樣的特征、結(jié)構(gòu)或特性在本領(lǐng)域技術(shù)人員的知識范圍內(nèi)。
[0027] 用于提供利用自校準(zhǔn)的自動聚焦的系統(tǒng)、物品和方法。
[0028] 如上所述，很多數(shù)碼相機和具有這樣的照相機的設(shè)備提供諸如3A特征之類的自 動控制特征，其中3A特征包括自動聚焦（AF)、自動曝光控制（AEC)和自動白平衡（AWB)。本 文相關(guān)的，自動聚焦（AF)使用校準(zhǔn)算法來確定透鏡在特定電流水平下的位置，以使得能夠 通過應(yīng)用相應(yīng)的電流來將透鏡驅(qū)動到期望的位置。本文應(yīng)當(dāng)注意的是，取決于上下文，術(shù)語 校準(zhǔn)和自校準(zhǔn)可互換地使用。
[0029] 參考圖1，提供了諸如相機之類的圖像捕捉（或成像）設(shè)備10,包括諸如專用數(shù)碼 相機之類的移動照相機、安裝在智能手機上的照相機或很多其它類型的照相機。圖像捕捉 設(shè)備10可以被認(rèn)為是具有透鏡12和由傳感器16形成的成像平面14的光學(xué)系統(tǒng)。透鏡12 安裝在傳感器16附近的透鏡致動器18上。透鏡12捕捉來自興趣對象20的光，并且使其 聚焦在傳感器16。當(dāng)對象被聚焦到"無窮遠"時，從成像平面14到透鏡12的距離被稱為焦 點長度或焦距（f)，并且常規(guī)地指定以毫米為單位。要捕捉位置越接近透鏡12的對象，越遠 離傳感器16來移動透鏡12,并且距離之間的關(guān)系可以通過以下公式來確定：
[0031] 其中SJP 32分別是從對象20到透鏡的距離和從透鏡到傳感器的距離。因此，焦 距（f)設(shè)定了距離SJPS2之間的比率以及設(shè)定了透鏡與成像平面14之間的理想距離。當(dāng) 對象相比無窮遠更接近相機時，透鏡相比無窮遠透鏡位置更加遠離傳感器并且朝著成像設(shè) 備的前面的方向、朝著對象20的方向移動。在本示例中，舉一個隨機的示例，可以將透鏡12 放置在位置12a，在位置12a處從對象20到透鏡12的距離（SD可以是10厘米。焦距（f) 還決定設(shè)備10的高度，這是因為在傳感器16處的圖像高度與實際對象的高度成比例，并且 遵循由焦距所設(shè)定的比率。因此，焦距越長，在傳感器平面14處用于適合整個圖像的高度 越高。根據(jù)一種形式，成像設(shè)備10的焦距（f)從3毫米到5毫米范圍內(nèi)變化，而透鏡的工 作范圍（全光學(xué)范圍）R在遠機械擋22和近機械擋24之間變化0. 2毫米到0. 5毫米，其中 近和遠指的是從透鏡到對象的距離。致動器18可以具有用于控制透鏡移動的電動機，其將 能量轉(zhuǎn)換為運動。例如，音圈電動機（VCM)將電力轉(zhuǎn)換為運動。能夠使用包括壓電電動機 或步進電動機在內(nèi)的其它類型的電動機。
[0032] 參考圖2,根據(jù)一種形式，透鏡位移與對透鏡進行移動所需要的電驅(qū)動電流之間的 關(guān)系是線性的，并且在圖2020上示出了該關(guān)系的一個示例。圖200示出了沿著縱軸的、單 位為毫米的透鏡位移，以及沿著圖的橫軸的VCM數(shù)字到模擬轉(zhuǎn)換器（DAC)值。VCM DAC碼 值（或本文稱為VCM DAC值或僅VCM值）與所應(yīng)用的電流（單位為毫安）線性地成比例。 這樣固定的DAC到毫安的映射可以以諸如由圖像設(shè)備制造商所提供的查找表的形式來提 供。VCM值越大，產(chǎn)生的透鏡的位移越大。圖中的不同曲線反映不同的圖像設(shè)備方向，以使 得：與當(dāng)圖像設(shè)備向下指時以及圖像設(shè)備的水平（或垂直）位置落入兩個極端之間的情形 相比，當(dāng)圖像設(shè)備（或者具體地，透鏡）向上指時需要相對較大的電流來移動透鏡。因此， 在所示出的示例中，當(dāng)相機向下指時，在大約150VCM DAC處，透鏡將開始移動，當(dāng)相機垂直 時，在大約250VCM DAC處，透鏡將開始移動，以及當(dāng)相機向上指時，在大約325VCM DAC處， 透鏡將開始移動。這是由于使控制透鏡的彈簧伸長或縮短的重力取決于相機模塊方向而發(fā) 生。
[0033] 在對應(yīng)于FAR(無窮遠）機械擋的、被稱為可控性的開始（S0C)的VCM碼值處，透鏡 的運動開始。在對應(yīng)于NEAR(宏）端的可控性的結(jié)束（E0C)位置處，透鏡移動停止。S0C、 E0C和無窮遠（INF)位置的定位知識對于精確的、穩(wěn)健的以及快速的自動聚焦的功能性很 重要。在生產(chǎn)線上的機械變化可能導(dǎo)致設(shè)備與設(shè)備針對這些值的顯著偏差。因此，如上所 述，常規(guī)地對在生產(chǎn)線的大部分照相機執(zhí)行自動聚焦校準(zhǔn)。
[0034] 同樣如所提到的，在音圈透鏡致動器上的透鏡位移與驅(qū)動電流之間的關(guān)系幾乎是 線性的，這使得致動器輸入值中的任何改變在輸出中產(chǎn)生相應(yīng)的線性改變。因此，對于常規(guī) 的校準(zhǔn)，執(zhí)行針對兩個位置的校準(zhǔn)是足夠的，該兩個位置是：接近于FAR機械擋22的第一位 置和接近于NEAR機械擋24的第二位置。一旦經(jīng)校準(zhǔn)的值、焦距和相對位置偏移量是已知 的，則所有其它所需要的位置（S0C、E0C、無窮遠位置、1米、50厘米、10厘米等等）能夠簡單 地通過使用圖像設(shè)備軟件中的線性內(nèi)插法/外推法來計算。
[0035] 參考圖3,圖300示出了兩點基于設(shè)備的校準(zhǔn)，其所示出的透鏡位移和VCM DAC值 與圖200相同，除了這里示出了使用第一和第二位置302和304兩個位置的校準(zhǔn)之外。常 規(guī)地在工程生產(chǎn)線（或者照相機供應(yīng)商的線或者設(shè)備制造線）上通過針對任意目標(biāo)（如在 一個示例中放置在1米和10厘米校準(zhǔn)位置（302,304))運行自動聚焦算法并且找到最優(yōu)焦 點對準(zhǔn)位置來執(zhí)行一次（one-time)自動聚焦校準(zhǔn)。換言之，校準(zhǔn)算法找到最優(yōu)的VCM碼 值，該對象在針對該VCM碼值的校準(zhǔn)位置是焦點對準(zhǔn)的。一旦找到針對兩個校準(zhǔn)位置的VCM DAC值，對應(yīng)于任何其它位置的VCM值能夠通過在該兩個校準(zhǔn)點（302, 304)之間進行內(nèi)插/ 外推來計算?？梢葬槍芏鄦为毜膱D像捕捉設(shè)備執(zhí)行該操作。
[0036] 如上所述，然而，這些初始的、兩點逐個設(shè)備的工廠校準(zhǔn)可能是高成本和耗時的， 并且無論如何常規(guī)的校準(zhǔn)仍然可能導(dǎo)致不正確的校準(zhǔn)信息，然而省略校準(zhǔn)可能是不適當(dāng)?shù)?并且可能消極地影響聚焦速度和準(zhǔn)確性。
[0037] 為了避免所有這些缺點，本公開內(nèi)容提供了所開發(fā)的自校準(zhǔn)自動聚焦過程，以在 出現(xiàn)以下情況時，改善自動聚焦算法的功能性和性能：（1)未執(zhí)行或缺少工廠上的自動聚 焦校準(zhǔn)，（2)生產(chǎn)線上執(zhí)行的自動聚焦校準(zhǔn)不準(zhǔn)確，和/或（3)在包括最小調(diào)焦距離的其它 數(shù)據(jù)之間的自動聚焦調(diào)整不正確時。本文所公開的自動聚焦自校準(zhǔn)算法是無監(jiān)督學(xué)習(xí)過 程，其根據(jù)在一次但最好是很多次自動聚焦迭代期間所收集的測量數(shù)據(jù)來迭代地估計未知 的聚焦范圍參數(shù)（S0C、E0C和無窮遠位置）?？梢詫⑿?zhǔn)數(shù)據(jù)存儲在存儲器處，其在自動聚 焦循環(huán)期間并且在一種每次執(zhí)行自動聚焦循環(huán)的情況下，隨著在特定次數(shù)所新收集的數(shù)據(jù) 而被更新。
[0038] 參考圖4,針對自動聚焦的示例性過程400可以用于為自校準(zhǔn)操作建立時序。過 程400還可以稱為自動校準(zhǔn)循環(huán)，其中成像設(shè)備分析自動聚焦數(shù)據(jù)并且確定透鏡位置設(shè)定 以安置透鏡并且記錄視頻序列的幀或單個靜態(tài)照片。在所示出的實現(xiàn)方式中，過程400可 以包括一個或多個操作、功能或動作，如由均勻編號的操作402到412中的一個或多個操作 所示出。以非限制性示例的方式，本文可以分別地參考圖1和圖18其中相應(yīng)的示例性圖像 捕捉設(shè)備10和1800來描述過程400。
[0039] 過程400可以包括從存儲器讀取校準(zhǔn)數(shù)據(jù)402,并且存儲器可以是二進制文件，并 且該操作可以包括基于該文件中的數(shù)據(jù)來設(shè)定初始聚焦范圍參數(shù)。
[0040] 如果具有校準(zhǔn)數(shù)據(jù)的文件不在設(shè)備的存儲器上（相機第一次開啟），那么基于存 儲在非易失性存