本發(fā)明通常涉及用于設(shè)置相機(jī)焦點(diǎn)的自動聚焦算法。
背景技術(shù):
圖像捕捉裝置諸如數(shù)字相機(jī)和其他類似機(jī)構(gòu)變得更加平凡。曾經(jīng)僅在高端專業(yè)相機(jī)上可應(yīng)用,今天這些裝置在移動電話、個人數(shù)字助理、以及其他便攜式電子裝置中被找到。許多便攜式電子裝置中可應(yīng)用的圖像捕捉裝置包括自動聚焦特征。自動聚焦系統(tǒng)使用圖像處理電路以自動地確定適當(dāng)?shù)慕裹c(diǎn),因此無需用戶來完成。
這種自動聚焦機(jī)構(gòu)具有的一個缺點(diǎn)是它們可以是相對緩慢的。例如,在一些集成至電子裝置(例如,諸如移動電話的便攜式電子裝置,或諸如連接至網(wǎng)絡(luò)的監(jiān)控相機(jī)的固定電子裝置)中的圖像捕捉系統(tǒng)中,自動聚焦系統(tǒng)必須通過智能試錯法將鏡頭移動至對應(yīng)于被聚焦圖像的特定位置。自動聚焦系統(tǒng)通過檢查圖像、移動鏡頭、捕捉另一圖像、以及再次檢查圖像以確定是否已經(jīng)實(shí)現(xiàn)了適當(dāng)聚焦而完成這點(diǎn)。過程重復(fù)直至找到最佳鏡頭位置。如果當(dāng)進(jìn)行自動聚焦操作時圖像捕捉裝置在移動則時間可以大大延長。例如,用戶搖晃的手或者移動的平臺可以使得圖像捕捉裝置顯著移動。這種移動可以導(dǎo)致模糊的圖像,因?yàn)樽詣泳劢固卣魅狈υ谄渖蠈?shí)現(xiàn)聚焦的一致的主體。此外,即使最終完成聚焦,這樣移動也使得自動聚焦操作花費(fèi)甚至更多時間來完成。
US8,274,596(摩托羅拉移動有限責(zé)任公司Motorola Mobility LLC)涉及一種用于在執(zhí)行自動聚焦(AF)過程之前確定入射在圖像傳感器上的圖像是否足夠穩(wěn)定的方法和圖像捕捉裝置。例如,可以由諸如陀螺儀或加速度計的硬件確定圖像是否穩(wěn)定。即便該文件中的公開可以解決模糊圖像的問題,也因?yàn)锳F過程并未執(zhí)行除非圖像是穩(wěn)定的,其并未提高AF過程的速度。相反地,當(dāng)相機(jī)在移動時,延遲了AF過程。
技術(shù)實(shí)現(xiàn)要素:
考慮到以上,本發(fā)明的目的在于解決或者至少減小如上所述的一個或數(shù)個缺點(diǎn)。通常,由所附獨(dú)立權(quán)利要求實(shí)現(xiàn)以上目的。
根據(jù)第一方面,由一種用于設(shè)置包括卷簾快門圖像傳感器和聚焦鏡頭裝置的相機(jī)的焦點(diǎn)的自動聚焦方法而實(shí)現(xiàn)本發(fā)明,自動聚焦方法包括步驟:
-由卷簾快門圖像傳感器捕捉一個或多個圖像幀,其中卷簾快門圖像傳感器包括多個像素區(qū)域,其中卷簾快門圖像傳感器在圖像幀的捕捉期間一次從一個像素區(qū)域讀出像素數(shù)據(jù),
-在像素數(shù)據(jù)的讀出期間連續(xù)地測量相機(jī)的相機(jī)運(yùn)動水平,用于產(chǎn)生與像素數(shù)據(jù)相關(guān)聯(lián)并且指示了在從多個像素區(qū)域讀出像素數(shù)據(jù)期間測得的多個相機(jī)運(yùn)動水平的運(yùn)動數(shù)據(jù);
-使用自動聚焦算法設(shè)置相機(jī)的焦點(diǎn),自動聚焦算法將一個或多個圖像幀中的每一個劃分為多個焦點(diǎn)窗口,其中每個焦點(diǎn)窗口包括多個像素區(qū)域中的一個或多個的像素數(shù)據(jù)。
此外,自動聚焦算法包括:針對多個焦點(diǎn)窗口的每個焦點(diǎn)窗口,
-基于該焦點(diǎn)窗口中所包括的像素數(shù)據(jù)計算該焦點(diǎn)窗口的焦點(diǎn)測量值,
-基于與該焦點(diǎn)窗口中所包括的像素數(shù)據(jù)相關(guān)聯(lián)的運(yùn)動數(shù)據(jù)計算該焦點(diǎn)窗口的運(yùn)動水平,并且
-通過以至少該焦點(diǎn)窗口的運(yùn)動水平加權(quán)該焦點(diǎn)窗口的焦點(diǎn)測量值而計算該焦點(diǎn)窗口的加權(quán)焦點(diǎn)測量值。
卷簾快門圖像傳感器是不在單個場景下及時捕捉場景圖像而是替代地通常垂直地或水平地掃描場景、并且因此在不同時刻讀出像素數(shù)據(jù)的傳感器。換言之,在同一瞬間并未精確地記錄場景圖像的所有部分。因此,在本說明書的上下文中術(shù)語“像素區(qū)域”應(yīng)該理解為例如卷簾快門圖像傳感器的像素行或像素列。像素區(qū)域也可以包括卷簾快門圖像傳感器的多個行或列。在像素數(shù)據(jù)的這種讀出期間,連續(xù)地測量相機(jī)的相機(jī)運(yùn)動水平。例如可以針對卷簾快門圖像傳感器的每個像素區(qū)域或者每隔一個像素區(qū)域測量相機(jī)運(yùn)動水平。然而,在從多個像素區(qū)域讀出像素數(shù)據(jù)期間將在至少兩個時機(jī)上測量相機(jī)運(yùn)動水平以使得一個像素區(qū)域可以與運(yùn)動數(shù)據(jù)(指示了測得的相機(jī)運(yùn)動水平)相關(guān)聯(lián),該運(yùn)動數(shù)據(jù)不同于與另一個像素區(qū)域相關(guān)聯(lián)的運(yùn)動數(shù)據(jù)。
本發(fā)明人已經(jīng)認(rèn)識到當(dāng)使用自動聚焦(AF)算法設(shè)置相機(jī)焦點(diǎn)時可以有利地使用與分立像素區(qū)域相關(guān)聯(lián)的這種不同的運(yùn)動數(shù)據(jù)。自動聚焦算法將一個或多個圖像幀中的每一個劃分為多個焦點(diǎn)窗口,以使得每個焦點(diǎn)窗口包括多個像素區(qū)域中的一個或多個的像素數(shù)據(jù)。這意味著圖像幀的第一焦點(diǎn)窗口可以包括在相機(jī)(也即卷簾快門圖像傳感器)移動期間讀出的像素數(shù)據(jù),而同一圖像幀的另一焦點(diǎn)窗口包括當(dāng)相機(jī)完全靜止(或者或較多或較少移動)時讀出的像素數(shù)據(jù)。當(dāng)計算焦點(diǎn)窗口的焦點(diǎn)測量值時,通過考慮相機(jī)的移動,與包括了在相機(jī)較少或零移動期間讀出的像素數(shù)據(jù)的焦點(diǎn)窗口的焦點(diǎn)測量值的重要性相比,可以減小包括了在相機(jī)移動期間讀出的像素數(shù)據(jù)的焦點(diǎn)窗口的焦點(diǎn)測量值的重要性。
通過計算每個焦點(diǎn)窗口的運(yùn)動水平而執(zhí)行焦點(diǎn)測量值的加權(quán)。運(yùn)動水平可以例如是與焦點(diǎn)窗口中像素數(shù)據(jù)相關(guān)聯(lián)的相機(jī)的最大移動(由運(yùn)動數(shù)據(jù)指示),或者其可以是與焦點(diǎn)窗口中像素數(shù)據(jù)相關(guān)聯(lián)的相機(jī)的平均移動(由運(yùn)動數(shù)據(jù)指示)??梢圆捎糜嬎憬裹c(diǎn)窗口的運(yùn)動水平的其他方式。
某一焦點(diǎn)窗口的運(yùn)動水平隨后在計算焦點(diǎn)窗口的焦點(diǎn)測量值的重要性時被使用。換言之,通過以至少焦點(diǎn)窗口的運(yùn)動水平加權(quán)焦點(diǎn)窗口的焦點(diǎn)測量值而計算焦點(diǎn)窗口的加權(quán)焦點(diǎn)測量值。
本發(fā)明因此提供了一種改進(jìn)的自動聚焦算法,因?yàn)榭梢詫υ醋栽谙鄼C(jī)移動期間讀出的像素數(shù)據(jù)的焦點(diǎn)測量值進(jìn)行與源自在相機(jī)較少移動期間讀出的像素數(shù)據(jù)的焦點(diǎn)測量值不同的加權(quán)。這接著使其能夠仍然使用這種圖像幀,其中像素數(shù)據(jù)的一部分在例如相機(jī)顯著移動期間讀出,而像素數(shù)據(jù)的其他部分在例如相機(jī)的非顯著移動期間讀出。因此,可以提高AF算法的速度,因?yàn)榧幢阍谙袼財?shù)據(jù)讀出期間相機(jī)移動也可以執(zhí)行AF。此外,本發(fā)明的自動聚焦算法可以提供更精確的結(jié)果,因?yàn)榭梢匀缟纤鰧υ醋栽谙鄼C(jī)移動期間讀出的像素數(shù)據(jù)的焦點(diǎn)測量值進(jìn)行降權(quán)。
根據(jù)一些實(shí)施例,捕捉一個或多個圖像幀的步驟包括捕捉僅一個圖像幀的步驟,并且計算焦點(diǎn)測量值的步驟包括從該焦點(diǎn)窗口中所包括的像素數(shù)據(jù)計算基于相位的焦點(diǎn)測量值。根據(jù)該實(shí)施例,計算加權(quán)焦點(diǎn)測量值的步驟包括加權(quán)焦點(diǎn)測量值以使得相比于具有低運(yùn)動水平的焦點(diǎn)窗口的焦點(diǎn)測量值采用更低的權(quán)重而加權(quán)具有高運(yùn)動水平的焦點(diǎn)窗口的焦點(diǎn)測量值。
通過將入射光劃分為多個圖像對并且比較它們而實(shí)現(xiàn)相位檢測。相位檢測自動聚焦傳感器比較主體的兩個偏移圖像(從僅一個圖像幀得到)并且計算它們之間的相位差或分離誤差。如果圖像并未布置成行(也即分離誤差非零),則主體并未焦點(diǎn)對準(zhǔn)。圖像之間的分離誤差用于決定焦點(diǎn)應(yīng)該改變多少,而兩個圖像的相對位置用于決定與當(dāng)前焦點(diǎn)設(shè)置相比新焦點(diǎn)需要更靠近還是更遠(yuǎn)離。對于具有卷簾快門圖像傳感器的相機(jī),每個焦點(diǎn)窗口可以導(dǎo)致不同的分離誤差,因?yàn)樵谧x出焦點(diǎn)窗口中所包括的像素數(shù)據(jù)期間相機(jī)可以不同地移動。通過加權(quán)焦點(diǎn)測量值以使得相比于具有低運(yùn)動水平的焦點(diǎn)窗口的焦點(diǎn)測量值采用更低的權(quán)重而加權(quán)具有高運(yùn)動水平的焦點(diǎn)窗口的焦點(diǎn)測量值,可以實(shí)現(xiàn)改進(jìn)的自動聚焦算法,因?yàn)樵谙鄼C(jī)移動期間讀出的像素數(shù)據(jù)的焦點(diǎn)測量值(從分離誤差得到)與在相機(jī)較少移動期間讀出的像素數(shù)據(jù)的焦點(diǎn)測量值相比較不正確。
根據(jù)一些實(shí)施例,設(shè)置相機(jī)焦點(diǎn)的步驟包括計算僅一個圖像幀的多個焦點(diǎn)窗口中的每一個的加權(quán)焦點(diǎn)測量值的平均值。該實(shí)施例可以導(dǎo)致設(shè)置相機(jī)焦點(diǎn)的低計算復(fù)雜度。
根據(jù)一些實(shí)施例,捕捉一個或多個圖像幀的步驟包括捕捉多個圖像幀,每個圖像幀由相機(jī)使用聚焦鏡頭裝置的不同焦點(diǎn)設(shè)置捕捉。根據(jù)該實(shí)施例,自動聚焦算法將多個圖像幀中的每一個劃分為多個焦點(diǎn)窗口。多個圖像幀中的每個圖像幀將因此劃分為多個焦點(diǎn)窗口,并且因此例如第一圖像幀的焦點(diǎn)窗口將在每個剩余圖像幀中有對應(yīng)的焦點(diǎn)窗口。基于對比度的焦點(diǎn)測量值隨后可以用于計算每個焦點(diǎn)窗口的焦點(diǎn)測量值。計算加權(quán)焦點(diǎn)測量值的步驟可以包括使用焦點(diǎn)窗口的運(yùn)動水平和多個圖像幀中剩余圖像幀中的每個中的對應(yīng)焦點(diǎn)窗口的運(yùn)動水平計算合成運(yùn)動水平,并且由合成運(yùn)動水平加權(quán)焦點(diǎn)測量值以使得相比于具有低合成運(yùn)動水平的焦點(diǎn)窗口的焦點(diǎn)測量值采用更低的權(quán)重對具有高合成運(yùn)動水平的焦點(diǎn)窗口的焦點(diǎn)測量值加權(quán)。
在本說明書的上下文中,術(shù)語“合成運(yùn)動水平”應(yīng)該理解為合并多個運(yùn)動水平(多個圖像幀之中對應(yīng)焦點(diǎn)窗口中的每個具有一個運(yùn)動水平)以便于計算合成運(yùn)動水平。根據(jù)一些實(shí)施例,求和所述多個運(yùn)動水平以形成合成運(yùn)動水平。根據(jù)其他實(shí)施例,在所述多個運(yùn)動水平之中的最大值、平均值或中位數(shù)值用作合成運(yùn)動水平。換言之,對于每個焦點(diǎn)窗口,合并在不同時間點(diǎn)處測得的多個(可能不同的)運(yùn)動水平以形成特定焦點(diǎn)窗口的合成運(yùn)動水平。
可以通過鏡頭測量傳感器視野或焦點(diǎn)窗口內(nèi)的對比度而實(shí)現(xiàn)基于對比度的聚焦算法。例如焦點(diǎn)窗口中所包括的像素數(shù)據(jù)的相鄰像素或附近像素之間的強(qiáng)度差或焦點(diǎn)測量值隨著正確圖像焦點(diǎn)而增大。通過使用不同焦點(diǎn)捕捉多個圖像幀并且在多個圖像幀中對應(yīng)焦點(diǎn)窗口之間比較焦點(diǎn)測量值,可以設(shè)置相機(jī)的正確焦點(diǎn)。本實(shí)施例可以有利地為對應(yīng)焦點(diǎn)窗口的集合降低焦點(diǎn)測量值的重要性的權(quán)重,其中對應(yīng)焦點(diǎn)窗口的集合中至少一個焦點(diǎn)窗口包括當(dāng)相機(jī)移動時捕捉的像素數(shù)據(jù)。
例如,在使用登山算法的情況下,如果在捕捉第一圖像幀的焦點(diǎn)窗口和第二圖像幀的對應(yīng)焦點(diǎn)窗口任一中所包括的像素數(shù)據(jù)期間相機(jī)移動,則因?yàn)閮蓚€焦點(diǎn)測量值之間的比較可以給出錯誤的結(jié)果,所以可以降低第一圖像幀的焦點(diǎn)窗口和第二圖像幀的對應(yīng)焦點(diǎn)窗口的比較的權(quán)重。
根據(jù)一些實(shí)施例,合成運(yùn)動水平的計算包括計算該焦點(diǎn)窗口的運(yùn)動水平與多個圖像幀中剩余圖像幀中的每個中的對應(yīng)焦點(diǎn)窗口的運(yùn)動水平之和。這在下列情況下是有利的:相機(jī)移動影響了在對應(yīng)焦點(diǎn)窗口的集合中多于一個焦點(diǎn)窗口中計算得到的焦點(diǎn)測量值,這可以相比于僅對應(yīng)焦點(diǎn)窗口的集合中的一個包括相機(jī)移動期間讀出的像素數(shù)據(jù),對集合的焦點(diǎn)測量值之間比較的正確性影響更多。
根據(jù)一些實(shí)施例,合成運(yùn)動水平的計算包括計算該焦點(diǎn)窗口的運(yùn)動水平與多個圖像幀中剩余圖像幀中的每個中的對應(yīng)焦點(diǎn)窗口的運(yùn)動水平中的最大運(yùn)動水平。該實(shí)施例可以減小用于計算合成運(yùn)動水平的計算復(fù)雜度。
根據(jù)一些實(shí)施例,針對圖像傳感器的每個像素區(qū)域的每次讀出而測量相機(jī)運(yùn)動水平,以使得與像素數(shù)據(jù)相關(guān)聯(lián)的運(yùn)動數(shù)據(jù)包括針對每個像素區(qū)域每次讀出的分立相機(jī)運(yùn)動水平。這可以改進(jìn)自動聚焦算法的正確性。
根據(jù)一些實(shí)施例,當(dāng)相機(jī)運(yùn)動水平低于預(yù)定相機(jī)運(yùn)動水平時,運(yùn)動數(shù)據(jù)設(shè)置為第一數(shù)值,并且當(dāng)相機(jī)運(yùn)動水平等于或者高于預(yù)定相機(jī)運(yùn)動水平時,運(yùn)動數(shù)據(jù)設(shè)置為第二數(shù)值。例如,低于預(yù)定相機(jī)運(yùn)動水平的所有相機(jī)運(yùn)動水平(也即相機(jī)移動)可以解釋為不影響計算得到的焦點(diǎn)測量值,并且因此可以忽略相機(jī)移動。這可以減小自動聚焦算法的計算復(fù)雜性并且也提高算法的速度。
根據(jù)一些實(shí)施例,運(yùn)動數(shù)據(jù)的第二數(shù)值導(dǎo)致以零權(quán)重對包括與運(yùn)動數(shù)據(jù)相關(guān)聯(lián)的像素數(shù)據(jù)的焦點(diǎn)窗口的焦點(diǎn)測量值加權(quán)。這意味著只要當(dāng)相機(jī)已經(jīng)比預(yù)定相機(jī)運(yùn)動水平移動更多時已經(jīng)讀出了焦點(diǎn)窗口中包括的任何像素數(shù)據(jù),當(dāng)設(shè)置相機(jī)焦點(diǎn)時將完全忽略該焦點(diǎn)窗口的焦點(diǎn)測量值。在采用了基于對比度的焦點(diǎn)測量的情形中,這意味著在對應(yīng)焦點(diǎn)窗口集合(如上所述,所述多個圖像幀中的每一個具有一個對應(yīng)焦點(diǎn)窗口)中針對所有焦點(diǎn)窗口的焦點(diǎn)測量值的權(quán)重將是零并且因此當(dāng)設(shè)置相機(jī)焦點(diǎn)時完全忽略。
根據(jù)一些實(shí)施例,當(dāng)相機(jī)運(yùn)動水平低于第一預(yù)定相機(jī)運(yùn)動水平時,運(yùn)動數(shù)據(jù)設(shè)置為第一數(shù)值,當(dāng)相機(jī)運(yùn)動水平高于第二預(yù)定相機(jī)運(yùn)動水平時,運(yùn)動數(shù)據(jù)設(shè)置為第二數(shù)值,并且當(dāng)相機(jī)運(yùn)動水平在第一預(yù)定相機(jī)運(yùn)動水平和第二預(yù)定相機(jī)運(yùn)動水平之間時,運(yùn)動數(shù)據(jù)設(shè)置為在第一數(shù)值和第二數(shù)值之間的另一數(shù)值,其中另一數(shù)值與相機(jī)運(yùn)動水平相關(guān)。例如,在由零至一之間的數(shù)字代表運(yùn)動數(shù)據(jù)的情形中,其中零代表沒有相機(jī)運(yùn)動以及一代表相機(jī)的最大運(yùn)動,本實(shí)施例可以實(shí)施如下。如果相機(jī)運(yùn)動水平低于第一預(yù)定相機(jī)運(yùn)動水平,則運(yùn)動數(shù)據(jù)可以設(shè)置為零(也即沒有運(yùn)動),并且如果相機(jī)運(yùn)動水平高于第二預(yù)定相機(jī)運(yùn)動水平,則運(yùn)動數(shù)據(jù)可以設(shè)置為一(也即最大運(yùn)動),并且在第一預(yù)定相機(jī)運(yùn)動水平和第二預(yù)定相機(jī)運(yùn)動水平之間,運(yùn)動數(shù)據(jù)可以取決于相機(jī)運(yùn)動水平而設(shè)置為在零和一之間的數(shù)字。相機(jī)運(yùn)動水平和運(yùn)動數(shù)據(jù)之間的變換可以因此類似于S型函數(shù)。
這可以減小自動聚焦算法的計算復(fù)雜性并且也提高算法的速度,因?yàn)橄鄼C(jī)運(yùn)動水平被以閾值界定在高于和低于某些預(yù)定相機(jī)運(yùn)動水平的恒定運(yùn)動數(shù)據(jù)值。
以類似的方式,當(dāng)采用基于對比度的焦點(diǎn)測量時,根據(jù)一些實(shí)施例,當(dāng)合成運(yùn)動水平低于第一預(yù)定運(yùn)動水平時,以合成運(yùn)動水平加權(quán)焦點(diǎn)測量值的步驟包括采用第一權(quán)重加權(quán)焦點(diǎn)測量值。根據(jù)該實(shí)施例,當(dāng)合成運(yùn)動水平高于第二預(yù)定運(yùn)動水平時,以合成運(yùn)動水平加權(quán)焦點(diǎn)測量值的步驟包括采用第二權(quán)重加權(quán)焦點(diǎn)測量值。此外,根據(jù)該實(shí)施例,當(dāng)合成運(yùn)動水平在第一預(yù)定運(yùn)動水平和第二預(yù)定運(yùn)動水平之間時,以合成運(yùn)動水平加權(quán)焦點(diǎn)測量值的步驟包括采用在第一權(quán)重和第二權(quán)重之間的另一權(quán)重加權(quán)焦點(diǎn)測量值,其中另一權(quán)重與合成運(yùn)動水平相關(guān)。該實(shí)施例可以通常具有與關(guān)于運(yùn)動數(shù)據(jù)的閾值的限定如上所述實(shí)施例相同的特征和優(yōu)點(diǎn)。
根據(jù)一些實(shí)施例,連續(xù)測量相機(jī)運(yùn)動水平包括從相機(jī)的運(yùn)動傳感器接收輸入的步驟,輸入與運(yùn)動傳感器感測的相機(jī)運(yùn)動有關(guān)。運(yùn)動傳感器可以是任何合適類型的運(yùn)動傳感器,諸如振動傳感器、陀螺儀、加速度計、紅外傳感器等。該傳感器可以已經(jīng)存在于相機(jī)上并且因此為了該原因也可以采用??商娲鼗蝾~外地,根據(jù)一些實(shí)施例,連續(xù)測量相機(jī)運(yùn)動水平包括步驟:從相機(jī)的搖攝/傾斜PT電動機(jī)接收輸入,輸入與PT電動機(jī)引起的相機(jī)運(yùn)動相關(guān)。這可以是有利的,在相機(jī)的實(shí)際移動之前接收該輸入并且算法可以因此利用相機(jī)將移動的認(rèn)知。
在第三方面中,本發(fā)明提供了一種計算機(jī)程序產(chǎn)品,包括具有當(dāng)由具有處理能力的裝置執(zhí)行時適用于執(zhí)行第一特征方面方法的至少一部分的指令的計算機(jī)可讀存儲介質(zhì)。根據(jù)一些實(shí)施例,計算機(jī)程序產(chǎn)品包括具有適用于執(zhí)行第一特征方面的整個方法的指令的計算機(jī)可讀存儲介質(zhì)。根據(jù)其他實(shí)施例,計算機(jī)程序產(chǎn)品包括具有適用于執(zhí)行第一特征方面的方法與自動聚焦算法有關(guān)的步驟的指令的計算機(jī)可讀存儲介質(zhì)。
在第三特征方面中,本發(fā)明提供了一種用于設(shè)置包括卷簾快門圖像傳感器和聚焦鏡頭裝置的相機(jī)的焦點(diǎn)的裝置,裝置被設(shè)置用于:
-接收與由卷簾快門圖像傳感器捕捉的一個或多個圖像幀相關(guān)的像素數(shù)據(jù),其中卷簾快門圖像傳感器包括多個像素區(qū)域,其中卷簾快門圖像傳感器在圖像幀的捕捉期間一次從一個像素區(qū)域讀出像素數(shù)據(jù),
-接收與像素數(shù)據(jù)相關(guān)聯(lián)并且指示了在從多個像素區(qū)域讀出像素數(shù)據(jù)期間測得的多個相機(jī)運(yùn)動水平的運(yùn)動數(shù)據(jù),其中在像素數(shù)據(jù)的讀出期間連續(xù)地測量相機(jī)的相機(jī)運(yùn)動水平,
-使用自動聚焦算法設(shè)置相機(jī)的焦點(diǎn),自動聚焦算法將一個或多個圖像幀中的每一個劃分為多個焦點(diǎn)窗口,其中每個焦點(diǎn)窗口包括多個像素區(qū)域中的一個或多個的像素數(shù)據(jù),
其中自動聚焦算法包括,針對多個焦點(diǎn)窗口中的每個焦點(diǎn)窗口,
-基于該焦點(diǎn)窗口中所包括的像素數(shù)據(jù)計算該焦點(diǎn)窗口的焦點(diǎn)測量值,
-基于與該焦點(diǎn)窗口中所包括的像素數(shù)據(jù)相關(guān)聯(lián)的運(yùn)動數(shù)據(jù)計算該焦點(diǎn)窗口的運(yùn)動水平,
-通過由至少該焦點(diǎn)窗口的運(yùn)動水平加權(quán)該焦點(diǎn)窗口的焦點(diǎn)測量值而計算該焦點(diǎn)窗口的加權(quán)焦點(diǎn)測量值。
該裝置可以實(shí)施在相機(jī)中或者是與相機(jī)分立并且有線地或無線地耦合至相機(jī)的分立裝置中。
第二和第三特征方面可以通常具有與第一特征方面相同的特征和優(yōu)點(diǎn)。
附圖說明
參考附圖通過本發(fā)明實(shí)施例的以下示意性和非限定性詳細(xì)說明將使得本發(fā)明的以上以及額外的目的、特征和優(yōu)點(diǎn)更好理解,其中相同附圖標(biāo)記將用于類似元件,其中:
圖1示出了由卷簾快門圖像傳感器捕捉的圖像幀,其中由卷簾快門圖像傳感器讀出的像素數(shù)據(jù)與運(yùn)動數(shù)據(jù)相關(guān)聯(lián),
圖2a-圖2b示出了在測得的相機(jī)運(yùn)動水平與得到的運(yùn)動數(shù)據(jù)之間的映射函數(shù)的示例,
圖3示出了圖1的圖像幀的基于相位的焦點(diǎn)測量值的曲線圖,
圖4示出了根據(jù)本發(fā)明實(shí)施例的如何使用基于對比度的焦點(diǎn)測量值而設(shè)置相機(jī)焦點(diǎn),
圖5示出了根據(jù)本發(fā)明實(shí)施例的對于基于對比度的焦點(diǎn)測量值如何使用登山算法設(shè)置相機(jī)焦點(diǎn),
圖6示出了根據(jù)本發(fā)明實(shí)施例的用于設(shè)置相機(jī)測量值的焦點(diǎn)的自動聚焦方法,
圖7示出了根據(jù)本發(fā)明實(shí)施例的用于設(shè)置相機(jī)焦點(diǎn)的裝置,
圖8示出了根據(jù)本發(fā)明其他實(shí)施例的用于設(shè)置相機(jī)焦點(diǎn)的裝置。
具體實(shí)施方式
在具有卷簾快門圖像傳感器的相機(jī)中,因?yàn)樵谏晕⒉煌臅r刻讀取像素的線(行或列),一些讀數(shù)可以受振動(由例如陀螺儀或加速度計、或者借由PT信號而感知)影響而一些不會。這在圖1中描述。在圖1的示意性示例中,卷簾快門圖像傳感器包括四個像素區(qū)域。在捕捉相機(jī)正面的場景期間,卷簾快門圖像傳感器讀出四組像素數(shù)據(jù)106a-d。換言之,圖像幀100的像素數(shù)據(jù)包括像素104的四行106a-d。因?yàn)檫B續(xù)地測量相機(jī)的振動和/或其他移動,每個像素104可以與相機(jī)運(yùn)動水平102(由圖1中箭頭所表示,其中箭頭的長度表示運(yùn)動量,并且箭頭的方向示意性地表示移動的方向)相關(guān)聯(lián)。應(yīng)該注意的是可以在讀出圖像幀100包括的像素數(shù)據(jù)期間,針對每個像素區(qū)域而測量相機(jī)運(yùn)動水平102,或者每隔一個像素區(qū)域、或者以任意其他次數(shù)而測量相機(jī)運(yùn)動水平102。測得的運(yùn)動水平用于產(chǎn)生與像素數(shù)據(jù)相關(guān)聯(lián)的運(yùn)動數(shù)據(jù)。
根據(jù)一些實(shí)施例,運(yùn)動數(shù)據(jù)可以是測得的運(yùn)動水平的直接數(shù)字表示。
根據(jù)其他實(shí)施例,運(yùn)動數(shù)據(jù)可以表示測得的運(yùn)動水平的映射數(shù)字表示。這種映射在圖2a-b中示出。
例如,在圖2a中,當(dāng)相機(jī)運(yùn)動水平102低于預(yù)定相機(jī)運(yùn)動水平114時,運(yùn)動數(shù)據(jù)112可以設(shè)置為第一數(shù)值,并且當(dāng)相機(jī)運(yùn)動水平102等于或者高于預(yù)定相機(jī)運(yùn)動水平114時,運(yùn)動數(shù)據(jù)112可以設(shè)置為第二數(shù)值。該實(shí)施例可以例如用于在自動聚焦算法中從稍后使用省略圖像幀100的像素數(shù)據(jù)104的一部分(在相機(jī)運(yùn)動水平102等于或高于預(yù)定相機(jī)運(yùn)動水平114情況下),而當(dāng)稍后用于自動聚焦算法中時與低于預(yù)定相機(jī)運(yùn)動水平114的相機(jī)運(yùn)動水平102相關(guān)聯(lián)的像素數(shù)據(jù)104的一部分可以不受影響。
另一映射函數(shù)在圖2b中示出,其中當(dāng)相機(jī)運(yùn)動水平102低于第一預(yù)定相機(jī)運(yùn)動水平116時,運(yùn)動數(shù)據(jù)112設(shè)置為第一數(shù)值。當(dāng)相機(jī)運(yùn)動水平102高于第二預(yù)定相機(jī)運(yùn)動水平118時,運(yùn)動數(shù)據(jù)112設(shè)置為第二數(shù)值,并且當(dāng)相機(jī)運(yùn)動水平在第一預(yù)定相機(jī)運(yùn)動水平116和第二預(yù)定相機(jī)運(yùn)動水平118之間時,運(yùn)動數(shù)據(jù)112設(shè)置為在第一數(shù)值和第二數(shù)值之間的另一數(shù)值,其中另一數(shù)值與相機(jī)運(yùn)動水平102相關(guān)。類似于圖2a中所示的實(shí)施例,該實(shí)施例可以省略一部分像素數(shù)據(jù)(與等于或者高于第二預(yù)定相機(jī)運(yùn)動水平118的相機(jī)運(yùn)動水平102相關(guān)聯(lián))并且當(dāng)稍后用于自動聚焦算法中時保留像素數(shù)據(jù)的另一部分(與低于第一預(yù)定相機(jī)運(yùn)動水平116的相機(jī)運(yùn)動水平102相關(guān)聯(lián))不受影響。但是與圖2a中實(shí)施例相反,當(dāng)稍后用于自動聚焦算法時,與在第一預(yù)定相機(jī)運(yùn)動水平116和第二預(yù)定相機(jī)運(yùn)動水平118之間的相機(jī)運(yùn)動水平102相關(guān)聯(lián)的像素數(shù)據(jù)的重要性可以根據(jù)在讀出所述像素數(shù)據(jù)期間相機(jī)的移動量而改變。
為了自動聚焦的目的,將圖像幀劃分為多個焦點(diǎn)窗口108a-b。在圖1中,每個焦點(diǎn)窗口108a-b包括兩行像素,例如上部焦點(diǎn)窗口108a包括兩個上部像素行106a-b。根據(jù)其他實(shí)施例,每個焦點(diǎn)窗口可以包括一個、三個、五個或任意其他合適數(shù)目的像素行。此外,焦點(diǎn)窗口可以根據(jù)一些實(shí)施例不包括整個行而是替代地每個圖像幀100可以沿水平方向以及沿垂直方向劃分為焦點(diǎn)窗口。
運(yùn)動數(shù)據(jù)用于針對每個焦點(diǎn)窗口108a-b計算運(yùn)動水平??梢允褂门c焦點(diǎn)窗口中所包括像素數(shù)據(jù)相關(guān)聯(lián)的所有運(yùn)動數(shù)據(jù)相加而計算運(yùn)動水平。也可以基于與焦點(diǎn)窗口中所包括像素數(shù)據(jù)相關(guān)聯(lián)的任何運(yùn)動數(shù)據(jù)的最大值或者與焦點(diǎn)窗口中所包括像素數(shù)據(jù)相關(guān)聯(lián)的所有運(yùn)動數(shù)據(jù)的平均值而計算運(yùn)動水平??梢允褂糜嬎憬裹c(diǎn)窗口的運(yùn)動水平的任何其他合適的方式。
焦點(diǎn)窗口的運(yùn)動水平隨后可以用于以至少焦點(diǎn)窗口的運(yùn)動水平對焦點(diǎn)窗口的焦點(diǎn)測量值加權(quán)而為焦點(diǎn)窗口計算加權(quán)焦點(diǎn)測量值?;诮裹c(diǎn)窗口中所包括的像素數(shù)據(jù)計算焦點(diǎn)窗口的焦點(diǎn)測量值。從像素數(shù)據(jù)計算焦點(diǎn)測量值是廣泛已知的過程并且因此在該文件中僅簡要描述。
圖3示出了圖1的圖像幀的基于相位的聚焦測量值的曲線圖。在該情形中,自動聚焦算法僅需要一個圖像幀。上部曲線圖涉及上部焦點(diǎn)窗口108a并且下部曲線圖涉及下部焦點(diǎn)窗口108b。簡言之,虛線曲線202是從焦點(diǎn)窗口108a的像素數(shù)據(jù)推得的第一偏移圖像的焦點(diǎn)曲線圖,并且實(shí)線曲線204是從焦點(diǎn)窗口108a的像素數(shù)據(jù)推得的第二偏移圖像的焦點(diǎn)曲線圖。兩條曲線202、204的最大值之間的距離206對應(yīng)于相位差(或分離誤差)。使用距離206推得焦點(diǎn)窗口108a的焦點(diǎn)測量值。下部曲線圖以類似方式示出了焦點(diǎn)窗口108b的焦點(diǎn)測量值,其中兩條曲線208、210的最大值之間的距離212對應(yīng)于相位差或分離誤差。從距離212推得焦點(diǎn)窗口108b的焦點(diǎn)測量值。
距離206描述了20個像素的分離誤差,而距離212描述了25個像素的分離誤差。可以注意的是,數(shù)目20和25僅視作是純粹為了簡化一般原理的解釋說明而使用的示例。可以使用不同的數(shù)字值,并且也可以以其他術(shù)語表示分離誤差,諸如相位差的度數(shù)。在不應(yīng)用兩個分離誤差的加權(quán)的情況下,自動聚焦算法可以導(dǎo)致基于22.5個(20+25的平均值)像素的分離誤差而設(shè)置相機(jī)的焦點(diǎn)。計算分離誤差以便于找到物體是在前焦點(diǎn)還是后焦點(diǎn)位置。分離誤差轉(zhuǎn)換為焦點(diǎn)測量值(焦點(diǎn)距離、焦點(diǎn)誤差等),其用作相機(jī)焦點(diǎn)的所需改變量的估算值(例如通過焦點(diǎn)環(huán)形移動)。然而,圖1中很明顯,在相機(jī)移動期間讀出上部焦點(diǎn)窗口108a中所包括的像素數(shù)據(jù)106a-b,而在相機(jī)不移動期間讀出下部焦點(diǎn)窗口108b中所包括的像素數(shù)據(jù)106c-d。因?yàn)楸景l(fā)明涉及基于至少焦點(diǎn)窗口的運(yùn)動水平而加權(quán)焦點(diǎn)測量值,所以當(dāng)設(shè)置相機(jī)焦點(diǎn)時,上部焦點(diǎn)窗口108a的焦點(diǎn)測量值可以視為不如下部焦點(diǎn)窗口108b的焦點(diǎn)測量值那么重要。
例如,在讀出上部焦點(diǎn)窗口中所包括的像素數(shù)據(jù)期間測得的相機(jī)運(yùn)動水平可以如圖結(jié)合2a所述高于預(yù)定相機(jī)運(yùn)動水平。在該情形中,如果采用了結(jié)合圖2a所述的映射函數(shù),并且運(yùn)動數(shù)據(jù)112的第二數(shù)值導(dǎo)致以零權(quán)重對焦點(diǎn)窗口108a的焦點(diǎn)測量值加權(quán),則當(dāng)設(shè)置相機(jī)焦點(diǎn)時可以完全忽略來自上部焦點(diǎn)窗口108a的焦點(diǎn)測量值。這接著意味著將僅采用來自下部焦點(diǎn)窗口108b的焦點(diǎn)測量值并且因此導(dǎo)致可以基于25個像素的分離誤差而設(shè)置相機(jī)的焦點(diǎn)。
根據(jù)另一示例,采用權(quán)重0.2對來自上部焦點(diǎn)窗口108a的焦點(diǎn)測量值加權(quán),而采用權(quán)重0.8對來自下部焦點(diǎn)窗口108b的焦點(diǎn)測量值加權(quán)。在該情形中可以基于24(20*0.2+25*0.8)個像素的分離誤差而設(shè)置相機(jī)的焦點(diǎn)。換言之,基于僅一個圖像幀100的多個焦點(diǎn)窗口108a-b中的每一個的加權(quán)焦點(diǎn)測量值的平均值而設(shè)置相機(jī)的焦點(diǎn)。
應(yīng)該注意的是可以用大量不同方式計算該說明書中所述的權(quán)重。例如,可以采用類似于圖2a-b中所述映射函數(shù)的運(yùn)動數(shù)據(jù)的預(yù)定閾值。此外,權(quán)重可以計算為運(yùn)動數(shù)據(jù)的倒數(shù),例如1/(1+sum(運(yùn)動數(shù)據(jù)))。
可以在與焦點(diǎn)測量值相乘之前歸一化權(quán)重。
圖4描述了其中采用基于對比度的焦點(diǎn)測量值的AF算法的實(shí)施方式。對于該實(shí)施方式,捕捉多個圖像幀100a-f,每個圖像幀使用聚焦鏡頭裝置的不同焦點(diǎn)設(shè)置而捕捉。
AF算法將多個圖像幀100a……f中的每一個劃分為多個焦點(diǎn)窗口108a-c。通過確定焦點(diǎn)窗口中的對比度的量,例如通過對焦點(diǎn)窗口像素數(shù)據(jù)使用蘇貝爾(Sobel)算符,而計算焦點(diǎn)窗口的焦點(diǎn)測量值。圖4示出了每個焦點(diǎn)窗口108a-c的焦點(diǎn)測量值如何針對聚焦鏡頭裝置的不同焦點(diǎn)設(shè)置而改變。在圖4中,由實(shí)線404表示焦點(diǎn)窗口108a的焦點(diǎn)測量值,由虛線408表示焦點(diǎn)窗口108b的焦點(diǎn)測量值,并且由點(diǎn)劃線406表示焦點(diǎn)窗口108c的焦點(diǎn)測量值。
如圖4中可見,焦點(diǎn)窗口108b-c的焦點(diǎn)測量值均增大,直至達(dá)到用于圖像幀100d的焦點(diǎn)設(shè)置并且隨后減小。然而,對于焦點(diǎn)窗口108a,焦點(diǎn)測量值在圖像幀100c和圖像幀100d之間驟然下跌。
如果使用來自不同焦點(diǎn)窗口的焦點(diǎn)測量值的直線平均(由黑點(diǎn)402表示),則自動聚焦算法將確定圖像100c的焦點(diǎn)設(shè)置是最佳的。然而,因?yàn)樵诖蟠笥绊懥嗽摻裹c(diǎn)窗口的焦點(diǎn)測量值的相機(jī)運(yùn)動水平期間讀出在圖像幀100d的焦點(diǎn)窗口108a中所包括的像素數(shù)據(jù),所以與所有圖像100a-f中的焦點(diǎn)窗口108a相關(guān)的焦點(diǎn)測量值讀數(shù)的重要性將降低。
得到該結(jié)論是因?yàn)?,針對計算的焦點(diǎn)窗口108a的所有焦點(diǎn)測量值,使用每個圖像幀100a-f中焦點(diǎn)窗口108a的運(yùn)動水平而計算合成運(yùn)動水平。換言之,由于影響該合成運(yùn)動水平的幀100d的高運(yùn)動水平,在所有多個圖像幀100a-f中焦點(diǎn)窗口108a的焦點(diǎn)測量值的重要性將降低。因此相比于加權(quán)焦點(diǎn)窗口108b-c的焦點(diǎn)測量值,采用更低的權(quán)重而加權(quán)圖像幀100a-f中焦點(diǎn)窗口108a的焦點(diǎn)測量值。
例如,用于焦點(diǎn)窗口108a的焦點(diǎn)測量值的權(quán)重可以是零,這意味著將省略該焦點(diǎn)窗口的焦點(diǎn)測量值讀數(shù)。返回至圖4,明顯的是,當(dāng)忽視對應(yīng)于焦點(diǎn)窗口108a的焦點(diǎn)測量值的實(shí)線404時,用于圖像100d的焦點(diǎn)設(shè)置給出了最高平均值,并且因此,自動聚焦算法將隨后得出結(jié)論,圖像100d的焦點(diǎn)設(shè)置反而是最佳的。
可以注意的是,所述合成運(yùn)動水平也可以以類似于結(jié)合以上附圖2a-b以及圖3所述類似的方式而映射至權(quán)重。
替代于總是針對相機(jī)的聚焦鏡頭裝置的所有可能的焦點(diǎn)設(shè)置捕捉圖像幀,可以采用登山算法。這意味著只要焦點(diǎn)窗口的焦點(diǎn)測量值(或例如平均焦點(diǎn)測量值)增大,就測試另外的焦點(diǎn)設(shè)置,但是當(dāng)焦點(diǎn)測量值開始減小時,不再測試另外的焦點(diǎn)設(shè)置并且迄今給出了最佳結(jié)果的焦點(diǎn)設(shè)置被用于設(shè)置相機(jī)的焦點(diǎn)。
對于該算法,僅將當(dāng)前焦點(diǎn)設(shè)置的焦點(diǎn)測量值與在前焦點(diǎn)設(shè)置的焦點(diǎn)測量值比較。因此,在本發(fā)明的上下文中,自動聚焦方法一次僅使用兩個圖像幀。除了使用登山算法之外,用于圖5中曲線的焦點(diǎn)測量值讀數(shù)和情況與圖4中的那些相同。如圖5中所示(在虛線區(qū)域502內(nèi))典型的自動聚焦算法(使用焦點(diǎn)測量值402的平均值)的使用將導(dǎo)致當(dāng)設(shè)置相機(jī)的焦點(diǎn)時選擇用于圖像幀100c的聚焦鏡頭裝置的焦點(diǎn)設(shè)置。
然而,因?yàn)榧僭O(shè)在捕捉圖像100d中焦點(diǎn)窗口108a的像素數(shù)據(jù)的時刻相機(jī)在移動,所以應(yīng)該基于從圖像幀100d和圖像幀100c的運(yùn)動水平計算得到的高合成運(yùn)動水平而加權(quán)圖像100c-d的焦點(diǎn)窗口108a的焦點(diǎn)測量值。以該方式,焦點(diǎn)窗口108a的焦點(diǎn)測量值,實(shí)線404,在圖像幀100c和圖像幀100d之間驟然下跌的重要性將減小,并且登山算法將針對至少一個焦點(diǎn)設(shè)置(圖像幀100e)繼續(xù)并且隨后確定用于圖像幀100d的焦點(diǎn)設(shè)置是最佳的。
現(xiàn)在將結(jié)合圖6-8描述用于設(shè)置包括了卷簾快門圖像傳感器和聚焦鏡頭裝置的相機(jī)的焦點(diǎn)的裝置。在圖7中,裝置710實(shí)施在相機(jī)700內(nèi),而在圖8中,裝置710實(shí)施為與相機(jī)700分離但是與相機(jī)700通信。相機(jī)700包括卷簾快門圖像傳感器702,其包括多個像素區(qū)域(例如像素的行或列)。卷簾快門圖像傳感器配置為在使用相機(jī)捕捉圖像幀期間一次從一個像素區(qū)域讀出像素數(shù)據(jù)。
相機(jī)還包括用于在由卷簾快門圖像讀取器702讀出像素數(shù)據(jù)期間連續(xù)地測量S604相機(jī)運(yùn)動水平的運(yùn)動水平測量裝置703。運(yùn)動水平測量裝置703可以例如是運(yùn)動傳感器706(振動傳感器、陀螺儀、加速度計、紅外傳感器等)。替代地或額外地,運(yùn)動水平測量裝置703可以從相機(jī)的搖攝/傾斜PT電動機(jī)704接收輸入,該輸入與由PT電動機(jī)704引起的相機(jī)運(yùn)動相關(guān)。
相機(jī)700進(jìn)一步包括聚焦鏡頭裝置708。
用于設(shè)置相機(jī)700的焦點(diǎn)的裝置710被設(shè)置為接收與由卷簾快門圖像傳感器702捕捉S602的一個或多個圖像幀相關(guān)的像素數(shù)據(jù),并且進(jìn)一步接收與像素數(shù)據(jù)相關(guān)聯(lián)并且指示了在由卷簾快門圖像傳感器702從卷簾快門圖像傳感器702的多個像素區(qū)域讀出像素數(shù)據(jù)期間由運(yùn)動水平測量裝置703測量S604的多個相機(jī)運(yùn)動水平的運(yùn)動數(shù)據(jù)。在圖8的實(shí)施例中,可以由用于設(shè)置相機(jī)700的焦點(diǎn)的裝置710以任何合適的通信方式諸如經(jīng)由有線或者使用諸如藍(lán)牙、WiFi等的任何無線通信協(xié)議而接收該數(shù)據(jù)。
用于設(shè)置相機(jī)700的焦點(diǎn)的裝置710被設(shè)置為使用由裝置710實(shí)施的自動聚焦算法而經(jīng)由聚焦鏡頭裝置708設(shè)置相機(jī)的焦點(diǎn)。裝置710可以例如包括處理器(例如現(xiàn)有的計算機(jī)處理器,或者用于合適系統(tǒng)的專用計算機(jī)處理器),其可以運(yùn)行包括具有用于執(zhí)行自動聚焦算法的指令的計算機(jī)可讀存儲介質(zhì)的計算機(jī)程序產(chǎn)品。
自動聚焦算法函數(shù)包括,如上結(jié)合圖1-5更詳細(xì)所述的,針對多個焦點(diǎn)窗口中的每個焦點(diǎn)窗口,基于該焦點(diǎn)窗口中所包括的像素數(shù)據(jù)計算S606該焦點(diǎn)窗口的焦點(diǎn)測量值,基于與該焦點(diǎn)窗口中所包括的像素數(shù)據(jù)相關(guān)聯(lián)的運(yùn)動數(shù)據(jù)而計算S608該焦點(diǎn)窗口的運(yùn)動水平,并且通過以至少該焦點(diǎn)窗口的運(yùn)動水平加權(quán)該焦點(diǎn)窗口的焦點(diǎn)測量值而計算S612該焦點(diǎn)窗口的加權(quán)焦點(diǎn)測量值。
可選地,如果采用基于對比度的自動聚焦算法,則自動聚焦算法進(jìn)一步包括使用該焦點(diǎn)窗口的運(yùn)動水平以及多個圖像幀中剩余圖像幀中的每個中的對應(yīng)焦點(diǎn)窗口的運(yùn)動水平而計算S610合成運(yùn)動水平。在該情形中,步驟S606中計算的焦點(diǎn)測量值以運(yùn)動的合成運(yùn)動水平加權(quán)。
最終,使用例如自動聚焦算法的輸出設(shè)置S614相機(jī)的焦點(diǎn)。
盡管附圖可以顯示方法步驟的特定順序,步驟的順序可以不同于所示出的。此外可以同時地或者部分同時地執(zhí)行兩個或多個步驟。例如,使用卷簾快門圖像傳感器702捕捉S602一個或多個圖像幀的步驟以及測量S604相機(jī)的相機(jī)運(yùn)動水平以用于產(chǎn)生運(yùn)動數(shù)據(jù)的步驟優(yōu)選地使用例如相機(jī)700的分立處理器或者相機(jī)700的單個處理器的分立線程而同時執(zhí)行。該變化將取決于所選擇的軟件和硬件系統(tǒng)以及設(shè)計者的選擇。所有這些變化在本公開的范圍內(nèi)。