本文中所揭示的系統(tǒng)和方法通常涉及多焦點(diǎn)成像。

背景技術(shù)：

為了使用相機(jī)拍攝高質(zhì)量的圖像，應(yīng)很好地將曝光和聚焦水平調(diào)整到感興趣場(chǎng)景內(nèi)的對(duì)象。但是，在許多情況下，可難以獲得對(duì)于場(chǎng)景內(nèi)的所有對(duì)象的最佳曝光和聚焦水平。舉例來說，可難以使沿定義從相機(jī)鏡頭延伸到無窮大的屏幕深度的軸線(通常為z軸)分散不同距離的對(duì)象保持對(duì)焦。景深通常為z軸的區(qū)域，其中感興趣場(chǎng)景的對(duì)象是對(duì)焦的。當(dāng)相機(jī)鏡頭經(jīng)放大時(shí)，景深比當(dāng)相機(jī)鏡頭經(jīng)縮小時(shí)更淺。出于此原因，可難以保持聚焦于定位于沿z軸景深的不同位置處的若干對(duì)象。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的系統(tǒng)、方法及裝置各自具有若干創(chuàng)新方面，其中沒有單個(gè)方面單獨(dú)負(fù)責(zé)本文所揭示的所需要的屬性。本文所描述的創(chuàng)新、方面和特征的組合可并入于系統(tǒng)、方法和裝置的各種實(shí)施例中且此類組合不受本文所描述的實(shí)施例的實(shí)例所限制。

本文所描述的實(shí)施例和創(chuàng)新涉及可在用于獲得具有多個(gè)對(duì)焦的感興趣區(qū)域的圖像的電子裝置的處理器中運(yùn)行的系統(tǒng)和方法。呈現(xiàn)直觀的用戶體驗(yàn)以允許用戶在單個(gè)圖像內(nèi)聚焦于場(chǎng)景內(nèi)的處于不同深度的不同區(qū)域。

在一些實(shí)施例中，選擇相機(jī)并將相機(jī)對(duì)準(zhǔn)含有多個(gè)感興趣區(qū)域(ROI)的場(chǎng)景。自動(dòng)對(duì)焦機(jī)制開始運(yùn)行并且可在圖像預(yù)覽中為用戶建議多個(gè)ROI。這些ROI可使用各種已知方法來確定，包含但不限于(a)人臉檢測(cè)、(b)對(duì)象跟蹤，或(c)直接用戶輸入。用戶可在預(yù)覽期間通過觸摸或擠壓屏幕進(jìn)行選擇及調(diào)整所需選擇來選擇多個(gè)ROI?；谟脩舻挠|摸，自動(dòng)對(duì)焦計(jì)算每一感興趣區(qū)域的參數(shù)并存儲(chǔ)此信息。

在一些實(shí)施例中，當(dāng)用戶按壓快門按鈕以捕獲圖像時(shí)，基于所選擇ROI的數(shù)目(或，等效地，經(jīng)計(jì)算并存儲(chǔ)的自動(dòng)對(duì)焦參數(shù)的數(shù)目)捕獲多個(gè)圖像。多個(gè)圖像中的每一者含有對(duì)焦的ROI中的一者。接著從多個(gè)圖像中產(chǎn)生單個(gè)圖像，所述單個(gè)圖像表現(xiàn)為由多個(gè)圖像無縫形成。所得單個(gè)圖像含有所對(duì)焦的多個(gè)感興趣區(qū)域。

一個(gè)方面涉及用于建議場(chǎng)景內(nèi)的多個(gè)感興趣區(qū)域及從多個(gè)感興趣區(qū)域中產(chǎn)生多焦點(diǎn)圖像的系統(tǒng)。系統(tǒng)包含控制模塊，所述控制模塊經(jīng)配置以確定場(chǎng)景內(nèi)的候選所感興趣區(qū)域，在顯示屏幕上指示對(duì)來自場(chǎng)景內(nèi)的可能感興趣區(qū)域的感興趣區(qū)域的建議，接收指示多個(gè)感興趣區(qū)域的選擇的輸入，確定與所選的多個(gè)感興趣區(qū)域中的每一者相關(guān)聯(lián)的自動(dòng)對(duì)焦參數(shù)，使用與感興趣區(qū)域相關(guān)聯(lián)的自動(dòng)對(duì)焦參數(shù)來捕獲每一感興趣區(qū)域的圖像，及從包含每一感興趣區(qū)域的圖像產(chǎn)生包含圖像數(shù)據(jù)的多焦點(diǎn)圖像。系統(tǒng)可進(jìn)一步包含成像裝置，所述成像裝置包含傳感器，其中控制模塊經(jīng)配置以使用成像裝置和與感興趣區(qū)域相關(guān)聯(lián)的自動(dòng)對(duì)焦參數(shù)來捕獲每一感興趣區(qū)域的圖像。控制模塊可進(jìn)一步經(jīng)配置為在預(yù)覽模式下操作成像裝置?？刂颇K可進(jìn)一步經(jīng)配置為在預(yù)覽模式下將所建議的多個(gè)感興趣區(qū)域以圖形方式顯示給用戶?？刂颇K可進(jìn)一步經(jīng)配置以使用人臉檢測(cè)算法或?qū)ο蟾櫵惴▉泶_定場(chǎng)景內(nèi)的感興趣區(qū)域?？刂颇K可進(jìn)一步經(jīng)配置以接收關(guān)于確定場(chǎng)景內(nèi)的候選感興趣區(qū)域的輸入。成像裝置可進(jìn)一步包含觸摸屏，且控制模塊可進(jìn)一步經(jīng)配置以接收通過記錄觸摸屏上的觸摸事件而指示多個(gè)感興趣區(qū)域的選擇的輸入。系統(tǒng)可進(jìn)一步包含移動(dòng)裝置，其中控制模塊可為移動(dòng)裝置的相機(jī)應(yīng)用程序的組件。

在另一方面，用于建議場(chǎng)景內(nèi)的多個(gè)感興趣區(qū)域及從所述多個(gè)感興趣區(qū)域中產(chǎn)生多焦點(diǎn)圖像的方法包含以下步驟：確定場(chǎng)景內(nèi)的候選感興趣區(qū)域；在顯示屏上指示對(duì)來自場(chǎng)景內(nèi)的可能感興趣區(qū)域的感興趣區(qū)域的建議；接收關(guān)于多個(gè)感興趣區(qū)域的選擇的輸入；確定與所選多個(gè)感興趣區(qū)域中的每一者相關(guān)聯(lián)的自動(dòng)對(duì)焦參數(shù)；使用與感興趣區(qū)域相關(guān)聯(lián)的自動(dòng)對(duì)焦參數(shù)來捕獲每一感興趣區(qū)域的圖像；及從包含每一感興趣區(qū)域的圖像中產(chǎn)生包含圖像數(shù)據(jù)的多焦點(diǎn)圖像。所述方法可進(jìn)一步包含在預(yù)覽模式下操作成像裝置的步驟。在一些實(shí)施例中，確定場(chǎng)景內(nèi)的候選感興趣區(qū)域進(jìn)一步包含對(duì)場(chǎng)景內(nèi)的人臉或?qū)ο髨?zhí)行人臉檢測(cè)和對(duì)象跟蹤中的一或多者。所述方法可進(jìn)一步包含在預(yù)覽模式下將所建議的多個(gè)感興趣區(qū)域以圖形方式顯示給用戶的步驟。在一些實(shí)施例中，接受關(guān)于多個(gè)感興趣區(qū)域的選擇的用戶輸入進(jìn)一步包含記錄成像裝置的觸摸屏上的觸摸事件。在一些實(shí)施例中，成像裝置經(jīng)配置以作為移動(dòng)裝置的相機(jī)應(yīng)用程序的一部分來操作。

在又一方面中，用于建議場(chǎng)景內(nèi)的多個(gè)感興趣區(qū)域及從所述多個(gè)感興趣區(qū)域中產(chǎn)生多焦點(diǎn)圖像的設(shè)備包含：用于確定場(chǎng)景內(nèi)的候選感興趣區(qū)域的裝置；用于向用戶建議來自場(chǎng)景內(nèi)的可能感興趣區(qū)域的多個(gè)感興趣區(qū)域的裝置；用于接受關(guān)于多個(gè)感興趣區(qū)域的選擇的用戶輸入的裝置；用于確定與多個(gè)感興趣區(qū)域中的每一者相關(guān)聯(lián)的自動(dòng)對(duì)焦參數(shù)的裝置；用于使用與感興趣區(qū)域相關(guān)聯(lián)的自動(dòng)對(duì)焦參數(shù)捕獲每一感興趣區(qū)域的單個(gè)圖像的裝置；及用于從每一感興趣區(qū)域的單個(gè)圖像中產(chǎn)生單個(gè)多焦點(diǎn)圖像的裝置。所述設(shè)備可進(jìn)一步包含用于在預(yù)覽模式下操作成像裝置的裝置。在一些實(shí)施例中，用于確定場(chǎng)景內(nèi)的候選感興趣區(qū)域的裝置進(jìn)一步包含用于對(duì)場(chǎng)景內(nèi)的人臉或?qū)ο髨?zhí)行人臉檢測(cè)和對(duì)象跟蹤中的一或多者的裝置。在一些實(shí)施例中，所述設(shè)備可進(jìn)一步包含用于在預(yù)覽模式下將所建議的多個(gè)感興趣區(qū)域以圖形方式顯示給用戶的裝置。在一些實(shí)施例中，用于接受關(guān)于多個(gè)感興趣區(qū)域的選擇的用戶輸入的裝置進(jìn)一步包含用于記錄成像裝置的觸摸屏上的觸摸事件的裝置。

在另一方面，非暫時(shí)性計(jì)算機(jī)可讀媒體存儲(chǔ)指令，所述指令在經(jīng)執(zhí)行時(shí)使得至少一個(gè)物理計(jì)算機(jī)處理器執(zhí)行建議場(chǎng)景內(nèi)的多個(gè)感興趣區(qū)域及從所述多個(gè)感興趣區(qū)域中產(chǎn)生多焦點(diǎn)圖像的方法。所述方法包含以下步驟：確定場(chǎng)景內(nèi)的多個(gè)可能或候選感興趣區(qū)域；向用戶建議來自從場(chǎng)景內(nèi)的可能感興趣區(qū)域的多個(gè)感興趣區(qū)域；接受關(guān)于多個(gè)感興趣區(qū)域的選擇的用戶輸入；確定與多個(gè)感興趣區(qū)域中的每一者相關(guān)聯(lián)的自動(dòng)對(duì)焦參數(shù)；使用與感興趣區(qū)域相關(guān)聯(lián)的自動(dòng)對(duì)焦參數(shù)捕獲每一感興趣區(qū)域的單個(gè)圖像；及從每一感興趣區(qū)域的單個(gè)圖像中產(chǎn)生單個(gè)多焦點(diǎn)圖像。在一些實(shí)施例中，所述方法包含在預(yù)覽模式下操作成像裝置的步驟。在一些實(shí)施例中，確定場(chǎng)景內(nèi)的多個(gè)可能或候選感興趣區(qū)域進(jìn)一步包含對(duì)場(chǎng)景內(nèi)的人臉或?qū)ο髨?zhí)行人臉檢測(cè)及對(duì)象跟蹤中的一或多者。在一些實(shí)施例中，所述方法進(jìn)一步包含在預(yù)覽模式下將所建議的多個(gè)感興趣區(qū)域以圖形方式顯示給用戶的步驟。在一些實(shí)施例中，接受關(guān)于多個(gè)感興趣區(qū)域的選擇的用戶輸入進(jìn)一步包含記錄成像裝置的觸摸屏上的觸摸事件。在一些實(shí)施例中，成像裝置經(jīng)配置以作為移動(dòng)裝置的相機(jī)應(yīng)用程序的一部分來操作。

附圖說明

將在下文中結(jié)合附圖來描述所揭示方面，提供附圖是為了說明但不限制所揭示方面，其中相同符號(hào)表示相同元件。

圖1是描繪實(shí)施用于獲得具有多個(gè)對(duì)焦的感興趣區(qū)域的圖像的一些操作性元件的系統(tǒng)的框圖。

圖2是說明用于獲得具有多個(gè)對(duì)焦的感興趣區(qū)域的圖像的過程的流程圖。

圖3是描繪對(duì)于焦點(diǎn)的感興趣區(qū)域和用戶所選擇的感興趣區(qū)域的建議的用戶界面的實(shí)例。

圖4是具有多個(gè)焦點(diǎn)區(qū)域的多焦點(diǎn)圖像的實(shí)例。

具體實(shí)施方式

通常，智能裝置(例如，蜂窩電話、平板計(jì)算機(jī)或其它移動(dòng)裝置)中的相機(jī)無法清晰地對(duì)處于不同深度的捕獲對(duì)象成像。最新的裝置無法在單個(gè)圖像中捕獲并聚焦于多個(gè)感興趣對(duì)象?？梢龑?dǎo)一些相機(jī)聚焦于處于不同深度的多個(gè)感興趣對(duì)象，但是捕捉此圖像的鏡頭位置“達(dá)不到”感興趣場(chǎng)景中的每一對(duì)象的焦點(diǎn)，而不是產(chǎn)生具有所有對(duì)焦的感興趣對(duì)象的單個(gè)圖像。下文所論述的方法和系統(tǒng)提供用以獲得位于不同焦點(diǎn)深度處的多個(gè)對(duì)象的單個(gè)聚焦圖像的解決方案。

在一些實(shí)施例中，所提出的多焦點(diǎn)成像過程引導(dǎo)處理器在預(yù)覽模式期間向用戶建議多個(gè)感興趣區(qū)域?？苫谌四槞z測(cè)、對(duì)象跟蹤、或其它特征或?qū)ο笞R(shí)別方法而提出這些建議。用戶可選擇一或多個(gè)感興趣區(qū)域以包含于最終多焦點(diǎn)圖像中。處理器接著計(jì)算每一感興趣區(qū)域的自動(dòng)對(duì)焦參數(shù)并存儲(chǔ)此信息。當(dāng)用戶按壓快門按鈕以捕獲圖像時(shí)，多個(gè)圖像是基于所選擇ROI的數(shù)目(或，等效地，經(jīng)計(jì)算并存儲(chǔ)的自動(dòng)對(duì)焦參數(shù)的數(shù)目)而捕獲的。多個(gè)圖像中的每一者理想地含有對(duì)焦的ROI中的一者。接著從多個(gè)圖像產(chǎn)生中單個(gè)圖像，所述單個(gè)圖像表現(xiàn)為由多個(gè)圖像無縫形成。所得單個(gè)圖像理想地含有對(duì)焦的多個(gè)感興趣區(qū)域中的全部。

應(yīng)注意，可能將所述實(shí)例描述成過程，其被描繪為流程圖、流向圖、有限狀態(tài)圖、結(jié)構(gòu)圖或框圖。雖然流程圖可將操作描述成循序過程，但是許多操作可以并行或同時(shí)執(zhí)行，并且所述過程可以重復(fù)。另外，可以重新布置操作的次序。當(dāng)過程的操作完成時(shí)，所述過程終止。過程可對(duì)應(yīng)于方法、功能、程序、子例程、子程序等。當(dāng)過程對(duì)應(yīng)于軟件功能時(shí)，過程的終止對(duì)應(yīng)于功能返回到調(diào)用功能或主功能。

可以芯片上系統(tǒng)(SoC)或外部硬件、軟件、固件或其任何組合來實(shí)施實(shí)施例。所屬領(lǐng)域的技術(shù)人員將理解，可使用多種不同技術(shù)及技藝中的任一者來表示信息及信號(hào)。舉例來說，可由電壓、電流、電磁波、磁場(chǎng)或磁粒子、光場(chǎng)或光粒子或其任何組合來表示可貫穿以上描述參考的數(shù)據(jù)、指令、命令、信息、信號(hào)、位、符號(hào)和芯片。

在以下描述中，給出具體細(xì)節(jié)以提供對(duì)實(shí)例的透徹理解。然而，所屬領(lǐng)域的技術(shù)人員將理解，可在沒有這些具體細(xì)節(jié)的情況下實(shí)踐所述實(shí)例。舉例來說，可在框圖中展示電組件/裝置，以免用不必要的細(xì)節(jié)使所述實(shí)例模糊。在其它例子中，可詳細(xì)展示這些組件、其它結(jié)構(gòu)和技術(shù)以便進(jìn)一步解釋所述實(shí)例。

系統(tǒng)概述

圖1說明經(jīng)配置以獲得具有多個(gè)對(duì)焦的感興趣區(qū)域的單個(gè)圖像的成像系統(tǒng)100的一項(xiàng)實(shí)例。所說明實(shí)施例并不意味著是限制性，但反而是說明一些實(shí)施例中的某些組件。系統(tǒng)100可包含用于其它功能的多種其它組件，其為了所說明組件的清楚起見而未展示。

成像系統(tǒng)100可包含成像裝置110和電子顯示器130。電子顯示器130的某些實(shí)施例可為任何平板顯示器技術(shù)，例如LED、LCD、等離子體或投影屏。電子顯示器130可耦合到處理器120以用于接收視覺顯示給用戶的信息。此類信息可包含(但不限于)存儲(chǔ)于存儲(chǔ)器位置中的文件、安裝在處理器120上的軟件應(yīng)用程序、用戶界面以及網(wǎng)絡(luò)可接入內(nèi)容對(duì)象的視覺表示。

成像裝置110可采用成像傳感器中的一者或組合。成像系統(tǒng)100可進(jìn)一步包含連結(jié)到成像裝置110的處理器120。工作存儲(chǔ)器135、電子顯示器130和程序存儲(chǔ)器140也與處理器120通信。成像系統(tǒng)100可為移動(dòng)裝置，例如，平板計(jì)算機(jī)、膝上型計(jì)算機(jī)或蜂窩式電話。

處理器120可為通用處理單元或其可為特別為用于手持式電子裝置的成像應(yīng)用所設(shè)計(jì)的處理器。如圖所示，處理器120連接到程序存儲(chǔ)器140和工作存儲(chǔ)器135，并且與程序存儲(chǔ)器140和工作存儲(chǔ)器135進(jìn)行數(shù)據(jù)通信。在一些實(shí)施例中，工作存儲(chǔ)器135(例如，高速緩沖存儲(chǔ)器)可并入于處理器120中。工作存儲(chǔ)器135還可為與處理器120分開并且耦合至處理器120的組件，例如，一或多個(gè)RAM或DRAM組件。換句話說，雖然圖1說明兩個(gè)存儲(chǔ)器組件，其包含包括若干模塊的存儲(chǔ)器組件140和包括工作存儲(chǔ)器的單獨(dú)存儲(chǔ)器135，但是所屬領(lǐng)域的技術(shù)人員將認(rèn)識(shí)到利用不同存儲(chǔ)器架構(gòu)的若干實(shí)施例。舉例來說，一種設(shè)計(jì)可利用ROM或靜態(tài)RAM存儲(chǔ)器來存儲(chǔ)實(shí)施包含于存儲(chǔ)器140中的模塊的處理器指令。接著，可將處理器指令加載到RAM中，以便于由處理器執(zhí)行。舉例來說，工作存儲(chǔ)器135可以是RAM存儲(chǔ)器，其中指令在由處理器120執(zhí)行之前經(jīng)加載到工作存儲(chǔ)器135中。

在所說明的實(shí)施例中，程序存儲(chǔ)器140存儲(chǔ)圖像捕獲模塊145、感興趣區(qū)域(ROI)建議模塊150、自動(dòng)對(duì)焦參數(shù)確定模塊155、單個(gè)圖像產(chǎn)生模塊160、操作系統(tǒng)165和用戶界面模塊170。這些模塊可包含將處理器120配置為執(zhí)行各種圖像處理及裝置管理任務(wù)的指令。程序存儲(chǔ)器140可為任何合適的計(jì)算機(jī)可讀存儲(chǔ)媒體，例如非暫時(shí)性存儲(chǔ)媒體。工作存儲(chǔ)器135可由處理器120使用以存儲(chǔ)包含于存儲(chǔ)器140的模塊中的處理器指令的工作集合。或者，工作存儲(chǔ)器135還可由處理器120使用以存儲(chǔ)在成像系統(tǒng)100的操作期間產(chǎn)生的動(dòng)態(tài)數(shù)據(jù)。

如上文所提及，處理器120可由存儲(chǔ)于存儲(chǔ)器140中的若干模塊配置。換句話說，過程120可運(yùn)行存儲(chǔ)于存儲(chǔ)器140中的模塊中的指令。圖像捕獲模塊145可包含將處理器120配置為從成像裝置獲得圖像的指令。因此，處理器120連同圖像捕獲模塊145、成像裝置110和工作存儲(chǔ)器135一起表示用于獲得一或多個(gè)感興趣區(qū)域的圖像傳感器數(shù)據(jù)的一個(gè)裝置。

仍參看圖1，存儲(chǔ)器140還可含有ROI建議模塊150。ROI建議模塊150可包含將處理器120配置為使用人臉檢測(cè)、對(duì)象跟蹤或其它算法向用戶建議感興趣區(qū)域并在成像裝置110的預(yù)覽模式期間在電子顯示器130上向用戶顯示感興趣區(qū)域的指令，如下文將進(jìn)一步詳細(xì)描述。因此，處理器120連同ROI建議模塊150、工作存儲(chǔ)器135和電子顯示器130一起表示用于向用戶電子裝置建議及展示一或多個(gè)感興趣區(qū)域的一個(gè)裝置。

存儲(chǔ)器140還可含有自動(dòng)對(duì)焦參數(shù)確定模塊155。自動(dòng)對(duì)焦參數(shù)確定模塊155可包含將處理器120配置為執(zhí)行自動(dòng)對(duì)焦功能并計(jì)算及存儲(chǔ)所識(shí)別感興趣區(qū)域中的每一者的自動(dòng)對(duì)焦參數(shù)的指令。舉例來說，如果選擇三個(gè)感興趣區(qū)域，那么處理器120可由自動(dòng)對(duì)焦參數(shù)確定模塊155命令以計(jì)算對(duì)應(yīng)于每一感興趣區(qū)域的自動(dòng)對(duì)焦參數(shù)并將自動(dòng)對(duì)焦參數(shù)存儲(chǔ)于工作存儲(chǔ)器135或存儲(chǔ)裝置125中。處理器120接著可由圖像捕獲模塊145命令以基于每一感興趣區(qū)域的自動(dòng)對(duì)焦參數(shù)而使用成像裝置110來捕獲每一感興趣區(qū)域的單個(gè)圖像。因此，處理器120連同ROI建議模塊150、自動(dòng)對(duì)焦參數(shù)確定模塊155和工作存儲(chǔ)器135一起表示用于計(jì)算及存儲(chǔ)每一所選感興趣區(qū)域的自動(dòng)對(duì)焦參數(shù)的一個(gè)裝置。

存儲(chǔ)器140還可含有單個(gè)圖像產(chǎn)生模塊160。圖1中說明的單個(gè)圖像產(chǎn)生模塊160可包含將處理器120配置為產(chǎn)生含有由ROI建議模塊150所識(shí)別的多個(gè)感興趣區(qū)域的單個(gè)多焦點(diǎn)圖像的指令。舉例來說，如果選擇三個(gè)感興趣區(qū)域，那么計(jì)算并儲(chǔ)存針對(duì)每一感興趣區(qū)域的自動(dòng)對(duì)焦參數(shù)并拍攝多個(gè)圖像，其中每一感興趣區(qū)域與多個(gè)圖像中的一者對(duì)焦，處理器120可由單個(gè)圖像產(chǎn)生模塊160命令以通過無縫集成多個(gè)圖像而產(chǎn)生單個(gè)多焦點(diǎn)圖像。因此，處理器120連同ROI建議模塊150、單個(gè)圖像產(chǎn)生模塊160和工作存儲(chǔ)器135一起表示用于從感興趣區(qū)域的多個(gè)圖像中產(chǎn)生單個(gè)圖像的一個(gè)裝置。

存儲(chǔ)器140還可含有用戶界面模塊170。圖1中說明的用戶界面模塊170可包含將處理器120配置為提供顯示器上對(duì)象集合及允許用戶與裝置交互的軟控制(例如，允許用戶選擇在成像裝置的預(yù)覽模式中識(shí)別及顯示的感興趣區(qū)域)的指令。用戶界面模塊170還允許應(yīng)用程序與系統(tǒng)的其余部分交互。操作系統(tǒng)模塊165還可駐留于存儲(chǔ)器140中并且與處理器120一起操作以管理系統(tǒng)100的存儲(chǔ)器和處理資源。舉例來說，操作系統(tǒng)165可包含裝置驅(qū)動(dòng)器以管理例如電子顯示器130或成像裝置110等硬件資源。在一些實(shí)施例中，包含于ROI建議模塊150及自動(dòng)對(duì)焦參數(shù)確定模塊155中的指令可不與這些硬件資源直接交互，而是實(shí)際上通過位于操作系統(tǒng)165中的標(biāo)準(zhǔn)子例程或API交互。操作系統(tǒng)165內(nèi)的指令可接著與這些硬件組件直接交互。

處理器120可將數(shù)據(jù)寫入到存儲(chǔ)模塊125。盡管存儲(chǔ)模塊125是以圖形方式表示為傳統(tǒng)的磁盤驅(qū)動(dòng)器，但是所屬領(lǐng)域的技術(shù)人員將理解，多個(gè)實(shí)施例可包含基于磁盤的存儲(chǔ)裝置或若干其它類型的存儲(chǔ)媒體中的一者，包含存儲(chǔ)器磁盤、USB驅(qū)動(dòng)器、閃速驅(qū)動(dòng)器、遠(yuǎn)程連接的存儲(chǔ)媒體、虛擬磁盤驅(qū)動(dòng)器或類似者。

雖然圖1描繪包括單獨(dú)組件的裝置以包含處理器、成像裝置、電子顯示器和存儲(chǔ)器，所屬領(lǐng)域的技術(shù)人員將認(rèn)識(shí)到，這些單獨(dú)組件可以多種方式組合以實(shí)現(xiàn)特定設(shè)計(jì)目標(biāo)。舉例來說，在替代實(shí)施例中，存儲(chǔ)器組件可與處理器組件組合以節(jié)省成本并且改進(jìn)性能。

另外，雖然圖1說明兩個(gè)存儲(chǔ)器組件，包含包括若干模塊的存儲(chǔ)器組件140和包括工作存儲(chǔ)器的單獨(dú)存儲(chǔ)器135，但是所屬領(lǐng)域的技術(shù)人員將認(rèn)識(shí)到利用不同存儲(chǔ)器架構(gòu)的若干實(shí)施例。舉例來說，一種設(shè)計(jì)可利用ROM或靜態(tài)RAM存儲(chǔ)器來存儲(chǔ)實(shí)施包含于存儲(chǔ)器140中的模塊的處理器指令?；蛘?，可在系統(tǒng)啟動(dòng)時(shí)從磁盤存儲(chǔ)裝置讀取處理器指令，所述磁盤存儲(chǔ)裝置集成到成像系統(tǒng)100中或經(jīng)由外部裝置端口連接。接著，可將處理器指令加載到RAM中，以便于由處理器執(zhí)行。舉例來說，工作存儲(chǔ)器135可以是RAM存儲(chǔ)器，其中指令在由處理器120執(zhí)行之前經(jīng)加載到工作存儲(chǔ)器135中。

方法概述

本發(fā)明的實(shí)施例涉及用于多焦點(diǎn)成像的過程，所述過程可包含：向用戶推薦單個(gè)感興趣場(chǎng)景內(nèi)的多個(gè)候選感興趣區(qū)域；接收關(guān)于確定場(chǎng)景內(nèi)的候選感興趣區(qū)域的輸入；接收關(guān)于選擇待于單個(gè)場(chǎng)景內(nèi)捕獲的所要感興趣區(qū)域的輸入；基于與所要或所選感興趣區(qū)域相關(guān)聯(lián)的自動(dòng)對(duì)焦參數(shù)獲得多個(gè)圖像；及將多個(gè)圖像無縫集成為單個(gè)多焦點(diǎn)圖像。即，例如，具有處于不同對(duì)象平面(或深度)的多個(gè)區(qū)域的單個(gè)圖像，所述多個(gè)區(qū)域中的每一者在所集成圖像中對(duì)焦。實(shí)例可描述為過程，所述過程經(jīng)描繪為流程圖、流向圖、有限狀態(tài)圖、結(jié)構(gòu)圖或框圖。雖然流程圖可將操作描述成循序過程，但是許多操作可以并行或同時(shí)執(zhí)行，并且所述過程可以重復(fù)。另外，可以重新布置操作的次序。當(dāng)過程的操作完成時(shí)，所述過程終止。過程可對(duì)應(yīng)于方法、功能、程序、子例程、子程序等。當(dāng)過程對(duì)應(yīng)于軟件功能時(shí)，過程的終止對(duì)應(yīng)于功能返回到調(diào)用功能或主功能。

圖2說明將具有成像裝置(例如，圖1中所展示的成像裝置110)的電子裝置配置為執(zhí)行可在圖1中所描繪的一或多個(gè)模塊中實(shí)施的多焦點(diǎn)成像的過程200的一個(gè)實(shí)施例。在一些實(shí)例中，過程200可在處理器(例如，處理器120(圖1))上及在圖1中說明的存儲(chǔ)于存儲(chǔ)器140中或并入于其它硬件或軟件中的其它組件上運(yùn)行。

過程200開始于開始框202且過渡到框204，其中成像裝置110是以預(yù)覽模式操作的。在一些實(shí)施例中，預(yù)覽模式可包含在電子顯示器(例如，電子顯示器130(圖1))上顯示如通過成像裝置110的鏡頭所觀看到的場(chǎng)景。電子裝置可為手持型通信裝置，例如，蜂窩式電話或“智能電話”，或包含平板計(jì)算機(jī)的移動(dòng)個(gè)人數(shù)據(jù)助理(PDA)。舉例來說，用戶可以預(yù)覽模式操作移動(dòng)裝置的相機(jī)以確定是否捕獲圖像。在另一實(shí)例中，用戶可以預(yù)覽模式操作移動(dòng)裝置的相機(jī)以確定用戶想要在多焦點(diǎn)圖像中捕獲哪些感興趣區(qū)域。

過程200接著過渡到框206，其中處理器(例如，處理器120)受到命令以確定當(dāng)前場(chǎng)景內(nèi)的可能的感興趣區(qū)域。在一些實(shí)施例中，處理器可使用人臉檢測(cè)或?qū)ο蟾櫼宰R(shí)別可能的感興趣區(qū)域。在一個(gè)實(shí)施例中，可使用人臉檢測(cè)算法，例如，OMRON^TM人臉檢測(cè)算法。但是，只要所選算法能夠檢測(cè)人臉并在所檢測(cè)人臉周圍輸出精確的感興趣區(qū)域(ROI)視窗，所描述的系統(tǒng)優(yōu)選地對(duì)所使用的人臉檢測(cè)算法并不敏感。在一些實(shí)施例中，對(duì)象跟蹤算法可與由QUALCOMM公司的Snapdragon^TM處理器開發(fā)的觸摸到跟蹤(T2T)使用案例中使用的一個(gè)算法類似。

在一個(gè)實(shí)例中，人臉檢測(cè)可確定三個(gè)人臉以各種深度出現(xiàn)在場(chǎng)景內(nèi)。在另一實(shí)例中，對(duì)象跟蹤可能識(shí)別場(chǎng)景內(nèi)的兩個(gè)或兩個(gè)以上物品，例如，沙灘上的桶、沙堡和鳥。一旦確定了可能的感興趣區(qū)域，過程200過渡到框208。

在框208中，處理器受到命令以向用戶建議感興趣區(qū)域并以成像裝置的預(yù)覽模式來顯示這些感興趣區(qū)。為了繼續(xù)上文所論述的實(shí)例，如果處理器檢測(cè)到場(chǎng)景內(nèi)的多個(gè)人臉(例如，不同場(chǎng)景深度處的三個(gè)人臉)，那么處理器可受到命令以通過在每一人臉周圍顯示矩形、圓形、括號(hào)或其它指示符而將每一人臉指示為可能的感興趣區(qū)域。感興趣區(qū)域的大小可取決于ROI是由系統(tǒng)所建議的還是ROI是由用戶所選擇的。如果ROI是由系統(tǒng)例如通過人臉檢測(cè)或?qū)ο髾z測(cè)操作建議的，那么ROI視窗將為可完全包含所建議對(duì)象的形狀，例如矩形、圓形、橢圓等。在一些實(shí)施例中，ROI可為在人臉周圍繪制的矩形。在一些實(shí)施例中，取決于由所檢測(cè)ROI占據(jù)的圖像的面積，ROI的大小可和少許像素一樣小或和全顯示屏一樣大。在一些實(shí)施例中，如果ROI是由用戶選擇的，那么ROI可為固定大小的矩形或其它形狀。在其它實(shí)施例中，用戶可通過選擇圍繞ROI的兩個(gè)或兩個(gè)以上點(diǎn)以定義圍繞ROI的形狀而指示ROI。在另一實(shí)例中，處理器可受到命令以在每一人臉或感興趣區(qū)域處顯示指針或手形指示符以便清晰地向用戶指示多焦點(diǎn)成像的這些可能性。過程200接下來過渡到框210，其中處理器受到命令以接受關(guān)于一或多個(gè)感興趣區(qū)域的用戶輸入。舉例來說，對(duì)于配置有觸摸屏的電子裝置，用戶可通過在觸摸屏上選擇每一人臉而選擇以預(yù)覽模式顯示的人臉中的一或多者。用戶還可使用鼠標(biāo)、指針或按鈕來選擇多個(gè)感興趣區(qū)域。圖3中展示說明用戶選擇多個(gè)感興趣區(qū)域的用戶界面的一個(gè)實(shí)例。如圖3中所展示，用戶可將指針指向多個(gè)感興趣區(qū)域中的每一者。在此實(shí)例中，用戶已經(jīng)選擇“焦點(diǎn)”文字、“龍”文字、國(guó)際象棋棋子和花。

過程200接下來過渡到框212，其中處理器受到命令以確定與所選ROI相關(guān)的自動(dòng)對(duì)焦參數(shù)。在一些實(shí)施例中，處理器可受到命令以執(zhí)行成像裝置110的自動(dòng)對(duì)焦功能，以確定自動(dòng)對(duì)焦參數(shù)以使得所選感興趣區(qū)域中的每一者為對(duì)焦的。自動(dòng)對(duì)焦參數(shù)為發(fā)送到處理器120的傳感器驅(qū)動(dòng)器的命令集合。傳感器驅(qū)動(dòng)器包含用以移動(dòng)成像裝置110的鏡頭位置的設(shè)定或指令。在一些實(shí)施例中，傳感器驅(qū)動(dòng)器可包含用以調(diào)整成像裝置110的自動(dòng)對(duì)焦、自動(dòng)白平衡和自動(dòng)曝光設(shè)定的參數(shù)。自動(dòng)對(duì)焦參數(shù)優(yōu)選地由基礎(chǔ)自動(dòng)對(duì)焦、自動(dòng)白平衡和自動(dòng)曝光設(shè)定算法確定，并且可基于成像裝置100。舉例來說，自動(dòng)對(duì)焦功能可計(jì)算用于經(jīng)識(shí)別為場(chǎng)景內(nèi)的感興趣區(qū)域及由用戶選擇作為多焦點(diǎn)圖像的所要感興趣區(qū)域的人臉中的每一者的自動(dòng)對(duì)焦參數(shù)。過程200接下來過渡到框214，其中處理器受到命令以使用與每一感興趣區(qū)域相關(guān)聯(lián)的自動(dòng)對(duì)焦參數(shù)來捕獲一或多個(gè)圖像，每一圖像含有對(duì)焦的感興趣區(qū)域中的一者。舉例來說，可捕獲由用戶識(shí)別為感興趣區(qū)域的三個(gè)人臉中的每一者的單獨(dú)圖像。

過程200接著過渡到框216，其中處理器受到命令以從多個(gè)感興趣區(qū)域中所捕獲的一或多個(gè)圖像產(chǎn)生單個(gè)圖像。圖4中展示多焦點(diǎn)單個(gè)圖像的一個(gè)實(shí)例。在此圖解中，圖3中所展示的所選感興趣區(qū)域經(jīng)顯示為與圖4中所展示的單個(gè)圖像對(duì)焦。可通過組合由上文所論述的成像裝置110所捕獲的兩個(gè)或兩個(gè)以上圖像及使用任何已知圖像組合算法將圖像“拼接”在一起而產(chǎn)生單個(gè)圖像。舉例來說，可通過將如本領(lǐng)域中已知的圖像對(duì)準(zhǔn)技術(shù)、圖像配準(zhǔn)技術(shù)和圖像融合技術(shù)應(yīng)用于由具有不同焦點(diǎn)設(shè)定的成像裝置110所捕獲的兩個(gè)或兩個(gè)以上圖像而獲取單個(gè)圖像。在產(chǎn)生單個(gè)圖像之后，過程200過渡到框218并結(jié)束。

關(guān)于術(shù)語的闡明

除非另有指示，否則對(duì)具有特定特征的設(shè)備的操作的任何揭示內(nèi)容還明確地希望揭示具有類似特征的方法(且反之亦然)，且對(duì)根據(jù)特定配置的設(shè)備的操作的任何揭示內(nèi)容還明確地希望揭示根據(jù)類似配置的方法(且反之亦然)。術(shù)語“配置”可參考如通過其特定上下文指示的方法、設(shè)備及/或系統(tǒng)來使用。術(shù)語“方法”、“過程”、“程序”和“技術(shù)”通用地且可互換地使用，除非特定上下文另有指示。術(shù)語“設(shè)備”和“裝置”也通用地且可互換地使用，除非特定上下文另有指示。術(shù)語“元件”和“模塊”通常用以指示較大配置的一部分。除非由其上下文明確限制，否則術(shù)語“系統(tǒng)”在本文中用以指示其普通意義中的任一者，包含“交互以用于共同目的的元件群組”。通過參考文獻(xiàn)的一部分的任何并入也應(yīng)理解為并入了在所述部分內(nèi)參考的術(shù)語或變量的定義，其中這些定義出現(xiàn)在文獻(xiàn)中的其它地方，以及并入了在所并入部分中參考的任何圖。

所屬領(lǐng)域的技術(shù)人員將進(jìn)一步了解，結(jié)合本文所揭示的實(shí)施方案而描述的各種說明性邏輯塊、模塊、電路和過程步驟可實(shí)施為電子硬件、計(jì)算機(jī)軟件或兩者的組合。為清楚說明硬件與軟件的此可互換性，上文已大體上關(guān)于其功能性而描述了各種說明性組件、塊、模塊、電路和步驟。此功能性是實(shí)施為硬件還是軟件取決于特定應(yīng)用和施加于整個(gè)系統(tǒng)的設(shè)計(jì)約束。熟練的技術(shù)人員可針對(duì)每一特定應(yīng)用以不同方式來實(shí)施所描述的功能性，但此類實(shí)施決策不應(yīng)被解釋為致使脫離本發(fā)明的范圍。所屬領(lǐng)域的技術(shù)人員將認(rèn)識(shí)到一個(gè)部分或一部分可包括小于或等于整體的內(nèi)容。舉例來說，像素集合的一個(gè)部分可能是指那些像素的子集合。

可使用經(jīng)設(shè)計(jì)以執(zhí)行本文所描述的功能的通用處理器、數(shù)字信號(hào)處理器(DSP)、專用集成電路(ASIC)、現(xiàn)場(chǎng)可編程門陣列(FPGA)或其它可編程邏輯裝置、離散門或晶體管邏輯、離散硬件組件或其任何組合來實(shí)施或執(zhí)行結(jié)合本文中所揭示的實(shí)施方案而描述的各種說明性邏輯塊、模塊和電路。通用處理器可以為微處理器，但在替代方案中，處理器可以為任何常規(guī)的處理器、控制器、微控制器或狀態(tài)機(jī)。處理器還可實(shí)施為計(jì)算裝置的組合，例如，DSP與微處理器的組合、多個(gè)微處理器、結(jié)合DSP核心的一或多個(gè)微處理器，或任何其它此類配置。

結(jié)合本文中所揭示的實(shí)施方案而描述的方法或過程的步驟可直接體現(xiàn)于硬件、由處理器執(zhí)行的軟件模塊或其兩者的組合中。軟件模塊可駐留在RAM存儲(chǔ)器、快閃存儲(chǔ)器、ROM存儲(chǔ)器、EPROM存儲(chǔ)器、EEPROM存儲(chǔ)器、寄存器、硬盤、可裝卸式磁盤、CD-ROM，或本領(lǐng)域中已知的任何其它形式的非暫時(shí)性存儲(chǔ)媒體中。示范性計(jì)算機(jī)可讀存儲(chǔ)媒體耦合到處理器，使得處理器可從計(jì)算機(jī)可讀存儲(chǔ)媒體讀取信息并向計(jì)算機(jī)可讀存儲(chǔ)媒體寫入信息。在替代方案中，存儲(chǔ)媒體可以與處理器成一體式。處理器及存儲(chǔ)媒體可以駐留于ASIC中。ASIC可駐留在用戶終端、相機(jī)或其它裝置中。在替代方案中，處理器及存儲(chǔ)媒體可作為離散組件駐留于用戶終端、相機(jī)或其它裝置中。

本文中包含數(shù)個(gè)標(biāo)題，是為了參考和輔助定位各個(gè)部分。這些標(biāo)題不希望限制關(guān)于其描述的概念的范圍。這些概念可能在整個(gè)說明書中都適用。

提供對(duì)所揭示的實(shí)施方案的先前描述以使得所屬領(lǐng)域的技術(shù)人員能夠制作或使用本發(fā)明。所屬領(lǐng)域的技術(shù)人員將易于了解對(duì)這些實(shí)施方案的各種修改，且本文中定義的一般原理可應(yīng)用于其它實(shí)施方案而不脫離本發(fā)明的精神或范圍。因此，本發(fā)明并不希望限于本文中所展示的實(shí)施方案，而應(yīng)符合與本文中所揭示的原理及新穎特征相一致的最廣泛范圍。