本申請(qǐng)案大體上涉及視場(chǎng)(fov)的深度圖的產(chǎn)生，且更具體地說(shuō)，涉及用于自動(dòng)產(chǎn)生經(jīng)配置以彌補(bǔ)個(gè)別地產(chǎn)生的深度圖可能引入的缺點(diǎn)的fov的融合或聚合深度圖的系統(tǒng)、方法和裝置。

背景技術(shù)：

用戶通常經(jīng)歷他們希望以相片或視頻方式捕捉且在稍后的日子和/或時(shí)間檢視的時(shí)刻或事件，例如，孩子踏出的第一步或說(shuō)出的第一個(gè)詞、畢業(yè)、風(fēng)景圖或婚禮。通常，這些時(shí)刻或事件可能為靜態(tài)的，且它們的發(fā)生總體上可預(yù)測(cè)(例如，婚禮、畢業(yè)、寧?kù)o的地景或肖像)且可由用戶利用成像裝備(例如，相機(jī)、錄像機(jī)或智能電話等)以特定深度完全捕捉到。然而，有時(shí)候，尤其是在場(chǎng)景含有移動(dòng)對(duì)象的情況下或在相機(jī)經(jīng)歷搖攝的情況下，捕捉具有在合宜時(shí)間處于特定深度的目標(biāo)或事件的場(chǎng)景可能呈現(xiàn)挑戰(zhàn)。舉例來(lái)說(shuō)，抓拍飛過(guò)樹(shù)叢的鳥(niǎo)或抓拍孩子行走而相機(jī)必須隨著孩子搖動(dòng)。這可至少部分地歸因于成像裝備在產(chǎn)生fov的深度圖方面可能具有的困難。深度制圖系統(tǒng)可用于確定目標(biāo)對(duì)象的相對(duì)深度，且可用于控制數(shù)個(gè)處理程序中的任一者，例如(尤其是)自動(dòng)聚焦、對(duì)象檢測(cè)、面部辨識(shí)。因此，在產(chǎn)生準(zhǔn)確和可靠深度圖方面的困難可對(duì)在其功能中使用深度制圖系統(tǒng)的成像裝置造成困難。因此，用以促進(jìn)場(chǎng)景深度圖的產(chǎn)生以用于成像裝備中的系統(tǒng)和方法將是有益的。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的系統(tǒng)、方法和裝置各自具有若干方面，其中無(wú)單一方面單獨(dú)負(fù)責(zé)其所要屬性。本文中所揭示的實(shí)施方案各自具有若干創(chuàng)新方面，其中無(wú)單一方面單獨(dú)負(fù)責(zé)本發(fā)明的所要屬性。在不限制如通過(guò)隨附權(quán)利要求書表達(dá)的本發(fā)明的范圍的情況下，現(xiàn)在將簡(jiǎn)要論述一些特征。在考慮本論述之后，且確切地說(shuō)，在閱讀標(biāo)題為“具體實(shí)施方式”的部分之后，大家將理解本發(fā)明的各種實(shí)施例的特征如何提供包含經(jīng)改進(jìn)的以所要深度捕捉或識(shí)別幀中的目標(biāo)對(duì)象的優(yōu)點(diǎn)。

本發(fā)明中描述的標(biāo)的物的一個(gè)方面提供一種用于產(chǎn)生深度圖的設(shè)備。所述設(shè)備包括經(jīng)配置以感測(cè)且記錄圖像捕捉裝置的視場(chǎng)(fov)的圖像的圖像捕捉裝置(或成像裝置)。所述圖像捕捉裝置包含經(jīng)配置以電子方式記錄包括多個(gè)像素的圖像的至少一個(gè)傳感器，所述圖像表示所述圖像捕捉裝置的fov中的場(chǎng)景。一些實(shí)施例可包含多于一個(gè)的傳感器。所述設(shè)備(和本文所描述的方法)可進(jìn)一步包括多個(gè)“深度感測(cè)模塊”，所述深度感測(cè)模塊中的每一者經(jīng)配置以使用某些處理技術(shù)產(chǎn)生所述視場(chǎng)的深度圖。此類深度感測(cè)模塊可為(例如)軟件模塊、實(shí)施在硬件中的功能性，或兩者的組合。換句話說(shuō)，如本文所使用的“深度感測(cè)模塊”可指在軟件、硬件或軟硬件這兩者中實(shí)施的功能性，所述功能性執(zhí)行動(dòng)作以確定圖像捕捉裝置的至少一部分fov的深度信息。所述深度信息可包含(例如)指示從傳感器(或所述圖像捕捉裝置的另一部分)到所述圖像捕捉裝置的fov(或其一部分)中的各種目標(biāo)、特征或背景的距離的信息。所述圖像捕捉裝置可包括經(jīng)配置以產(chǎn)生用于所述多個(gè)深度感測(cè)模塊中的每一者的視場(chǎng)的深度圖的組件，或通過(guò)連接到此類組件和/或與此類組件通信。所述設(shè)備還包含處理系統(tǒng)。所述處理系統(tǒng)經(jīng)配置以從所述多個(gè)深度感測(cè)模塊選擇第一深度感測(cè)模塊，并且使用選擇的第一深度感測(cè)模塊感測(cè)所述成像裝置的視場(chǎng)的第一深度。所述處理系統(tǒng)還經(jīng)配置以基于選擇的第一深度感測(cè)模塊的感測(cè)的第一深度來(lái)產(chǎn)生所述視場(chǎng)的第一深度圖。所述第一深度圖包括所述視場(chǎng)中的每個(gè)點(diǎn)的深度測(cè)量值，并且識(shí)別所述第一深度圖中具有一或多個(gè)不準(zhǔn)確深度測(cè)量值的所述第一深度圖的一或多個(gè)點(diǎn)的區(qū)域。所述處理系統(tǒng)經(jīng)配置以基于對(duì)含有具有一或多個(gè)不準(zhǔn)確深度測(cè)量值的一或多個(gè)點(diǎn)的區(qū)域的識(shí)別來(lái)確定是否準(zhǔn)許經(jīng)由所述多個(gè)深度感測(cè)模塊中選擇的第二深度感測(cè)模塊的額外深度感測(cè)。

本發(fā)明所描述的標(biāo)的物的另一方面提供一種用于產(chǎn)生深度圖的方法。所述方法包括識(shí)別成像裝置的視場(chǎng)。所述成像裝置經(jīng)配置以捕捉所述視場(chǎng)的至少一個(gè)圖像。所述方法進(jìn)一步包括從多個(gè)深度感測(cè)方法中選擇第一深度感測(cè)方法。所述方法還包含使用選擇的第一深度感測(cè)方法感測(cè)成像裝置的所述視場(chǎng)的第一深度，并且基于選擇的第一深度感測(cè)方法的感測(cè)深度產(chǎn)生所述至少一個(gè)視場(chǎng)的第一深度圖。所述第一深度圖包括針對(duì)所述視場(chǎng)中的每個(gè)點(diǎn)的深度測(cè)量值。所述方法還包括識(shí)別所述第一深度圖中具有一或多個(gè)不準(zhǔn)確深度測(cè)量值的所述第一深度圖的一或多個(gè)點(diǎn)的區(qū)域。所述方法進(jìn)一步包含基于對(duì)含有具有一或多個(gè)不準(zhǔn)確深度測(cè)量值的一或多個(gè)點(diǎn)的區(qū)域的識(shí)別來(lái)確定是否準(zhǔn)許經(jīng)由選擇的第二深度感測(cè)方法的額外深度感測(cè)。

所描述的標(biāo)的物的另一方面提供另一種用于產(chǎn)生深度圖的設(shè)備。所述設(shè)備包括用于捕捉視場(chǎng)的圖像的裝置。所述設(shè)備進(jìn)一步包括多個(gè)用于感測(cè)深度的裝置(所述多個(gè)深度感測(cè)裝置中的每一者經(jīng)配置以感測(cè)所述視場(chǎng)的深度)和用于從所述多個(gè)深度感測(cè)裝置中選擇第一深度感測(cè)裝置的裝置。所述設(shè)備還包含用于使用選擇的第一深度感測(cè)裝置感測(cè)所述圖像捕捉裝置的所述視場(chǎng)的第一深度的裝置和用于基于選擇的第一深度感測(cè)裝置的感測(cè)深度來(lái)產(chǎn)生所述視場(chǎng)的第一深度圖的裝置，所述第一深度圖包括針對(duì)所述視場(chǎng)中的每個(gè)點(diǎn)的深度測(cè)量值。所述設(shè)備還包括用于識(shí)別所述第一深度圖中具有一或多個(gè)不準(zhǔn)確深度測(cè)量值的所述第一深度圖的一或多個(gè)點(diǎn)的區(qū)域的裝置。所述設(shè)備進(jìn)一步包含用于基于對(duì)具有一或多個(gè)不準(zhǔn)確深度測(cè)量值的區(qū)域的識(shí)別來(lái)確定是否準(zhǔn)許經(jīng)由所述多個(gè)深度感測(cè)裝置的選擇的第二深度感測(cè)裝置的額外深度感測(cè)的裝置。

附圖說(shuō)明

現(xiàn)將參考附圖，結(jié)合各種實(shí)施例描述上文所提到的方面以及本發(fā)明技術(shù)的其它特征、方面和優(yōu)點(diǎn)。然而，所說(shuō)明的實(shí)施例僅為實(shí)例，且并不意圖為限制性的。貫穿圖式，類似符號(hào)通常識(shí)別類似組件，除非上下文另外規(guī)定。應(yīng)注意，隨附圖式的相對(duì)尺寸可能未按比例繪制。

圖1a說(shuō)明根據(jù)示范性實(shí)施例的經(jīng)配置以產(chǎn)生圖像捕捉系統(tǒng)的fov的深度圖的立體相機(jī)系統(tǒng)的簡(jiǎn)化框圖。

圖1b說(shuō)明根據(jù)示范性實(shí)施例的經(jīng)配置以使用陰影恢復(fù)深度系統(tǒng)產(chǎn)生圖像捕捉系統(tǒng)的fov的深度圖的圖像捕捉系統(tǒng)的簡(jiǎn)化框圖。

圖1c說(shuō)明根據(jù)示范性實(shí)施例的經(jīng)配置以使用結(jié)構(gòu)化光系統(tǒng)產(chǎn)生圖像捕捉系統(tǒng)的fov的深度圖的圖像捕捉系統(tǒng)的簡(jiǎn)化框圖。

圖2說(shuō)明根據(jù)示范性實(shí)施例的可用于產(chǎn)生獨(dú)立或融合深度圖以用于本文所描述的使用情況的圖像捕捉裝置的一個(gè)實(shí)施例的框圖。

圖3說(shuō)明根據(jù)示范性實(shí)施例的描繪圖2的圖像捕捉裝置的組件的圖，而所述組件可用于使用立體相機(jī)、陰影恢復(fù)深度或結(jié)構(gòu)化光系統(tǒng)中的至少一者產(chǎn)生一或多個(gè)深度圖。

圖4說(shuō)明根據(jù)示范性實(shí)施例的體現(xiàn)用于產(chǎn)生深度圖且視需要將所述深度圖與額外深度圖融合的示范性方法的流程圖。

具體實(shí)施方式

下文參考附圖更充分地描述新穎系統(tǒng)、設(shè)備和方法的各種方面。然而，本發(fā)明可以許多不同形式來(lái)體現(xiàn)，且不應(yīng)被解釋為限于貫穿本發(fā)明所呈現(xiàn)的任何特定結(jié)構(gòu)或功能。實(shí)際上，提供這些方面以使得本發(fā)明可為透徹且完整的，且將向所屬領(lǐng)域的技術(shù)人員充分傳達(dá)本發(fā)明的范圍?；诒疚闹械慕淌?，所屬領(lǐng)域的技術(shù)人員應(yīng)了解，本發(fā)明的范圍意圖涵蓋無(wú)論是獨(dú)立于本發(fā)明的任何其它方面而實(shí)施還是與所述任何其它方面組合而實(shí)施的本文中所揭示的新穎系統(tǒng)、設(shè)備和方法的任何方面。舉例來(lái)說(shuō)，可使用本文中所闡述的任何數(shù)目個(gè)方面來(lái)實(shí)施設(shè)備或?qū)嵺`方法。另外，本發(fā)明的范圍意圖涵蓋使用除本文中所闡述的本發(fā)明的各種方面之外的或不同于本文中所闡述的本發(fā)明的各種方面的其它結(jié)構(gòu)、功能性或結(jié)構(gòu)與功能性來(lái)實(shí)踐的此類設(shè)備或方法。應(yīng)理解，可由權(quán)利要求書的一或多個(gè)要素來(lái)體現(xiàn)本文中所揭示的任何方面。

盡管本文描述了特定方面，但這些方面的許多變化和排列屬于本發(fā)明的范圍。盡管提及了優(yōu)選方面的一些益處和優(yōu)點(diǎn)，但本發(fā)明的范圍并不意圖限于特定益處、用途或目標(biāo)。詳細(xì)描述和圖式僅說(shuō)明本發(fā)明而無(wú)限制性，本發(fā)明的范圍由所附權(quán)利要求書和其等效物界定。

在攝影中，用戶可能希望在成像裝置的視場(chǎng)(fov)中捕捉含有處于捕捉到的場(chǎng)景內(nèi)的各種深度的目標(biāo)或事件的圖像。取決于所使用的成像裝備，可使用一或多個(gè)用以確定目標(biāo)對(duì)象或場(chǎng)景或fov的深度圖(深度估計(jì)值)的方法來(lái)實(shí)現(xiàn)例如自動(dòng)對(duì)焦、前/背景分離、面部辨識(shí)或檢測(cè)、3d掃描、自動(dòng)室內(nèi)/室外位置檢測(cè)、幀內(nèi)對(duì)象檢測(cè)的特征和許多其它特征。然而，用于產(chǎn)生深度圖的各種系統(tǒng)可能具有不同缺點(diǎn)。舉例來(lái)說(shuō)，一些系統(tǒng)可能為計(jì)算密集型或利用復(fù)雜算法。一些系統(tǒng)可能利用供應(yīng)到用于產(chǎn)生深度圖的各種組件(例如，多個(gè)閃光燈泡組件或多個(gè)相機(jī)或光學(xué)件)的額外電力?；蛘撸赡苄枰鄠€(gè)圖像捕捉系統(tǒng)來(lái)產(chǎn)生深度圖，這可能需要額外計(jì)算吞吐量，或可能需要額外的fov曝露時(shí)間。因此，取決于成像裝備的狀態(tài)或環(huán)境，可用深度制圖系統(tǒng)中的一或多者可能不合適或不可用。

當(dāng)用戶主動(dòng)地監(jiān)測(cè)成像裝備且手動(dòng)控制所述成像裝備時(shí)，用戶可能在目標(biāo)對(duì)象焦點(diǎn)對(duì)準(zhǔn)時(shí)能夠在目標(biāo)對(duì)象處于視場(chǎng)(fov)或場(chǎng)景中的所要深度時(shí)捕捉目標(biāo)對(duì)象的圖像。然而，即使當(dāng)手動(dòng)控制成像裝備時(shí)，當(dāng)場(chǎng)景含有多個(gè)移動(dòng)對(duì)象時(shí)或如果成像裝備在搖攝(例如，經(jīng)移動(dòng)以跟隨目標(biāo)對(duì)象或經(jīng)移動(dòng)以檢測(cè)目標(biāo)對(duì)象)或如果由默認(rèn)或選擇的深度制圖方法產(chǎn)生的深度圖不完全準(zhǔn)確，那么捕捉處于所要深度的目標(biāo)對(duì)象可能有困難。另外，對(duì)于給定環(huán)境和標(biāo)的物，用戶可能難以確定要用的最好的深度制圖系統(tǒng)，或成像裝備可能產(chǎn)生所捕捉fov的顯影較差的深度圖。舉例來(lái)說(shuō)，裝備可包含緊密間隔的立體光學(xué)件，所述立體光學(xué)件可能不能夠有效地和可靠地提供針對(duì)fov內(nèi)與成像裝備相隔相當(dāng)大的距離(例如，大于10米)的目標(biāo)的深度圖。

當(dāng)用戶未主動(dòng)控制成像裝備時(shí)，例如，當(dāng)成像裝備經(jīng)設(shè)定以自動(dòng)捕捉圖像時(shí)，尤其是在成像裝備包括單個(gè)深度制圖方法或系統(tǒng)的情況下，使用準(zhǔn)確和可靠深度圖捕捉fov可能進(jìn)一步復(fù)雜化。令人遺憾地，由成像裝備產(chǎn)生的深度圖可能包括供自動(dòng)化成像裝備的自動(dòng)對(duì)焦、前/背景分離、面部檢測(cè)/辨識(shí)、3d掃描、對(duì)象檢測(cè)、位置檢測(cè)和各種其它特征使用的不充分信息。這可歸因于單個(gè)深度制圖方法或系統(tǒng)難以準(zhǔn)確地和可靠地確定多種環(huán)境中的fov的深度。準(zhǔn)確地和可靠地確定fov的深度可包括能夠產(chǎn)生指示fov中的每個(gè)對(duì)象的正確深度的fov的深度圖。在一些實(shí)施例中，準(zhǔn)確和可靠深度圖可指示fov中的75％的目標(biāo)的正確深度。在一些實(shí)施例中，準(zhǔn)確和可靠深度圖可指示fov中的90％的目標(biāo)的正確深度。在一些實(shí)施例中，用戶可選擇和/或確定將對(duì)應(yīng)于準(zhǔn)確和可靠深度圖的fov內(nèi)的目標(biāo)的正確深度測(cè)量值的百分比。在相隔1米的距離時(shí)，準(zhǔn)確和可靠深度可經(jīng)測(cè)量為1cm內(nèi)。在一些實(shí)施例中，用戶可選擇和/或確定準(zhǔn)確和可靠深度的范圍和測(cè)量值。

產(chǎn)生深度圖的不同系統(tǒng)的準(zhǔn)確性和可靠性可變化。舉例來(lái)說(shuō)，具有經(jīng)配置以在具有有限外部光照的10'×10'室內(nèi)房間內(nèi)起作用的深度制圖系統(tǒng)的緊密間隔的立體相機(jī)系統(tǒng)在目標(biāo)對(duì)象相隔20米距離的室外場(chǎng)景中可能不會(huì)提供如經(jīng)配置以用于室外場(chǎng)景的結(jié)構(gòu)化光深度制圖系統(tǒng)一樣準(zhǔn)確或可靠的深度圖。因此，取決于fov，產(chǎn)生fov的深度圖的不同系統(tǒng)或方法中的一或多者可比產(chǎn)生fov的深度圖的其它系統(tǒng)或方法更準(zhǔn)確和可靠。另外，產(chǎn)生深度圖的不同系統(tǒng)或方法中的每一者可具有不同缺點(diǎn)。舉例來(lái)說(shuō)，陰影恢復(fù)深度系統(tǒng)的缺點(diǎn)可不同于立體相機(jī)系統(tǒng)的缺點(diǎn)。

給定可用于產(chǎn)生深度圖的不同方法的固有限制和缺點(diǎn)，可嘗試各種處理或配置以提高捕捉處于所要深度的目標(biāo)對(duì)象的可能性。在一些實(shí)施例中，為了捕捉處于所要深度的目標(biāo)對(duì)象的圖像，成像裝備可經(jīng)配置以連續(xù)地捕捉多個(gè)幀(例如，實(shí)施單相機(jī)多拍攝或突發(fā)幀捕捉模式)。成像裝備可在目標(biāo)對(duì)象靠近成像裝備的深度制圖系統(tǒng)最可確定的理想深度時(shí)開(kāi)始多拍攝突發(fā)。然而，此類多拍攝實(shí)施方案需要存儲(chǔ)器和處理時(shí)間以及電力方面的顯著額外負(fù)荷來(lái)捕捉多個(gè)幀且將所述多個(gè)幀存儲(chǔ)在存儲(chǔ)器中以用于用戶檢視。另外，此類多拍攝突發(fā)根本無(wú)法準(zhǔn)許捕捉到所要對(duì)象或動(dòng)作。或者，目標(biāo)對(duì)象可能被捕捉在幀中但可能未被捕捉在所要深度。如果所要對(duì)象或動(dòng)作在所要深度被捕捉在多拍攝突發(fā)的幀中，多拍攝實(shí)施方案可能未適當(dāng)?shù)鼐劢褂谀繕?biāo)對(duì)象，且替代地聚焦于幀中的背景或另一對(duì)象，或可能未聚焦于fov中的任何對(duì)象，在目標(biāo)對(duì)象處于運(yùn)動(dòng)狀態(tài)的情況下和/或在成像裝備處于運(yùn)動(dòng)狀態(tài)的情況下尤其如此。除在具有單個(gè)深度制圖系統(tǒng)的系統(tǒng)中可能存在的技術(shù)困難之外，用戶和/或成像裝備消耗時(shí)間來(lái)檢視所捕捉的幀且確定多拍攝突發(fā)的所有捕捉的幀中哪個(gè)幀(如果存在的話)捕捉到處于所要深度且適當(dāng)?shù)亟裹c(diǎn)對(duì)準(zhǔn)的目標(biāo)對(duì)象。

在一些實(shí)施例中，成像裝備可包括用于產(chǎn)生個(gè)別深度圖的多個(gè)系統(tǒng)。舉例來(lái)說(shuō)，成像裝備可尤其包括能夠?qū)崿F(xiàn)立體視覺(jué)深度制圖的系統(tǒng)、能夠?qū)崿F(xiàn)結(jié)構(gòu)化光深度制圖的系統(tǒng)和能夠?qū)崿F(xiàn)陰影恢復(fù)深度的深度制圖。另外，成像裝備可包括融合系統(tǒng)，所述融合系統(tǒng)經(jīng)配置以動(dòng)態(tài)地將個(gè)別深度圖融合到可提供具有最大數(shù)目的準(zhǔn)確和可靠區(qū)域的單個(gè)融合深度圖的組合深度圖中。融合深度圖可克服單個(gè)深度圖中的任一者的限制。當(dāng)融合到單個(gè)深度圖中時(shí)，每一個(gè)別深度圖可針對(duì)其它深度圖可能失效或可能不準(zhǔn)確或不可靠(或較不準(zhǔn)確或較不可靠)的情境和用途而得以優(yōu)化，因此允許每一個(gè)別深度圖根據(jù)其長(zhǎng)處且忽略其弱點(diǎn)而被使用。

因此，成像裝備可包括產(chǎn)生fov的多個(gè)深度圖所必要的組件或裝備。舉例來(lái)說(shuō)，如上文所描述，使用立體視覺(jué)產(chǎn)生深度圖的組件可包含兩個(gè)成像傳感器(或相機(jī)或光學(xué)件)和單個(gè)光源，使用陰影產(chǎn)生深度圖的組件可包含兩個(gè)光源和單個(gè)成像傳感器，且使用結(jié)構(gòu)化光產(chǎn)生深度圖的組件可包含單個(gè)結(jié)構(gòu)化光源和單個(gè)成像傳感器。除光源和成像傳感器之外，用于產(chǎn)生深度圖的個(gè)別系統(tǒng)中的每一者可包括個(gè)別處理系統(tǒng)和電路，所述個(gè)別處理系統(tǒng)和電路經(jīng)配置以測(cè)量每個(gè)點(diǎn)在所捕捉的fov或場(chǎng)景中的深度且根據(jù)成像傳感器所截獲的數(shù)據(jù)產(chǎn)生相關(guān)聯(lián)深度圖，但在一些實(shí)施例中，所述多個(gè)深度制圖系統(tǒng)可共享處理系統(tǒng)和電路。

圖1a提供根據(jù)示范性實(shí)施例的可用于產(chǎn)生圖像捕捉系統(tǒng)的視場(chǎng)的深度圖的立體相機(jī)系統(tǒng)100的示范性框圖的說(shuō)明。如圖1a中所展示，立體相機(jī)系統(tǒng)100可包括多個(gè)組件。所述多個(gè)組件包括單個(gè)光源105、第一相機(jī)110和第二相機(jī)115。在一些實(shí)施例中，如由外殼120表示的單個(gè)外殼可容納光源105、第一相機(jī)110和第二相機(jī)115中的每一者。在一些實(shí)施例中，光源105、第一相機(jī)110和第二相機(jī)115可容納于多于一個(gè)的外殼中，其中所述組件中的一或多者與立體相機(jī)系統(tǒng)100的一或多個(gè)其它組件間隔開(kāi)。展示第一相機(jī)110和第二相機(jī)115具有到點(diǎn)127的聚焦線126。這些聚焦線可表示第一相機(jī)110和第二相機(jī)115的不同注視點(diǎn)。另外，展示第一相機(jī)110與第二相機(jī)115兩者之間的距離125。距離125可影響立體相機(jī)的深度計(jì)算或制圖的范圍。舉例來(lái)說(shuō)，如果第一相機(jī)110和第二相機(jī)115是緊密間隔的，那么由第一相機(jī)和第二相機(jī)捕捉到的幀內(nèi)的目標(biāo)的感知深度將比第一相機(jī)110與第二相機(jī)115之間的距離125較大時(shí)更有限(例如，感知深度將不怎么遠(yuǎn))。

從不同有利點(diǎn)觀看對(duì)象或邊緣可使所述對(duì)象或邊緣看似在不同位置。舉例來(lái)說(shuō)，當(dāng)?shù)谝幌鄼C(jī)110觀看點(diǎn)135時(shí)，與由第二相機(jī)115同時(shí)觀看相同的點(diǎn)135相比，點(diǎn)135可看似在不同位置。這是因?yàn)榈谝幌鄼C(jī)110和第二相機(jī)115處于不同(或不一致的)位置。因此，取決于第一相機(jī)110和第二相機(jī)115，目標(biāo)對(duì)象可分別相對(duì)于第一相機(jī)110和第二相機(jī)115的位置在一個(gè)方向上略微移位。通過(guò)使用第一相機(jī)110與第二相機(jī)115之間的距離125和觀測(cè)到的點(diǎn)135分別在第一相機(jī)110和第二相機(jī)115中的所得圖像的視差，立體相機(jī)系統(tǒng)100可能能夠產(chǎn)生由第一相機(jī)110和第二相機(jī)115共享的視場(chǎng)中的目標(biāo)的深度圖。此方法可應(yīng)用于第一相機(jī)110和第二相機(jī)115的fov或場(chǎng)景中的所有點(diǎn)，其中點(diǎn)135位于所述fov或場(chǎng)景中的所有點(diǎn)處。

雖然未在此圖中展示，但立體相機(jī)系統(tǒng)100可進(jìn)一步包括經(jīng)配置以控制光源105、第一相機(jī)110和第二相機(jī)115捕捉圖像和/或產(chǎn)生深度圖的一或多個(gè)處理組件。在一些實(shí)施例中，這一或多個(gè)組件可包括控制器或處理器?？刂破骰蛱幚砥骺山?jīng)配置以控制立體相機(jī)系統(tǒng)的一或多個(gè)組件(即，啟動(dòng)光源105和第一相機(jī)110和第二相機(jī)115以捕捉視場(chǎng)的圖像)且處理分別由第一相機(jī)110和第二相機(jī)115產(chǎn)生的圖像以產(chǎn)生第一相機(jī)110與第二相機(jī)115之間共享的fov的深度圖。在一些實(shí)施例中，所述一或多個(gè)處理組件還可包含用于存儲(chǔ)產(chǎn)生的深度圖的存儲(chǔ)器(未在此圖中展示)。

使用立體相機(jī)系統(tǒng)100進(jìn)行的深度感測(cè)可因許多原因而證明是有益的。舉例來(lái)說(shuō)，立體相機(jī)系統(tǒng)100可經(jīng)配置以主動(dòng)地或被動(dòng)地產(chǎn)生fov的深度圖。另外，在一些實(shí)施例中，立體相機(jī)系統(tǒng)100可總體上具有良好準(zhǔn)確性且通?？砂軌虼_定fov中與立體相機(jī)系統(tǒng)100緊密間隔的目標(biāo)對(duì)象到fov中與立體相機(jī)系統(tǒng)100間隔無(wú)限距離的那些目標(biāo)對(duì)象的深度的范圍。然而，相對(duì)于產(chǎn)生觀測(cè)到的fov的準(zhǔn)確和可靠深度圖，立體相機(jī)系統(tǒng)100可能具有幾個(gè)負(fù)面方面。在一些實(shí)施例中，良好準(zhǔn)確性的確定可對(duì)應(yīng)于目標(biāo)對(duì)象與立體相機(jī)系統(tǒng)100的距離，其中，隨著距離增大，誤差增大。而且，在一些實(shí)施例中，良好準(zhǔn)確性的確定可取決于立體相機(jī)系統(tǒng)100的使用。舉例來(lái)說(shuō)，當(dāng)用于較安全目的(例如識(shí)別)時(shí)可比當(dāng)用于較不安全目的(例如，運(yùn)動(dòng)檢測(cè)等)時(shí)需要更大的準(zhǔn)確性。

如上文所描述，在一些實(shí)施例中，第一相機(jī)110與第二相機(jī)115之間的距離125可影響相機(jī)110和115兩者所觀看到的對(duì)象的感知深度。因此，fov中的目標(biāo)的感知深度可影響處理組件根據(jù)第一相機(jī)110和第二相機(jī)115所捕捉的圖像準(zhǔn)確地和可靠地產(chǎn)生fov的深度圖的能力。因此，當(dāng)立體相機(jī)系統(tǒng)100中的第一相機(jī)110和第二相機(jī)115緊密間隔(例如，距離125較小(例如，分開(kāi)幾毫米))時(shí)或當(dāng)?shù)谝幌鄼C(jī)110和第二相機(jī)115間隔較遠(yuǎn)(例如，距離125較大(例如，幾英寸或更多))時(shí)，由立體相機(jī)系統(tǒng)100產(chǎn)生的深度圖可能易受影響(即，可能較不準(zhǔn)確和/或較不可靠)。關(guān)于立體相機(jī)深度感測(cè)方法的一個(gè)潛在負(fù)面是立體相機(jī)使用fov的聚焦點(diǎn)，第一相機(jī)110和第二相機(jī)115兩者都指向且聚焦在所述聚焦點(diǎn)。在沒(méi)有這些依賴場(chǎng)景的“關(guān)鍵點(diǎn)”的情況下，兩個(gè)相機(jī)110和115可能不能夠確定fov中的目標(biāo)的深度，因?yàn)閭€(gè)別地從第一相機(jī)110和第二相機(jī)115獲得的圖像可能不與fov中的相同目標(biāo)對(duì)象或位置對(duì)應(yīng)。

圖1b提供根據(jù)示范性實(shí)施例的陰影恢復(fù)深度系統(tǒng)130(其可用于產(chǎn)生所述系統(tǒng)的視場(chǎng)(fov)的深度圖)的示范性框圖的說(shuō)明。如圖1b中所展示，陰影恢復(fù)深度系統(tǒng)130可包括多個(gè)組件。所述多個(gè)組件包括第一光源140、第二光源145和相機(jī)135。在一些實(shí)施例中，如由外殼150表示的單個(gè)外殼可容納第一光源140、第二光源145和相機(jī)135中的每一者。在一些實(shí)施例中，第一光源140、第二光源145和相機(jī)135可容納于多于一個(gè)的外殼中，其中組件中的一或多者與陰影恢復(fù)深度系統(tǒng)130的一或多個(gè)其它組件間隔開(kāi)。展示第一光源140和第二光源145產(chǎn)生可從對(duì)象155反射回來(lái)的光線。相機(jī)135可吸收從對(duì)象155反射回來(lái)的光線。從對(duì)象155反射回來(lái)的光線強(qiáng)度可基于所述光線反射離開(kāi)的表面的形狀而變化，所述光線從所述表面反射回到圖像傳感器135。因此，反射光線強(qiáng)度的改變可用于確定反射所述光線的對(duì)象155的表面的形狀信息。

對(duì)象155的表面的形狀信息可通過(guò)計(jì)算所述表面對(duì)應(yīng)于對(duì)象155上的每個(gè)點(diǎn)的定向而確定。陰影恢復(fù)深度系統(tǒng)130可使用從對(duì)象155上的每個(gè)點(diǎn)反射的光線的強(qiáng)度來(lái)確定對(duì)象155的表面在所述點(diǎn)處的法線(對(duì)象155的所述點(diǎn)面向的方向)。對(duì)象155的表面的法線可用于接著重建構(gòu)對(duì)象155。然而，陰影恢復(fù)深度系統(tǒng)130可假定對(duì)象155的表面是平滑的，其中所述表面的輪廓可能增大重建構(gòu)對(duì)象155的難度。

雖然未在此圖中展示，但陰影恢復(fù)深度系統(tǒng)130可進(jìn)一步包括經(jīng)配置以控制第一光源140、第二光源145和相機(jī)135捕捉圖像和/或產(chǎn)生深度圖的一或多個(gè)處理組件。在一些實(shí)施例中，這一或多個(gè)組件可包括控制器或處理器。所述控制器或處理器可經(jīng)配置以控制陰影恢復(fù)深度系統(tǒng)130的一或多個(gè)組件。這可包括分別啟動(dòng)第一光源140和第二光源145以照射對(duì)象155且啟動(dòng)相機(jī)135以捕捉視場(chǎng)的圖像。所述控制器或處理器可進(jìn)一步經(jīng)配置以處理由相機(jī)135產(chǎn)生的圖像且基于重建構(gòu)的對(duì)象155(例如，基于對(duì)離開(kāi)對(duì)象155的表面的光線的計(jì)算)產(chǎn)生fov的間接深度圖。在一些實(shí)施例中，所述一或多個(gè)處理組件還可包含用于存儲(chǔ)產(chǎn)生的深度圖的存儲(chǔ)器(未在此圖中展示)。

使用陰影恢復(fù)深度系統(tǒng)130的深度感測(cè)可因許多原因而證明是有益的。舉例來(lái)說(shuō)，陰影恢復(fù)深度系統(tǒng)130可不使用陰影系統(tǒng)130的fov內(nèi)的關(guān)鍵點(diǎn)，因此使得陰影恢復(fù)深度系統(tǒng)130獨(dú)立于所捕捉的fov。另外，陰影恢復(fù)深度系統(tǒng)130可經(jīng)配置以主動(dòng)地產(chǎn)生fov的深度圖。然而，相對(duì)于產(chǎn)生觀測(cè)到的fov的廣泛范圍的距離的準(zhǔn)確和可靠深度圖，陰影恢復(fù)深度系統(tǒng)130可能具有幾個(gè)較負(fù)面的方面。舉例來(lái)說(shuō)，雖然在一些實(shí)施例中，立體相機(jī)系統(tǒng)100可總體上具有良好準(zhǔn)確性(例如，在相隔一米的距離時(shí)具有小于一厘米的誤差)且通?？砂軌虼_定fov中與立體相機(jī)系統(tǒng)100緊密間隔的目標(biāo)對(duì)象到fov中與立體相機(jī)系統(tǒng)100間隔接近無(wú)限距離的那些目標(biāo)對(duì)象的深度的范圍，陰影系統(tǒng)130可能限于陰影系統(tǒng)130附近的目標(biāo)對(duì)象到遠(yuǎn)離陰影系統(tǒng)130的距離，但可能不具有立體相機(jī)系統(tǒng)100的無(wú)限范圍。如上文所描述，在一些實(shí)施例中，對(duì)象155的表面可影響陰影恢復(fù)深度感測(cè)的深度感測(cè)，因?yàn)樗霰砻娴募y理可改變對(duì)象155的表面回到相機(jī)135的反射屬性，因此影響對(duì)象155的表面的感知深度。因此，fov中的對(duì)象155的感知深度可影響處理組件基于對(duì)象155所反射的和相機(jī)135所捕捉的光線來(lái)準(zhǔn)確地和可靠地產(chǎn)生fov的深度圖的能力。另外，如上文所論述，從陰影恢復(fù)深度系統(tǒng)130產(chǎn)生的深度圖的準(zhǔn)確性與由立體相機(jī)系統(tǒng)100產(chǎn)生的深度圖相比可能僅是“可以”。而且，陰影恢復(fù)深度系統(tǒng)可能易受存在于fov或場(chǎng)景中的明亮外部光線影響。

圖1c提供根據(jù)示范性實(shí)施例的結(jié)構(gòu)化光傳感系統(tǒng)160(其可用于產(chǎn)生所述系統(tǒng)的視場(chǎng)(fov)的深度圖)的示范性框圖的說(shuō)明。如圖1c中所展示，結(jié)構(gòu)化光傳感系統(tǒng)160可包括多個(gè)組件。所述多個(gè)組件包括結(jié)構(gòu)化光源165和相機(jī)170。在一些實(shí)施例中，如由外殼180表示的單個(gè)外殼可容納結(jié)構(gòu)化光源165和相機(jī)170兩者。在一些實(shí)施例中，結(jié)構(gòu)化光源165和相機(jī)170可容納于多于一個(gè)的外殼中，其中結(jié)構(gòu)化光源165和相機(jī)170彼此間隔開(kāi)。如圖1c中所展示，結(jié)構(gòu)化光源165和相機(jī)170可相隔距離185。展示結(jié)構(gòu)化光源165產(chǎn)生可從對(duì)象186反射回來(lái)的光線。由結(jié)構(gòu)化光源165產(chǎn)生的光線可為已知模式。相機(jī)170可吸收從對(duì)象186反射回來(lái)的光線。已知模式的光線在反射或照射表面時(shí)反射或變形的方式允許相機(jī)170計(jì)算場(chǎng)景或fov中的目標(biāo)的深度和表面信息。因此，反射可用于確定對(duì)象186的深度信息?？纱嬖诟鞣N類型的結(jié)構(gòu)化光系統(tǒng)160，例如光平面、格雷(gray)碼模式和正弦波系列。

雖然未在此圖中展示，但結(jié)構(gòu)化光系統(tǒng)160可進(jìn)一步包括經(jīng)配置以控制結(jié)構(gòu)化光源165和相機(jī)170捕捉圖像和/或產(chǎn)生深度圖的一或多個(gè)處理組件。在一些實(shí)施例中，這一或多個(gè)組件可包括控制器或處理器。所述控制器或處理器可經(jīng)配置以控制結(jié)構(gòu)化光系統(tǒng)160的所述一或多個(gè)組件。這可包括啟動(dòng)結(jié)構(gòu)化光源165以產(chǎn)生所述已知光線模式且通過(guò)所述已知光線模式照射對(duì)象186以及啟動(dòng)相機(jī)170以捕捉視場(chǎng)的圖像。所述控制器或處理器可進(jìn)一步經(jīng)配置以處理由相機(jī)170產(chǎn)生的圖像且基于對(duì)從對(duì)象186和fov或場(chǎng)景中的任何對(duì)象的表面反射回來(lái)的光線的計(jì)算來(lái)產(chǎn)生fov的深度圖。在一些實(shí)施例中，所述一或多個(gè)處理組件還可包含用于存儲(chǔ)產(chǎn)生的深度圖的存儲(chǔ)器(未在此圖中展示)。

使用結(jié)構(gòu)化光系統(tǒng)160的深度感測(cè)可因許多原因而證明是有益的。舉例來(lái)說(shuō)，類似陰影恢復(fù)深度系統(tǒng)130，結(jié)構(gòu)化光系統(tǒng)160可不使用fov或場(chǎng)景內(nèi)的關(guān)鍵點(diǎn)，因此使得結(jié)構(gòu)化光系統(tǒng)160獨(dú)立于所捕捉的fov。另外，結(jié)構(gòu)化光系統(tǒng)160可經(jīng)配置以主動(dòng)地產(chǎn)生fov的深度圖。而且，由結(jié)構(gòu)化光系統(tǒng)160產(chǎn)生的深度圖可具有良好準(zhǔn)確性和可靠性。然而，相對(duì)于產(chǎn)生觀測(cè)到的fov的廣泛范圍的距離的準(zhǔn)確和可靠深度圖，結(jié)構(gòu)化光系統(tǒng)160可能具有幾個(gè)負(fù)面的方面。在一些實(shí)施例中，對(duì)象186或相機(jī)170的移動(dòng)可擾亂所述結(jié)構(gòu)化光系統(tǒng)檢測(cè)從對(duì)象186反射回來(lái)的已知模式的光線的能力。另外，結(jié)構(gòu)化光系統(tǒng)160可具有有限范圍，因此影響對(duì)象186的感知深度。因此，fov中的對(duì)象186的感知深度可影響處理組件產(chǎn)生fov的準(zhǔn)確和可靠深度圖的能力。而且，結(jié)構(gòu)化光系統(tǒng)可能易受存在于fov或場(chǎng)景中的明亮外部光線影響。

本文所描述的深度制圖系統(tǒng)意圖為示范性且并不限制本發(fā)明所涵蓋的深度制圖系統(tǒng)?？蓪㈩~外深度制圖系統(tǒng)并入到系統(tǒng)或方法中以產(chǎn)生具有極小不準(zhǔn)確或不可靠深度的區(qū)或區(qū)域的融合深度圖。

圖2說(shuō)明具有一組組件的圖像捕捉裝置200的一個(gè)可能的實(shí)施例的高級(jí)框圖，所述一組組件包括連接到多個(gè)相機(jī)或光學(xué)件215a到215n和連接到多個(gè)光源216a到216m的圖像處理器220。圖像處理器220還可與工作存儲(chǔ)器205、存儲(chǔ)器230和裝置處理器250通信，所述裝置處理器繼而可與電子存儲(chǔ)模塊210、電子顯示器225和深度感測(cè)系統(tǒng)260通信。在一些實(shí)施例中，替代如圖2中所說(shuō)明的兩個(gè)分開(kāi)的處理器，單個(gè)處理器可包括圖像處理器220和裝置處理器250兩者。一些實(shí)施例可包含三個(gè)或更多個(gè)處理器。在一些實(shí)施例中，上文所描述的組件中的一些可能未包含于圖像捕捉裝置200中，或上文未描述的額外組件可包含于圖像捕捉裝置200中。在一些實(shí)施例中，上文所描述的或描述為包含于圖像捕捉裝置200中的組件中的一或多者可組合或整合到圖像捕捉裝置200的任何其它組件中。

圖像捕捉裝置200可為蜂窩電話、數(shù)碼相機(jī)、平板計(jì)算機(jī)、個(gè)人數(shù)字助理或其類似者，或可為其部分。存在許多便攜式計(jì)算裝置，如本文中所描述的深度圖融合系統(tǒng)將證明在所述便攜式計(jì)算裝置中是有利的。圖像捕捉裝置200還可為靜止計(jì)算裝置或其中深度圖融合系統(tǒng)將有利的任何裝置。圖像捕捉裝置200上的多個(gè)應(yīng)用可可供用戶使用。這些應(yīng)用可包含傳統(tǒng)攝影和視頻應(yīng)用、高動(dòng)態(tài)范圍成像、全景照片和視頻，或例如3d圖像或3d視頻的立體成像。

圖像捕捉裝置200包含用于捕捉外部圖像的相機(jī)或光學(xué)件215a到215n。每一相機(jī)或光學(xué)件215可包含至少一個(gè)傳感器、將從圖像捕捉裝置200的fov接收到的光線聚焦到所述至少一個(gè)傳感器(例如，透鏡系統(tǒng))的至少一個(gè)光學(xué)成像組件和/或耦合到所述至少一個(gè)光學(xué)成像組件的自動(dòng)聚焦組合件?？偟膩?lái)說(shuō)，可使用n個(gè)相機(jī)215a到215n，其中n≥1。然而，一些實(shí)施例可僅使用一個(gè)圖像傳感器組合件，且應(yīng)理解，相機(jī)或光學(xué)件215a到215n可包括適合于實(shí)施本文所述的深度圖融合系統(tǒng)的任何數(shù)目的圖像傳感器組合件。可增加相機(jī)或光學(xué)件的數(shù)目以實(shí)現(xiàn)給定視場(chǎng)的較大深度確定能力。相機(jī)或光學(xué)件215a到215n可耦合到圖像處理器220以將所捕捉圖像傳輸?shù)綀D像處理器220。由相機(jī)或光學(xué)件215a到215n捕捉的圖像可通過(guò)光源216a到216m照射。光源216a到216m可包尤其含閃光燈泡、反射器和幾何光線模式產(chǎn)生器?？偟膩?lái)說(shuō)，可使用m個(gè)光源216a到216m，其中m≥2。圖像處理器220或裝置處理器250可經(jīng)配置以接收所捕捉圖像，且相應(yīng)地確定其中所捕捉的場(chǎng)景或fov的深度。在一些實(shí)施例中，相機(jī)或光學(xué)件215可捕捉用于產(chǎn)生場(chǎng)景或fov的深度圖的“基本”圖像。在一些實(shí)施例中，相機(jī)或光學(xué)件215a到215n和耦合到其上的處理裝備可能不捕捉圖像以確定目標(biāo)的深度，而相反可能在實(shí)際上沒(méi)有捕捉圖像的情況下根據(jù)“即時(shí)”視圖產(chǎn)生fov的深度圖。

圖像處理器220可經(jīng)配置以對(duì)所接收的包括目標(biāo)圖像的部分的圖像數(shù)據(jù)執(zhí)行各種處理操作，以便輸出高質(zhì)量圖像。處理器220可為通用處理單元或?qū)ｉT設(shè)計(jì)用于成像應(yīng)用的處理器。圖像處理操作的實(shí)例包含深度制圖、深度匹配、深度確定操作或深度圖融合操作。可通過(guò)執(zhí)行裁剪、縮放(例如，縮放到不同分辨率)、圖像拼接、圖像格式轉(zhuǎn)換、色彩內(nèi)插、色彩處理、圖像過(guò)濾(例如，空間圖像濾波)、透鏡偽影或缺陷校正、由暈影導(dǎo)致的透鏡光滾降或光級(jí)降低等的相同或不同處理器執(zhí)行這些操作。在一些實(shí)施例中，處理器220可包括多個(gè)處理器。某些實(shí)施例可具有專用于每一圖像傳感器的處理器。圖像處理器220可為一或多個(gè)專用圖像信號(hào)處理器(isp)或處理器的軟件實(shí)施方案。

如所展示，圖像處理器220連接到存儲(chǔ)器230和工作存儲(chǔ)器205。在所說(shuō)明的實(shí)施例中，存儲(chǔ)器230存儲(chǔ)捕捉控制模塊235、深度圖融合模塊240、操作系統(tǒng)245和自動(dòng)聚焦模塊255。在一些實(shí)施例中，可包含額外模塊，或在一些實(shí)施例中，可包含較少模塊。這些模塊包含配置裝置200的圖像處理器220以執(zhí)行各種圖像處理和裝置管理任務(wù)的指令。工作存儲(chǔ)器205可由圖像處理器220用以存儲(chǔ)存儲(chǔ)器230的模塊中所含有的處理器指令的工作集合。或者，工作存儲(chǔ)器205還可由圖像處理器220用以存儲(chǔ)在裝置200的操作期間所產(chǎn)生的動(dòng)態(tài)數(shù)據(jù)(例如，待融合為單個(gè)融合深度圖的一或多個(gè)深度圖)。雖然可能未在此圖中展示額外模塊或到外部裝置或硬件的連接，但所述額外模塊或連接可存在以提供其它深度觸發(fā)選項(xiàng)或動(dòng)作。

如上文所提及,圖像處理器220可由存儲(chǔ)于存儲(chǔ)器230中的若干模塊配置。捕捉控制模塊235可包含控制裝置200的總體圖像捕獲功能和深度確定功能的指令。舉例來(lái)說(shuō)，捕捉控制模塊235可包含配置圖像處理器220以使用相機(jī)/光學(xué)件215a到215n捕捉目標(biāo)圖像場(chǎng)景的原始圖像數(shù)據(jù)的指令。捕捉控制模塊235可接著調(diào)用深度融合模塊240以將多個(gè)深度圖融合在一起。

深度圖融合模塊240可包括允許圖像處理器220或裝置處理器250將多個(gè)深度圖融合或組合為單個(gè)空間依賴深度圖的指令。融合深度圖的點(diǎn)中的每一者可包括來(lái)自多個(gè)深度感測(cè)模塊265a到265o的最可靠和準(zhǔn)確的深度信息。所述空間依賴性可包括確保深度圖融合模塊240配置圖像處理器220以將一個(gè)深度圖的不準(zhǔn)確或不可靠部分置換為對(duì)應(yīng)于深度圖的fov中的相同物理位置的另一深度圖的準(zhǔn)確和可靠部分。舉例來(lái)說(shuō)，深度圖融合模塊240可配置圖像處理器220以將由立體相機(jī)系統(tǒng)產(chǎn)生的深度圖與由陰影恢復(fù)深度系統(tǒng)產(chǎn)生的深度圖融合。所得融合深度圖可得益于每一深度圖的優(yōu)點(diǎn)(來(lái)自立體相機(jī)深度圖的良好準(zhǔn)確性和無(wú)需來(lái)自陰影深度圖的關(guān)鍵點(diǎn))，同時(shí)避免兩個(gè)個(gè)別深度圖的缺點(diǎn)。因此，由深度圖中的每一者繪制的fov或場(chǎng)景可大體上相同或包括大體上相同的目標(biāo)以用于空間依賴的融合深度圖，如上文所描述。

操作系統(tǒng)模塊245配置圖像處理器220以管理裝置200的工作存儲(chǔ)器205和處理資源。舉例來(lái)說(shuō)，操作系統(tǒng)模塊245可包含裝置驅(qū)動(dòng)器以管理例如相機(jī)215a到215n的硬件資源。因此，在一些實(shí)施例中，上文所論述的圖像處理模塊中含有的指令可不與這些硬件資源直接交互，而是經(jīng)由位于操作系統(tǒng)組件245中的標(biāo)準(zhǔn)子例程或api交互。操作系統(tǒng)245內(nèi)的指令可接著與這些硬件組件直接交互。操作系統(tǒng)模塊245可進(jìn)一步配置圖像處理器220以與裝置處理器250共享信息。

自動(dòng)聚焦模塊255可包含配置圖像處理器220以例如通過(guò)控制對(duì)應(yīng)自動(dòng)聚焦組合件的移動(dòng)和定位來(lái)調(diào)整相機(jī)215a到215n中的每一者的聚焦位置的指令。自動(dòng)聚焦模塊255在一些實(shí)施例中可包含配置圖像處理器220以執(zhí)行聚焦分析且自動(dòng)確定聚焦參數(shù)的指令，且在一些實(shí)施例中可包含配置圖像處理器220以響應(yīng)于用戶輸入的聚焦命令的指令。在一些實(shí)施例中，自動(dòng)聚焦模塊255可使用來(lái)自由深度圖融合模塊240產(chǎn)生的融合深度圖的信息以確定fov中的目標(biāo)對(duì)象何時(shí)處于特定深度且確定對(duì)所述目標(biāo)對(duì)象的合適聚焦。在一些實(shí)施例中，陣列中的每一相機(jī)的透鏡系統(tǒng)可單獨(dú)地聚焦。在一些實(shí)施例中，陣列中的每一相機(jī)的透鏡系統(tǒng)可作為群組而聚焦。在一些實(shí)施例中，自動(dòng)聚焦模塊255可經(jīng)配置以從深度圖融合模塊240或從處理器220或250中的一者接收命令。

裝置處理器250可經(jīng)配置以控制顯示器225向用戶顯示所捕捉圖像或所捕捉圖像的預(yù)覽。顯示器225可在成像裝置200外部或可為成像裝置200的部分。顯示器225還可經(jīng)配置以提供在捕捉圖像之前向用戶顯示預(yù)覽圖像的取景器，或可經(jīng)配置以顯示存儲(chǔ)在存儲(chǔ)器中的或由用戶最近捕捉到的所捕捉圖像。顯示器225可包含面板顯示器，例如，lcd屏幕、led屏幕或其它顯示器技術(shù)，且可實(shí)施觸敏技術(shù)。裝置處理器250還可經(jīng)配置以從用戶接收輸入。舉例來(lái)說(shuō)，顯示器225還可配置為觸摸屏，且因此可經(jīng)配置以從用戶接收輸入。用戶可使用觸摸屏顯示器225來(lái)輸入處理器可提供到深度圖融合模塊240的信息。舉例來(lái)說(shuō)，用戶可使用觸摸屏從顯示器225上展示的視場(chǎng)選擇目標(biāo)對(duì)象或建立融合深度圖的最小準(zhǔn)確性或可靠性。裝置處理器250可接收所述輸入且將其提供到深度圖融合模塊240，所述深度圖融合模塊可使用所述輸入選擇用于融合操作的深度圖或可選擇特定深度制圖方法以用在場(chǎng)景或fov中。

在一些實(shí)施例中，裝置處理器250可經(jīng)配置以控制深度感測(cè)系統(tǒng)260或從深度感測(cè)系統(tǒng)260接收輸入。深度感測(cè)系統(tǒng)260可經(jīng)配置以確定使用哪個(gè)一或多個(gè)深度感測(cè)模塊265a到265o以產(chǎn)生圖像捕捉裝置200的特定fov或場(chǎng)景的深度圖。舉例來(lái)說(shuō)，深度感測(cè)系統(tǒng)260可評(píng)估可用的工作存儲(chǔ)器205和/或可用的電池或電力且使用所述信息來(lái)確定深度感測(cè)模塊265a到265o中的哪個(gè)可能最適于某一時(shí)刻的給定條件。另外，深度感測(cè)系統(tǒng)260可評(píng)估來(lái)自相機(jī)或光學(xué)件215a到215n的“即時(shí)”視圖以確定哪個(gè)深度感測(cè)模塊265a到265o最適合于環(huán)境或待產(chǎn)生深度圖的場(chǎng)景或fov。在一些實(shí)施例中，深度感測(cè)系統(tǒng)260可檢視先前所捕捉的fov或場(chǎng)景的幀以向用戶評(píng)估或確定哪個(gè)深度感測(cè)模塊265a到265o以用于隨后深度圖中的fov或場(chǎng)景。

在一些實(shí)施例中，裝置處理器250或深度感測(cè)系統(tǒng)260可選擇多個(gè)深度感測(cè)模塊265a到265o且可確定使用深度圖融合模塊240以根據(jù)由所選擇的深度感測(cè)模塊265a到265o產(chǎn)生的個(gè)別深度圖產(chǎn)生單個(gè)融合深度圖。對(duì)多個(gè)深度感測(cè)模塊265a到265o的選擇可基于環(huán)境或圖像捕捉裝置200的場(chǎng)景或fov、所述圖像捕捉裝置的一或多個(gè)參數(shù)中的一或多者?？偟膩?lái)說(shuō)，可使用o個(gè)深度感測(cè)模塊265a到265o，其中o≥2。在一些實(shí)施例中，深度感測(cè)模塊265a可包括立體相機(jī)系統(tǒng)100，深度感測(cè)模塊265b可包括陰影恢復(fù)深度系統(tǒng)130，且深度感測(cè)模塊265c可包括結(jié)構(gòu)化光系統(tǒng)160。

裝置處理器250可將數(shù)據(jù)(例如表示所捕捉圖像的數(shù)據(jù))寫入到存儲(chǔ)模塊210。雖然存儲(chǔ)模塊210以圖形方式表示為傳統(tǒng)磁盤裝置，但在一些實(shí)施例中，存儲(chǔ)模塊210可經(jīng)配置為任何存儲(chǔ)媒體裝置。舉例來(lái)說(shuō)，存儲(chǔ)模塊210可包含磁盤驅(qū)動(dòng)器，例如，軟盤驅(qū)動(dòng)器、硬盤驅(qū)動(dòng)器、光盤驅(qū)動(dòng)器或磁光盤驅(qū)動(dòng)器，或固態(tài)存儲(chǔ)器，例如快閃存儲(chǔ)器、ram、rom和/或eeprom。存儲(chǔ)模塊210還可包含多個(gè)存儲(chǔ)器單元，且所述存儲(chǔ)器單元中的任一者可經(jīng)配置以處于圖像捕捉裝置200內(nèi)，或可在圖像捕捉裝置200外部。舉例來(lái)說(shuō)，存儲(chǔ)模塊210可包含含有存儲(chǔ)在圖像捕捉裝置200內(nèi)的系統(tǒng)程序指令的rom存儲(chǔ)器。存儲(chǔ)模塊210還可包含經(jīng)配置以存儲(chǔ)所捕捉圖像的可從相機(jī)移除的存儲(chǔ)卡或高速存儲(chǔ)器。

雖然圖2描繪具有分開(kāi)的組件以包含處理器、成像傳感器和存儲(chǔ)器的裝置，但在一些實(shí)施例中，這些分開(kāi)的組件可通過(guò)多種方式組合以實(shí)現(xiàn)特定設(shè)計(jì)目標(biāo)。舉例來(lái)說(shuō)，在替代實(shí)施例中，存儲(chǔ)器組件可與處理器組件組合以節(jié)省成本且改進(jìn)性能。

另外，雖然圖2說(shuō)明數(shù)個(gè)存儲(chǔ)器組件，包含存儲(chǔ)器組件230(其包括若干模塊)和單獨(dú)存儲(chǔ)器205(其包括工作存儲(chǔ)器)，但在一些實(shí)施例中，可利用不同存儲(chǔ)器架構(gòu)。舉例來(lái)說(shuō)，一種設(shè)計(jì)可利用rom或靜態(tài)ram存儲(chǔ)器以用于存儲(chǔ)實(shí)施存儲(chǔ)器230中所含有的模塊的處理器指令?？蓪⑺鎏幚砥髦噶罴虞d到ram中以促進(jìn)由圖像處理器220進(jìn)行的執(zhí)行。舉例來(lái)說(shuō)，工作存儲(chǔ)器205可包括ram存儲(chǔ)器，其中指令在由圖像處理器220執(zhí)行之前被加載到工作存儲(chǔ)器205中。在一些實(shí)施例中，深度感測(cè)系統(tǒng)260可為存儲(chǔ)在存儲(chǔ)器230中的軟件或可為與所述軟件組件組合的硬件系統(tǒng)。

圖3說(shuō)明根據(jù)示范性實(shí)施例的描繪圖2的圖像捕捉裝置200的組件的圖300，而所述組件可用于使用立體光學(xué)件、陰影或結(jié)構(gòu)化光技術(shù)中的至少一者產(chǎn)生一或多個(gè)深度圖。圖3中的圖300包括圖2的圖像捕捉裝置200的各種組件，包含沿著所述圖的頂行的第一相機(jī)215a、第一光源216a、第二相機(jī)215b、第二光源216b和第三光源216c。在一些實(shí)施例中，相機(jī)215a或215b中的一或多者可包括紅/綠/藍(lán)相機(jī)(rgb相機(jī))或紅外線相機(jī)(ir相機(jī))或組合rgb/ir相機(jī)。在一些實(shí)施例中，光源216a到216c中的一或多者可包括結(jié)構(gòu)化光源，其中所述結(jié)構(gòu)化光源產(chǎn)生且發(fā)出具有已知模式(例如，幾何或時(shí)間流逝模式)的光。圖300的縱軸包括時(shí)間(沿此頁(yè)向下進(jìn)行)和三個(gè)示范性深度制圖系統(tǒng)(立體相機(jī)系統(tǒng)100\陰影恢復(fù)深度系統(tǒng)130和結(jié)構(gòu)化光系統(tǒng)160)。

圖300還展示圖像捕捉裝置200的哪些組件可由深度制圖系統(tǒng)中的每一者使用。舉例來(lái)說(shuō)，如行310中所展示，對(duì)于立體相機(jī)系統(tǒng)，第一相機(jī)215a、第一光源216a和第二相機(jī)215b可用于測(cè)量由圖像捕捉裝置200捕捉的fov或場(chǎng)景中的所有點(diǎn)的深度且產(chǎn)生所述fov或場(chǎng)景的深度圖。對(duì)于行312中所展示的陰影深度系統(tǒng)，第一光源216a、第二相機(jī)215b和第二光源216b可用于測(cè)量fov或場(chǎng)景中的所有點(diǎn)的深度且產(chǎn)生所述fov或場(chǎng)景的深度圖。類似地，對(duì)于行314的結(jié)構(gòu)化光系統(tǒng)，第二相機(jī)215b和第三光源216c可用于測(cè)量fov或場(chǎng)景中的所有點(diǎn)的深度且產(chǎn)生所述fov或場(chǎng)景的深度圖。

所述圖的時(shí)間要素指示根據(jù)本發(fā)明的示范性實(shí)施例的圖像捕捉裝置200可利用的過(guò)程。如上文所論述，立體相機(jī)系統(tǒng)、陰影恢復(fù)深度系統(tǒng)和結(jié)構(gòu)化光系統(tǒng)中的一或多者以及任何其它深度制圖系統(tǒng)可包括缺點(diǎn)或可將不準(zhǔn)確性或不可靠性引入到所產(chǎn)生的fov或場(chǎng)景深度圖中。因此，使用本文所描述的系統(tǒng)、方法和設(shè)備，可使用多于一個(gè)深度制圖系統(tǒng)產(chǎn)生多于一個(gè)深度圖，且可將個(gè)別地產(chǎn)生的深度圖融合為單個(gè)空間依賴深度圖。

所述融合深度圖可通過(guò)將第一深度制圖系統(tǒng)所產(chǎn)生的第一深度圖的準(zhǔn)確和可靠點(diǎn)與第二深度制圖系統(tǒng)所產(chǎn)生的第二深度圖的準(zhǔn)確和可靠點(diǎn)組合而產(chǎn)生。在一些實(shí)施例中，可基于由圖像捕捉裝置200捕捉的fov或場(chǎng)景或圖像捕捉裝置200的一或多個(gè)參數(shù)來(lái)選擇第一深度制圖系統(tǒng)。舉例來(lái)說(shuō)，如果圖像捕捉裝置200或目標(biāo)fov或場(chǎng)景中的一或多個(gè)對(duì)象在移動(dòng)，那么可選擇立體相機(jī)系統(tǒng)100而非陰影恢復(fù)深度系統(tǒng)130或結(jié)構(gòu)化光系統(tǒng)160為第一深度制圖系統(tǒng)，因?yàn)榱Ⅲw相機(jī)系統(tǒng)100可能能夠產(chǎn)生在運(yùn)動(dòng)中的fov或場(chǎng)景的最完整和準(zhǔn)確的深度圖。在一些實(shí)施例中，如果圖像捕捉裝置200缺少工作存儲(chǔ)器或臨時(shí)存儲(chǔ)多個(gè)圖像的能力，則可選擇陰影恢復(fù)深度系統(tǒng)130而非立體捕捉系統(tǒng)100和結(jié)構(gòu)化光系統(tǒng)160作為第一深度制圖系統(tǒng)。在根據(jù)第一深度制圖系統(tǒng)所產(chǎn)生的信息和測(cè)量值產(chǎn)生第一深度圖之后，圖像捕捉裝置200可確定產(chǎn)生第二深度圖以與產(chǎn)生的第一深度圖融合的需要。在一些實(shí)施例中，當(dāng)圖像捕捉裝置200確定需要第二深度圖時(shí)，可從其余可用的深度制圖系統(tǒng)選擇第二深度制圖系統(tǒng)?？苫趯?duì)缺陷(即，第一深度圖不準(zhǔn)確和不可靠的部分)的感知或識(shí)別來(lái)選擇第二深度制圖系統(tǒng)。因此，可在意圖填補(bǔ)第一深度圖的不準(zhǔn)確或不可靠深度測(cè)量值的情況下選擇第二深度圖。如果圖像捕捉裝置200確定額外深度圖并非必要，則圖像捕捉裝置200可不產(chǎn)生第二深度圖。因此，圖像捕捉裝置200可產(chǎn)生對(duì)圖像捕捉裝置200具有極少需求的最完整和準(zhǔn)確的深度圖。

如上文所提及，圖像捕捉裝置200可基于待捕捉的場(chǎng)景或fov來(lái)選擇深度制圖系統(tǒng)中的一者。舉例來(lái)說(shuō)，當(dāng)fov或場(chǎng)景包括良好紋理時(shí)，則立體相機(jī)系統(tǒng)100可以被動(dòng)(或低功率)模式或主動(dòng)(或較高功率)模式(取決于fov或場(chǎng)景在無(wú)圖像捕捉裝置200的光源的情況下照亮得怎樣)用于產(chǎn)生第一深度圖。另外，當(dāng)存在明亮的外部光線或?yàn)槭彝庠O(shè)置時(shí)，可使用立體相機(jī)系統(tǒng)100。在一些實(shí)施例中，當(dāng)fov或場(chǎng)景包括極少紋理時(shí)，立體相機(jī)系統(tǒng)100可能難以獲得深度測(cè)量值，且由立體相機(jī)系統(tǒng)100產(chǎn)生的第一深度圖可與從陰影恢復(fù)深度系統(tǒng)130或結(jié)構(gòu)化光系統(tǒng)160中的一者產(chǎn)生的第二深度圖融合。當(dāng)fov或場(chǎng)景不包括紋理或僅包括平坦區(qū)時(shí)，則可選擇陰影恢復(fù)深度系統(tǒng)130或結(jié)構(gòu)化光系統(tǒng)160以產(chǎn)生第一深度圖。當(dāng)fov或場(chǎng)景中的目標(biāo)在低光級(jí)下處于中等距離(例如，0.5米到5米)時(shí)，可使用結(jié)構(gòu)化光系統(tǒng)160以產(chǎn)生第一深度圖。然而，當(dāng)fov或場(chǎng)景中的目標(biāo)在fov或場(chǎng)景中的無(wú)限處時(shí)，可使用立體相機(jī)系統(tǒng)100或陰影恢復(fù)深度系統(tǒng)130以產(chǎn)生第一深度圖。小距離可為0m到0.5m，且無(wú)限處可為大于10m的任何距離。

如也在上文所提及，圖像捕捉裝置200可基于圖像捕捉裝置200的一或多個(gè)參數(shù)選擇深度制圖系統(tǒng)中的一者。舉例來(lái)說(shuō)，當(dāng)應(yīng)保存電池容量或電力時(shí)，圖像捕捉裝置200可選擇立體相機(jī)系統(tǒng)100，因?yàn)樗隽Ⅲw相機(jī)系統(tǒng)比陰影恢復(fù)深度系統(tǒng)130或結(jié)構(gòu)化光系統(tǒng)160都消耗較少電力。然而，如上文所提及，當(dāng)存儲(chǔ)器處于優(yōu)質(zhì)狀態(tài)時(shí)，圖像捕捉裝置200可選擇陰影恢復(fù)深度系統(tǒng)130或結(jié)構(gòu)化光系統(tǒng)160中的一者。另外，陰影恢復(fù)深度系統(tǒng)130可需要fov或場(chǎng)景中的最少曝露時(shí)間，使得陰影恢復(fù)深度系統(tǒng)130可在待捕捉的靜態(tài)圖像可能短暫存在時(shí)最為合適。另外，圖像捕捉裝置200可基于所要深度分辨率來(lái)選擇深度制圖系統(tǒng)中的一者。在一些實(shí)施例中，鑒于待捕捉的fov或場(chǎng)景，可考慮圖像捕捉裝置200的一或多個(gè)參數(shù)。

在一些實(shí)施例中，圖像捕捉裝置200的用戶可基于對(duì)上文所列的參數(shù)和場(chǎng)景或fov特性的評(píng)估來(lái)選擇在給定時(shí)刻使用的深度制圖系統(tǒng)。在一些實(shí)施例中，圖像捕捉裝置200可基于其對(duì)上文所列的參數(shù)和場(chǎng)景或fov特性的分析來(lái)自動(dòng)選擇要使用的深度制圖系統(tǒng)。另外，在一些實(shí)施例中，圖像捕捉裝置200可經(jīng)配置以基于先前捕捉到的場(chǎng)景或fov的內(nèi)容來(lái)自動(dòng)修正對(duì)深度制圖系統(tǒng)的選擇，使得對(duì)深度制圖系統(tǒng)的選擇可為動(dòng)態(tài)的。

圖4說(shuō)明根據(jù)示范性實(shí)施例的體現(xiàn)用于產(chǎn)生深度圖且視需要將所述深度圖與額外深度圖融合的示范性方法的流程圖?？赏ㄟ^(guò)任何成像裝置或包括能夠產(chǎn)生裝置的fov或場(chǎng)景的深度圖的成像裝備的任何其它電子裝置來(lái)實(shí)施圖4的方法400。在一些實(shí)施例中，如上文所描述，成像裝置或其它電子裝置可包括多個(gè)深度制圖系統(tǒng)，包括立體光學(xué)相機(jī)系統(tǒng)、結(jié)構(gòu)化光相機(jī)系統(tǒng)和/或陰影恢復(fù)深度相機(jī)系統(tǒng)，或能夠產(chǎn)生所述成像裝置的fov或場(chǎng)景的深度圖的任何其它類型的相機(jī)系統(tǒng)。方法400可在框402處開(kāi)始。開(kāi)始框402進(jìn)行到方法400的框404，其包括識(shí)別成像裝置的至少一個(gè)視場(chǎng)。成像裝置的所識(shí)別視場(chǎng)可包括可由成像裝置捕捉的場(chǎng)景或可由成像裝置看到的視圖。在一些實(shí)施例中，識(shí)別視場(chǎng)可包括重新定位成像裝置，使得所要場(chǎng)景或?qū)ο笤诔上裱b置可捕捉的幀內(nèi)。在一些實(shí)施例中，所述至少一個(gè)視場(chǎng)可由執(zhí)行方法400的成像裝置自動(dòng)識(shí)別或可由用戶識(shí)別。在識(shí)別所述至少一個(gè)視場(chǎng)之后，方法400進(jìn)行到框406。

框406包括從多個(gè)深度感測(cè)方法中選擇第一深度感測(cè)方法。在一些實(shí)施例中，可由成像裝置的用戶執(zhí)行從多個(gè)深度感測(cè)方法選擇第一深度感測(cè)方法。在一些實(shí)施例中，可由成像裝置自身自動(dòng)執(zhí)行所述選擇。在一些實(shí)施例中，可基于確定深度感測(cè)方法中的一或多者產(chǎn)生與深度感測(cè)方法中的另一者相比更可靠和準(zhǔn)確的深度圖來(lái)執(zhí)行所述選擇。在一些實(shí)施例中，可基于成像裝置的一或多個(gè)參數(shù)(例如，可用存儲(chǔ)器、可用功率、靈敏度或閾值深度水平)來(lái)執(zhí)行所述選擇。在一些實(shí)施例中，可至少部分地基于至少一個(gè)對(duì)象的深度、至少一個(gè)對(duì)象的環(huán)境、至少一個(gè)對(duì)象的幀內(nèi)的位置或成像裝置的特性來(lái)執(zhí)行所述選擇。在選擇第一深度感測(cè)方法之后，方法400進(jìn)行到框408。

框408包括使用選擇的第一深度感測(cè)方法感測(cè)所述至少一個(gè)視場(chǎng)相對(duì)于成像裝置的深度。感測(cè)所述至少一個(gè)視場(chǎng)的深度可包括使用立體相機(jī)系統(tǒng)測(cè)量成像裝置所捕捉的場(chǎng)景的深度。在一些實(shí)施例中，感測(cè)所述深度可包括使用陰影恢復(fù)深度系統(tǒng)或結(jié)構(gòu)化光系統(tǒng)。在一些實(shí)施例中，所述感測(cè)包括將視差匹配應(yīng)用于所識(shí)別的至少一個(gè)視場(chǎng)，且其中成像裝置包括立體光學(xué)件。在一些實(shí)施例中，所述感測(cè)深度可包括測(cè)量深度，其中測(cè)量視場(chǎng)或場(chǎng)景的每個(gè)點(diǎn)的深度。在使用選擇的第一深度感測(cè)方法感測(cè)視場(chǎng)的深度之后，所述方法進(jìn)行到框410。

框410包括基于選擇的第一深度感測(cè)方法的感測(cè)深度產(chǎn)生至少一個(gè)視場(chǎng)的第一深度圖。產(chǎn)生第一深度圖可包括將所感測(cè)或測(cè)量的視場(chǎng)或場(chǎng)景的每個(gè)點(diǎn)的深度匯編到整個(gè)視場(chǎng)或場(chǎng)景的單個(gè)圖中，其中所有深度都在所述單個(gè)深度圖中。在產(chǎn)生第一深度圖之后，方法400進(jìn)行到框412。

框412包括識(shí)別具有不準(zhǔn)確深度測(cè)量值的第一深度圖的一或多個(gè)點(diǎn)的區(qū)域。在一些實(shí)施例中，控制器或其它處理器可分析第一深度圖且確定所述深度圖的一或多個(gè)點(diǎn)的深度測(cè)量值不準(zhǔn)確或不可靠?？芍辽俨糠值鼗谠诳?06中選擇的深度感測(cè)方法來(lái)作出對(duì)可靠性缺乏或不準(zhǔn)確性的確定。在一些實(shí)施例中，可基于深度圖與場(chǎng)景中的點(diǎn)的已知深度測(cè)量值的比較來(lái)作出所述確定。在一些實(shí)施例中，可通過(guò)確定深度是否在某些閾值內(nèi)來(lái)確定深度測(cè)量值不準(zhǔn)確。在一些實(shí)施例中，可通過(guò)對(duì)數(shù)據(jù)的統(tǒng)計(jì)分析(例如，比較深度的變化性和/或確定所述深度的變化性是否符合場(chǎng)景中對(duì)應(yīng)的對(duì)象邊緣)來(lái)確定深度測(cè)量值不準(zhǔn)確。在框412處識(shí)別具有不準(zhǔn)確深度測(cè)量值的區(qū)域之后，方法400進(jìn)行到框414。

在框414處，方法400基于對(duì)具有一或多個(gè)不準(zhǔn)確深度測(cè)量值的區(qū)域的所述識(shí)別的一或多個(gè)特性來(lái)確定是否需要經(jīng)由選擇的第二深度感測(cè)方法的額外深度感測(cè)。舉例來(lái)說(shuō)，如果方法400確定深度圖具有超出閾值的不準(zhǔn)確區(qū)域或符合執(zhí)行額外深度感測(cè)的其它需求，則方法400可從所述多個(gè)深度感測(cè)方法選擇第二深度感測(cè)方法且重復(fù)框408到414，直到方法400確定深度圖不具有任何不準(zhǔn)確或不可靠區(qū)域(或不符合需要額外深度感測(cè)方法的最小不準(zhǔn)確性、不可靠性或誤差閾值)。在框414處的所述確定還可基于確定可用深度制圖系統(tǒng)中的任一者可添加信息到現(xiàn)有深度圖。如果確定額外深度圖是必要的，則可將所產(chǎn)生的深度圖融合為單個(gè)空間依賴深度圖。此時(shí)，方法400在框416處結(jié)束。在一些實(shí)施例中，方法400可能直到所述多個(gè)深度感測(cè)方法中的每一者已用于產(chǎn)生深度圖后才結(jié)束。

如本文所使用，術(shù)語(yǔ)“確定”涵蓋廣泛多種動(dòng)作。舉例來(lái)說(shuō)，“確定”可包含運(yùn)算、計(jì)算、處理、導(dǎo)出、研究、查找(例如，在表、數(shù)據(jù)庫(kù)或另一數(shù)據(jù)結(jié)構(gòu)中查找)、斷定和類似者。而且，“確定”可包含接收(例如，接收信息)、存取(例如，存取存儲(chǔ)器中的數(shù)據(jù))和類似者。而且，“確定”可包含解析、選擇、挑選、建立和類似者。此外，如本文所使用，“信道寬度”在某些方面可涵蓋或也可被稱作帶寬。

如本文所使用，涉及項(xiàng)目列表中的“至少一者”的短語(yǔ)是指那些項(xiàng)目的任何組合，包含單個(gè)成分。作為實(shí)例，“以下各項(xiàng)中的至少一者：a、b或c”意在涵蓋：a、b、c、a-b、a-c、b-c和a-b-c。

上文所描述的方法的各種操作可由能夠執(zhí)行所述操作的任何合適裝置(例如，各種硬件和/或軟件組件、電路和/或模塊)執(zhí)行。通常，各圖中所說(shuō)明的任何操作可由能夠執(zhí)行所述操作的對(duì)應(yīng)功能裝置執(zhí)行。

如本文所使用，術(shù)語(yǔ)接口可指經(jīng)配置以將兩個(gè)或更多個(gè)裝置連接在一起的硬件或軟件。舉例來(lái)說(shuō)，接口可為處理器或總線的一部分且可經(jīng)配置以允許信息或數(shù)據(jù)在裝置之間的傳達(dá)?？蓪⒔涌诩傻叫酒蚱渌b置中。舉例來(lái)說(shuō)，在一些實(shí)施例中，接口可包括經(jīng)配置以在一個(gè)裝置處從另一裝置接收信息或通信。接口(例如，處理器或總線的接口)可接收由前端或另一裝置處理的信息或數(shù)據(jù)，或可處理所接收的信息。在一些實(shí)施例中，接口可包括經(jīng)配置以將信息或數(shù)據(jù)發(fā)射或傳達(dá)到另一裝置的發(fā)射器。因此，接口可發(fā)射信息或數(shù)據(jù)或可準(zhǔn)備用于輸出的信息或數(shù)據(jù)以供發(fā)射(例如，經(jīng)由總線)。

可使用通用處理器、數(shù)字信號(hào)處理器(dsp)、專用集成電路(asic)、現(xiàn)場(chǎng)可編程門陣列信號(hào)(fpga)或其它可編程邏輯裝置(pld)、離散門或晶體管邏輯、離散硬件組件或其經(jīng)設(shè)計(jì)以執(zhí)行本文所描述的功能的任何組合來(lái)實(shí)施或執(zhí)行結(jié)合本發(fā)明所描述的各種說(shuō)明性邏輯塊、模塊和電路。通用處理器可為微處理器，但在替代方案中，處理器可為任何市售處理器、控制器、微控制器或狀態(tài)機(jī)。處理器還可實(shí)施為計(jì)算裝置的組合，例如，dsp與微處理器的組合、多個(gè)微處理器、結(jié)合dsp核心的一或多個(gè)微處理器，或任何其它此類配置。

在在一或多個(gè)方面，所描述的功能可以硬件、軟件、固件或其任何組合來(lái)實(shí)施。如果以軟件實(shí)施，那么可將功能作為一或多個(gè)指令或代碼存儲(chǔ)在計(jì)算機(jī)可讀媒體上或經(jīng)由計(jì)算機(jī)可讀媒體進(jìn)行傳輸。計(jì)算機(jī)可讀媒體包含計(jì)算機(jī)存儲(chǔ)媒體與包含促進(jìn)將計(jì)算機(jī)程序從一處傳送到另一處的任何媒體的通信媒體兩者。存儲(chǔ)媒體可以是可由計(jì)算機(jī)存取的任何可用媒體。作為實(shí)例而非限制，此類計(jì)算機(jī)可讀媒體可包括ram、rom、eeprom、cd-rom或其它光盤存儲(chǔ)裝置、磁盤存儲(chǔ)裝置或其它磁性存儲(chǔ)裝置，或可用于攜載或存儲(chǔ)呈指令或數(shù)據(jù)結(jié)構(gòu)形式的所要程序代碼且可由計(jì)算機(jī)存取的任何其它媒體。而且，適當(dāng)?shù)貙⑷魏芜B接稱為計(jì)算機(jī)可讀媒體。舉例來(lái)說(shuō)，如果使用同軸電纜、光纖電纜、雙絞線、數(shù)字訂戶線(dsl)或例如紅外線、無(wú)線電和微波的無(wú)線技術(shù)從網(wǎng)站、服務(wù)器或其它遠(yuǎn)程源傳輸軟件，則所述同軸電纜、光纖電纜、雙絞線、dsl或例如紅外線、無(wú)線電和微波的無(wú)線技術(shù)包含于媒體的定義中。如本文所使用，磁盤和光盤包含壓縮光盤(cd)、激光光盤、光學(xué)光盤、數(shù)字多功能光盤(dvd)、軟性磁盤和藍(lán)光光盤，其中磁盤通常以磁性方式再現(xiàn)數(shù)據(jù)，而光盤用激光以光學(xué)方式再現(xiàn)數(shù)據(jù)。因此，在一些方面中，計(jì)算機(jī)可讀媒體可包括非暫時(shí)性計(jì)算機(jī)可讀媒體(例如，有形媒體)。另外，在一些方面中，計(jì)算機(jī)可讀媒體可包括暫時(shí)性計(jì)算機(jī)可讀媒體(例如，信號(hào))。以上各者的組合也應(yīng)該包含在計(jì)算機(jī)可讀媒體的范圍內(nèi)。

本文所揭示的方法包括用于實(shí)現(xiàn)所描述的方法的一或多個(gè)步驟或動(dòng)作。在不脫離權(quán)利要求書的范圍的情況下，所述方法步驟和/或動(dòng)作可彼此互換。換句話說(shuō)，除非指定了步驟或動(dòng)作的特定次序，否則在不脫離權(quán)利要求書的范圍的情況下，可修改特定步驟和/或動(dòng)作的次序和/或用法。

所描述的功能可以硬件、軟件、固件或其任何組合來(lái)實(shí)施。如果以軟件實(shí)施，那么可將所述功能作為一或多個(gè)指令存儲(chǔ)在計(jì)算機(jī)可讀媒體上。存儲(chǔ)媒體可以是可由計(jì)算機(jī)存取的任何可用媒體。作為實(shí)例而非限制，此類計(jì)算機(jī)可讀媒體可包括ram、rom、eeprom、cd-rom或其它光盤存儲(chǔ)裝置、磁盤存儲(chǔ)裝置或其它磁性存儲(chǔ)裝置，或可用于攜載或存儲(chǔ)呈指令或數(shù)據(jù)結(jié)構(gòu)形式的所要程序代碼且可由計(jì)算機(jī)存取的任何其它媒體。如本文所使用，磁盤和光盤包含壓縮光盤(cd)、激光光盤、光學(xué)光盤、數(shù)字多功能光盤(dvd)、軟性磁盤和光盤，其中磁盤通常以磁性方式再現(xiàn)數(shù)據(jù)，而光盤用激光以光學(xué)方式再現(xiàn)數(shù)據(jù)。

因此，某些方面可包括用于執(zhí)行本文中所呈現(xiàn)的操作的計(jì)算機(jī)程序產(chǎn)品。舉例來(lái)說(shuō)，此類計(jì)算機(jī)程序產(chǎn)品可包括上面存儲(chǔ)有(和/或編碼有)指令的計(jì)算機(jī)可讀媒體，所述指令可由一或多個(gè)處理器執(zhí)行以執(zhí)行本文所描述的操作。對(duì)于某些方面，計(jì)算機(jī)程序產(chǎn)品可包含封裝材料。

還可經(jīng)由傳輸媒體傳輸軟件或指令。舉例來(lái)說(shuō)，如果使用同軸電纜、光纖電纜、雙絞線、數(shù)字訂戶線(dsl)或例如紅外線、無(wú)線電和微波的無(wú)線技術(shù)從網(wǎng)站、服務(wù)器或其它遠(yuǎn)程源傳輸軟件，則所述同軸電纜、光纖電纜、雙絞線、dsl或例如紅外線、無(wú)線電和微波的無(wú)線技術(shù)包含于傳輸媒體的定義中。

此外，應(yīng)了解，用于執(zhí)行本文所描述的方法和技術(shù)的模塊和/或其它適當(dāng)裝置可在適用時(shí)由用戶終端和/或基站下載和/或以其它方式獲得。舉例來(lái)說(shuō)，可將此類裝置耦合到服務(wù)器以促進(jìn)傳送用于執(zhí)行本文所描述方法的裝置?；蛘撸山?jīng)由存儲(chǔ)裝置(例如，ram、rom、例如壓縮光盤(cd)或軟性磁碟的物理存儲(chǔ)媒體等)來(lái)提供本文所描述的各種方法，使得用戶終端和/或基站可在將所述存儲(chǔ)裝置耦合或提供到裝置后獲得所述各種方法。此外，可利用用于將本文所描述的方法和技術(shù)提供到裝置的任何其它合適技術(shù)。

應(yīng)理解，權(quán)利要求書不限于上文所說(shuō)明的精確配置和組件。在不脫離權(quán)利要求書的范圍的情況下，可在上文所描述的方法和設(shè)備的布置、操作和細(xì)節(jié)方面作出各種修改、改變和變化。

雖然前文是針對(duì)本發(fā)明的各方面，但在不脫離本發(fā)明的基本范圍的情況下，可設(shè)計(jì)出本發(fā)明的其它和另外方面，且由所附權(quán)利要求書確定本發(fā)明的范圍。