飛行去混疊的單個頻率時間的制作方法
【專利說明】飛行去混疊的單個頻率時間
[0001]背景
[0002]例如飛行時間(TOF)相機的門控三維(3-D)相機通過對場景進行照明并且捕捉來自照明的反射光來提供對場景中的對象的距離測量。各距離測量構(gòu)成場景的深度圖，該場景的3-D圖像是從該深度圖生成的。
[0003]常規(guī)的TOF系統(tǒng)通過發(fā)射已知頻率f的經(jīng)調(diào)制光能并檢查從目標對象反射回TOF系統(tǒng)的光信號的相移來查明目標對象的深度距離(Z)。這樣的示例性相位型的TOF系統(tǒng)在由Canesta公司獲得現(xiàn)在轉(zhuǎn)讓給微軟公司的幾個美國專利中描述。這樣的專利包括題為‘‘Methods for CMOS-Compatible Three-Dimens1nal Imaging Sensing UsingQuantum Efficiency Modulat1n(用于使用量子效率調(diào)制的CMOS兼容的三維成像感測的方法)”的美國專利 N0.6515740，題為 “Methods and Devices for Charge Managementfor Three Dimens1nal Sensing(用于三維感測的電荷管理的方法和設(shè)備)”的美國權(quán)利N0.6，906，793，題為“Method and System to Enhance Dynamic Range Convers1n UseableWith CMOS Three-Dimens1nal Imaging (可與CMOS三維成像一起用于增強動態(tài)范圍轉(zhuǎn)換的方法和系統(tǒng))”的美國專利 N0.6，678，039，題為 “CMOS-Compatible Three-Dimens1nalImage Sensing Using Reduced Peak Energy (使用降低的峰值能量的CMOS兼容的三維圖像感測)”的美國專利 N0.6，587，186，題為“Systems for CMOS-CompatibleThree-Dimens1nal Image Sensing Using Quantum Efficiency Modulat1n(用于使用量子效率調(diào)制的COMS兼容的三維圖像感測的系統(tǒng))”的美國專利N0.6，580, 496。
[0004]實際上，Z的改變產(chǎn)生相移的可測量改變，但最終相移開始重復，例如Θ =Θ+2 JT，等。因此，距尚Z是已知的I旲2 JT C/(2 ω) = C/(2f)，其中f是調(diào)制頻率。由此，在檢測到的相移Θ和距離Z的值之間可存在固有歧義。
[0005]已知通過從光源針對每一圖像數(shù)據(jù)幀以多個頻率來發(fā)射光來對相移數(shù)據(jù)進行消歧或去混疊。然而，該操作會導致較高的功率消耗和計算消耗，這對于某些TOF系統(tǒng)(諸如，便攜式深度成像系統(tǒng))而言可能不是實用或最優(yōu)的。
[0006]概述
[0007]本文中公開了用于以低功率消耗來確定深度圖的系統(tǒng)和方法。在各示例中，該系統(tǒng)包括用于使用TOF方法來確定深度圖的深度成像系統(tǒng)。該深度成像系統(tǒng)包括用于以預定頻率發(fā)射光的光源，以及用于接收來自光源的光在被反射離開場景中的對象之際返回的光的像素檢測器陣列。反射離開對象的光將以指示對象和深度成像系統(tǒng)之間的距離的相移在該陣列中的一個像素檢測器中被接收到，盡管在所返回的距離和相移之間可能存在歧義。
[0008]為了對給定相移的所返回的距離進行消歧或去混疊，本發(fā)明技術(shù)可在η個連續(xù)的圖像幀上發(fā)射η個不同的光頻率，其中η是例如2和4之間的整數(shù)。測量針對每一連續(xù)幀中的每一頻率的相移，并且針對每一相移計算距離Ζ。存儲針對不同頻率的距離Ζ，并在收集了 η幀數(shù)據(jù)后，可通過各種方法將這些距離相關(guān)以確定如在η個圖像幀上測量到的單個距對象的距離。當每個圖像幀可發(fā)射一個頻率時，該深度圖可以以開發(fā)常規(guī)TOF深度圖的功率的一部分來開發(fā)。
[0009]在一示例中，本發(fā)明技術(shù)涉及一種深度成像系統(tǒng)，該系統(tǒng)包括:光源，所述光源用于跨一頻率范圍發(fā)射光；像素檢測器陣列，所述像素檢測器陣列用于接收來自所述光源的在反射離開對象以后的光；以及，處理器，所述處理器確定在第一時間在所述像素檢測器陣列中的一像素檢測器中接收到的第一頻率的光的相移數(shù)據(jù)，并確定在第二時間在所述像素檢測器中接收到的第二頻率的光的相移數(shù)據(jù)，所述第二頻率不同于所述第一頻率，并且所述第二時間不同于所述第一時間，所述處理器對所述相移數(shù)據(jù)進行去混疊以確定由在所述第一和第二時間的所述第一頻率和第二頻率所指示的距所述對象的距離。
[0010]在另一示例中，本發(fā)明技術(shù)涉及目標識別、分析和跟蹤系統(tǒng)的捕捉設(shè)備，所述深度成像系統(tǒng)包括:RGB相機；和深度成像系統(tǒng)，包括:光源，所述光源用于跨一頻率范圍發(fā)射光，像素檢測器陣列，所述像素檢測器陣列用于接收來自所述光源的在反射離開對象以后的光；以及，處理器，所述處理器確定在第一成像幀中在所述像素檢測器陣列中的一像素檢測器中接收到的第一頻率的光的相移數(shù)據(jù)，并確定在第二圖像幀中在所述像素檢測器中接收到的第二頻率的光的相移數(shù)據(jù)，所述第二頻率不同于所述第一頻率，并且所述第二圖像幀不同于所述第一圖像幀，所述處理器對所述相移數(shù)據(jù)進行去混疊以確定由在所述第一和第二時間的所述第一頻率和第二頻率所指示的距所述對象的距離。
[0011]在其他示例中，本發(fā)明技術(shù)涉及一種用于確定深度成像系統(tǒng)和場景中的對象之間的距離的方法，包括:(a)在第一時間發(fā)射第一頻率的光；(b)在第二時間發(fā)射第二頻率的光，所述第二頻率不同于所述第一頻率，并且所述第二時間在所述第一時間之后；以及，(C)基于在所述第一時間發(fā)射的所述第一頻率的光以及在所述第二時間發(fā)射的所述第二頻率的光的相移來測量距所述對象的距離。
[0012]提供概述以便以簡化形式介紹將在以下詳細描述中進一步描述的一些概念的選集。本概述并不旨在標識出所要求保護的主題的關(guān)鍵特征或必要特征，也不旨在用于幫助確定所要求保護的主題的范圍。此外，所要求保護的主題不限于解決在本公開的任一部分中所提及的任何或所有缺點的實現(xiàn)。
[0013]附圖簡述
[0014]圖1示出了其中可使用的本發(fā)明技術(shù)的深度成像系統(tǒng)的目標識別、分析和跟蹤系統(tǒng)的示例實施例。
[0015]圖2示出了可以在目標識別、分析和跟蹤系統(tǒng)中使用的捕捉設(shè)備的示例實施例。
[0016]圖3是根據(jù)本發(fā)明技術(shù)的各實施例的樣本深度成像系統(tǒng)的框圖。
[0017]圖4和5是示出與圖3的成像系統(tǒng)相關(guān)聯(lián)的發(fā)射的和反射的光能波形的示圖。
[0018]圖6示出根據(jù)本發(fā)明技術(shù)的各實施例的在各個相位處的示例性相位捕捉的細節(jié)。
[0019]圖7到圖10解說示出相移對照針對各個調(diào)制頻率的距離的示圖。
[0020]圖11是本發(fā)明技術(shù)的一實施例的使用多個幀上的多個頻率來對相移數(shù)據(jù)進行去混疊的操作的流程圖。
[0021]圖12解說了可在本發(fā)明技術(shù)的各實施例中使用的計算設(shè)備的示例實施例。
[0022]詳細描述
[0023]現(xiàn)在將參考附圖1-12來描述本公開的一般涉及深度圖像的低功率生成的系統(tǒng)和方法的各實施例。在各實施例中，一圖像數(shù)據(jù)幀通過以下方式生成:T0C相機的光源發(fā)射經(jīng)調(diào)制的光脈沖，并檢查從目標對象反射回TOF相機的光信號的相移。在各實施例中，該系統(tǒng)通過在η個連續(xù)圖像數(shù)據(jù)幀上發(fā)射η個不同的光頻率來對光信號的相位進行去混疊。該系統(tǒng)至少為該η個圖像數(shù)據(jù)幀維護狀態(tài)數(shù)據(jù)，并將來自這些連續(xù)幀的相移進行相關(guān)以對深度信息進行去混疊。在各示例中，η可等于3，但它在不同的示例中可大于或小于3。
[0024]本公開的各實施例可發(fā)射并檢測脈沖型的周期性波形。然而，各實施例可相對于正弦波形的發(fā)射和檢測來描述，因為這樣的波形更容易數(shù)學地進行分析。應理解，包括不完美的正弦波形的周期性脈沖波形可在數(shù)學上被使用并被表示成系數(shù)和頻率多樣性改變的完美正弦波形的編組。
[0025]參考圖1和2，本公開的各實施例被提供作為目標識別、分析和跟蹤系統(tǒng)10中用于跟蹤移動的目標的TOF 3-D相機的一部分系統(tǒng)10可為游戲和其他應用提供自然用戶界面(NUI)。然而，應理解，本公開的系統(tǒng)可以在不同于目標識別、分析和跟蹤系統(tǒng)10的各種應用中使用。
[0026]目標識別、分析和跟蹤系統(tǒng)10可用來識別、分析和/或跟蹤人類目標(諸如用戶18)以及其他靜止或移動的對象(諸如對象23)。目標識別、分析和跟蹤系統(tǒng)10的各實施例包括用于執(zhí)行游戲或其他應用的計算設(shè)備12。計算設(shè)備12可包括硬件組件和/或軟件組件，使得計算設(shè)備12可用于執(zhí)行諸如游戲和