專利名稱：在飛行時間系統(tǒng)中用于三維(3d)傳感器的多相位動態(tài)校準的系統(tǒng)和方法
技術領域：
本發(fā)明涉及通信技術，尤其涉及飛行時間系統(tǒng)中的數(shù)據(jù)校準技術。
背景技術：
基于飛行時間(TOF)原理的三維(3D)相機從被成像的場景中的對象獲得距離信息。距離信息在相機的傳感器陣列的每一像素處被獨立地產(chǎn)生。這樣的示例性系統(tǒng)在美國專利號 6，323，942“CMOS-Compatible Three-Dimensional Image Sensor IC(CM0S 兼容的三維圖像傳感器 IC)”(2001)以及美國專利號 6，515，740 "Methods for CMOS-Compatible Three-Dimensional Image Sensing Using Quantum Efficiency Modulation(用于使用量子效率調整的CMOS兼容的三維圖像感測)”2003中描述，這兩個專利最初被轉讓給Canesta 公司，而現(xiàn)在被轉讓給微軟公司。如在美國專利號6，323，942中描述的，TOF系統(tǒng)發(fā)射光能(主動光能)，并確定由目標對象所反射的該能量的至少某一些回到該系統(tǒng)以由傳感器陣列進行檢測要花費多久。 在被反射回TOF系統(tǒng)之前被發(fā)射通向目標對象的更遠表面區(qū)域的光能將比如果目標對象更接近于該系統(tǒng)具有更長的T0F。如果往返TOF時間被表示為t1;則目標對象與TOF系統(tǒng)之間的距離為Z1，其中Z1=、</2，其中C為光速。這樣的系統(tǒng)可獲得亮度數(shù)據(jù)(信號幅度)以及TOF距離兩者，并可實時實現(xiàn)目標對象的三維圖像。有利地，這樣的系統(tǒng)可在帶有或不帶有環(huán)境光(被動光能)的情況下操作，并可不帶有例如快門、電動機等移動部分而操作。更復雜的TOF系統(tǒng)在US專利6，515，740中描述，其中TOF通過檢測已調制的所發(fā)送的光信號與從目標對象所反射的光信號之間的相對相移來確定。圖1描繪了根據(jù)‘740 專利的示例性相移檢測系統(tǒng)100。對系統(tǒng)像素陣列中多個位置上所反射的光信號的檢測導致被稱為深度圖像的測量信號。深度圖像表示目標對象表面的三維圖像。參考圖1，TOF系統(tǒng)100包括像素檢測器140的二維陣列130，每一個都具有用于處理由相關聯(lián)的檢測器輸出的電荷的專用電路150。在典型的應用中，陣列130可包括 100X 100個像素230，并由此可包括100X 100個處理電路150。IC 110還可包括微處理器或微控制器單元160、存儲器170 (較佳地包括隨機存取存儲器或RAM以及只讀存儲器或 ROM)、高速的可分發(fā)時鐘180、以及各種計算和輸入/輸出(1/0)電路190?？刂破鲉卧?60可執(zhí)行對到對象的距離以及對象速度的計算，以及其他功能。在微處理器160的控制下，光能的源120經(jīng)由激勵器115來周期性地通電，并經(jīng)由透鏡125朝對象目標20發(fā)射光能。通常該光能是例如由激光二極管、VCSEL(垂直腔表面發(fā)射激光器)或LED設備120所發(fā)射的光。從設備120所發(fā)射的光能的某一些將從目標對象20的表面被反射，并將通過光圈視場光闌以及透鏡(統(tǒng)稱135)，并將落在形成圖像的像素檢測器140的二維陣列130上。在某些實現(xiàn)中，每一成像像素檢測器140捕捉發(fā)射器 120所發(fā)送的光能到達目標對象20并被反射以供二維傳感器陣列130檢測所需的飛行時間 (TOF) 0使用這一 TOF信息，距離Z可被確定。有利地，系統(tǒng)100可實現(xiàn)在 帶有相對較少片外(off-chip)組件的單個IC 110上。通常，光能的源20較佳地發(fā)射低功率(例如，可能IW峰值)的周期性波形，從而產(chǎn)生被稱為快門時間的時間段(可能IOms)的已知頻率(可能30MHz到數(shù)百MHz)的光能發(fā)射。來自發(fā)射器120的光能以及像素檢測器140內檢測到的光能信號彼此同步，使得對于每一像素檢測器的可測量相位差并由此可測量距離Z。所使用的該測量方法在‘740和‘496 專利中被稱為零差檢測?；谙辔坏牧悴顧z測TOF系統(tǒng)還在美國專利6，906，793"Methods and Devices for Charge Management for Three-Dimensional Sensing(用于三維感 貝|J白勺電荷管理的方法和設備)，，中描述，該專利最初被轉讓給Canesta公司，而現(xiàn)在被轉讓給此處的受讓方微軟公司。申請人通過引用將所述‘793專利結合于此。由二維成像傳感器陣列130所檢測的光能將包括光源幅度或強度信息(被表示為‘‘A”)以及相移信息(被表示為Φ)。如圖IB和IC中描繪的示例性波形，所接收的相移信息(圖1C)隨著TOF變化，并可被處理以產(chǎn)生DATA(數(shù)據(jù))，包括Z數(shù)據(jù)。對于由發(fā)射器120發(fā)送的每一光能脈沖系列，獲得目標對象20的可見部分的三維圖像，從中獲得強度和Z數(shù)據(jù)(DATA)。如美國專利6，515，740和6，580，496中描述的，獲取深度信息Z需要獲得目標對象(或場景)20的至少兩個樣本，所發(fā)射的光能與所檢測的信號的像素之間相移 90°。盡管兩個樣本是最小數(shù)字，但較佳地是獲得相位分開90°的四個樣本，以準許由于像素檢測器性能中的失配、相關聯(lián)的電子實現(xiàn)中的失配以及其他誤差引起的檢測誤差的減小。在逐像素檢測器(per pixel detector)的基礎上，所測量的四個樣本數(shù)據(jù)被組合以產(chǎn)生實際的Z深度信息數(shù)據(jù)。關于各種相移系統(tǒng)的實施例的實現(xiàn)的進一步細節(jié)可在美國專利 6，515，740 和 6，580，496 中找到。圖 ID 與標題為"Systems for CMOS-Compatible Three-Dimensional Image Sensing Using Quantum Efficiency Modulation(用于使用量子效率調制的 CMOS 兼容的三維圖像的系統(tǒng))”的美國專利6，580，496中或標題為‘‘Methods and Devices for Charge Management for Three-Dimensional Sensing(用于三維感測的電荷管理的方法和設備)” 的美國專利7，906，793中的圖10類似，這兩個專利最初被轉讓給Canesta公司，而現(xiàn)在被轉讓給此處的受讓方微軟公司。(申請人通過引用將‘496和‘793專利結合于此。)在圖 ID中，從每一量子效率調制的差分像素檢測器(例如140-1)所生成的光電流被差分地檢測 (DIF. DETECT)且差分地放大(AMP)，以產(chǎn)生信號B · cos(0),B · sin (Φ)，其中B是亮度系數(shù)。在TOF系統(tǒng)的正常運行時操作期間，固定的0°或90°相移延遲(DELAY)是響應于相位選擇控制信號(PHASE SELECT)可切換地插入的。使用量子效率調制來發(fā)生零差混合，以導出所發(fā)送的信號與所接收的信號(見圖1B、1C)之間的相位差并導出TOF以及其他數(shù)據(jù)。對基于相位的TOF系統(tǒng)中的零差檢測的更詳細的描述在‘496專利中找到。雖然圖ID中指示正弦型的周期性波形，但可改為使用非正弦波形。與圖ID類似的檢測配置可與本發(fā)明的各實施例一起使用。由此，如圖1例示的TOF系統(tǒng)可獲得已調制的發(fā)送光與目標對象所反射的光之間的相位延遲(Φ)。盡管相位Φ與將TOF傳感器陣列與目標對象分開的(Z)距離成比例， 但相位延遲是相對量并不是本質上等于Z距離。例如，隨著Z增加，相位Φ增加，但在增加 360°之后，相位折疊，并且在Z中的進一步增加將產(chǎn)生Φ中的進一步增加，再次從0°開始。實際上，一般向TOF系統(tǒng)提供對相位數(shù)據(jù)消除歧義或去混疊的能力，以獲取對Z的真實測量。如美國專利7，719，662例示的(該專利最初被轉讓給Canesta公司，而現(xiàn)在被轉讓給此處的受讓方微軟公司)，向TOF系統(tǒng)進一步提供啟用使用笛卡爾(或真實世界X、Y、 Ζ)坐標而非徑向信息的校準方法是有利的。(T0F像素或傳感器測量沿著對于陣列130中的每一像素140都不同的某個徑向角的相位延遲。)根據(jù)‘662專利，校準的一個功能可被定義為響應于幾何坐標來創(chuàng)建來自傳感器140的映射，該幾何坐標是對于已知參考的X、Y 和Z信息。(X和Y坐標是相對TOF系統(tǒng)的光軸的水平和垂直偏移，并且Z是傳感器與目標對象或所成像的場景內的對象之間的垂直距離。)這樣的映射可包括深度校準以及XY校準?！?62專利公開了不需要聚集不同Z值處的深度數(shù)據(jù)的映射方法，因為目標對象被物理地重新定位到XY平面中的不同Z深度(所謂的“作為示例”的方法)。如此聚集的數(shù)據(jù)可被收集并存儲在在運行時操作期間對TOF系統(tǒng)可用的查找表(LUT)中，以在所獲得的深度數(shù)據(jù)中作出糾正。除幾何校準以外，必需執(zhí)行其他類型的校準以解決某些環(huán)境因素，包括沒有限制的溫度和環(huán)境光照條件。例如，傳感器陣列130中的溫度改變可增加像素140中所謂的暗電流，暗電流進而可改變所測量的相位Φ。環(huán)境光可干擾來自源120的系統(tǒng)發(fā)射的光，并可導致相位誤差。完整的校準過程較佳地將包括對這樣的環(huán)境改變的影響進行建模的步驟。 當環(huán)境條件可能改變時，這樣做可允許這些效果在運行時操作期間被動態(tài)地移除。 由此，來自傳感器陣列的給定相位響應通過對存儲在校準表中的值進行內插而被轉換成距離。然而，相位與距離的傳遞函數(shù)曲線包含諧波，并且足夠的數(shù)據(jù)點必須存儲在校準表中來對這些諧波進行建模，以避免由于不足的采樣引起的準確度損失。還存在內插誤差，該內插誤差可通過增加表的大小來減小。雖然“作為示例”的方法對于用相對快的運行時處理來實現(xiàn)是直接的，但該方法具有若干缺點。采用操作范圍子集以及隨后的內插導致量級為若干厘米(cm)的誤差。此外， 隨著傳感器操作范圍的增加，更多數(shù)據(jù)必須被存儲在校準表中以維持準確度。這生成更大的校準表，從而需要更多存儲以及更長內插時間。存儲可以是例如幾個MB之類，這對于用于嵌入式系統(tǒng)來說是非常大的。來自實際觀點的另一問題是捕捉來自大視野(FOV)傳感器的數(shù)據(jù)所需的大的物理空間以及目標對象被重新定位的操作范圍。例如，帶有100° FOV和 5m的操作范圍的傳感器需要大約12m χ 12m的目標對象，該目標對象在校準期間必需在0 與5m之間移動。給定校準期間目標對象重新定位的足夠物理空間，并給定校準過程的足夠時間，這樣的現(xiàn)有技術“作為示例”的校準可被實現(xiàn)。但是，這樣的現(xiàn)有技術的校準過程具有高成本，并不是非常適合校準大容量產(chǎn)品。靜態(tài)地存儲查找表(LUT)中的校準糾正項已經(jīng)是用于校準的傳統(tǒng)方法。然而，隨著TOF系統(tǒng)老化、或個別組件隨例如溫度而改變，在TOF系統(tǒng)是新的時候被創(chuàng)建的LUT系數(shù)可能不再提供良好的校準糾正。進一步存儲LUT值可增加系統(tǒng)存儲器存儲開銷。美國專利7，719，662涉及用于將所檢測的相位實現(xiàn)于三維相機系統(tǒng)的距離校準的若干有效的方法和系統(tǒng)?！?62專利描述了需要較少時間以及較小物理空間來實現(xiàn)的方法和系統(tǒng)。然而，一般還是希望進一步改進。在任何TOF系統(tǒng)設計中存在折衷。一方面，作為方波的發(fā)射光能波形有利地提高調制對比度，但表征方波的快速上升和下降時間導致不期望的較高階的諧波。需要的是用于減小由于在TOF系統(tǒng)所獲得的基于相位的數(shù)據(jù)中的諧波內容引起的誤差(有時稱為偏置誤差)的方法和系統(tǒng)。較佳地，這樣的方法和系統(tǒng)會有利地允許與所發(fā)射的方波光能波形的高調制對比度，同時補償與伴隨這樣的波形的較高階諧波附帶的偏置誤差。偏置誤差中的改變可源自由于時間和溫度引起的所發(fā)射的光能的波形的變化。隨后，通過改變TOF系統(tǒng)的校準需求來補償偏置誤差中的改變變得必要或至少是所希望的。 較佳地 ，這樣的方法和系統(tǒng)應可動態(tài)地操作，而不增加(較佳地減小)存儲器需求，同時保留高調制對比度。這樣的方法和系統(tǒng)的實現(xiàn)在即使是變化的系統(tǒng)和/或環(huán)境條件中也將動態(tài)地提供帶有增強的線性度的良好的TOF系統(tǒng)校準。本發(fā)明提供這樣的方法和系統(tǒng)。

發(fā)明內容
現(xiàn)代TOF系統(tǒng)通常使用多相移來獲得Z深度數(shù)據(jù)，例如使用所發(fā)射的光能的調制頻率的四個相移0°、90°、180°、270°來獲得深度數(shù)據(jù)。根據(jù)某些系統(tǒng)的快速校準提供對TOF系統(tǒng)的校準建模，糾正參數(shù)被存儲在查找表中，并且也提供相位偏移糾正。然而，隨著TOF系統(tǒng)老化或系統(tǒng)改變，例如熱變化，所存儲的糾正建模數(shù)據(jù)的有效性可能會受損。作為對比，本發(fā)明的各實施例可動態(tài)地校準TOF系統(tǒng)，而無需使用通常對現(xiàn)有技術TOF系統(tǒng)的靜態(tài)建模。本發(fā)明認識到操作較佳地帶有奇數(shù)相移(例如N = 3、N = 5、N = 7等)而不是偶數(shù)相移(例如N = 4、N = 6等)的基于相位的TOF系統(tǒng)有利地減小來自顯著地導致TOF 系統(tǒng)的非線性的高階諧波的偏置誤差。在現(xiàn)有技術的TOF系統(tǒng)中，這樣的偏移誤差糾正或補償未被明確提供。另外，使用奇數(shù)個相移可有利地最大化調制對比度(對傳感器檢測器效率的檢測)。本發(fā)明允許TOF系統(tǒng)發(fā)射方波形狀的光能，其波形合需地促進增強的高調制對比度，但含有豐富的高階諧波中是不想要的。然而，根據(jù)本發(fā)明的各實施例，來自這些高階諧波的偏置誤差被減小。此外，糾正數(shù)據(jù)的存儲需求被有利地減小，例如，即使在相位數(shù)量顯著地大于三個時，兩排存儲器也足以存儲糾正數(shù)據(jù)?？偠灾?，更好的校準糾正被動態(tài)地實現(xiàn)，同時即使不增強也保留調制對比度，而不增加存儲開銷。這樣的校準糾正包括偏置誤差組件的動態(tài)補償，包括TOF系統(tǒng)所發(fā)射的光波形隨時間以及隨溫度的相位距離測量變化。本發(fā)明的各實施例可將對奇數(shù)個相移的使用與查找表(LUT)組合以進一步增強TOF系統(tǒng)性能。如果可任選地使用，LUT較佳地存儲糾正數(shù)據(jù)以作出可進一步減小來自高階諧波的殘余偏移誤差的精細糾正。本發(fā)明的各方面可以通過硬件和/或軟件實現(xiàn)。
本發(fā)明的其他特征和優(yōu)點將在以下描述中出現(xiàn)，其中已經(jīng)結合其附圖闡述了優(yōu)選實施例。


圖1是 描繪根據(jù)現(xiàn)有技術如美國專利6，515，740所例示的基于相位的三維飛行時間成像系統(tǒng)的框圖；圖IB和IC描繪根據(jù)現(xiàn)有技術的圖IA的框圖的示例性波形關系；圖ID是描繪根據(jù)現(xiàn)有技術的在固定相位延遲(FPD)量子效率調制的檢測器中的示例性差分光檢測器以及相關聯(lián)的電子設備的框圖；圖IE描繪根據(jù)現(xiàn)有技術的被疊加到理想化線性組件以供TOF系統(tǒng)的深度與相位映射特征的非線性諧波組件；圖2描繪根據(jù)本發(fā)明各實施例的提供有動態(tài)可選擇的多個相移校準的TOF系統(tǒng)， 該系統(tǒng)啟用采用增益調制、集成時間調制和/或包括可任選的查找表(LUT)實現(xiàn)的數(shù)字操作的多個相移校準中的任何或全部，以供對由于高階諧波引起的殘余誤差進行甚至更精細的糾正；圖3A、3B、3C描繪根據(jù)本發(fā)明各實施例的光輸入、像素或檢測器A輸出、以及像素或檢測器B輸出對比以四相位操作的TOF系統(tǒng)的調制時間段/距離；圖3D和3E描繪根據(jù)本發(fā)明各實施例的檢測器B和差分檢測器(A-B)的輸出對比以四相位操作的TOF系統(tǒng)的調制時間段/距離；圖3F描繪根據(jù)本發(fā)明各實施例的相位對比以四相位操作的TOF系統(tǒng)的調制時間
段/距離；圖3G是根據(jù)本發(fā)明的各實施例的示出四相位諧波的極坐標圖；圖3H描繪根據(jù)本發(fā)明各實施例的相位對比四相位諧波的調制時間段/距離；圖31描繪根據(jù)本發(fā)明各實施例的主動亮度對比四相位諧波的調制時間段/距罔；圖4A、4B和4C描繪根據(jù)本發(fā)明各實施例的光輸入、像素或檢測器A輸出、以及像素或檢測器B輸出對比以五相位操作的TOF系統(tǒng)的調制時間段/距離；圖4D和4E描繪根據(jù)本發(fā)明各實施例的檢測器B和差分檢測器(A-B)的輸出對比以五相位操作的TOF系統(tǒng)的調制時間段/距離；圖4F描繪根據(jù)本發(fā)明各實施例的相位對比以五相位操作的TOF系統(tǒng)的調制時間
段/距離；圖4G是根據(jù)本發(fā)明的各實施例的示出五相位諧波的極標繪；圖4H描繪根據(jù)本發(fā)明各實施例的相位對比五相位諧波的調制時間段/距離；圖41描繪根據(jù)本發(fā)明各實施例的主動亮度對比五相位諧波的調制時間段/距罔；圖5A、5B和5C描繪根據(jù)本發(fā)明各實施例的光輸入、像素或檢測器A輸出、以及像素或檢測器B輸出對比以七相位操作的TOF系統(tǒng)的調制時間段/距離；圖5D和5E描繪根據(jù)本發(fā)明各實施例的檢測器B和差分檢測器(A-B)的輸出對比以七相位操作的TOF系統(tǒng)的調制時間段/距離；
圖5F描繪根據(jù)本發(fā)明各實施例的相位對比以七相位操作的TOF系統(tǒng)的調制時間
段/距離； 圖5G是根據(jù)本發(fā)明的各實施例的示出七相位諧波的極標繪；圖5H描繪根據(jù)本發(fā)明各實施例的相位對比七相位諧波的調制時間段/距離；圖51描繪根據(jù)本發(fā)明各實施例的主動亮度對比七相位諧波的調制時間段/距離。
具體實施例方式如圖所示，從TOF系統(tǒng)獲取可靠準確的深度Z數(shù)據(jù)需要在該系統(tǒng)的運行時操作期間已知該TOF系統(tǒng)的校準特征。某些TOF特征可使用所謂的“作為示例”的校準技術的先驗來獲取。美國專利號7，719，662描述改進的校準方法，期間目標對象保持靜止而相位被注入到所發(fā)射的光能的調制頻率中以模擬距離導致的相位。這樣的校準曾是快的且無需用于獲取數(shù)據(jù)的大空間。包括電(相位對比距離特征，該距離特征取決于感測系統(tǒng)的電而非幾何特征)和橢圓形(相位對比距離特征，該距離特征取決于感測系統(tǒng)的幾何而非電特征) 的校準模型被構造且被存儲。但是，隨時間以及隨環(huán)境改變，例如溫度改變，TOF特征往往是動態(tài)的而非靜態(tài)的， 由此，在TOF系統(tǒng)新的(并且被新近校準的)時候可能非常準確的所存儲的校準模型數(shù)據(jù)可由于包括對TOF系統(tǒng)的溫度改變等系統(tǒng)改變而變得較不準確。本發(fā)明提供用于在TOF系統(tǒng)的運行時操作期間獲得并且保持良好的線性校準數(shù)據(jù)的多相位動態(tài)校準方法和系統(tǒng)。圖2描繪TOF系統(tǒng)200，其存儲器170存儲例程以及其他數(shù)據(jù)，該例程在例如由片上處理器(諸如160)或片外處理器執(zhí)行時實現(xiàn)本發(fā)明的各實施例。
(除非相反表示，圖2中帶有與圖1中相似的參考原始標號的各組件和系統(tǒng)可被認為是相同或實質相同的。)此外，存儲器170區(qū)域215可被用于存儲本發(fā)明的各實施例所創(chuàng)建的數(shù)據(jù)，或者這樣的數(shù)據(jù)可被存儲在IC外的芯片210中，例如片外存儲器270中注意，圖 2中系統(tǒng)200’可使用多個光源120。存儲器區(qū)域170還可存儲本發(fā)明所使用的至少一個查找表(LUT)?？扇芜x地，該LUT可存儲糾正數(shù)據(jù)，包括動態(tài)聚集的糾正數(shù)據(jù)，以便啟用對于由于高階諧波引起的系統(tǒng)中小的殘余誤差的更精細糾正。本發(fā)明的各實施例可包括存儲，例如170、215等，用于存儲包含基于每一像素的糾正系數(shù)的至少一個LUT，以進一步糾正諧波相關誤差?？焖賈校準較佳地按時間效率和空間效率的方式、使用盡可能少的數(shù)據(jù)點來創(chuàng)建相位到距離的映射。為捕捉系統(tǒng)200的基本電子檢測特征，相位對距離的映射理想地應為線性，但實際上將包括諧波，如圖IE所示。這些線性度的非期望偏差被相信是由于存在較高階奇數(shù)諧波而引起的，如將描述的。本發(fā)明的各實施例設法隨時間和溫度動態(tài)地提供更線性的相位與距離傳遞函數(shù)。結果是深度測量較不依賴于精確校準的TOF系統(tǒng)。在本發(fā)明中，申請人已發(fā)現(xiàn)操作使用奇數(shù)個相位(例如N = 3(0，120,240)，N = 5(0，72，144，216，288)，N = 7等)的基于相位的TOF系統(tǒng)是有利的，而不是依賴于基本上靜態(tài)的糾正數(shù)據(jù)。使用奇數(shù)個相位來獲得TOF數(shù)據(jù)有利地減小圖IE所表現(xiàn)的由于諧波的波紋狀不良反應而引起的偏置誤差。有利地，使用本發(fā)明的各實施例獲得了良好的調制對比，并且少至兩排存儲器就足以存儲校準數(shù)據(jù)，而獨立于量級N。如果需要，諧波偏置誤差的進一步減小可通過采用查找表(LUT)來實現(xiàn)，雖然這在許多應用中將不被要求。在一個實施例中，這一 LUT較佳地在動態(tài)基礎上為TOF系統(tǒng)存儲最近獲取的糾正數(shù)據(jù)。LUT的使用是可任選的，但可以更優(yōu)地糾正TOF系統(tǒng)中相位與深度距離關系中的殘余非線性，以產(chǎn)生更精細的糾正。再次轉向圖2，TOF系統(tǒng)200，在許多方面與已經(jīng)參考圖1、IB、1C、ID所描述的相似， 其中所示相似的參考標號可表示基本上相似的組件或功能。由基于相位的TOF系統(tǒng)200’ 獲得的數(shù)據(jù)被表示為DATA’，并且可被導出到其他應用和/或設備。如圖2所示，系統(tǒng)200’ 較佳地包括的至少一個操作模式或模塊，表示為230、240、250，其中系統(tǒng)200’可按這些模式中的至少一個模式來操作，較佳地是動態(tài)可切換的。電子開關260用符號示出，與最適合當前TOF系統(tǒng)的運行時操作條件一樣，使得系統(tǒng)200能夠動態(tài)地或靜態(tài)地切換到三個模式 230,240,250中所需的一個模式。系統(tǒng)200還包括相移器控制單元220，該相移器控制單元 220可導致來自一個或多個發(fā)射器120的光能的調制頻率具有所需相位值。如本文先前所示，許多現(xiàn)有技術的TOF系統(tǒng)(例如，圖1中的系統(tǒng)100)使用四個相位來操作，所發(fā)射的光能具有正弦型的波形。如果該波形是理想正弦，則TOF系統(tǒng)100不會展示非線性失真，但實際上，這樣的失真將存在。例如，四相位系統(tǒng)通常將產(chǎn)生在特定Z 距離處誤差約為士 4的深度Z值，該誤差主要由于較高階諧波，即與準三角波形相關聯(lián)的相關函數(shù)(CF)。例如，對于理想三角形CF的諧波的相對幅度可在如頻域& Uf2 0、f3 1/9、 f4 0、f5 1/25、f6 0、f7 1/49等中擴展，其中&是應用于TOF系統(tǒng)的基本頻率。當然，在真實系統(tǒng)中，較高階的項的諧波由于將存在的非線性失真而不會完全下降至零。盡管可采用通常使用靜態(tài)LTU的校準或補償方法來尋找更高的深度Z測量精度， 但不能容易地動態(tài)更改LUT的內容以滿足當前TOF系統(tǒng)的操作條件。如果一旦可以例如更改LUT內容，則這對于解決可能由于調制不穩(wěn)定性、波形失真等引起的相關函數(shù)(CF)中的三階或較高階的諧波不良影響將會是有用的。依靠靜態(tài)存儲的LUT糾正校準值的TOF系統(tǒng)尤其易受主導三階諧波或較高階諧波所導致的由幅度系數(shù)改變和/或相移改變的影響。例如，可將三階諧波表示為k = m3 · cos (3 ω td+fi0)，其中m3為額定系數(shù)，ω為來自發(fā)射器120的光能上的調制信號的基本角頻率，td為由于飛行時間引起的時間延遲，以及fi(l為TOF系統(tǒng)相位偏置，即指示系統(tǒng)噪聲、熱效應等的參數(shù)。k值為系統(tǒng)相位偏置的主導項，該主導項在基于四相位的TOF系統(tǒng)中產(chǎn)生系統(tǒng)誤差。系數(shù)m3和系統(tǒng)相位偏置fiQ可由于波的變形和/或其他變量而變化?？梢岳斫?，對于在k的量級變化時進行充分補償?shù)募僉UT校準或糾正方法可能是有挑戰(zhàn)的。常規(guī)的四相位TOF系統(tǒng)還可遭受傳感器或像素飽和的影響，尤其當如果目標對象具有強反射率時。如果目標對象在快速運動中，所獲得的深度數(shù)據(jù)的單個幀可包含模糊的圖像，該單個幀在后處理中難以被修復好?？梢岳斫?，如果可在較短時間段獲得深度數(shù)據(jù)，則模糊以及陣列130內像素飽和的可能性相對較小。包括經(jīng)濟的實際設計考慮可規(guī)定一個或多個光源120為LED或激光二極管，以及來自激勵器115的調制信號和應用于陣列130中的各像素檢測器140的解調信號具有矩形或方形波形。這樣的快速上升或下降時間波形信號可增強TOF系統(tǒng)的相關敏感性，例如通過增強的調制對比度來表現(xiàn)。理論上，理想檢測器系統(tǒng)會展示對方波波形的100%調制對比度、以及對正弦波形的50%的調制對比度。但是，盡管從調制對比度觀點是有利的，但方波的使用可導致嚴重的TOF系統(tǒng)非線性失真，這將減少系統(tǒng)所測量的Z深度值的絕對精確度。如現(xiàn)在將描述的，本發(fā)明的各實施例有利地提供減小的諧波偏置誤差、增強的調制對比度、并帶有減小的圖像模糊以及較小概率的像素飽和、以及減小的存儲器存儲需求。本發(fā)明的各實施例較佳地將奇數(shù)N個相移階躍應用于TOF系統(tǒng)200’，較佳地應用于在系統(tǒng)光能轉換通道或路徑，或在三維接收通道或路徑中。為便于說明，圖2描繪其中在接收通道或路徑中示出相移的各實施例。假設開關260位于水平位置，例如，被耦合到模塊 240，即增益調制系數(shù)GN分配單元。以此模式，TOF系統(tǒng)振蕩器單元(例如，時鐘180、處理器160、輸入/輸出190)經(jīng)由具有調制頻率f0的發(fā)射器115生成RF調制信號。這一驅動信號被耦合到光能發(fā)射器120，該光能發(fā)射器120發(fā)射至少部分地照明一部分感興趣的目標對象20的光能。這一主動能量(主動光)中的某一些由目標對象反射回TOF系統(tǒng)200’， 在那里通過光學系統(tǒng)135，并落在陣列130中的像素檢測器或傳感器140上。光能離開系統(tǒng)200’、被目標對象20反射、并且部分地返回TOF系統(tǒng)200’所需的持續(xù)時間為飛行時間 (TOF) td。諸如150等電子設備較佳地包括諸如模擬/數(shù)字轉換、至少一個可變增益放大器以及讀出能力(例如輸入/輸出190)等功能。RF調制信號驅動激勵器115和發(fā)射器120 也同時被耦合到相移器220，并被用于解調由TOF系統(tǒng)通過每一像素檢測器所獲得的光學深度圖像。解調的示例性類型包括量子效率調制和零差檢測；例如見第6，515，740號美國專利，當開關260位于中心位置時，經(jīng)解調信號的增益較佳地是通過系數(shù)分配單元240調整而可變的，該系數(shù)分配單元240分配不同的放大器增益因子，例如增益G1、增益G2、...Gn。由此增益被修改的信號隨后在IC芯片210上或是在片外被數(shù)字化，并且可被存儲在片上(例如在存儲器215中)或片外(例如在存儲器270中)。存儲在片上或片外的可被認為是一排排的數(shù)據(jù)，較佳地是一排或兩排數(shù)據(jù)，可能在存儲器170、215的一部分中，或在片外的存儲器270中。最后，經(jīng)處理或經(jīng)預處理的信號信息可被導出為DATA’ (數(shù)據(jù)’)，以供其他設備和/或應用來使用。在優(yōu)選實施例中，分配單元240中的各種增益在幅度上可變，并且可在運行時操作期間動態(tài)地變化，以便最佳地適應此時的TOF系統(tǒng)環(huán)境。仍然參考圖2，現(xiàn)在假設開關260移至最上面的位置，耦合到集成時間修改器單元 230。各種、，、，...、條目表示不同的像素信號集成時間。(通常通過傳入光子能量在像素中生成的檢測電流被集成在電容中以形成可檢測信號。)以此操作模式，經(jīng)解調的檢測信號的集成時間通過集成時間修改器單元230可變地調整，與來自相移單元220的每一相移同步。再次，對可變集成時間被修改的檢測信號的數(shù)字化可發(fā)生在IC芯片210上或IC芯片210外?，F(xiàn)在假設開關位于最下面的位置，被耦合到數(shù)字數(shù)值單元250，該數(shù)字數(shù)值單元 250包含被表示為Di、D2、. . . Dn的數(shù)字數(shù)值，這些數(shù)字數(shù)值與來自相位單元220的相位改變一起同步操作。所生成的數(shù)據(jù)可被存儲在片上或片外，例如，在存儲器170、215、和/或存儲器270中?？梢岳斫猓伴_關”230是抽象表示，并不是可旋轉的機械物理開關。在優(yōu)選實施例中，開關230可動態(tài)地且在進行中(on-the-fly)在增益調整模式、集成時間修改模式和數(shù)字值修改模式之間切換各模式，作為最適合當前工作環(huán)境中當前運行時的TOF系統(tǒng)200’的操作。在操作的各種模式中，假設N相移相等，或至少以不相等的距離分布在相關聯(lián)的相關因素CF的一時間段內或時間段上。例如，相等分布的N個相移導致相移集合{0，1 · 2 π /N，2 · 2 π /N，· · · (k_l) · 2 π /N)}初始移位可以是任何相位值fiQ加上以上括號中的任何值。TOF像素陣列130中的每一像素140 (見圖12)將提供對應于相位CPd的輸出Z深度信息如下
權利要求
1.一種對飛行時間(TOF)系統(tǒng)自校準以減小誤差的方法，所述TOF系統(tǒng)發(fā)射已知調制頻率相位的光能、使用像素陣列來檢測從相距為距離Z的目標對象所反射的所述光能的一部分、并且通過在檢測到的所反射的光能中檢查相對于所發(fā)射的光能的相位的相移來確定深度Z，所述方法包括以下步驟(a)使用數(shù)量N個獲取來從所述像素陣列獲得檢測數(shù)據(jù)，其中，N從包括(i)偶數(shù)以及 (ii)奇數(shù)的組中選出；(b)使得所述TOF系統(tǒng)在運行時期間按從包括以下模式的組中選擇的模式來操作(i) 檢測增益修改模式、(ii)檢測集成時間修改模式、以及(iii)數(shù)字值修改模式，其中，選出的所述模式為所述TOF系統(tǒng)提供自校準數(shù)據(jù)；(c)將在一個所述模式期間所獲取的自校準數(shù)據(jù)存儲在第一和第二存儲器位置中；以及(d)在對所述TOF系統(tǒng)的運行時操作期間使用所存儲的自校準數(shù)據(jù)以減小校準誤差；其中，所述方法減小以下各項中的至少一個(i)由于較高階諧波引起的偏置誤差、(ii)由于所述TOF系統(tǒng)所發(fā)射的光能的波形中的變化引起的偏置誤差、以及(iii)由所述陣列中所述像素接收的波形中的變化引起的偏置誤差。
2.如權利要求1所述的方法，其特征在于，步驟(b)在所述TOF系統(tǒng)的運行時操作期間被動態(tài)地實現(xiàn)。
3.如權利要求1所述的方法，其特征在于，在步驟(b)，所述TOF系統(tǒng)在運行時按檢測增益修改模式來操作，其中，(i)量子效率調制以及(ii)零差檢測中的至少一個在所述TOF 系統(tǒng)內被實現(xiàn)。
4.如權利要求3所述的方法，其特征在于，所述TOF系統(tǒng)所解調的信號的增益在按相位改變的基礎上被修改，并且增益經(jīng)修改的所述經(jīng)解調的信號被數(shù)字化并被存儲在至少第一和第二存儲器排中。
5.如權利要求1所述的方法，其特征在于，在步驟(b)，所述TOF系統(tǒng)在運行時按檢測集成時間修改模式來操作，其中，(i)量子效率調制以及(ii)零差檢測中的至少一個在所述TOF系統(tǒng)內被實現(xiàn)。
6.如權利要求5所述的方法，其特征在于，所述步驟(b)TOF系統(tǒng)所解調的像素檢測信號集成時間在按相位改變的基礎上被同步地修改，并且經(jīng)解調的像素檢測信號隨后被數(shù)字化并被存儲在至少第一和第二存儲器排中。
7.如權利要求1所述的方法，其特征在于，在步驟(b)，所述TOF系統(tǒng)在運行時按數(shù)字值修改模式來操作，其中，(i)量子效率調制以及(ii)零差檢測中的至少一個在所述TOF系統(tǒng)內被實現(xiàn)。
8.如權利要求5所述的方法，其特征在于，在步驟(b)，TOF系統(tǒng)所解調的像素檢測信號在按相位改變的基礎上與預先存儲的數(shù)字數(shù)值相關聯(lián)。
9.如權利要求1所述的方法，其特征在于，相移具有從包括以下兩項的組中選出的至少一個特征(i)相移大致上彼此相等、以及(ii)相移在相關聯(lián)的相關因素的時間段上以相對于彼此至少不相等的距離分布。
10.一種飛行時間(TOF)系統(tǒng)，所述TOF系統(tǒng)是這樣的類型發(fā)射已知調制頻率相位的光能、使用像素陣列來檢測從相距為距離Z的目標對象所反射的所述光能的一部分、并且通過在檢測到的所反射的光能中檢查相對于所發(fā)射的光能的相位的相移來確定深度Z，所述TOF系統(tǒng)包括用于使用數(shù)量N個獲取來從所述像素陣列獲得檢測數(shù)據(jù)的裝置，其中，N從包括(i)偶數(shù)以及(ii)奇數(shù)的組中選出；用于使得所述TOF系統(tǒng)在運行時期間按從包括以下模式的組中選擇的模式來操作的裝置(i)檢測增益修改模式、( )檢測集成時間修改模式、以及(iii)數(shù)字值修改模式，其中，選出的所述模式為所述TOF系統(tǒng)提供自校準數(shù)據(jù)；用于將在一個所述模式期間所獲取的自校準數(shù)據(jù)存儲在第一和第二存儲器位置中的存儲器；以及用于在對所述TOF系統(tǒng)的運行時操作期間使用所存儲的自校準數(shù)據(jù)以減小校準誤差的裝置；其中，所述TOF系統(tǒng)展示對從包括以下各項的組中選出的至少一種類型的減小的偏置誤差(i)由于較高階諧波引起的偏置誤差、(ii)由于所述TOF系統(tǒng)所發(fā)射的光能的波形中的變化引起的偏置誤差、以及(iii)由所述陣列中所述像素接收的波形中的變化引起的偏 置誤差。
全文摘要
本發(fā)明公開了在飛行時間系統(tǒng)中用于三維(3D)傳感器的多相位動態(tài)校準的系統(tǒng)和方法?；谙辔坏腡OF系統(tǒng)優(yōu)選地生成快速上升和下降時間的光學波形，以便增強調制對比度，盡管將存在許多高階諧波。該系統(tǒng)優(yōu)選地按奇數(shù)個相位來操作，以便減小由于較高階諧波引起的系統(tǒng)偏置誤差，同時保持良好的調制對比度，而不會過度增加系統(tǒng)存儲器的要求。優(yōu)選地，該系統(tǒng)可隨時間和溫度自動地校準(以及補償)在TOF所生成的光能波形中較高階諧波。在光能傳輸通道內或在光能檢測通道內，可修改檢測放大器增益，和/或可變化檢測信號集成時間，和/或可采用數(shù)字值以實現(xiàn)校準以及誤差減少?？梢圆僮鲙в懈倪M的相位對比距離特征、減小的校準要求的結果TOF系統(tǒng)。
文檔編號G01S7/497GK102346248SQ201110206379
公開日2012年2月8日 申請日期2011年7月15日 優(yōu)先權日2010年7月16日
發(fā)明者G·希爾斯, T·佩里, Z·徐 申請人:微軟公司