使用查找表進行深度圖糾正的制作方法
【專利說明】使用查找表進行深度圖糾正
[0001 ] WS
[0002] 飛行時間（T 0 F)相機被越來越多地用在各種各樣的應用中，例如，人類計算機交 互、汽車應用、測量應用和機器視覺。T0F相機可用于生成深度圖，該深度圖包含與場景中的 對象離相機的深度有關(guān)的信息。該深度指的是從相機延伸的假想線上的距離投影，其中該 距離是絕對徑向距離。T0F相機處的光源照亮場景并且光由場景中的對象反射。相機接收反 射光，該反射光取決于對象到相機的距離而經(jīng)歷延遲。給定光速是已知的事實，可以生成深 度圖。由于從接收到的光信號中提取深度所要求的計算要求最小量的計算，所以T0F相機對 于實時應用而言是理想的。
[0003] 然而，飛行時間測量可能遭受多種誤差和不確定性，而這可能導致計算出的深度 圖中的誤差。例如，反射光可能經(jīng)歷來自場景內(nèi)的不同表面的多次反射，這可能導致計算出 的深度中的嚴重誤差。
[0004] 以下描述的各實施例不限于解決使用查找表進行深度圖糾正的已知方法的任何 或全部缺點的實現(xiàn)。
[0005] 挺塗
[0006] 下面呈現(xiàn)了本發(fā)明的簡要概述，以便向讀者提供基本理解。本概述不是本公開的 窮盡概覽，并且不標識本發(fā)明的關(guān)鍵/重要元素或描述本說明書的范圍。其唯一的目的是以 簡化形式呈現(xiàn)此處所公開的精選概念，作為稍后呈現(xiàn)的更詳細的描述的序言。
[0007] 描述了使用查找表進行深度圖糾正。在一個示例中，可以生成使用從照亮對象的 相機發(fā)射的光與在相機處接收到的從該對象反射的光之間的相位差來測量到對象的深度 的深度圖。在各實施例中，深度圖可能遭受收到光在被相機接收之前經(jīng)歷多次反射所導致 的誤差。在一示例中，對對象離相機的估計距離的糾正可以被計算并存儲在查找表中，該查 找表將收到光的振幅和相位映射到距離糾正。在一示例中，多個調(diào)頻中的每一者的振幅和 相位可用于訪問查找表，該查找表存儲對對象距離的糾正并且允許獲得準確的深度圖。
[0008] 通過結(jié)合附圖參考以下詳細描述，可易于領(lǐng)會并更好地理解許多附帶特征。
[0009] 附圖簡述
[0010] 根據(jù)附圖閱讀以下【具體實施方式】，將更好地理解本發(fā)明，在附圖中：
[0011] 圖1是使用調(diào)相飛行時間深度相機來生成深度圖的示意圖；
[0012] 圖2是計算深度圖的示例方法的流程圖；
[0013] 圖3是使用調(diào)相飛行時間深度相機來生成具有反射的深度圖的示意圖；
[0014] 圖4是生成包括振幅和相位信息的復度量的示例方法的流程圖；
[0015] 圖5是生成存儲器高效的查找表的示例方法的流程圖；
[0016] 圖6是生成針對多徑反射被糾正的深度圖的示例方法的流程圖；
[0017] 圖7是一示例調(diào)相飛行時間深度相機的示意圖；
[0018] 圖8示出可在其中實現(xiàn)使用查找表進行深度圖糾正的各實施例的示例性基于計算 的設備。
[0019] 在各個附圖中使用相同的附圖標記來指代相同的部件。
[0020] 詳細描述
[0021] 下面結(jié)合附圖提供的詳細描述旨在作為本發(fā)明示例的描述，并不旨在表示可以構(gòu) 建或使用本發(fā)明示例的唯一形式。本描述闡述了本發(fā)明示例的功能，以及用于構(gòu)建和操作 本發(fā)明示例的步驟的序列。然而，可以通過不同的示例來實現(xiàn)相同或等效功能和序列。
[0022] 雖然在本文中將本發(fā)明的示例描述并示出為用于使用具有雙路徑反射的數(shù)據(jù)查 找表進行深度圖糾正系統(tǒng)中實現(xiàn)，但所描述的系統(tǒng)只是作為示例而非限制來提供的。如本 領(lǐng)域技術(shù)人員將領(lǐng)會的，本發(fā)明的示例適于應用在各種各樣不同類型的深度圖糾正系統(tǒng) 中，諸如用于糾正兩個路徑以上的反射的那些深度圖糾正系統(tǒng)。
[0023] 在一實施例中，調(diào)相飛行時間深度相機可用于人類計算機交互，例如，與游戲系統(tǒng) 的交互。調(diào)相飛行時間深度相機可以近乎實時地生成深度圖，并且因此適于跟蹤人類移動， 例如，用于與電子設備(例如，游戲控制臺、電視機和其他電子設備)交互的姿勢。在其他實 施例中，調(diào)相飛行時間深度相機可用于距離測量、汽車應用（例如停車傳感器和沖突避免系 統(tǒng)）以及其中測量到對象的準確距離的其他應用。術(shù)語"相機"和"深度相機"在此處與"調(diào)相 飛行時間相機"可互換地使用。
[0024] 圖1是使用調(diào)相飛行時間深度相機來生成深度圖的示意圖。深度相機100包括光源 102和接收器104。光源102可以被布置成發(fā)射調(diào)制光。在一示例中，調(diào)制光的源102可以是非 相干光源，該非相干光源發(fā)射用頻率的信號來調(diào)制的發(fā)射光106。在一示例中，來自設備 的光可以用高頻(例如MHz范圍內(nèi)的頻率)來調(diào)制以使得照明量周期性地改變。在一示例中， 照明的周期性改變可以采用竇函數(shù)的形式。
[0025]在一示例中，調(diào)制光的源102以多個調(diào)制頻率來發(fā)射光，例如，三個調(diào)制頻率。光源 102可以被選擇為使得發(fā)射光的波長對于特定應用而言是最恰適的波長。在一示例中，光源 可以是不可見光源，例如，近紅外光源。在另一示例中，光源可以是可見光源。在一實施例 中，光源可以被選為對于它要用于的應用而言恰適波長的光源。
[0026] 調(diào)制光的源可以照亮相機視野內(nèi)的對象108并且至少一些光可以從對象向相機反 射回來。在一示例中，檢測到的對象可以是人;然而，可以生成任何對象的深度圖。反射光 110可以被接收器104檢測到。在一示例中，反射光也被調(diào)制，而由于光在相機與對象之間的 往返行程上行經(jīng)的距離所導致的延遲，反射光110可能與發(fā)射光106異相。對于接收器104的 每一像素112,可以為每一調(diào)頻確定收到信號相對于發(fā)射光的振幅和相位差。在一示例中， 可以從每一像素112處的振幅和相位度量中計算深度圖，該深度圖包括場景中的對象例如 到正在與游戲系統(tǒng)交互的用戶的強度和距離信息。
[0027] 圖2是計算深度圖的示例方法的流程圖。如上詳細描述的，調(diào)相飛行時間深度相機 處的光源照亮200-個或多個附近對象。該光源可以是以一個或多個頻率來調(diào)制的光源。從 附近對象反射的光可被接收202。例如，振幅和相位度量可以是深度相機檢測到的且在處理 器處接收到光的振幅和相位度量。處理器可以是深度相機處或另一計算設備處的處理器。 在一示例中，反射光可以用與光源相同的一個或多個頻率來調(diào)制，并且可以為深度相機接 收器中接收到光的每一像素處的每一調(diào)頻確定204收到反射光的振幅和相位。
[0028]處理器可以被布置成通過為深度相機接收器的每一像素計算距離度量來從反射 光的測得振幅和相位中計算206深度圖。在每一像素處接收到的光的振幅可用于生成強度 圖，或2D圖像?？梢詮姆瓷涔庀鄬τ诎l(fā)射光的相移來確定對象離相機的深度。給定光速是已 知常數(shù)，可以從相移（以弧度為單位)計算對象深度（以米為單位)為：
[_]
[0030] 其中c是米/秒為單位的光速，fm〇d是MHz為單位的調(diào)頻而Φ是弧度為單位的相移。 因此，可以為接收器的每一像素確定強度和距離，并且可以按照取決于接收器分辨率的分 辨率來生成深度圖，g卩，從具有10000像素的接收器處接收到的調(diào)制光生成的深度圖將具有 比從具有1000像素的接收器處接收到的調(diào)制光生成的深度圖更高的分辨率。
[0031] 數(shù)量C/(2fMd)是在僅使用單頻的情況下深度相機能夠毫無疑義地測得的最大距 離。因此，一個或多個調(diào)頻可以被選為提供對于正被使用的應用而言最恰適的距離度量。在 一個示例中，其中將深度相機用于游戲系統(tǒng)，一個或多個調(diào)頻可以被選為提供近似等效于 房間尺寸的最大明確距離度量。例如，如果所要求的最大明確距離度量在4-10米的范圍內(nèi)， 則調(diào)頻可以被選為在15-37.5MHz的范圍內(nèi)。然而，在另一示例中，多個調(diào)頻可被組合以給出 明確度量。計算出的深度圖可能遭受誤差，這些誤差可能導致距離確定中的不確定性。誤差 源是多徑反射，其中來自與目標對象不同的表面的光的一次或多次反射導致大距離失真。
[0032] 圖3是使用調(diào)相飛行時間深度相機來生成具有多徑反射的深度圖的示意圖。如上 文參考圖1所描述的，深度相機300包括光源302和接收器304。光源302可以被布置成發(fā)射調(diào) 制光。在一示例中，調(diào)制光的源302可以是非相干光源，該非相干光源發(fā)射用頻率f Md的信號 來調(diào)制的發(fā)射光306。在另一示例中，光源可以被布置成以多個調(diào)頻f^fs，...，fn來發(fā)射光。 在一個示例中，在給定時間僅