專利名稱：使用在擴展的景深內提取的三維信息進行的基于姿態(tài)的控制的制作方法
技術領域：
本發(fā)明概括地說涉及計算機系統(tǒng)領域，具體地說涉及通過在擴展的景深內提取三 維信息來進行基于姿態(tài)的控制的系統(tǒng)和方法。
背景技術：
當在成像系統(tǒng)中在擴展的景深內提取三維信息時，距場景中一點的距離可根據(jù)它 在被同時捕捉到的兩個或更多圖像中的位置來估算出。當圖像之間的三維(3D)關系已知 時，該點的3D位置可根據(jù)基本幾何關系來計算出。根據(jù)多個圖像計算空間位置所面臨的挑 戰(zhàn)(常稱為立體相關或立體深度計算)是將一點在一個圖像中的映射與它在另一個圖像中 的映射自動和準確地相關聯(lián)。這最通常是通過使從一個圖像到一個或多個其他圖像的圖像 特征相關來完成的。然而，所有立體匹配方法中的基本假設是圖像中必須存在某個可標識 的局部對比度或特征，以便將該點與它在另一個圖像中的位置相匹配。因此，當由于散焦而 在圖像中沒有局部對比度或特征時，會產(chǎn)生問題——立體匹配在圖像的焦點沒對準的區(qū)域 內不產(chǎn)生準確的結果。用于擴展圖像焦深的常規(guī)手段是減小相機鏡頭光瞳的直徑(“縮小”)。然而，兩個 副作用限制了該技術的實用性。首先，成像系統(tǒng)的靈敏度降低了與光瞳內外徑比的平方相 等的倍數(shù)。其次，最大空間頻率響應降低了與光瞳內外徑比相等的倍數(shù)，這限制了圖像中的 分辨率和對比度。因此，在常規(guī)成像系統(tǒng)中存在景深、曝光時間和總體對比度之間的權衡。 在多相機測距系統(tǒng)的情況下，凈效應將是立體深度準確度與工作范圍之間的折衷。通過引用的合并將本說明書中提到的每個專利、專利申請和/或出版物通過引用而整體合并于 此，就如同特意地且單獨地表明將每個專利、專利申請和/或出版物通過引用而合并一樣。


圖1是本發(fā)明的系統(tǒng)的一個實施例的圖；圖2是本發(fā)明的標記標簽的一個實施例的圖；圖3是本發(fā)明的一個實施例中的姿態(tài)詞匯中的姿勢的圖；圖4是本發(fā)明的一個實施例中的姿態(tài)詞匯中的取向的圖5是本發(fā)明的一個實施例中的姿態(tài)詞匯中的雙手組合的圖；圖6是本發(fā)明的一個實施例中的姿態(tài)詞匯中的取向混合的圖；圖7是圖示了本發(fā)明的系統(tǒng)的一個實施例中的操作的流程圖；圖8是該系統(tǒng)的一個實施例中的命令的例子；圖9是一個實施例下的、在擴展的景深內提取三維信息的基于姿態(tài)的控制系統(tǒng)的 框圖；圖10是一個實施例下的、在基于姿態(tài)的控制系統(tǒng)中使用的波前編碼成像系統(tǒng)的 框圖；圖11是一個實施例下的基于姿態(tài)的控制系統(tǒng)的框圖，該系統(tǒng)采用包括兩個波前 編碼相機的波前編碼成像系統(tǒng)在擴展的景深內提取三維信息；圖12是一個實施例下的、使用在擴展的景深內提取的三維信息進行的基于姿態(tài) 的控制的流程圖；圖13是一個實施例下的、在基于姿態(tài)的控制系統(tǒng)中使用的波前編碼設計過程的 框圖。
具體實施例方式下面描述使用在擴展的景深內提取的三維信息進行基于姿態(tài)的控制的系統(tǒng)和方 法。一個實施例的系統(tǒng)包括與至少一個處理器耦合的多個光學檢測器。該多個光學檢測器 對身體成像。該多個光學檢測器中的至少兩個光學檢測器包括波前編碼相機。該處理器自 動檢測身體的姿態(tài)，其中該姿態(tài)包括身體的瞬時狀態(tài)。該檢測包括聚集一瞬間的該姿態(tài)的 姿態(tài)數(shù)據(jù)。該姿態(tài)數(shù)據(jù)包括成像系統(tǒng)的景深內的身體的焦點分辨數(shù)據(jù)。該處理器將該姿態(tài) 翻譯成姿態(tài)信號，并使用該姿態(tài)信號來控制與該處理器耦合的部件。一個實施例的方法包括利用成像系統(tǒng)對身體成像，其中該成像包括產(chǎn)生身體的波 前編碼圖像。該方法自動檢測身體的姿態(tài)，其中該姿態(tài)包括身體的瞬時狀態(tài)。該檢測包括 聚集一瞬間的該姿態(tài)的姿態(tài)數(shù)據(jù)。該姿態(tài)數(shù)據(jù)包括成像系統(tǒng)的景深內的身體的焦點分辨數(shù) 據(jù)。該方法包括將該姿態(tài)翻譯成姿態(tài)信號，并響應于該姿態(tài)信號而控制與計算機耦合的部 件。在下面的描述中，詳細描述了多個特征，以便提供對這里描述的實施例的更徹底 的理解。顯然，本發(fā)明可以在沒有這些具體細節(jié)的情況下實施。在其他情況下，沒有詳細描 述眾所周之的特征。系統(tǒng)在圖1中示出了本發(fā)明的一個實施例的框圖。用戶將手101和102放在相機陣列 104A-104D的觀察區(qū)域內。相機檢測手指及手101和102的定位、取向和移動，并產(chǎn)生輸出 信號給預處理器105。預處理器105將相機輸出翻譯成姿態(tài)信號，姿態(tài)信號被提供給系統(tǒng)的 計算機處理單元107。計算機107使用輸入信息來產(chǎn)生命令以控制一個或多個屏上光標，并 將視頻輸出提供給顯示器103。盡管系統(tǒng)是以單個用戶的手作為輸入而示出的，本發(fā)明也可采用多個用戶來實 現(xiàn)。另外，代替手或除了手以外，系統(tǒng)可跟蹤用戶身體的任何一個或多個部分，包括頭、腳、 腿、臂、肘、膝等。
在所示實施例中，采用四個相機來檢測用戶的手101和102的定位、取向和移動。 應該理解，在不脫離本發(fā)明的范圍或精神的情況下，本發(fā)明對更多或更少的相機同樣適用。 另外，盡管在示例實施例中相機是對稱布置的，但在本發(fā)明中這種對稱不是必需的。在本發(fā) 明中，可以使用允許用戶的手的定位、取向和移動的任何數(shù)目或定位的相機。在本發(fā)明的一個實施例中，所用相機是能夠捕捉灰階圖像的運動捕捉相機。在一 個實施例中，所用相機是由Vicon制造的相機，如Vicon MX40相機。此相機包括相機上處 理并且能夠進行每秒1000幀的圖像捕捉。運動捕捉相機能夠檢測并定位標記。在所描述的實施例中，相機用于光檢測。在其他實施例中，相機或其他檢測器可用 于電磁的、靜磁的、RFID或任何其他合適類型的檢測。預處理器105用來產(chǎn)生三維空間點重構和骨點標簽設定。姿態(tài)翻譯器106用來將 3D空間信息和標記運動信息翻譯成命令語言，該命令語言可由計算機處理器解釋以更新顯 示器上光標的位置、形狀和動作。在本發(fā)明的一個可替選實施例中，預處理器105和姿態(tài)翻 譯器106可組合成單個裝置。計算機107可以是比如由蘋果、戴爾或任何合適的制造商制造的任何通用計算 機。計算機107運行應用并提供顯示輸出。原本來自鼠標或其他現(xiàn)有技術的輸入裝置的光 標信息現(xiàn)在來自姿態(tài)系統(tǒng)。標記標簽本發(fā)明考慮在用戶的一個或多個手指上使用標記標簽，以使得系統(tǒng)可定位用戶的 手，標識其正在觀察左手還是右手以及哪些手指是可視的。這允許系統(tǒng)檢測用戶的手的定 位、取向和移動。此信息允許多個姿態(tài)被系統(tǒng)識別并被用戶用作命令。一個實施例中的標記標簽是物理標簽，該物理標簽包括襯底(在本實施例中適合 于貼附到人手上的各個位置)和以唯一標識圖案布置在襯底表面上的離散標記。標記和相關聯(lián)的外部感測系統(tǒng)可以在允許準確、精確、迅速且持續(xù)地獲取其三維 空間位置的任何域(光域、電磁域、靜磁域等)中工作。標記本身可主動地(例如，通過發(fā) 射結構化電磁脈沖)工作或被動地(例如，通過如本實施例中的光學回射標記)工作。在每個獲取幀，檢測系統(tǒng)接收由恢復后的三維空間位置構成的聚集“云”，其包括 目前在儀器化工作空間體積內(在相機或其他檢測器的可視范圍內)的標簽上的所有標 記。每個標簽上的標記具有足夠的多樣性，并且被布置成唯一的圖案，從而檢測系統(tǒng)可執(zhí)行 以下任務(1)分割，其中每個恢復后的標記位置被分配給構成單個標簽的點的一個且僅 一個子集；( 標簽設定，其中點的每個分割后的子集被標識為特定標簽；C3)定位，其中被 標識的標簽的三維空間位置被恢復；以及(4)取向，其中被標識的標簽的三維空間取向被 恢復。如下面所述和如圖2中的一個實施例所示的那樣，通過標記圖案的特定性質，使得任 務(1)和⑵成為可能。一個實施例中的標簽上的標記被貼附于規(guī)則網(wǎng)格位置的子集。此基本網(wǎng)格如本實 施例中那樣可以是傳統(tǒng)笛卡爾類型的；或者代之以可以是某種其他的規(guī)則平面棋盤形布置 (例如，三角形/六邊形平鋪布置)。鑒于標記感測系統(tǒng)的已知空間分辨率而確立網(wǎng)格的 比例和間距，使得相鄰網(wǎng)格位置不大可能被混淆。所有標簽的標記圖案的選擇應滿足以下 約束標簽的圖案不應通過旋轉、平移或鏡像的任意組合而與任何其他標簽的圖案相一致， 標記的多樣性和布置可進一步選擇為使得容許某個規(guī)定數(shù)目的分量標記的損失(或遮蔽(occlusion))。在任何任意變換之后，應仍然不大可能將受損的模塊與任何其他模塊混淆?，F(xiàn)在參考圖2，示出了多個標簽201A-201E (左手)和202A-202E (右手)。每個標 簽都是矩形的，并且在本實施例中由5X7網(wǎng)格陣列構成。選擇矩形形狀來幫助確定標簽的 取向以及降低鏡像重復的可能性。在所示的實施例中，每個手上的每個指頭都有標簽。在 一些實施例中，每個手使用一個、兩個、三個或四個標簽可能是足夠的。每個標簽具有不同 灰階或色彩明暗的邊界。此邊界內是3X5網(wǎng)格陣列。標記(由圖2中的黑點表示)被布 置在該網(wǎng)格陣列的某些點處以提供信息。通過將每個圖案分割成“共同的”和“唯一的”子圖案，鑒定信息可以用標簽的標 記圖案進行編碼。例如，本實施例規(guī)定了兩種可能的“邊界圖案”(標記圍繞矩形邊界的分 布)。由此建立了標簽“族”~意圖用于左手的標簽由此可能都使用如標簽201A-201E中 所示的相同邊界圖案，而附著到右手手指的標簽可能被分配如標簽202A-202E中所示的不 同圖案。此子圖案被選擇為使得在標簽的所有取向上都可區(qū)分左圖案與右圖案。在所示的 例子中，左手圖案在每個角落都包括標記，并且在從角落起第二個網(wǎng)格位置包括標記。右手 圖案在僅兩個角落有標記，并且在非角落網(wǎng)格位置有兩個標記。從該圖案可以看出只要四 個標記中的任何三個是可視的，就能明確區(qū)分左手圖案與右手圖案。在一個實施例中，邊界 的色彩或陰影也可用作手型性的指示。每個標簽當然必須仍采用唯一的內部圖案，標記分布在其族的共同邊界內。在所 示的實施例中，已發(fā)現(xiàn)，內部網(wǎng)格陣列中的兩個標記足以唯一地標識十個手指中的每個，而 不會因手指的旋轉或取向而發(fā)生重復。即使標記中有一個被遮蔽，標簽的手型性和圖案的 組合也產(chǎn)生唯一的標識符。在本實施例中，網(wǎng)格位置可視地存在于剛性襯底上，來幫助執(zhí)行將每個回射標記 貼附于其預期位置的人工任務。借助彩色噴墨打印機將這些網(wǎng)格和預期標記位置精確地打 印到襯底上，這里襯底是由初始時為撓性的“收縮膜”構成的片。將每個模塊從該片切下， 然后用爐烘烤，在該熱處理過程中每個模塊經(jīng)歷精確和可重復的收縮。在此過程后的短暫 間隔內，冷卻標簽可略微變形——以模仿例如手指的縱向彎曲；此后，襯底是適當剛性的， 標記可被粘附于所指示的網(wǎng)格點。在一個實施例中，標記本身是三維的，比如借助粘合劑或其他合適的裝置貼附到 襯底的小反射球。標記的三維性可幫助對二維標記的檢測和定位。然而，在不脫離本發(fā)明 的精神和范圍的情況下，可使用任一個。目前，標簽借助Velcro或其他合適的裝置貼附到操作者佩戴的手套，或者可替選 地使用雙面膠帶直接貼附到操作者的手指。在第三實施例中，可以完全省去剛性襯底，而將 各個標記貼附(或“涂”)在操作者的手指和手上。姿態(tài)詞匯本發(fā)明考慮由手姿勢、取向、手組合和取向混合組成的姿態(tài)詞匯。還實施記號語 言來設計和傳達本發(fā)明的姿態(tài)詞匯中的姿勢和姿態(tài)。姿態(tài)詞匯是以緊湊的文本形式來表 示運動學聯(lián)動機構的瞬時‘姿勢狀態(tài)’的系統(tǒng)。所討論的聯(lián)動機構可以是生物的(例如人 手；或整個人體；或蚱蜢腿；或狐猴的具關節(jié)的脊柱)或者代之以可以是非生物的(例如機 器臂)。在任何情況下，該聯(lián)動機構可以是簡單的(脊柱)或有分支的(手)。本發(fā)明的姿 態(tài)詞匯系統(tǒng)為任何具體聯(lián)動機構建立恒定長度的串；于是，占據(jù)該串的‘字符位置’的具體ASCII字符集是聯(lián)動機構的瞬時狀態(tài)或‘姿勢’的唯一描述。手姿勢圖3圖示了使用本發(fā)明的姿態(tài)詞匯的一個實施例中的手姿勢。本發(fā)明假設手上的 五個手指中的每個都被使用。這些手指是諸如P-小指、r-無名指、m-中指、i-食指和t-拇 指的碼。圖3中定義并示出了手指和拇指的多個姿勢。姿態(tài)詞匯串為聯(lián)動機構(在此情況 下為手指)中的每個可表達的自由度確立單個字符位置。此外，每個這樣的自由度被理解 為離散化的(或‘量子化的’)，從而可通過在該串位置分配有限數(shù)目的標準ASCII字符之 一來表達其全程運動。這些自由度是相對于身體特有的原點和坐標系(手的背面，蚱蜢身 體的中心；機器臂的底座等)而表達的。因此，使用小數(shù)目的額外姿態(tài)詞匯字符位置來表達 聯(lián)動機構‘作為整體’在更全局的坐標系中的位置和取向。仍參考圖3，使用ASCII字符定義和標識多個姿勢。其中一些姿勢在拇指和非拇指 之間加以劃分。本發(fā)明在此實施例中使用編碼，從而ASCII字符本身就暗示著姿勢。然而， 無論暗示與否，任何字符都可用來表示姿勢。另外，在本發(fā)明中不必須為記號串使用ASCII 字符。在不脫離本發(fā)明的范圍和精神的情況下，可以使用任何合適的符號、數(shù)字或其他表示 法。例如，如果需要，記號可采用每手指兩位或某個其他位數(shù)。彎曲的手指由字符表示，而彎曲的拇指由“〉”表示。指向上方的直的手指或 拇指由“ 1”表示，指向某個角度的直的手指或拇指由“ \ ”或“ / ”表示。“-”表示指向正側方 的拇指，“ χ ”表示指向平面內的拇指。采用這些單獨的手指和拇指描述，可觀數(shù)目的手姿勢可使用本發(fā)明的方案來限定 和書寫。每個姿勢由如上所述順序為p-r-m-i-t的五個字符表示。圖3圖示了多個姿勢， 并且在此通過圖示和舉例對少數(shù)姿勢進行了描述。保持平坦且平行于地面的手由“ 11111” 表示。拳頭由“~~~~>”表示?！?K”符號由“111~>”表示。字符串當使用暗示性字符時提供了淺顯“易讀”的機會。著眼于快速的識別和直白 的模擬，通?？蛇x擇描述每個自由度的可能字符的集合。例如，豎條(‘I’)意在表明聯(lián)動 機構元件是‘直的’，L形(‘L’ )可表示九十度彎曲，抑揚符()可表示銳角彎曲。如 上所述，可按照需要使用任何字符或編碼。采用如這里所述的姿態(tài)詞匯串的任何系統(tǒng)都受益于串比較的高計算效率——標 識或搜索任何規(guī)定的姿勢事實上變成期望姿勢串與瞬時實際串之間的‘串比較’(例如 UNIX的‘strcmpO ’函數(shù))。此外，‘通配符’的使用為程序員或系統(tǒng)設計者提供了額外的常 見效能和功效可將其瞬時狀態(tài)對于匹配不相關的自由度規(guī)定為問號(‘？’)；可賦予額外 的通配符含義。取向除了手指和拇指的姿勢以外，手的取向也可表示信息。顯然，亦可選擇描述全局空 間取向的字符字符‘〈’、‘>’、‘~’和‘V’當以取向字符位置出現(xiàn)時可用來表示左、右、上和 下的概念。圖4圖示了組合了姿勢和取向的編碼的例子以及手取向描述符。在本發(fā)明的一 個實施例中，兩個字符位置首先規(guī)定手掌的方向，然后規(guī)定手指的方向(如果手指是直的， 不管手指的實際彎曲)。這兩個位置的可能字符表達取向的‘身體中心’記號‘-、‘ + ’、‘x’、 ‘*’、‘~’和‘V’描述中間的、側面的、前面的(向前的，離開身體)、后面的(向后的，離開身 體)、頭部的(向上的)和尾部的(向下的)。
在本發(fā)明的一個實施例的記號方案中，表示五個手指姿勢的字符的后面是冒號和 兩個取向字符，以定義完整的命令姿勢。在一個實施例中，起始位置被稱為“xyz”姿勢，其 中拇指指向正上方，食指指向前方，中指垂直于食指，當姿勢用右手作出時指向左方。這由 串 “~~xl-:-X”表示?！癤YZ-手”是利用人手的幾何結構來允許對視覺上呈現(xiàn)的三維結構進行全部六個 自由度的導航的技術。盡管該技術僅依賴于操作者的手的整體平移和旋轉——從而其手指 原則上可保持在任何期望姿勢——在本實施例中更可取的是靜態(tài)配置，其中食指指向遠離 身體的方向；拇指指向天花板；中指指向左-右。這三個手指由此描述(粗略但意圖明晰地 描述)了三維空間坐標系的三個互相正交的軸由此‘XYZ-手’。于是，進行XYZ-手導航，其中手、手指呈如上所述的姿勢并保持在操作者身體之 前、預定的‘中性位置’。以下面的自然方式實現(xiàn)對三維空間物體(或相機)的三個平移和 三個旋轉自由度的理解手的左右移動(相對于身體的自然坐標系)導致沿著計算環(huán)境的 X軸的移動；手的上下移動導致沿著受控環(huán)境的y軸的移動；手的前后移動(朝著或遠離操 作者的身體)導致該環(huán)境內的ζ軸運動。類似地，操作者的手圍繞食指的旋轉導致計算環(huán) 境的取向的‘滾動’變化；類似地，分別通過使操作者的手圍繞中指和拇指的旋轉來實現(xiàn)‘俯 仰’和‘搖擺’的變化。注意，盡管‘計算環(huán)境’這里用來指代由XYZ-手方法控制的實體——并且似乎暗 示合成的三維空間物體或者相機，但應理解該技術同樣可用于控制真實世界物體的各種 自由度例如配備有適當旋轉致動器的攝像機或攝影機的搖攝/傾斜/滾動控制。此外， 由XYZ-手姿勢提供的物理自由度可能稍微有些不精確地映射在虛擬域中在本實施例中， XYZ-手還用來提供對大的全景顯示圖像的導航訪問，從而操作者的手的左右和上下運動導 致圍繞圖像的預期左右或上下‘搖攝’，而操作者的手的前后運動映射到‘變焦’控制。在所有情況下，手的運動與所引起的計算平移/旋轉之間的耦合可以是直接的 (即，操作者的手的位置或旋轉偏移借助某個線性或非線性函數(shù)而一一映射到在計算環(huán)境 內物體或相機的位置或旋轉偏移)或間接的(即，操作者的手的位置或旋轉偏移借助某個 線性或非線性函數(shù)而一一映射到在計算環(huán)境內位置/取向的一階或更高階導數(shù)；正在進行 的積分于是實現(xiàn)計算環(huán)境的實際零階位置/取向的非靜態(tài)變化)。此后一控制手段類似于 汽車的‘氣動踏板’的使用，其中該踏板的恒定偏移或多或少導致恒定的車速。擔當真實世界XYZ-手的局部六自由度坐標原點的‘中性位置’可以(1)被確立為 空間中的絕對位置和取向(相對于比如封閉室)；(2)被確立為相對于操作者自身的固定 位置和取向(例如，在身體前方八英寸、在下巴下方十英寸、以及在側面與肩膀平面成一直 線)，而無論操作者的總體位置和‘朝向’如何；或者(3)通過操作者的有意的副動作(例如 采用由操作者的‘另一只’手作出的姿態(tài)命令，所述命令表明XYZ-手的當前位置和取向自 此以后應當被用作平移和旋轉原點)來被交互式地確立。此外，方便的是，提供圍繞XYZ-手的中性位置的‘封鎖’區(qū)(或‘死區(qū)’)，使得該 體積內的移動不映射到受控環(huán)境內的移動?？砂ㄆ渌藙輀I I I I I :VX]是手掌面朝下方且手指朝前方的扁平手(拇指平行于手指)。[I I I I ι :χ 是手掌面朝前方且手指朝天花板的扁平手。
[I I I I I -x]是手掌面朝身體中心(左手情況下為右，右手情況下為左)且手 指朝前方的扁平手。[""""--x]是單手豎起大拇指(拇指指向天花板)["" -:-χ]是模仿槍指向前方雙手組合本發(fā)明考慮單手命令和姿勢，同樣也考慮雙手命令和姿勢。圖5示出了本發(fā)明的 一個實施例中的雙手組合和相關聯(lián)的記號的例子。觀察第一個例子的記號，“完全停止”表 明其包括兩個合上的拳頭?！翱煺铡崩拥拿總€手的拇指和食指伸展，各拇指指向彼此，從而 定義球門柱形狀的框架?！胺较蚨婧陀烷T起始位置”是手指和拇指指向上方，手掌面朝屏幕。取向混合圖6圖示了本發(fā)明的一個實施例中的取向混合的例子。在所示的例子中，通過在 手指姿勢串之后將成對的取向記號括在括號內來表示該混合。例如，第一個命令示出了全 部直指的手指位置。第一對取向命令將導致手掌平坦地朝著顯示器，第二對使手旋轉到斜 向顯示器45度的斜度。盡管本例子中示出了成對的混合，但在本發(fā)明中可考慮任何數(shù)目的 混合。示例命令圖8示出了適用于本發(fā)明的多個可能的命令。盡管這里的討論有一些是關于控制 顯示器上的光標的，但本發(fā)明不限于該工作。實際上，本發(fā)明在操縱屏幕上的任何和所有數(shù) 據(jù)及部分數(shù)據(jù)、以及顯示器的狀態(tài)時有大的應用。例如，這些命令可用于在視頻媒體的回放 過程中取代視頻控制。這些命令可用來暫停、快進、倒回等。另外，可執(zhí)行命令來縮小或放 大圖像、改變圖像的取向、在任何方向上搖攝等。本發(fā)明還可代替諸如打開、關閉、保存等的 菜單命令而使用。換句話說，任何可想象的命令或工作都可用姿態(tài)實現(xiàn)。操作圖7是圖示了一個實施例中的本發(fā)明的操作的流程圖。在步驟701，檢測系統(tǒng)檢測 標記和標簽。在判定塊702，確定是否檢測到標簽和標記。如果未檢測到，系統(tǒng)返回到步驟 701。如果在步驟702檢測到標簽和標記，系統(tǒng)進入步驟703。在步驟703，系統(tǒng)根據(jù)檢測到 的標簽和標記標識手、手指和姿勢。在步驟704，系統(tǒng)標識姿勢的取向。在步驟705，系統(tǒng)標 識檢測到的一個或多個手的三維空間位置。(請注意步驟703、704和705中的任何或全部 步驟可組合為單個步驟)。在步驟706，信息被翻譯成上面描述的姿態(tài)記號。在判定塊707，確定姿勢是否有 效。這可以通過使用所產(chǎn)生的記號串進行簡單的串比較來實現(xiàn)。如果姿勢無效，系統(tǒng)返回 到步驟701。如果姿勢有效，系統(tǒng)在步驟708將記號和位置信息發(fā)送給計算機。計算機在步 驟709確定為響應于姿態(tài)而要采取的合適動作，并相應地在步驟710更新顯示器。在本發(fā)明的一個實施例中，步驟701-705是通過相機上處理器實現(xiàn)的。在其他實 施例中，如果需要，該處理可由系統(tǒng)計算機實現(xiàn)。分析和翻譯系統(tǒng)能夠“分析”和“翻譯”被底層系統(tǒng)恢復的低級姿態(tài)所構成的流，并將那些經(jīng) 分析和翻譯的姿態(tài)變成可用于控制大范圍的計算機應用和系統(tǒng)的命令或事件數(shù)據(jù)所構成 的流。這些技術和算法可包含在由計算機代碼構成的系統(tǒng)中，該系統(tǒng)既提供實施這些技術的引擎也提供構建對該引擎的能力進行利用的計算機應用的平臺。一個實施例致力于在計算機接口中實現(xiàn)人手的豐富姿態(tài)使用，但也能夠識別由其 他身體部分(包括但不限于臂、軀干、腿和頭)以及各種各樣的非手的物理工具(靜態(tài)的有 關節(jié)的)作出的姿態(tài)，所述非手的物理工具包括但不限于卡鉗、兩角規(guī)、撓性彎曲合攏器以 及各種形狀的指點裝置?？砂凑招枰獙擞浐蜆撕炇┘佑诳捎刹僮髡邤y帶和使用的物品和 工具。這里所述的系統(tǒng)合并了使得構建在可被識別和作用于的姿態(tài)的范圍方面豐富的 姿態(tài)系統(tǒng)成為可能的多個創(chuàng)新，同時提供向應用中的簡單集成。一個實施例中的姿態(tài)分析和翻譯系統(tǒng)的組成如下1)規(guī)定(為用在計算機程序中而編碼)如下幾個不同聚集水平的姿態(tài)的簡潔有效 的方式a.單只手的“姿勢”(手的各部分相對于彼此的配置和取向)單只手在三維空間 中的取向和位置。b.雙手組合，對于任一只手，考慮姿勢、位置或兩者。c.多人組合；系統(tǒng)可跟蹤多于兩只的手，因此多于一個的人可協(xié)同地(或競爭地， 在游戲應用的情況下)控制目標系統(tǒng)。d.按順序的姿態(tài)，其中姿勢被組合成一系列；我們稱它們?yōu)椤盎顒拥摹弊藨B(tài)。e. “語義圖”姿態(tài)，其中操作者在空間中描繪形狀。2)用于注冊與給定應用環(huán)境相關的上述每個種類中的具體姿態(tài)的編程技術。3)用于分析姿態(tài)流以使得經(jīng)注冊的姿態(tài)可被標識且封裝了這些姿態(tài)的事件可被 傳送給相關應用環(huán)境的算法。具有組成要素(Ia)到(If)的規(guī)定系統(tǒng)(1)為利用這里所述的系統(tǒng)的姿態(tài)分析和 翻譯能力提供了基礎。單手“姿勢”被表示為i)手指與手背之間的相對取向所構成的串，ii)被量子化成小數(shù)目的離散狀態(tài)。使用相對聯(lián)接取向使得這里所述的系統(tǒng)可避免與不同的手大小和幾何結構相關 聯(lián)的問題。本系統(tǒng)不要求“操作者校準”。另外，將姿勢規(guī)定為相對取向的串或集合使得可 通過將姿勢表示法與另外的濾波器和規(guī)定相結合而容易地創(chuàng)建更復雜的姿態(tài)規(guī)定。使用小數(shù)目的用于姿勢規(guī)定的離散狀態(tài)使得簡潔地規(guī)定姿勢以及使用多種基本 跟蹤技術(例如，使用相機的被動光學跟蹤、使用發(fā)光點和相機的主動跟蹤、電磁場跟蹤 等)來確保準確的姿勢識別成為可能?？刹糠?或最小限度地)規(guī)定(Ia)到(If)的每個種類中的姿態(tài)，以使得非關鍵的 數(shù)據(jù)被忽略。例如，其中兩個手指的位置明確且其他手指位置不重要的姿態(tài)可由這樣的單 個規(guī)定來表示其中給出兩個相關手指的操作位置，且在同一個串內，為其他手指列出“通 配符”或一般的“忽略這些”指示。這里所述的用于姿態(tài)識別的所有創(chuàng)新(包括但不限于多層化規(guī)定技術、相對取向 的使用、數(shù)據(jù)的量子化以及對每一級的部分或最小規(guī)定的允許)超越人的姿態(tài)的規(guī)定而推 廣到使用其他身體部分和“人造”工具和物體作出的姿態(tài)的規(guī)定。
用于“注冊姿態(tài)” O)的編程技術由限定的一組應用編程接口調用組成，其允許程 序員限定引擎應使哪些姿態(tài)可為運行的系統(tǒng)的其他部分所用。這些API例程可以在應用建立時間使用，從而創(chuàng)建在運行的應用的整個生命期使 用的靜態(tài)接口定義。它們還可以在運行的過程中使用，從而允許接口特性在運行中改變。接 口的該實時變更使得可以i)構建復雜的環(huán)境和條件控制狀態(tài)，ii)向控制環(huán)境動態(tài)地添加滯后，和iii)創(chuàng)建使得用戶能夠變更或擴展運行的系統(tǒng)本身的接口詞匯的應用。用于分析姿態(tài)流(3)的算法將在(1)中規(guī)定并在(2)中注冊的姿態(tài)與輸入的低級 姿態(tài)數(shù)據(jù)相比較。當經(jīng)注冊的姿態(tài)的匹配被識別出時，表示匹配的姿態(tài)的事件數(shù)據(jù)被堆棧 上傳到運行的應用。在本系統(tǒng)的設計中期望高效的實時匹配，將規(guī)定的姿態(tài)處理為被盡可能快地處理 的可能性的樹。另外，在內部使用以識別規(guī)定的姿態(tài)的簡單比較操作符也被暴露以供應用程序員 使用，使得進一步的比較(例如，復雜或復合姿態(tài)中的靈活的狀態(tài)檢查)甚至可以從應用環(huán) 境內發(fā)生。識別“鎖定”語義是這里所述系統(tǒng)的創(chuàng)新。這些語義由注冊API (2)暗示(并且， 對于較小的范圍，嵌入在規(guī)定詞匯(1)內)。注冊API調用包括，i) “進入”狀態(tài)通知符和“持續(xù)”狀態(tài)通知符，和ii)姿態(tài)優(yōu)先級說明符。如果姿態(tài)已被識別出，則其“持續(xù)”狀態(tài)優(yōu)先于相同或較低優(yōu)先級的姿態(tài)的所有 “進入”狀態(tài)。進入和持續(xù)狀態(tài)之間的這種區(qū)別顯著增大了感知到的系統(tǒng)可用性。這里所述的系統(tǒng)包括用于面對真實世界數(shù)據(jù)誤差和不確定性的魯棒操作的算法。 來自低級跟蹤系統(tǒng)的數(shù)據(jù)可能是不完整的(由于多種原因，包括光學跟蹤中的標記遮蔽、 網(wǎng)絡掉線或處理滯后等)。取決于丟失數(shù)據(jù)的量和上下文，丟失數(shù)據(jù)由分析系統(tǒng)標記，并被插入到“最后已知 的”或“很可能的”狀態(tài)中。如果關于特定姿態(tài)成分(例如，特定關節(jié)的取向)的數(shù)據(jù)丟失，但該特定成分的 “最后已知的”狀態(tài)可被分析為在物理上是可能的，則系統(tǒng)在其實時匹配時使用此最后已知 的狀態(tài)。相反，如果最后已知的狀態(tài)被分析為在物理上是不可能的，則系統(tǒng)后退到該成分 的“最佳猜測范圍”，并在其實時匹配時使用此合成數(shù)據(jù)。仔細地設計了這里所述的規(guī)定和分析系統(tǒng)以支持“手型性不可知論”，從而對于多 手姿態(tài)，任一只手都被允許滿足姿態(tài)要求。一致的虛擬/顯示和物理空間系統(tǒng)可提供這樣的環(huán)境，其中描繪在一個或多個顯示裝置(“屏幕”)上的虛擬空 間被處理為與系統(tǒng)的一個或多個操作者所處的物理空間相一致。這里描述了這種環(huán)境的一 個實施例。該當前實施例包括固定位置處的三個由投影儀驅動的屏幕，由單個臺式計算機 驅動，并使用這里所述的姿態(tài)詞匯和接口系統(tǒng)來控制。然而，請注意所描述的技術支持任何數(shù)目的屏幕；這些屏幕可以是移動的(而非固定的)；這些屏幕可由很多獨立的計算機同 時驅動；且整個系統(tǒng)可通過任何輸入裝置或技術來控制。本公開中描述的接口系統(tǒng)應具有確定屏幕在物理空間中的尺度、取向和位置的方 法。給定此信息，系統(tǒng)能夠將這些屏幕所處(且系統(tǒng)的操作者所處)的物理空間作為投影 動態(tài)地映射到在系統(tǒng)上運行的計算機應用的虛擬空間中。作為該自動映射的一部分，系統(tǒng) 還根據(jù)由系統(tǒng)掌管的應用的需要、以多種方式翻譯這兩個空間的比例、角度、深度、尺度和 其他空間特性。物理和虛擬空間之間的這種連續(xù)翻譯使得多種接口技術的一致和普遍使用成為 可能，這些接口技術在現(xiàn)有的應用平臺上難以實現(xiàn)或者必須針對在現(xiàn)有平臺上運行的每個 應用個別地實施。這些技術包括(但不限于)1)使用“精確指點”——在姿態(tài)接口環(huán)境中使用手，或使用物理指點工具或裝 置——作為普遍和自然的接口技術。2)對屏幕的移動或重新定位的自動補償。3)圖形渲染，其依操作者位置而變，例如模擬視差位移以增強深度感。4)在屏幕顯示中包括物理物體——考慮真實世界位置、取向、狀態(tài)等。例如，站在 大的不透明屏幕前方的操作者既能看到應用圖形也能看到在屏幕后方(并且可能正在移 動或改變取向)的比例模型的真實位置的表示。重要的是，注意精確指點不同于在基于鼠標的窗口接口和大多數(shù)其他現(xiàn)代系統(tǒng)中 使用的抽象指點。在那些系統(tǒng)中，操作者必須學習管理虛擬指點器和物理指點裝置之間的 翻譯，并且必須在這兩者之間有認知力地映射。通過比較，在本公開中所述的系統(tǒng)中，無論從應用還是用戶角度，虛擬和物理空間 之間沒有差異(除了虛擬空間更適合于數(shù)學變換)，因此操作者不需要有認知力的翻譯。由這里所述的實施例提供的精確指點的最接近模擬是觸摸屏(例如，可在很多 ATM機上看到)。觸摸屏提供了屏幕上的二維顯示空間與屏幕表面的二維輸入空間之間的 一一映射。以類似的方式，這里所述的系統(tǒng)提供了顯示在一個或多個屏幕上的虛擬空間與 操作者所處的物理空間之間的靈活映射(可能但不必須是一一映射)。不管模擬的實用性 如何，都值得理解該“映射方法”擴展到三維、任意大的架構環(huán)境以及多個屏幕不是無關緊 要的。除了這里所述的部件，系統(tǒng)還可執(zhí)行實現(xiàn)環(huán)境的物理空間與每個屏幕上的顯示空 間之間的連續(xù)的系統(tǒng)級映射(可能已通過旋轉、平移、比例縮放或其他幾何變換加以修改) 的算法。渲染堆棧，其獲取計算對象和映射，并輸出虛擬空間的圖形表示。輸入事件處理堆棧，其獲取來自控制系統(tǒng)的事件數(shù)據(jù)(在本實施例中，是來自系 統(tǒng)和鼠標輸入的姿態(tài)和指點數(shù)據(jù))，并將來自輸入事件的空間數(shù)據(jù)映射到虛擬空間中的坐 標。然后，經(jīng)翻譯的事件被傳送到運行的應用。“膠層”，其允許系統(tǒng)掌管在局域網(wǎng)上的若干計算機之間運行的應用。使用在擴展 的景深內提取的三維信息進行的基于姿態(tài)的控制圖9是一個實施例下的、包括在擴展的景深內提取三維信息的成像系統(tǒng)的基于姿 態(tài)的控制系統(tǒng)900的框圖。用戶將手101和102放在相機陣列904A-904D的觀察區(qū)域內。陣列904A-904D中的至少兩個相機是波前編碼相機，其中每個都包含包括波前編碼掩模(這 里也稱為“非球面光學元件”或“光學元件”)的波前編碼成像系統(tǒng)元件，如下面詳細所述。 用戶的手和/或手指可能包括或可能不包括上述標記標簽。相機904A-904D檢測或捕捉包括手指和手101和102的定位、取向和移動的手指 和手101和102的圖像，并產(chǎn)生輸出信號給預處理器905。預處理器905可包括或耦合到波 前編碼數(shù)字信號處理908，如下所述?？商孢x地，波前編碼數(shù)字信號處理可包含在系統(tǒng)900 的一個或多個其他部件中、耦合到該一個或多個其他部件或者分布在該一個或多個其他部 件當中。波前編碼數(shù)字信號處理908被配置成極大地擴展成像系統(tǒng)的景深。預處理器905將相機輸出翻譯成姿態(tài)信號，姿態(tài)信號被提供給系統(tǒng)的計算機處理 單元907。在這樣做時，預處理器905產(chǎn)生三維空間點重構和骨點標簽設定。姿態(tài)翻譯器 906將3D空間信息和標記運動信息翻譯成命令語言，命令語言可由計算機處理器解釋以更 新顯示器上光標的位置、形狀和動作。計算機907使用輸入信息來產(chǎn)生命令以控制一個或 多個屏上光標，并將視頻輸出提供給顯示器903。一個可替選實施例的預處理器905、姿態(tài)翻譯器906和計算機907中的一個或多個 可組合成單個裝置。無論系統(tǒng)配置如何，預處理器905、姿態(tài)翻譯器906和計算機907中的 每個的功能和/或功能性都是如上面參照圖1-8和其他地方所描述的。此外，盡管本例子示出了用于檢測用戶的手101和102的定位、取向和移動的四個 相機，但本實施例不限于此。系統(tǒng)配置可根據(jù)系統(tǒng)或工作站配置的需要而包括兩個或更多 相機。另外，盡管在示例實施例中相機是對稱布置的，但在本發(fā)明中這種對稱不是必需的。 因此，在下文中可以使用允許用戶的手的定位、取向和移動的任何定位的至少兩個相機。盡管系統(tǒng)是以單個用戶的手作為輸入而示出的，系統(tǒng)也可跟蹤任何數(shù)目的多個用 戶的手。另外，代替手或除了手以外，系統(tǒng)可跟蹤用戶身體的任何一個或多個部分，包括頭、 腳、腿、臂、肘、膝等。此外，系統(tǒng)可跟蹤任何數(shù)目的有生命的或無生命的物體，而不限于跟蹤 身體的部分。特別而言，對于定位光學傳感器使之蓄意地或潛在地接近操作者的手(或被等效 地跟蹤的器具)的姿態(tài)分析系統(tǒng)，由此察覺到的要素通常將涵蓋整個自然順序的操作者運 動、相對距離的幾個或許多量級。持續(xù)焦點分辨地記錄橫越這一范圍的距離的事件超出了 傳統(tǒng)光學成像系統(tǒng)的能力。然而，這些接近中距離的幾何在為了宏觀裝置和產(chǎn)品設計的目 的而跟蹤物體或操作者的情況下常常是所期望的。因此，值得提供在預期的操作者活動范 圍內確保局部對比度或突出特征穩(wěn)定性的技術(為此目的，傳統(tǒng)光學是不夠的)。當描述在這里的系統(tǒng)中在擴展的景深內提取三維信息時，距場景中一點的距離可 根據(jù)它在被同時捕捉到的兩個或更多圖像中的位置來估算出。當圖像之間的三維(3D)關 系已知時，該點的3D位置可根據(jù)基本幾何關系來計算出。根據(jù)多個圖像計算空間位置所面 臨的挑戰(zhàn)(常稱為立體相關或立體深度計算)是將一點在一個圖像中的映射與它在另一個 圖像中的映射自動和準確地相關聯(lián)。這最通常是通過使從一個圖像到一個或多個其他圖像 的圖像特征相關來完成的。然而，所有立體匹配方法中的基本假設是圖像中必須存在某個 可標識的局部對比度或特征，以便將該點與它在另一個圖像中的位置相匹配。因此，當由于 散焦而在圖像中沒有局部對比度或特征時，會產(chǎn)生問題——立體匹配在圖像的焦點沒對準 的區(qū)域內不產(chǎn)生準確的結果。
用于擴展圖像焦深的常規(guī)方法是減小相機鏡頭光瞳的直徑(“縮小”)。然而，兩個 副作用限制了該技術的實用性。首先，成像系統(tǒng)的靈敏度降低了與光瞳內外徑比的平方相 等的倍數(shù)。其次，最大空間頻率響應降低了與光瞳內外徑比相等的倍數(shù)，這限制了圖像中的 分辨率和對比度。因此，在常規(guī)成像系統(tǒng)中存在景深、曝光時間和總體對比度之間的權衡。 在多相機測距系統(tǒng)的情況下，凈效應將是立體深度準確度與工作范圍之間的折衷。增大景深而不縮小鏡頭的一種替代方法是在相機鏡頭的光瞳中引入規(guī)定要求的 相位掩模。利用恰當選擇的相位函數(shù)，可通過對在傳感器上捕捉到的圖像進行后續(xù)電子處 理來恢復擴展的景深。這種被稱作波前編碼的技術通常提供景深、相機動態(tài)范圍和信噪比 之間的權衡。波前編碼使得針對具體應用優(yōu)化相機參數(shù)成為可能。不需要很高的動態(tài)范圍 且照明在用戶控制之下的應用(比如這里所述的姿態(tài)識別)可大大受益于波前編碼，從而 在指定的空間體積內實現(xiàn)高的準確度。如上所述，一個實施例的系統(tǒng)包括使用多個波前編碼相機的經(jīng)處理的輸出來確定 場景內選定物體的范圍和位置的技術。由波前編碼產(chǎn)生的擴展的景深可用于多種應用，包 括姿態(tài)識別和一大批其他基于任務的成像工作，以顯著提高它們的性能。盡管要求最少兩 個相機，但在該實施例中可使用的相機的數(shù)目沒有上限。場景提取可包括用于通過兩個或 更多相機進行范圍提取的多種處理技術(比如相關)中的任一種。這里所述的實施例包括 在處理后產(chǎn)生擴展的景深的所有波前編碼相位函數(shù)及其對應的解碼內核。在波前編碼成像系統(tǒng)中使用的波前編碼是使用廣義非球面光學(裝置)和數(shù)字信 號處理來大大提高成像系統(tǒng)的性能和/或降低成像系統(tǒng)的成本的一般技術。所采用的該類 非球面光學(裝置)產(chǎn)生對散焦相關偏差很不敏感的光學成像特性。銳利和清晰的圖像不 直接從該光學(裝置)產(chǎn)生，然而，施加于采樣圖像的數(shù)字信號處理產(chǎn)生銳利和清晰的、同 樣對散焦相關偏差不敏感的最終圖像。波前編碼用來大大提高圖像系統(tǒng)的性能，同時還減小成像系統(tǒng)的大小、重量和成 本。波前編碼將非旋轉對稱的非球面光學元件與數(shù)字信號處理以基本的方式相結合，來極 大地擴展成像系統(tǒng)的景深。利用波前編碼，例如對于給定的孔徑大小或F#，成像系統(tǒng)的景 深或焦深可相對于傳統(tǒng)成像系統(tǒng)增大十倍或更多。一個實施例的波前編碼光學元件是相位 面，因而不吸收光或增加曝光或照明要求。傳統(tǒng)成像技術在不產(chǎn)生極大光功率損耗(比如 縮小孔徑時必產(chǎn)生極大光功率損耗)的情況下不可能實現(xiàn)這種擴展景深的性能。增大的景 深/焦深還通過控制散焦相關偏差來使得成像系統(tǒng)能夠在物理上更便宜、更小或更輕，而 散焦相關偏差傳統(tǒng)上是通過添加透鏡元件或提高透鏡復雜性來控制的?？衫貌ㄇ熬幋a控 制的散焦相關偏差包括色差、Petzval曲率、散光、球差以及溫度相關散焦。作為混合成像方法的波前編碼將光學和電子學相結合來增大景深并減少光學部 件的數(shù)目、制造公差和整個系統(tǒng)成本。圖10是一個實施例下的、在基于姿態(tài)的控制系統(tǒng)中 使用的波前編碼成像系統(tǒng)1000的框圖。波前編碼成像系統(tǒng)1000的光學部分1001是常規(guī) 光學系統(tǒng)或相機，但被修改為在孔徑光闌附近放置波前編碼光學元件1002。添加該編碼光 學元件導致圖像具有對散焦不敏感的、專門化的鮮明的模糊或點擴散函數(shù)(point spread function)。施加于采樣圖像的數(shù)字處理1003產(chǎn)生對散焦效應很不敏感的、銳利的和清晰 的圖像1004。圖11是一個實施例下的基于姿態(tài)的控制系統(tǒng)1100的框圖，控制系統(tǒng)1100采用包括兩個波前編碼相機的波前編碼成像系統(tǒng)在擴展的景深內提取三維信息。如上面參照圖10 所述，系統(tǒng)1100包括至少兩個波前編碼相機1101和1102。處理器被耦合以接收波前編碼 相機1101和1102的輸出并對相機輸出執(zhí)行數(shù)據(jù)處理。數(shù)據(jù)處理包括例如去卷積1120和 范圍提取1130，并產(chǎn)生擴展的焦點范圍圖1140。在波前編碼系統(tǒng)1100中，系統(tǒng)的光學部分(例如波前編碼相機1101和1102)對 所得到的圖像進行“編碼”以產(chǎn)生中間圖像1110。由于波前編碼元件(例如圖10中的元件 1002)有目的地模糊了任何圖像中的所有點，所以中間圖像1110呈現(xiàn)散焦。在這種中間圖 像1110中，視野內幾乎所有的物體都是模糊的，但它們是同等模糊的。相比之下，傳統(tǒng)光學 (裝置)通常形成具有依賴于距場景中每個物體的距離的可變模糊函數(shù)的圖像。為了從中間波前編碼圖像1110產(chǎn)生銳利和清晰的圖像，使用電子學(例如，波前 編碼數(shù)字信號處理)、通過去除依賴于系統(tǒng)的圖像模糊來對模糊的中間圖像進行處理或“解 碼” 1120和1130?？赏ㄟ^軟件或利用專門化的硬件方案來實時地執(zhí)行數(shù)字濾波。如上面參照圖10所述，一個實施例的系統(tǒng)光學(裝置)包括具有執(zhí)行波前編碼 功能的至少一個額外光學元件的常規(guī)部件。該元件被放置在光路中，通常在系統(tǒng)的孔徑光 闌附近以最小化漸暈。對檢測到的圖像執(zhí)行的信號處理依賴于光學(裝置)、波前編碼元件 以及數(shù)字檢測器的一階特性。盡管也可使用衍射表面，一般的波前編碼元件是非旋轉對稱的和光滑的。該元件 可以是單獨的部件，或者它可通過添加廣義非球面表面而被集成到傳統(tǒng)透鏡元件上。所有 編碼元件都使光改變方向，從而除了軸上光線以外，沒有光線射向傳統(tǒng)幾何焦點。實際上， 沒有兩個光線沿著光軸射向同一點。系統(tǒng)在任何像平面都不會形成清晰的圖像。波前編碼成像系統(tǒng)的光學部分的主要作用是使得所得到的圖像對焦點相關偏 差(如散焦、球差、散光或場曲)不敏感。中間模糊圖像對物體或成像系統(tǒng)的包含散焦偏 差的變化不敏感或不隨之變化。從系統(tǒng)分析的觀點來看，波前編碼系統(tǒng)的調制傳遞函數(shù) (modulation transfer function) (MTF)和點擴散函數(shù)(PSF)不關于散焦而變化。盡管來自波前編碼系統(tǒng)的中間圖像的MTF表現(xiàn)出隨散焦變化很少，但是相對于焦 點對準的傳統(tǒng)系統(tǒng)而言，該MTF的確具有降低的功率。由于未使用變跡法(apodization)， 所以保持了總的光功率。采用數(shù)字濾波或圖像重構處理來形成清晰的圖像。這些最終MTF 對散焦很不敏感一因此，波前編碼成像系統(tǒng)具有很大的景深。類似地，來自波前編碼系統(tǒng) 的中間PSF不同于傳統(tǒng)系統(tǒng)PSF，但它們隨散焦的變化而變化非常少。再次參考圖10，專用非球面光學元件被放置在常規(guī)成像系統(tǒng)的孔徑光闌處或其附 近，以形成波前編碼成像系統(tǒng)。此光學元件以這樣的方式修改成像系統(tǒng)即，使得所得到的 PSF和光學傳遞函數(shù)(OTF)對一定范圍的散焦或散焦相關偏差不敏感。然而，該PSF和OTF 與利用高質量的焦點對準的成像系統(tǒng)獲得的PSF和OTF不相同。使得成像系統(tǒng)對散焦偏差 不敏感的過程產(chǎn)生具有專門化的鮮明的模糊的圖像；該模糊利用波前編碼數(shù)字信號處理來 去除。例如來自常規(guī)成像系統(tǒng)的PSF隨散焦急劇地變化，而來自波前編碼成像系統(tǒng)的 PSF表現(xiàn)出隨散焦幾乎沒有明顯變化。施加于散焦的傳統(tǒng)成像系統(tǒng)用以去除散焦模糊的數(shù) 字處理依賴于圖像的不同區(qū)域中存在的散焦的量而進行處理。在很多情況下，散焦的量是 未知的并且難以計算。另外，散焦的傳統(tǒng)成像系統(tǒng)的MTF常?？赡馨慊蚩罩?，這進一步增大了數(shù)字處理的難度。相比之下，來自波前編碼系統(tǒng)的PSF隨散焦的恒定性質正是消除 數(shù)字處理對散焦的依賴性所需要的。施加于電荷耦合器件(CCD)或互補金屬氧化物半導體 (CMOS)檢測到的圖像的數(shù)字處理獨立于散焦和被成像的實際場景。另外，焦點對準和焦點 沒對準的波前編碼成像系統(tǒng)的MTF都不包含零或空值，從而允許高質量的最終圖像。用于擴展景深的波前編碼能夠使通常無法接受傳統(tǒng)方法(即，縮小孔徑)的成像 應用增值。對照明水平、曝光時間或空間分辨率的約束常常限制了現(xiàn)有光學方法的應用。通 過使用波前編碼，在不犧牲曝光時間或要求大量照明的情況下，應用可受益于散焦相關問 題的減少。如上所述，波前編碼成像系統(tǒng)包括對所得到的圖像的數(shù)字信號處理和非常規(guī)光學 設計。所使用的信號處理依賴于具體光學系統(tǒng)。波前編碼光學(裝置)依賴于待使用的信 號處理的類型和量。由于光學(裝置)和信號處理是緊密耦合的，所以其中光學和數(shù)字部件 在設計過程中被聯(lián)合優(yōu)化的系統(tǒng)自然預期會有最佳的性能。光學部件被配置成使光學(裝 置)隨散焦效應的變化或對散焦效應的敏感度最小化以及實現(xiàn)高效的信號處理。數(shù)字部件 被設計成使算法復雜性、處理時間以及數(shù)字處理對圖像噪聲的影響最小化。圖12是一個實施例下的、使用在擴展的景深內提取的三維信息進行的基于姿態(tài) 的控制的流程圖。一個實施例的基于姿態(tài)的控制包括利用成像系統(tǒng)對身體成像1202。成像 1202包括產(chǎn)生身體的波前編碼圖像。一個實施例的基于姿態(tài)的控制包括自動檢測1204身 體的姿態(tài)，該姿態(tài)包括身體的瞬時狀態(tài)。檢測1204包括聚集一瞬間的該姿態(tài)的姿態(tài)數(shù)據(jù)。 該姿態(tài)數(shù)據(jù)包括成像系統(tǒng)的景深內的身體的焦點分辨數(shù)據(jù)。一個實施例的基于姿態(tài)的控制 包括將姿態(tài)翻譯1206成姿態(tài)信號。一個實施例的基于姿態(tài)的控制包括響應于姿態(tài)信號而 控制1208與計算機耦合的部件。用于一個實施例的波前編碼的基本例程可包括對通過典型球面和非球面表面以 及一般波前編碼表面形式的光線進行追蹤的光線追蹤程序。光線追蹤程序用來計算出射光 瞳和優(yōu)化給定的一組光學和數(shù)字品質(merit)函數(shù)或操作數(shù)。圖13是一個實施例下的、在 基于姿態(tài)的控制系統(tǒng)中使用的波前編碼設計過程1300的框圖。該設計的輸出包括但不限 于傳統(tǒng)光學表面、材料、厚度和間距；波前編碼表面的參數(shù)；和數(shù)字濾波器系數(shù)?，F(xiàn)在參照圖13描述一般的光學/數(shù)字設計環(huán)路。光線追蹤程序1302時通過光學 表面的光線進行追蹤，以計算出射光瞳光程差(OPD) 1304并優(yōu)化給定的一組光學和數(shù)字品 質函數(shù)或操作數(shù)。至光線追蹤程序1302的輸入包括例如光學表面、厚度和工作條件(波長、 視野、溫度范圍、樣本物體圖像等)。在1306計算或產(chǎn)生0TF，并在1308添加與檢測器幾何 結構相關的像素0TF。在1310計算采樣OTF和PSF。針對基于采樣PSF選擇的處理算法，產(chǎn) 生1312數(shù)字濾波器系數(shù)。該處理接下來形成用于濾波器的品質因數(shù)(例如，波前編碼操作 數(shù))，該品質因數(shù)是基于最小化以下二者的采樣PSF和MTF因混疊、因溫度變化、隨色彩、 隨場角、通過焦點等的變化；諸如處理量、處理形式、處理相關圖像噪聲、數(shù)字濾波器噪聲增 益等的數(shù)字處理參數(shù)。通過優(yōu)化例程將波前編碼操作數(shù)與傳統(tǒng)光學操作數(shù)Geidel波前偏 差、RMS波前誤差等)相結合以修改光學表面。操作返回到通過傳統(tǒng)光線追蹤來產(chǎn)生1302 出射光瞳光程差(OPD)。使用理論計算出的波前編碼表面形式作為光學優(yōu)化的出發(fā)點。在歸一化坐標中給 出可矩形分離的表面形式的一個一般族
S(x) = I β |sign(x) |x| °其中對于 χ > 0, sign (χ) = +1 ；對于 χ 彡 0，sign (χ) = -1。指數(shù)參數(shù)α控制散焦范圍內的MTF的高度，參數(shù)β控制對散焦的敏感度。通常， 增大參數(shù)β降低了對散焦的敏感度，同時降低了 MTF的高度并增大了所得到的PSF的長度。用于重構中間圖像并產(chǎn)生最終圖像的濾波處理可能施加計算負擔。取決于由編碼 處理引入的景深增強以及光學系統(tǒng)，圖像重構所需的濾波器內核的大小可多達70X70個 系數(shù)。通常，景深擴展越大，則濾波器內核就越大，噪聲特性惡化或噪聲增益也越大。此外， 由于圖像中的每個像素因波前編碼而模糊，所以每個像素需要被濾波；因此，較大的圖像相 對于較小的圖像可能需要較多的計算。對于接近千萬像素的圖像大小，高效的計算方案被 用于實際的和經(jīng)濟的系統(tǒng)。計算實施(比如可矩形分離的濾波器近似)可幫助減小內核尺 度。例如所使用的波前編碼元件可具有如下式所述的可矩形分離的立方相形式S (x, y) = a (x3+y3)對模糊圖像濾波以去除模糊實質上是根據(jù)空間頻率施加放大和相移。該放大既增 大了最終圖像中的信號也增大了最終圖像中的噪聲。對于很大(例如超過10倍)的景深 增強，波前編碼系統(tǒng)中的噪聲增益可為四倍或五倍。對于二到四倍的較適中的景深增強，噪 聲增益通常為二倍或更小。對于不相關的高斯噪聲(對于大多數(shù)圖像的良好假設)，噪聲增益為濾波器系數(shù) 的RMS值。對于景深擴展太大以至于不能產(chǎn)生適當小的噪聲增益值的系統(tǒng)，減小數(shù)字濾波 器的分辨率或空間帶寬可降低噪聲增益。降低最終圖像的對比度也能減小增大的噪聲的總 體影響。專門化的非線性濾波是去除波前編碼圖像中的噪聲的最佳方案。由于一個實施例中用于形成MTF和PSF的波前編碼光學元件是可矩形分離的，所 以所使用的信號處理也可以是可矩形分離的?？删匦畏蛛x的處理可以使所需計算量降低一 個或多個量級。由于數(shù)字濾波是利用空間卷積進行的，所以一個實施例的計算方法包括用 濾波器系數(shù)對數(shù)據(jù)進行比例縮放的一系列乘法；以及遍及整個內核將所有經(jīng)比例縮放的數(shù) 據(jù)值相加的求和。該計算的基本單元是乘-累加運算。用于大的景深增大的典型2D波前 編碼濾波器內核可為30X30個系數(shù)。該濾波器的可矩形分離的版本包含長度為30個系數(shù) 的行濾波器和高度為30個系數(shù)的列濾波器，或者包含60個總系數(shù)。盡管波前編碼元件在 設計上可以是可矩形分離的，但它們不限于此，高度偏差的系統(tǒng)可使用不可分離的濾波。通過將光學成像技術與電子濾波相結合，波前編碼技術可改善各種各樣的成像系 統(tǒng)的性能。高性能成像系統(tǒng)的性能提升可包括在不犧牲光收集或空間分辨率的情況下實現(xiàn) 很大的景深。較低成本成像系統(tǒng)的性能提升可包括在比傳統(tǒng)上所需的更少的物理部件的情 況下實現(xiàn)良好的圖像質量。這里所述的實施例包括一種系統(tǒng)，該系統(tǒng)包括多個光學檢測器，其中該多個光學 檢測器中的至少兩個光學檢測器包括波前編碼相機，其中該多個光學檢測器對身體成像； 與該多個光學檢測器耦合的處理器，該處理器自動檢測身體的姿態(tài)，其中該姿態(tài)包括身體 的瞬時狀態(tài)，其中該檢測包括聚集一瞬間的該姿態(tài)的姿態(tài)數(shù)據(jù)，該姿態(tài)數(shù)據(jù)包括成像系統(tǒng) 的景深內的身體的焦點分辨數(shù)據(jù)，該處理器將姿態(tài)翻譯成姿態(tài)信號并使用該姿態(tài)信號來控 制與該處理器耦合的部件。
一個實施例的波前編碼相機包括波前編碼光學元件。一個實施例的成像包括產(chǎn)生身體的波前編碼圖像。一個實施例的波前編碼相機包括增大成像的焦深的相位掩模。一個實施例的姿態(tài)數(shù)據(jù)包括景深內的身體的焦點分辨范圍數(shù)據(jù)。一個實施例的景深內的身體的焦點分辨范圍數(shù)據(jù)來自于波前編碼相機的輸出。一個實施例的姿態(tài)數(shù)據(jù)包括景深內的身體的焦點分辨位置數(shù)據(jù)。一個實施例的景深內的身體的焦點分辨位置數(shù)據(jù)來自于波前編碼相機的輸出。一個實施例的系統(tǒng)包括不隨身體與成像系統(tǒng)之間的距離而變化的調制傳遞函數(shù) 和點擴散函數(shù)。一個實施例的系統(tǒng)包括不關于散焦而變化的調制傳遞函數(shù)和點擴散函數(shù)。一個實施例的處理器通過對由波前編碼相機收集到的圖像進行編碼來產(chǎn)生中間 圖像。一個實施例的中間圖像是模糊的。一個實施例的中間圖像對包含散焦偏差的多個光學檢測器或者身體的變化不敏感。一個實施例的姿態(tài)數(shù)據(jù)是表示姿態(tài)的三維空間位置數(shù)據(jù)。一個實施例的檢測包括檢測身體的位置、檢測身體的取向中的至少一種，且檢測 包括檢測身體的運動。一個實施例的檢測包括標識姿態(tài)，其中標識包括標識身體的一部分的姿勢和取向。一個實施例的檢測包括檢測身體的第一組附屬物和第二組附屬物中的至少一種。一個實施例的檢測包括動態(tài)檢測至少一個標簽的位置。一個實施例的檢測包括檢測與身體的一部分耦合的一組標簽的位置。一個實施例的該組標簽中的每個標簽包括圖案，其中該組標簽中的每個標簽的每 個圖案不同于多個標簽中的任何剩余標簽的任何圖案。一個實施例的檢測包括動態(tài)檢測和定位身體上的標記。一個實施例的檢測包括檢測與身體的一部分耦合的一組標記的位置。一個實施例的該組標記形成身體上的多個圖案。一個實施例的檢測包括使用與每個附屬物耦合的一組標記來檢測身體的多個附 屬物的位置。一個實施例的翻譯包括將姿態(tài)的信息翻譯成姿態(tài)記號。一個實施例的姿態(tài)記號表示姿態(tài)詞匯，且姿態(tài)信號包括姿態(tài)詞匯的傳達。一個實施例的姿態(tài)詞匯以文本形式表示身體的運動學聯(lián)動機構的瞬時姿勢狀態(tài)。一個實施例的姿態(tài)詞匯以文本形式表示身體的運動學聯(lián)動機構的取向。一個實施例的姿態(tài)詞匯以文本形式表示身體的運動學聯(lián)動機構的取向的組合。一個實施例的姿態(tài)詞匯包括表示身體的運動學聯(lián)動機構的狀態(tài)的字符串。一個實施例的運動學聯(lián)動機構是身體的至少一個第一附屬物。一個實施例的系統(tǒng)包括將該串中的每個位置分配給第二附屬物，第二附屬物連接 到第一附屬物。
一個實施例的系統(tǒng)包括將多個字符中的字符分配給第二附屬物的多個位置中的 每個。一個實施例的該多個位置是相對于坐標原點而確立的。一個實施例的系統(tǒng)包括使用空間中的絕對位置和取向來確立坐標原點；使用相 對于身體的固定位置和取向來確立坐標原點，而無論身體的總體位置和朝向如何；或者響 應于身體的動作而交互式地確立坐標原點。一個實施例的系統(tǒng)包括將多個字符中的字符分配給第一附屬物的多個取向中的 每個。一個實施例的檢測包括檢測身體的推斷位置何時與虛擬空間相交，其中虛擬空間 包括描繪在與計算機耦合的顯示裝置上的空間。一個實施例的控制該部件包括當推斷位置與虛擬空間中的虛擬物體相交時控制 虛擬物體。
一個實施例的控制該部件包括響應于虛擬空間中的推斷位置而控制虛擬空間中 的虛擬物體的位置。一個實施例的控制該部件包括響應于姿態(tài)而控制虛擬空間中的虛擬物體的姿 態(tài)。一個實施例的系統(tǒng)包括對檢測和控制進行比例控制以產(chǎn)生虛擬空間與物理空間 之間的一致，其中虛擬空間包括描繪在與處理器耦合的顯示裝置上的空間，其中物理空間 包括身體所處的空間。一個實施例的系統(tǒng)包括響應于物理空間中的至少一個物理物體的移動而控制虛 擬空間中的至少一個虛擬物體。一個實施例的控制包括以下控制中的至少一個控制處理器上掌管的應用的運 行；和控制處理器上顯示的部件。這里所述的實施例包括一種方法，該方法包括利用成像系統(tǒng)對身體成像，該成像 包括產(chǎn)生身體的波前編碼圖像；自動檢測身體的姿態(tài)，其中該姿態(tài)包括身體的瞬時狀態(tài)，其 中該檢測包括聚集一瞬間的該姿態(tài)的姿態(tài)數(shù)據(jù)，該姿態(tài)數(shù)據(jù)包括成像系統(tǒng)的景深內的身體 的焦點分辨數(shù)據(jù)；將該姿態(tài)翻譯成姿態(tài)信號；或者響應于該姿態(tài)信號而控制與計算機耦合 的部件。一個實施例的成像系統(tǒng)包括多個光學檢測器，其中光學檢測器中的至少兩個是包 括波前編碼光學元件的波前編碼相機。一個實施例的成像包括產(chǎn)生身體的波前編碼圖像。一個實施例的成像系統(tǒng)包括多個光學檢測器，其中光學檢測器中的至少兩個是包 括增大成像的焦深的相位掩模的波前編碼相機。一個實施例的姿態(tài)數(shù)據(jù)包括景深內的身體的焦點分辨范圍數(shù)據(jù)。一個實施例的景深內的身體的焦點分辨范圍數(shù)據(jù)來自于成像系統(tǒng)的輸出。一個實施例的姿態(tài)數(shù)據(jù)包括景深內的身體的焦點分辨位置數(shù)據(jù)。一個實施例的景深內的身體的焦點分辨位置數(shù)據(jù)來自于成像系統(tǒng)的輸出。一個實施例的方法包括產(chǎn)生不隨身體與成像系統(tǒng)之間的距離而變化的調制傳遞 函數(shù)和點擴散函數(shù)。
一個實施例的方法包括產(chǎn)生不關于散焦而變化的調制傳遞函數(shù)和點擴散函數(shù)。一個實施例的方法包括通過對由波前編碼相機收集到的圖像進行編碼來產(chǎn)生中 間圖像。一個實施例的中間圖像是模糊的。一個實施例的中間圖像對包含散焦偏差的成像系統(tǒng)的多個光學檢測器或者身體 的變化不敏感。一個實施例的姿態(tài)數(shù)據(jù)是表示姿態(tài)的三維空間位置數(shù)據(jù)。一個實施例的檢測包括檢測身體的位置。一個實施例的檢測包括檢測身體的取向。一個實施例的檢測包括檢測身體的運動。一個實施例的檢測包括標識姿態(tài)，其中標識包括標識身體的一部分的姿勢和取向。一個實施例的檢測包括檢測身體的第一組附屬物和第二組附屬物中的至少一種。一個實施例的檢測包括動態(tài)檢測至少一個標簽的位置。一個實施例的檢測包括檢測與身體的一部分耦合的一組標簽的位置。一個實施例的該組標簽中的每個標簽包括圖案，其中該組標簽中的每個標簽的每 個圖案不同于多個標簽中的任何剩余標簽的任何圖案。一個實施例的檢測包括動態(tài)檢測和定位身體上的標記。一個實施例的檢測包括檢測與身體的一部分耦合的一組標記的位置。一個實施例的該組標記形成身體上的多個圖案。一個實施例的檢測包括使用與每個附屬物耦合的一組標記來檢測身體的多個附 屬物的位置。一個實施例的翻譯包括將姿態(tài)的信息翻譯成姿態(tài)記號。一個實施例的姿態(tài)記號表示姿態(tài)詞匯，且姿態(tài)信號包括姿態(tài)詞匯的傳達?！獋€實施例的姿態(tài)詞匯以文本形式表示身體的運動學聯(lián)動機構的瞬時姿勢狀態(tài)。一個實施例的姿態(tài)詞匯以文本形式表示身體的運動學聯(lián)動機構的取向?！獋€實施例的姿態(tài)詞匯以文本形式表示身體的運動學聯(lián)動機構的取向的組合。一個實施例的姿態(tài)詞匯包括表示身體的運動學聯(lián)動機構的狀態(tài)的字符串。一個實施例的運動學聯(lián)動機構是身體的至少一個第一附屬物。一個實施例的方法包括將該串中的每個位置分配給第二附屬物，第二附屬物連接 到第一附屬物。一個實施例的方法包括將多個字符中的字符分配給第二附屬物的多個位置中的 每個。
一個實施例的該多個位置是相對于坐標原點而確立的。一個實施例的方法包括使用空間中的絕對位置和取向來確立坐標原點；使用相 對于身體的固定位置和取向來確立坐標原點，而無論身體的總體位置和朝向如何；或者響 應于身體的動作而交互式地確立坐標原點。一個實施例的方法包括將多個字符中的字符分配給第一附屬物的多個取向中的 每個。
一個實施例的檢測包括檢測身體的推斷位置何時與虛擬空間相交，其中虛擬空間 包括描繪在與計算機耦合的顯示裝置上的空間。一個實施例的控制該部件包括當推斷位置與虛擬空間中的虛擬物體相交時控制 虛擬物體。一個實施例的控制該部件包括響應于虛擬空間中的推斷位置而控制虛擬空間中 的虛擬物體的位置。一個實施例的控制該部件包括響應于姿態(tài)而控制虛擬空間中的虛擬物體的姿 態(tài)。一個實施例的方法包括對檢測和控制進行比例控制以產(chǎn)生虛擬空間與物理空間 之間的一致，其中虛擬空間包括描繪在與處理器耦合的顯示裝置上的空間，其中物理空間 包括身體所處的空間。一個實施例的方法包括根據(jù)與處理器耦合的至少一個應用的需要、在虛擬空間 與物理空間之間翻譯比例、角度、深度和尺度。一個實施例的方法包括響應于物理空間中的至少一個物理物體的移動而控制虛 擬空間中的至少一個虛擬物體。
一個實施例的控制包括控制處理器上掌管的應用的運行。一個實施例的控制包括控制處理器上顯示的部件。這里所述的系統(tǒng)和方法包括處理系統(tǒng)，并且/或者在處理系統(tǒng)下運行和/或與處 理系統(tǒng)相關聯(lián)地運行。在本領域中已知，處理系統(tǒng)包括處理系統(tǒng)或裝置的部件、或者一起工 作的計算裝置或基于處理器的裝置的任何集合。例如，處理系統(tǒng)可包括便攜式計算機、在通 信網(wǎng)絡中工作的便攜式通信裝置和/或網(wǎng)絡服務器中的一個或多個。便攜式計算機可以是 從個人計算機、移動電話、個人數(shù)字助理、便攜式計算裝置和便攜式通信裝置中選擇的任何 多個裝置和/或裝置組合，但不限于此。處理系統(tǒng)可包括更大的計算機系統(tǒng)內的部件。一個實施例的處理系統(tǒng)包括至少一個處理器和至少一個存儲器件或子系統(tǒng)。處 理系統(tǒng)還可包括或耦合到至少一個數(shù)據(jù)庫。這里廣泛使用的術語“處理器”指的是任何邏 輯處理單元，比如一個或多個中央處理單元(CPU)、數(shù)字信號處理器(DSP)、專用集成電路 (ASIC)等。處理器和存儲器可單片地集成到單個芯片上，分布在主機系統(tǒng)的多個芯片或部 件當中，和/或由某個算法組合提供。這里所述的方法可以用軟件算法、程序、固件、硬件、 部件、電路中的一個或多個以任意組合加以實現(xiàn)。體現(xiàn)這里所述的系統(tǒng)和方法的系統(tǒng)部件可放置在一起或者放置在分開的位置。因 此，體現(xiàn)這里所述的系統(tǒng)和方法的系統(tǒng)部件可以是單個系統(tǒng)、多個系統(tǒng)和/或地理上分開 的系統(tǒng)的部件。這些部件也可以是單個系統(tǒng)、多個系統(tǒng)和/或地理上分開的系統(tǒng)的子部件 或子系統(tǒng)。這些部件可耦合到主機系統(tǒng)或與主機系統(tǒng)耦合的系統(tǒng)的一個或多個其他部件。通信路徑將系統(tǒng)部件耦合，并包括用于在部件之間通信或傳遞文件的介質。通 信路徑包括無線連接、有線連接和混合無線/有線連接。通信路徑還包括與包括局域網(wǎng) (LAN)、城域網(wǎng)(MAN)、萬維網(wǎng)(WAN)、專用網(wǎng)絡、辦公網(wǎng)絡或后端網(wǎng)絡以及因特網(wǎng)在內的網(wǎng) 絡的耦合或連接。此外，通信路徑包括可拆卸的固定介質，如軟盤、硬盤驅動器和CD-ROM 盤、以及閃存RAM、通用串行總線(USB)連接、RS-232連接、電話線、總線和電子郵件消息。除了上下文另有明確要求，在整個描述中，詞語“包括(comprise) ”、“包括(comprising) ”等應以與排他性或窮舉性含義相反的包括性含義加以解釋；也就是說，應以 “包括但不限于”的含義加以解釋。同樣，使用單數(shù)或復數(shù)的詞語分別包括復數(shù)或單數(shù)。另 外，詞語“這里”、“下文中”、“上面”、“下面”和意思類似的詞語是指本申請的整體，而不是指 本申請的任何特定部分。當針對兩個或更多項目的列表而使用詞語“或”時，該詞語涵蓋該 詞語的所有以下解釋該列表中的任何項目、該列表中的所有項目以及該列表中的項目的 任何組合。對處理環(huán)境的實施例的以上描述不意在是排他性的，所描述的系統(tǒng)和方法不限于 所公開的精確形式。盡管這里為說明的目的描述了處理環(huán)境的具體實施例和例子，但本領 域的技術人員應認識到，在其他系統(tǒng)和方法的范圍內可以進行各種等效修改。這里提供的 處理環(huán)境的教導可應用于其他處理系統(tǒng)和方法，而不僅是上面描述的系統(tǒng)和方法?？蓪⑸厦婷枋龅母鞣N實施例的要素和操作相組合以提供更多的實施例?？筛鶕?jù)上 面的詳細描述對處理環(huán)境進行這些和其他改變。
權利要求
1.一種系統(tǒng)，包括多個光學檢測器，其中所述多個光學檢測器中的至少兩個光學檢測器包括波前編碼相 機，其中所述多個光學檢測器對身體成像；以及與所述多個光學檢測器耦合的處理器，所述處理器自動檢測身體的姿態(tài)，其中所述姿 態(tài)包括所述身體的瞬時狀態(tài)，其中所述檢測包括聚集一瞬間的所述姿態(tài)的姿態(tài)數(shù)據(jù)，所述 姿態(tài)數(shù)據(jù)包括所述成像系統(tǒng)的景深內的所述身體的焦點分辨數(shù)據(jù)，所述處理器將所述姿態(tài) 翻譯成姿態(tài)信號并使用所述姿態(tài)信號來控制與所述處理器耦合的部件。
2.根據(jù)權利要求1所述的系統(tǒng)，其中所述波前編碼相機包括波前編碼光學元件。
3.根據(jù)權利要求1所述的系統(tǒng)，其中所述成像包括產(chǎn)生所述身體的波前編碼圖像。
4.根據(jù)權利要求1所述的系統(tǒng)，其中所述波前編碼相機包括增大所述成像的焦深的相 位掩模。
5.根據(jù)權利要求1所述的系統(tǒng)，其中所述姿態(tài)數(shù)據(jù)包括所述景深內的所述身體的焦點 分辨范圍數(shù)據(jù)。
6.根據(jù)權利要求5所述的系統(tǒng)，其中所述景深內的所述身體的所述焦點分辨范圍數(shù)據(jù) 來自于所述波前編碼相機的輸出。
7.根據(jù)權利要求1所述的系統(tǒng)，其中所述姿態(tài)數(shù)據(jù)包括所述景深內的所述身體的焦點 分辨位置數(shù)據(jù)。
8.根據(jù)權利要求7所述的系統(tǒng)，其中所述景深內的所述身體的所述焦點分辨位置數(shù)據(jù) 來自于所述波前編碼相機的輸出。
9.根據(jù)權利要求1所述的系統(tǒng)，包括不隨所述身體與所述成像系統(tǒng)之間的距離而變化 的調制傳遞函數(shù)和點擴散函數(shù)。
10.根據(jù)權利要求1所述的系統(tǒng)，包括不關于散焦而變化的調制傳遞函數(shù)和點擴散函數(shù)。
11.根據(jù)權利要求1所述的系統(tǒng)，其中所述處理器通過對由所述波前編碼相機收集到 的圖像進行編碼來產(chǎn)生中間圖像。
12.根據(jù)權利要求11所述的系統(tǒng)，其中所述中間圖像是模糊的。
13.根據(jù)權利要求11所述的系統(tǒng)，其中所述中間圖像對包含散焦偏差的所述多個光學 檢測器或者所述身體的變化不敏感。
14.根據(jù)權利要求1所述的系統(tǒng)，其中所述姿態(tài)數(shù)據(jù)是表示所述姿態(tài)的三維空間位置 數(shù)據(jù)。
15.根據(jù)權利要求1所述的系統(tǒng)，其中所述檢測包括檢測所述身體的位置、檢測所述身 體的取向中的至少一種，且檢測包括檢測所述身體的運動。
16.根據(jù)權利要求1所述的系統(tǒng)，其中所述檢測包括標識所述姿態(tài)，其中所述標識包括 標識所述身體的一部分的姿勢和取向。
17.根據(jù)權利要求1所述的系統(tǒng)，其中所述檢測包括檢測所述身體的第一組附屬物和 第二組附屬物中的至少一種。
18.根據(jù)權利要求1所述的系統(tǒng)，其中所述檢測包括動態(tài)檢測至少一個標簽的位置。
19.根據(jù)權利要求18所述的系統(tǒng)，其中所述檢測包括檢測與所述身體的一部分耦合的 一組標簽的位置。
20.根據(jù)權利要求19所述的系統(tǒng)，其中該組標簽中的每個標簽包括圖案，其中該組標 簽中的每個標簽的每個圖案不同于所述多個標簽中的任何剩余標簽的任何圖案。
21.根據(jù)權利要求1所述的系統(tǒng)，其中所述檢測包括動態(tài)檢測和定位所述身體上的標記。
22.根據(jù)權利要求21所述的系統(tǒng)，其中所述檢測包括檢測與所述身體的一部分耦合的一組標記的位置。
23.根據(jù)權利要求21所述的系統(tǒng)，其中該組標記形成所述身體上的多個圖案。
24.根據(jù)權利要求21所述的系統(tǒng)，其中所述檢測包括使用與每個所述附屬物耦合的一 組標記來檢測所述身體的多個附屬物的位置。
25.根據(jù)權利要求1所述的系統(tǒng)，其中所述翻譯包括將所述姿態(tài)的信息翻譯成姿態(tài)記號。
26.根據(jù)權利要求25所述的系統(tǒng)，其中所述姿態(tài)記號表示姿態(tài)詞匯，且所述姿態(tài)信號 包括所述姿態(tài)詞匯的傳達。
27.根據(jù)權利要求沈所述的系統(tǒng)，其中所述姿態(tài)詞匯以文本形式表示所述身體的運動 學聯(lián)動機構的瞬時姿勢狀態(tài)。
28.根據(jù)權利要求沈所述的系統(tǒng)，其中所述姿態(tài)詞匯以文本形式表示所述身體的運動 學聯(lián)動機構的取向。
29.根據(jù)權利要求沈所述的系統(tǒng)，其中所述姿態(tài)詞匯以文本形式表示所述身體的運動 學聯(lián)動機構的取向的組合。
30.根據(jù)權利要求沈所述的系統(tǒng)，其中所述姿態(tài)詞匯包括表示所述身體的運動學聯(lián)動 機構的狀態(tài)的字符串。
31.根據(jù)權利要求30所述的系統(tǒng)，其中所述運動學聯(lián)動機構是所述身體的至少一個第 一附屬物。
32.根據(jù)權利要求31所述的系統(tǒng)，包括將所述串中的每個位置分配給第二附屬物，所 述第二附屬物連接到所述第一附屬物。
33.根據(jù)權利要求32所述的系統(tǒng)，包括將多個字符中的字符分配給所述第二附屬物的 多個位置中的每個。
34.根據(jù)權利要求33所述的系統(tǒng)，其中所述多個位置是相對于坐標原點而確立的。
35.根據(jù)權利要求34所述的系統(tǒng)，包括使用空間中的絕對位置和取向來確立所述坐 標原點；使用相對于所述身體的固定位置和取向來確立所述坐標原點，而無論所述身體的 總體位置和朝向如何；或者響應于所述身體的動作而交互式地確立所述坐標原點。
36.根據(jù)權利要求33所述的系統(tǒng)，包括將所述多個字符中的字符分配給所述第一附屬 物的多個取向中的每個。
37.根據(jù)權利要求31所述的系統(tǒng)，其中所述檢測包括檢測所述身體的推斷位置何時與 虛擬空間相交，其中所述虛擬空間包括描繪在與所述計算機耦合的顯示裝置上的空間。
38.根據(jù)權利要求37所述的系統(tǒng)，其中控制所述部件包括當所述推斷位置與所述虛 擬空間中的虛擬物體相交時控制所述虛擬物體。
39.根據(jù)權利要求38所述的系統(tǒng)，其中控制所述部件包括響應于所述虛擬空間中的 所述推斷位置而控制所述虛擬空間中的所述虛擬物體的位置。
40.根據(jù)權利要求38所述的系統(tǒng)，其中控制所述部件包括響應于所述姿態(tài)而控制所 述虛擬空間中的所述虛擬物體的姿態(tài)。
41.根據(jù)權利要求1所述的系統(tǒng)，包括對所述檢測和控制進行比例控制以產(chǎn)生虛擬空 間與物理空間之間的一致，其中所述虛擬空間包括描繪在與所述處理器耦合的顯示裝置上 的空間，其中所述物理空間包括所述身體所處的空間。
42.根據(jù)權利要求41所述的系統(tǒng)，包括響應于所述物理空間中的至少一個物理物體的 移動而控制所述虛擬空間中的至少一個虛擬物體。
43.根據(jù)權利要求1所述的系統(tǒng)，其中所述控制包括以下控制中的至少一個控制所述 處理器上掌管的應用的運行；和控制所述處理器上顯示的部件。
44.一種方法，包括利用成像系統(tǒng)對身體成像，所述成像包括產(chǎn)生所述身體的波前編碼圖像；自動檢測身體的姿態(tài)，其中所述姿態(tài)包括所述身體的瞬時狀態(tài)，其中所述檢測包括聚 集一瞬間的所述姿態(tài)的姿態(tài)數(shù)據(jù)，所述姿態(tài)數(shù)據(jù)包括所述成像系統(tǒng)的景深內的所述身體的 焦點分辨數(shù)據(jù)；將所述姿態(tài)翻譯成姿態(tài)信號；以及響應于所述姿態(tài)信號而控制與計算機耦合的部件。
45.根據(jù)權利要求44所述的方法，其中所述成像系統(tǒng)包括多個光學檢測器，其中所述 光學檢測器中的至少兩個是包括波前編碼光學元件的波前編碼相機。
46.根據(jù)權利要求44所述的方法，其中所述成像包括產(chǎn)生所述身體的波前編碼圖像。
47.根據(jù)權利要求44所述的方法，其中所述成像系統(tǒng)包括多個光學檢測器，其中所述 光學檢測器中的至少兩個是包括增大所述成像的焦深的相位掩模的波前編碼相機。
48.根據(jù)權利要求44所述的方法，其中所述姿態(tài)數(shù)據(jù)包括所述景深內的所述身體的焦 點分辨范圍數(shù)據(jù)。
49.根據(jù)權利要求48所述的方法，其中所述景深內的所述身體的所述焦點分辨范圍數(shù) 據(jù)來自于所述成像系統(tǒng)的輸出。
50.根據(jù)權利要求44所述的方法，其中所述姿態(tài)數(shù)據(jù)包括所述景深內的所述身體的焦 點分辨位置數(shù)據(jù)。
51.根據(jù)權利要求50所述的方法，其中所述景深內的所述身體的所述焦點分辨位置數(shù) 據(jù)來自于所述成像系統(tǒng)的輸出。
52.根據(jù)權利要求44所述的方法，包括產(chǎn)生不隨所述身體與所述成像系統(tǒng)之間的距離 而變化的調制傳遞函數(shù)和點擴散函數(shù)。
53.根據(jù)權利要求44所述的方法，包括產(chǎn)生不關于散焦而變化的調制傳遞函數(shù)和點擴 散函數(shù)。
54.根據(jù)權利要求44所述的方法，包括通過對由所述波前編碼相機收集到的圖像進行 編碼來產(chǎn)生中間圖像。
55.根據(jù)權利要求M所述的方法，其中所述中間圖像是模糊的。
56.根據(jù)權利要求M所述的方法，其中所述中間圖像對包含散焦偏差的所述成像系統(tǒng) 的多個光學檢測器或者所述身體的變化不敏感。
57.根據(jù)權利要求44所述的方法，其中所述姿態(tài)數(shù)據(jù)是表示所述姿態(tài)的三維空間位置數(shù)據(jù)。
58.根據(jù)權利要求44所述的方法，其中所述檢測包括檢測所述身體的位置。
59.根據(jù)權利要求44所述的方法，其中所述檢測包括檢測所述身體的取向。
60.根據(jù)權利要求44所述的方法，其中所述檢測包括檢測所述身體的運動。
61.根據(jù)權利要求44所述的方法，其中所述檢測包括標識所述姿態(tài)，其中所述標識包 括標識所述身體的一部分的姿勢和取向。
62.根據(jù)權利要求44所述的方法，其中所述檢測包括檢測所述身體的第一組附屬物和 第二組附屬物中的至少一種。
63.根據(jù)權利要求44所述的方法，其中所述檢測包括動態(tài)檢測至少一個標簽的位置。
64.根據(jù)權利要求63所述的方法，其中所述檢測包括檢測與所述身體的一部分耦合的 一組標簽的位置。
65.根據(jù)權利要求64所述的方法，其中該組標簽中的每個標簽包括圖案，其中該組標 簽中的每個標簽的每個圖案不同于所述多個標簽中的任何剩余標簽的任何圖案。
66.根據(jù)權利要求44所述的方法，其中所述檢測包括動態(tài)檢測和定位所述身體上的標記。
67.根據(jù)權利要求66所述的方法，其中所述檢測包括檢測與所述身體的一部分耦合的一組標記的位置。
68.根據(jù)權利要求66所述的方法，其中該組標記形成所述身體上的多個圖案。
69.根據(jù)權利要求66所述的方法，其中所述檢測包括使用與每個所述附屬物耦合的一 組標記來檢測所述身體的多個附屬物的位置。
70.根據(jù)權利要求44所述的方法，其中所述翻譯包括將所述姿態(tài)的信息翻譯成姿態(tài)記號。
71.根據(jù)權利要求70所述的方法，其中所述姿態(tài)記號表示姿態(tài)詞匯，且所述姿態(tài)信號 包括所述姿態(tài)詞匯的傳達。
72.根據(jù)權利要求71所述的方法，其中所述姿態(tài)詞匯以文本形式表示所述身體的運動 學聯(lián)動機構的瞬時姿勢狀態(tài)。
73.根據(jù)權利要求71所述的方法，其中所述姿態(tài)詞匯以文本形式表示所述身體的運動 學聯(lián)動機構的取向。
74.根據(jù)權利要求71所述的方法，其中所述姿態(tài)詞匯以文本形式表示所述身體的運動 學聯(lián)動機構的取向的組合。
75.根據(jù)權利要求71所述的方法，其中所述姿態(tài)詞匯包括表示所述身體的運動學聯(lián)動 機構的狀態(tài)的字符串。
76.根據(jù)權利要求75所述的方法，其中所述運動學聯(lián)動機構是所述身體的至少一個第 一附屬物。
77.根據(jù)權利要求76所述的方法，包括將所述串中的每個位置分配給第二附屬物，所 述第二附屬物連接到所述第一附屬物。
78.根據(jù)權利要求77所述的方法，包括將多個字符中的字符分配給所述第二附屬物的 多個位置中的每個。
79.根據(jù)權利要求78所述的方法，其中所述多個位置是相對于坐標原點而確立的。
80.根據(jù)權利要求79所述的方法，包括使用空間中的絕對位置和取向來確立所述坐 標原點；使用相對于所述身體的固定位置和取向來確立所述坐標原點，而無論所述身體的 總體位置和朝向如何；或者響應于所述身體的動作而交互式地確立所述坐標原點。
81.根據(jù)權利要求78所述的方法，包括將所述多個字符中的字符分配給所述第一附屬 物的多個取向中的每個。
82.根據(jù)權利要求76所述的方法，其中所述檢測包括檢測所述身體的推斷位置何時與 虛擬空間相交，其中所述虛擬空間包括描繪在與所述計算機耦合的顯示裝置上的空間。
83.根據(jù)權利要求82所述的方法，其中控制所述部件包括當所述推斷位置與所述虛 擬空間中的虛擬物體相交時控制所述虛擬物體。
84.根據(jù)權利要求83所述的方法，其中控制所述部件包括響應于所述虛擬空間中的 所述推斷位置而控制所述虛擬空間中的所述虛擬物體的位置。
85.根據(jù)權利要求83所述的方法，其中控制所述部件包括響應于所述姿態(tài)而控制所 述虛擬空間中的所述虛擬物體的姿態(tài)。
86.根據(jù)權利要求44所述的方法，包括對所述檢測和控制進行比例控制以產(chǎn)生虛擬空 間與物理空間之間的一致，其中所述虛擬空間包括描繪在與所述處理器耦合的顯示裝置上 的空間，其中所述物理空間包括所述身體所處的空間。
87.根據(jù)權利要求86所述的方法，包括根據(jù)與所述處理器耦合的至少一個應用的需 要、在所述虛擬空間與所述物理空間之間翻譯比例、角度、深度和尺度。
88.根據(jù)權利要求86所述的方法，包括響應于所述物理空間中的至少一個物理物體的 移動而控制所述虛擬空間中的至少一個虛擬物體。
89.根據(jù)權利要求44所述的方法，其中所述控制包括控制所述處理器上掌管的應用的 運行。
90.根據(jù)權利要求44所述的方法，其中所述控制包括控制所述處理器上顯示的部件。
全文摘要
描述了使用在擴展的景深內提取的三維信息進行基于姿態(tài)的控制的系統(tǒng)和方法。該系統(tǒng)包括與至少一個處理器耦合的多個光學檢測器。該多個光學檢測器對身體成像。該多個光學檢測器中的至少兩個光學檢測器包括波前編碼相機。該處理器自動檢測身體的姿態(tài)，其中該姿態(tài)包括身體的瞬時狀態(tài)。該檢測包括聚集一瞬間的該姿態(tài)的姿態(tài)數(shù)據(jù)。該姿態(tài)數(shù)據(jù)包括成像系統(tǒng)的景深內的身體的焦點分辨數(shù)據(jù)。該處理器將該姿態(tài)翻譯成姿態(tài)信號，并使用該姿態(tài)信號來控制與該處理器耦合的部件。
文檔編號G06F3/033GK102047203SQ200980120542
公開日2011年5月4日 申請日期2009年4月2日 優(yōu)先權日2008年4月2日
發(fā)明者皮埃爾·St·希萊爾, 約翰·S·昂德科夫勒 申請人:奧布隆工業(yè)有限公司