使用脈沖式光源的近平面分段的制作方法
【專利說明】使用脈沖式光源的近平面分段
[0001] 背景
[0002] 家庭娛樂和游戲系統(tǒng)已開始采用相機和姿勢識別軟件來提供自然用戶界面。使用 自然用戶界面，人的身體部位和移動可被檢測、解釋、以及用于控制在計算系統(tǒng)上運行的計 算應(yīng)用的各方面。該計算系統(tǒng)可包括用于捕捉場景的圖像的彩色相機（例如，RGB相機）或 深度相機。深度相機可包括利用飛行時間（TOF)或結(jié)構(gòu)化光技術(shù)來獲得深度信息的主動照 明深度相機。彩色相機可將場景捕捉為彩色圖像，而深度相機可將場景捕捉為深度圖。深 度圖可包括環(huán)境的二維圖像，該圖像包括與從特定參考點（諸如與深度相機相關(guān)聯(lián)的點） 到環(huán)境內(nèi)的物體的距離有關(guān)的深度信息。二維圖像中的每一像素可與表示距該特定參考點 的直線距離的深度值相關(guān)聯(lián)。
[0003] 概述
[0004] 描述了用于在近場環(huán)境內(nèi)識別姿勢的技術(shù)。在一些實施例中，移動設(shè)備（諸如頭 戴式顯示設(shè)備（HMD))可識別該移動設(shè)備的最終用戶執(zhí)行的手和/或手指姿勢。移動設(shè)備 可在使用IR光源照射環(huán)境時捕捉環(huán)境的第一圖像。該IR光源可將光投射到該環(huán)境以使得 第一范圍被照射。由于光強度在距光源的距離上的指數(shù)衰減，第一范圍可出于檢測所投射 的IR光的反射的目的而被充分照射。在一些情況下，可通過調(diào)制從該光源投射的IR光的 初始光強度來調(diào)整第一范圍。光源可包括激光器、激光二極管、或LED。移動設(shè)備可在不照 射該環(huán)境的情況下捕捉該環(huán)境的第二圖像。該移動設(shè)備隨后可基于第一圖像和第二圖像生 成差異圖像以便消除由該環(huán)境內(nèi)的其他IR光源（例如，來自由日光或人工光源帶來的環(huán)境 IR光）帶來的背景噪聲。在一些情況下，可向該差異圖像應(yīng)用對象和姿勢識別技術(shù)以便檢 測該移動設(shè)備的近場環(huán)境內(nèi)該移動設(shè)備的最終用戶的手和/或手指姿勢的執(zhí)行。在一些實 施例中，集成的彩色和IR圖像傳感器可被用來捕捉第一圖像和第二圖像。
[0005] 提供該概述以便以簡化形式介紹概念的選集，所述概念在以下詳細(xì)描述中被進(jìn)一 步描述。該概述不意圖標(biāo)識所要求保護(hù)的主題的關(guān)鍵特征或基本特征，也不意圖被用來幫 助確定所要求保護(hù)的主題的范圍。
[0006] 附圖簡述
[0007] 圖1是可在其中實施所公開的技術(shù)的聯(lián)網(wǎng)計算環(huán)境的一個實施例的框圖。
[0008] 圖2A描繪了與第二移動設(shè)備通信的移動設(shè)備的一個實施例。
[0009] 圖2B描繪了 HMD的一部分的一個實施例。
[0010] 圖2C描繪了圖像傳感器的一部分的一個實施例。
[0011] 圖3描繪了包括捕捉設(shè)備和計算環(huán)境的計算系統(tǒng)的一個實施例。
[0012] 圖4A描繪了環(huán)境的一個實施例，在該環(huán)境中，佩戴HMD的最終用戶執(zhí)行手和/或 手指姿勢以便控制在該HMD上運行的應(yīng)用。
[0013] 圖4B描繪了圖4A中描繪的HMD捕捉的第一圖像的一個實施例。
[0014] 圖4C描繪了圖4A中描繪的HMD捕捉的第二圖像的一個實施例。
[0015] 圖4D描繪了基于圖4B的第一圖像和圖4C的第二圖像的差異圖像的一個實施例， 以便消除由環(huán)境內(nèi)的非HMD IR光源所帶來的背景噪聲。
[0016] 圖4E描繪了包括與HMD的最終用戶相關(guān)聯(lián)的手區(qū)域的分段圖像的一個實施例。
[0017] 圖5是描述用于識別近場環(huán)境內(nèi)的姿勢的方法的一個實施例的流程圖。
[0018] 圖6是描述用于識別近場環(huán)境內(nèi)的姿勢的方法的替換實施例的流程圖。
[0019] 圖7是移動設(shè)備的一個實施例的框圖。
[0020] 詳細(xì)描述
[0021] 描述了用于在近場環(huán)境內(nèi)識別姿勢的技術(shù)。在一些實施例中，移動設(shè)備（諸如頭 戴式顯示設(shè)備（HMD))可在使用具有第一范圍（例如，由于光強度在距離上的指數(shù)衰減） 的IR光照射環(huán)境時捕捉該環(huán)境的第一圖像，且在不照射的情況下捕捉該環(huán)境的第二圖像。 該移動設(shè)備可基于第一圖像和第二圖像生成差異圖像以便消除由該環(huán)境內(nèi)的其他IR光源 (例如，來自由日光或人工光源帶來的環(huán)境IR光）帶來的背景噪聲。在一些情況下，可向該 差異圖像應(yīng)用對象和姿勢識別技術(shù)以便檢測該移動設(shè)備的近場環(huán)境內(nèi)該移動設(shè)備的最終 用戶的手和/或手指姿勢的執(zhí)行。在一些實施例中，集成的彩色和IR圖像傳感器可被用來 捕捉第一圖像和第二圖像。
[0022] 在一些實施例中，可基于使用HMD捕捉的平面圖像來執(zhí)行實時的手和/或手指跟 蹤。而且，可使用基于兩個或更多圖像內(nèi)的手和/或手指邊界的位置的視差計算來確定與 手和/或手指邊界相關(guān)聯(lián)的三維位置信息或深度信息。在一個實施例中，可根據(jù)使用兩個 圖像傳感器捕捉的兩個或更多圖像以及與移動設(shè)備相關(guān)聯(lián)的一個光源來確定深度信息。在 另一實施例中，可根據(jù)使用一個圖像傳感器捕捉的兩個或更多圖像以及兩個不同光源來確 定深度信息。在此情況下，可在第一時間點期間在使用兩個不同光源中的第一光源來照射 環(huán)境時使用圖像傳感器捕捉第一圖像，且可在第一時間點之后（或之前）的第二時間點在 使用該兩個不同光源中的第二光源來照射該環(huán)境時使用該圖像傳感器捕捉第二圖像。
[0023] 在一個實施例中，可針對近場對象（諸如位于移動設(shè)備一米內(nèi)的手）的每個邊界 生成相對深度值。例如，可以確定，手的拇指比手的小指或其他部位更靠近移動設(shè)備。在一 些情況下，每當(dāng)檢測到對象邊界時（例如，每當(dāng)檢測到前景對象和背景之間的邊界時），可 針對每個掃描線（或像素行）確定深度信息。從而，近場對象（例如，手）的邊界點處的相 對深度信息可被從與不同視點相關(guān)聯(lián)的兩個或更多圖像中提取并被用來推斷該近場對象 在該移動設(shè)備的第一范圍內(nèi)的空間定向。
[0024] 控制HMD的一個問題是：與其他計算設(shè)備不同，HMD本身不固有地提供用于控制 HMD的物理界面（例如，HMD可能不提供如與平板計算機一起使用的觸摸屏界面）。而且， 在一些環(huán)境中（例如，在商業(yè)會議期間或在搭乘擁擠的地鐵時），使用語音命令來控制HMD 可能不合適且因此姿勢識別可能是優(yōu)選的。然而，依賴于深度相機的姿勢識別技術(shù)可能是 昂貴的并且與本文描述的圖像分段和姿勢識別技術(shù)相比需要相對更高的功率和計算復(fù)雜 度。從而，需要一種低成本且能量高效的系統(tǒng)，該系統(tǒng)允許HMD的最終用戶在很寬范圍的光 照環(huán)境中（例如，黑暗的房間或陽光充足的海灘）使用手和/或手指姿勢來控制HMD。
[0025] 圖1是可在其中實施所公開的技術(shù)的聯(lián)網(wǎng)計算環(huán)境100的一個實施例的框圖。聯(lián) 網(wǎng)計算環(huán)境100包括通過一個或多個網(wǎng)絡(luò)180互連的多個計算設(shè)備。所述一個或多個網(wǎng)絡(luò) 180允許一特定計算設(shè)備連接到另一計算設(shè)備以及與其通信。所描繪的計算設(shè)備包括移動 設(shè)備11、移動設(shè)備12、移動設(shè)備19和服務(wù)器15。在一些實施例中，所述多個計算設(shè)備可以包 括未示出的其他計算設(shè)備。在一些實施例中，所述多個計算設(shè)備可以包括比圖1所示的計 算設(shè)備的數(shù)目更多或更少的計算設(shè)備。所述一個或多個網(wǎng)絡(luò)180可以包括諸如企業(yè)專用網(wǎng) 絡(luò)之類的安全網(wǎng)絡(luò)、諸如無線開放式網(wǎng)絡(luò)之類的不安全網(wǎng)絡(luò)、局域網(wǎng)（LAN)、廣域網(wǎng)（WAN)、 以及因特網(wǎng)。所述一個或多個網(wǎng)絡(luò)180中的每個網(wǎng)絡(luò)可以包括集線器、網(wǎng)橋、路由器、交換 機、以及有線傳輸介質(zhì)，比如有線網(wǎng)絡(luò)或直接線連接。
[0026] 可包括補充信息服務(wù)器或應(yīng)用服務(wù)器的服務(wù)器15可允許客戶端從該服務(wù)器下載 信息（例如，文本、音頻、圖像和視頻文件）或者執(zhí)行與存儲在該服務(wù)器上的特定信息相關(guān) 的搜索查詢。一般而言，"服務(wù)器"可以包括在客戶端-服務(wù)器關(guān)系中充當(dāng)主機的硬件設(shè)備、 或者與一個或多個客戶端共享資源或為所述一個或多個客戶端執(zhí)行工作的軟件過程?？蛻?端-服務(wù)器關(guān)系下的計算設(shè)備之間的通信可以通過由客戶端向服務(wù)器發(fā)送要求訪問特定 資源或執(zhí)行特定工作的請求來發(fā)起。服務(wù)器隨后可以執(zhí)行所請求的動作并且將響應(yīng)發(fā)送回 客戶端。
[0027] 服務(wù)器15的一個實施例包括網(wǎng)絡(luò)接口 155、處理器156、存儲器157和翻譯器158， 所有這些都彼此通信。網(wǎng)絡(luò)接口 155允許服務(wù)器15連接到一個或多個網(wǎng)絡(luò)180。網(wǎng)絡(luò)接口 155可以包括無線網(wǎng)絡(luò)接口、調(diào)制解調(diào)器、和/或有線網(wǎng)絡(luò)接口。處理器156允許服務(wù)器15 執(zhí)行存儲在存儲器157中的計算機可讀指令以執(zhí)行在此討論的過程。翻譯器158可包括用 于將第一文件格式的第一文件翻譯成第二文件格式的對應(yīng)第二文件的映射邏輯（即，第二 文件可以是經(jīng)翻譯的版本的第一文件）?？墒褂梦募成渲噶顏砼渲梅g器158,該文件映 射指令提供用于將第一文件格式的文件（或其部分）映射成第二文件格式的對應(yīng)文件的指 令。
[0028] 移動設(shè)備19的一個實施例包括網(wǎng)絡(luò)接口 145、處理器146、存儲器147、相機148、 傳感器149、以及顯示器150,所有這些都彼此通信。網(wǎng)絡(luò)接口 145允許移動設(shè)備19連接到 一個或多個網(wǎng)絡(luò)180。網(wǎng)絡(luò)接口 145可以包括無線網(wǎng)絡(luò)接口、調(diào)制解調(diào)器、和/或有線網(wǎng)絡(luò) 接口。處理器146允許移動設(shè)備19執(zhí)行存儲在存儲器147中的計算機可讀指令以執(zhí)行在此 討論的過程。相機148可以捕捉色彩圖像和/或深度圖像。傳感器149可生成與移動設(shè)備 19相關(guān)聯(lián)的運動和/或定向信息。在一些情況下，傳感器149可包括慣性測量單元（頂1])。 顯示器150可顯示數(shù)字圖像和/或視頻。顯示器150可包括透視顯示器。
[0029] 在一些實施例中，包括網(wǎng)絡(luò)接口 145、處理器146、存儲器147、相機148以及傳感器 149的移動設(shè)備19的各組件可被集成在單芯片基片上。在一示例中，網(wǎng)絡(luò)接口 145、處理器 146、存儲器147、相機148、傳感器149可被集成成為片上系統(tǒng)（SOC)。在另一實施例中，網(wǎng) 絡(luò)接口 145、處理器146、存儲器147、相機148、傳感器149可被集成在單個封裝中。
[0030] 在一些實施例中，通過采用相機148、傳感器149,和運行在處理器146上的姿勢識 別軟件，移動設(shè)備1