專利名稱：用于減輕環(huán)境因素的環(huán)境修改的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于減輕環(huán)境因素的環(huán)境修改。
背景技術(shù)：
視頻游戲系統(tǒng)可以利用深度相機來捕捉游戲玩家的圖像，并且將該信息轉(zhuǎn)換成深度圖，所述深度圖用于對游戲玩家的虛擬骨架進行建模。通常，深度相機使用所投影的紅外光來確定所成像的場景中的物體的深度。 當(dāng)環(huán)境因素擾亂了相機接收所投影的紅外光這一能力時，可能妨礙對場景中的物體深度的精確確定。

發(fā)明內(nèi)容
提供本發(fā)明內(nèi)容以便以簡化形式介紹將在以下具體實施方式
中進一步描述的一些概念。本發(fā)明內(nèi)容并不旨在標識所要求保護主題的關(guān)鍵特征或必要特征，也不旨在用于限制所要求保護主題的范圍。此外，所請求保護的主題不限于解決在本公開的任一部分中提及的任何或所有缺點的實現(xiàn)。因此，公開了一種系統(tǒng)，其用于從深度相機獲取深度圖像；標識使深度圖像中的一個或多個區(qū)域中的深度信息無效的一個或多個環(huán)境因素；以及輸出環(huán)境修改以減輕該環(huán)境因素。


圖I根據(jù)本發(fā)明的一實施例示出查看所觀察的場景的深度圖像分析系統(tǒng)。圖2在某種程度上示意性地示出用虛擬骨架來對人類目標建模。圖3是描述用于標識使深度信息無效的環(huán)境因素以及輸出環(huán)境修改以減輕該環(huán)境因素的方法的流程圖。圖4示意性地示出了深度相機所捕捉的人類目標的測試圖像和控制圖像。圖5是預(yù)定問題類別和基于該問題類別的修改的示例。圖6示意性地示出根據(jù)本發(fā)明的實施例的計算系統(tǒng)。
具體實施例方式諸如3D視覺游戲系統(tǒng)等深度圖像分析系統(tǒng)可包括能夠觀察一個或多個玩家的深度相機。當(dāng)深度相機捕捉所觀察的場景(即深度相機的視野內(nèi)的所成像場景)內(nèi)的玩家的圖像時，那些圖像可被解釋并用一個或多個虛擬骨架來建模。如下面更詳細描述的那樣，環(huán)境中的因素可能導(dǎo)致深度相機所捕捉的深度圖像出現(xiàn)問題，造成這些深度圖像中的無效深度信息區(qū)域。例如，場景中的高水平的環(huán)境光可能干擾對玩家的成像。另外，如果所成像的玩家穿著低反射率的服裝，則深度相機精確地對整個玩家成像的能力可能更低。這些環(huán)境因素可能擾亂對玩家的成像和隨后的建模。圖I示出了深度圖像分析系統(tǒng)10的非限制性示例。具體而言，圖I示出了游戲系統(tǒng)12，該游戲系統(tǒng)12可以用于玩各種不同的游戲、播放一個或多個不同的媒體類型、和/或控制或操縱非游戲應(yīng)用和/或操作系統(tǒng)。圖I還示出了諸如電視機或計算機監(jiān)視器之類的可用于向游戲玩家呈現(xiàn)游戲視覺的顯示設(shè)備14。作為一個示例，顯示設(shè)備14可用于在視覺上呈現(xiàn)人類目標18用其移動來控制的虛擬化身16。深度圖像分析系統(tǒng)10可包括捕捉設(shè)備，諸如在視覺上監(jiān)視或跟蹤所觀察的場景24內(nèi)的人類目標18的深度相機22。參考圖2和6更詳細地討論深度相機22。
人類目標18這里被示為所觀察的場景24內(nèi)的游戲玩家。人類目標18由深度相機22來跟蹤，使得人類目標18的移動可被游戲系統(tǒng)12解釋成可被用于影響游戲系統(tǒng)12正在執(zhí)行的游戲的控制。換言之，人類目標18可使用他或她的移動來控制游戲。人類目標18的移動可以被解釋成基本上任何類型的游戲控制。人類目標18的某些移動可被解釋成用于除控制虛擬化身16以外目的的控制。作為非限制性示例，人類目標18的移動可被解釋為操縱虛擬賽車、開火虛擬武器、以第一人視角導(dǎo)航虛擬世界、或者操縱模擬世界的各個方面的控制。移動還可被解釋為輔助游戲管理控制。例如，人類目標18可以使用移動來結(jié)束、暫停、保存、選擇級別、查看高分、與其他玩家交流等。深度相機22還可以用于將目標移動解釋成游戲領(lǐng)域之外的操作系統(tǒng)和/或應(yīng)用控制。操作系統(tǒng)和/或應(yīng)用的基本上任何可控方面都可以由人類目標18的移動來控制。圖I中所示出的場景是作為示例來提供的，但并不意味著以任何方式進行限制。相反，所示出的場景旨在展示可以在不背離本公開的范圍的情況下應(yīng)用于各種各樣不同的應(yīng)用的一般概念。此處描述的方法和過程可以結(jié)合到各種不同類型的計算系統(tǒng)。圖I示出了游戲系統(tǒng)12、顯示設(shè)備14和深度相機22的形式的非限制性示例。一般而言，深度圖像分析系統(tǒng)可包括圖6中以簡化形式示出的計算系統(tǒng)90，計算系統(tǒng)90將在下文更詳細地討論。圖2示出了簡化的處理流水線，其中所觀察的場景24中的人類目標18被建模為虛擬骨架38，該虛擬骨架38可被用于繪制顯示設(shè)備14上的虛擬化身16和/或用作控制游戲、應(yīng)用、和/或操作系統(tǒng)的其他方面的控制輸入。可以理解，處理流水線可包括比圖2中所描述的更多的步驟和/或圖2中所描述的替換步驟，而不背離本發(fā)明的范圍。如圖2所示，人類目標18和所觀察的場景24中的其余部分可由諸如深度相機22之類的捕捉設(shè)備來成像。深度相機可為每一像素確定在所觀察的場景中的表面相對于深度相機的深度。在不偏離本公開的范圍的情況下，可以使用基本上任何測深(depth finding)技術(shù)。示例測深技術(shù)參考圖6的捕捉設(shè)備98來更詳細地討論。為每個像素所確定的深度信息可用于生成深度圖36。這樣的深度圖可采用基本上任何合適的數(shù)據(jù)結(jié)構(gòu)的形式，包括但不限于包括所觀察場景的每個像素的深度值的矩陣。在圖2中，深度圖36被示意性地示為人類目標18的輪廓的像素化網(wǎng)格。這一例示是出于理解簡明的目的、而不是出于技術(shù)準確性的目的?？梢岳斫猓疃葓D一般包括所有像素(不僅是對人類目標18進行成像的像素)的深度信息，并且深度相機22的透視不會得到圖2中所描繪的輪廓。虛擬骨架38可從深度圖36導(dǎo)出，以提供對人類目標18的機器可讀表示。換言之，從深度圖36導(dǎo)出虛擬骨架38以便對人類目標18建模。虛擬骨架38可以按任何合適的方式從深度圖中導(dǎo)出。在某些實施例中，可將一個或多個骨架擬合算法應(yīng)用于深度圖。本發(fā)明與基本上任何骨架建模技術(shù)兼容。虛擬骨架38可包括多個關(guān)節(jié)，每一關(guān)節(jié)對應(yīng)于人類目標的一部分。在圖2中，虛擬骨架38被示為十五個關(guān)節(jié)的線條畫。這一例示是出于理解簡明的目的、而不是出于技術(shù)準確性的目的。根據(jù)本發(fā)明的虛擬骨架可包括基本上任何數(shù)量的關(guān)節(jié)，每個關(guān)節(jié)都可與基本上任何數(shù)量的參數(shù)(例如三維關(guān)節(jié)位置、關(guān)節(jié)旋轉(zhuǎn)、對應(yīng)身體部位的身體姿勢(例如手張開、手合上等)等)相關(guān)聯(lián)。應(yīng)當(dāng)理解，虛擬骨架可采取如下數(shù)據(jù)結(jié)構(gòu)的形式該數(shù)據(jù)結(jié)構(gòu)包括多個骨架關(guān)節(jié)中的每個關(guān)節(jié)的一個或多個參數(shù)(例如包含每個關(guān)節(jié)的X位置、y位置、z位置和旋轉(zhuǎn)的關(guān)節(jié)矩陣)。在一些實施例中，可使用其他類型的虛擬骨架(例如線框、一組形狀圖元等等)。如圖2所示，可將虛擬化身16作為虛擬骨架38的視覺表示呈遞在顯示設(shè)備14上。由于虛擬骨架38對人類目標18進行建模，并且對虛擬化身16的呈遞基于虛擬骨架38，因此虛擬化身16用作人類目標18的可查看的數(shù)字表示。由此，虛擬化身16在顯示設(shè)備14上的移動反映人類目標18的移動。
在一些實施例中，僅僅虛擬化身的部分將呈現(xiàn)在顯示設(shè)備14上。作為一個非限制性示例，顯示設(shè)備14可呈現(xiàn)人類目標18的第一人視角，并因此可呈現(xiàn)可通過虛擬化身的虛擬眼睛來查看的虛擬化身的各部分(例如握有方向盤的伸出的手、握有步槍的伸出的手臂、抓住三維虛擬世界中的物體的伸出的手等)。盡管將虛擬化身16用作可經(jīng)由深度圖的骨架建模由人類目標的移動來控制的游戲的一示例方面，但這并不旨在為限制性的。人類目標可以用虛擬骨架來建模，而虛擬骨架可用于控制除虛擬化身以外的游戲或其他應(yīng)用的各方面。例如，即使虛擬化身沒有被呈遞到顯示設(shè)備，人類目標的移動也可控制游戲或其他應(yīng)用。回到圖1，示出了一示例性實施例，其描繪了可能導(dǎo)致深度圖像中的無效深度信息的一個或多個環(huán)境因素。窗戶26允許陽光進入所觀察的場景24。另外，燈28為打開的。所成像場景中過量的光可能淹沒被深度相機用于確定該場景中的表面深度的所投影紅外光，從而導(dǎo)致深度圖像中的無效深度信息區(qū)域。這些區(qū)域可能導(dǎo)致虛擬骨架的不精確的建模以及不可預(yù)測的計算機控制。人類目標的高和低反射率也可能導(dǎo)致無效深度信息區(qū)域。在該示例中，人類目標18佩戴著高反射性的警長徽章32和低反射性材料腰帶34。圖3示出了一種用于標識導(dǎo)致無效深度信息的環(huán)境因素以及輸出修改以減輕該環(huán)境因素的方法40。在42，方法40包括從深度相機獲取深度圖像。在一些實施例中，深度相機被配置為測量深度相機與場景中的表面之間的距離并且輸出作為對這樣所測量的距離的指示的深度圖像。在一些實施例中，深度相機被配置為獲得被板外計算系統(tǒng)用于測量深度相機與場景中表面之間的距離的信息。本公開與兩種布置都兼容——也就是說，從深度相機獲取深度圖像可以直接地或者通過諸如計算系統(tǒng)90之類的中間深度處理器來進行。接著，在44，用虛擬骨架對深度圖像所成像的人類目標進行建模，這在上面參照圖2予以了描述。在46，確定是否已經(jīng)檢測到對人類目標建模的失敗。對人類目標建模的失敗可能是由于不能被定位的一個或多個骨架關(guān)節(jié)、以低置信度報告的一個或多個骨架關(guān)節(jié)位置等等造成的。
如果在46未檢測到用虛擬骨架對人類目標建模的失敗，則方法40返回到44，在那里，繼續(xù)用虛擬骨架對人類目標進行建模。如果在46檢測到用虛擬骨架對人類目標建模的失敗，則在48標識使深度圖像的一個或多個區(qū)域中的深度信息無效的環(huán)境因素?？梢砸匀魏魏线m的方式來標識這樣的環(huán)境因素。如下面作為示例所描述的那樣，在一些實施例中，深度圖像的特性和/或由深度相機所收集的其他信息可以被分析以標識已知是由特定環(huán)境因素(例如過多陽光或其他紅外光、低反射率服裝、高反射率服裝和/或物理環(huán)境內(nèi)的對象放置)導(dǎo)致的之前所識別的特性。如在52所示，用于標識環(huán)境因素的一種非限制性選項包括標識負責(zé)的無效深度像素群集，以及確定該群集的形狀。如果該群集包含高于閾值量的無效深度像素，則該群集將被標識為無效深度信息區(qū)域。該閾值可以被設(shè)置成任何靜態(tài)和/或動態(tài)的量。例如，在一些實施例中，36個相鄰像素的這一靜態(tài)閾值可以被認為是無效深度信息區(qū)域。在54，當(dāng)所成像場景被暴露在紅外測試光下時(例如在測試模式期間)，該相機獲取該場景的測試圖像。在一些實施例中，該紅外測試光可以掠過整個場景。在一些實施例中，紅外測試光可以瞄準要考慮的特定像素區(qū)域。紅外測試光可以從被深度相機用于測量深度信息的相同源中生成或者從輔助測試源中生成。在56，當(dāng)所成像場景未被暴露在紅外測試光下時(例如在控制模式期間)，相機獲取該場景的控制圖像。該控制圖像可以緊接在測試圖像之前和/或之后獲取。通過這種方式，可以減少或消除除測試光的存在以外的各圖像之間的差異。參考圖4更詳細地描述測試圖像和控制圖像。測試圖像與控制圖像之間的差異可以被分析和用于標識妨礙骨架建模的環(huán)境因素。在58，將深度圖像的包括無效深度信息的一個或多個區(qū)域分配給來自多個預(yù)定問題類別的問題類別。這樣的分配可以基于多種不同的信息，包括但不限于無效深度像素群集、測試圖像、以及控制圖像。一旦已經(jīng)標識出環(huán)境因素，則在62輸出環(huán)境修改以減輕該環(huán)境因素。該環(huán)境修改是基于上面在步驟58被確定并將參考圖5予以更詳細的描述的問題類別來選擇的。如在64所示，可以作為用于向人類用戶呈現(xiàn)的通信消息來輸出該修改。這樣的通信消息可以用于提供可被人類用戶用于減輕環(huán)境因素的信息。例如，該通信消息可以指示人類用戶關(guān)閉百葉窗、關(guān)閉燈、移動到更接近相機之處、改變服裝等等。該通信消息可以采取下列形式要通過一個或多個揚聲器播放的音頻消息、要顯示在顯示設(shè)備上的視覺消息、或者基本上任何其他形式。該通信消息可以以任何合適的方式格式化，以供通過任何合適的設(shè)備進行回放/呈現(xiàn)。在一些實施例中，該通信消息可以被實現(xiàn)為從計算系統(tǒng)發(fā)送給合適的呈現(xiàn)設(shè)備(例如顯示設(shè)備、揚聲器等等)的數(shù)字消息。附加地或可替代地，該環(huán)境修改可以在66作為控制消息輸出以供環(huán)境修改系統(tǒng)執(zhí)行，使得環(huán)境修改系統(tǒng)自動地更改該環(huán)境以減輕環(huán)境因素，而無需人類干預(yù)。在這種情況下，控制消息可以被格式化以供與環(huán)境修改系統(tǒng)兼容。作為非限制性示例，控制消息可以被配置為致使環(huán)境修改系統(tǒng)自動地關(guān)閉百葉窗、自動地關(guān)閉燈等等)。圖4示意性地示出了從深度相機獲取的人類目標18的示例測試圖像68和示例控制圖像72。這一例示是出于理解簡明的目的、而不是出于技術(shù)準確性的目的。能夠理解，測 試和控制圖像可以包括所有像素的信息、而不是僅僅對人類目標18成像的像素的信息。此夕卜，由深度相機在測試圖像時間段和控制圖像時間段期間記錄的信息被示意性地表示成不同的網(wǎng)格填充。在實際中，測試圖像和控制圖像可以是灰度圖像、彩色圖像或其他合適的圖像，這些圖像可以被表示成合適的數(shù)據(jù)結(jié)構(gòu)，比如具有與每個像素相對應(yīng)的強度值的矩陣?？梢允褂蒙疃认鄼C的被用于測量深度信息的相同部分來獲取這些測試圖像，和/或可以使用深度相機或輔助相機的另一部分來獲取這些測試圖像。
如在左邊示意性示出的那樣，測試圖像68可以在人類目標18被暴露在紅外測試光下時拍攝。作為一個示例，測試圖像68的每個像素都可以是未經(jīng)處理的灰度級強度。在圖4中，未經(jīng)處理的灰度級強度被描繪成與人類目標18相對應(yīng)的像素化的網(wǎng)格。在該示例中，警長的徽章32由高反射性材料制成，并且導(dǎo)致測試圖像中的飽和像素。相反，腰帶34由低反射率材料制成，并且導(dǎo)致具有極小或不具有灰度級強度的像素。如在右邊示意性示出的那樣，控制圖像72可以在人類目標18未暴露在紅外測試光下時拍攝。如上所述，可以將控制圖像與測試圖像相比較以評定可能影響深度圖像分析的環(huán)境因素。如上面介紹的那樣，每個無效深度像素區(qū)域都可以被分配給一問題類別。這些區(qū)域例如可以基于下列各項中的一個或多個被分配給所述類別無效深度像素區(qū)域的大小、形狀和/或位置、以及測試圖像與控制圖像之間的差異。圖5示意性地示出了多個預(yù)定義的問題類別(例如問題類別A、問題類別B、問題類別N)。如圖5所示,每個問題類別都具有相應(yīng)的環(huán)境修改(例如修改A、修改B和修改N)。環(huán)境修改可以包括通信消息以減輕導(dǎo)致無效像素區(qū)域的環(huán)境因素。附加地或可替代地，環(huán)境修改可以包括在沒有人類干預(yù)的情況下修改環(huán)境的控制消息。下面提供問題類別和相應(yīng)修改的非限制性示例。問題類別的第一示例是人類目標上的低反射率材料。人類目標上的低反射率材料可能使得尤其是在人類目標與深度相機相距相對遠時難以用虛擬骨架對該人類目標建模。低反射率材料可以基于下列各項被標識無效像素區(qū)域的大小、形狀和/或位置、和/或測試圖像與控制圖像相比的相對紅外光飽和度。例如，如果包含無效深度像素的區(qū)域是人類目標的服裝物品的形狀，并且測試圖像的與所述無效像素相對應(yīng)的區(qū)域與控制圖像的相同區(qū)域相比未改變一閾值量，則該區(qū)域可以被分配給低反射率問題類別。低反射率問題類別可以與如下的環(huán)境修改相關(guān)聯(lián)該環(huán)境修改被設(shè)計為減輕低反射率材料對計算系統(tǒng)用虛擬骨架對人類目標建模這一能力所產(chǎn)生的影響。作為一個示例，該解決方案可以包括將人類目標移動得在物理上更接近于深度相機。因此，與低反射率問題類別相關(guān)聯(lián)的環(huán)境修改可以是指示人類目標向深度相機移動的通信消息。在一些場景中，該修改可以附加地或可替代地包括指示人類目標移除被標識為具有低反射率的服裝物品的通彳目消息。問題類別的第二示例是人類目標上的高反射性材料。人類目標上的高反射性材料可能使得尤其是在人類目標接近于深度相機和/或在所成像的場景中存在大量環(huán)境光時難以用虛擬骨架對該人類模型建模。人類目標上的高反射性材料可以基于下列各項被標識無效像素區(qū)域的大小、形狀和/或位置和/或測試圖像與控制圖像相比的相對紅外光飽和度。包含無效深度像素的區(qū)域可以在下列情況下被分配給人類目標問題類別上的高反射性材料該區(qū)域具有圓形形狀，被近深度(near-cbpth)像素環(huán)繞，和/或測試圖像的與該無效深度像素區(qū)域相對應(yīng)的區(qū)域具有呈圓形的高強度像素，其中這些像素在控制圖像的相同區(qū)域中減小一閾值量。高反射性材料問題類別可以與如下的環(huán)境修改相關(guān)聯(lián)該環(huán)境修改被設(shè)計為減輕高反射率材料對計算系統(tǒng)用虛擬骨架對人類目標建模這一能力所產(chǎn)生的影響。因此，用于減輕高反射性材料的環(huán)境修改的一個示例可以是指示人類目標移動得遠離于深度相機的通信消息。附加地或可替代地，可以指示用戶減少存在于所成像場景中的環(huán)境光。問題類別的第三示例是總體高環(huán)境光?？傮w高環(huán)境光可能使得深度相機難以區(qū)分旨在捕捉深度信息的所投影的紅外光和存在于所成像場景中的環(huán)境光。換言之，環(huán)境光可能使場景飽和，由此致使所投影的光較不有效。這 可能導(dǎo)致難以對人類目標建模。高環(huán)境光源的示例包括窗戶、天窗、燈等等?？傮w高環(huán)境光可以通過深度圖像中的高總噪聲水平來標識，其中所成像場景中的表面的深度信息不易與背景區(qū)分。所成像場景的控制圖像的像素飽和度與所成像場景的測試圖像相比可能未減小一閾值量，因為來自所投影的紅外光的信號與來自環(huán)境光的信號相比可能未強得足以被檢測到。與總體高環(huán)境光相關(guān)聯(lián)的環(huán)境修改可以是如下的通信消息該通信消息標識導(dǎo)致該環(huán)境光的光源和/或指示用戶通過遮住窗戶、將燈調(diào)暗等等來減少環(huán)境光。光源的標識可以基于最高飽和度像素區(qū)域在控制圖像和/或測試圖像中的相對位置。附加地或可替代地，環(huán)境修改可以是致使環(huán)境修改系統(tǒng)自動調(diào)整環(huán)境光的控制消息(例如通過合上百葉窗和/或?qū)粽{(diào)暗)。問題類別的第四示例是低角度陽光。低角度陽光問題類別可能是由于低角度陽光進入所成像場景并且產(chǎn)生跨人類目標的局部化光條紋造成的。該光條紋可能導(dǎo)致無效深度像素區(qū)域，從而擾亂用虛擬骨架對人類目標的建模。包含無效深度像素的區(qū)域可以在下列情況下被分配給低角度陽光問題類別該區(qū)域是特定和局部化的無效深度像素條紋；以及測試圖像的與該無效深度像素區(qū)域相對應(yīng)的區(qū)域具有呈條紋形狀的高強度像素，其中這些高強度像素在控制圖像的相同區(qū)域中未減小一閾值量。與低角度陽光問題類別相關(guān)聯(lián)的環(huán)境修改的示例可以是向用戶推薦例如通過合上百葉窗來阻擋低角度陽光。問題類別的第五示例是點光源。示例點光源包括鹵素?zé)艉桶谉霟簟｜c光源可能導(dǎo)致無效深度像素區(qū)域，其中該區(qū)域?qū)?yīng)于該光源照射在人類目標上的區(qū)域。包含無效深度像素的區(qū)域可以在如下情況下被分配給點光源問題類別該區(qū)域具有圓形形狀，并且該區(qū)域的測試圖像具有呈圓形的高強度像素，其中這些像素在控制圖像的相同區(qū)域中未減少一閾值量。環(huán)境修改可以包括指示用戶關(guān)閉所標識出的光源的通信消息。問題類別的第六示例是低的信號環(huán)境光比(signal-to-ambient)。低的信號環(huán)境光比可能在所成像場景中的環(huán)境光為高的和/或人類目標與深度相機相距相對遠時發(fā)生。低的信號環(huán)境光比可以通過如下方式被標識出深度圖像具有多個小組的無效深度像素；以及控制圖像中的圖像像素強度與測試圖像相比減少一閾值量。與該問題類別相關(guān)聯(lián)的環(huán)境修改的示例是如下的通信消息該通信消息包括向人類目標推薦移動得更接近于深度相機和/或減少存在于所成像場景中的環(huán)境光。除了上面列舉的示例以外，還存在如下場景在該場景中，深度圖像可能包含不擾亂人類目標的成像的一個或多個無效深度像素區(qū)域。這樣的問題類別的一個示例是背景中的非反射性表面，比如處于深度相機的范圍以外的墻壁。在該示例中，無效深度像素區(qū)域是所成像場景的背景的大群集，并且測試圖像中的低強度像素在控制圖像中未改變一閾值量。不擾亂人類目標的建模的問題類別的另一示例是圖像場景中的鏡面反射面，比如鏡子或玻璃窗。鏡面反射面可能導(dǎo)致幾何形狀的無效深度像素區(qū)域。測試圖像的與所述無效深度圖像區(qū)域相對應(yīng)的區(qū)域可能具有在控制圖像的相同區(qū)域中未改變一閾值量的低強度像素。由于這兩種類別都僅僅影響背景而不是所成像的人類目標，因此這些類別不必對應(yīng)于特定的環(huán)境修改。然而，當(dāng)處理深度圖像時，可以考慮到這些問題類別的存在。例如，可以從深度圖像中減去遠距離的背景和/或鏡面反射面以簡化處理。在某些實施例中，可將以上所描述的方法和過程綁定到包括一個或多個計算機的計算系統(tǒng)。具體而言，此處所述的方法和過程可被實現(xiàn)為計算機應(yīng)用、計算機服務(wù)、計算機API、計算機庫、和/或其他計算機程序產(chǎn)品。圖6示意性示出了可以執(zhí)行上述方法和過程之中的一個或更多個的非限制性計算系統(tǒng)90。以簡化形式示出了計算系統(tǒng)90。應(yīng)當(dāng)理解，可使用基本上任何計算機架構(gòu)而不背離本公開的范圍。在不同的實施例中，計算系統(tǒng)90可以采取大型計算機、服務(wù)器計算機、臺式計算機、膝上型計算機、平板計算機、家庭娛樂計算機、網(wǎng)絡(luò)計算設(shè)備、移動計算設(shè)備、移動通信設(shè)備、游戲設(shè)備等等的形式。計算系統(tǒng)90包括邏輯子系統(tǒng)92和數(shù)據(jù)保持子系統(tǒng)94。計算系統(tǒng)90可以任選地包括顯示子系統(tǒng)96、捕捉設(shè)備98和/或在圖6中未示出的其他組件。計算系統(tǒng)90還可以任選地包括諸如下列用戶輸入設(shè)備例如鍵盤、鼠標、游戲控制器、相機、話筒和/或觸摸屏
坐坐寸寸o邏輯子系統(tǒng)92可包括被配置為執(zhí)行一個或多個指令的一個或多個物理設(shè)備。例如，邏輯子系統(tǒng)可被配置為執(zhí)行一個或多個指令，該一個或多個指令是一個或多個應(yīng)用、月艮務(wù)、程序、例程、庫、對象、組件、數(shù)據(jù)結(jié)構(gòu)、或其它邏輯構(gòu)造的部分?？蓪崿F(xiàn)此類指令以執(zhí)行任務(wù)、實現(xiàn)數(shù)據(jù)類型、變換一個或多個設(shè)備的狀態(tài)、或以其他方式得到所需結(jié)果。邏輯子系統(tǒng)可包括被配置成執(zhí)行軟件指令的一個或多個處理器。另外地或替換地，邏輯子系統(tǒng)可包括被配置成執(zhí)行硬件或固件指令的一個或多個硬件或固件邏輯機器。邏輯子系統(tǒng)的處理器可以是單核或多核，且在其上執(zhí)行的程序可被配置為并行或分布式處理。邏輯子系統(tǒng)可以任選地包括遍布兩個或更多設(shè)備的獨立組件，所述設(shè)備可遠程放置和/或被配置為進行協(xié)同處理。該邏輯子系統(tǒng)的一個或多個方面可被虛擬化并由以云計算配置進行配置的可遠程訪問的聯(lián)網(wǎng)計算設(shè)備執(zhí)行。數(shù)據(jù)保持子系統(tǒng)94可包括一個或更多個物理、非瞬時設(shè)備，這些設(shè)備被配置成保 持數(shù)據(jù)和/或可由該邏輯子系統(tǒng)執(zhí)行的指令，以實現(xiàn)此處描述的方法和過程。在實現(xiàn)這樣的方法和過程時，可以變換數(shù)據(jù)保持子系統(tǒng)94的狀態(tài)(例如，以保持不同的數(shù)據(jù))。數(shù)據(jù)保持子系統(tǒng)94可包括可移動介質(zhì)和/或內(nèi)置設(shè)備。數(shù)據(jù)保持子系統(tǒng)94尤其是可以包括光學(xué)存儲器設(shè)備(例如，⑶、DVD、HD-DVD、藍光盤等)、半導(dǎo)體存儲器設(shè)備(例如，RAM、EPROM、EEPROM等)和/或磁存儲器設(shè)備(例如，硬盤驅(qū)動器、軟盤驅(qū)動器、磁帶驅(qū)動器、MRAM等)。數(shù)據(jù)保持子系統(tǒng)94可包括具有以下特性中的一個或多個特性的設(shè)備易失性、非易失性、動態(tài)、靜態(tài)、讀/寫、只讀、隨機存取、順序存取、位置可尋址、文件可尋址、以及內(nèi)容可尋址。在某些實施例中，可以將邏輯子系統(tǒng)92和數(shù)據(jù)保持子系統(tǒng)94集成到一個或更多個常見設(shè)備中，如應(yīng)用專用集成電路或片上系統(tǒng)。
圖6還示出以可移動計算機可讀存儲介質(zhì)102形式的數(shù)據(jù)保持子系統(tǒng)的一方面，可移動計算機可讀存儲介質(zhì)102可用于存儲和/或傳輸可執(zhí)行以實現(xiàn)本文描述的方法和過程的數(shù)據(jù)和/或指令。可移動計算機可讀存儲介質(zhì)102尤其是可以采?、?、DVD、HD-DVD、藍光盤、EEPROM和/或軟盤形式?？梢悦靼?，數(shù)據(jù)保持子系統(tǒng)94包括一個或多個物理非瞬態(tài)設(shè)備。相反，在一些實施例中，本文描述的指令的各方面可以按瞬態(tài)方式通過不由物理設(shè)備在至少有限持續(xù)時間期間保持的純信號(例如電磁信號、光信號等)傳播。此外，與本公開有關(guān)的數(shù)據(jù)和/或其他形式的信息可以通過純信號傳播。在包括顯示子系統(tǒng)96時，顯示子系統(tǒng)96可用于呈現(xiàn)由數(shù)據(jù)保持子系統(tǒng)94保持的數(shù)據(jù)的視覺表示(例如，虛擬化身和/或三維虛擬世界)。由于此處所描述的方法和過程改
變由數(shù)據(jù)保持子系統(tǒng)保持的數(shù)據(jù)，并由此變換數(shù)據(jù)保持子系統(tǒng)的狀態(tài)，因此同樣可以變換顯示子系統(tǒng)96的狀態(tài)以在視覺上表示底層數(shù)據(jù)的改變。例如，計算系統(tǒng)90可被配置為呈現(xiàn)駕駛游戲以供在顯示子系統(tǒng)96的顯示設(shè)備上顯示。由此，計算系統(tǒng)90可包括顯示輸出以將駕駛游戲界面輸出到顯示設(shè)備。顯示子系統(tǒng)96可以包括使用實際上任何類型的技術(shù)的一個或多個顯示設(shè)備?？蓪⑦@樣的顯示設(shè)備與邏輯子系統(tǒng)92和/或數(shù)據(jù)保存子系統(tǒng)94組合在共享封裝中，或這樣的顯示設(shè)備可以是經(jīng)由顯示輸出連接到邏輯子系統(tǒng)的外圍顯示設(shè)備。在包括通信子系統(tǒng)時，通信子系統(tǒng)可以被配置成將計算系統(tǒng)90與一個或多個其他計算設(shè)備可通信地耦合。通信子系統(tǒng)可包括與一個或多個不同的通信協(xié)議相兼容的有線和/或無線通信設(shè)備。作為非限制性示例，通信子系統(tǒng)可被配置為經(jīng)由無線電話網(wǎng)、無線局域網(wǎng)、有線局域網(wǎng)、無線廣域網(wǎng)、有線廣域網(wǎng)等進行通信。在一些實施例中，通信子系統(tǒng)可允許計算系統(tǒng)90經(jīng)由諸如因特網(wǎng)之類的網(wǎng)絡(luò)發(fā)送消息至其他設(shè)備和/或從其他設(shè)備接收消肩、O計算系統(tǒng)90還可包括被配置成獲得一個或多個目標的深度圖像的集成和/或外圍捕捉設(shè)備98。在任一種情況下，計算系統(tǒng)90可包括外圍輸入以從深度相機接收深度圖像并將接收到的深度圖像傳遞到邏輯子系統(tǒng)以供處理。捕捉設(shè)備98可被配置成通過任何合適的技術(shù)(例如飛行時間、結(jié)構(gòu)化光、立體圖像等)捕捉具有深度信息的視頻。這樣，捕捉設(shè)備98可包括深度攝像機、視頻攝像機、立體攝像機、和/或其他合適的捕捉設(shè)備。例如，在飛行時間分析中，捕捉設(shè)備98可以向目標發(fā)射紅外光，然后使用傳感器來檢測從目標的表面反向散射的光。在一些情況下，可以使用脈沖式紅外光，其中可以測量出射光脈沖和相應(yīng)的入射光脈沖之間的時間并將該時間用于確定從該捕捉設(shè)備到目標上的特定位置的物理距離。在一些情況下，出射光波的相位可以與入射光波的相位相比較以確定相移，并且該相移可以用于確定從該捕捉設(shè)備到目標上的特定位置的物理距離。在另一示例中，飛行時間分析可用于通過經(jīng)由諸如快門式光脈沖成像之類的技術(shù)分析反射光束隨時間的強度，來間接地確定從該捕捉設(shè)備到目標上的特定位置的物理距離。在另一示例中，捕捉設(shè)備98可利用結(jié)構(gòu)化光分析來捕捉深度信息。在這樣的分析中，圖案化光(即被顯示為諸如網(wǎng)格圖案、條紋圖案或星座點之類的已知圖案的光)可以被投影到目標上。在落到目標的表面上以后，該圖案可能變?yōu)樽冃蔚?，并且可以研究該圖案的這種變形以確定從該捕捉設(shè)備到目標上的某一位置的物理距離。在另一示例中，捕捉設(shè)備可以包括兩個或更多個物理上分開的相機，這些相機從不同角度查看目標以獲得視覺立體數(shù)據(jù)。在這種情況下，該視覺立體數(shù)據(jù)可以被解析以生成深度圖像。 在其他實施例中，捕捉設(shè)備98可利用其他技術(shù)測量和/或計算深度值。此外，捕捉設(shè)備98可以將所計算的深度信息組織為“Z層”，即與從深度相機沿其視線延伸到目標的Z軸垂直的層。在某些實施例中，可將兩個或更多像機整合到一個集成捕捉設(shè)備中。例如，可將深度像機和攝像機(例如RGB攝像機)整合到共同的捕捉設(shè)備中。在某些實施例中，可協(xié)同使用兩個或更多分開的捕捉設(shè)備。例如，可使用深度像機和分開的攝像機。當(dāng)使用攝像機時，該攝像機可用于提供目標跟蹤數(shù)據(jù)、對目標跟蹤進行糾錯的確認數(shù)據(jù)、圖像捕捉、面部識別、對手指(或其他小特征)的高精度跟蹤、光感測和/或其他功能。要理解，至少一些目標分析和跟蹤操作可以由一個或多個捕捉設(shè)備的邏輯機來執(zhí)行。捕捉設(shè)備可以包括被配置成執(zhí)行一個或多個目標分析和/或跟蹤功能的一個或多個板載處理單元。捕捉設(shè)備可包括固件以幫助更新這樣的板上處理邏輯。計算系統(tǒng)90可任選地包括諸如控制器104和控制器106之類的一個或多個輸入設(shè)備。輸入設(shè)備可被用于控制計算系統(tǒng)的操作。在游戲的上下文中，諸如控制器104和/或控制器106之類的輸入設(shè)備可被用于控制游戲的那些不是通過這里所述的目標識別、跟蹤和分析方法和過程來控制的方面。在某些實施例中，諸如控制器104和/或控制器106之類的輸入設(shè)備可包括可用于測量控制器在物理空間中的移動的加速計、陀螺儀、紅外目標/傳感器系統(tǒng)等中的一個或多個。在某些實施例中，計算系統(tǒng)可任選地包括和/或利用輸入手套、鍵盤、鼠標、跟蹤墊、軌跡球、觸摸屏、按鈕、開關(guān)、撥盤、和/或其他輸入設(shè)備。如將理解的，目標識別、跟蹤和分析可被用于控制或擴充游戲或其他應(yīng)用的常規(guī)上由諸如游戲控制器之類的輸入設(shè)備控制的方面。在某些實施例中，這里所述的目標跟蹤可被用作對其他形式的用戶輸入的完全替代，而在其他實施例中，這種目標跟蹤可被用于補充一個或多個其他形式的用戶輸入。應(yīng)該理解，此處所述的配置和/或方法在本質(zhì)上是示例性的，并且，由于可能存在多個變體，所以這些特定實施例或示例不具有限制意義。本文中所述的具體例程或方法可表示任意數(shù)量的處理策略中的一個或多個。由此，所示的各個動作可按所述的順序執(zhí)行、按其他順序執(zhí)行、并行地執(zhí)行、或者在某些情況下被省略。同樣，可改變上述過程的次序。本公開的主題包括各種過程、系統(tǒng)和配置的所有新穎和非顯而易見的組合和子組合，和此處所公開的其他特征、功能、動作、和/或特性、以及其任何和全部等效物。
權(quán)利要求
1.一種數(shù)據(jù)保持子系統(tǒng)(94)，所述數(shù)據(jù)保持子系統(tǒng)(94)保持可由邏輯子系統(tǒng)(92)執(zhí)行以進行以下操作的指令 從深度相機獲取(42)深度圖像； 標識(48)使所述深度圖像中的一個或多個部分中的深度信息無效的一個或多個環(huán)境因素；以及 輸出￠2)環(huán)境修改以減輕所述環(huán)境因素。
2.如權(quán)利要求I所述的數(shù)據(jù)保持子系統(tǒng)，其特征在于，還保持如下指令所述 指令可由所述邏輯系統(tǒng)執(zhí)行以將所述深度圖像的包括無效深度信息的一個或多個區(qū)域分配給來自多個預(yù)定問題類別的一問題類別。
3.如權(quán)利要求2所述的數(shù)據(jù)保持子系統(tǒng)， 其特征在于，將區(qū)域分配給所述問題類別，因為該區(qū)域包含呈人類目標的服裝物品形狀的無效深度像素，并且該區(qū)域在暴露在紅外測試光下時的測試圖像與該區(qū)域在未暴露在所述紅外測試光下時的控制圖像相比未改變一閾值量；以及 其中被輸出以減輕所述環(huán)境因素的環(huán)境修改包括向所述人類目標推薦移動得更接近于所述深度相機。
4.如權(quán)利要求2所述的數(shù)據(jù)保持子系統(tǒng)， 其特征在于，將區(qū)域分配給所述問題類別，因為該區(qū)域包含呈圓形的被近深度像素環(huán)繞的無效深度像素，并且該區(qū)域在暴露在紅外測試光下時的測試圖像為高強度的，該強度與該區(qū)域在未暴露在所述紅外測試光下時的控制圖像相比減小一閾值量；以及 其中被輸出以減輕所述環(huán)境因素的環(huán)境修改包括向所述人類目標推薦移動得遠離于所述深度相機和/或減少所述深度相機的視野中的環(huán)境光。
5.如權(quán)利要求2所述的數(shù)據(jù)保持子系統(tǒng) 其特征在于，將區(qū)域分配給所述問題類別，因為該深度圖像具有高噪聲水平，并且圍繞所述區(qū)域的視野在暴露在紅外測試光下時的測試圖像具有高強度，并且與所述視野在未暴露在所述紅外測試光下時的控制圖像相比未改變一閾值量；以及 其中被輸出以減輕所述環(huán)境因素的環(huán)境修改包括標識所述視野中的光源以及向所述人類目標推薦減少來自所述光源的光。
6.如權(quán)利要求2所述的數(shù)據(jù)保持子系統(tǒng)， 其特征在于，將區(qū)域分配給所述問題類別，因為該區(qū)域包含以小組形式的無效深度像素，并且環(huán)繞該區(qū)域的樣本在未暴露在紅外測試光下時的控制圖像與該樣本在暴露在所述紅外測試光下時的測試圖像相比減小一閾值量；以及 其中被輸出以減輕所述環(huán)境因素的環(huán)境修改包括向所述人類目標推薦移動得更接近于所述深度相機和/或減少所述視野中的光。
7.如權(quán)利要求2所述的數(shù)據(jù)保持子系統(tǒng)，其特征在于，所述環(huán)境修改是基于所述問題類別來選擇的。
8.如權(quán)利要求I所述的數(shù)據(jù)保持子系統(tǒng)，其特征在于，所述指令可被執(zhí)行以通過輸出用于呈現(xiàn)給人類目標的通信消息來輸出所述環(huán)境修改，所述通信消息提供關(guān)于減輕所述環(huán)境因素的信息。
9.如權(quán)利要求I所述的數(shù)據(jù)保持子系統(tǒng)，其特征在于，所述指令可被執(zhí)行以通過輸出用于供環(huán)境修改系統(tǒng)執(zhí)行的控制消息來輸出所述環(huán)境修改，使得所述環(huán)境修改系統(tǒng)更改環(huán)境以減輕所述環(huán)境因素而不需要人類干預(yù)。
10.一種用于深度成像的方法，包括 利用深度相機對場景成像(42)，所述深度相機被配置為測量所述深度相機與所述場景中的表面之間的距離； 在測試模式下，從所述深度信息獲取(54)測試圖像，在所述測試圖像中，所述場景暴露在紅外測試光下； 在控制模式下，從所述深度信息獲取(56)控制圖像，在所述控制圖像中，所述場景未暴露在所述紅外測試光下；以及 輸出￠2)環(huán)境修改以減輕通過將所述測試圖像與所述控制圖像相比較所標識出的環(huán) 境因素。
全文摘要
本發(fā)明涉及用于減輕環(huán)境因素的環(huán)境修改。一種用于深度成像的方法，包括從深度相機獲取深度圖像；標識使深度圖像中的一個或多個部分中的深度信息無效的環(huán)境因素；以及輸出環(huán)境修改以減輕該環(huán)境因素。
文檔編號G06F3/01GK102645973SQ20121002317
公開日2012年8月22日 申請日期2012年2月2日 優(yōu)先權(quán)日2011年2月3日
發(fā)明者A·里奇, P·瑪薩立克爾 申請人:微軟公司