間中。在此情況下，可以有用于 為多用戶交互設(shè)計(jì)的應(yīng)用的特別大的交互區(qū)域。為支持此應(yīng)用，能夠安裝多個(gè)相機(jī)，以便其 相應(yīng)視野相互重疊,并且來(lái)自每一個(gè)相機(jī)的數(shù)據(jù)能夠組合成復(fù)合合成數(shù)據(jù)流，數(shù)據(jù)流能夠 由跟蹤算法處理。這樣，交互區(qū)域能夠變得任意大以支持任何此類應(yīng)用。
[0030] 在所有前面提及的實(shí)施例中，相機(jī)可以是深度相機(jī)，并且它們生成的深度數(shù)據(jù)可 用于允許實(shí)現(xiàn)能夠理解用戶的移動(dòng)的跟蹤和姿勢(shì)識(shí)別算法。2012年6月25日提出，題為 "用于近距離移動(dòng)跟蹤的系統(tǒng)和方法"（SYSTEMANDMETHODFORCLOSE-RANGEMOVEMENT TRACKING)的美國(guó)專利申請(qǐng)13/532609描述了基于深度相機(jī)的幾種類型的相關(guān)用戶交互， 并且由此全文結(jié)合于本文中。
[0031] 圖4是由相互相距固定距離定位的個(gè)別相機(jī)捕捉的兩個(gè)輸入圖像42和44和通過(guò) 使用本公開(kāi)內(nèi)容中描述的技術(shù)組合來(lái)自兩個(gè)輸入圖像的數(shù)據(jù)創(chuàng)建的合成圖像46的示例的 圖。要注意的是，單獨(dú)輸入圖像42和44中的對(duì)象也出現(xiàn)在合成圖像中其相應(yīng)位置。
[0032] 相機(jī)查看三維（3D)場(chǎng)景，并且將來(lái)自3D場(chǎng)景的對(duì)象投影到二維（2D)圖像平面 上。在相機(jī)投影的討論的上下文中，"圖像坐標(biāo)系"指與圖像平面相關(guān)聯(lián)的2D坐標(biāo)系（X， y)，并且"全球坐標(biāo)系"指與相機(jī)在查看的場(chǎng)景相關(guān)聯(lián)的3D坐標(biāo)系（X，Y，Z)。在兩個(gè)坐標(biāo) 系中，相機(jī)是在坐標(biāo)軸的原點(diǎn)（（x=0,y=0),或者（X=0,Y=0,Z=0))。
[0033]參照?qǐng)D5,它是稱為針孔相機(jī)模型的相機(jī)投影過(guò)程的示例理想化模型。由于模型是 理想化的，因此，為簡(jiǎn)明起見(jiàn)，忽略了諸如透鏡畸變等相機(jī)投影的某些特性?；诖四Ｐ?，在 場(chǎng)景的3D坐標(biāo)系（X，Y，Z)與圖像平面的2D坐標(biāo)系（X，y)之間的關(guān)系為：
【主權(quán)項(xiàng)】
1. 一種系統(tǒng)，包括： 多個(gè)深度相機(jī)，其中每個(gè)深度相機(jī)配置成在某個(gè)時(shí)間期內(nèi)捕捉場(chǎng)景的深度圖像的序 列； 多個(gè)單獨(dú)處理器，其中每個(gè)單獨(dú)處理器配置成： 接收來(lái)自所述多個(gè)深度相機(jī)的一個(gè)相應(yīng)相機(jī)的深度圖像的相應(yīng)序列； 跟蹤深度圖像的所述序列中一個(gè)或更多個(gè)人或身體部分的移動(dòng)以獲得所述被跟蹤的 一個(gè)或更多個(gè)人或身體部分的三維位置； 群組處理器，配置成： 接收來(lái)自每個(gè)所述單獨(dú)處理器的所述被跟蹤的一個(gè)或更多個(gè)人或身體部分的所述三 維位置； 從所述被跟蹤的人或一個(gè)或更多個(gè)身體部分的所述三維位置生成復(fù)合三維場(chǎng)景的序 列。
2. 如權(quán)利要求1所述的系統(tǒng)，還包括交互式應(yīng)用，其中所述交互式應(yīng)用使用所述被跟 蹤的一個(gè)或更多個(gè)人或身體部分的所述移動(dòng)作為輸入。
3. 如權(quán)利要求2所述的系統(tǒng)，其中每個(gè)單獨(dú)處理器還配置成從所述被跟蹤的移動(dòng)識(shí) 別一個(gè)或更多個(gè)姿勢(shì)，并且還有其中所述群組處理器還配置成接收所述識(shí)別的一個(gè)或更多 個(gè)姿勢(shì)，并且所述交互式應(yīng)用依賴所述姿勢(shì)以便控制所述應(yīng)用。
4. 如權(quán)利要求1所述的系統(tǒng)，其中生成復(fù)合三維場(chǎng)景的所述序列包括： 推導(dǎo)虛擬相機(jī)的參數(shù)和投影函數(shù)； 使用有關(guān)所述多個(gè)深度相機(jī)的相對(duì)位置的信息推導(dǎo)在所述多個(gè)深度相機(jī)與所述虛擬 相機(jī)之間的變換； 將所述移動(dòng)變換到所述虛擬相機(jī)的坐標(biāo)系。
5. 如權(quán)利要求1所述的系統(tǒng)，還包括另外的多個(gè)深度相機(jī)，其中所述另外的多個(gè)深度 相機(jī)的每個(gè)相機(jī)配置成在所述時(shí)間期內(nèi)捕捉所述場(chǎng)景的深度圖像的另外序列， 其中所述群組處理器還配置成： 接收來(lái)自所述另外多個(gè)深度相機(jī)的每個(gè)相機(jī)的深度圖像的所述另外序列； 跟蹤深度圖像的所述另外序列中所述一個(gè)或更多個(gè)人或身體部分的移動(dòng)以獲得所述 被跟蹤的一個(gè)或更多個(gè)人或身體部分的三維位置； 其中所述復(fù)合三維場(chǎng)景的所述序列還從深度圖像的所述另外序列中所述被跟蹤的一 個(gè)或更多個(gè)人或身體部分的所述三維位置生成。
6. 如權(quán)利要求5所述的系統(tǒng)，其中所述群組處理器還配置成從深度圖像的所述另外 序列中所述被跟蹤的一個(gè)或更多個(gè)人或身體部分識(shí)別一個(gè)或更多個(gè)另外的姿勢(shì)。
7. 一種系統(tǒng)，包括： 多個(gè)深度相機(jī)，其中每個(gè)深度相機(jī)配置成在某個(gè)時(shí)間期內(nèi)捕捉場(chǎng)景的深度圖像的序 列； 群組處理器，配置成： 接收來(lái)自所述多個(gè)深度相機(jī)的深度圖像的所述序列； 從深度圖像的所述序列生成合成圖像的序列，其中合成圖像的所述序列中的每個(gè)合成 圖像對(duì)應(yīng)于來(lái)自所述多個(gè)深度相機(jī)的每個(gè)相機(jī)的深度圖像的所述序列中所述深度圖像之 跟蹤合成圖像的所述序列中一個(gè)或更多個(gè)人或身體部分的移動(dòng)。
8. 如權(quán)利要求7所述的系統(tǒng)，還包括交互式應(yīng)用，其中所述交互式應(yīng)用使用所述被跟 蹤的一個(gè)或更多個(gè)人或身體部分的所述移動(dòng)作為輸入。
9. 如權(quán)利要求8所述的系統(tǒng)，其中所述群組處理器還配置成從所述被跟蹤的一個(gè)或 更多個(gè)人或身體部分識(shí)別一個(gè)或更多個(gè)另外的姿勢(shì)，并且還有其中所述交互式應(yīng)用使用所 述姿勢(shì)以便控制所述應(yīng)用。
10. 如權(quán)利要求7所述的系統(tǒng)，其中從深度圖像的所述序列生成合成圖像的所述序列 包括： 推導(dǎo)虛擬相機(jī)的參數(shù)和投影函數(shù)以便虛擬捕捉所述合成圖像； 將從所述多個(gè)深度相機(jī)收到的每個(gè)所述對(duì)應(yīng)深度圖像反投影；將所述反投影的圖像變 換到所述虛擬相機(jī)的坐標(biāo)系； 使用所述虛擬相機(jī)的所述投影函數(shù)將每個(gè)所述變換的反投影的圖像投影到所述合成 圖像。
11. 如權(quán)利要求10所述的系統(tǒng)，其中從深度圖像的所述序列生成合成圖像的所述序 列還包括應(yīng)用后處理算法以清除所述合成圖像。
12. -種使用從多個(gè)深度相機(jī)的每一個(gè)相機(jī)捕捉的深度圖像生成合成深度圖像的方 法，所述方法包括： 推導(dǎo)用于能夠虛擬捕捉所述合成深度圖像的虛擬相機(jī)的參數(shù)，其中所述參數(shù)包括將來(lái) 自三維場(chǎng)景的對(duì)象映射到所述虛擬相機(jī)的圖像平面的投影函數(shù)； 將每個(gè)深度圖像反投影到每個(gè)相應(yīng)深度相機(jī)的三維坐標(biāo)系中的三維點(diǎn)集； 將反投影的三維點(diǎn)的每個(gè)集變換到所述虛擬相機(jī)的坐標(biāo)系； 將反投影的三維點(diǎn)集的每個(gè)變換的集投影到所述二維合成圖像。
13. 如權(quán)利要求12所述的方法，還包括應(yīng)用后處理算法以清除所述合成深度圖像。
14. 如權(quán)利要求12所述的方法，還包括在一系列獲得的合成深度圖像上運(yùn)行跟蹤算 法，其中被跟蹤的對(duì)象用作到交互式應(yīng)用的輸入。
15. 如權(quán)利要求14所述的方法，其中所述交互式應(yīng)用在顯示器上基于所述被跟蹤的 對(duì)象再現(xiàn)圖像以提供反饋到用戶。
16. 如權(quán)利要求14所述的方法，還包括從所述被跟蹤的對(duì)象識(shí)別姿勢(shì)，其中所述交互 式應(yīng)用在顯示器上基于所述被跟蹤的對(duì)象和識(shí)別的姿勢(shì)再現(xiàn)圖像以提供反饋到用戶。
17. -種從深度圖像的多個(gè)序列生成復(fù)合三維場(chǎng)景的序列的方法，其中深度圖像的所 述多個(gè)序列的每個(gè)序列由不同深度相機(jī)拍攝，所述方法包括： 跟蹤深度圖像的每個(gè)所述序列中一個(gè)或更多個(gè)人或身體部分的移動(dòng)； 推導(dǎo)用于虛擬相機(jī)的參數(shù)，其中所述參數(shù)包括將來(lái)自三維場(chǎng)景的對(duì)象映射到所述虛擬 相機(jī)的圖像平面的投影函數(shù)； 使用有關(guān)所述深度相機(jī)的相對(duì)位置的信息推導(dǎo)在所述深度相機(jī)與所述虛擬相機(jī)之間 的變換； 將所述移動(dòng)變換到所述虛擬相機(jī)的坐標(biāo)系。
18. 如權(quán)利要求17所述的方法，還包括使用所述一個(gè)或更多個(gè)人或身體部分的所述 被跟蹤的移動(dòng)作為到交互式應(yīng)用的輸入。
19. 如權(quán)利要求18所述的方法，還包括從所述一個(gè)或更多個(gè)人或身體部分的所述被 跟蹤的移動(dòng)識(shí)別姿勢(shì)，其中所述識(shí)別的姿勢(shì)控制所述交互式應(yīng)用。
20. 如權(quán)利要求19所述的方法，其中所述交互式應(yīng)用在顯示器上再現(xiàn)所述識(shí)別的姿 勢(shì)的圖像以提供反饋到用戶。
【專利摘要】本文描述了用于將從多個(gè)深度相機(jī)拍攝的深度圖像組合成復(fù)合圖像的系統(tǒng)和方法。復(fù)合圖像中捕捉的空間的體積在大小和形狀方面是可根據(jù)使用的深度相機(jī)的數(shù)量和相機(jī)的成像傳感器的形狀配置的。在復(fù)合圖像上能夠執(zhí)行人或?qū)ο蟮囊苿?dòng)的跟蹤。跟蹤的移動(dòng)隨后能夠由交互式應(yīng)用使用。
【IPC分類】H04N13-02
【公開(kāi)號(hào)】CN104641633
【申請(qǐng)?zhí)枴緾N201380047859
【發(fā)明人】Y.亞奈, M.馬莫尼, G.勒維, G.庫(kù)特利羅夫
【申請(qǐng)人】英特爾公司
【公開(kāi)日】2015年5月20日
【申請(qǐng)日】2013年10月15日
【公告號(hào)】EP2907307A1, US20140104394, WO2014062663A1