當(dāng)人們以面對面討論進行交互時，他們能夠以各種方式進行交流，諸如語音、手勢、眼睛注視、他們?nèi)绾问顾麄冏约罕舜舜_定方向等。存在用于遠程個體的音頻/視頻會議的技術(shù)，這些技術(shù)捕捉語音和圖像，但是丟失了面對面交流的其他方面。當(dāng)前的概念能夠提供音頻/視頻會議，該音頻/視頻會議能夠仿真這些其他方面中的一些方面以提供更為有效且令人滿意的用戶體驗。

技術(shù)實現(xiàn)要素：

本描述涉及經(jīng)由遙現(xiàn)體驗的遠程協(xié)作。一個示例能夠包括交互式數(shù)字顯示設(shè)備。該示例還能夠包括虛擬用戶呈現(xiàn)組件，虛擬用戶呈現(xiàn)組件被配置為在交互式數(shù)字顯示設(shè)備上生成包括遠程用戶的虛擬表示的圖形用戶界面。圖形用戶界面能夠被配置為以將遠程用戶的虛擬表示與遠程用戶在交互式數(shù)字顯示設(shè)備上的交互進行相關(guān)的方式來呈現(xiàn)遠程用戶。例如，該相關(guān)可能牽涉到將遠程用戶的圖像連接至這些交互。例如，這種相關(guān)能夠以與交互式數(shù)字顯示設(shè)備的本地用戶成并排或鏡像的關(guān)系來完成。

上文所列出的示例意圖為提供快速參考以輔助讀者并且不意圖為限定本文所描述的概念的范圍。

附圖說明

附圖圖示了本文中所傳達的概念的實施方式。所圖示的實施方式的特征能夠通過結(jié)合附圖參考以下描述而更容易地被理解。各種附圖中的相似參考標號被使用在任何可以指示相似元素的地方。進一步地，每個參考標號的最左側(cè)數(shù)字傳達了該參考標號首次被引入的附圖和相關(guān)聯(lián)的討論。

圖1-圖4示出了依據(jù)當(dāng)前概念的一些實施方式的示例遠程協(xié)作系統(tǒng)場景。

圖5-圖7示出了依據(jù)當(dāng)前概念的一些實施方式的示例遠程協(xié)作系統(tǒng)。

圖8示出了依據(jù)當(dāng)前概念的一些實施方式的示例協(xié)作過程。

圖9-圖13示出了依據(jù)當(dāng)前概念的一些實施方式的與圖1-4的一些場景的遠程可視化方面有關(guān)的附加細節(jié)。

圖14-圖15示出了依據(jù)當(dāng)前概念的一些實施方式的遠程可視化技術(shù)的流程圖示例。

具體實施方式

概述

本專利涉及對共址用戶的真實生活交互進行模仿的視頻會議。從一個視角來看，本視頻會議概念能夠被稱作“沉浸板”(ImmerseBoard，例如仿真的面對面白板協(xié)作)。沉浸板能夠表現(xiàn)為用于通過交互式數(shù)字顯示設(shè)備進行遠程協(xié)作的系統(tǒng)，其給予參與者(“用戶”)3-D沉浸式體驗。該系統(tǒng)能夠?qū)⒔换ナ綌?shù)字顯示設(shè)備(例如，觸敏顯示器或數(shù)字白板)與深度相機(諸如，傳感器)相結(jié)合。通過深度圖像的3-D處理以及用戶圖像的渲染，沉浸板能夠仿真物理白板上的或者替換地是鏡面上的并排書寫，以及其他事物。沉浸板能夠允許用戶更好地估計他們的遠程搭檔的眼睛注視方向、手勢方向和注意力、和/或同意程度。此外，這些因素能夠轉(zhuǎn)換為經(jīng)提高的在一起的感覺以及更為愉悅的遙現(xiàn)體驗。

物理白板能夠通過允許處于相同地點的人們以書寫形式共享他們的想法來增強他們之間的協(xié)作。書寫表示的存在進而能夠允許用戶通過指點、注視的方向、和/或其他形式的手勢，在物理方面表達出他們對這些想法的關(guān)系。除了書寫信息本身之外，這些可能是物理白板能夠超出共址的人們之間的協(xié)作的通常重要元素以外增強協(xié)作的重要方式，諸如眼神接觸、身體姿態(tài)、人際距離等。

當(dāng)協(xié)作者為遠程時，交互式數(shù)字顯示設(shè)備(例如，數(shù)字白板或觸敏顯示器)能夠使得遠程協(xié)作者有可能圖形地共享他們的想法。數(shù)字白板共享是在一些現(xiàn)代視頻會議系統(tǒng)中找到的設(shè)施。然而，它被用來通過書寫傳達信息。對于用戶而言失去了通過指點、注視和其他形式的手勢互相關(guān)聯(lián)和/或與書寫進行關(guān)聯(lián)的能力。當(dāng)前的概念能夠保留這樣的情境，就像用戶是共址的(例如，在相同的白板處)。因此，當(dāng)從一個視角來看時，當(dāng)前的實施方式能夠解決如下的技術(shù)問題：使得遠程參與者感覺上好像他們共址于所共享的白板周圍。

當(dāng)前的實施方式能夠利用沉浸式遙現(xiàn)來保留遠程用戶與數(shù)字白板的物理關(guān)聯(lián)。在沉浸式遙現(xiàn)中，遠程環(huán)境的各方面能夠被捕捉、傳輸和共享，從而用戶能夠在大的視場中以恰當(dāng)?shù)囊暯强吹胶吐牭奖舜?可能是原物大小)，就像他們在相同的地點一樣。遠程用戶以及他們的環(huán)境的部分能夠以3-D被捕捉并且被混合到共同的3-D虛擬環(huán)境中，在該3-D虛擬環(huán)境中用戶可以進行交互。用戶還能夠操控所共享的內(nèi)容。

當(dāng)前概念的實施方式能夠圍繞遠程數(shù)字白板協(xié)作來創(chuàng)建沉浸式體驗。圖1-2、3和4中分別示出了這些沉浸式條件中的三個條件，稱為混合條件、鏡面條件和傾斜板面條件。隨后關(guān)于圖10-13來描述用于實現(xiàn)這些條件的細節(jié)。

用戶體驗示例

圖1-2示出了在系統(tǒng)100上完成的上文所提到的混合條件沉浸板的示例。系統(tǒng)100能夠包括第一和第二交互式數(shù)字顯示設(shè)備(“設(shè)備”)102(1)和102(2)。圖形用戶界面(GUI)103能夠被呈現(xiàn)在設(shè)備102上。系統(tǒng)100能夠被劃分為本地用戶環(huán)境104(例如，第一用戶環(huán)境)和遠程用戶環(huán)境106(例如，第二用戶環(huán)境)。本地用戶108(例如，第一用戶)能夠出現(xiàn)在本地用戶環(huán)境104中，而遠程用戶110(例如，第二用戶)能夠出現(xiàn)在遠程用戶環(huán)境106中。遠程用戶110的虛擬表示(例如，虛擬遠程用戶)112能夠在遠程用戶環(huán)境中被捕捉并且被呈現(xiàn)在設(shè)備102(1)上。類似地，本地用戶108的虛擬表示(例如，虛擬本地用戶)114能夠在本地用戶環(huán)境中被捕捉并且被呈現(xiàn)在設(shè)備102(2)上。注意，“本地”和“遠程”是任意的并且可以簡單地是“第一”和“第二”。因此，對第一用戶是本地的對第二用戶則是遠程的，并且對第二用戶是本地的對第一用戶則是遠程的。

在這一實施方式中，不是直接處于“本地”用戶前面的設(shè)備102的虛擬用戶顯示部分被用來呈現(xiàn)虛擬用戶。例如，虛擬遠程用戶112被呈現(xiàn)在處于本地用戶108右側(cè)的虛擬用戶顯示部分116(1)中。類似地，虛擬本地用戶114被呈現(xiàn)在處于遠程用戶110左側(cè)的虛擬用戶顯示部分116(2)上。

GUI 103的分離交互式部分118(例如，虛擬繪制表面)能夠被用于書寫、繪圖等。因此，GUI 103能夠包括虛擬用戶顯示部分116和交互式部分118。例如，GUI 103(1)能夠包括虛擬用戶顯示部分116(1)和交互式部分118(1)，并且GUI 103(2)能夠包括虛擬用戶顯示部分116(2)和交互式部分118(2)。

進一步注意，雖然本地用戶的表示被呈現(xiàn)在虛擬用戶顯示部分116(2)中，但是用戶相對于設(shè)備的移動能夠在虛擬用戶顯示部分116(2)與交互式部分118(2)之間被相關(guān)。在這個示例中，該相關(guān)可能牽涉到用戶手臂的表示從虛擬用戶顯示部分116(2)“延伸”至交互式部分118(2)。例如，在所圖示的示例中，本地用戶108正在指點設(shè)備102(1)的交互式部分118(1)中的“O”處。通過呈現(xiàn)她指點設(shè)備102(2)的交互式部分118(2)中的對應(yīng)“O”處的手部，并且將她的手臂從她在虛擬用戶顯示部分116(2)中的圖像(例如，虛擬本地用戶114)“延伸”至如在120處所指示的她的手部，她的動作能夠在設(shè)備102(2)上被模仿。因此，她的動作以模仿面對面交互(其中她可以伸手并指點“O”處)的方式而容易地在視覺上被傳達給遠程用戶110。

作為總結(jié)，圖1示出了本地用戶108相對于設(shè)備102(1)所執(zhí)行的用戶命令以及用戶命令如何被呈現(xiàn)在遠程用戶環(huán)境106中。

圖2示出了遠程用戶110所執(zhí)行的用戶命令以及用戶命令如何被呈現(xiàn)在本地用戶環(huán)境104中。在這個示例中，遠程用戶110通過利用他的手指(或者替換地利用數(shù)字筆)在設(shè)備102(2)的交互式部分118(2)上數(shù)字地寫出“X”來執(zhí)行用戶命令。在本地用戶環(huán)境104中，遠程用戶手部的表示被示出為在交互式部分118(1)上的對應(yīng)地點寫出“X”。通過將202處的遠程用戶手臂從虛擬用戶顯示部分116(1)“延伸”至遠程用戶手部在交互式部分118(1)中的表示，遠程用戶手部的表示能夠被連接至虛擬遠程用戶112。注意，雖然使用了“延伸的”手臂來將用戶的圖像與內(nèi)容進行相關(guān)，但是也能夠使用其他的視覺表示技術(shù)。例如，除了其他的相關(guān)技術(shù)之外，箭頭可以將用戶連接至內(nèi)容，或者“光束”可以指向沿著從用戶圖像到內(nèi)容的表面。因此，除了其他事物之外，與用戶手臂的原物大小的表示相對地，光束或箭頭能夠被用作用戶手臂的符號表示。

在上述場景中，每個用戶能夠看到其他用戶正在做什么，看到他們的姿態(tài)，看到他們的相對位置，和/或看到他們與設(shè)備的交互。

作為總結(jié)，從一個視角來看，系統(tǒng)100中所描繪的混合條件能夠被特性化為對利用白板的2-D視頻會議的修改，將遠程人物的手部延伸出視頻窗口(例如，虛擬用戶顯示部分)之外以到達他或她正在指點或書寫的地點。這被圖示在圖1和2中，它們被劃分為系統(tǒng)100的本地用戶環(huán)境和遠程用戶環(huán)境。

圖3示出了系統(tǒng)300上的示例傾斜板面沉浸板實施方式。簡要地說，從一個視角來看，該傾斜板面能夠在物理白板上書寫的同時仿真并排的協(xié)作。

在這種情況下，相應(yīng)設(shè)備102的顯示區(qū)域302被指定。圖形用戶界面(GUI)303能夠被呈現(xiàn)在顯示區(qū)域302上，其包括能夠被呈現(xiàn)在顯示區(qū)域302上的虛擬繪制表面304。其他用戶的虛擬表示能夠被呈現(xiàn)在虛擬繪制表面304之外的顯示區(qū)域302上。例如，相對于本地用戶環(huán)境104，虛擬遠程用戶112被呈現(xiàn)，并且相對于遠程用戶環(huán)境106，虛擬本地用戶114被呈現(xiàn)。在這一特定實施方式中，虛擬繪制表面304總體上是矩形的，但是情況并非需要是這樣。正如一些其他所描述的條件，在一些實施方式中，虛擬用戶(例如，虛擬遠程用戶112和虛擬本地用戶114)的整個上身能夠以原物大小被看到，從而關(guān)于設(shè)備102以及關(guān)于其他用戶這兩者傳達了身體姿態(tài)、身體接近度、手勢方向、指點方向、以及眼睛注視方向。然而，為了將虛擬用戶的圖像適配在設(shè)備上，矩形繪制表面的圖像能夠以角度α(諸如10至45度)向后傾斜，并且符合透視法地被渲染。也就是說，繪制表面現(xiàn)在是虛擬的；因此是術(shù)語虛擬繪制表面。通過向虛擬繪制表面304的作為GUI 303的一部分的投影上進行書寫，用戶能夠在虛擬繪制表面304上進行書寫。與此同時，用戶能夠看到彼此，就像他們是并排的那樣。

一些實施方式能夠通過在檢測到或預(yù)測到書寫手勢的情況下依照顯示區(qū)域302對虛擬繪制表面進行臨時修正，而避免用戶在帶角度的或傾斜的虛擬繪制表面304上進行書寫。替換地，這一選項可以被提供給用戶以用于在他們想要進行書寫時的手動實施。在手動模式中，用戶能夠選擇(例如，按下按鈕或執(zhí)行控制手勢)以在傾斜的與修正的虛擬繪制表面之間進行切換。在自動模式中，當(dāng)用戶的手部接近于數(shù)字白板時，該板面能夠自動地被修正。當(dāng)用戶將他們的手部撤離設(shè)備和/或撤步遠離設(shè)備時，虛擬繪制表面符合透視法地向后傾斜。在任一種情況下，在一些實施方式中，當(dāng)虛擬繪制表面被修正時，遠程用戶不再是可見的，但是情況并非需要是這樣。因此，用戶通常將使用傾斜板面來觀看存在的遠程用戶，并且將使用修正的板面來書寫詳細的勾畫。傾斜和修正僅是為了本地用戶的益處的可視化，并且能夠在任一側(cè)獨立地進行。

圖4示出了系統(tǒng)400所實施的鏡面條件的沉浸板的示例。從一個視角來看，該鏡面條件能夠在物理鏡面(例如，鏡像關(guān)系)上書寫的同時仿真并排的協(xié)作。

圖4中所示出的鏡面條件能夠被認為是對鏡面比喻(metaphor)的仿真。在這種實施方式中，每個虛擬用戶的身體的一部分(諸如他們的上身)能夠以原物大小被呈現(xiàn)，從而關(guān)于設(shè)備102以及關(guān)于本地用戶(例如，其他用戶)這兩者傳達了身體姿態(tài)、身體接近度、手勢方向、指點方向、以及眼睛注視方向。兩個用戶都能夠在GUI 403的整個顯示區(qū)域402上進行書寫，并且在顯示區(qū)域的任何部分中看到彼此，就像它是一個大的鏡面。

第一眼看上去，該鏡面條件可能看起來等同于通過玻璃墻觀看到彼此，但是該比喻是不正確的。如果一個人在玻璃墻上書寫字符，則另一個人看到反向書寫的字符。鏡面是正確的比喻，因為用戶處于書寫表面的相同側(cè)并且因此共享相同的左/右?guī)缀涡问?。先前的允許用戶通過清晰板面而面對彼此的遠程協(xié)作系統(tǒng)對2-D視頻進行翻轉(zhuǎn)以解決書寫問題。如圖10中所示出的，本鏡面可視化僅翻轉(zhuǎn)深度，而將書寫保留在正確的左/右方向上。

圖1-圖4提供了三種沉浸板實施方式。注意，這些實施方式能夠用來將板面的顯示區(qū)域與其他用戶虛擬地連接。每個用戶能夠看到其他用戶關(guān)于數(shù)字白板正在做什么，并且能夠看到他們正在看向何處、他們的臉、表情、眼睛注視方向等。因此，不是在數(shù)字白板的一部分上看到其他人的臉并且然后看到突然出現(xiàn)在板面的另一部分上的內(nèi)容，而是用戶能夠看到在板面上進行書寫的其他用戶的身體和他們寫在板面上的內(nèi)容、以及在他們書寫的同時看到他們的臉。

有效的遠程協(xié)作經(jīng)常牽涉到內(nèi)容共享(例如，文檔或書寫)以及自然交流(例如，語音、手勢、和/或眼神接觸)。這一章節(jié)描述了實現(xiàn)沉浸式遠程白板協(xié)作的沉浸板的一些底層設(shè)計原理。

眼神接觸和面部表情可能是人們用于協(xié)作的關(guān)鍵社交工具。然而，已有的視頻會議系統(tǒng)不能準確地傳達眼睛注視意識，因為相機沒有被定位在遠程人物的眼睛圖像處。這使得遠程交流由于對彼此的注意力的不良理解而不太有效。當(dāng)前的實施方式能夠支持現(xiàn)實的眼神接觸。

注意力意識對于遠程協(xié)作而言經(jīng)常是重要的，因為它有助于理解遠程用戶的興趣和情境。特別是對于白板協(xié)作而言，用戶經(jīng)常通過語音、觀看、書寫、觸摸、或手指指點而將注意力放到協(xié)作者的講話或者板面上的內(nèi)容。因此，一些當(dāng)前的實施方式能夠交流遠程用戶、白板與本地用戶之間的準確的三向幾何關(guān)系，特別是對于眼睛注視方向和手部位置而言。

遠程協(xié)作在遠程用戶的動作(例如，繪圖、指點、選擇)能夠準確地被預(yù)測的情況下可能是更有效的。類似于注意力意識，這也可能牽涉到協(xié)作系統(tǒng)每當(dāng)有可能的時候都捕捉并且忠實渲染遠程用戶的信息。這可能包括(多個)遠程用戶在白板上的原物大小的表示以及遠程用戶與白板的幾何關(guān)系的準確呈現(xiàn)。

其他實施方式也被考慮用于關(guān)于數(shù)字白板來實現(xiàn)這些特征。例如，為了圖示的簡便，圖1-4中的設(shè)備102的形狀因子在本地和遠程環(huán)境這兩者中非常類似。然而，情況并非需要是這樣。例如，圖7示出了采用大形狀因子的數(shù)字白板和小形狀因子的平板類型設(shè)備的示例實施方式。技術(shù)人員應(yīng)當(dāng)認識到還有其他的實施方式。

還注意到，雖然僅單個用戶被示出在本地用戶環(huán)境中并且單個用戶被示出在遠程用戶環(huán)境中，但是這些環(huán)境之一或兩者可以由與數(shù)字白板進行交互的一群人所占據(jù)。進一步地，一些實施方式可以一次與多于兩個環(huán)境一起進行操作(例如，在三個或更多地點的三個或更多用戶在沉浸板會議中進行交互)。

進一步注意，出于解釋的目的，相同的混合配置被示出在圖1的本地環(huán)境和遠程環(huán)境中。然而，遠程用戶可能選取使用圖3的傾斜條件或圖4的鏡面條件，而本地用戶利用混合條件。進一步地，單個用戶可以在條件之間進行切換而不影響其他用戶。例如，本地用戶可以針對某些交互使用混合條件，并且然后針對其他交互切換至傾斜條件而不影響遠程用戶。選擇條件的能力能夠手動地被執(zhí)行。替換地或另外地，一些實施方式能夠自動地執(zhí)行選擇，諸如基于各種用戶偏好和/或使用參數(shù)，諸如書寫頻率或指點顯示器上的內(nèi)容。

示例系統(tǒng)

圖5示出了與上文所介紹的系統(tǒng)100相類似的系統(tǒng)500上的一種沉浸板實施方式。該系統(tǒng)圖示了表現(xiàn)為設(shè)備502(1)和設(shè)備502(2)的兩種設(shè)備配置。這兩個設(shè)備都包括屏幕或顯示器504、外殼505和傳感器506。各種類型的傳感器506在下文被描述，并且特別被描述的一種類型是深度相機，一般被稱為紅綠藍+深度(RGBD)相機507。這些設(shè)備還能夠包括(多個)處理器508、存儲裝置/存儲器510、通信組件512、以及虛擬用戶呈現(xiàn)組件514。設(shè)備502能夠替換地或另外地包括其他元件，諸如總線、圖形卡(例如，圖形處理單元(GPU)、網(wǎng)絡(luò)硬件)、揚聲器等，它們出于簡明的目的沒有在此被圖示和討論。

在所圖示的配置中，顯示器504是觸敏顯示器。然而，情況并非需要是這樣，另外的傳感器可以被用來檢測接近于顯示器的用戶命令以在非觸敏顯示器上創(chuàng)建觸摸顯示器功能的印象。進一步注意，當(dāng)前的實施方式不限制于具體類型的顯示器。相對照地，可工作的實施方式能夠利用投影顯示器、發(fā)光二極管(LED)顯示器、液晶顯示器、電致發(fā)光顯示器、等離子顯示器、和/或其他正在開發(fā)或還將要開發(fā)的顯示器類型而被完成。

傳感器506能夠包括各種類型的傳感器，除了其他類型之外，包括觸摸傳感器、麥克風(fēng)、電容性傳感器、和/或相機。如上文所提到的，一些傳感器能夠是RGBD相機507或者是被配置為檢測3-D圖像(例如，RGBD圖像)的其他傳感器。針對深度方面能夠利用各種技術(shù)。例如，除了其他技術(shù)之外，能夠使用非可見光譜圖案化，能夠使用飛行時間，和/或能夠使用立體相機。在一種實施方式中，除了其他情況之外，RGBD相機507能夠表現(xiàn)為由Microsoft公司所提供的Kinect深度相機，或者Intel的RealSense 3-D相機。還注意到，雖然與每個設(shè)備502一起僅圖示了單個RGBD相機507的集合，但是其他實施方式可以利用更多的RGBD相機507的集合。例如，這些設(shè)備可以在每一側(cè)而不是僅在一側(cè)具有RGBD相機507的集合。替換地或另外地，RGBD相機507并不需要是相同的。例如，RGBD相機507的給定集合可以包含一些近場傳感器和一些遠場傳感器、或者一些指向捕捉接近于顯示器的圖像的傳感器和一些指向捕捉距顯示器更遠的圖像的傳感器(例如，參見圖7)。除了其他優(yōu)點之外，這樣的配置可以允許用戶的改進的3-D映射。又另一種配置可以利用指向顯示器的其他傳感器，諸如在墻壁或天花板上并且指向顯示器的傳感器，來提供進一步的3-D數(shù)據(jù)(參見圖6-7)。當(dāng)然，更高分辨率的傳感器能夠提供更為逼真的3-D信息和視頻質(zhì)量。如果資源(諸如處理資源和/或網(wǎng)絡(luò)帶寬)是可用的，則更高分辨率的傳感器能夠?qū)υ鰪姷挠脩趔w驗作出貢獻。例如，更高的視頻質(zhì)量能夠允許用戶更容易地看到遠程用戶眼睛的可視化。

注意，RGBD相機507能夠以使得RGBD相機捕捉顯示器504的方式被定位(或者可定位)。在一些情況下，RGBD相機507能夠被安裝在保護顯示器504的外殼505之中或之上。在其他情況下，RGBD相機507可以可展開地固定至外殼。例如，RGBD相機507可以被定位在鉸鏈支架中，鉸鏈支架能夠相對外殼被存放(例如，存放位置)并且然后被展開到捕捉位置，捕捉位置允許RGBD相機507捕捉顯示器前方的區(qū)域。在更為其他的配置中，RGBD相機507能夠在物理上與顯示器分離(例如，參見圖6)并且通過有線或無線機制與顯示器和/或其他系統(tǒng)元件進行通信。

其他傳感器506(諸如顯示器中的觸摸傳感器)能夠捕捉用戶與顯示器的交互，諸如觸摸和/或書寫(數(shù)字書寫)。RGBD相機然后能夠被校準至顯示器，以使得顯示器上的3-D點被映射到由RGBD相機所捕捉的3-D點。這種校準的示例在下文關(guān)于圖9被描述。一旦被校準，顯示器504的數(shù)字內(nèi)容能夠從顯示器504和觸摸傳感器506被獲得，并且用戶的圖像和深度信息能夠從RGBD相機507被獲得。換一種方式來說，除了其他事物之外，這一數(shù)據(jù)集合(例如，設(shè)備環(huán)境數(shù)據(jù))能夠包括筆畫數(shù)據(jù)(位置和顏色)、彩色視頻數(shù)據(jù)、深度視頻數(shù)據(jù)、以及骨骼數(shù)據(jù)。這一數(shù)據(jù)集合(例如，設(shè)備環(huán)境數(shù)據(jù))然后能夠被處理以用于在其他設(shè)備上的呈現(xiàn)。

通信組件512能夠促進發(fā)送和接收數(shù)據(jù)，諸如網(wǎng)絡(luò)516上的設(shè)備環(huán)境數(shù)據(jù)。除了其他事物之外，通信組件能夠表現(xiàn)為以太網(wǎng)端口、USB端口、HDMI端口、WiFi硬件、和/或蜂窩硬件中的一個或多個，或者與它們協(xié)同工作。

虛擬用戶呈現(xiàn)組件514能夠使用彩色和深度數(shù)據(jù)來提取不帶有背景的用戶的圖像和3-D點云，而骨骼數(shù)據(jù)能夠允許虛擬用戶呈現(xiàn)組件514跟蹤用戶四肢的位置。(這個方面關(guān)于圖9被圖示)。深度數(shù)據(jù)和骨骼數(shù)據(jù)能夠被表達在進行捕捉的傳感器(例如，RGBD相機507)的坐標系統(tǒng)中。為了理解用戶關(guān)于顯示器的姿勢，進行發(fā)送的虛擬用戶呈現(xiàn)組件514能夠?qū)碜詡鞲衅鞯淖鴺讼到y(tǒng)的數(shù)據(jù)變換為顯示器的坐標系統(tǒng)。在一些實施方式中，這可能牽涉到傳感器關(guān)于顯示器的姿勢的在先校準。下文關(guān)于圖8來描述示例校準技術(shù)。簡要地，從圖5注意到，傳感器(例如，RGB相機507(1))被定位至顯示器504(1)的側(cè)方，并且可能朝向顯示器略微成角度以捕捉直接處于顯示器前方的區(qū)域。如此，該校準能夠用來將空間中的3-D點(諸如顯示器上的各種位置處的那些3-D點)映射到從傳感器視角來看的對應(yīng)點。該校準然后能夠被用來對顯示器504(1)與傳感器506(1)之間的其他3-D點進行相關(guān)。

虛擬用戶呈現(xiàn)組件514能夠利用來自各種傳感器的信號來創(chuàng)建沉浸板體驗。如上文所提到的，為了利用各種信號，虛擬用戶呈現(xiàn)組件514能夠?qū)⑿盘柣ハ嘈?。這一校準方面與之前可能的相比能夠允許更大的設(shè)計靈活度。例如，在之前的解決方案中，相機趨向于被安裝在顯示器之后(例如，在與用戶相對的一側(cè))。相機通過顯示器捕捉用戶的圖像。相對照地，當(dāng)前的概念不要求通過顯示器進行成像。替代地，傳感器(例如，相機)能夠被定位在顯示器的平面中和/或在該平面的與用戶相同的一側(cè)。虛擬用戶呈現(xiàn)組件514能夠?qū)@示器和傳感器關(guān)于3-D坐標進行校準以允許各種數(shù)據(jù)的有意義使用。下文關(guān)于圖8描述了虛擬用戶呈現(xiàn)組件如何能夠校準來自各種傳感器的信號的示例。

進一步地，之前的技術(shù)趨向于將從本地設(shè)備所捕捉的視頻簡單地顯示在遠程設(shè)備上并且反之亦然。相對照地，虛擬用戶呈現(xiàn)組件514能夠?qū)σ曨l進行處理以提供更為準確模仿的面對面交互的各種可視化場景。示例關(guān)于上文的圖1-4被圖示。例如，虛擬用戶呈現(xiàn)組件514能夠執(zhí)行視頻處理，以將用戶的圖像從背景分離并且允許上文所描述的屏幕傾斜和手臂“延伸”特征。

視頻處理能夠被解釋為開始于標準視頻條件，其中顯示器504的左側(cè)或右側(cè)被保留用于標準2-D視頻，留下大塊的顯示區(qū)域作為共享的書寫表面。出于解釋的目的，設(shè)備502(1)能夠被稱為“左側(cè)”，因為顯示器504(1)在傳感器(例如，RGBD相機507(1))的左側(cè)。設(shè)備502(2)能夠被稱為“右側(cè)”，因為顯示器504(2)在傳感器506(2)的右側(cè)。

視頻能夠被相應(yīng)傳感器506(例如，RGBD相機507)中以彩色相機為形式的傳感器506所捕捉，并且被顯示在設(shè)備502與相機的相同側(cè)上，從而眼睛注視差異α例如大約為15度。顯示器504能夠足夠大以示出原物大小的遠程用戶的上身。

虛擬用戶呈現(xiàn)組件514能夠?qū)σ曨l進行處理，以使得背景被去除并且用戶恰當(dāng)?shù)乇患涌蚨鵁o論他/她站在何處。例如，(多個)傳感器506(諸如RGBD相機507)能夠捕捉用戶和背景這兩者，但是背景部分趨向于不是有用的。實際上，背景部分經(jīng)常造成分心，因為遠程房間通常不趨向于具有相同的環(huán)境。一些當(dāng)前的實施方式能夠執(zhí)行前景-背景劃分并且僅將用戶的圖像發(fā)送給遠程側(cè)(例如，發(fā)送給其他用戶)。

能夠采用各種系統(tǒng)配置。例如，在本地資源和遠程資源相對類似的情形中，每個虛擬用戶呈現(xiàn)組件514能夠校準來自其相應(yīng)顯示器504和RGBD相機507的數(shù)字內(nèi)容。虛擬用戶呈現(xiàn)組件514能夠?qū)⑴c用戶有關(guān)的數(shù)據(jù)從背景圖像數(shù)據(jù)分離出來。虛擬用戶呈現(xiàn)組件514能夠?qū)⒂脩魣D像數(shù)據(jù)和顯示器內(nèi)容的相關(guān)改變發(fā)送給其他虛擬用戶呈現(xiàn)組件514。在其他配置中，個體虛擬用戶呈現(xiàn)組件514可能是資源受約束的并且可以發(fā)送未處理的顯示內(nèi)容和RGBD圖像數(shù)據(jù)以便在其他虛擬用戶呈現(xiàn)組件514處進行處理。更為其他的實施方式可以利用基于服務(wù)器的(例如，基于云的資源)來執(zhí)行一些或全部的處理。例如，虛擬用戶呈現(xiàn)組件514(1)可以將來自顯示器504(1)的顯示內(nèi)容、來自RGB相機507(1)的圖像數(shù)據(jù)、來自傳感器506(1)的音頻數(shù)據(jù)、以及校準數(shù)據(jù)發(fā)送給虛擬用戶呈現(xiàn)組件514(3)。類似地，虛擬用戶呈現(xiàn)組件514(2)可以將其來自顯示器504(2)的顯示內(nèi)容、來自RGB相機507(2)的圖像數(shù)據(jù)、來自傳感器506(2)的音頻數(shù)據(jù)、以及校準數(shù)據(jù)發(fā)送給虛擬用戶呈現(xiàn)組件514(3)。虛擬用戶呈現(xiàn)組件514(3)可以處理來自虛擬用戶呈現(xiàn)組件514(1)的數(shù)據(jù)并且將其發(fā)送以用于在設(shè)備502(2)上的呈現(xiàn)。虛擬用戶呈現(xiàn)組件514(3)可以處理來自虛擬用戶呈現(xiàn)組件514(2)的數(shù)據(jù)并且將其發(fā)送以用于在設(shè)備502(1)上的呈現(xiàn)。當(dāng)然，處理也能夠基于處理資源、存儲資源、和/或網(wǎng)絡(luò)帶寬資源而被分布在各種設(shè)備上。例如，個體設(shè)備可能是資源受約束的但是可以執(zhí)行初始處理以減少網(wǎng)絡(luò)帶寬的使用，否則網(wǎng)絡(luò)帶寬可能不足以維持有質(zhì)量的沉浸板體驗。因此，當(dāng)前的實施方式可能牽涉到與所顯示內(nèi)容有關(guān)的信息、用戶的虛擬圖像、校準信息和音頻信息。這種信息能夠在一個或多個地點由一個或多個設(shè)備進行處理以完成沉浸板體驗。

在一些實施方式中，在給定地點處的多個設(shè)備可以協(xié)同地運轉(zhuǎn)以提供沉浸板體驗。例如，智能電話可能具有麥克風(fēng)、揚聲器和RGBD相機。智能電話可以被放置在與觸敏顯示器相關(guān)聯(lián)的支架中。智能電話的RGBD相機可以被校準到觸敏顯示器(參見圖8)。智能電話然后可以在觸敏顯示器捕捉所顯示的內(nèi)容數(shù)據(jù)的同時捕捉音頻和視頻數(shù)據(jù)。這一數(shù)據(jù)能夠被處理以用于在遠程沉浸板環(huán)境上的呈現(xiàn)，同時來自遠程沉浸板環(huán)境的數(shù)據(jù)被接收并且被顯示在觸敏顯示器上并且從智能電話的揚聲器被發(fā)出。

從一個視角來看，設(shè)備502能夠被認為是計算機。處理器508能夠執(zhí)行以計算機可讀指令為形式的數(shù)據(jù)來提供功能。數(shù)據(jù)(諸如計算機可讀指令和/或用戶相關(guān)數(shù)據(jù))能夠被存儲在存儲裝置510上，諸如能夠在計算機內(nèi)部或外部的存儲裝置。除了其他可能之外，存儲裝置能夠包括易失性或非易失性存儲器、硬驅(qū)動器、閃存設(shè)備、和/或光存儲設(shè)備(例如，CD、DVD等)中的任何一個或多個。如本文所使用的，術(shù)語“計算機可讀介質(zhì)”能夠包括信號。相對照地，術(shù)語“計算機可讀存儲介質(zhì)”排除信號。計算機可讀存儲介質(zhì)包括“計算機可讀存儲設(shè)備”。除了其他可能之外，計算機可讀存儲設(shè)備的示例包括諸如RAM的易失性存儲介質(zhì)，以及諸如硬驅(qū)動器、光盤和閃存的非易失性存儲介質(zhì)。

在一些配置中，設(shè)備502能夠包括片上系統(tǒng)(SOC)類型的設(shè)計。在這樣的情況下，計算機所提供的功能能夠被集成在單個SOC或多個耦合的SOC上。一個或多個處理器能夠被配置為利用共享資源(諸如，存儲器、存儲裝置等)和/或一個或多個專用資源(諸如，被配置為執(zhí)行某些具體功能的硬件塊)進行協(xié)作。因此，如本文所使用的術(shù)語“處理器”也能夠指代中央處理單元(CPU)、圖形處理單元(GPU)、控制器、微控制器、處理器核心、或者適合用于常規(guī)計算架構(gòu)以及SOC設(shè)計這兩者中的實施方式的其他類型的處理設(shè)備。

其他計算機的示例能夠包括傳統(tǒng)計算設(shè)備，諸如個人計算機、臺式計算機、筆記本計算機、蜂窩電話、智能電話、個人數(shù)字助理、板式或平板類型的計算機、相機、大型顯示設(shè)備、投影設(shè)備、交互式數(shù)字顯示器、和/或無數(shù)不斷演進或還將被開發(fā)的類型的計算設(shè)備中的任何計算設(shè)備。在一些情況下，顯示設(shè)備能夠包括計算機元件，并且因此被認為是計算機。在其他情況下，顯示設(shè)備能夠與計算機進行通信并且由計算機進行控制。注意，上述分組僅是出于示例的目的，不意圖作為限制，并且能夠包括重疊。例如，智能電話和平板類型的計算機也能夠被描述為交互式數(shù)字顯示器，因為它們趨向于具有觸摸屏。

圖6-7圖示了另外的沉浸板系統(tǒng)。圖6示出了在家庭廚房環(huán)境中所采用的系統(tǒng)600。在這種情況下，系統(tǒng)600牽涉到設(shè)備502(3)以及兩個傳感器集合506(3)和506(4)。該設(shè)備能夠與遠程設(shè)備(未示出)進行通信以創(chuàng)建沉浸板體驗。

圖7示出了另一系統(tǒng)700。在這種系統(tǒng)配置中，設(shè)備502(4)簡單地用作觸敏顯示器。計算設(shè)備702能夠通信地耦合至設(shè)備502(4)和傳感器506(5)-506(8)。虛擬用戶呈現(xiàn)組件(圖5)能夠表現(xiàn)在計算設(shè)備702上。相對照地，設(shè)備502(5)表現(xiàn)為移動設(shè)備，在這種情況下是平板類型的移動設(shè)備。在這種實施方式中，移動設(shè)備能夠具有多個傳感器集合506。兩個傳感器集合506(9)和506(10)能夠表示兩個RGBD相機集合。在這個示例中，第一RGBD相機集合能夠總體上平行于觸敏顯示器被定向以捕捉接近于顯示器的用戶動作。第二傳感器集合能夠被定向為捕捉顯示器前方的區(qū)域(例如，用戶704的頭部和/或軀干在使用設(shè)備時可能位于的區(qū)域)。計算設(shè)備702能夠處理來自傳感器506(5)-506(8)和/或來自設(shè)備502(5)的信號，以生成在設(shè)備502(4)上被呈現(xiàn)為圖形用戶界面(GUI)706(1)的沉浸板體驗。類似地，設(shè)備502(5)能夠處理來自傳感器506(9)-506(10)和/或來自設(shè)備502(6)的信號，以生成在設(shè)備502(5)上被呈現(xiàn)為圖形用戶界面(GUI)706(2)的沉浸板體驗。

校準條件

圖8示出了用于校準設(shè)備502(1)的技術(shù)。在這種情況下，虛擬用戶呈現(xiàn)組件514(1)(圖5)能夠使得GUI 804被生成，GUI 804能夠校準來自多個傳感器的信號；在這種情況下是顯示器504(1)的觸摸傳感器(未示出)以及RGBD相機507(1)。

GUI 804能夠包括多個點(在這種情況下是四個點806(1)-806(4))以及用于用戶依次觸摸這四個點的指令。實例一示出了用戶觸摸點806(1)，并且實例二示出了用戶觸摸點806(3)。當(dāng)用戶輕拍到點時，虛擬用戶呈現(xiàn)組件514(1)能夠從骨骼信息記錄他的3-D手部位置。從這四個3-D位置，虛擬用戶呈現(xiàn)組件514(1)能夠計算將相機和板面的坐標系統(tǒng)進行關(guān)聯(lián)的變換矩陣。當(dāng)然，點的數(shù)目以及它們在顯示器上的相對地點僅是說明性的，并且其他配置也被考慮以促進顯示器與傳感器之間的3-D校準。換一種方式來說，當(dāng)用戶觸摸到這些點時，虛擬用戶呈現(xiàn)組件514(1)同時接收到來自顯示器504(1)的觸摸傳感器的信息以及來自RGBD相機507(1)的用戶RGBD數(shù)據(jù)。從這一信息，虛擬用戶呈現(xiàn)組件514(1)能夠?qū)GBD相機所捕捉的區(qū)域校準到顯示器。

注意，校準可以是一次性事件或者可以是再次發(fā)生的事件。例如，參考圖5，設(shè)備502(1)在制造時可以包括顯示器504(1)和傳感器506(1)這兩者。在傳感器的定向相對于顯示器永久固定的配置中，校準可以由制造方來執(zhí)行。在一種這樣的實施方式中，傳感器可以被構(gòu)建到還包含顯示器的設(shè)備外殼之中或之上，并且因此它們的相對定向是永久固定的。在其他配置中，傳感器相對于顯示器的位置和/或定向可以是可調(diào)節(jié)的。如此，校準能夠諸如由安裝方、IT人員、和/或終端用戶在設(shè)備的設(shè)置之后執(zhí)行。在更為其他的配置中，一個或多個元件可以被購買并且通信地被耦合以允許沉浸板實施方式被實現(xiàn)。例如，用戶可以具有數(shù)字白板并且可以購買傳感器和相關(guān)聯(lián)的沉浸板計算機可讀指令。用戶可以將傳感器和數(shù)字白板通信地耦合，在物理上將傳感器相對于該數(shù)字白板進行定向并且將沉浸板計算機可讀指令安裝在數(shù)字白板或另一設(shè)備上(例如參見圖7)，并且然后將傳感器校準到數(shù)字白板。重校準可能在傳感器被碰觸的情形或者某種其他使用情況場景中被采用。

一旦傳感器的RGBD數(shù)據(jù)被變換為顯示器的坐標系統(tǒng)，其能夠被處理并且利用不同的可視化被渲染。一些實施方式能夠使用C++和OpenGL用于2-D/3-D視頻處理和渲染。

沉浸板條件

以下的討論按照關(guān)于圖5所介紹的系統(tǒng)組件來解釋圖1-4的所圖示的沉浸板配置。該討論還參考圖8-13，它們更為詳細地圖示了具體的方面。如此，以下的描述可以在圖1-5與圖8-13之間來回地進行參考。

混合條件

圖1-2中所圖示的混合條件是視頻條件和3-D體驗的混合。在該混合條件中，遠程用戶的手部在如圖2所示出的交互式部分118上進行書寫時能夠伸出視頻窗口(例如，虛擬用戶顯示部分116)之外以作出手勢、指點、或者觸摸顯示器。從遠程用戶的手部位置，本地用戶經(jīng)常能夠理解遠程用戶的意圖以及他的注意力(例如，他看向何處)。

如圖9中所示出的，虛擬用戶呈現(xiàn)組件514(圖5)能夠使用來自傳感器506(圖5)的3-D深度和骨骼信息來實施該混合條件以引導(dǎo)2-D彩色視頻處理。具體地，依據(jù)一些實施方式，(A)示出源RGB圖像，(B)示出所提取的人的圖像，(C)示出劃分結(jié)果，(D)示出骨骼，并且(E)示出渲染結(jié)果。

傳感器506和/或507(圖5)能夠確定前景(例如，用戶)和背景像素。每個前景像素能夠具有3-D坐標。虛擬用戶呈現(xiàn)組件514(圖5)能夠使用這些3-D坐標根據(jù)像素與骨骼中的骨頭的3-D接近度將像素劃分為身體部分。前景像素能夠在顯示器的視頻窗口內(nèi)被加框以使得上身像素被顯示。(這與在視頻條件中是相同的。)分別針對圖1和2的伸出或延伸的手臂120和202，虛擬用戶呈現(xiàn)組件514(圖5)能夠從2-D圖像提取手臂和手部像素，并且將手部像素移動至設(shè)備502(圖5)上的適當(dāng)?shù)攸c。虛擬用戶呈現(xiàn)組件514能夠使用如圖1-2中所圖示的紋理映射和形變，對手臂的圖像進行延伸以將虛擬用戶顯示部分116中的上身無縫地連接至交互式部分118中的手部。

除了所延伸的手臂之外，前景圖像能夠與來自RGBD相機的RGB數(shù)據(jù)相同。因此，圖像質(zhì)量和眼睛注視差異能夠與視頻條件中相同。

圖10示出了沉浸板如何能夠通過將3-D有色點云從傳感器坐標系統(tǒng)(例如，RGBD相機的坐標系統(tǒng))變換為設(shè)備坐標系統(tǒng)(例如，顯示區(qū)域坐標系統(tǒng))并且然后翻轉(zhuǎn)z軸(z至-z)來實施鏡面條件的示例。遠程用戶的點云能夠使用3-D多邊形網(wǎng)格被渲染。遠程用戶從其被渲染到顯示器上的視點能夠被固定在默認位置，或者為了(可能地)最大準確性而能夠跟蹤觀察者的頭部。

當(dāng)在兩側(cè)都使用頭部跟蹤時，用戶之間的相對幾何能夠是精確的，并且在視頻質(zhì)量足夠高的情況下眼神接觸是可能的。此外，如圖11中所示出的，頭部跟蹤能夠允許任一用戶進行移動以在板面上的任一圖形周圍或遠程用戶的周圍查看。然而，在一些實施方式中，遠程用戶的沒有被他的傳感器所看到的一側(cè)不能被渲染，導(dǎo)致了所感知的視覺質(zhì)量的顯著損失。一些實施方式能夠采用處于設(shè)備另一側(cè)的第二傳感器來解決該問題(例如，參見圖7)。

注視校正

在一些實施方式中，虛擬用戶呈現(xiàn)組件514(圖5)能夠減少用戶之間的注視分歧。例如，關(guān)于圖3，遠程用戶的圖像能夠盡可能接近于傳感器506/507(圖5)被放置。因此，分別如圖12的實例(A)和(B)中所示出的，傾斜方向針對左側(cè)板面和右側(cè)板面能夠是不同的。對于左側(cè)板面，傳感器能夠位于右側(cè)，并且虛擬板面向左側(cè)傾斜(實例(A))。對于右側(cè)板面，RGBD相機能夠位于左側(cè)，并且虛擬板面向右側(cè)傾斜(實例(B))。作為副產(chǎn)品，這能夠增加由本地用戶所看到的并且由遠程傳感器(例如，RGBD相機)所捕捉到的遠程用戶的重疊，潛在地導(dǎo)致了與鏡面條件相比更高的圖像質(zhì)量。

然而，當(dāng)遠程用戶在傾斜板面上書寫時，他/她實際是在被投影到設(shè)備的物理表面上的傾斜虛擬表面的圖像上進行書寫。因此，如果虛擬用戶呈現(xiàn)組件514如鏡面條件下那樣直接重構(gòu)物理環(huán)境并且僅改變視點，則遠程用戶可能指點錯誤的地方并且看向虛擬環(huán)境中的板面的角落，如圖12的實例(B)中所示出的那樣。圖12的實例(C)示出了如何能夠?qū)崿F(xiàn)正確的觸摸點和眼睛方向。虛擬用戶呈現(xiàn)組件514能夠?qū)⑺蹲降降娜宋锢@虛擬板面的角落旋轉(zhuǎn)45度，因此校正虛擬環(huán)境中遠程用戶的眼睛方向。另外，該系統(tǒng)能夠延長遠程用戶的手臂以到達虛擬環(huán)境中的正確位置。

為了延長遠程用戶的手臂，虛擬用戶呈現(xiàn)組件514能夠計算虛擬環(huán)境中的適當(dāng)手部位置。例如，如果用戶正在觸摸物理板面，則這對應(yīng)于虛擬板面上的位置(圖13實例(A))。手部被移動至虛擬環(huán)境中的這個位置。然而，如果僅手部被移動至這個位置，則它將從身體斷開(圖13實例(B)處)。因此，虛擬用戶呈現(xiàn)組件514能夠使用系數(shù)α對手部(α＝1.0)、手臂(0.0<α<1.0)和肩部(α＝0.0)上的點的位置進行插值。虛擬用戶呈現(xiàn)組件514還能夠基于設(shè)備坐標系統(tǒng)中的手部骨骼位置來使用系數(shù)β以僅在板面附近執(zhí)行插值。虛擬用戶呈現(xiàn)組件514能夠具有兩個閾值：min(＝10cm)和max(＝20cm)。如果用戶的手部比min更近，則β為1.0。如果它比max更遠，則β為0.0。否則，β線性地被確定(0<β<1.0)。虛擬用戶呈現(xiàn)組件514能夠?qū)⑹植?、手臂或肩部上的每個點變換為點

P_t＝P_h(1-αβ)+P_p(αβ) (1)

其中P_h是原點并且P_p是投影點。

調(diào)色板

虛擬用戶呈現(xiàn)組件514能夠提供具有繪圖顏色和橡皮擦的調(diào)色板。在一些實施方式中，三種類型的調(diào)色板菜單被支持：固定、側(cè)滑和彈出。在一些實施方式中，固定調(diào)色板處于屏幕底部。側(cè)滑調(diào)色板能夠在用戶的手部接近于顯示器左側(cè)或右側(cè)時出現(xiàn)。彈出調(diào)色板能夠由非主導(dǎo)手部在其停留接近于板面時所觸發(fā)。

注意，為了解釋的簡便，分開地解釋了這三種條件。然而，一些實施方式能夠利用全部三種條件并且在給定的用戶場景中自動地選擇(或允許用戶選擇)使用哪種條件。

方法示例

圖14示出了示例方法1400。

在這種情況下，在框1402處，該方法能夠接收與遠程用戶有關(guān)的圖像數(shù)據(jù)。

在框1404處，該方法能夠在本地顯示設(shè)備上以視圖呈現(xiàn)遠程用戶的虛擬版本，該視圖關(guān)于本地顯示設(shè)備的水平邊緣成有角度的視角。一個這樣的示例關(guān)于圖3被圖示。

圖15示出了另一示例方法1500。

在這種情況下，在框1502處，該方法能夠接收數(shù)據(jù)，該數(shù)據(jù)有關(guān)于遠程用戶以及遠程用戶的與遠程顯示設(shè)備進行交互的手部的可視化。

在框1504處，該方法能夠呈現(xiàn)圖形用戶界面，該圖形用戶界面包括用于呈現(xiàn)遠程用戶的視覺表示的第一部分以及用于由遠程用戶與本地用戶的交互的第二部分。

在框1506處，該方法能夠呈現(xiàn)用戶的手部的虛擬表示，用戶的手部在第二部分上進行交互并且將遠程用戶的手臂的虛擬表示從第一部分中的遠程用戶的虛擬表示人為地延長至用戶的手部在第二部分中的虛擬表示。方法1500的示例表示在圖1-2中被顯示。

所描述的方法能夠由上文關(guān)于圖1-8所描述的系統(tǒng)和/或設(shè)備來執(zhí)行，和/或由其他設(shè)備和/或系統(tǒng)來執(zhí)行。這些方法被描述的順序不意圖為被解釋為限制，并且任何數(shù)目的所描述動作能夠以任何順序被組合來實施該方法或替換方法。此外，方法能夠以任何適合硬件、軟件、固件或者它們的組合來實施，以使得設(shè)備能夠?qū)嵤┰摲椒?。在一種情況下，方法作為指令集合被存儲在計算機可讀存儲介質(zhì)上，以使得計算設(shè)備的執(zhí)行引起計算設(shè)備執(zhí)行該方法。