背景技術(shù)：

基于分組的通信系統(tǒng)允許設(shè)備(例如，個(gè)人計(jì)算機(jī))的用戶跨使用分組協(xié)議(例如，互聯(lián)網(wǎng)協(xié)議(ip))的計(jì)算機(jī)網(wǎng)絡(luò)來進(jìn)行通信?；诜纸M的通信系統(tǒng)可以用于各種類型的通信事件。可以被建立的通信事件包括語(yǔ)音通話、視頻通話、即時(shí)消息傳送、語(yǔ)音郵件、文件傳輸?shù)取＿@些系統(tǒng)對(duì)于用戶是有益的，這是因?yàn)樗鼈兂３＞哂斜裙潭ň€路或移動(dòng)網(wǎng)絡(luò)顯著低的成本。長(zhǎng)距離通信的情況可能尤其如此。為了使用基于分組的系統(tǒng)，用戶在他們的設(shè)備上安裝并且執(zhí)行客戶端軟件。客戶端軟件提供基于分組的連接以及其他功能，例如登記和驗(yàn)證。

通信系統(tǒng)允許設(shè)備的用戶跨計(jì)算機(jī)網(wǎng)絡(luò)(例如，因特網(wǎng))來進(jìn)行通信。可以被建立的通信事件包括語(yǔ)音通話、視頻通話、即時(shí)消息傳送、語(yǔ)音郵件、文件傳輸?shù)取＠靡曨l通話，呼叫者能夠觀看視頻圖像。

技術(shù)實(shí)現(xiàn)要素：

提供本發(fā)明內(nèi)容以簡(jiǎn)化的形式引入在以下的詳細(xì)描述中將進(jìn)一步描述的概念的選擇。該發(fā)明內(nèi)容不旨在標(biāo)識(shí)所要求保護(hù)的主題的主要特征或基本特征，也不旨在用于限制所要求保護(hù)的主題的范圍。所要求保護(hù)的主題不限于解決在背景技術(shù)部分中記錄的缺點(diǎn)中的任何一個(gè)或所有缺點(diǎn)的實(shí)現(xiàn)。

本公開的實(shí)施例涉及共享場(chǎng)景內(nèi)的對(duì)象的管理和同步，所述共享場(chǎng)景例如是在協(xié)作混合現(xiàn)實(shí)應(yīng)用中所生成的。在協(xié)同混合現(xiàn)實(shí)應(yīng)用中，參與者可以對(duì)共享場(chǎng)景中的對(duì)象進(jìn)行可視化、放置、和交互。共享場(chǎng)景通常是參與者中的一個(gè)參與者的周圍空間的表示，例如，場(chǎng)景可以包括來自參與者中的一個(gè)參與者的視角的視頻圖像。對(duì)象或虛擬對(duì)象可以被“放置”在場(chǎng)景內(nèi)，并且可以具有能夠被參與者“看到”并且由參與者與其進(jìn)行交互的視覺表示。此外，對(duì)象可以具有相關(guān)聯(lián)的內(nèi)容。例如，對(duì)象可以具有諸如音頻/視頻或文本之類的相關(guān)聯(lián)的內(nèi)容。例如，參與者可以將視頻播放器對(duì)象放置在共享場(chǎng)景中，并與其進(jìn)行交互以開始播放視頻以供所有參與者觀看。接著，另一參與者可以與視頻播放器對(duì)象進(jìn)行交互以控制回放或者改變其在場(chǎng)景中的位置。

發(fā)明人已經(jīng)認(rèn)識(shí)到，為了保持這些對(duì)象在該方案內(nèi)的同步，表面重建數(shù)據(jù)(也被稱為網(wǎng)格數(shù)據(jù))的有效傳輸可以是重要的。

根據(jù)本公開的第一方面，提供了一種通信架構(gòu)內(nèi)的用戶設(shè)備，所述用戶設(shè)備包括：對(duì)象管理實(shí)體，其被配置為確定針對(duì)共享場(chǎng)景的與至少一個(gè)可變屬性相關(guān)聯(lián)的至少一個(gè)對(duì)象，確定與所述對(duì)象相關(guān)聯(lián)的所述至少一個(gè)可變屬性中的至少一個(gè)可變屬性的改變，并且生成針對(duì)所述至少一個(gè)對(duì)象的對(duì)象屬性更新消息；以及消息傳遞實(shí)體，其被配置為控制所述對(duì)象屬性更新消息的輸出，以使得在經(jīng)確定的時(shí)段中消息輸出的數(shù)量小于發(fā)送路徑速率數(shù)量。

根據(jù)本公開的另一方面，提供了一種通信架構(gòu)內(nèi)的用戶設(shè)備，所述用戶設(shè)備包括：接收路徑，其用于接收針對(duì)共享場(chǎng)景的至少一個(gè)對(duì)象的至少一個(gè)對(duì)象屬性更新消息，其中，所述至少一個(gè)屬性更新消息同與所述對(duì)象相關(guān)聯(lián)的可變屬性中的至少一個(gè)可變屬性的改變相關(guān)聯(lián)；消息傳遞實(shí)體，其被配置為控制對(duì)所述至少一個(gè)對(duì)象屬性更新消息的處理，以使得在經(jīng)確定的時(shí)段中經(jīng)處理的消息的數(shù)量小于接收路徑速率數(shù)量。

根據(jù)本公開的另一方面，提供了一種在通信架構(gòu)內(nèi)的用戶設(shè)備處實(shí)現(xiàn)的方法，所述方法包括：確定針對(duì)共享場(chǎng)景的至少一個(gè)對(duì)象，所述對(duì)象與至少一個(gè)可變屬性相關(guān)聯(lián)；確定與所述對(duì)象相關(guān)聯(lián)的至少一個(gè)可變屬性中的至少一個(gè)可變屬性的改變；生成針對(duì)所述至少一個(gè)對(duì)象的對(duì)象屬性更新消息；控制所述對(duì)象屬性更新消息的輸出以使得在經(jīng)確定的時(shí)段中消息輸出的數(shù)量小于發(fā)送路徑速率數(shù)量。

根據(jù)本公開的另一方面，一種在通信架構(gòu)內(nèi)的用戶設(shè)備處實(shí)現(xiàn)的方法，所述方法包括：接收針對(duì)所述共享場(chǎng)景的至少一個(gè)對(duì)象的至少一個(gè)對(duì)象屬性更新消息，其中，所述至少一個(gè)對(duì)象屬性更新消息同與所述對(duì)象相關(guān)聯(lián)的可變屬性中的至少一個(gè)可變屬性的改變相關(guān)聯(lián)；控制對(duì)所述至少一個(gè)對(duì)象屬性更新消息的處理，以使得在經(jīng)確定的時(shí)段中經(jīng)處理的消息的數(shù)量小于接收路徑速率數(shù)量。

根據(jù)本公開的另一方面，提供了一種計(jì)算機(jī)程序產(chǎn)品，所述計(jì)算機(jī)程序產(chǎn)品在非瞬時(shí)性計(jì)算機(jī)可讀介質(zhì)上被實(shí)施，并且被配置為當(dāng)在通信架構(gòu)內(nèi)的用戶設(shè)備的處理器上被執(zhí)行時(shí)，執(zhí)行以下操作：確定針對(duì)共享場(chǎng)景的至少一個(gè)對(duì)象，所述對(duì)象與至少一個(gè)可變屬性相關(guān)聯(lián)；確定與所述對(duì)象相關(guān)聯(lián)的至少一個(gè)可變屬性中的至少一個(gè)可變屬性的改變；生成針對(duì)所述至少一個(gè)對(duì)象的對(duì)象屬性更新消息；控制所述對(duì)象屬性更新消息的輸出以使得在經(jīng)確定的時(shí)段中消息輸出的數(shù)量小于發(fā)送路徑速率數(shù)量。

根據(jù)本公開的另一方面，一種計(jì)算機(jī)程序產(chǎn)品，所述計(jì)算機(jī)程序產(chǎn)品在非瞬時(shí)性計(jì)算機(jī)可讀介質(zhì)上被實(shí)施，并且被配置為當(dāng)在通信架構(gòu)內(nèi)的用戶設(shè)備的處理器上被執(zhí)行時(shí)，執(zhí)行以下操作：接收針對(duì)所述共享場(chǎng)景的至少一個(gè)對(duì)象的至少一個(gè)對(duì)象屬性更新消息，其中，所述至少一個(gè)對(duì)象屬性更新消息同與所述對(duì)象相關(guān)聯(lián)的可變屬性中的至少一個(gè)可變屬性的改變相關(guān)聯(lián)；控制對(duì)所述至少一個(gè)對(duì)象屬性更新消息的處理，以使得在經(jīng)確定的時(shí)段中經(jīng)處理的消息的數(shù)量小于接收路徑速率數(shù)量。

附圖說明

為了更好地理解本公開并且示出可以如何實(shí)施本公開，現(xiàn)在將作為示例來參考以下附圖，其中：

圖1示出了通信系統(tǒng)的示意圖；

圖2示出了用戶設(shè)備的示意圖；

圖3示出了作為可穿戴頭戴式耳機(jī)的用戶設(shè)備的示意圖；

圖4a和圖4b示出了針對(duì)經(jīng)組合的視頻和表面再現(xiàn)(sr)數(shù)據(jù)的示例發(fā)送機(jī)和接收機(jī)管線的示意圖；

圖5a示出了用于在共享場(chǎng)景內(nèi)進(jìn)行處理的對(duì)象的示例端點(diǎn)架構(gòu)的示意圖；

圖5b示出了用于同步對(duì)象更新的示例架構(gòu)處理協(xié)議的示意圖；

圖6示出了協(xié)議端點(diǎn)上執(zhí)行的會(huì)話管理實(shí)體應(yīng)用與消息傳遞實(shí)體/分組傳遞實(shí)體應(yīng)用之間的示意性示例通信；

圖7示出了在用戶設(shè)備內(nèi)發(fā)送路徑對(duì)象消息控制的過程的流程圖；

圖8示出了在用戶設(shè)備內(nèi)接收路徑對(duì)象消息控制的過程的流程圖；并且

圖9a和圖9b示出了用于在圖像數(shù)據(jù)流內(nèi)嵌入并取回相機(jī)固有和非固有數(shù)據(jù)的示意性架構(gòu)。

具體實(shí)施方式

本公開的實(shí)施例僅僅是作為示例來描述的。

圖1示出了通信系統(tǒng)100，其包括與用戶終端或設(shè)備102相關(guān)聯(lián)的第一用戶104(用戶a)以及與第二用戶終端或設(shè)備108相關(guān)聯(lián)的第二用戶110(用戶b)。用戶設(shè)備102和108可以通過通信系統(tǒng)100中的通信網(wǎng)絡(luò)106進(jìn)行通信，由此允許用戶104和110通過通信網(wǎng)絡(luò)106彼此進(jìn)行通信。通信網(wǎng)絡(luò)106可以是具有在用戶設(shè)備102與第二用戶設(shè)備108之間提供通信信道的能力的任何適合的網(wǎng)絡(luò)。例如，通信網(wǎng)絡(luò)106可以是互聯(lián)網(wǎng)或另一類型的網(wǎng)絡(luò)，例如，高數(shù)據(jù)速率蜂窩或移動(dòng)網(wǎng)絡(luò)，例如第3代(“3g”)移動(dòng)網(wǎng)絡(luò)。

應(yīng)當(dāng)注意在可替代的實(shí)施例中，用戶設(shè)備可以經(jīng)由在圖1中未示出的額外的中間網(wǎng)絡(luò)而連接至通信網(wǎng)絡(luò)106。例如，如果用戶設(shè)備102是移動(dòng)設(shè)備，則其可以經(jīng)由諸如gsm、umts、4g等網(wǎng)絡(luò)之類的蜂窩或移動(dòng)網(wǎng)絡(luò)(在圖1中未示出)而連接至通信網(wǎng)絡(luò)106。

用戶設(shè)備102和104可以是任何適合的設(shè)備并且例如可以是移動(dòng)電話、個(gè)人數(shù)字助理(“pda”)、個(gè)人計(jì)算機(jī)(“pc”)(包括，例如，windows^tm、macos^tm、和linux^tmpc)、平板計(jì)算機(jī)、游戲設(shè)備、可穿戴設(shè)備、或者能夠連接至通信網(wǎng)絡(luò)106的其他嵌入式設(shè)備?？纱┐髟O(shè)備可以包括可穿戴頭戴式耳機(jī)。

應(yīng)當(dāng)理解的是，用戶設(shè)備中的一個(gè)或多個(gè)用戶設(shè)備可以是由單個(gè)設(shè)備提供的。用戶設(shè)備中的一個(gè)或多個(gè)用戶設(shè)備可以是由協(xié)作以提供用戶設(shè)備或終端的兩個(gè)或更多個(gè)設(shè)備來提供。

用戶設(shè)備102被設(shè)置為從用戶a104接收信息并且向用戶a104輸出信息。

用戶設(shè)備102執(zhí)行由與通信系統(tǒng)100相關(guān)聯(lián)的軟件提供者所提供的通信客戶端應(yīng)用112。通信客戶端應(yīng)用112是在用戶設(shè)備102中的本地處理器上執(zhí)行的軟件程序。通信客戶端應(yīng)用112執(zhí)行在用戶設(shè)備102處所需的處理以使得用戶設(shè)備102通過通信系統(tǒng)100來發(fā)送和接收數(shù)據(jù)。在用戶設(shè)備102處所執(zhí)行的通信客戶端應(yīng)用112可以通過對(duì)數(shù)字證書的呈現(xiàn)(例如，以證明用戶104是通信系統(tǒng)的真正的訂閱者——在wo2005/009019中更加詳細(xì)的描述)而被認(rèn)證以通過通信系統(tǒng)進(jìn)行通信。

第二用戶設(shè)備108可以與用戶設(shè)備102相同或不同。第二用戶設(shè)備108在本地處理器上執(zhí)行通信客戶端應(yīng)用114，通信客戶端應(yīng)用114與在用戶終端102處執(zhí)行的通信客戶端應(yīng)用112相對(duì)應(yīng)。第二用戶設(shè)備108處的通信客戶端應(yīng)用114執(zhí)行所需要的處理以允許用戶b110通過網(wǎng)絡(luò)106進(jìn)行通信，這與用戶設(shè)備102處的通信客戶端應(yīng)用112執(zhí)行所需要的處理以允許用戶a104通過網(wǎng)絡(luò)106進(jìn)行通信是相同的方式。用戶設(shè)備102和108是通信系統(tǒng)中的端點(diǎn)。出于清晰的目的，圖1僅僅示出了兩個(gè)用戶(104和110)以及兩個(gè)用戶設(shè)備(102和108)，但是如在本領(lǐng)域中已知的，更多的用戶和用戶設(shè)備可以被包括在通信系統(tǒng)100中，并且可以使用在相應(yīng)的用戶設(shè)備上執(zhí)行的相應(yīng)的通信客戶端來通過通信系統(tǒng)100進(jìn)行通信。

圖2示出了在其上執(zhí)行通信客戶端應(yīng)用以用于通過通信系統(tǒng)100進(jìn)行通信的用戶設(shè)備102的示意圖。用戶設(shè)備102包括中央處理單元(“cpu”)202，其上連接有顯示器204(例如，屏幕或觸摸屏)、諸如用戶接口206、相機(jī)208、和觸摸屏204之類的輸入設(shè)備(例如，小鍵盤)。

在一些實(shí)施例中，用戶接口206可以是小鍵盤、鍵盤、鼠標(biāo)、指針設(shè)備、觸摸板等。然而，用戶接口206可以是任何適合的用戶接口輸入設(shè)備，例如，姿勢(shì)或運(yùn)動(dòng)控制用戶輸入、頭部追蹤或眼部追蹤用戶輸入。此外，用戶接口206在一些實(shí)施例中可以是被配置為確定用戶到顯示器204的接近度的“觸摸”或“接近度”檢測(cè)輸入。

在下文中所描述的實(shí)施例中，相機(jī)208可以是集成到用戶設(shè)備102中或者經(jīng)由有線或無線連接而耦合至用戶設(shè)備的常規(guī)網(wǎng)絡(luò)攝像頭。可替代地，相機(jī)208可以是深度感知相機(jī)，例如飛行時(shí)間相機(jī)或結(jié)構(gòu)化光相機(jī)。此外，相機(jī)208可以包括多個(gè)圖像捕獲元件。圖像捕獲元件可以位于不同的位置或用不同點(diǎn)或視野來定向，以使得可以處理或組合來自圖像捕獲元件中的每個(gè)圖像捕獲元件的圖像。例如，可以對(duì)圖像捕獲元件圖像進(jìn)行比較以便基于視差來確定深度或者距圖像的對(duì)象距離。此外，在一些示例中，圖像可以被組合以產(chǎn)生圖像，該圖像具有可能比來自單個(gè)圖像捕獲元件圖像更高的分辨率或更大的視角。

輸出音頻設(shè)備210(例如，揚(yáng)聲器、多個(gè)揚(yáng)聲器、頭戴式耳機(jī)、耳塞)和輸入音頻設(shè)備212(例如，麥克風(fēng)、多個(gè)麥克風(fēng))連接至cpu202。顯示器204、用戶接口206、相機(jī)208、輸出音頻設(shè)備210、和輸入音頻設(shè)備212可以被集成到用戶設(shè)備102中，如在圖2中所示。在可替代的用戶設(shè)備中，顯示器204、用戶接口206、相機(jī)208、輸出音頻設(shè)備210、和輸入音頻設(shè)備212中的一個(gè)或多個(gè)可以不集成到用戶設(shè)備102中并且可以經(jīng)由相應(yīng)接口而連接至cpu202。這樣的接口的一個(gè)示例是usb接口。

cpu202連接至網(wǎng)絡(luò)接口224(例如，調(diào)制解調(diào)器)以用于與通信網(wǎng)絡(luò)106進(jìn)行通信。網(wǎng)絡(luò)接口224可以被集成到用戶設(shè)備102中，如在圖2中所示。在可替代的用戶設(shè)備中，網(wǎng)絡(luò)接口224不集成到用戶設(shè)備102中。用戶設(shè)備102還包括存儲(chǔ)器226以用于存儲(chǔ)數(shù)據(jù)，如在本領(lǐng)域中已知的。存儲(chǔ)器226可以是永久存儲(chǔ)器，例如，rom。存儲(chǔ)器226可替代地可以是瞬時(shí)性存儲(chǔ)器，例如，ram。

用戶設(shè)備102被安裝有通信客戶端應(yīng)用112，因?yàn)橥ㄐ趴蛻舳藨?yīng)用112被存儲(chǔ)在存儲(chǔ)器226中并且被設(shè)置以用于在cpu202上執(zhí)行。圖2還示出了在cpu202上執(zhí)行的操作系統(tǒng)(“os”)214。在os214的頂層運(yùn)行的是針對(duì)在上文中所提及的通信客戶端應(yīng)用112的軟件棧216。軟件棧示出了i/o層218、客戶端引擎層220、和客戶端用戶接口層(“ui”)222。每一層負(fù)責(zé)具體的功能。因?yàn)槊恳粚油ǔＥc其他兩層進(jìn)行通信，所以他們被認(rèn)為是如在圖2中所示出的那樣設(shè)置在棧中的。操作系統(tǒng)214管理計(jì)算機(jī)的硬件資源并且處理經(jīng)由網(wǎng)絡(luò)接口224而發(fā)送至通信網(wǎng)絡(luò)106的數(shù)據(jù)以及來自通信網(wǎng)絡(luò)106的數(shù)據(jù)。i/o層218包括音頻和/或視頻編碼解碼器，其接收到來的經(jīng)編碼的流并且對(duì)其進(jìn)行解碼以用于適當(dāng)?shù)剌敵鲋翐P(yáng)聲器210和/或顯示器204，并且其從麥克風(fēng)212和/或相機(jī)208接收未編碼的音頻和/或視頻數(shù)據(jù)并且對(duì)其進(jìn)行編碼以作為流而發(fā)送至通信系統(tǒng)100的其他終端用戶設(shè)備。客戶端引擎層220處理如在上文中所討論的voip系統(tǒng)的連接管理功能，例如通過基于服務(wù)器的或?qū)Φ?p2p)地址查找和認(rèn)證來建立通話或其他連接。客戶端引擎還可以負(fù)責(zé)沒有在本文中討論的其他輔助功能。客戶端引擎220還與客戶端用戶接口層222進(jìn)行通信。客戶端引擎220可以被設(shè)置為控制客戶端用戶接口層222以經(jīng)由在顯示器204上所顯示的通信客戶端應(yīng)用112的用戶界面來向用戶設(shè)備102的用戶呈現(xiàn)信息，并且經(jīng)由用戶接口而從用戶設(shè)備102的用戶接收信息。

也在os214頂層運(yùn)行的是其他應(yīng)用230。在下文中參考其他應(yīng)用230和作為分別的應(yīng)用的通信客戶端應(yīng)用112來描述實(shí)施例，然而在文中更加詳細(xì)地描述的其他應(yīng)用230的功能可以并入到通信客戶端應(yīng)用112內(nèi)。

在圖3中所示出的一個(gè)實(shí)施例中，用戶設(shè)備102是頭戴式耳機(jī)或頭戴式用戶設(shè)備。頭戴式用戶設(shè)備包括框架302，所述框架302具有旨在套在穿戴者的鼻梁上的中央部分304，以及旨在套在穿戴者耳朵上的左右支撐延伸306、308。盡管支撐延伸306、308被示出為大體上是直的，但是他們可以以彎曲的部分終止從而以常規(guī)眼鏡的方式更舒服地套在耳朵上。

框架302支撐左和右光學(xué)組件(被標(biāo)記為310l和310r)，所述光學(xué)組件可以是波導(dǎo)(例如，由玻璃或聚合物形成)。

中央部分304可以容納例如在圖2中所描述的cpu303、存儲(chǔ)器328、和網(wǎng)絡(luò)接口324。此外，框架302可以容納以微顯示器為形式的光引擎以及以凸透鏡和準(zhǔn)直透鏡為形式的成像光學(xué)設(shè)備。光引擎在一些實(shí)施例中可以包括另外的處理器或者采用cpu303以為微顯示器生成圖像。微顯示器可以是任何類型的圖像源光，例如，液晶顯示器(lcd)、背光lcd、led的矩陣陣列(無論有組織的還是無組織的)、以及任何其他適合的顯示器。顯示器可以是由電路驅(qū)動(dòng)的，所述電路激活顯示器的個(gè)體像素以生成圖像。來自每個(gè)顯示器的大體上準(zhǔn)直的光通過在每個(gè)組件上所提供的相應(yīng)的內(nèi)耦合區(qū)域312l、312r而被輸出或者耦合到每個(gè)光學(xué)組件310l、310r中。接著，可以通過涉及衍射和tir的機(jī)制將內(nèi)耦合的光橫向引導(dǎo)至相應(yīng)的中間(折疊)區(qū)域314l、314r中的光學(xué)組件，并且還向下引導(dǎo)到光在其處光朝向用戶的眼睛出射的相應(yīng)的出射區(qū)域316l、316r中。

光學(xué)組件310可以大體上是透明的，以使得用戶不僅可以觀看來自光引擎的圖像，還可以通過光學(xué)組件來觀看真實(shí)世界視野。

光學(xué)部件可以具有折射率n，這使得發(fā)生完全內(nèi)部反射以引導(dǎo)來自光引擎的光束沿著中間擴(kuò)展區(qū)域314，并且向下朝向出射區(qū)域316。

以頭戴式耳機(jī)或頭戴式設(shè)備為形式的用戶設(shè)備102還可以包括被配置為捕獲佩戴頭戴式耳機(jī)的用戶的視場(chǎng)的至少一個(gè)照相機(jī)。例如，在圖3中所示出的頭戴式耳機(jī)包括被配置為分別從用戶的左眼和右眼捕獲近似的視場(chǎng)(或視野)的立體相機(jī)318l和318r。在一些實(shí)施例中，一個(gè)相機(jī)可以被配置為捕獲適合的視頻圖像，而另一相機(jī)或距離感測(cè)傳感器被配置為捕獲或確定從用戶到用戶的環(huán)境中的對(duì)象的距離。

類似地，以頭戴式耳機(jī)為形式的用戶設(shè)備102可以包括安裝在頭戴式耳機(jī)的框架306上的多個(gè)麥克風(fēng)。在圖3中所示出的示例示出了分別位于支撐延伸部或臂306和308的“前”端處的左麥克風(fēng)322l和右麥克風(fēng)322r。支撐延伸部或臂306和308還可以包括“左”和“右”聲道揚(yáng)聲器、耳塞、或其他音頻輸出換能器。例如，在圖3中所示出的頭戴式耳機(jī)包括充當(dāng)左和右音頻聲道輸出揚(yáng)聲器的骨傳導(dǎo)音頻換能器320l和320r。

在本文中描述了關(guān)于混合現(xiàn)實(shí)(mr)應(yīng)用的概念，然而在其他實(shí)施例中，相同的概念可以應(yīng)用于任何多方通信應(yīng)用。混合現(xiàn)實(shí)應(yīng)用可以例如涉及場(chǎng)景的共享，其中，包括相機(jī)的設(shè)備被配置為捕獲圖像或視頻，并且將該圖像或多個(gè)圖像發(fā)送至其他設(shè)備。此外，可以通過對(duì)象的添加、刪除、和交互來增強(qiáng)或注釋圖像或視頻。這些對(duì)象或虛擬對(duì)象可以“被放置”在圖像場(chǎng)景中，并且可以具有能夠被參與者(包括場(chǎng)景所有者)“看見”并與之交互的視覺表示。對(duì)象不僅可以由位置來定義，還包括其他屬性，例如對(duì)象類型和狀態(tài)。對(duì)象例如可以具有諸如音頻/視頻/文本內(nèi)容之類的相關(guān)聯(lián)的內(nèi)容。參與者可以例如將視頻播放器對(duì)象置于共享的場(chǎng)景中。接著，同一參與者可以與對(duì)象進(jìn)行交互以開始播放視頻以供所有參與者觀看。接著，另一參與者可以與視頻播放器對(duì)象進(jìn)行交互以控制回放或者改變視頻播放器對(duì)象在場(chǎng)景中的位置。

可以關(guān)于場(chǎng)景以及此外的場(chǎng)景的三維表示來進(jìn)行對(duì)象的放置。為了使得對(duì)象的精確放置能夠在遠(yuǎn)程設(shè)備上被表示或呈現(xiàn)，與場(chǎng)景相關(guān)聯(lián)的表面再現(xiàn)(sr)或網(wǎng)格數(shù)據(jù)可以被傳遞給共享場(chǎng)景的所有參與者。

關(guān)于圖4a是針對(duì)用戶設(shè)備的適合的發(fā)送(媒體棧)管線架構(gòu)的示例。在本文所描述的這樣的實(shí)施例中，用戶設(shè)備可以被配置為生成圖像(視頻數(shù)據(jù))和表面再現(xiàn)(sr)或網(wǎng)格數(shù)據(jù)。

在所示出的示例中，用于生成共享場(chǎng)景的圖像是由(紅-綠-藍(lán))rgb傳感器/相機(jī)403捕獲的。rgb傳感器/相機(jī)403可以被配置為向適合的設(shè)備視頻源405傳遞所捕獲的rgb原始數(shù)據(jù)，并且還傳遞任何相機(jī)姿勢(shì)/投影矩陣信息。

在圖4a中所示出的示例架構(gòu)還包括深度傳感器/相機(jī)401，其被配置為捕獲可以被傳遞至表面再現(xiàn)(sr)引擎和數(shù)據(jù)庫(kù)402的深度信息。sr引擎和數(shù)據(jù)庫(kù)402可以被配置為接收深度信息并且根據(jù)已知的網(wǎng)格/sr方法來生成sr原始數(shù)據(jù)。接著，可以將sr原始數(shù)據(jù)被傳遞至設(shè)備視頻源405。

視頻源405可以被配置為接收sr原始數(shù)據(jù)和rgb原始數(shù)據(jù)以及任何相機(jī)姿勢(shì)/投影矩陣信息。此外，視頻源405可以被配置為將視頻原始數(shù)據(jù)以sr原始數(shù)據(jù)為形式輸出至適合的sr信道編碼器407，并且根據(jù)原始幀和相機(jī)姿勢(shì)/投影矩陣數(shù)據(jù)將視頻圖像數(shù)據(jù)輸出至適合的h.264信道編碼器409。在本文所描述的示例中，h.264信道編碼器409是適合的視頻編碼器的示例。應(yīng)當(dāng)理解的是，在一些其他實(shí)施例中，所采用的視頻編碼解碼器是任何適合的編碼解碼器。例如，編碼器和解碼器可以采用高效視頻編碼hevc實(shí)現(xiàn)。

sr信道編碼器407可以被配置為接收和編碼sr原始數(shù)據(jù)以生成適合的經(jīng)編碼的sr數(shù)據(jù)。接著，sr信道編碼器407可以被配置為將經(jīng)編碼的sr數(shù)據(jù)傳遞至分組生成器411。具體地，經(jīng)編碼的數(shù)據(jù)可以被傳遞至sr分組創(chuàng)建器413。

h.264信道編碼器409可以類似地被配置為接收原始圖像/視頻幀和相機(jī)姿勢(shì)/投影矩陣數(shù)據(jù)，并且處理它們以生成經(jīng)編碼的幀和sei(補(bǔ)充增強(qiáng)信息)消息數(shù)據(jù)。經(jīng)編碼的幀和sei消息數(shù)據(jù)可以被傳遞至分組生成器411，并且具體地被傳遞至h.264分組創(chuàng)建器415。

關(guān)于圖9a示出了針對(duì)幀(原始圖像/視頻幀)與相機(jī)姿勢(shì)/投影矩陣信息的組合以及處理它們以生成編碼幀和sei(補(bǔ)充增強(qiáng)信息)消息數(shù)據(jù)的示例管線架構(gòu)。相機(jī)固有的(集成到相機(jī)本身的)和非固有的(相機(jī)所處的3d環(huán)境的一部分的)數(shù)據(jù)或信息(例如，相機(jī)姿勢(shì)(非固有的)和投影矩陣(固有的)數(shù)據(jù))描述了相機(jī)捕獲屬性。該信息(例如，幀時(shí)間戳和幀朝向)應(yīng)該與視頻幀同步以使其從幀到幀改變。在如圖9a中所示出的實(shí)施例中采用的管線架構(gòu)應(yīng)該支持對(duì)其他平臺(tái)的易擴(kuò)展性和編碼解碼器可交換性。

如在這里所描述的概念用于在視頻通道中對(duì)相機(jī)固有的和非固有的數(shù)據(jù)進(jìn)行編碼，并將其作為sei消息在帶內(nèi)傳送。管線架構(gòu)應(yīng)該以平臺(tái)無關(guān)的方式將數(shù)據(jù)傳送至編碼器。例如，針對(duì)發(fā)送機(jī)管線而描述了應(yīng)用程序接口(api)調(diào)用序列。

如在圖9a中所示出的，為了實(shí)現(xiàn)與編碼解碼器無關(guān)的實(shí)現(xiàn)，sei可以被視頻編碼器嵌入到比特流中并且被視頻解碼器讀出。

例如，硬件組件rgb相機(jī)901可以被配置為生成rgb幀數(shù)據(jù)。接著，可以將rgb幀數(shù)據(jù)傳遞至os/平臺(tái)層以及媒體捕獲(和源讀取器)903。媒體捕獲實(shí)體903還可以被配置為接收相機(jī)姿勢(shì)和投影矩陣并且將這些相機(jī)固有的和非固有的值作為自定義屬性來附加。接著，可以將媒體采樣和自定義屬性傳遞至媒體管線層，并經(jīng)由捕獲實(shí)體905而傳遞至視頻編碼器907。視頻編碼器907可以例如是在圖4a中所示出的h.264信道編碼器。接著，視頻編碼器907可以將相機(jī)姿勢(shì)和投影矩陣作為用戶數(shù)據(jù)未登記的sei消息在帶內(nèi)傳遞。sei消息可以例如在sei附加實(shí)體911中與從h.264編碼器909輸出的視頻幀數(shù)據(jù)進(jìn)行組合。示例sei消息定義如下：

其中，

f(1比特)是forbidden_zero_bit，如在[rfc6184]，章節(jié)1.3.中規(guī)定的，

nri(2比特)是nal_ref_idc，如在[rfc6184]，章節(jié)1.3.中規(guī)定的。

type(類型)(5比特)是nal_unit_type，如在[rfc6184]，章節(jié)1.3.中規(guī)定的，其在一些實(shí)施例中被設(shè)置為6.，

payloadtype(有效載荷)(1字節(jié))是sei有效載荷類型，并且在一些實(shí)施例中被設(shè)置為5以指示用戶數(shù)據(jù)未登記的sei消息。由該協(xié)議所使用的語(yǔ)法是如在[iso/iec14496-10：2010]，章節(jié)7.3.2.3.1.中所定義的.，

payloadsize(1字節(jié))是sei有效載荷大小。由該協(xié)議針對(duì)此字段而使用的語(yǔ)法與在[iso/iec14496-10：2010]，章節(jié)7.3.2.3.1.中所定義的語(yǔ)法相同。payloadsize值是除了f、nri、type、payloadtype和payloadsize字段之外的流布局sei消息的大小.，

uuid_iso_iec_11578(16字節(jié))是通用唯一標(biāo)識(shí)符(uuid)，其用于指示sei消息是流布局，并且在一些實(shí)施例中被設(shè)置為{0f5dd509-cf7e-4ac4-9e9a-406b68973c42}.，

t(1字節(jié))是類型字節(jié)，并且在一些實(shí)施例中，使用值1來標(biāo)識(shí)相機(jī)姿勢(shì)信息，而使用值2來標(biāo)識(shí)相機(jī)投影矩陣信息.，

l(1字節(jié))是隨后的值字段減1的字節(jié)長(zhǎng)度，并且具有有效值范圍0-254，其指示1-255字節(jié).，

v(n字節(jié))是值并且該值的長(zhǎng)度被指定為l字段的值。

與分組生成器411相關(guān)聯(lián)的概念是控制對(duì)視頻和sr數(shù)據(jù)的分組，以便使數(shù)據(jù)的接收機(jī)能夠產(chǎn)生可靠和有效的混合現(xiàn)實(shí)體驗(yàn)。

分組生成器411可以例如包括sr分組創(chuàng)建器413。sr分組創(chuàng)建器413可以被配置為生成可以被傳遞至分組類型敏感的整形器(shaper)419的sr片段分組。此外，sr分組創(chuàng)建器413可以出于重傳反饋的目的而被控制。在一些實(shí)施例中，針對(duì)重傳反饋而使用nack方法可能是不適合的，并且因此可以實(shí)現(xiàn)ack方法。

因此，在一些實(shí)施例中，sr分組創(chuàng)建器413可以被配置為將對(duì)任何sr數(shù)據(jù)分組的引用保存在未決緩沖器中直到所述sr數(shù)據(jù)分組被發(fā)送為止。一旦分組被發(fā)送，則可以將所述引用移動(dòng)至未確認(rèn)的緩沖器。

在這樣的實(shí)施例中，未確認(rèn)的緩沖器可以具有限制發(fā)送機(jī)和接收機(jī)之間的業(yè)務(wù)的窗口大小。

接著，可以保存對(duì)sr數(shù)據(jù)分組的引用直到接收機(jī)確認(rèn)接收到所述分組為止。

在一些實(shí)施例中，未確認(rèn)的緩沖器窗口大小可以根據(jù)接收機(jī)緩沖器深度而動(dòng)態(tài)地調(diào)整。在一些實(shí)施例中，未確認(rèn)的緩沖器窗口大小可以是靜態(tài)值，例如32。

在一些實(shí)施例中，即使在沒有接收到反饋消息(例如，包括acknowledgmentbitmap(確認(rèn)比特映射)的消息)時(shí)，sr分組創(chuàng)建器413可以被配置為在sr幀到達(dá)時(shí)繼續(xù)發(fā)送來自未決緩沖器的sr數(shù)據(jù)分組。實(shí)現(xiàn)繼續(xù)發(fā)送方法表示在接收機(jī)處不應(yīng)該發(fā)生饑餓。

反饋消息可以包括值(例如，acknowledgmentbitmap消息中的值basesequence)。增加的值意味著接收機(jī)已確認(rèn)了所有最大為值-1(basesequence-1)并且包括值-1的分組。

在一些實(shí)施例中，sr分組創(chuàng)建器413可以被配置為僅當(dāng)有足夠的帶寬時(shí)才發(fā)送超過經(jīng)學(xué)習(xí)的接收機(jī)緩沖器深度的數(shù)據(jù)分組。

在一些實(shí)施例中，發(fā)送速度可能受到雙向信道的rtt(往返時(shí)間)的限制。例如當(dāng)未確認(rèn)的緩沖器窗口大小為128個(gè)分組，而rtt為200ms，并且mpu(應(yīng)用于sr數(shù)據(jù)片段的最大分組單元)為1000時(shí)，則最大發(fā)送速度將被限制為128*1000*(1000/200)＝5000kb/s。

因此，在一些實(shí)施例中，可以調(diào)整未確認(rèn)的緩沖器窗口大小以及(acknowledgmentbitmap)反饋消息的長(zhǎng)度來改變最大速率。

類似地，分組生成器411可以包括h.264分組創(chuàng)建器415。h.264分組創(chuàng)建器415可以被配置為生成適合的h.264分組片段并且將這些分組片段傳遞至分組類型敏感整形器419。

分組生成器411還可以包括被配置為控制分組片段的生成和輸出的帶寬(bw)控制器417。bw控制器417可以負(fù)責(zé)劃分sr分組創(chuàng)建器413與h.264分組創(chuàng)建器415之間的帶寬分配。在一些實(shí)施例中，bw控制器417保持用于視頻的最小帶寬。

在一些實(shí)施例中，bw控制器417可以被配置為在同時(shí)運(yùn)行的每個(gè)并行信道之間初始地均勻分配數(shù)據(jù)。例如，針對(duì)單個(gè)h.264信道和單個(gè)sr信道，數(shù)據(jù)劃分可以以50/50開始。然而，bw控制器417可以被配置為在確定的時(shí)段之后確定或估計(jì)針對(duì)h.264和sr帶寬要求的短期和長(zhǎng)期平均。例如，可以在2.5秒之后確定針對(duì)h.264和sr帶寬要求的短期和長(zhǎng)期平均。

應(yīng)當(dāng)注意的是，在h.264/視頻與sr帶寬之間的這些值之間存在行為上的差異。對(duì)于視頻而言，帶寬值是被傳遞至h.264(視頻)編碼器409并且應(yīng)該由h.264編碼器409遵守的分配。而sr帶寬值可以是對(duì)由sr信道所使用的帶寬的觀察，并且媒體平臺(tái)可以對(duì)所述sr帶寬值進(jìn)行監(jiān)測(cè)以確定如何調(diào)整sr編碼器407內(nèi)的細(xì)節(jié)等級(jí)參數(shù)。

接著，分組敏感整形器419可以被配置為接收sr分組片段和h.264分組片段，并且生成被傳遞至傳送設(shè)備421的適合的數(shù)據(jù)分組。分組敏感整形器419可以是感知h.264和sr數(shù)據(jù)分組的不同的實(shí)時(shí)要求的(網(wǎng)絡(luò)業(yè)務(wù))整形器。例如，整形器可以被實(shí)現(xiàn)為h.264和sr分組之間的輪詢(round-robin)。

傳輸設(shè)備421經(jīng)由適合的輸出流接收數(shù)據(jù)分組及其輸出。

關(guān)于圖4b示出了用針對(duì)被配置為接收?qǐng)D像(視頻數(shù)據(jù))和表面再現(xiàn)(sr)或網(wǎng)格數(shù)據(jù)的用戶設(shè)備的適合的接收管線(媒體棧)架構(gòu)。

用戶設(shè)備可以包括被配置為接收視頻流數(shù)據(jù)并將該信息傳遞至接收機(jī)/分組組合器的傳輸設(shè)備451。

分組組合器可以包括sr分組組合器453和h.264分組組合器455。sr分組片段可以被傳遞至sr分組組合器453以用于生成經(jīng)編碼的sr數(shù)據(jù)分組。h.264分組組合器455可以被配置為接收h.264分組片段并且生成經(jīng)編碼的幀數(shù)據(jù)。

sr分組組合器453可以被配置為生成適合的反饋消息(例如，acknowledgmentbitmap反饋消息)，其可以被發(fā)送至sr分組創(chuàng)建器以便控制sr數(shù)據(jù)的重傳。當(dāng)檢測(cè)到內(nèi)容開始事件時(shí)(例如，當(dāng)檢測(cè)到sr1_content_start_flag時(shí))，或者當(dāng)檢測(cè)到內(nèi)容停止事件時(shí)(例如，當(dāng)檢測(cè)到sr1_content_stop_flag時(shí))，或者當(dāng)檢測(cè)到文件事件的結(jié)束時(shí)(例如，當(dāng)檢測(cè)到sr1_content_eof_flag時(shí))，可以生成反饋消息。此外，在一些實(shí)施例中，當(dāng)新的sr分組到達(dá)sr分組組合器453并且自先前分組以來已經(jīng)經(jīng)過了預(yù)先確定的時(shí)段(例如，250ms)時(shí)，生成反饋消息。在一些實(shí)施例中，針對(duì)每第7(或其他確定的數(shù)量)個(gè)接收的分組生成反饋消息。在一些實(shí)施例中，確定數(shù)量的分組可以包括重傳的分組。此外，在一些實(shí)施例中，可以在指示最后接收到的分組(basesequence)的反饋值已經(jīng)由確定數(shù)量(例如，7個(gè))的分組增加之后來生成反饋消息。在一些實(shí)施例中，當(dāng)sr信道解碼器457報(bào)告錯(cuò)誤時(shí)生成反饋消息。

如在本文中所描述的，sr分組創(chuàng)建器被配置為接收反饋消息(acknowledgmentbitmap)并且控制經(jīng)緩沖的分組的重傳。

接著，經(jīng)編碼的sr數(shù)據(jù)分組可以被傳遞至sr信道解碼器457以生成sr原始數(shù)據(jù)。

h.264信道解碼器459可以被配置為從h.264分組組合器455接收經(jīng)編碼的幀，并且輸出適合的原始幀和相機(jī)姿勢(shì)/投影矩陣數(shù)據(jù)。接著，可以將sr原始數(shù)據(jù)和原始幀以及相機(jī)姿勢(shì)/投影矩陣數(shù)據(jù)傳遞至視頻接收器(sink)461。

視頻接收器461可以被配置為將所接收的sr原始數(shù)據(jù)和原始幀以及相機(jī)姿勢(shì)/投影數(shù)據(jù)輸出至任何適合的遠(yuǎn)程視頻應(yīng)用463或者用于適合的3d場(chǎng)景渲染(在3d場(chǎng)景渲染器465)和視頻服務(wù)渲染(在視頻表面渲染器467)的庫(kù)。

關(guān)于圖9b示出了用于從經(jīng)編碼的幀和sei(補(bǔ)充增強(qiáng)信息)消息數(shù)據(jù)提取原始圖像/視頻幀以及相機(jī)固有和非固有數(shù)據(jù)(例如，姿勢(shì)/投影矩陣數(shù)據(jù))的示例管線架構(gòu)。該管線架構(gòu)與在圖9a中所示出的示例管線架構(gòu)所執(zhí)行的過程相反。

例如，媒體管線層可以包括視頻解碼器960。在一些實(shí)施例中，這是由如在圖4b中所示出的h.264信道解碼器459實(shí)現(xiàn)的。視頻解碼器960可以包括sei提取器951，其被配置為從h.264幀數(shù)據(jù)中檢測(cè)并提取與相機(jī)固有和非固有數(shù)據(jù)值(相機(jī)姿勢(shì)和/或投影矩陣數(shù)據(jù))相關(guān)聯(lián)的任何所接收的sei數(shù)據(jù)。這可以通過解碼器掃描到來的網(wǎng)絡(luò)抽象層單元(nalu)并且從附加到每個(gè)幀的sei消息中提取相機(jī)固有和非固有數(shù)據(jù)(如果存在)來在視頻(sliq)解碼器內(nèi)實(shí)現(xiàn)。接著，可以經(jīng)由解碼器選項(xiàng)使得相機(jī)固有和非固有數(shù)據(jù)可用于解碼器擴(kuò)展和解碼器回調(diào)。

接著，視頻解碼器(例如，h.264解碼器953)可以對(duì)不包含sei消息的h.264比特流進(jìn)行解碼。

媒體管線層還可以包括渲染器955，其被配置為使固有和非固有數(shù)據(jù)與幀數(shù)據(jù)同步，并且將其傳遞至os/平臺(tái)層。

os/平臺(tái)層還可以如在圖9b中所示出的包括3d渲染引擎957，其被配置為轉(zhuǎn)換視頻幀圖像并且利用固有和非固有數(shù)據(jù)以及sr數(shù)據(jù)生成適合于傳遞至顯示器或屏幕959的3d渲染。應(yīng)當(dāng)理解的是，3d渲染引擎在一些實(shí)施例中可以被實(shí)現(xiàn)為應(yīng)用。

此外，經(jīng)由傳輸設(shè)備451所接收的關(guān)于對(duì)象或注釋的任何數(shù)據(jù)可以被傳遞至適合的對(duì)象協(xié)議實(shí)體(例如，對(duì)象更新消息解碼器)，并且可以被傳遞至適合的注釋或?qū)ο箐秩酒鳌?/p>

在實(shí)現(xiàn)如在本文中所描述的架構(gòu)時(shí)，以視頻或圖像數(shù)據(jù)為形式的mr場(chǎng)景以及生成場(chǎng)景的3d渲染所需要的數(shù)據(jù)可以被可靠地從一個(gè)設(shè)備傳輸至另一設(shè)備，并且使用可用帶寬有效地被傳輸。

如在本文中所描述的，mr的方面中的一個(gè)方面是分享和注釋所捕獲的場(chǎng)景的能力。例如，由場(chǎng)景中的一個(gè)參與者所捕獲的視頻可以通過添加對(duì)象來注釋。對(duì)象可以位于具有經(jīng)定義的位置和/朝向的場(chǎng)景中。此外，如在本文中所描述的對(duì)象可以與諸如視頻、圖像、音頻、或文本之類的媒體類型相關(guān)聯(lián)。在一些情況下，對(duì)象可以是交互性對(duì)象，這是因?yàn)閷?duì)象可以是可移動(dòng)的或改變的。例如，交互性對(duì)象可以與視頻文件相關(guān)聯(lián)，并且當(dāng)對(duì)象由參與者“觸摸”或選擇時(shí)，向共享場(chǎng)景的所有參與者播放該視頻。

在場(chǎng)景內(nèi)添加、刪除、和修改對(duì)象可能是有問題的。然而，可以根據(jù)在本文中進(jìn)一步詳述的針對(duì)對(duì)象信息的示例架構(gòu)和協(xié)議來處理這些問題。

關(guān)于圖5a示出了示例架構(gòu)，該示例架構(gòu)示出了適合于處理交互性對(duì)象并且與其他參與者共享混合現(xiàn)實(shí)(mr)場(chǎng)景的協(xié)議端點(diǎn)。在圖5a中所示出的示例(以及其中所描述的示例)中，場(chǎng)景所有者491是與其他參與者共享其混合現(xiàn)實(shí)場(chǎng)景的協(xié)議端點(diǎn)。例如，場(chǎng)景所有者491可以包括操作如在圖3中所示出的用戶設(shè)備并且捕獲用戶a的環(huán)境的用戶。場(chǎng)景所有者還可以被允許向場(chǎng)景視野添加、移除、和操縱(虛擬)對(duì)象(也被稱為注釋)。在一些實(shí)施例中，對(duì)象的添加、移除、或操縱可以使用用戶界面來實(shí)現(xiàn)。

場(chǎng)景參與者495可以是被配置為接收由場(chǎng)景所有者491所生成的混合現(xiàn)實(shí)場(chǎng)景的協(xié)議端點(diǎn)。場(chǎng)景參與者495還可以被配置為能夠添加、移除、和操縱場(chǎng)景中的對(duì)象。

可視化、位置、以及與先前所描述的共享場(chǎng)景中的這樣的對(duì)象的交互可能呈現(xiàn)問題。對(duì)象可以具有視覺表示并且具有相關(guān)聯(lián)的內(nèi)容(例如，音頻/視頻/文本)。例如，參與者可以將視頻播放器對(duì)象放置在共享場(chǎng)景中，并與其交互以開始播放視頻以供所有參與者觀看。另一參與者可以嘗試與同一對(duì)象進(jìn)行交互以控制回放或改變對(duì)象在場(chǎng)景中的位置。由此，對(duì)象應(yīng)該出現(xiàn)在相對(duì)于視頻或圖像內(nèi)的真實(shí)世界對(duì)象以及所有參與者的其他(虛擬)對(duì)象的相同位置處。

此外，對(duì)于所有參與者而言，對(duì)象的狀態(tài)也應(yīng)該是一致的，受制于可接受的延遲。因此，例如當(dāng)為所有參與者播放視頻時(shí)，視頻對(duì)象應(yīng)該在大致相同的位置處顯示相同的視頻。

還應(yīng)該實(shí)現(xiàn)共享場(chǎng)景或混合現(xiàn)實(shí)應(yīng)用以使得在任何時(shí)間加入?yún)f(xié)作會(huì)話的參與者能夠?qū)⑺麄兊膱?chǎng)景視野與其他參與者的視野進(jìn)行同步。換句話說，場(chǎng)景針對(duì)所有參與者是相同的，而與參與者加入會(huì)話的時(shí)間無關(guān)。

類似地，混合現(xiàn)實(shí)應(yīng)用程序應(yīng)該能夠使得場(chǎng)景被暫?；蚩煺?，從而使得會(huì)話可以被暫停，并且接著可以通過恢復(fù)快照在之后被繼續(xù)。換句話說，即使沒有用戶使用該場(chǎng)景，其也應(yīng)該具有持久性。

在本文中所描述的架構(gòu)可以用于實(shí)現(xiàn)被設(shè)計(jì)為高效地滿足上述要求的消息協(xié)議和一組通信機(jī)制。因此，概念可以涉及通信機(jī)制，例如“僅僅最新的可靠消息傳遞”和“基于對(duì)象”的流控制。“僅僅最新的消息傳遞”的實(shí)現(xiàn)可以降低發(fā)送和/或接收的對(duì)象信息業(yè)務(wù)的容量，并且因此高效地利用處理器和網(wǎng)絡(luò)帶寬。這對(duì)于其中最小化處理器利用率和網(wǎng)絡(luò)帶寬是普遍的設(shè)計(jì)目標(biāo)的移動(dòng)和可穿戴設(shè)備而言是重要且期望的成就。類似地，基于對(duì)象的流控制允許發(fā)射機(jī)和接收機(jī)選擇性地限制用于同步給定對(duì)象的狀態(tài)的業(yè)務(wù)要求。

如在圖5a中所示出的，在一些實(shí)施例中，可以采用場(chǎng)景服務(wù)器493協(xié)議端點(diǎn)。場(chǎng)景服務(wù)器493可以被配置為在場(chǎng)景所有者491與參與者495之間中繼消息。

場(chǎng)景所有者491、參與者495、或服務(wù)器493可以采用充當(dāng)協(xié)議客戶端實(shí)體的應(yīng)用(或app)。協(xié)議客戶端實(shí)體可以被配置為控制協(xié)議端點(diǎn)以用于在協(xié)議端點(diǎn)之間傳送和控制數(shù)據(jù)流。

在以下示例中，使用如在圖5a中所示出的場(chǎng)景服務(wù)器中介架構(gòu)來執(zhí)行對(duì)象消息交換。換句話說，消息經(jīng)由將每個(gè)消息轉(zhuǎn)發(fā)至其目的地的場(chǎng)景服務(wù)器493來傳遞。如在圖5a中所示出的，場(chǎng)景服務(wù)器可以被視為與場(chǎng)景所有者491或參與者495分離的協(xié)議端點(diǎn)。然而，場(chǎng)景服務(wù)器493可以在場(chǎng)景所有者用戶設(shè)備、參與者用戶設(shè)備、或?qū)Ｓ梅?wù)器設(shè)備中的一個(gè)內(nèi)被實(shí)現(xiàn)。

應(yīng)當(dāng)理解的是，在一些實(shí)施例中，消息交換是在對(duì)等的基礎(chǔ)上執(zhí)行的。由于對(duì)等消息交換的情況在概念上是服務(wù)器中介情況的特殊情況(其中場(chǎng)景所有者端點(diǎn)和服務(wù)器端點(diǎn)共同位于同一設(shè)備上)，則以下示例也可以應(yīng)用于對(duì)等實(shí)施例。

本文中的數(shù)據(jù)模型可以用于促進(jìn)對(duì)用于同步在本文中所描述的對(duì)象(或注釋)的協(xié)議的描述。在每個(gè)協(xié)議端點(diǎn)(例如，場(chǎng)景服務(wù)器、場(chǎng)景所有者、和參與者)處，會(huì)話管理實(shí)體或會(huì)話管理實(shí)體應(yīng)用可以保持共享場(chǎng)景的視野。場(chǎng)景的視野可以是對(duì)場(chǎng)景內(nèi)的對(duì)象(或注釋)的表示。對(duì)象表示可以包括數(shù)據(jù)對(duì)象，所述數(shù)據(jù)對(duì)象包括諸如對(duì)象類型、空間或場(chǎng)景中的坐標(biāo)和朝向之類的屬性。接著，協(xié)議端點(diǎn)可以使用會(huì)話管理實(shí)體應(yīng)用從而使用對(duì)象表示來保持一致的場(chǎng)景視野。以這樣的方式，對(duì)場(chǎng)景對(duì)象的表示的任何更新可以被版本化并且使用協(xié)議消息而被傳送至其他端點(diǎn)。場(chǎng)景服務(wù)器可以中繼所有這些消息，并且在合適的情況下丟棄基于陳舊版本的更新。

用于交換消息的協(xié)議可以分為數(shù)據(jù)平面和控制平面。在每個(gè)協(xié)議端點(diǎn)處，數(shù)據(jù)平面可以實(shí)現(xiàn)消息傳遞實(shí)體應(yīng)用和分組傳遞實(shí)體應(yīng)用，它們負(fù)責(zé)保持消息隊(duì)列/分組隊(duì)列并且追蹤排隊(duì)發(fā)送和/或接收消息和分組的傳遞狀態(tài)。在以下實(shí)施例中，未完成的出站消息是已被發(fā)送但還未被接收機(jī)確認(rèn)的消息。未完成的入站消息是已經(jīng)被接收但還未被傳遞至本地端點(diǎn)(例如，會(huì)話管理實(shí)體)的消息。

控制平面聲明可以在場(chǎng)景服務(wù)器端點(diǎn)內(nèi)被實(shí)現(xiàn)，并且可以被配置為保持場(chǎng)景所有者與其他參與者之間的場(chǎng)景的狀態(tài)。例如，場(chǎng)景服務(wù)器493可以被配置為保持針對(duì)每個(gè)經(jīng)連接的端點(diǎn)的協(xié)議版本和端點(diǎn)能力。

關(guān)于圖5a示出了在包括對(duì)象信息的共享場(chǎng)景混合現(xiàn)實(shí)應(yīng)用的初始化中涉及的消息協(xié)議的示例。

在以下示例中，場(chǎng)景所有者491可以被配置為使用協(xié)議客戶端實(shí)體來創(chuàng)建端點(diǎn)并且獲得服務(wù)器端點(diǎn)493的地址。地址確定可以是通過靜態(tài)配置地址或者是通過域名系統(tǒng)(dns)查詢而進(jìn)行的。

接著，協(xié)議客戶端實(shí)體應(yīng)用可以通過發(fā)布連接請(qǐng)求消息并且將連接請(qǐng)求消息發(fā)送至服務(wù)器493來將自身聲明為場(chǎng)景所有者從而登記所述場(chǎng)景以用于共享。

在圖5a中由步驟471示出了將連接請(qǐng)求消息從場(chǎng)景所有者491發(fā)送至服務(wù)器493的操作。

接著，服務(wù)器493可以用適合的確認(rèn)消息來對(duì)場(chǎng)景所有者491進(jìn)行響應(yīng)。

在圖5a中由步驟473示出了服務(wù)器將確認(rèn)消息至場(chǎng)景所有者491的操作。

接著，場(chǎng)景所有者491可以被配置為生成場(chǎng)景通知消息并將該消息發(fā)送至服務(wù)器493。

在圖5a中由步驟475示出了發(fā)送場(chǎng)景通知消息的操作。

接著，服務(wù)器493可以將場(chǎng)景通知消息中繼至受邀者。換句話說，場(chǎng)景通知消息可以包括由服務(wù)器使用以將場(chǎng)景通知消息發(fā)送至正確的位置的地址或適合的用戶標(biāo)識(shí)符。

在圖5a中由步驟477示出了從服務(wù)器493向參與者495發(fā)送場(chǎng)景通知消息的操作。

接著，參與者端點(diǎn)可以使用其協(xié)議客戶端應(yīng)用生成連接請(qǐng)求消息，并將該消息發(fā)送至服務(wù)器493以登記加入場(chǎng)景的興趣。

在圖5a中由步驟479示出了發(fā)送連接請(qǐng)求消息的操作。

接著，服務(wù)器493可以轉(zhuǎn)發(fā)連接請(qǐng)求或生成參與請(qǐng)求消息，并且將該消息發(fā)送給場(chǎng)景所有者491。

在圖5a中由步驟481示出了從服務(wù)器493向場(chǎng)景所有者491發(fā)送參與請(qǐng)求消息的操作。

接著，場(chǎng)景所有者491可以確定參與者是否被授權(quán)參與并且生成參與響應(yīng)消息。接著，可以將參與響應(yīng)消息發(fā)送至服務(wù)器493。

在圖5a中由步驟483示出了從場(chǎng)景所有者491向服務(wù)器493發(fā)送參與響應(yīng)消息的操作。

接著，服務(wù)器493可以被配置為從參與響應(yīng)消息生成連接響應(yīng)消息，并且將連接響應(yīng)消息發(fā)送給參與者495。

在圖5中由步驟485示出了發(fā)送連接響應(yīng)消息485的操作。

服務(wù)器和其他端點(diǎn)可以保持適合的定時(shí)器。例如，連接/加入狀態(tài)機(jī)定時(shí)器可以用于在兩個(gè)端點(diǎn)處交換連接/加入消息。此外，在一些實(shí)施例中可以采用?；?keepalive)定時(shí)器來觸發(fā)對(duì)?；钕⒌陌l(fā)送。類似地，可以實(shí)現(xiàn)重傳定時(shí)器來觸發(fā)僅僅針對(duì)可靠消息的重傳。

關(guān)于圖5b更加詳細(xì)地示出了用戶設(shè)備內(nèi)的控制架構(gòu)。邏輯層501，其可以包括處理對(duì)象信息的任何適合的應(yīng)用，例如，會(huì)話管理實(shí)體應(yīng)用、消息傳遞實(shí)體應(yīng)用、分組傳遞實(shí)體應(yīng)用、和連接狀態(tài)實(shí)體應(yīng)用。

邏輯層501可以被配置為經(jīng)由(出站)發(fā)送路徑502和(入站)接收路徑504來與i/o或客戶層503進(jìn)行通信。

i/o或客戶端層503可以包括資源管理器511。所述資源管理器可以控制對(duì)象數(shù)據(jù)的處理。此外，所述資源管理器可以被配置為對(duì)(出站消息)發(fā)送隊(duì)列513和(入站消息)接收隊(duì)列515進(jìn)行控制。

此外，資源管理器511可以被配置為向os層505和nic驅(qū)動(dòng)器507發(fā)送控制信號(hào)。這些控制信號(hào)可以例如是可以經(jīng)由控制路徑516、526發(fā)送至os層505和nic驅(qū)動(dòng)器507的cancelsend(取消發(fā)送)和/或setreceiveratelimit(設(shè)置接收速率限制)信號(hào)517。

發(fā)送隊(duì)列513可以被配置為從資源管理器接收分組，并且通過發(fā)送路徑512將所述分組發(fā)送至os層。接收隊(duì)列515可以被配置為經(jīng)由接收路徑514從os層505接收消息。

os層505可以從發(fā)送隊(duì)列513接收出站消息，并且經(jīng)由發(fā)送路徑522將這些消息傳遞至nic驅(qū)動(dòng)器507。此外，os層505可以通過接收路徑524從nic驅(qū)動(dòng)器507接收消息，并且還經(jīng)由接收路徑514將這些消息傳遞至接收隊(duì)列515。

關(guān)于圖6進(jìn)一步詳細(xì)地示出了會(huì)話管理實(shí)體應(yīng)用600與消息傳遞實(shí)體和分組傳遞實(shí)體601以及連接狀態(tài)實(shí)體603的交互的示例。

會(huì)話管理實(shí)體600可以被配置為保持或接收對(duì)象表示屬性，并且還檢測(cè)何時(shí)接收到任何對(duì)象交互指令。例如，用戶可以移動(dòng)對(duì)象或者與對(duì)象交互以引起對(duì)象的屬性中的一個(gè)屬性改變。會(huì)話管理實(shí)體600可以被配置為處理對(duì)象交互指令/輸入，并且生成或輸出經(jīng)修改的對(duì)象屬性以使其被傳遞至消息傳遞實(shí)體/分組傳遞實(shí)體601。此外，連接狀態(tài)實(shí)體應(yīng)用600可以被配置為控制消息傳遞實(shí)體/分組傳遞實(shí)體。

在以下的示例中描述了流控制的概念。流控制可以是服務(wù)器的發(fā)送路徑中的對(duì)象消息的速率限制(但沒有明確地定義每幀/時(shí)段刪除那些消息)。該操作可以是由來自接收機(jī)的限制速率的反饋驅(qū)動(dòng)的。還可以由資源管理器實(shí)體來確定消息和速率限制的成本。接收路徑上的補(bǔ)充機(jī)制可以用于丟棄所接收的幀中的一些幀從而加強(qiáng)速率限制，即使服務(wù)器不堅(jiān)持這樣做。

流控制被設(shè)計(jì)以避免用來自給定對(duì)象的頻繁的更新消息來?yè)砣邮諜C(jī)，所述給定對(duì)象的處理在特定的接收機(jī)處是昂貴的。在該情況下執(zhí)行節(jié)流的實(shí)體可以是對(duì)消息進(jìn)行中繼的服務(wù)器實(shí)體(不是更新消息的原始發(fā)送機(jī))。這將使得一些其他接收機(jī)能夠接收針對(duì)對(duì)象狀態(tài)的“更高保真度”的追蹤的更加頻繁的更新。利用流控制，服務(wù)器可以仍然每視頻幀中繼多個(gè)更新，這是因?yàn)檫@些消息不能彼此代替(存在保真度的損失)。流控制在接收機(jī)處節(jié)約周期并且降低針對(duì)服務(wù)器與接收機(jī)之間的網(wǎng)絡(luò)帶寬的需求。

僅僅最新消息控制可以是這樣的情況，在發(fā)送和接收路徑中存在對(duì)對(duì)象消息的過濾，并且僅僅發(fā)送/接收最新序號(hào)的消息。

僅僅最新傳遞嘗試降低或消除在已經(jīng)被較新的消息所取代的陳舊消息上所花費(fèi)的周期。這在發(fā)送機(jī)和接收機(jī)兩者處節(jié)約周期，并且降低對(duì)發(fā)送機(jī)與服務(wù)器之間以及服務(wù)器與接收機(jī)之間的網(wǎng)絡(luò)帶寬的需求。

因此，例如，圖7示出了示例流程圖700，其示出針對(duì)發(fā)送路徑的消息傳遞實(shí)體/分組傳遞實(shí)體601的操作。在該示例中，會(huì)話管理實(shí)體600可以生成新的或經(jīng)修改的對(duì)象屬性消息。

在圖7中由步驟s702示出了生成對(duì)象屬性消息的操作。

對(duì)象屬性消息可以被傳遞至消息傳遞實(shí)體/分組傳遞實(shí)體，并且消息被標(biāo)戳或者與序號(hào)和對(duì)象標(biāo)識(shí)值相關(guān)聯(lián)。對(duì)象標(biāo)識(shí)值可以標(biāo)識(shí)對(duì)象，而序號(hào)標(biāo)識(shí)修改的序列內(nèi)的位置。

在圖7中由步驟s704示出了利用序號(hào)和對(duì)象id值來對(duì)消息進(jìn)行標(biāo)戳/關(guān)聯(lián)的操作。

接著，消息傳遞實(shí)體/分組傳遞實(shí)體601可以被配置為確定視頻幀時(shí)段或其他視頻幀相關(guān)的時(shí)段是否已經(jīng)結(jié)束。

在圖7由步驟s706示出了確定幀或時(shí)段結(jié)束的操作。

當(dāng)時(shí)段還未結(jié)束時(shí)，該方法可以返回至生成下一個(gè)經(jīng)修改的對(duì)象屬性消息的操作。

然而，當(dāng)幀或時(shí)段已經(jīng)被確定時(shí)，消息傳遞實(shí)體/分組傳遞實(shí)體可以被配置為檢查當(dāng)前視頻幀或時(shí)段的具有經(jīng)確定的對(duì)象標(biāo)識(shí)符值的所有消息。

在步驟s708中，示出了針對(duì)幀或時(shí)段而檢查具有經(jīng)確定的對(duì)象標(biāo)識(shí)符的所有消息的操作。

接著，消息傳遞實(shí)體/分組傳遞實(shí)體601可以被配置為基于序號(hào)從幀時(shí)段或其他時(shí)段內(nèi)的消息確定最新的多個(gè)消息(或最新的一個(gè)消息)。

在圖7中由步驟s710示出了基于序號(hào)來確定最新消息的操作。

接著，消息傳遞實(shí)體/分組傳遞實(shí)體601可以被配置為在發(fā)送路徑中刪除針對(duì)該具體的幀時(shí)段或其他時(shí)段而具有對(duì)象標(biāo)識(shí)值的其他消息中的所有消息。

在圖7中由步驟s712示出了對(duì)幀時(shí)段或其他時(shí)段中具有對(duì)象id的所有其他對(duì)象屬性消息的刪除。

接著，方法可以返回以檢查另一對(duì)象交互指令或輸入。

在實(shí)現(xiàn)這樣的實(shí)施例時(shí)，可以控制在給定的視頻幀時(shí)段中或其他時(shí)段中的針對(duì)具體對(duì)象的對(duì)象屬性消息的消息流，以使得存在對(duì)給定對(duì)象的狀態(tài)或位置進(jìn)行更新的至少一個(gè)消息的傳輸，但網(wǎng)絡(luò)沒有擠滿消息。此外，可以使得發(fā)送路徑api在所有層處對(duì)應(yīng)用可用以丟棄針對(duì)給定的對(duì)象id在發(fā)送路徑排隊(duì)的多余的消息。

此外，在一些實(shí)施例中，發(fā)送機(jī)可以被配置為提供關(guān)于經(jīng)嘗試或經(jīng)取消的傳輸?shù)姆答仭?/p>

在實(shí)現(xiàn)上述實(shí)施例時(shí)，服務(wù)器可以被配置為提供或執(zhí)行應(yīng)用層多播，而不超過接收機(jī)的消息速率限制。

關(guān)于圖8示出了示例流程圖800，其示出針對(duì)接收路徑的消息傳遞實(shí)體/分組傳遞實(shí)體601的操作。接收路徑是指具有端點(diǎn)處的應(yīng)用的傳輸層實(shí)體、底層操作系統(tǒng)、和網(wǎng)絡(luò)驅(qū)動(dòng)器的所有到來的隊(duì)列階段。

在一些實(shí)施例中，接收例如關(guān)于發(fā)送路徑所描述的對(duì)象屬性消息。

在圖8中由步驟s802示出了接收對(duì)象屬性消息的操作。

此外，消息傳遞實(shí)體/分組傳遞實(shí)體601還可以被配置為確定視頻幀時(shí)段(或其他經(jīng)確定的時(shí)段)是否已經(jīng)結(jié)束。

在圖8中由步驟804示出了確定經(jīng)確定的幀(或其他時(shí)段)的結(jié)束的操作。

當(dāng)時(shí)段還未結(jié)束時(shí)，方法可以循環(huán)回以接收另外的對(duì)象屬性消息。

接著，當(dāng)時(shí)段結(jié)束時(shí)，連接狀態(tài)實(shí)體應(yīng)用603可以被配置為確定可以對(duì)其進(jìn)行接收消息控制的一些參數(shù)估計(jì)和決策變量。

例如，在一些實(shí)施例中，連接狀態(tài)實(shí)體應(yīng)用603可被配置為確定每個(gè)更新過程所需要或消耗的cpu周期的數(shù)量。

在圖8中由步驟s806示出了估計(jì)每次更新所消耗的cpu周期的操作。

在一些實(shí)施例中，連接狀態(tài)實(shí)體應(yīng)用603可以被配置為確定或估計(jì)當(dāng)前cpu負(fù)載和/或網(wǎng)絡(luò)帶寬。

在圖8中由步驟s808示出了確定當(dāng)前cpu負(fù)載/網(wǎng)絡(luò)帶寬的操作。

此外，在一些實(shí)施例中，連接狀態(tài)實(shí)體應(yīng)用603可以被配置為確定具體對(duì)象的對(duì)象優(yōu)先級(jí)。對(duì)象優(yōu)先級(jí)可以例如基于以下因素：對(duì)象是否在視野中、對(duì)象是否最近被查看、或者最近是否已經(jīng)與對(duì)象交互。

在圖8中由步驟s810示出了確定至少一個(gè)決策變量的操作。

接著，連接狀態(tài)實(shí)體應(yīng)用603可以在一些實(shí)施例中被配置為基于所確定的變量和容量確定中的至少一個(gè)來設(shè)置針對(duì)對(duì)象更新的“速率限制”。

在圖8中由步驟s812示出了設(shè)置速率限制的操作。

接著，消息傳遞實(shí)體/分組傳遞實(shí)體601可以被配置為確定時(shí)段內(nèi)的對(duì)象的最后的“n”個(gè)消息，其中“n”是速率限制。例如，這可以通過確定在時(shí)段內(nèi)所接收的針對(duì)對(duì)象id的消息上的最后“n”個(gè)序號(hào)來執(zhí)行。

在圖8中由步驟s814示出了確定最后“n”個(gè)消息的操作。

接著，應(yīng)用可以在接收的路徑中刪除針對(duì)該時(shí)段的該對(duì)象id的所有消息，而不是最后“n”個(gè)消息。

在圖8中由步驟s816示出了刪除時(shí)段中的具有對(duì)象id的所有其他消息的操作。

接著，方法可以返回至接收另外的對(duì)象消息的操作。

以這樣的方式，接收機(jī)不會(huì)過載有對(duì)象屬性消息。

盡管已經(jīng)參考由用戶對(duì)關(guān)于到來的實(shí)況視頻的幀而定位的對(duì)象進(jìn)行的交互而描述了實(shí)施例，但是本公開的實(shí)施例擴(kuò)展至在由計(jì)算機(jī)所生成的圖像上的交互。

通常而言，可以使用軟件、固件、硬件(例如，固定邏輯電路)、或者這些實(shí)現(xiàn)的組合來實(shí)現(xiàn)在本文中所描述的功能中的任何一個(gè)功能。在本文中所使用的術(shù)語(yǔ)“控制器”、“功能”、“組件”和“應(yīng)用”通常表示軟件、固件、硬件、或其組合。在軟件實(shí)現(xiàn)的情況下，控制器、功能、組件、或應(yīng)用表示在處理器(例如，cpu或多個(gè)cpu)上被執(zhí)行時(shí)執(zhí)行指定任務(wù)的程序代碼。所述程序代碼可以被存儲(chǔ)在一個(gè)或多個(gè)計(jì)算機(jī)可讀存儲(chǔ)器設(shè)備中。在下文中所描述的技術(shù)的特征是平臺(tái)無關(guān)的，這意味著這些技術(shù)可以被實(shí)現(xiàn)在具有多種處理器的多種商業(yè)計(jì)算平臺(tái)上。

例如，用戶設(shè)備(用戶終端)還可以包括使得用戶終端的硬件執(zhí)行操作的實(shí)體(例如，軟件)，例如處理器功能塊等。例如，用戶終端可以包括可以被配置為保存使得用戶終端并且更加特別地使得操作系統(tǒng)和用戶終端的相關(guān)聯(lián)的硬件執(zhí)行操作的計(jì)算機(jī)可讀介質(zhì)。因此，所述指令用于配置操作系統(tǒng)和相關(guān)聯(lián)的硬件執(zhí)行操作，并且以該方式引起操作系統(tǒng)和相關(guān)聯(lián)的硬件轉(zhuǎn)換以執(zhí)行功能。所述指令可以是由計(jì)算機(jī)可讀介質(zhì)通過各種不同的配置而向用戶終端提供的。

計(jì)算機(jī)可讀介質(zhì)的一個(gè)這樣的配置是信號(hào)承載介質(zhì)，并且因此被配置為例如經(jīng)由網(wǎng)絡(luò)向計(jì)算設(shè)備發(fā)送指令(例如，作為載波)。計(jì)算機(jī)可讀介質(zhì)還可以被配置為計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)并且因此不是信號(hào)承載介質(zhì)。計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)的示例包括隨機(jī)存取存儲(chǔ)器(ram)、只讀存儲(chǔ)器(rom)、光盤、閃速存儲(chǔ)器、硬盤存儲(chǔ)器、以及可以使用磁的、光學(xué)的、以及其他技術(shù)來存儲(chǔ)指令和其他數(shù)據(jù)的其他存儲(chǔ)器設(shè)備。

提供了一種通信架構(gòu)內(nèi)的用戶設(shè)備，所述用戶設(shè)備包括：對(duì)象管理實(shí)體，其被配置為確定針對(duì)共享場(chǎng)景的與至少一個(gè)可變屬性相關(guān)聯(lián)的至少一個(gè)對(duì)象，確定與所述對(duì)象相關(guān)聯(lián)的所述至少一個(gè)可變屬性中的至少一個(gè)可變屬性的改變，并且生成針對(duì)所述至少一個(gè)對(duì)象的對(duì)象屬性更新消息；以及消息傳遞實(shí)體，其被配置為控制所述對(duì)象屬性更新消息的輸出，以使得在經(jīng)確定的時(shí)段中消息輸出的數(shù)量小于發(fā)送路徑速率數(shù)量。

所述用戶設(shè)備還包括連接狀態(tài)實(shí)體，所述連接狀態(tài)實(shí)體被配置為從來自所述對(duì)象屬性消息的接收機(jī)的反饋消息來確定發(fā)送路徑速率數(shù)量，其中，所述消息傳遞實(shí)體被配置為在所述經(jīng)確定的時(shí)段中在所述發(fā)送路徑內(nèi)僅僅將所述發(fā)送路徑速率數(shù)量的對(duì)象屬性更新消息選擇并輸出至所述對(duì)象屬性消息的所述接收機(jī)。

所述消息傳遞實(shí)體可以被配置為：確定所述發(fā)送路徑速率數(shù)量；在所述經(jīng)確定的時(shí)間段中在所述發(fā)送路徑內(nèi)選擇與所述至少一個(gè)對(duì)象相關(guān)聯(lián)的最新發(fā)送路徑速率數(shù)量的消息；并且在所述經(jīng)確定的時(shí)間段中在所述發(fā)送路徑內(nèi)刪除與所述至少一個(gè)對(duì)象相關(guān)聯(lián)的任何其他對(duì)象屬性消息。

所述對(duì)象管理實(shí)體可以被配置為：將對(duì)象標(biāo)識(shí)符值同與所述至少一個(gè)對(duì)象相關(guān)聯(lián)的消息相關(guān)聯(lián)；并且關(guān)聯(lián)標(biāo)識(shí)所述消息的順序的序號(hào)。

所述消息傳遞實(shí)體被配置為選擇具有經(jīng)確定的對(duì)象標(biāo)識(shí)符值的、以所述最新發(fā)送路徑速率數(shù)量為序號(hào)的消息。

所述消息傳遞實(shí)體可以被配置為刪除具有所述經(jīng)確定的對(duì)象標(biāo)識(shí)符值的任何有序號(hào)的消息，而不是刪除具有所述經(jīng)確定的對(duì)象標(biāo)識(shí)符值的、以所述最新發(fā)送路徑速率數(shù)量為序號(hào)的消息。

所述對(duì)象管理實(shí)體可以被配置為確定用于與所述至少一個(gè)對(duì)象進(jìn)行交互的用戶界面輸入。

提供了一種通信架構(gòu)內(nèi)的用戶設(shè)備，所述用戶設(shè)備包括：接收路徑，其用于接收針對(duì)共享場(chǎng)景的至少一個(gè)對(duì)象的至少一個(gè)對(duì)象屬性更新消息，其中，所述至少一個(gè)對(duì)象屬性更新消息同與所述對(duì)象相關(guān)聯(lián)的可變屬性中的至少一個(gè)可變屬性的改變相關(guān)聯(lián)；消息傳遞實(shí)體，其被配置為控制對(duì)所述至少一個(gè)對(duì)象屬性更新消息的處理，以使得在經(jīng)確定的時(shí)段中經(jīng)處理的消息的數(shù)量小于接收路徑速率數(shù)量。

根據(jù)權(quán)利要求所述的用戶設(shè)備，包括連接狀態(tài)實(shí)體，所述連接狀態(tài)實(shí)體被配置為確定接收路徑速率數(shù)量并且生成針對(duì)所述對(duì)象屬性消息的發(fā)射機(jī)的反饋消息，其中，所述反饋消息被配置為控制另外的用戶設(shè)備消息傳遞實(shí)體在所述經(jīng)確定的時(shí)段中僅僅將所述發(fā)送路徑速率數(shù)量的對(duì)象屬性更新消息選擇并輸出至所述用戶設(shè)備。

所述消息傳遞實(shí)體可以被配置為：確定與所述至少一個(gè)對(duì)象相關(guān)聯(lián)的消息的對(duì)象標(biāo)識(shí)符值；并且確定標(biāo)識(shí)所述消息的順序的序號(hào)。

所述消息傳遞實(shí)體可以被配置為：確定所述接收路徑速率數(shù)量；在所述經(jīng)確定的時(shí)間段中在所述接收路徑內(nèi)選擇與所述至少一個(gè)對(duì)象相關(guān)聯(lián)的最新接收路徑速率數(shù)量的消息；并且在所述經(jīng)確定的時(shí)間段中在所述接收路徑內(nèi)刪除與所述至少一個(gè)對(duì)象相關(guān)聯(lián)的任何其他對(duì)象屬性消息。

所述消息傳遞實(shí)體可以被配置為選擇具有所述經(jīng)確定的對(duì)象標(biāo)識(shí)符值的以所述最新接收路徑速率數(shù)量為序號(hào)的消息。

所述消息傳遞實(shí)體可以被配置為刪除具有所述經(jīng)確定的對(duì)象標(biāo)識(shí)符值的任何有序號(hào)的消息，而不是刪除具有所述經(jīng)確定的對(duì)象標(biāo)識(shí)符值的、以所述最新接收路徑速率數(shù)量為序號(hào)的消息。

提供了一種在通信架構(gòu)內(nèi)的用戶設(shè)備處實(shí)現(xiàn)的方法，所述方法包括：確定針對(duì)共享場(chǎng)景的至少一個(gè)對(duì)象，所述對(duì)象與至少一個(gè)可變屬性相關(guān)聯(lián)；確定與所述對(duì)象相關(guān)聯(lián)的至少一個(gè)可變屬性中的至少一個(gè)可變屬性的改變；生成針對(duì)所述至少一個(gè)對(duì)象的對(duì)象屬性更新消息；控制所述對(duì)象屬性更新消息的輸出以使得在經(jīng)確定的時(shí)段中消息輸出的數(shù)量小于發(fā)送路徑速率數(shù)量。

所述方法還可以包括從來自所述對(duì)象屬性消息的接收機(jī)的反饋消息來確定所述發(fā)送路徑速率數(shù)量，其中，控制所述對(duì)象屬性更新消息的輸出包括在所述經(jīng)確定的時(shí)段中在所述發(fā)送路徑內(nèi)僅僅將所述發(fā)送路徑速率數(shù)量的對(duì)象屬性更新消息選擇并輸出至所述對(duì)象屬性消息的所述接收機(jī)。

控制所述對(duì)象屬性更新消息的輸出以使得在經(jīng)確定的時(shí)段中所述消息輸出的數(shù)量小于閾值數(shù)量可以包括：確定所述發(fā)送路徑速率數(shù)量；在所述經(jīng)確定的時(shí)間段中在所述發(fā)送路徑內(nèi)選擇與所述至少一個(gè)對(duì)象相關(guān)聯(lián)的最新發(fā)送路徑速率數(shù)量的消息；并且在所述經(jīng)確定的時(shí)間段中在所述發(fā)送路徑內(nèi)刪除與所述至少一個(gè)對(duì)象相關(guān)聯(lián)的任何其他對(duì)象屬性消息。

生成針對(duì)所述至少一個(gè)對(duì)象的對(duì)象屬性更新消息可以包括：將對(duì)象標(biāo)識(shí)符值同與所述至少一個(gè)對(duì)象相關(guān)聯(lián)的消息相關(guān)聯(lián)；并且關(guān)聯(lián)標(biāo)識(shí)所述消息的順序的序號(hào)。

在所述經(jīng)確定的時(shí)段中在所述發(fā)送路徑內(nèi)選擇與所述至少一個(gè)對(duì)象相關(guān)聯(lián)的所述最新發(fā)送路徑速率數(shù)量的消息可以包括選擇具有所述經(jīng)確定的對(duì)象標(biāo)識(shí)符值的、以所述最新發(fā)送路徑速率數(shù)量為序號(hào)的消息。

在所述經(jīng)確定的時(shí)段中在所述發(fā)送路徑內(nèi)刪除與所述至少一個(gè)對(duì)象相關(guān)聯(lián)的任何其他對(duì)象屬性消息可以包括刪除具有所述經(jīng)確定的對(duì)象標(biāo)識(shí)符值的任何有序號(hào)的消息，而不是具有所述經(jīng)確定的對(duì)象標(biāo)識(shí)符值的、以所述最新發(fā)送路徑速率數(shù)量為序號(hào)的消息。

確定與所述對(duì)象相關(guān)聯(lián)的至少一個(gè)可變屬性中的至少一個(gè)可變屬性的改變可以包括確定用于與所述至少一個(gè)對(duì)象進(jìn)行交互的用戶接口輸入設(shè)備。

提供了一種在通信架構(gòu)內(nèi)的用戶設(shè)備處實(shí)現(xiàn)的方法，所述方法包括：接收針對(duì)共享場(chǎng)景的至少一個(gè)對(duì)象的至少一個(gè)對(duì)象屬性更新消息，其中，所述至少一個(gè)屬性更新消息同與所述對(duì)象相關(guān)聯(lián)的可變屬性中的至少一個(gè)可變屬性的改變相關(guān)聯(lián)；控制對(duì)所述至少一個(gè)對(duì)象屬性更新消息的處理，以使得在經(jīng)確定的時(shí)段中經(jīng)處理的消息的數(shù)量小于接收路徑速率數(shù)量。

所述方法還可以包括：確定接收路徑速率數(shù)量；并且生成針對(duì)所述對(duì)象屬性消息的發(fā)射機(jī)的反饋消息，其中所述反饋消息被配置為控制另外的用戶設(shè)備消息傳遞實(shí)體在所述經(jīng)確定的時(shí)段中僅僅將所述發(fā)送路徑速率數(shù)量的對(duì)象屬性更新消息選擇并輸出至所述用戶設(shè)備。

在至少一個(gè)對(duì)象屬性更新消息處接收針對(duì)所述共享場(chǎng)景的至少一個(gè)對(duì)象可以包括：確定對(duì)象標(biāo)識(shí)符值以及與所述至少一個(gè)對(duì)象相關(guān)聯(lián)的消息；并且確定標(biāo)識(shí)所述消息的順序的序號(hào)。

控制對(duì)至少一個(gè)對(duì)象屬性更新消息的處理可以包括：確定所述接收路徑速率數(shù)量；在所述經(jīng)確定的時(shí)間段中在所述接收路徑內(nèi)選擇與所述至少一個(gè)對(duì)象相關(guān)聯(lián)的最新接收路徑速率數(shù)量的消息；并且在所述經(jīng)確定的時(shí)間段中在所述接收路徑內(nèi)刪除與所述至少一個(gè)對(duì)象相關(guān)聯(lián)的任何其他對(duì)象屬性消息。

在所述經(jīng)確定的時(shí)段中在所述接收路徑內(nèi)選擇與所述至少一個(gè)對(duì)象相關(guān)聯(lián)的所述最新接收路徑速率數(shù)量的消息可以包括選擇具有所述經(jīng)確定的對(duì)象標(biāo)識(shí)符值的、以所述最新接收路徑速率數(shù)量為序號(hào)的消息。

在所述經(jīng)確定的時(shí)段中在所述接收路徑內(nèi)刪除與所述至少一個(gè)對(duì)象相關(guān)聯(lián)的任何其他對(duì)象屬性消息可以包括刪除具有所述經(jīng)確定的對(duì)象標(biāo)識(shí)符值的任何有序號(hào)的消息，而不是具有所述經(jīng)確定的對(duì)象標(biāo)識(shí)符值的、以所述最新接收路徑速率數(shù)量為序號(hào)的消息。

還提供了一種計(jì)算機(jī)程序產(chǎn)品，所述計(jì)算機(jī)程序產(chǎn)品在非瞬時(shí)性計(jì)算機(jī)可讀介質(zhì)上被實(shí)施，并且被配置為當(dāng)在通信架構(gòu)內(nèi)的用戶設(shè)備的處理器上被執(zhí)行時(shí)，執(zhí)行以下操作：確定針對(duì)共享場(chǎng)景的至少一個(gè)對(duì)象，所述對(duì)象與至少一個(gè)可變屬性相關(guān)聯(lián)；確定與所述對(duì)象相關(guān)聯(lián)的至少一個(gè)可變屬性中的至少一個(gè)可變屬性的改變；生成針對(duì)所述至少一個(gè)對(duì)象的對(duì)象屬性更新消息；控制所述對(duì)象屬性更新消息的輸出以使得在經(jīng)確定的時(shí)段中消息輸出的數(shù)量小于發(fā)送路徑速率數(shù)量。

還提供了一種計(jì)算機(jī)程序產(chǎn)品，所述計(jì)算機(jī)程序產(chǎn)品在非瞬時(shí)性計(jì)算機(jī)可讀介質(zhì)上被實(shí)施，并且被配置為當(dāng)在通信架構(gòu)內(nèi)的用戶設(shè)備的處理器上被執(zhí)行時(shí)，執(zhí)行以下操作：接收針對(duì)所述共享場(chǎng)景的至少一個(gè)對(duì)象的至少一個(gè)對(duì)象屬性更新消息，其中，所述至少一個(gè)對(duì)象屬性更新消息同與所述對(duì)象相關(guān)聯(lián)的可變屬性中的至少一個(gè)可變屬性的改變相關(guān)聯(lián)；控制對(duì)所述至少一個(gè)對(duì)象屬性更新消息的處理，以使得在經(jīng)確定的時(shí)段中經(jīng)處理的消息的數(shù)量小于接收路徑速率數(shù)量。

盡管已經(jīng)用特定于結(jié)構(gòu)特征和/或方法動(dòng)作的語(yǔ)言對(duì)主題進(jìn)行了描述，但是應(yīng)當(dāng)理解的是，在所附權(quán)利要求中限定的主題不一定限于在上文本中所描述的具體特征或動(dòng)作。相反，在上文中所描述的具體特征和動(dòng)作是作為實(shí)現(xiàn)權(quán)利要求的示例形式而公開的。