背景技術(shù)：

基于分組的通信系統(tǒng)允許設(shè)備的用戶(例如，個(gè)人計(jì)算機(jī))使用分組協(xié)議(例如，因特網(wǎng)協(xié)議(ip))通過計(jì)算機(jī)網(wǎng)絡(luò)進(jìn)行通信?；诜纸M的通信系統(tǒng)可以用于各種類型的通信事件?？梢越⒌耐ㄐ攀录ㄕZ音通話、視頻通話、即時(shí)消息傳送、語音郵件、文件傳輸和其他。這些系統(tǒng)對(duì)用戶是有益的，因?yàn)樗鼈兺ǔ１裙潭ň€路或移動(dòng)網(wǎng)絡(luò)具有顯著降較低的成本。遠(yuǎn)距離通信的情況可能尤其如此。要使用基于分組的系統(tǒng)，用戶在其設(shè)備上安裝并執(zhí)行客戶端軟件?？蛻舳塑浖峁┗诜纸M的連接以及其他功能，如注冊和認(rèn)證。

通信系統(tǒng)允許設(shè)備的用戶通過諸如因特網(wǎng)的計(jì)算機(jī)網(wǎng)絡(luò)進(jìn)行通信。可以建立的通信事件包括語音通話、視頻通話、即時(shí)消息傳送、語音郵件、文件傳輸和其他。利用視頻通話，呼叫者可以觀看視頻圖像。

已知通信客戶端應(yīng)用提供使用戶能夠通過添加二維剪貼畫效果來修改在用戶的設(shè)備處捕獲的視頻的功能。

技術(shù)實(shí)現(xiàn)要素：

本公開的實(shí)施例涉及在例如視頻通話期間注釋所顯示的視頻幀。

發(fā)明人已經(jīng)認(rèn)識(shí)到，當(dāng)視頻幀被用戶注釋時(shí)，該用戶將不知道在視頻通話的另一端正在發(fā)生什么。例如，如果一個(gè)用戶在注釋圖像的另一個(gè)用戶的幫助下遠(yuǎn)程地執(zhí)行手術(shù)，則注釋用戶將不知道正在進(jìn)行手術(shù)的用戶正在做什么或該用戶正在看什么。

一些實(shí)施例可以提供用于查看實(shí)況視頻流的設(shè)備和方法，而所述實(shí)況視頻流針對(duì)注釋暫停。

提供本發(fā)明內(nèi)容以便以簡化的形式來引入在下面的具體實(shí)施方式中進(jìn)一步描述的概念的選擇。本發(fā)明內(nèi)容不是要識(shí)別所要求保護(hù)的主題的關(guān)鍵特征或主要特征，也不是要用于限定所要求保護(hù)的主題的范圍。所要求保護(hù)的主題也不限于解決所提到的缺點(diǎn)中的任何或所有缺點(diǎn)的實(shí)現(xiàn)方式。

根據(jù)本公開的第一方面，提供了一種在用戶設(shè)備處實(shí)現(xiàn)的方法，所述方法包括：顯示通過通信網(wǎng)絡(luò)從另外的用戶設(shè)備接收的視頻數(shù)據(jù)的流的視頻幀；當(dāng)接收的視頻幀正被顯示時(shí)，檢測經(jīng)由所述用戶設(shè)備的用戶界面的對(duì)暫停選項(xiàng)的選擇以暫停所述接收的視頻幀；響應(yīng)于所述檢測，顯示暫停的接收的視頻幀和所述視頻數(shù)據(jù)的流的接收的視頻幀；經(jīng)由所述用戶界面接收至少一個(gè)注釋輸入，所述至少一個(gè)注釋輸入定義將被應(yīng)用于所述暫停的接收的視頻幀的對(duì)象的至少一個(gè)注釋；以及使得關(guān)于所述至少注釋的信息被發(fā)送到所述另外的用戶設(shè)備。

根據(jù)本公開的另一方面，提供了一種用戶設(shè)備，包括：顯示器；用戶界面；網(wǎng)絡(luò)接口，其被配置為經(jīng)由通信網(wǎng)絡(luò)在所述用戶設(shè)備處從另一用戶設(shè)備接收視頻數(shù)據(jù)流，所述顯示器被配置為顯示所述視頻數(shù)據(jù)流；以及至少一個(gè)處理器被配置為：檢測經(jīng)由所述用戶界面的交互以暫停所述視頻流并且顯示所述視頻流的暫停的視頻幀，以及還顯示所述視頻數(shù)據(jù)流；檢測經(jīng)由所述用戶界面將至少一個(gè)注釋應(yīng)用到所述暫停的視頻幀；使得所述暫停的視頻幀和所述至少注釋與所述視頻數(shù)據(jù)流一起由所述顯示器來顯示；以及使得關(guān)于所述至少注釋的信息經(jīng)由所述網(wǎng)絡(luò)接口被發(fā)送到所述另一用戶設(shè)備。

根據(jù)本公開的另一方面，提供了一種計(jì)算機(jī)程序產(chǎn)品，該計(jì)算機(jī)程序產(chǎn)品被包含在非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)或計(jì)算機(jī)程序產(chǎn)品上，并被配置為當(dāng)在用戶設(shè)備與至少一個(gè)另外的用戶設(shè)備之間的視頻通話期間在用戶設(shè)備的處理器上執(zhí)行時(shí)來執(zhí)行本文描述的方法中的任何一個(gè)。

附圖說明

為了更好地理解本公開內(nèi)容并且示出如何可以實(shí)施本公開，現(xiàn)在將通過舉例的方式參考以下附圖，其中：

圖1示出了通信系統(tǒng)的示意圖；

圖2示出了用戶設(shè)備的示意圖；

圖3示出了作為可穿戴式頭戴式耳機(jī)的用戶設(shè)備的示意圖；

圖4a至圖4d示意性地示出了當(dāng)圖像被注釋時(shí)的用戶設(shè)備的顯示；

圖5示出了在圖像被注釋的用戶設(shè)備處執(zhí)行的處理的流程圖；

圖6示出了作為正被注釋的圖像的源的用戶設(shè)備處的處理的步驟的流程圖；

圖7a和圖7b示出了用于組合的視頻和表面再現(xiàn)sr數(shù)據(jù)的示例發(fā)射機(jī)和接收機(jī)流水線的示意圖；

圖8示出了幀修改應(yīng)用與在用戶設(shè)備上執(zhí)行的通信客戶端應(yīng)用之間的通信；以及

圖9示出了二維紋理映射。

具體實(shí)施方式

僅通過示例來描述本公開的實(shí)施例。

圖1示出了通信系統(tǒng)100，其包括與用戶終端或設(shè)備102相關(guān)聯(lián)的第一用戶104(用戶a)，以及與第二用戶終端或設(shè)備108相關(guān)聯(lián)的第二用戶110(用戶b)。用戶設(shè)備102和108可以通過通信網(wǎng)絡(luò)106在通信系統(tǒng)100中進(jìn)行通信，從而允許用戶104和110通過通信網(wǎng)絡(luò)106彼此通信。通信網(wǎng)絡(luò)106可以是具有在第一用戶設(shè)備102和第二用戶設(shè)備108之間提供通信信道的能力的任何適合的網(wǎng)絡(luò)。例如，通信網(wǎng)絡(luò)106可以是因特網(wǎng)或另一類型的網(wǎng)絡(luò)，諸如高數(shù)據(jù)速率蜂窩或移動(dòng)網(wǎng)絡(luò)(例如，第三代(“3g”)移動(dòng)網(wǎng)絡(luò))。

注意，在替代實(shí)施例中，用戶設(shè)備可以經(jīng)由圖1中未示出的附加中間網(wǎng)絡(luò)連接到通信網(wǎng)絡(luò)106。例如，如果用戶設(shè)備102是移動(dòng)設(shè)備，則它可以經(jīng)由蜂窩或移動(dòng)網(wǎng)絡(luò)(圖1中未示出)連接到通信網(wǎng)絡(luò)106，所述蜂窩或移動(dòng)網(wǎng)絡(luò)例如gsm、umts、4g等網(wǎng)絡(luò)。

用戶設(shè)備102和104可以是任何適合的設(shè)備，并且可以例如是移動(dòng)電話、個(gè)人數(shù)字助理(“pda”)、個(gè)人計(jì)算機(jī)(“pc”)(包括，例如，windows^tm、macos^tm和linux^tmpc)、平板計(jì)算機(jī)、游戲設(shè)備、可穿戴設(shè)備或能夠連接到通信網(wǎng)絡(luò)106的其他嵌入式設(shè)備。可穿戴設(shè)備可以包括可穿戴式頭戴式耳機(jī)。

可以理解的是，用戶設(shè)備中的一個(gè)或多個(gè)可以由單個(gè)設(shè)備提供。用戶設(shè)備中的一個(gè)或多個(gè)可以由兩個(gè)或更多個(gè)設(shè)備提供，所述兩個(gè)或更多個(gè)設(shè)備協(xié)作以提供用戶設(shè)備或終端。

在一些實(shí)施例中，呼叫中的至少兩個(gè)用戶設(shè)備可以是相同類型的設(shè)備或不同類型的設(shè)備。

用戶設(shè)備102被布置為從用戶a104接收信息以及向用戶a104輸出信息。

用戶設(shè)備102執(zhí)行由與通信系統(tǒng)100相關(guān)聯(lián)的軟件提供商提供的通信客戶端應(yīng)用112。通信客戶端應(yīng)用112是在用戶設(shè)備102中的本地處理器上執(zhí)行的軟件程序。通信客戶端應(yīng)用112在用戶設(shè)備102處執(zhí)行處理，以便用戶設(shè)備102通過通信系統(tǒng)100發(fā)送和接收數(shù)據(jù)。在用戶設(shè)備102處執(zhí)行的通信客戶端應(yīng)用112可以被認(rèn)證以通過數(shù)字證書的呈現(xiàn)在通信系統(tǒng)上進(jìn)行通信(例如，以證明用戶104是通信系統(tǒng)的真實(shí)訂戶，這在wo2005/009019中更詳細(xì)地描述)。

第二用戶設(shè)備108可以與用戶設(shè)備102相同或不同。第二用戶設(shè)備108在本地處理器上執(zhí)行與在用戶設(shè)備102處執(zhí)行的通信客戶端應(yīng)用112相對(duì)應(yīng)的通信客戶端應(yīng)用114。第二用戶設(shè)備108處的通信客戶端應(yīng)用114執(zhí)行處理以允許用戶b110通過網(wǎng)絡(luò)106進(jìn)行通信，其方式與第一用戶設(shè)備102處的通信客戶端應(yīng)用112執(zhí)行處理而允許用戶a104通過網(wǎng)絡(luò)106進(jìn)行通信相同。用戶設(shè)備102和108是通信系統(tǒng)中的端點(diǎn)。

為了清楚，圖1僅示出了兩個(gè)用戶(104和110)和兩個(gè)用戶設(shè)備(102和108)，但是在通信系統(tǒng)100中可以包括更多的用戶和用戶設(shè)備，并且可以使用在相應(yīng)用戶設(shè)備上執(zhí)行的相應(yīng)通信客戶端通過通信系統(tǒng)100進(jìn)行通信，如本領(lǐng)域已知的。

在一些實(shí)施例中，視頻通話發(fā)生在至少兩個(gè)用戶之間。然而，可以理解的是，其他實(shí)施例可能沒有建立視頻通話。

在一些實(shí)施例中，來自另一用戶設(shè)備的視頻流由一個(gè)用戶設(shè)備接收。另一用戶設(shè)備準(zhǔn)許視頻流的至少一個(gè)視頻圖像的注釋，并且向能夠查看注釋的一個(gè)用戶設(shè)備發(fā)送信息。信息可以包括注釋的圖像本身或允許在一個(gè)用戶設(shè)備上重新創(chuàng)建注釋的圖像的信息。

圖2示出了在其上執(zhí)行通信客戶端應(yīng)用以通過通信系統(tǒng)100進(jìn)行通信的用戶設(shè)備102的示意圖?？梢岳斫獾氖牵渌脩粼O(shè)備108可以是相同的或具有至少所示的模塊中的一些。在一些實(shí)施例中，圖2所示的用戶設(shè)備102的部件中的一個(gè)或多個(gè)可以是可選的。如前所述，一些實(shí)施例的用戶設(shè)備可以是單個(gè)設(shè)備，或者可以由共同提供用戶設(shè)備功能的多個(gè)設(shè)備所提供。

用戶設(shè)備102包括中央處理單元(“cpu”)202，該cpu被連接到諸如屏幕或觸摸屏、虛擬顯示器等的顯示器204、諸如用戶界面206的輸入設(shè)備(例如，小鍵盤)、攝像機(jī)208和觸摸屏204。在一些實(shí)施例中，顯示器可替代地由被配置為將圖像投影到表面上的投影模塊來提供。

在一些實(shí)施例中，用戶界面206可以是小鍵盤、鍵盤、鼠標(biāo)、定向設(shè)備、觸摸板或類似物等。然而，用戶界面206可以是任何適合的用戶界面輸入設(shè)備，例如姿勢或運(yùn)動(dòng)控制用戶輸入、頭部跟蹤或眼部跟蹤用戶輸入。此外，在一些實(shí)施例中，用戶界面206可以是被配置為確定用戶到顯示器204的接近度的“觸碰”或“接近”檢測輸入。因此，在一些實(shí)施例中，用戶界面可以由觸摸屏提供。

在下面描述的實(shí)施例中，攝像機(jī)208可以是集成到用戶設(shè)備102中的或者經(jīng)由有線或無線連接耦合到用戶設(shè)備的常規(guī)網(wǎng)絡(luò)攝像機(jī)?？商娲?，攝像機(jī)208可以是深度感知攝像機(jī)，例如飛行時(shí)間或結(jié)構(gòu)光攝像機(jī)。攝像機(jī)208可以包括多個(gè)圖像捕獲元件。圖像捕獲元件可以位于不同的位置或者用不同的點(diǎn)或視圖所指向，使得來自圖像捕獲元件的每個(gè)中的圖像可以被處理或組合。例如，可以比較圖像捕獲元件圖像，以便基于視差錯(cuò)誤來確定距圖像的深度或物距。此外，在一些示例中，圖像可以被組合以產(chǎn)生具有比來自單個(gè)圖像捕獲元件圖像的可能更大的分辨率或更大的視角的圖像。在一些實(shí)施例中，攝像機(jī)可以由多個(gè)攝像機(jī)提供。

在一些實(shí)施例中，可以提供一個(gè)或多個(gè)攝像機(jī)來跟蹤用戶的眼部的移動(dòng)。一個(gè)或多個(gè)攝像機(jī)可以是專用攝像機(jī)，或者也可以提供場景視圖。在一些實(shí)施例中，眼部跟蹤攝像機(jī)向算法提供輸入以控制提供給另一用戶的視頻流。例如，提供給另一用戶的視頻流可以具有當(dāng)前設(shè)備的用戶當(dāng)前正在查看的場景的一部分。例如在用戶設(shè)備是頭戴式耳機(jī)或頭戴式設(shè)備的形式的情況下，情況可能如此。

輸出音頻設(shè)備210(例如，揚(yáng)聲器、多個(gè)揚(yáng)聲器、頭戴式耳機(jī)、耳機(jī)和/或類似物)和輸入音頻設(shè)備212(例如，麥克風(fēng)或多個(gè)麥克風(fēng))連接到cpu202。顯示器204、用戶界面206、攝像機(jī)208、輸出音頻設(shè)備210和輸入音頻設(shè)備212可以集成到用戶設(shè)備102中，如圖2所示。在替代的用戶設(shè)備中，顯示器204、用戶界面206、攝像機(jī)208、輸出音頻設(shè)備210和輸入音頻設(shè)備212中的一個(gè)或多個(gè)可以不被集成到用戶設(shè)備102中，并且可以經(jīng)由相應(yīng)的接口連接到cpu202。這種接口的一個(gè)示例是usb(通用串行總線)接口。

cpu202連接到網(wǎng)絡(luò)接口224(例如，調(diào)制解調(diào)器)，以用于與通信網(wǎng)絡(luò)106進(jìn)行通信。網(wǎng)絡(luò)接口224可以集成到用戶設(shè)備102中，如圖2所示。在可替代的用戶設(shè)備中，網(wǎng)絡(luò)接口224未被集成到用戶設(shè)備102中。

如本領(lǐng)域已知的，用戶設(shè)備102還包括用于存儲(chǔ)數(shù)據(jù)的一個(gè)或多個(gè)存儲(chǔ)器226。存儲(chǔ)器226可以是諸如rom的永久存儲(chǔ)器?？蛇x地或附加地，存儲(chǔ)器226可以包括諸如ram的暫時(shí)性存儲(chǔ)器。

用戶設(shè)備102安裝有通信客戶端應(yīng)用112，其中通信客戶端應(yīng)用112存儲(chǔ)在存儲(chǔ)器226中并且被布置用于在cpu202上執(zhí)行。圖2還示出了在cpu202上執(zhí)行的操作系統(tǒng)(“os”)214。在os214之上運(yùn)行的是用于上述通信客戶端應(yīng)用112的軟件棧216。軟件棧示出了i/o層218、客戶端引擎層220和客戶端用戶界面層(“ui”)222。每層負(fù)責(zé)特定功能。因?yàn)槊繉油ǔＥc兩個(gè)其他層進(jìn)行通信，所以它們被認(rèn)為是被布置成棧的，如圖2所示。操作系統(tǒng)214管理計(jì)算機(jī)的硬件資源并且處理經(jīng)由網(wǎng)絡(luò)接口224向通信網(wǎng)絡(luò)106發(fā)送的和從通信網(wǎng)絡(luò)106發(fā)送的數(shù)據(jù)。i/o層218包括音頻和/或視頻編解碼器，其接收輸入的編碼的流并對(duì)它們進(jìn)行解碼，以便適當(dāng)?shù)剌敵龅綋P(yáng)聲器210和/或顯示器204，并且其從麥克風(fēng)212和/或攝像機(jī)208接收未編碼的音頻和/或視頻數(shù)據(jù)，并且對(duì)該數(shù)據(jù)進(jìn)行編碼以作為流發(fā)送到通信系統(tǒng)100的其他最終用戶設(shè)備?？蛻舳艘鎸?20處理如上所述的voip系統(tǒng)的連接管理功能，例如，通過基于服務(wù)器或p2p(對(duì)等)地址查找和認(rèn)證來建立通話或其他連接?？蛻舳艘嬉部梢载?fù)責(zé)本文中未討論的其他次要功能?？蛻舳艘?20與客戶端用戶界面層222進(jìn)行通信?？蛻舳艘?20可以被布置為控制客戶端用戶界面層222以經(jīng)由顯示在顯示器204上的通信客戶端應(yīng)用112的用戶界面向用戶設(shè)備102的用戶呈現(xiàn)信息，并且經(jīng)由用戶界面從用戶設(shè)備102的用戶接收信息。

在os214之上運(yùn)行的可以是另外的應(yīng)用230a和230b。下面參考另外的應(yīng)用230a和230b以及作為單獨(dú)的應(yīng)用的通信客戶端應(yīng)用112來描述實(shí)施例，然而可以將另外的應(yīng)用230a和230b的功能并入到通信客戶端應(yīng)用112中。

在圖3所示的一個(gè)實(shí)施例中，用戶設(shè)備102是頭戴式耳機(jī)或頭戴式用戶設(shè)備的形式。頭戴式用戶設(shè)備包括框架302，該框架302具有想要適合于穿戴者的鼻梁上的中央部分304以及想要適合于用戶的耳朵上的左右支撐延伸部306、308。雖然支撐延伸部306、308基本上被示出為是直的，但是它們可以以彎曲的部分終止，以常規(guī)眼鏡的方式更舒適地適合于耳朵上。

框架302支持標(biāo)記為310l和310r的左光學(xué)組件和右光學(xué)組件，該光學(xué)組件可以是例如由玻璃或聚合物形成的波導(dǎo)。

中央部分304可以容納cpu303、存儲(chǔ)器328和網(wǎng)絡(luò)接口324，如圖2所述。此外，框架302可容納微型顯示器形式的光引擎和形式為凸透鏡和準(zhǔn)直透鏡的成像光學(xué)器件。在一些實(shí)施例中，光引擎可以包括另外的處理器，或者采用cpu303來生成用于微型顯示器的圖像。微型顯示器可以是任何類型的圖像源的光，例如液晶顯示器(lcd)、背光lcd、led矩陣陣列(無論是有組織的還是無組織的)和任何其他適合的顯示器。顯示器可以由激活顯示器的各個(gè)像素的電路來驅(qū)動(dòng)以生成圖像。來自每個(gè)顯示器的基本準(zhǔn)直的光通過在每個(gè)組件上提供的相應(yīng)的耦合接入?yún)^(qū)312l、312r輸出或耦合到每個(gè)光學(xué)組件310l、310r。然后，耦合接入的光可以通過涉及在相應(yīng)的中間(折疊)區(qū)域314l、314r中的光學(xué)組件的橫向的衍射和tir(全內(nèi)反射)的機(jī)制被引導(dǎo)，并且還向下進(jìn)入相應(yīng)的出射區(qū)域316l、316r，在出射區(qū)域316l、316r中耦合接入的光向用戶的眼睛出射。

光學(xué)組件310可以基本上是透明的，使得用戶不僅可以查看來自光引擎的圖像，而且還可以通過光學(xué)組件查看真實(shí)世界視圖。

光學(xué)組件可以具有折射率n，其使得完全內(nèi)部反射發(fā)生以沿著中間擴(kuò)展區(qū)域314引導(dǎo)來自光引擎的光束，并向下朝向出射區(qū)域316。

頭戴式耳機(jī)或頭戴式設(shè)備形式的用戶設(shè)備102還可以包括被配置為捕獲佩戴頭戴式耳機(jī)的用戶的視場的至少一個(gè)攝像機(jī)。例如，圖3所示的頭戴式耳機(jī)包括立體攝像機(jī)318l和318r，立體攝像機(jī)318l和318r被配置為分別從用戶的左眼和右眼捕獲近似視圖(或視場)。在一些實(shí)施例中，一個(gè)攝像機(jī)可以被配置為捕獲適合的視頻圖像，并且另外的攝像機(jī)或范圍感測傳感器被配置為捕獲或確定從用戶到用戶的環(huán)境中的對(duì)象的距離。

類似地，頭戴式耳機(jī)形式的用戶設(shè)備102可以包括安裝在頭戴式耳機(jī)的框架306上的多個(gè)麥克風(fēng)。圖3所示的示例分別示出了位于支撐延伸部或臂306和308的“前”端處的左麥克風(fēng)322l和右麥克風(fēng)322r。支撐延伸部或臂306和308還可以包括“左”和“右”通道揚(yáng)聲器、耳機(jī)或其他音頻輸出換能器。例如，圖3所示的頭戴式耳機(jī)包括用作左和右聲道輸出揚(yáng)聲器的一對(duì)骨傳導(dǎo)音頻換能器320l和320r。

參考圖4a至圖4d，其示出了在接收設(shè)備處顯示的圖像的示例。所有附圖示出了在顯示器204上顯示的圖像，該示例顯示器在本示例中是觸摸屏。

在圖4a中，視頻流已被暫停，并且視頻流被顯示在顯示器的角落區(qū)域中。這被標(biāo)記為8。區(qū)域8因此繼續(xù)顯示接收的視頻流，但是現(xiàn)在以更小的尺寸顯示視頻流。在一些實(shí)施例中，所顯示的視頻流看起來覆在暫停的視頻圖像上。暫停的圖像具有接收流的設(shè)備的用戶想要注釋的區(qū)域2。可以控制顯示器以顯示控制器6。在所示的示例中，控制器可以是具有在中央?yún)^(qū)域周圍顯示的不同選項(xiàng)的徑向菜單。中央?yún)^(qū)域可以包含取消暫停選項(xiàng)?？梢岳斫獾氖?，在其他實(shí)施例中，控制器可以采取任何其他適合的格式。在一些實(shí)施例中，控制器可以在顯示器的不同區(qū)域上顯示給通話控制器。在其他實(shí)施例中，控制器可以與通話控制器一起被顯示或合并通話控制器。

在一些實(shí)施例中，取消暫停選項(xiàng)使得暫停的圖像不再顯示?？梢燥@示實(shí)況視頻流。該實(shí)況視頻流可以是全屏顯示的。實(shí)況視頻流可以是實(shí)時(shí)的。

控制器可以具有繪圖工具，其中一些實(shí)施例可以是默認(rèn)選擇。

在一些實(shí)施例中，3d網(wǎng)格過渡可以指示繪圖體驗(yàn)是空間的并且針對(duì)可以在其上被繪制的表面提供可見性。

在一些實(shí)施例中，視頻流與網(wǎng)格信息一起從源設(shè)備被接收。

在圖4b中，已經(jīng)選擇了繪圖工具。在一些實(shí)施例中，可以顯示圖標(biāo)12以指示已經(jīng)選擇了繪圖工具。然后，用戶可以注釋暫停的圖像的任何部分。在該示例中，用戶希望如上所述地注釋區(qū)域2。在該示例中，繪制了線10。可以理解的是，在一些實(shí)施例中，用戶可以直接在屏幕上進(jìn)行繪制以開始3d注釋。線可以放置在發(fā)射機(jī)設(shè)備處顯示的混合現(xiàn)實(shí)場景的3d表面上。

播放圖標(biāo)11(其將取消暫停圖像)可以顯示在預(yù)覽pip(畫中畫)之上，即在所顯示的視頻圖像流上。在一些實(shí)施例中，播放圖標(biāo)11可以在給定的時(shí)間量之后不被顯示。在一些實(shí)施例中，播放圖標(biāo)可以漸弱。當(dāng)用戶停止與屏幕交互時(shí)，播放圖標(biāo)可以被再次顯示。在一些實(shí)施例中，播放圖標(biāo)可以漸顯。在一些實(shí)施例中，播放圖標(biāo)可以是可選的。

在一些實(shí)施例中，在顯示器的角落中選擇實(shí)況流窗口將恢復(fù)在顯示器的全屏幕上播放視頻。在一些實(shí)施例中，這可以取消暫停所暫停的圖像?？梢杂谢蛘咭部梢詻]有圖標(biāo)來促進(jìn)這種行為。

可以理解的是，當(dāng)用戶觸摸屏幕并創(chuàng)建注釋時(shí)，控制器6由選擇的選項(xiàng)(例如，繪圖工具)來替代?？梢岳斫獾氖牵谝恍?shí)施例中，當(dāng)用戶觸摸屏幕并創(chuàng)建注釋時(shí)，繪圖工具切換到橡皮擦工具。

可以理解的是，注釋信息可以被提供給源設(shè)備，使得源設(shè)備的用戶將會(huì)看到注釋。在一些實(shí)施例中，來自源設(shè)備的視頻流包括注釋。由于來自源設(shè)備的視頻流包括注釋，所以與暫停的圖像同時(shí)被顯示在屏幕上的實(shí)況視頻流也將顯示注釋。

在其他實(shí)施例中，應(yīng)用于圖像的注釋可以在接收機(jī)設(shè)備中本地被構(gòu)造并且被添加到視頻流中，或者由在源用戶設(shè)備和接收用戶設(shè)備之間的網(wǎng)絡(luò)中所提供的服務(wù)器設(shè)備添加。

因此，可以在暫停的圖像上和實(shí)況視頻流中看到注釋。

可以理解的是，顯示的視頻流可以由用戶正在查看源設(shè)備的方向來控制。如果可穿戴的源設(shè)備佩戴在頭上，則視頻流可以取決于源設(shè)備被指向的方向。

在替代實(shí)施例中，顯示的視頻流可以由可選的眼部跟蹤算法控制，使得在源處的用戶正在觀看的圖像被顯示在接收機(jī)處。

如圖4c所示，用戶已經(jīng)移動(dòng)了繪圖圖標(biāo)12。

如圖4d所示，用戶已經(jīng)與繪圖圖標(biāo)進(jìn)行了交互，以使控制器6再次顯示有多個(gè)菜單選項(xiàng)。用戶可以以任何適合的方式與繪圖圖標(biāo)進(jìn)行交互，并且可以例如點(diǎn)擊、雙擊、按壓和/或按住繪圖圖標(biāo)。用戶可以選擇取消暫停的選項(xiàng)來恢復(fù)視頻流的實(shí)況視圖。在一些實(shí)施例中，提供了暫停選項(xiàng)，其被選擇時(shí)將在實(shí)況視圖和暫停選項(xiàng)之間切換。

參考圖5，圖5示出了當(dāng)在第一用戶設(shè)備和第二用戶設(shè)備之間正在進(jìn)行通話時(shí)，在視頻流的接收機(jī)處執(zhí)行的方法的流程圖500。

該過程在s500開始，其中視頻流在第一用戶設(shè)備處被接收并顯示。在該示例中，視頻流是從第二用戶設(shè)備接收的。網(wǎng)格數(shù)據(jù)和/或其他sr數(shù)據(jù)可以與視頻流一起被提供。

在步驟s504，第一用戶設(shè)備的用戶與所顯示的圖像進(jìn)行交互以使視頻流被暫停。例如，如果視頻流正被顯示在觸摸屏上，則用戶可以通過簡單地點(diǎn)擊或觸碰觸摸屏來暫停視頻流。在一些設(shè)備中，用戶可以通過與用戶界面的適合的交互來暫停視頻流。

在步驟s506，顯示暫停的圖像。此外，視頻流將繼續(xù)被顯示。

在一些實(shí)施例中，暫停的圖像將是所顯示的兩個(gè)圖像中較大的圖像，并且視頻流可以是所顯示的圖像中較小的圖像。

視頻流可以覆蓋暫停的圖像的相對(duì)較小的一部分。

視頻流可以被布置在顯示器的外圍區(qū)域中。

在其他實(shí)施例中，暫停的圖像和視頻流可以以不同的相對(duì)大小來顯示。例如，在一些實(shí)施例中，顯示器的一半可以用于暫停的圖像，并且顯示器的一半可以用于視頻流。

可以理解的是，這僅作為示例，并且暫停的圖像和視頻流的相對(duì)大小可以將顯示區(qū)域的大小考慮在內(nèi)。例如，在平板計(jì)算機(jī)大小的設(shè)備上，可能是暫停的圖像比視頻流大得多。在桌上型類型的布置中，視頻流和暫停的圖像可能具有較大的區(qū)域。

在一些實(shí)施例中，可能的是暫停的圖像小于視頻流。

在一些實(shí)施例中，可以提供類似切換的機(jī)制，其中用戶可以在暫停的視圖和實(shí)況視頻流之間翻轉(zhuǎn)。在一些實(shí)施例中，可以一次只顯示暫停的視圖和實(shí)況視頻流中的一個(gè)，用戶能夠在暫停的視圖和實(shí)況視頻流之間切換或以其他方式進(jìn)行轉(zhuǎn)換。在其他實(shí)施例中，同時(shí)顯示暫停的視圖和實(shí)況視頻流兩者，并且用戶能夠在視圖之間進(jìn)行轉(zhuǎn)換或切換。例如，如果暫停的視圖是較大的視圖并且視頻流是較小的視圖，則用戶可以切換到其中暫停的視圖是較小的視圖且視頻流是較大的視圖的視圖，反之亦然。

在一些實(shí)施例中，用戶能夠選擇暫停的視圖和實(shí)況視頻流中的一個(gè)或多個(gè)的大小?？商娲鼗蚋郊拥?，用戶能夠選擇暫停的視圖和實(shí)況視頻流中的一個(gè)或多個(gè)的位置。這可以經(jīng)由用戶界面來完成。在由觸摸屏提供用戶界面的情況下，這可以由用戶移動(dòng)暫停的視圖和實(shí)況視頻流中的一個(gè)或多個(gè)和/或通過調(diào)整暫停的視圖和實(shí)況視頻流中的一個(gè)或多個(gè)來完成。

在步驟s508中，用戶能夠注釋或以其他方式修改暫停的圖像，并且當(dāng)用戶進(jìn)行這些注釋時(shí)，對(duì)暫停的視頻圖像進(jìn)行的注釋與暫停的圖像一起被顯示。如稍后將描述的，注釋可以采取任何適合的形式。注釋可以是文本、線、另一圖像等。

在步驟510中，注釋信息被發(fā)送到從其接收到視頻流的源設(shè)備。

在步驟s512中，進(jìn)行檢查以查看圖像是否仍然暫停?？商娲?，等待取消暫停事件，這將觸發(fā)步驟s514。用戶與用戶設(shè)備的任何適合的交互可以導(dǎo)致圖像被取消暫停。如果圖像仍然被暫停，則用戶能夠繼續(xù)對(duì)暫停的視頻圖像的注釋，如步驟s508所述的及其所示的。

在一些實(shí)施例中，其注釋或更新基本上被實(shí)時(shí)地發(fā)送到源設(shè)備。在其他實(shí)施例中，其注釋或更新可以在時(shí)間間隔處發(fā)送到源設(shè)備。在一些實(shí)施例中，在圖像被取消暫停之后，注釋可以僅發(fā)送回到源設(shè)備。

在一些實(shí)施例中，信息可以被發(fā)送到源設(shè)備，其將可以指示圖像在接收設(shè)備處仍然是暫停的。

如果圖像不再暫停，則當(dāng)照常顯示實(shí)況視頻流時(shí)下一個(gè)步驟是步驟s514。暫停的圖像可以不再顯示在接收機(jī)側(cè)。然而，可以理解的是，注釋的圖像可以繼續(xù)被顯示在發(fā)射機(jī)側(cè)，并且因此也可以被顯示在接收設(shè)備處接收的視頻流中。

在取消暫停之后，在一些實(shí)施例中，視頻流繼續(xù)被顯示，并且不從視頻流最初被暫停的時(shí)間恢復(fù)。顯示的視頻流可以基本上是實(shí)時(shí)的。

應(yīng)當(dāng)理解的是，應(yīng)用230a可以被配置為檢測用戶已經(jīng)暫停了視頻流。這可以響應(yīng)于來自用戶界面的輸入接收機(jī)。該應(yīng)用可以被配置為使得在視頻數(shù)據(jù)的流(在暫停之后繼續(xù)接收)也被顯示的同時(shí)，顯示暫停的圖像。應(yīng)用可以被配置為如前所述地控制視頻數(shù)據(jù)的流和暫停的圖像的相對(duì)大小。應(yīng)用230a可以被配置為響應(yīng)于檢測到用戶已經(jīng)取消暫停視頻流而控制視頻流大小以用于改變。

應(yīng)用可以被配置為執(zhí)行圖5的步驟中的一個(gè)或多個(gè)步驟和/或有助于執(zhí)行圖5的一個(gè)或多個(gè)步驟。

在一些實(shí)施例中，應(yīng)用可以至少在與至少一個(gè)存儲(chǔ)器結(jié)合的處理器上運(yùn)行的計(jì)算機(jī)程序或軟件來實(shí)現(xiàn)。

參考圖6，其示出了在發(fā)送視頻的設(shè)備處執(zhí)行的方法的流程圖。

在步驟s602中，發(fā)送視頻流。在一些實(shí)施例中，這將在整個(gè)通話中持續(xù)進(jìn)行。網(wǎng)格信息等可以與視頻流一起發(fā)送。

在步驟s604中，從視頻流的接收機(jī)接收指示圖像已被暫停的信息。該信息可以包括已被暫停的圖像或從其中可以確定哪個(gè)圖像已被暫停的信息。

在步驟s606中，從接收設(shè)備接收注釋信息。

在步驟s608中，顯示注釋。注釋被顯示疊加在相關(guān)聯(lián)的圖像上。

可以理解的是，在步驟s604中接收到暫停信息之后，可以任選地執(zhí)行步驟s610。在該步驟中，可以修改視頻流參數(shù)。例如，如果要在接收側(cè)顯示的視頻流是圖像視頻流的較小版本，則可以發(fā)送較低分辨率的流，例如以節(jié)省帶寬。

在步驟s612中，利用修改的視頻參數(shù)發(fā)送視頻流。

在步驟s614中，可以周期性地進(jìn)行檢查以查看圖像是否仍然暫停。如果圖像仍然暫停，將繼續(xù)利用修改的視頻參數(shù)發(fā)送視頻流。可以理解的是，在一些實(shí)施例中，發(fā)射機(jī)將響應(yīng)于接收到指示圖像不再暫停的信息。如果圖像仍然暫停，則可以繼續(xù)接收并顯示注釋信息。

如果圖像不再暫停，則下一步驟可以是步驟s616，其中視頻流參數(shù)可以被修改，例如返回到初始視頻參數(shù)設(shè)置，并且可以利用更新的視頻流參數(shù)來發(fā)送視頻流。

可以理解的是，在一些實(shí)施例中，視頻參數(shù)可以保持不變，而不管圖像是否被暫停。

在一些實(shí)施例中，視頻流可以以適當(dāng)?shù)姆绞奖粫和：?或取消暫停。例如，如果視頻流被顯示在觸摸屏上，觸碰或點(diǎn)擊屏幕可以導(dǎo)致視頻流被暫停和/或取消暫停。可以理解的是，在其他實(shí)施例中，諸如鼠標(biāo)等的定向設(shè)備的激活可以提供類似的結(jié)果。在其他實(shí)施例中，由用戶接收的任何其他適合的輸入將導(dǎo)致視頻流被暫停/取消暫停。

在一些實(shí)施例中，與顯示視頻流的觸摸屏的任何接觸將暫停實(shí)況視頻流，并允許暫停的圖像被注釋。

在一些實(shí)施例中，用戶激活放大功能是可能的。在觸摸屏的情況下，這可以由用戶分開地移動(dòng)他手上的兩個(gè)手指或通過與用戶界面的任何其他適合的交互來激活。通常，這將是手指和拇指，它們從彼此移開。這種運(yùn)動(dòng)可以是所謂的擴(kuò)展放大移動(dòng)。在視頻流期間的擴(kuò)展放大移動(dòng)或其他放大功能將暫停圖像并同時(shí)在圖像上放大。

在一些實(shí)施例中，如果視頻流已經(jīng)暫停，則用戶將能夠利用擴(kuò)展或類似動(dòng)作進(jìn)行放大。

一些實(shí)施例，縮小功能可以由用戶使用所謂的縮緊縮小動(dòng)作來實(shí)現(xiàn)，其中手指和拇指一起移動(dòng)?？梢岳斫獾氖?，在一些實(shí)施例中，縮小功能可以經(jīng)由用戶界面以任何其他適合的方式實(shí)現(xiàn)。在一些實(shí)施例中，如果視頻流的暫停的圖像處于其縮小極限，則視頻流上的縮小功能的執(zhí)行僅導(dǎo)致圖像被暫停。在其他實(shí)施例中，縮小功能可以導(dǎo)致縮小功能被執(zhí)行以及視頻流的暫停。

可以理解的是，在一些實(shí)施例中，用戶可以輕點(diǎn)、按壓、點(diǎn)擊、以其他方式與顯示器進(jìn)行交互從而開始注釋。用戶可以在顯示器上移動(dòng)他的手指、觸控筆或定向設(shè)備來定義注釋。在一些實(shí)施例中，如果用戶通過用兩個(gè)手指觸碰與顯示器進(jìn)行交互，則當(dāng)用戶在顯示器上移動(dòng)他的手指時(shí)，可以提供兩個(gè)注釋。

在os214之上運(yùn)行的是幀修改應(yīng)用230b。下面參照作為單獨(dú)的應(yīng)用的幀修改應(yīng)用程序230b和通信客戶端應(yīng)用112來描述實(shí)施例，然而下面更詳細(xì)地描述的幀修改應(yīng)用230b的功能可以被并入到通信客戶端應(yīng)用112中。

圖8示出了用戶設(shè)備的幀修改應(yīng)用230b如何與通信客戶端應(yīng)用112進(jìn)行交互。在一些實(shí)施例中，幀修改應(yīng)用可以在接收設(shè)備和/或源設(shè)備中提供。

如圖8所示，幀修改應(yīng)用230b被布置為接收捕獲的視頻(暫停的圖像)和繪圖或注釋指令。幀修改應(yīng)用程序230b被布置為根據(jù)繪圖指令修改捕獲的(暫停的)視頻幀，并向通信客戶端應(yīng)用112提供修改的視頻幀。

在下面描述的實(shí)施例中，幀修改應(yīng)用230b接收視頻幀，并且?guī)薷膽?yīng)用230b從用戶接收繪圖指令。響應(yīng)于從接收設(shè)備的用戶接收到的繪圖指令而被修改的暫停的圖像幀是從幀修改應(yīng)用230b供應(yīng)到通信客戶端應(yīng)用112的，以用于通過網(wǎng)絡(luò)106傳送回到源用戶設(shè)備?？梢岳斫獾氖?，暫停的圖像以及注釋被顯示在接收設(shè)備處?？商娲?，注釋或繪圖指令可以被發(fā)送回到源用戶設(shè)備，并且?guī)薷膽?yīng)用可以在源設(shè)備本地應(yīng)用注釋以向源設(shè)備的用戶進(jìn)行顯示。

幀修改應(yīng)用230b經(jīng)由顯示在顯示器204上的用戶界面向用戶呈現(xiàn)信息。該信息將允許用戶對(duì)圖像進(jìn)行注釋，并且將控制例如控制器的顯示。這例如如圖4a至圖4d所示。

可以理解的是，來自源設(shè)備的視頻流可以包括視頻網(wǎng)格信息。

可以提供三維跟蹤器功能，其識(shí)別捕獲的視頻數(shù)據(jù)中的多個(gè)圖像的點(diǎn)，并且如果可能是面部等的對(duì)象移動(dòng)則跟蹤這些點(diǎn)。在其他實(shí)施例中，對(duì)象可以是靜止的。該對(duì)象顯示在已暫停的圖像中并被注釋。暫停的圖像可以被認(rèn)為是對(duì)象，或者可以被認(rèn)為包括一個(gè)或多個(gè)對(duì)象。

在一些實(shí)施例中，用戶在暫停的圖像上繪制的注釋可以被映射到由跟蹤器識(shí)別的對(duì)象的點(diǎn)上，使得繪圖與對(duì)象一起三維地移動(dòng)。對(duì)象可以是面部或任何其他適合的對(duì)象?？梢允褂门c從接收機(jī)設(shè)備提供的網(wǎng)格信息和/或紋理映射信息相關(guān)聯(lián)的注釋信息將注釋應(yīng)用于源設(shè)備處的移動(dòng)對(duì)象。

二維的點(diǎn)被擬合到三維三角形的網(wǎng)格到跟蹤的特征點(diǎn)。跟蹤器算法確定擬合到對(duì)象的三維三角形的網(wǎng)格的每個(gè)頂點(diǎn)的三維像素坐標(biāo)(x，y，z)。三維三角形的網(wǎng)格包括限定多個(gè)三角形的多個(gè)頂點(diǎn)。該網(wǎng)格信息可以從源設(shè)備來提供。三維三角形的網(wǎng)格的每個(gè)頂點(diǎn)的坐標(biāo)定義了頂點(diǎn)在幀中的位置，這可以根據(jù)像素?cái)?shù)量來限定。如上所述，源設(shè)備中的攝像機(jī)208可以是常規(guī)的攝像機(jī)或深度感知攝像機(jī)。當(dāng)攝像機(jī)208是深度感知攝像機(jī)時(shí)，由深度感知攝像機(jī)輸出的深度信息被用作跟蹤器算法的附加輸入。

幀修改應(yīng)用230b被配置為計(jì)算三維三角形的網(wǎng)格的二維表示。這在本文中被稱為二維紋理映射。這可以在源設(shè)備處確定。

用于計(jì)算三維三角形的網(wǎng)格的二維表示的各種可能的技術(shù)對(duì)于本領(lǐng)域技術(shù)人員是公知的，并因此在此不再詳細(xì)討論。一個(gè)示例性的方法包括(i)將三維三角形的網(wǎng)格投影到橢球上；以及(ii)將橢球投影成二維(例如，使用gall-peters等面積映射投影)。

二維紋理映射疊加在像素網(wǎng)格上，像素網(wǎng)格是多個(gè)像素寬，并且是多個(gè)像素高。該像素寬度和像素高度定義像素網(wǎng)格的分辨率。像素網(wǎng)格的分辨率例如可以是512×512。uv坐標(biāo)(表示為像素網(wǎng)格的像素坐標(biāo))用于描述圖9所示的二維紋理映射700的表面。二維紋理映射中的每個(gè)u、v坐標(biāo)具有在視頻幀中的相對(duì)應(yīng)的x、y像素坐標(biāo)。對(duì)于本領(lǐng)域的技術(shù)人員將顯而易見的是，將意識(shí)到選擇與接收到的圖像中的對(duì)象的最大尺寸近似相對(duì)應(yīng)的像素網(wǎng)格的像素分辨率是恰當(dāng)?shù)摹?/p>

幀修改應(yīng)用執(zhí)行紋理映射處理，由此將三維三角形的網(wǎng)格中的每個(gè)三角形的紋理復(fù)制到二維紋理映射中的相對(duì)應(yīng)三角形。這里使用對(duì)三維三角網(wǎng)格中的三角形的“紋理”的引用來指代三維三角網(wǎng)格中特定三角形中每個(gè)像素的顏色值?？梢愿鶕?jù)rgb顏色模型來定義像素顏色值。

幀修改應(yīng)用230b確定并存儲(chǔ)對(duì)應(yīng)于注釋的坐標(biāo)(x，y)的u、v坐標(biāo)。二維紋理映射依據(jù)注釋進(jìn)行修改。也就是說，對(duì)于所確定的u、v坐標(biāo)，幀修改應(yīng)用230b依據(jù)其相關(guān)聯(lián)的效果信息來修改二維紋理映射的u、v坐標(biāo)。幀修改應(yīng)用230b執(zhí)行紋理映射處理，其中將二維紋理映射中的每個(gè)三角形的紋理復(fù)制到三維三角形的網(wǎng)格的相對(duì)應(yīng)的三角形。這里使用對(duì)二維紋理映射中的三角形的“紋理”的引用是指代二維紋理映射中特定三角形中的每個(gè)像素的顏色值。

幀修改應(yīng)用230b可以將修改的視頻幀供應(yīng)給通信客戶端應(yīng)用112，以用于通過網(wǎng)絡(luò)106發(fā)送到其他用戶設(shè)備。

在上述實(shí)施例中，由顯示器204上的幀修改應(yīng)用230b提供的用戶界面中所顯示的任何修改的幀是由接收設(shè)備的通信客戶端應(yīng)用112發(fā)送到源設(shè)備的。

在一些實(shí)施例中，將網(wǎng)格信息和/或紋理映射與視頻流一起提供給接收機(jī)設(shè)備。注釋信息與接收機(jī)設(shè)備處的網(wǎng)格信息和/或紋理映射相關(guān)聯(lián)，并且可以被發(fā)送回源設(shè)備。源處的幀修改應(yīng)用可以使用該信息將注釋應(yīng)用于對(duì)象。這可以用于對(duì)象移動(dòng)的情況?？梢允褂媒邮諜C(jī)處的幀修改應(yīng)用來提供注釋的暫停的圖像。

一些實(shí)施例可以在混合現(xiàn)實(shí)(mr)應(yīng)用中使用，然而在其他實(shí)施例中，相同的概念可以應(yīng)用于涉及兩個(gè)或更多個(gè)參與者的任何通信應(yīng)用。混合現(xiàn)實(shí)應(yīng)用可以例如涉及場景的共享，其中包括攝像機(jī)的設(shè)備被配置為捕獲視頻并將視頻發(fā)送到其他設(shè)備。此外，視頻的圖像可以由遠(yuǎn)程設(shè)備注釋并且被“放置”在源設(shè)備的圖像場景內(nèi)。

為了使對(duì)象能夠由遠(yuǎn)程設(shè)備注釋，與對(duì)象相關(guān)聯(lián)的表面再現(xiàn)(sr)或網(wǎng)格數(shù)據(jù)可以被傳遞給一個(gè)或多個(gè)其他參與者。

關(guān)于圖7a，用于用戶設(shè)備的適合的發(fā)送(媒體棧)流水線架構(gòu)的示例。用戶設(shè)備可以在本文所描述的實(shí)施例中被配置為生成圖像(視頻數(shù)據(jù))和表面再現(xiàn)(sr)或網(wǎng)格數(shù)據(jù)。該視頻數(shù)據(jù)和sr或網(wǎng)格數(shù)據(jù)可以被發(fā)送到接收設(shè)備以便與如先前所述的注釋一起使用。

在所示的示例中，用于生成共享場景的圖像可以由(紅-綠-藍(lán))rgb傳感器/攝像機(jī)403捕獲。rgb傳感器/攝像機(jī)403可以被配置為傳遞捕獲的rgb原始數(shù)據(jù)，并且還將任何攝像機(jī)姿勢/投影矩陣信息傳遞到適合的設(shè)備視頻源405。

圖7a所示的示例性架構(gòu)還包括深度傳感器/攝像機(jī)401，其被配置為捕獲可以傳遞給表面再現(xiàn)(sr)引擎和數(shù)據(jù)庫402的深度信息。sr引擎和數(shù)據(jù)庫可以被配置為接收深度信息，并根據(jù)已知的網(wǎng)格/sr方法生成sr原始數(shù)據(jù)。然后可以將sr原始數(shù)據(jù)傳遞到設(shè)備視頻源405。

視頻源405可以被配置為接收sr原始數(shù)據(jù)和rgb原始數(shù)據(jù)以及任何攝像機(jī)姿勢/投影矩陣信息。此外，視頻源405可以被配置為將sr原始數(shù)據(jù)輸出到適合的sr信道編碼器407，并且根據(jù)原始幀和攝像機(jī)姿勢/投影矩陣數(shù)據(jù)將視頻圖像數(shù)據(jù)輸出到適合的h.264信道編碼器409。

sr信道編碼器407可以被配置為接收sr原始數(shù)據(jù)并對(duì)sr原始數(shù)據(jù)進(jìn)行編碼以生成適合的編碼的sr數(shù)據(jù)。然后，sr信道編碼器407可以被配置為將編碼的sr數(shù)據(jù)傳遞給分組生成器411。具體地，編碼的數(shù)據(jù)可以被傳遞到sr分組創(chuàng)建器413。

h.264信道編碼器409可以類似地被配置為接收原始圖像/視頻幀和攝像機(jī)姿勢/投影矩陣數(shù)據(jù)，并且處理這些數(shù)據(jù)以生成編碼的幀和sei(補(bǔ)充增強(qiáng)信息)消息數(shù)據(jù)。編碼的幀和sei消息數(shù)據(jù)可以被傳遞到分組生成器411，并且具體地被傳遞到h.264分組創(chuàng)建器415。

分組生成器411可以控制視頻和sr數(shù)據(jù)的分組，以便數(shù)據(jù)的接收機(jī)能夠產(chǎn)生可靠和有效的混合現(xiàn)實(shí)體驗(yàn)。

分組生成器411可以例如包括sr分組創(chuàng)建器413。sr分組創(chuàng)建器413可以被配置為生成可以被傳遞到分組類型敏感成形器419的sr片段分組。sr分組創(chuàng)建器413還可以被控制以用于重發(fā)反饋目的。在一些實(shí)施例中，使用nack方法進(jìn)行重傳反饋可能是不適合的，因此可以實(shí)施ack方法。

因此，在一些實(shí)施例中，sr分組創(chuàng)建器413可被配置為將任何sr數(shù)據(jù)分組的引用保持在未決緩沖器中直至它們被發(fā)送。一旦分組被發(fā)送，然后可以將引用移動(dòng)到未確認(rèn)緩沖器。

在這樣的實(shí)施例中，未確認(rèn)緩沖器可以具有限制發(fā)射機(jī)和接收機(jī)之間的業(yè)務(wù)的窗口大小。

然后可以維護(hù)sr數(shù)據(jù)分組的引用，直到接收機(jī)確認(rèn)接收到分組。

在一些實(shí)施例中，sr分組創(chuàng)建器413可被配置為在sr幀到達(dá)時(shí)繼續(xù)發(fā)送來自未決緩沖器的sr數(shù)據(jù)分組，即使當(dāng)時(shí)沒有接收到反饋消息。實(shí)施持續(xù)發(fā)送方法表示接收機(jī)處的饑餓可以不發(fā)生。

分組生成器411可以包括h.264分組創(chuàng)建器415。h.264分組創(chuàng)建器415可以被配置為生成適合的h.264分組片段并將這些分組片段傳遞到分組類型敏感成形器419。

分組生成器411可以包括被配置為控制分組片段的生成和輸出的帶寬(bw)控制器417。bw控制器417可以負(fù)責(zé)在sr分組創(chuàng)建器413和h.264分組創(chuàng)建器415之間劃分帶寬分配。

分組敏感成形器419可以被配置為接收sr分組片段和h.264分組片段并且生成被傳遞到傳送器421的適合的數(shù)據(jù)分組。傳送器421經(jīng)由適合的輸出流來接收數(shù)據(jù)分組和這些的輸出。

關(guān)于圖7b，示出了用于被配置為接收?qǐng)D像(視頻數(shù)據(jù))和表面再現(xiàn)(sr)或網(wǎng)格數(shù)據(jù)的用戶設(shè)備的適合的接收流水線(媒體棧)架構(gòu)。

用戶設(shè)備可以包括被配置為接收視頻流數(shù)據(jù)并將該信息傳遞給接收機(jī)/分組匯編器的傳送器451。

分組匯編器可以包括sr分組匯編器453和h.264分組匯編器455。sr分組片段可以被傳遞到sr分組匯編器453以用于生成編碼的sr數(shù)據(jù)分組。h.264分組匯編器455可以被配置為接收h.264分組片段并生成編碼的幀數(shù)據(jù)。

sr分組匯編器453可以被配置為生成適合的反饋消息，所述適合的反饋消息可以被發(fā)送到sr分組創(chuàng)建器，以便控制sr數(shù)據(jù)的重傳。sr信道解碼器457可以報(bào)告導(dǎo)致生成反饋消息的錯(cuò)誤。

編碼的sr數(shù)據(jù)分組可以被傳遞到sr信道解碼器457以生成sr原始數(shù)據(jù)。

h.264信道解碼器459可以被配置為從分組匯編器455接收編碼的幀，并且輸出適合的原始幀和攝像機(jī)姿勢/投影數(shù)據(jù)。然后，可以將sr原始數(shù)據(jù)和原始幀以及攝像機(jī)姿勢/投影數(shù)據(jù)傳遞到視頻接收器461。

然后，視頻接收器461可以被配置為將信息輸出到適合的遠(yuǎn)程視頻應(yīng)用463或庫，用于在渲染器465處進(jìn)行渲染或在視頻表面渲染器467處進(jìn)行視頻服務(wù)渲染。

此外，經(jīng)由傳送器451接收的關(guān)于對(duì)象或注釋的任何數(shù)據(jù)可以被傳遞到適合的對(duì)象協(xié)議實(shí)體，例如對(duì)象更新消息解碼器，并且可以被傳遞到適合的注釋或?qū)ο箐秩酒鳌?/p>

在實(shí)現(xiàn)如本文所描述的架構(gòu)中，以視頻或圖像數(shù)據(jù)的形式的mr場景和用于生成場景的3d渲染的數(shù)據(jù)可以被可靠地并且有效地使用可用帶寬從一個(gè)設(shè)備傳送到另一個(gè)設(shè)備。

如本文所述，mr的方面之一是共享和注釋捕獲的場景的能力。例如，由場景中的一個(gè)參與者捕獲的視頻可以被注釋。

對(duì)象的放置可以關(guān)于場景并且還可以關(guān)于場景的三維表示來進(jìn)行。為了使得能夠在遠(yuǎn)程設(shè)備上呈現(xiàn)或渲染準(zhǔn)確的放置，與該場景相關(guān)聯(lián)的表面再現(xiàn)(sr)或網(wǎng)格數(shù)據(jù)可以被傳遞給共享場景的所有參與者。

如本文所述，mr的方面之一是共享和注釋對(duì)象的能力。例如，由場景中的一個(gè)參與者捕獲的圖像可以由不同設(shè)備處的另一個(gè)用戶來注釋。場景所有者可以由第一用戶設(shè)備來提供，并且可以是與其他參與者共享其混合現(xiàn)實(shí)場景的協(xié)議端點(diǎn)。例如，場景所有者可以包括操作諸如圖3所示的用戶設(shè)備并捕獲用戶a的環(huán)境的用戶。

場景參與者可以是協(xié)議端點(diǎn)，其被配置為接收由場景所有者生成的混合現(xiàn)實(shí)場景的視頻流，并且將注釋應(yīng)用于暫停的圖像，其中圖像在從場景所有者接收的視頻流中。這可以由用戶b操作的第二用戶設(shè)備來提供。在一些實(shí)施例中，第二用戶設(shè)備可以是觸摸屏設(shè)備、計(jì)算機(jī)、移動(dòng)電話等。

雖然已經(jīng)參考用戶對(duì)來自混合現(xiàn)實(shí)環(huán)境的視頻流的暫停的圖像所做的注釋來描述實(shí)施例，但是實(shí)施例可以與從源設(shè)備接收的任何視頻流一起被使用。

一些實(shí)施例已經(jīng)被描述為使用sr網(wǎng)格。這僅作為示例，并且其他實(shí)施例可以不使用sr網(wǎng)格。注釋可以包括由用戶應(yīng)用到暫停的圖像的任何圖像數(shù)據(jù)，并且可以是線、文本、圖像、標(biāo)簽或任何其他適合的圖像數(shù)據(jù)。

通常，本文所描述的功能中的任何一項(xiàng)可以使用軟件、固件、硬件(例如，固定邏輯電路)或這些實(shí)現(xiàn)的組合來實(shí)現(xiàn)。本文所用的術(shù)語“控制器”、“功能”、“組件”和“應(yīng)用”通常表示軟件、固件、硬件或其組合。在軟件實(shí)現(xiàn)的情況下，控制器、功能、組件或應(yīng)用表示在處理器(例如，cpu或多個(gè)cpu)上執(zhí)行時(shí)執(zhí)行指定任務(wù)的程序代碼。程序代碼可以存儲(chǔ)在一個(gè)或多個(gè)計(jì)算機(jī)可讀存儲(chǔ)器設(shè)備中。下面描述的技術(shù)的特征是平臺(tái)無關(guān)的，這表示技術(shù)可以在具有各種處理器的各種商業(yè)計(jì)算平臺(tái)上被實(shí)現(xiàn)。

例如，用戶設(shè)備還可以包括使得用戶設(shè)備的硬件執(zhí)行操作的實(shí)體(例如，軟件)，例如，處理器功能塊等等。例如，用戶設(shè)備可以包括計(jì)算機(jī)可讀介質(zhì)，其可以被配置為維護(hù)如下指令，所述指令使得用戶設(shè)備并且更具體地使得用戶設(shè)備的操作系統(tǒng)和相關(guān)聯(lián)的硬件來執(zhí)行操作。因此，該指令用于配置操作系統(tǒng)和相關(guān)聯(lián)的硬件來執(zhí)行操作，并且以這種方式引起操作系統(tǒng)和相關(guān)聯(lián)的硬件的變換以執(zhí)行功能。指令可以由計(jì)算機(jī)可讀介質(zhì)通過各種不同的配置提供給用戶設(shè)備。

計(jì)算機(jī)可讀介質(zhì)的一種這樣的配置是信號(hào)承載介質(zhì)，并因此被配置為例如經(jīng)由網(wǎng)絡(luò)將指令(例如，作為載波)發(fā)送到計(jì)算設(shè)備。計(jì)算機(jī)可讀介質(zhì)也可以被配置為計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，并因此不是信號(hào)承載介質(zhì)。計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)的示例包括隨機(jī)存取存儲(chǔ)器(ram)、只讀存儲(chǔ)器(rom)、光盤、閃速存儲(chǔ)器、硬盤存儲(chǔ)器以及可以是使用磁性、光學(xué)和其他技術(shù)來存儲(chǔ)指令和其他數(shù)據(jù)的其他存儲(chǔ)器設(shè)備。

因此，提供了用戶設(shè)備，包括：顯示器；用戶界面；網(wǎng)絡(luò)接口，其被配置為經(jīng)由通信網(wǎng)絡(luò)在所述用戶設(shè)備處從另一用戶設(shè)備接收視頻數(shù)據(jù)流，所述顯示器被配置為顯示所述視頻數(shù)據(jù)流；以及至少一個(gè)處理器，被配置為：檢測經(jīng)由所述用戶界面的交互以暫停所述視頻流并且顯示所述視頻流的暫停的視頻幀，并且還顯示所述視頻數(shù)據(jù)流；檢測經(jīng)由所述用戶界面將至少一個(gè)注釋應(yīng)用到所述暫停的視頻幀；使得所述暫停的視頻幀和所述至少注釋與所述視頻數(shù)據(jù)流一起由所述顯示器來顯示；以及使得關(guān)于所述至少注釋的信息經(jīng)由所述網(wǎng)絡(luò)接口被發(fā)送到所述另一用戶設(shè)備。

網(wǎng)絡(luò)接口可以被配置為接收包括所述對(duì)象和所述至少一個(gè)注釋的所述視頻數(shù)據(jù)的流的視頻幀，并且所述顯示器能夠被配置為將包括所述對(duì)象和所述至少一個(gè)注釋的視頻數(shù)據(jù)的流的接收的視頻幀與所述暫停的視頻幀一起顯示。

顯示器可以是觸摸屏顯示器，并且能夠被配置為提供所述用戶界面，并且用于暫停所述視頻流的經(jīng)由所述用戶界面的檢測的交互能夠包括與所述觸摸屏顯示器的交互。

所述至少一個(gè)處理器可被配置為當(dāng)所述顯示器正在顯示所述視頻數(shù)據(jù)的流的接收的視頻幀時(shí)響應(yīng)于檢測到所述顯示器上的移動(dòng)，所述移動(dòng)表示縮放功能，并且響應(yīng)于檢測到所述移動(dòng)暫停所述接收到的視頻幀，執(zhí)行縮放功能并且根據(jù)所述縮放功能使得顯示所述暫停的接收的視頻幀。

所述至少一個(gè)處理器可以被配置為，在執(zhí)行所述縮放功能之前，確定所述縮放功能是否可以被執(zhí)行，并且如果確定所述縮放功能可以被執(zhí)行，則僅執(zhí)行所述縮放功能。

所述至少一個(gè)處理器可以被配置為當(dāng)所述暫停的接收到的視頻幀被顯示時(shí)，使得在所述顯示器的外圍區(qū)域中顯示所述視頻數(shù)據(jù)的流的接收的視頻幀。

所述至少一個(gè)處理器可以被配置為控制顯示器使得顯示的暫停的接收的視頻幀大于視頻數(shù)據(jù)的流的顯示的接收的視頻幀。

所述至少一個(gè)處理器可以被配置為響應(yīng)于檢測到對(duì)暫停選項(xiàng)的選擇，使得顯示提供一個(gè)或多個(gè)注釋選項(xiàng)的菜單信息。

所述至少一個(gè)處理器可以被配置為控制對(duì)與所述視頻數(shù)據(jù)的流的接收的視頻幀相關(guān)聯(lián)的取消暫停圖標(biāo)的顯示，所述圖標(biāo)的選擇使得取消暫停暫停的接收的視頻幀。

所述至少一個(gè)處理器可以被配置為根據(jù)自上次注釋被應(yīng)用以來的時(shí)間來控制對(duì)所述取消暫停圖標(biāo)的顯示。

顯示器可以被配置為顯示所述暫停的接收的視頻幀和所述至少一個(gè)注釋。

該設(shè)備可以被配置為經(jīng)由網(wǎng)絡(luò)接口從所述另外的用戶設(shè)備接收網(wǎng)格信息。

所述至少一個(gè)處理器可以被配置為使用所述暫停的視頻幀的所述對(duì)象的所述網(wǎng)格信息和所述注釋輸入來提供包括暫停的接收的視頻幀和所述至少一個(gè)注釋的圖像數(shù)據(jù)。

用戶設(shè)備和另外的用戶設(shè)備可以在視頻通話中。

視頻數(shù)據(jù)的流的接收的視頻幀可以具有混合現(xiàn)實(shí)場景。

還提供了在用戶設(shè)備處實(shí)現(xiàn)的方法，所述方法包括：顯示通過通信網(wǎng)絡(luò)從另外的用戶設(shè)備收視視頻數(shù)據(jù)的流的接頻幀；當(dāng)接收的視頻幀正被顯示時(shí)，檢測經(jīng)由所述用戶設(shè)備的用戶界面的對(duì)暫停選項(xiàng)的選擇以暫停所述接收的視頻幀；響應(yīng)于所述檢測，顯示所述暫停的接收的視頻幀和視頻數(shù)據(jù)的流的接收的視頻幀；經(jīng)由所述用戶界面接收至少一個(gè)注釋輸入，所述至少一個(gè)注釋輸入定義將被應(yīng)用于所述暫停的接收的視頻幀的對(duì)象的至少一個(gè)注釋；并且使得關(guān)于所述至少注釋的信息被發(fā)送到所述另外的用戶設(shè)備。

所述方法可以包括響應(yīng)于使得關(guān)于所述注釋的所述信息被發(fā)送到所述另外的用戶設(shè)備，接收包括所述對(duì)象和所述至少一個(gè)注釋的數(shù)據(jù)的幀，并且將包括所述對(duì)象和所述至少注釋的接收的數(shù)據(jù)的幀與所述暫停的接收的視頻幀一起顯示。

顯示器可以提供所述用戶界面，并且對(duì)所述暫停選項(xiàng)的選擇的檢測可以包括檢測所述顯示器的觸碰。

所述方法可以包括當(dāng)所述顯示器正在顯示所述視頻數(shù)據(jù)的流的接收的視頻幀時(shí)，檢測所述顯示器上的移動(dòng)，所述移動(dòng)表示縮放功能，并且響應(yīng)于檢測到所述移動(dòng)暫停所述接收的視頻幀，執(zhí)行縮放功能，并根據(jù)縮放功能顯示所述暫停的接收的視頻幀。

該方法可以包括在執(zhí)行所述縮放功能之前，確定所述縮放功能是否可以被執(zhí)行，并且僅如果確定所述縮放功能可以被執(zhí)行，則執(zhí)行所述縮放功能。

所述方法可以包括當(dāng)所述暫停的接收到的視頻幀被顯示時(shí)，在所述顯示器的外圍區(qū)域中顯示視頻數(shù)據(jù)的流的接收的視頻幀。

顯示可以使得所顯示的暫停的接收的視頻幀大于視頻數(shù)據(jù)的流的顯示的接收的視頻幀。

該方法可以包括響應(yīng)于檢測到對(duì)暫停選項(xiàng)的選擇，顯示提供一個(gè)或多個(gè)注釋選項(xiàng)的菜單信息。

該方法可以包括顯示與視頻數(shù)據(jù)的流的接收的視頻幀相關(guān)聯(lián)的取消暫停圖標(biāo)，對(duì)所述圖標(biāo)的選擇使得取消暫停所述暫停的接收的視頻幀。

所述方法可以包括根據(jù)自上次注釋被應(yīng)用以來的時(shí)間來控制對(duì)所述取消暫停圖標(biāo)的顯示。

該方法可以包括顯示所述暫停的接收的視頻幀和所述至少一個(gè)注釋。

該方法可以包括從所述另外的用戶設(shè)備接收網(wǎng)格信息。

該方法可以包括使用所述暫停的視頻幀的所述對(duì)象的所述網(wǎng)格信息和所述注釋輸入來提供包括暫停的接收的視頻幀和所述至少一個(gè)注釋的圖像。

用戶設(shè)備和另外的用戶設(shè)備可以在視頻通話中。

視頻數(shù)據(jù)的流的接收的視頻幀可以具有混合現(xiàn)實(shí)場景。

可以提供一種計(jì)算機(jī)程序，該計(jì)算機(jī)程序包括計(jì)算機(jī)可執(zhí)行指令，所述計(jì)算機(jī)可執(zhí)行指令當(dāng)在至少一個(gè)處理器上運(yùn)行時(shí)，使得先前討論的任何方法步驟被提供。

盡管已經(jīng)以結(jié)構(gòu)特征和/或方法動(dòng)作特有的語言對(duì)主題進(jìn)行了描述，但是應(yīng)當(dāng)理解，所附權(quán)利要求中限定的主題不一定限于上述具體特征或動(dòng)作。相反，上述具體特征和動(dòng)作被公開為實(shí)現(xiàn)權(quán)利要求的示例形式。