移動(dòng)設(shè)備常常被用于當(dāng)事件正在發(fā)生時(shí)捕獲事件并且與本人不能在場(chǎng)的朋友或家人一起分享該事件。這么做的典型方式是捕獲圖像并將圖像附到SMS/MMS消息。視頻通話是分享當(dāng)前事件的另一方式，并且視頻電話會(huì)議正在變得很流行。

然而，由于有限的帶寬，視頻通話通常犧牲分辨率來(lái)提高幀率，這向遠(yuǎn)程的人給出世界的“模糊”視圖。盡管這可能對(duì)于傳統(tǒng)視頻通話而言是可接受的，在傳統(tǒng)視頻通話中兩個(gè)人(或可能地，組)通過(guò)臺(tái)式或膝上型計(jì)算機(jī)進(jìn)行通信，但是這樣的模糊視圖在其他情景中不能很好地工作。

例如，其中遠(yuǎn)程的人可能想要更仔細(xì)地檢查對(duì)象等等的諸如視頻輔助購(gòu)物、公寓查看或講座出席的情景不能利用模糊的視頻通話很好地工作。這樣的情景通過(guò)將視頻通信帶到現(xiàn)實(shí)世界環(huán)境中的移動(dòng)設(shè)備越來(lái)越多地被啟用?？傮w上，這是因?yàn)楫?dāng)前網(wǎng)絡(luò)帶寬連接性限制能夠被傳送的視頻信號(hào)的質(zhì)量，并且因?yàn)橐苿?dòng)設(shè)備常常在用戶攜帶和操縱它們的移動(dòng)設(shè)備時(shí)經(jīng)受大量運(yùn)動(dòng)。

技術(shù)實(shí)現(xiàn)要素：

提供本發(fā)明內(nèi)容從而以簡(jiǎn)化的形式介紹下面在具體實(shí)施方式中進(jìn)一步描述的代表性構(gòu)思的選擇。本發(fā)明內(nèi)容不旨在標(biāo)識(shí)要求保護(hù)的主題的關(guān)鍵特征或必要特征，其也不旨在以將限制要求保護(hù)的主題的范圍的任何方式來(lái)使用。

簡(jiǎn)單地，本文中描述的主題的各個(gè)方面涉及在視頻通話期間接收代替或除了默認(rèn)視頻流的上下文信息或者在音頻通話期間接收代替或除了音頻的上下文信息，包括在音頻或視頻通話期間在接收設(shè)備處或者在傳送上下文信息的發(fā)送設(shè)備處獲得用戶設(shè)置。由發(fā)送設(shè)備或接收設(shè)備使用用戶設(shè)置來(lái)確定用于上下文信息的傳輸?shù)姆直媛蕯?shù)據(jù)和/或幀率數(shù)據(jù)。至少一些接收到的上下文信息被用在視頻通話期間顯示上下文中。

其他優(yōu)點(diǎn)可以當(dāng)結(jié)合附圖時(shí)從下面的詳細(xì)描述中變得顯而易見。

附圖說(shuō)明

本發(fā)明通過(guò)舉例并且不限于附圖中的方式來(lái)說(shuō)明，在附圖中類似的附圖標(biāo)記包括類似的元件，并且在附圖中：

圖1是圖示了根據(jù)一個(gè)或多個(gè)示例實(shí)現(xiàn)方式的可以在視頻(或音頻)通話期間傳送和/或接收上下文信息中使用的示例設(shè)備和部件的框圖。

圖2是圖示了根據(jù)一個(gè)或多個(gè)示例實(shí)現(xiàn)方式的可以在視頻/音頻通話期間傳送和/或接收上下文信息中使用的示例備選設(shè)備和部件的框圖。

圖3是示出了根據(jù)一個(gè)或多個(gè)示例實(shí)現(xiàn)方式的設(shè)備可以如何在視頻/音頻通話期間經(jīng)由中介傳達(dá)上下文信息的框圖。

圖4A-4C是根據(jù)一個(gè)或多個(gè)示例實(shí)現(xiàn)方式的多個(gè)顯示器可以如何被配置為與視頻通話的視頻幀一起呈現(xiàn)上下文信息的表示。

圖5A-5C是根據(jù)一個(gè)或多個(gè)示例實(shí)現(xiàn)方式的示例用戶界面元素的表示，接收用戶可以通過(guò)示例用戶界面元素控制在通話期間對(duì)上下文信息和/或音頻或視頻的呈現(xiàn)(例如，保真度、幀率和/或相機(jī)配置)或聽從發(fā)送器。

圖6A-6C是根據(jù)一個(gè)或多個(gè)示例實(shí)現(xiàn)方式的示例用戶界面元素的表示，發(fā)送用戶可以通過(guò)示例用戶界面元素控制在通話期間對(duì)上下文信息和/或視頻的呈現(xiàn)(例如，保真度、幀率和/或相機(jī)配置)或聽從接收器。

圖7A-7D是根據(jù)一個(gè)或多個(gè)示例實(shí)現(xiàn)方式的示例用戶界面元素的表示，用戶可以通過(guò)示例用戶界面元素控制在通話期間可以如何顯示上下文信息。

圖8A-8C是根據(jù)一個(gè)或多個(gè)示例實(shí)現(xiàn)方式的示例用戶界面元素的表示，用戶可以通過(guò)示例用戶界面元素在通話期間控制上下文信息的發(fā)送。

圖9是根據(jù)一個(gè)或多個(gè)示例實(shí)現(xiàn)方式的表示設(shè)備可以關(guān)于接收上下文信息使用的示例邏輯/步驟的示例流程圖。

圖10是根據(jù)一個(gè)或多個(gè)示例實(shí)現(xiàn)方式的表示設(shè)備可以關(guān)于發(fā)送上下文信息使用的示例邏輯/步驟的示例流程圖。

圖11是表示本文中描述的各個(gè)實(shí)施例的一個(gè)或多個(gè)方面可以被實(shí)現(xiàn)到其中的示例非限制性計(jì)算系統(tǒng)和/或操作環(huán)境的框圖。

具體實(shí)施方式

本文中描述的技術(shù)的一個(gè)或多個(gè)方面涉及允許上下文信息在視頻(或音頻)通話期間被傳送，其中上下文信息以用戶控制的或自動(dòng)化的方式與傳統(tǒng)視頻通話的視頻(幀)混合或(至少臨時(shí)地)替代傳統(tǒng)視頻通話的視頻(幀)，或增強(qiáng)音頻通話。作為一個(gè)示例，用戶可以以替代或增強(qiáng)視頻通話幀的相對(duì)高分辨率的靜態(tài)圖像的形式發(fā)送上下文信息。作為另一示例，如果多個(gè)顯示設(shè)備對(duì)接收視頻通話幀和上下文數(shù)據(jù)的用戶可用，則用戶中的一個(gè)能夠控制哪個(gè)顯示設(shè)備顯示視頻以及哪個(gè)顯示上下文數(shù)據(jù)。

注意，如本文中所使用的，“上下文信息”總體上是指代替或除了視頻通話的“默認(rèn)”視頻流/視頻幀而被傳達(dá)的信息(其中“默認(rèn)”總體上是指例如用戶通常在傳統(tǒng)視頻通話期間經(jīng)歷的視頻流)。因此，即使默認(rèn)視頻流也向其接收方提供某種上下文，如本文中所使用的“上下文信息”和“上下文”是指在視頻通話期間增強(qiáng)或替代視頻流的被傳達(dá)的/渲染的數(shù)據(jù)。上下文信息的示例包括靜態(tài)圖像、以比典型視頻流更低的幀率/更高的分辨率發(fā)送的一系列圖像、等等。因此，應(yīng)當(dāng)注意，上下文信息還可以在某種程度上為“實(shí)況視頻幀”或“實(shí)況視頻流”，然而這例如與傳統(tǒng)視頻通話的默認(rèn)視頻流不同。

還如本文中所使用的，“視頻通話”是傳達(dá)視頻信息并且(通常)還包括音頻的通話，盡管音頻不需要存在(例如，聽力障礙用戶可以具有不傳送音頻的設(shè)備)?！耙纛l通話”是不為視頻通話的允許人與人通信的任何通話，并且因此總體上是指通常不傳送視頻信息的由固定電話、VoIP電話、蜂窩電話進(jìn)行的電話通話、計(jì)算機(jī)到計(jì)算機(jī)(例如，沒(méi)有相機(jī))通話、等等；(注意，存在例外，例如，傳真機(jī)和相似的設(shè)備能夠經(jīng)由可聽信號(hào)傳送圖像)。

盡管本文中描述的示例中的許多涉及相對(duì)于視頻流的分辨率的較高分辨率圖像，但是要理解，作為上下文信息的一部分傳達(dá)的圖像的分辨率還可以低于可以被傳達(dá)的默認(rèn)視頻流的分辨率。例如，發(fā)送用戶可以選擇根據(jù)期望降低分辨率，例如以幫助維持電池壽命。類似地，用戶可以選擇根據(jù)期望降低上下文信息的幀率。

在一個(gè)或多個(gè)方面中，接收用戶(接收設(shè)備)可以控制上下文信息如何被發(fā)送到他或她。作為一個(gè)示例，當(dāng)帶寬正在限制所傳送的數(shù)據(jù)的質(zhì)量時(shí)，接收用戶可以選擇以較慢的幀率接收較高分辨率圖像，而非以較高的幀率接收較低分辨率圖像。換言之，視頻通話上的接收用戶能夠改變由發(fā)送設(shè)備使用的視頻編碼的參數(shù)以對(duì)分辨率或幀率劃分優(yōu)先級(jí)。例如，視頻通話上的遠(yuǎn)程的人或本地的人具有觸發(fā)高分辨率照片的拍攝并且在無(wú)需在另一端的交互的情況下使它們被傳送的能力。備選地，發(fā)送器可以至少部分時(shí)間處于控制中。

在其他方面中，多個(gè)相機(jī)或設(shè)備/傳感器可以捕獲相關(guān)信息并將該信息傳送到一個(gè)或多個(gè)遠(yuǎn)程用戶，例如作為伴隨有一個(gè)或多個(gè)輔助視頻流、深度數(shù)據(jù)的流(其可以為視頻流的一部分)、諸如GPS坐標(biāo)和/或高分辨率靜態(tài)圖像的位置相關(guān)的數(shù)據(jù)的傳統(tǒng)視頻通話。在視頻通話期間，這樣的多個(gè)相機(jī)能夠?qū)⑿畔⒘鱾鬏數(shù)絾蝹€(gè)輸出設(shè)備或多個(gè)輸出設(shè)備；例如，一個(gè)流能夠在另一流使用投影儀被顯示在墻上時(shí)被顯示在電視上，或者一個(gè)流能夠在另一流被顯示在平板設(shè)備上時(shí)被顯示在電視上，和/或一個(gè)流能夠被疊加在另一流的顯示的一部分上。

本文中描述的技術(shù)允許這樣的視頻和上下文信息被自動(dòng)地捕獲、與其他流一起潛在地合并以及被發(fā)送到遠(yuǎn)程用戶?？傮w上，觸發(fā)捕獲和/或在各種信息流之中進(jìn)行切換不需要中斷談話的流，(例如，在靜態(tài)圖像與視頻之間切換或在相機(jī)之中切換中不存在遲滯時(shí)間)。

在一個(gè)或多個(gè)方面中，相機(jī)可以被設(shè)置以自動(dòng)捕獲被傳送到遠(yuǎn)程接收器設(shè)備的一系列高分辨率靜態(tài)圖片，其可以以設(shè)定的節(jié)奏，例如每五秒或在給定可用帶寬下盡可能地快。遠(yuǎn)程接收用戶可以控制視頻交互的額外參數(shù)，而無(wú)需在本地發(fā)送設(shè)備上的交互。示例包括選擇哪個(gè)視頻相機(jī)(例如，前相機(jī)，后相機(jī)，前相機(jī)和后相機(jī)的組合)正在被傳送。這避免使本地發(fā)送設(shè)備上的某個(gè)人理解指令并按指令動(dòng)作的需要。其還使得能夠控制在沒(méi)有任何專門的本地的人的情況下操作的(從接收設(shè)備的視角遠(yuǎn)程的)獨(dú)立本地設(shè)備。

在另一方面中，當(dāng)分享活動(dòng)時(shí)，遠(yuǎn)程接收用戶可能“錯(cuò)過(guò)”在本地側(cè)上發(fā)生的某事并且因此可能想要再次查看它，而不煩擾本地發(fā)送用戶。本文中描述的技術(shù)提供用于使一個(gè)用戶審查來(lái)自過(guò)去的信息(例如在過(guò)去捕獲的圖像和/或視頻)的能力，同時(shí)仍然維持視頻通話。因此，在視頻通話期間，用戶能夠?yàn)g覽在過(guò)去捕獲的上下文信息(例如，圖像)和/或視頻，同時(shí)仍然參與實(shí)況視頻通話。用戶可以類似地在通話完成之后重播上下文信息(例如圖像)和/或視頻。

總體上，任何流可以被存儲(chǔ)以用于在視頻通話期間進(jìn)行重播。例如，用戶可以維持實(shí)況視頻流并回滾靜態(tài)圖像，或者維持靜態(tài)圖像流并回滾實(shí)況視頻流。如果視頻被重播并且在其他地方?jīng)]有被實(shí)時(shí)顯示，則音頻可以保持實(shí)時(shí)以幫助維持在這樣的重播期間的同步。諸如時(shí)間線等等的其他機(jī)制可以被用于幫助用戶識(shí)別他或她在流中相對(duì)于實(shí)時(shí)的位置。

還描述了能夠在任何適當(dāng)?shù)娘@示設(shè)備上顯示來(lái)自視頻通話的信息。遠(yuǎn)程用戶可以在顯示原始信息(原始視頻或圖像、諸如圖形(例如，完整或部分屏幕截圖)和/或合成信息(例如，被顯示在地圖和/或地理標(biāo)記的圖像上的發(fā)送器的位置)的其他信息)的一個(gè)或多個(gè)設(shè)備上查看和/或回放各種信息源中的任何一個(gè)或全部。

應(yīng)當(dāng)理解，本文中的示例中的任何是非限制性的。例如，總體上在視頻和以(相對(duì))靜態(tài)圖像和/或位置相關(guān)的(例如，GPS)數(shù)據(jù)的形式的上下文信息的上下文中描述本技術(shù)，然而任何其他類型的上下文信息/數(shù)據(jù)，例如文本、圖形、動(dòng)畫相關(guān)的數(shù)據(jù)、所記錄的視頻、元數(shù)據(jù)、傳感器感測(cè)的數(shù)據(jù)(例如，運(yùn)動(dòng)、濕度、溫度、高度、等等)、生物識(shí)別數(shù)據(jù)、等等可以根據(jù)期望被發(fā)送和接收以用于使用。另外，用戶界面控制以交互式按鈕、滑動(dòng)條、下拉式菜單、等等的形式示例，然而要理解可以使用任何類型的交互，例如語(yǔ)音、手勢(shì)、眼睛凝視、等等。另外還有，大多數(shù)示例涉及視頻通話，但是音頻通話也可以受益于上下文信息。因此，本發(fā)明不限于本文中描述的任何特定實(shí)施例、方面、構(gòu)思、結(jié)構(gòu)、功能或示例。相反，本文中描述的實(shí)施例、方面、構(gòu)思、結(jié)構(gòu)、功能或示例中的任何是非限制性的，并且本發(fā)明可以以總體上提供在計(jì)算和數(shù)據(jù)通信中的益處和優(yōu)點(diǎn)的各種方式來(lái)使用。

圖1示出了廣義性框圖，其中設(shè)備102被配置為用作關(guān)于視頻通話的發(fā)送設(shè)備和接收設(shè)備。為此，所示例的設(shè)備102并入或被耦合到各個(gè)以給定幀率和分辨率捕獲圖像的一個(gè)或多個(gè)相機(jī)104。另外，設(shè)備并入或被耦合到一個(gè)或多個(gè)顯示器106(其可以為觸敏的以接收用戶輸入)。如對(duì)于傳統(tǒng)視頻通話通信眾所周知的，要理解，音頻數(shù)據(jù)也(經(jīng)由麥克風(fēng)/擴(kuò)音器108)被捕獲并被傳送，并且音頻數(shù)據(jù)也被接收和輸出，然而出于簡(jiǎn)單性的目的，總體上不在下文中描述音頻。

關(guān)于一個(gè)或多個(gè)相機(jī)104，作為一個(gè)示例，智能電話可以包括各個(gè)以相同幀率(例如每秒三十幀)捕獲相同分辨率圖像的前相機(jī)和后相機(jī)。注意，盡管本文中描述的技術(shù)利用任何實(shí)際數(shù)量的相機(jī)來(lái)工作，但是如將理解的，單個(gè)相機(jī)可以受益于本文中描述的技術(shù)。例如，單個(gè)相機(jī)通常捕獲高分辨率圖像，然而帶寬限制防止這樣的圖像以視頻幀率以高分辨率被發(fā)送；因此，以較高的保真度的靜態(tài)圖像可以如由視頻通話參與者中的一個(gè)控制的以較低的“幀”率或根據(jù)需要被發(fā)送。

如還在圖1中表示的，一個(gè)或多個(gè)額外的上下文源110可以被耦合到設(shè)備102或被并入到設(shè)備102中。額外的上下文信息源110的示例可以包括提供諸如全球定位數(shù)據(jù)、文本、下載的圖像、存儲(chǔ)的圖像、元數(shù)據(jù)、等等的位置數(shù)據(jù)的機(jī)制。另一類型的上下文源110可以是高分辨率靜態(tài)相機(jī)，例如提供比設(shè)備相機(jī)104甚至更高的分辨率的圖像的相機(jī)。

在圖1的示例中，要被傳送的數(shù)據(jù)中的至少一些包括由編解碼器(編碼器)111處理的用于經(jīng)由網(wǎng)絡(luò)通信部件112發(fā)送到另一設(shè)備(例如，圖2的設(shè)備202)或諸如云(例如圖3)的中介的圖像數(shù)據(jù)?？刂破?14控制如總體上在本文中描述的編解碼器110以使用特定幀率和分辨率；(備選地可行的是，使控制器114在多個(gè)編解碼器之中選擇以使用各個(gè)被配置(或能夠被配置)具有期望的幀率和分辨率的一個(gè)或多個(gè)編解碼器)。注意，幀率可以對(duì)于給定上下文信息為零，例如單幅靜態(tài)圖像可以作為上下文信息被發(fā)送，其直到采取另一動(dòng)作才被更新。幀率還可以是可變的，例如以固定分辨率“盡可能地快”。

如將理解的，控制器114可以基于在發(fā)送端處的到用戶界面116的輸入、基于在發(fā)送端處的自動(dòng)調(diào)節(jié)(部件)120、和/或基于包括可以從正在接收?qǐng)D像數(shù)據(jù)的遠(yuǎn)程用戶接收的任何遠(yuǎn)程命令的本地和/或遠(yuǎn)程用戶命令122獲得要使用的幀率和分辨率。如總體上在圖1中表示的，通過(guò)網(wǎng)絡(luò)接收到的輸入數(shù)據(jù)被通信處理部件124處理為用戶命令122、網(wǎng)絡(luò)狀態(tài)數(shù)據(jù)126和接收到的圖像數(shù)據(jù)128，(以及其他接收到的數(shù)據(jù)，包括音頻、例如地圖的下載的內(nèi)容、等等)。如還在圖1中表示的，控制器114可以與遠(yuǎn)程接收設(shè)備進(jìn)行通信而不通過(guò)編解碼器，例如以將命令發(fā)送到遠(yuǎn)程接收設(shè)備(包括與接收到的視頻和/或上下文信息相關(guān)的命令)，將諸如位置數(shù)據(jù)的其他上下文信息發(fā)送到遠(yuǎn)程接收設(shè)備，從遠(yuǎn)程接收設(shè)備接收其他數(shù)據(jù)，等等。

關(guān)于自動(dòng)調(diào)節(jié)，作為一個(gè)示例，網(wǎng)絡(luò)狀況(例如帶寬)可以被用于確定圖像數(shù)據(jù)要如何被發(fā)送。例如，如果沒(méi)有用戶規(guī)定特定分辨率和幀率，則自動(dòng)調(diào)節(jié)部件120可以使用默認(rèn)分辨率和幀率，或基于可以隨著狀況改變而變化的當(dāng)前網(wǎng)絡(luò)狀態(tài)126來(lái)選擇分辨率和幀率。作為另一示例，用戶可以請(qǐng)求五百萬(wàn)像素圖像以當(dāng)前由帶寬允許的任何幀率被發(fā)送；自動(dòng)調(diào)節(jié)部件120基于當(dāng)前可用帶寬來(lái)適配幀率。在本文中闡述調(diào)節(jié)分辨率和/或幀率的用戶交互的其他示例。

為了用作接收設(shè)備，示例的設(shè)備102包括編解碼器(解碼器)131，其被耦合到顯示器106以用于輸出接收到的圖像數(shù)據(jù)，包括視頻通話幀和/或靜態(tài)圖像。另外，圖像可以被存儲(chǔ)在存儲(chǔ)設(shè)備132中，例如用于根據(jù)期望重播圖像中的任何。注意，這樣的重播可以以比到接收器的實(shí)時(shí)傳輸更高的分辨率和/或幀率；例如，接收器可以在需要重播的任何時(shí)間下載完整視頻/上下文數(shù)據(jù)。另外，發(fā)送器可以使用額外的帶寬來(lái)上傳提供更高圖像分辨率的缺失幀和/或更多的數(shù)據(jù)，由此回放可以處于比實(shí)時(shí)查看更高的質(zhì)量/幀率。

圖2示出了與圖1的設(shè)備102相似的設(shè)備202，其中呈現(xiàn)了一些變化以強(qiáng)調(diào)可以與本文中描述的技術(shù)一起使用的許多可能的配置。在圖2中標(biāo)記為2xx的部件與在圖1中被標(biāo)記為1xx的部件相似，并且因此出于簡(jiǎn)潔的目的總體上不再進(jìn)行描述。

作為變化的一個(gè)示例，圖2中的顯示監(jiān)視器205可以為觸敏的或可以不為觸敏的，或者可以為外部耦合的設(shè)備(虛線框)。作為另一示例，一個(gè)或多個(gè)其他上下文源210被示出為在設(shè)備202外部。就像諸如投影儀或電視屏幕的外部顯示器234被示例，一個(gè)或多個(gè)外部輸入設(shè)備218也被示例。

如應(yīng)理解的，圖1和圖2的部件僅僅是非限制性示例，并且能夠容易地認(rèn)識(shí)到，圖1和/或圖2中示例的任何部件可以在內(nèi)部被并入到設(shè)備102中或在外部被耦合到設(shè)備102。例如，諸如臺(tái)式或膝上型計(jì)算機(jī)的設(shè)備可以具有被耦合到其的外部視頻相機(jī)，例如網(wǎng)絡(luò)攝像頭，以及被耦合到其的高分辨率靜態(tài)相機(jī)作為另一上下文源。類似地，不是所有描繪的部件都需要被呈現(xiàn)在給定實(shí)現(xiàn)方式中。

另外，圖1和圖2能夠在沒(méi)有視頻流部分的情況下進(jìn)行操作，并且因此能夠提供用于使上下文信息伴隨音頻通話的方式。如能夠容易地認(rèn)識(shí)到的，麥克風(fēng)也可以被關(guān)閉，由此音頻通話可以以另一方式做出，例如由蜂窩電話、由(例如單獨(dú)的)VoIP電話設(shè)備、由固定電話、由非蜂窩無(wú)線電通信、等等做出。

圖3示出了另一實(shí)施例，其中中介330從發(fā)送器334接收至少一些圖像數(shù)據(jù)332并且可以在將數(shù)據(jù)傳送到一個(gè)或多個(gè)接收器設(shè)備338(1)-338(n)之前以某種方式(經(jīng)由處理部件336)處理數(shù)據(jù)。例如，中介334可以使視頻通話穩(wěn)定和/或?qū)⑸舷挛男畔⑴c視頻通話幀混合。不需要從發(fā)送器接收任何上下文信息。

作為處理的一個(gè)示例，考慮發(fā)送器334具有比接收器338(1)更高的到中介330的帶寬連接。發(fā)送器334可以以相對(duì)高的幀率將相對(duì)高分辨率圖像推送到中介330?；诶缛绫粎f(xié)商到接收器參數(shù)342(1)中的接收器設(shè)備338(1)的網(wǎng)絡(luò)狀況和/或能力，中介330可以以更低的幀率和/或更低的分辨率發(fā)送圖像。例如，發(fā)送器334可以正在發(fā)送具有足夠用于高清晰度電視觀看的分辨率的圖像，然而接收器設(shè)備338(1)可以是不需要這樣的保真度的蜂窩電話，由此中介330可以降低針對(duì)該特定接收器338(1)的分辨率。

例如，數(shù)據(jù)332還可以被存儲(chǔ)在一個(gè)或多個(gè)存儲(chǔ)設(shè)備344中以用于稍后回放。就像如以上所描述的其他回放一樣，這樣的回放可以處于比到接收器的實(shí)時(shí)傳輸更高的分辨率和/或幀率，例如，因?yàn)楸冉邮掌餍枰母嗟臄?shù)據(jù)初始可用和/或因?yàn)榘l(fā)送器稍后和/或在額外帶寬的時(shí)間期間填充缺失的數(shù)據(jù)。例如，用戶可以初始保存在智能電話上的視頻通話，并且稍后在高清晰度電視上對(duì)通話進(jìn)行回放。

圖4A-4C提供了用戶可以如何對(duì)一個(gè)或多個(gè)顯示設(shè)備進(jìn)行配置以查看具有伴隨的上下文數(shù)據(jù)的視頻通話的一些示例。例如，圖4A示出了配置442，其中上下文信息與來(lái)自視頻通話的在上下文信息前面的視頻一起被呈現(xiàn)。圖4B與圖4A相似，除了上下文信息與配置444中的視頻進(jìn)行交換。以這種方式，例如，用戶可以結(jié)合上下文信息查看視頻通話，上下文信息例如一幅或多幅靜態(tài)圖像、示出發(fā)送器當(dāng)前位于哪里的地圖、等等。

在單個(gè)顯示器上，實(shí)時(shí)(或所記錄的)視頻通話幀可以被疊加在上下文信息前面，如圖4A所示(或反之亦然，如圖4B所示)，例如用戶想要放置所疊加的查看區(qū)域的任何地方?？梢源嬖诙嘤谝粋€(gè)所疊加的圖像。

備選地，兩個(gè)(或更多個(gè))顯示器可以被使用，其中一個(gè)顯示器可以是被定位在另一個(gè)較大的設(shè)備(例如，電視)前面的較小的設(shè)備(例如，膝上型計(jì)算機(jī)、可穿戴計(jì)算機(jī)、平板計(jì)算機(jī)或監(jiān)視器)。另一顯示配置可以包括被定位在所投影的顯示的前面的較小的設(shè)備。另外還有，如果源中的一個(gè)未使用或未被選擇，則用戶可以看到否則被在另一個(gè)源前面的疊加的圖像或設(shè)備遮擋的上下文信息(或視頻)。例如，如果用戶在所投影的圖像前面具有電視，則電視遮擋該所投影的圖像的一部分；然而，用戶(或自動(dòng)化過(guò)程)可以選擇以使得電視示出否則被遮擋的一部分，例如在相機(jī)未在此時(shí)捕獲任何內(nèi)容的情況下(例如，手機(jī)處于用戶的口袋中)。

圖4C示出了另一配置446，其中兩個(gè)顯示設(shè)備被定位使得一個(gè)顯示設(shè)備總體上不會(huì)遮擋另一個(gè)顯示設(shè)備。例如，諸如地圖或靜態(tài)圖像的上下文信息可以使用諸如由用戶保持的可穿戴顯示設(shè)備或膝上型計(jì)算機(jī)或平板計(jì)算機(jī)的較小的設(shè)備被顯示在電視上或經(jīng)由投影儀被顯示。

如能夠容易地認(rèn)識(shí)到的，多于兩個(gè)顯示器可以被使用，例如一個(gè)示出地圖，一個(gè)示出視頻通話幀，并且一個(gè)示出靜態(tài)圖像。此外，兩個(gè)或更多個(gè)顯示器可以與具有一個(gè)或多個(gè)疊加圖像的至少一個(gè)顯示器進(jìn)行組合以提供任何數(shù)量的可查看的顯示配置。

如本文中所描述的，任何用戶可以控制他或她如何發(fā)送或接收所傳送的內(nèi)容以及(在當(dāng)前網(wǎng)絡(luò)狀況下可能的程度上)傳輸參數(shù)。任何信息量可以出于該目的在接收器與發(fā)送器之間被交換，例如，包括如以上分別參考圖1和圖2描述的傳輸參數(shù)相關(guān)的用戶命令122和222。圖5A-5C提供示例用戶界面元素，遠(yuǎn)程接收用戶可以通過(guò)示例用戶界面元素手動(dòng)地控制上下文信息被發(fā)送的方式。

例如，圖5A示出了以允許接收用戶權(quán)衡質(zhì)量對(duì)幀率的滑動(dòng)條552的形式的示例用戶界面元素。例如，購(gòu)買商品的遠(yuǎn)程接收用戶可以請(qǐng)求發(fā)送器將相機(jī)瞄準(zhǔn)商品，其中遠(yuǎn)程用戶選擇最高可能的質(zhì)量以查看該商品的比在典型視頻通話的幀率期間可用的分辨率更高的分辨率的圖像。注意，在圖5A的示例中，遠(yuǎn)程接收用戶已經(jīng)選擇了(經(jīng)由單選按鈕554的設(shè)置)手動(dòng)控制以完成該權(quán)衡。然而，發(fā)送器可以代替地在遠(yuǎn)程用戶請(qǐng)求時(shí)這么做，例如，通過(guò)使發(fā)送器控制幀率對(duì)質(zhì)量。實(shí)際上，如果接收器設(shè)備不具有這樣的能力，但是發(fā)送器設(shè)備具有，則接收用戶可以例如口頭地以請(qǐng)求的方式請(qǐng)求發(fā)送器發(fā)送視頻/圖像并獲得相同的益處。

因此，容易認(rèn)識(shí)到，接收用戶可以采取的任何動(dòng)作可以代替地在發(fā)送器側(cè)被采取(如下面參考圖6A-6C所描述的)?？梢岳缤ㄟ^(guò)使接收器例如經(jīng)由圖5A-5C的單選按鈕554決定是否聽從發(fā)送器來(lái)防止沖突。備選地，可以使用另一適當(dāng)?shù)臎_突解決方案。

圖5B提供了另一備選方案，其中接收用戶可以經(jīng)由下拉菜單556選擇上下文圖像的質(zhì)量，例如以期望數(shù)量的(例如，四)百萬(wàn)像素。在該示例中，接收用戶已經(jīng)(經(jīng)由下拉菜單558)規(guī)定了圖像的幀率處于最高可能的速率(給定網(wǎng)絡(luò)狀況)。然而，可以做出備選選擇，包括接收用戶想要在某個(gè)規(guī)定數(shù)量的秒之后或根據(jù)需要(例如，在諸如按鈕按下的進(jìn)一步的用戶交互后)進(jìn)行圖像刷新?？梢苑乐菇邮沼脩暨x擇比在給定當(dāng)前網(wǎng)絡(luò)狀態(tài)的情況下可能的分辨率和/或幀率更高的分辨率和/或更高的幀率。

圖5C示出了接收用戶可以如何選擇什么相機(jī)正在示出什么信息的示例。通過(guò)示例，接收用戶可以選擇來(lái)自發(fā)送器的后置相機(jī)的視頻和來(lái)自發(fā)送器的前置相機(jī)的上下文信息(例如，靜態(tài)圖像)。其他選項(xiàng)包括將相機(jī)關(guān)閉。注意，在該示例中，關(guān)于幀率和質(zhì)量選擇“自動(dòng)”控制，然而，要理解，這樣的選項(xiàng)利用手動(dòng)控制的和/或發(fā)送器控制的傳輸來(lái)工作。這樣的界面元素等等允許接收用戶改變?cè)诎l(fā)送器處的參數(shù)，使得示出上下文的相機(jī)改變?yōu)槭境鲆曨l(例如，較低的分辨率，較高的幀率圖像)，和/或反之亦然。

圖6A-6C與圖5A-5C相似，但是從發(fā)送器的視角/設(shè)備，并且因此具有使發(fā)送器控制的選項(xiàng)。出于簡(jiǎn)潔的目的，部件是相似的并且因此不再詳細(xì)重復(fù)，除了注意圖5A-5C中的標(biāo)記為55x的部件在圖6A-6C中被示出為66x，其中發(fā)送器具有使接收器控制的選項(xiàng)。如以上提到的，在發(fā)送器和接收器試圖處于控制中或兩者試圖聽從控制的情況下，可以使用適當(dāng)?shù)臎_突解決方案。

通過(guò)發(fā)送設(shè)備控制的示例，考慮用戶想要向接收方提供上下文信息，但是決定實(shí)況視頻流不是(至少不完全是)最好的方式。例如，對(duì)維持隱私感興趣的發(fā)送器可以決定每三十秒向接收方發(fā)送快照?qǐng)D像。在另一示例中，發(fā)送器決定沒(méi)什么事正在發(fā)生并且實(shí)況視頻低效、成本高、消耗電池等等；這樣的發(fā)送器可以規(guī)定“低幀率”直到感興趣的事情發(fā)生，在此時(shí)發(fā)送器可以規(guī)定“高幀率”。另外，發(fā)送用戶可以指導(dǎo)幀率和分辨率兩者以優(yōu)化與經(jīng)歷不相關(guān)的度量；例如當(dāng)處于會(huì)話中時(shí)在屏幕的一半上對(duì)實(shí)況籃球比賽進(jìn)行流傳輸時(shí)，發(fā)送用戶可以降低上下文信息的幀率和分辨率兩者以節(jié)省帶寬和/或電池。

另外還有，發(fā)送器可以規(guī)定設(shè)備僅僅當(dāng)人的臉被捕獲時(shí)或者基于可經(jīng)由圖像處理檢測(cè)的某種其他狀態(tài)(例如，其中沒(méi)有人的場(chǎng)景)發(fā)送圖像。在這樣的情形下，幀率可以是非常不規(guī)則的；例如，系統(tǒng)能夠(至少在某種程度上)當(dāng)幀率改變時(shí)自動(dòng)調(diào)節(jié)分辨率。

圖7A-7D示出了用戶可以如何控制他的或她的一個(gè)或多個(gè)顯示器以匹配接收到的內(nèi)容的一些示例；(注意可以使用比示出的名稱更具描述性的名稱，并且可以存在多于兩個(gè)設(shè)備)。例如，如能夠在圖7A的界面770中看到的，用戶正在查看顯示器1上的上下文信息(例如，較高的分辨率，慢幀率圖像)，并且已經(jīng)關(guān)閉了顯示器2。注意，接收器能夠告訴發(fā)送器不要將數(shù)據(jù)發(fā)送到被關(guān)閉的顯示器，并且因此不浪費(fèi)傳輸帶寬。

在圖7B的示例用戶界面部件772中，上下文(完整屏幕)和視頻(疊加的)兩者正在被顯示在用戶的單個(gè)顯示器上。用戶可以選擇將一個(gè)(或兩個(gè))關(guān)閉，并且還可以關(guān)于哪個(gè)被疊加和哪個(gè)是完整屏幕地選擇交換視圖。

在圖7C的示例用戶界面部件774中，用戶正在查看投影儀上的上下文(地圖)、諸如平板計(jì)算機(jī)或可穿戴顯示器的伴隨設(shè)備上的視頻以及電視上的額外的上下文(照片)。在該示例中，用戶具有投影儀，并且已經(jīng)選擇了要經(jīng)由投影儀被顯示的一種類型的上下文(地圖)、要被顯示在電視上的諸如靜態(tài)圖像的另一類型的上下文以及要被顯示在伴隨設(shè)備上的視頻幀。如果例如額外的上下文可用但是第三顯示設(shè)備不可用，則用戶可以將額外的上下文或視頻疊加在可用的顯示器上，經(jīng)由拆分屏幕等待查看額外的上下文。

注意，伴隨設(shè)備可以為音頻設(shè)備，包括不能夠示出任何視頻的音頻設(shè)備。例如，用戶可以在音頻設(shè)備上進(jìn)行與另一方的通話，并且單獨(dú)地使用計(jì)算機(jī)和/或電視來(lái)將上下文信息傳達(dá)到另一方和/或從另一方傳達(dá)上下文信息。

圖7D示出了選擇可以如何發(fā)生。例如，如果伴隨設(shè)備的電池正在變低，則用戶可以選擇將視頻和上下文拆開，或者將視頻疊加在電視上。如能夠容易認(rèn)識(shí)到的，任何實(shí)際數(shù)量的物理或分開的顯示器可以被用于示出任何數(shù)量的相機(jī)視圖和上下文信息的源。

如能夠容易認(rèn)識(shí)到的，圖4A-4C、圖5A-5C、圖6A-6C和圖7A-7D的非限制性示例僅僅是用戶能夠根據(jù)期望選擇并查看視頻和/或上下文信息的可能的方式中的一些。這包括選擇如何經(jīng)由一個(gè)或多個(gè)顯示器查看內(nèi)容以及如何相對(duì)于保真度對(duì)幀率查看內(nèi)容。

圖8A-8C涉及示例發(fā)送器側(cè)操作。如以上所提到的，在接收器側(cè)進(jìn)行的事實(shí)上任何事情可以在發(fā)送器側(cè)進(jìn)行，然而發(fā)送器可以具有額外的控制。例如，經(jīng)由圖8A的示例界面880，發(fā)送器可以打開或關(guān)閉相機(jī)，以及選擇相機(jī)是否對(duì)應(yīng)于發(fā)送視頻(較低分辨率，較高幀率)或上下文(較高分辨率，較高幀率)。另一選項(xiàng)是使發(fā)送器選擇允許接收器確定相機(jī)開關(guān)狀態(tài)和/或傳輸參數(shù)的設(shè)置。

圖8B示例允許發(fā)送器捕獲并根據(jù)需要發(fā)送靜態(tài)圖像的另一界面。例如，考慮接收器正在請(qǐng)求某個(gè)對(duì)象的特寫的高分辨率圖像。為了這么做，圖8B通知發(fā)送器該請(qǐng)求，并且因此允許發(fā)送器對(duì)相機(jī)進(jìn)行適當(dāng)?shù)囟ㄎ?，保持其穩(wěn)定，并且之后采取動(dòng)作(例如，按下按鈕882)以當(dāng)發(fā)送器感覺(jué)到一切都正確時(shí)捕獲圖像。注意，也能夠使接收器啟動(dòng)捕獲。

因此，遠(yuǎn)程接收用戶可以向發(fā)送設(shè)備指示他或她想要拍攝圖片或調(diào)節(jié)視頻參數(shù)。在一個(gè)實(shí)現(xiàn)方式中，這可以是現(xiàn)有視頻通話(例如，)界面中的新的按鈕。在備選實(shí)現(xiàn)方式中，這可以是由用戶鍵入的特殊文本命令。在另一備選實(shí)現(xiàn)方式中，遠(yuǎn)程用戶可以使用按鈕、手勢(shì)、語(yǔ)音、EEG監(jiān)視器或其他輔助設(shè)備來(lái)解釋本地用戶的意圖并發(fā)出請(qǐng)求或命令。

圖8C是發(fā)送器控制的另一示例?？紤]接收器具有地圖并且想要知道發(fā)送器在哪里。經(jīng)由示例的單選按鈕884，發(fā)送器可以選擇不公開位置，或者定期地(例如每幾秒)或以依賴于發(fā)送器的當(dāng)前行進(jìn)速度的速率公開位置。另一選項(xiàng)是使發(fā)送器僅僅當(dāng)準(zhǔn)備好時(shí)根據(jù)需要(例如，經(jīng)由按鈕886)發(fā)送位置數(shù)據(jù)。

圖9是表示可以關(guān)于當(dāng)設(shè)備正在用作接收器時(shí)使用的示例步驟/邏輯的流程圖，以其中獲得用戶輸入(如果有的話)的步驟902開始。在步驟904處，確定/獲得當(dāng)前網(wǎng)絡(luò)狀態(tài)(狀況)。如能夠容易地認(rèn)識(shí)到的，圖9中的示例步驟中的至少一些的順序可以被改變。

步驟906評(píng)估接收器的用戶是否已經(jīng)決定聽從發(fā)送器的傳輸決定/參數(shù)(例如，什么(多個(gè))相機(jī)、(多個(gè))分辨率、(多個(gè))幀率以及任何其他可選擇的選項(xiàng))。如果是的話，步驟908(連同步驟916和918)通知發(fā)送器該決定，并且可以提供信息以幫助發(fā)送器，例如包括接收器設(shè)備的最大分辨率和/或接收器的網(wǎng)絡(luò)狀況。如果聽從發(fā)送器，則步驟916表示發(fā)送器的本地UI部件和/或本地簡(jiǎn)檔設(shè)置，連同(可能地)被用于對(duì)命令進(jìn)行格式化的任何其他可用數(shù)據(jù)，例如網(wǎng)絡(luò)狀態(tài)和遠(yuǎn)程地提供的信息，其被提供到發(fā)送器的控制器以用于在步驟918處使用。

如果接收用戶沒(méi)有選擇聽從發(fā)送器，則接收用戶可以經(jīng)由步驟910和912選擇使用自動(dòng)設(shè)置(其可以通過(guò)默認(rèn)或經(jīng)由保存的用戶偏好設(shè)置)?？傮w上，步驟912基于包括當(dāng)前網(wǎng)絡(luò)狀況的任何適當(dāng)?shù)臏?zhǔn)則來(lái)計(jì)算分辨率和幀率。以這種方式，用戶可以簡(jiǎn)單地參與視頻通話而沒(méi)有關(guān)于選擇參數(shù)的任何特定交互。

注意，可以被傳達(dá)的另一設(shè)置可以通知發(fā)送器如何處理減少的網(wǎng)絡(luò)帶寬狀況。例如，用戶可以請(qǐng)求八百萬(wàn)像素圖像每五秒被發(fā)送，并且還規(guī)定如何在給定帶寬使其不可能時(shí)發(fā)送圖像。例如，用戶可以請(qǐng)求發(fā)送器在圖像不能夠以期望的速率被發(fā)送時(shí)壓制幀率，或者壓縮分辨率但是保持速率穩(wěn)定，或者規(guī)定經(jīng)壓制的幀率和經(jīng)壓縮的分辨率的組合(其在選擇時(shí)可以被自動(dòng)計(jì)算)。

另外注意，步驟912允許用戶使用保存的自動(dòng)設(shè)置，使得在典型網(wǎng)絡(luò)狀況期間，用戶可以重復(fù)先前的經(jīng)歷。保存的設(shè)置的集合可以與簡(jiǎn)檔等等相關(guān)聯(lián)，例如“購(gòu)物”簡(jiǎn)檔可以以低幀率自動(dòng)示出較高分辨率圖像，其中小實(shí)況視頻被疊加在圖像的一部分上，然而“地圖”簡(jiǎn)檔可以自動(dòng)選擇以在背景中連同視頻(以高幀率的較低分辨率圖像)顯示示出發(fā)送器的當(dāng)前位置的相對(duì)靜態(tài)地圖。然而，注意，用戶能夠受制于帶寬限制在通話期間的任何時(shí)間改變當(dāng)前設(shè)置。

如由步驟914表示的，用戶可以提供用戶輸入以改變?nèi)魏卧O(shè)置，包括覆蓋任何默認(rèn)或先前設(shè)置。通過(guò)示例，圖5A-5C中示例的用戶界面元素可以在通話之前或期間被交互以向用戶提供期望的體驗(yàn)。

步驟916和918分別表示對(duì)可以包括任何對(duì)應(yīng)的數(shù)據(jù)的適當(dāng)?shù)拿钸M(jìn)行格式化并將其提供(傳達(dá))到控制器。如果接收設(shè)備控制正在發(fā)生，則事實(shí)上任何商定的命令結(jié)構(gòu)/協(xié)議可以被用于將命令傳達(dá)到發(fā)送設(shè)備，并且用于將得到的視頻和/或上下文信息(以及可選地視頻參數(shù)中的改變的確認(rèn))返回到請(qǐng)求的用戶接收設(shè)備。例如，在一個(gè)實(shí)現(xiàn)方式中，這樣的協(xié)議可以被分層在現(xiàn)有視頻通話命令協(xié)議之上。在另一實(shí)現(xiàn)方式中，通信/協(xié)議可以通過(guò)在發(fā)送設(shè)備與接收設(shè)備之間的單獨(dú)的網(wǎng)絡(luò)連接。

除了幀率和/或分辨率請(qǐng)求，設(shè)備能力可以被交換、被協(xié)商、等等。另外，可能對(duì)發(fā)送器和/或接收器有用的其他信息可以被傳達(dá)，例如設(shè)備電池狀態(tài)、計(jì)劃使用的/剩余的數(shù)據(jù)量、顯示器屏幕大小、等等。諸如縮放、搖移、滾動(dòng)、對(duì)焦、等等的相機(jī)控制命令也可以被發(fā)送。

步驟920在通話期間重復(fù)該過(guò)程。這允許用戶交互式地改變?cè)O(shè)置并且還允許適應(yīng)改變的網(wǎng)絡(luò)狀況。

如能夠在圖9的示例中看到的，接收側(cè)可以聽從發(fā)送器的設(shè)置選擇，或者可以選擇主管傳輸，無(wú)論是自動(dòng)的還是手動(dòng)的，例如在下表中示例的：

圖10表示當(dāng)設(shè)備正在發(fā)送數(shù)據(jù)并且因此用作相對(duì)于接收器的發(fā)送器側(cè)時(shí)可以被使用的示例步驟/邏輯，其在其中獲得任何用戶命令和數(shù)據(jù)的步驟1002處開始。步驟1004表示確定/獲得當(dāng)前網(wǎng)絡(luò)狀況。注意，發(fā)送器的當(dāng)前網(wǎng)絡(luò)狀況可以與接收器的網(wǎng)絡(luò)狀況不同，包括在中介存在的情況下(例如圖3)。

步驟1006評(píng)估其他(接收)用戶是否已經(jīng)關(guān)于數(shù)據(jù)將要如何被發(fā)送聽從發(fā)送器。如以上所提到的，這在接收設(shè)備不具有用于將命令傳達(dá)到發(fā)送器的邏輯的情況下為默認(rèn)條件，(除了例如口頭上或經(jīng)由由用戶進(jìn)行的文本消息傳送)，并且還能夠在接收用戶不想要交互以改變?cè)O(shè)置或不理解如何這么做的情況下被使用。

如果聽從發(fā)送器，則步驟1008基于任何發(fā)送器設(shè)置(其可以為默認(rèn)設(shè)置和/或保存的設(shè)置)和當(dāng)前網(wǎng)絡(luò)狀況來(lái)計(jì)算幀率和分辨率。幀率和分辨率可以可選地基于接收器的最大分辨率和/或接收器的網(wǎng)絡(luò)狀況，以及可能地諸如接收器顯示器大小的其他信息。注意，可以針對(duì)例如在可用的帶寬之間被平衡的視頻數(shù)據(jù)和上下文信息做出單獨(dú)的計(jì)算。

如果未聽從發(fā)送器，則步驟1008表示使用接收器的命令/數(shù)據(jù)以基于當(dāng)前網(wǎng)絡(luò)狀況來(lái)計(jì)算分辨率和幀率。如本文中所描述的，這允許接收用戶以期望的方式查看視頻和/或上下文信息，包括在視頻通話期間做出任何調(diào)節(jié)。注意，與聽從發(fā)送器對(duì)比，接收用戶能夠改變以在通話期間采取控制(并且反之亦然)。

步驟1012表示以所計(jì)算的一個(gè)或多個(gè)幀率傳送視頻和/或上下文信息。如果視頻和上下文信息正在被發(fā)送，則數(shù)據(jù)可以被混合到一個(gè)信道上并且稍后被分開在單獨(dú)的信道上或在單獨(dú)的信道上被傳送。步驟1014繼續(xù)過(guò)程直到通話結(jié)束。

步驟1016表示評(píng)估是否已經(jīng)從接收用戶設(shè)備接收到新的命令。如果是的話，則過(guò)程從步驟1002重復(fù)，其允許接收用戶在通話期間調(diào)節(jié)傳輸設(shè)置。

步驟1018和1020允許改變網(wǎng)絡(luò)狀況。評(píng)估網(wǎng)絡(luò)狀況是否已經(jīng)改變的步驟1020可以僅僅在狀態(tài)充分地改變計(jì)算以改變分辨率和/或幀率的情況下認(rèn)為網(wǎng)絡(luò)狀況改變。如果沒(méi)有從接收器接收到新的命令并且網(wǎng)絡(luò)狀況不使得分辨率和/或幀率需要被改變，則步驟1012被重復(fù)以繼續(xù)以期望的幀率發(fā)送圖像數(shù)據(jù)和/或任何非圖像上下文數(shù)據(jù)。

如能夠在圖10的示例中看出的，可以告訴發(fā)送側(cè)做出設(shè)置選擇，或者可以使用由接收側(cè)發(fā)送的設(shè)置選擇，例如在下表中示例的：

如能夠看出的，本文中描述的技術(shù)的一個(gè)或多個(gè)方面支持在音頻或視頻通話期間接收上下文信息。這可以包括在通話期間在接收設(shè)備處或在傳送上下文信息的發(fā)送設(shè)備處獲得用戶設(shè)置，其中用戶設(shè)置由發(fā)送設(shè)備或接收設(shè)備用于確定用于傳輸上下文信息的分辨率數(shù)據(jù)和/或幀率數(shù)據(jù)。接收到的上下文信息可以用于在通話期間顯示上下文。例如，顯示上下文可以包括將上下文信息的可見表示渲染到一個(gè)顯示設(shè)備，并且在視頻通話的情況下將視頻通話的視頻輸出到另一顯示設(shè)備。

分辨率數(shù)據(jù)和/或幀率數(shù)據(jù)可以通過(guò)訪問(wèn)保存的簡(jiǎn)檔信息根據(jù)用戶設(shè)置來(lái)確定。

在一個(gè)方面中，如果通話是視頻通話，則上下文信息可以被接收為除了在視頻通話期間接收到的默認(rèn)視頻流的至少一幅圖像。上下文信息可以以圖像幀率和圖像分辨率被接收為一系列圖像，其中圖像幀率低于在視頻通話期間接收到的默認(rèn)視頻流的視頻幀率，并且其中圖像分辨率高于在視頻通話期間接收到的視頻幀的分辨率。

上下文信息可以包括多幅圖像；用戶設(shè)置可以通過(guò)提供包括至少一個(gè)交互式控制的用戶界面來(lái)獲得，用戶可以通過(guò)至少一個(gè)交互式控制a)增大或減小圖像的圖像分辨率，b)增大或減小接收?qǐng)D像的幀率，c)在增大接收?qǐng)D像的幀率的同時(shí)減小圖像的圖像分辨率，或者d)在減小接收?qǐng)D像的幀率的同時(shí)增大圖像的圖像分辨率。

信息可以被提供到發(fā)送設(shè)備以指令發(fā)送設(shè)備捕獲圖像，或者以指令發(fā)送設(shè)備的用戶啟動(dòng)圖像的捕獲。

上下文信息可以被存儲(chǔ)以用于在通話期間和/或在通話之后重播。

一個(gè)或多個(gè)方面涉及一種控制器部件，其被耦合到或被并入到被配置為參與和接收設(shè)備的視頻通話的發(fā)送設(shè)備?？刂破鞑考慌渲脼樵谝曨l通話期間控制上下文圖像信息的傳輸，包括被配置為至少部分地基于在發(fā)送設(shè)備本地獲得的或從接收設(shè)備獲得的一個(gè)或多個(gè)命令來(lái)控制針對(duì)上下文圖像信息的分辨率和幀率。例如，控制器部件可以被耦合到編解碼器以經(jīng)由被提供到編解碼器的一個(gè)或多個(gè)參數(shù)控制上下文圖像的傳輸?？刂破鞑考梢酝ㄟ^(guò)編解碼器的選擇來(lái)控制上下文圖像的傳輸?？刂破骺梢垣@得或確定網(wǎng)絡(luò)狀態(tài)數(shù)據(jù)，并且至少部分地基于網(wǎng)絡(luò)狀態(tài)數(shù)據(jù)來(lái)調(diào)節(jié)上下文圖像信息的分辨率和/或幀率。

發(fā)送設(shè)備可以被耦合到(和/或并入)相機(jī)，其中控制器部件控制對(duì)針對(duì)每個(gè)相機(jī)的圖像流的發(fā)送，包括經(jīng)由至少一個(gè)編解碼器的控制。設(shè)備可以經(jīng)由處理用于傳輸?shù)竭h(yuǎn)程接收方的上下文圖像信息或視頻或兩者的至少部分的中介被耦合到遠(yuǎn)程接收方。

一個(gè)或多個(gè)方面涉及在音頻或視頻通話期間控制對(duì)上下文信息的傳輸。上下文信息在發(fā)送上下文信息的發(fā)送設(shè)備與接收上下文信息的接收設(shè)備之間被傳送。在發(fā)送設(shè)備處的一個(gè)或多個(gè)命令可以被用于控制用于傳送上下文信息的幀率數(shù)據(jù)和/或分辨率數(shù)據(jù)。上下文信息可以被記錄以用于回放上下文信息。幀率數(shù)據(jù)可以至少部分地基于期望的分辨率和/或網(wǎng)絡(luò)狀態(tài)數(shù)據(jù)、和/或來(lái)自保存的簡(jiǎn)檔數(shù)據(jù)的用戶設(shè)置來(lái)計(jì)算。

發(fā)送設(shè)備可以a)在可用帶寬不夠的情況下降低分辨率以維持幀率，b)在可用帶寬不夠的情況下降低幀率以維持分辨率，c)降低分辨率并降低幀率，d)在降低或維持幀率的同時(shí)增大分辨率，e)在降低或維持分辨率的同時(shí)增大幀率，或者f)增大幀率并增大分辨率。

示例操作環(huán)境

能夠容易地認(rèn)識(shí)到，上述實(shí)現(xiàn)方式及其備選方案可以被實(shí)現(xiàn)在任何適當(dāng)?shù)挠?jì)算設(shè)備上，任何適當(dāng)?shù)挠?jì)算設(shè)備包括移動(dòng)電話、游戲/娛樂(lè)系統(tǒng)、個(gè)人(例如，膝上型或臺(tái)式)計(jì)算機(jī)、平板計(jì)算設(shè)備、手持計(jì)算設(shè)備、DVR、電視機(jī)頂盒、可穿戴計(jì)算設(shè)備、等等。當(dāng)多個(gè)這樣的設(shè)備被鏈接在一起時(shí)，這樣的設(shè)備的組合也是可行的。為了描述，智能電話在下文中被描述為示例操作環(huán)境。

圖11圖示了本文中描述的主題的多個(gè)方面可以被實(shí)施在其上的適當(dāng)?shù)脑O(shè)備1000(諸如移動(dòng)設(shè)備)的示例。設(shè)備1100僅僅是設(shè)備的一個(gè)示例并且不旨在暗示對(duì)本文中描述的主題的多個(gè)方面的使用或功能的范圍的任何限制。設(shè)備1100也不應(yīng)當(dāng)被理解為具有與在示例設(shè)備1100中圖示的任何一個(gè)部件或部件的組合的任何依賴性或要求。

參考圖11，用于實(shí)施本文中描述的主題的多個(gè)方面的示例設(shè)備包括設(shè)備1100。在一些實(shí)施例中，設(shè)備1100包括蜂窩電話、允許與其他人進(jìn)行語(yǔ)音通信的手持設(shè)備、某種其他語(yǔ)音通信設(shè)備、等等。在這些實(shí)施例中，設(shè)備1100可以被裝備有用于拍攝圖片的相機(jī)，但是這在其他實(shí)施例中可以是不需要的。在其他實(shí)施例中，設(shè)備1100可以包括個(gè)人數(shù)字助理(PDA)、手持游戲設(shè)備、筆記本計(jì)算機(jī)、打印機(jī)、包括機(jī)頂盒的裝置、媒體中心、個(gè)人計(jì)算機(jī)或其他裝置、其他移動(dòng)設(shè)備、等等。在另外的其他實(shí)施例中，設(shè)備1100可以包括總體上被認(rèn)為是不可移動(dòng)的設(shè)備，例如個(gè)人計(jì)算機(jī)、具有大顯示器(桌面和/或墻式安裝的顯示器和/或帶標(biāo)題的顯示器)的計(jì)算機(jī)、服務(wù)器、等等。

設(shè)備1100的部件可以包括但不限于處理單元1105、系統(tǒng)存儲(chǔ)器1110、以及將包括系統(tǒng)存儲(chǔ)器1110的各個(gè)系統(tǒng)部件耦合到處理單元1105的總線1115?？偩€1115可以包括若干類型的總線結(jié)構(gòu)中的任何，包括存儲(chǔ)器總線、存儲(chǔ)器控制器、外圍總線和使用各種總線架構(gòu)中的任何的本地總線、等等。總線1115允許數(shù)據(jù)在移動(dòng)設(shè)備1100的各個(gè)部件之間被傳送。

移動(dòng)設(shè)備1100可以包括各種計(jì)算機(jī)可讀介質(zhì)。計(jì)算機(jī)可讀介質(zhì)可以為可以由移動(dòng)設(shè)備1100訪問(wèn)的并且包括易失性介質(zhì)和非易失性介質(zhì)以及可移除介質(zhì)和不可移除介質(zhì)兩者的任何可用介質(zhì)。通過(guò)舉例而非限制性的方式，計(jì)算機(jī)可讀介質(zhì)可以包括計(jì)算機(jī)存儲(chǔ)介質(zhì)和通信介質(zhì)。計(jì)算機(jī)存儲(chǔ)介質(zhì)包括以任何方法或技術(shù)實(shí)現(xiàn)的用于存儲(chǔ)諸如計(jì)算機(jī)可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊或其他數(shù)據(jù)的信息的易失性介質(zhì)和非易失性介質(zhì)、可移除介質(zhì)和不可移除介質(zhì)。計(jì)算機(jī)存儲(chǔ)介質(zhì)包括但不限于RAM、ROM、EEPROM、閃存或其他存儲(chǔ)器技術(shù)、CD-ROM、數(shù)字多用盤(DVD)或其他光學(xué)盤存儲(chǔ)裝置、磁帶盒、磁帶、磁盤存儲(chǔ)裝置或其他磁性存儲(chǔ)設(shè)備、或者能夠被用于存儲(chǔ)期望信息并且能夠由移動(dòng)設(shè)備1100訪問(wèn)的任何其他介質(zhì)。

通信介質(zhì)通常體現(xiàn)計(jì)算機(jī)可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊或諸如載波或其他傳輸機(jī)制的經(jīng)調(diào)制的數(shù)據(jù)信號(hào)中的其他數(shù)據(jù)并且包括任何信息遞送介質(zhì)。術(shù)語(yǔ)“經(jīng)調(diào)制的數(shù)據(jù)信號(hào)”意指以使得在信號(hào)中編碼信息的方式設(shè)置或改變其特性中的一個(gè)或多個(gè)的信號(hào)。通過(guò)舉例而非限制的方式，通信介質(zhì)包括諸如有線網(wǎng)絡(luò)或直接有線連接的有線介質(zhì)和諸如聲學(xué)、RF、無(wú)線USB、紅外、Wi-Fi、WiMAX和其他無(wú)線介質(zhì)的無(wú)線介質(zhì)。以上中的任何的組合還應(yīng)當(dāng)被包含在計(jì)算機(jī)可讀介質(zhì)的范圍內(nèi)。

系統(tǒng)存儲(chǔ)器1110包括以易失性存儲(chǔ)器和/或非易失性存儲(chǔ)器的形式的計(jì)算機(jī)存儲(chǔ)介質(zhì)并且可以包括只讀存儲(chǔ)器(ROM)和隨機(jī)訪問(wèn)存儲(chǔ)器(RAM)。在諸如蜂窩電話的移動(dòng)設(shè)備上，操作系統(tǒng)代碼1120有時(shí)被包含在ROM中，但是在其他實(shí)施例中這是不需要的。類似地，應(yīng)用程序1125常常被放置在RAM中，但是同樣地在其他實(shí)施例中應(yīng)用程序可以被放置在ROM中或其他計(jì)算機(jī)可讀存儲(chǔ)器中。堆1130提供針對(duì)與操作系統(tǒng)1120和應(yīng)用程序1125相關(guān)聯(lián)的狀態(tài)的存儲(chǔ)器。例如，操作系統(tǒng)1120和應(yīng)用程序1125可以在它們的操作期間將變量和數(shù)據(jù)結(jié)構(gòu)存儲(chǔ)在堆1130中。

移動(dòng)設(shè)備1100還可以包括其他可移除存儲(chǔ)器/不可移除存儲(chǔ)器、易失性存儲(chǔ)器/非易失性存儲(chǔ)器。通過(guò)舉例的方式，圖11圖示了閃存卡1135、硬盤驅(qū)動(dòng)器1136、以及記憶棒1137。例如，硬盤驅(qū)動(dòng)器1136可以被微型化以適應(yīng)存儲(chǔ)器槽。移動(dòng)設(shè)備1100可以經(jīng)由可移除存儲(chǔ)器接口1131與這些類型的非易失性可移除存儲(chǔ)器對(duì)接，或者可以經(jīng)由通用串行總線(USB)、IEEE 10394、(多個(gè))有線端口1140中的一個(gè)或多個(gè)或(多個(gè))天線1165連接。在這些實(shí)施例中，可移除存儲(chǔ)器設(shè)備1135-1137可以經(jīng)由(多個(gè))通信模塊1132與移動(dòng)設(shè)備對(duì)接。在一些實(shí)施例中，不是所有這些類型的存儲(chǔ)器都可以被包含在單個(gè)移動(dòng)設(shè)備上。在其他實(shí)施例中，這些和其他類型的可移除存儲(chǔ)器中的一個(gè)或多個(gè)可以被包含在單個(gè)移動(dòng)設(shè)備上。

在一些實(shí)施例中，硬盤驅(qū)動(dòng)器1136可以以使得更永久地附接到移動(dòng)設(shè)備1100的方式被連接。例如，硬盤驅(qū)動(dòng)器1136可以被連接到諸如并行高級(jí)技術(shù)附件(PATA)、串行高級(jí)技術(shù)附件(SATA)或其他的接口，其可以被連接到總線1115。在這樣的實(shí)施例中，移除硬盤驅(qū)動(dòng)器可以包括移除移動(dòng)設(shè)備1100的蓋并移除將硬盤驅(qū)動(dòng)器1136連接到移動(dòng)設(shè)備1100內(nèi)的支撐結(jié)構(gòu)的螺釘或其他緊固件。

以上討論的和圖示在圖11中的可移除存儲(chǔ)器設(shè)備1135-1137和它們的相關(guān)聯(lián)的計(jì)算機(jī)存儲(chǔ)介質(zhì)提供針對(duì)移動(dòng)設(shè)備1100的計(jì)算機(jī)可讀指令、程序模塊、數(shù)據(jù)結(jié)構(gòu)和其他數(shù)據(jù)的存儲(chǔ)。例如，一個(gè)或多個(gè)可移除存儲(chǔ)器設(shè)備1135-1137可以存儲(chǔ)由移動(dòng)設(shè)備1100拍攝的圖像、語(yǔ)音記錄、聯(lián)系人信息、程序、針對(duì)程序的數(shù)據(jù)、等等。

用戶可以通過(guò)諸如小鍵盤1141(其可以為打印鍵盤)和麥克風(fēng)1142的輸入設(shè)備將命令和信息輸入到移動(dòng)設(shè)備1100中。在一些實(shí)施例中，顯示器1143可以是觸敏屏幕(或者甚至支持筆和/或接觸)并且可以允許用戶將命令和信息輸入到其上。小鍵盤1141和顯示器1143可以通過(guò)耦合到總線1115的用戶輸入接口1150被連接到處理單元1105，但是還可以由諸如(多個(gè))通信模塊1132和(多個(gè))有線端口1140的其他接口和總線結(jié)構(gòu)連接。運(yùn)動(dòng)檢測(cè)1152可以用于確定關(guān)于設(shè)備1100做出的手勢(shì)。

例如，用戶可以經(jīng)由對(duì)麥克風(fēng)1142講話和經(jīng)由在小鍵盤1141上輸入的文本消息或觸敏顯示器1143來(lái)與其他用戶進(jìn)行通信。音頻單元1155可以提供電信號(hào)以驅(qū)動(dòng)揚(yáng)聲器1144以及接收和數(shù)字化從麥克風(fēng)1142接收到的音頻信號(hào)。

實(shí)際上，相對(duì)于手動(dòng)控制，用戶可以使用各種交互式模態(tài)中的任何作為輸入設(shè)備，例如鼠標(biāo)、觸摸屏、游戲控制器、遠(yuǎn)程控制、等等。語(yǔ)音和/或手勢(shì)可以被檢測(cè)為控制設(shè)置?？刂瓶梢杂芍T如鼠標(biāo)、鍵盤、遠(yuǎn)程控制的傳統(tǒng)接口或經(jīng)由諸如自然用戶接口(NUI)的其他接口來(lái)支持，其中NUI可以總體上被定義為使得用戶能夠以“自然的”方式免于由諸如鼠標(biāo)、鍵盤、遠(yuǎn)程空間、等等的輸入設(shè)備施加的人工約束地與設(shè)備交互的任何接口技術(shù)。NUI方法的示例包括依賴于語(yǔ)音識(shí)別、觸摸和觸筆識(shí)別、在屏幕上的并且鄰近屏幕的手勢(shì)識(shí)別、空中手勢(shì)、頭和眼跟蹤、聲音和語(yǔ)音、視覺(jué)、觸摸、手勢(shì)和機(jī)器智能的那些。其他種類的NUI技術(shù)包括觸敏顯示器、聲音和語(yǔ)音識(shí)別、意圖和目標(biāo)理解、使用深度相機(jī)(例如立體相機(jī)系統(tǒng)、紅外相機(jī)系統(tǒng)、RGB相機(jī)系統(tǒng)和這些的組合)的運(yùn)動(dòng)手勢(shì)檢測(cè)、使用加速度計(jì)/陀螺儀的運(yùn)動(dòng)手勢(shì)檢測(cè)、面部識(shí)別、3D顯示器、頭、眼和凝視跟蹤、沉浸式增強(qiáng)現(xiàn)實(shí)和虛擬現(xiàn)實(shí)系統(tǒng)以及用于使用電場(chǎng)感測(cè)電極來(lái)感測(cè)大腦活動(dòng)的技術(shù)。

移動(dòng)設(shè)備1100可以包括提供信號(hào)以驅(qū)動(dòng)相機(jī)1161的視頻單元1160。視頻單元1160還可以接收由相機(jī)1161獲得的圖像并將這些圖像提供給包含于移動(dòng)設(shè)備1100上的處理單元1105和/或存儲(chǔ)器。由相機(jī)1161獲得的圖像可以包括視頻、不形成視頻的一幅或多幅圖像、或其特定組合。

(多個(gè))通信模塊1132可以向一個(gè)或多個(gè)天線1165提供信號(hào)和接收來(lái)自一個(gè)或多個(gè)天線1065的信號(hào)。(多個(gè))天線1165中的一個(gè)可以傳送和接收針對(duì)蜂窩電話網(wǎng)絡(luò)的消息。另一天線可以傳送和接收消息。又一天線(或共享天線)可以經(jīng)由無(wú)線以太網(wǎng)網(wǎng)絡(luò)標(biāo)準(zhǔn)傳送和接收網(wǎng)絡(luò)消息。

另外還有，天線可以將基于位置的信息，例如GPS信號(hào)提供給GPS接口和機(jī)構(gòu)1172。繼而，GPS機(jī)構(gòu)1172使對(duì)應(yīng)的GPS數(shù)據(jù)(例如，時(shí)間和坐標(biāo))可用于處理。

在一些實(shí)施例中，單個(gè)天線可以被用于傳送和/或接收針對(duì)多于一種類型的網(wǎng)絡(luò)的消息。例如，單個(gè)天線可以傳送和接收語(yǔ)音和分組消息。

當(dāng)在網(wǎng)絡(luò)環(huán)境中操作時(shí)，移動(dòng)設(shè)備1100可以連接到一個(gè)或多個(gè)遠(yuǎn)程設(shè)備。遠(yuǎn)程設(shè)備可以包括個(gè)人計(jì)算機(jī)、服務(wù)器、路由器、網(wǎng)絡(luò)PC、蜂窩電話、媒體回放設(shè)備、對(duì)等設(shè)備或其他常見的網(wǎng)絡(luò)節(jié)點(diǎn)，并且通常包括以上關(guān)于移動(dòng)設(shè)備1100描述的元件中的許多或全部。

本文中描述的主題的方面可利用許多其他通用或?qū)Ｓ糜?jì)算系統(tǒng)環(huán)境或配置來(lái)操作。適合于與本文中描述的主題的多個(gè)方面一起使用的公知的計(jì)算系統(tǒng)、環(huán)境和/或配置的示例可以包括但不限于包括以上系統(tǒng)或設(shè)備中的任何的個(gè)人計(jì)算機(jī)、服務(wù)器計(jì)算機(jī)、手持或膝上型設(shè)備、多處理器系統(tǒng)、基于微控制器的系統(tǒng)、機(jī)頂盒、可編程消費(fèi)電子設(shè)備、網(wǎng)絡(luò)PC、微型計(jì)算機(jī)、大型計(jì)算機(jī)、分布式計(jì)算環(huán)境、等等。

可以在由移動(dòng)設(shè)備執(zhí)行的諸如程序模塊的計(jì)算機(jī)可執(zhí)行指令的總體上下文中描述本文中描述的主題的多個(gè)方面?？傮w上，程序模塊包括例程、程序、對(duì)象、部件、數(shù)據(jù)結(jié)構(gòu)、等等，其執(zhí)行特定任務(wù)或?qū)崿F(xiàn)特定抽象數(shù)據(jù)類型。本文中描述的主題的多個(gè)方面還可以被實(shí)踐在分布式計(jì)算環(huán)境中，其中任務(wù)由通過(guò)通信網(wǎng)絡(luò)鏈接的遠(yuǎn)程處理設(shè)備執(zhí)行。在分布式計(jì)算環(huán)境中，程序模塊可以被定位在包括存儲(chǔ)器存儲(chǔ)設(shè)備的本地計(jì)算機(jī)存儲(chǔ)介質(zhì)和遠(yuǎn)程計(jì)算機(jī)存儲(chǔ)介質(zhì)兩者中。

另外，盡管術(shù)語(yǔ)服務(wù)器可以在本文中被使用，但是將意識(shí)到該術(shù)語(yǔ)還可以包含客戶端、分布在一個(gè)或多個(gè)計(jì)算機(jī)上的一個(gè)或多個(gè)過(guò)程的集合、一個(gè)或多個(gè)獨(dú)立存儲(chǔ)設(shè)備、一個(gè)或多個(gè)其他設(shè)備的集合、以上各項(xiàng)中的一個(gè)或多個(gè)的組合、等等。

另外還有，本文中描述的部件等等中的任何或全部可以作為機(jī)器可執(zhí)行代碼被實(shí)現(xiàn)在存儲(chǔ)設(shè)備中，和/或以硬件/機(jī)器邏輯來(lái)實(shí)現(xiàn)，無(wú)論在一個(gè)或多個(gè)緊密耦合的設(shè)備中的本地或遠(yuǎn)程(例如，在云中)，或者本地和遠(yuǎn)程部件的組合，等等。

結(jié)論

盡管本發(fā)明易于進(jìn)行各種修改和備選的構(gòu)造，但是其某些圖示的實(shí)施例被示出在附圖中并且已經(jīng)在上文詳細(xì)地進(jìn)行描述。然而，應(yīng)當(dāng)理解，不旨在將本發(fā)明限于公開的具體形式，而是相反，旨在覆蓋落在本發(fā)明的精神和范圍內(nèi)的所有修改、備選構(gòu)造和等價(jià)物。