移動(dòng)計(jì)算的到來(lái)與更強(qiáng)聯(lián)網(wǎng)能力的結(jié)合已經(jīng)改變了個(gè)人通信的方式。以前,為了提供不同類型的通信,專門的網(wǎng)絡(luò)必須與特定設(shè)備一起配置。例如視頻會(huì)議依賴于專門的電話網(wǎng)絡(luò)、無(wú)線電頻率或閉路式電視系統(tǒng)來(lái)提供不同位置(并且經(jīng)常固定的)位置處的用戶之間的雙方或多方視頻通信。由于寬帶或其它高容量聯(lián)網(wǎng)技術(shù)已經(jīng)允許例如經(jīng)由互聯(lián)網(wǎng)更大更靈活地訪問(wèn)多個(gè)不同系統(tǒng)或設(shè)備,所以不同類型的通信已經(jīng)發(fā)展或演化以利用這些更強(qiáng)的聯(lián)網(wǎng)能力。例如,即時(shí)消息技術(shù)可通過(guò)互聯(lián)網(wǎng)提供文本消息的實(shí)時(shí)傳輸,從而允許參與方在兩個(gè)支持互聯(lián)網(wǎng)的設(shè)備之間進(jìn)行聊天。
視頻會(huì)議也已經(jīng)演化以方便連接到網(wǎng)絡(luò)的設(shè)備之間的視頻通信。視頻通信數(shù)據(jù)可通過(guò)網(wǎng)絡(luò)諸如互聯(lián)網(wǎng)傳輸?shù)狡渌麉⑴c方,從而提供類似視頻會(huì)議的用戶體驗(yàn),而不受到過(guò)去且更靜態(tài)通信技術(shù)的限制。然而,由于很多設(shè)備諸如膝上型電腦、移動(dòng)電話、平板電腦、或其他移動(dòng)計(jì)算設(shè)備現(xiàn)在便于多個(gè)程序或功能同時(shí)操作,所以視頻通信可能受到執(zhí)行視頻通信的設(shè)備的計(jì)算資源的中斷、忽視或者競(jìng)爭(zhēng),從而消弱了新的視頻通信技術(shù)的范圍或效用。
技術(shù)實(shí)現(xiàn)要素:
本文介紹了動(dòng)態(tài)顯示的視頻通信數(shù)據(jù)的多個(gè)實(shí)施方案。可基于兩個(gè)或更多個(gè)參與方之間視頻通信數(shù)據(jù)的傳輸來(lái)促進(jìn)這些參與方之間的視頻通信。然而,其他應(yīng)用程序可能當(dāng)前正在這些參與方中的一者或多者處執(zhí)行,其可能正在控制或顯示電子顯示器上的圖像數(shù)據(jù)或視頻數(shù)據(jù)。作為視頻通信一部分而接收的視頻通信數(shù)據(jù)然后可顯示在可由當(dāng)前正在執(zhí)行的應(yīng)用程序配置的電子顯示器的一部分內(nèi)。當(dāng)前正在執(zhí)行的應(yīng)用程序可配置運(yùn)行時(shí)的一個(gè)或多個(gè)顯示屬性,所述顯示屬性指示視頻通信數(shù)據(jù)的顯示位置。在一些實(shí)施方案中,視頻通信數(shù)據(jù)可混入到當(dāng)前正在執(zhí)行的應(yīng)用程序的其他圖像或視頻數(shù)據(jù)中,以生成單個(gè)視頻流供顯示。對(duì)于視頻通信可經(jīng)由視頻通信數(shù)據(jù)的顯示位置中的觸摸輸入來(lái)接收各種輸入,諸如暫停、恢復(fù)、或結(jié)束視頻通信。
附圖說(shuō)明
圖1A和圖1B根據(jù)一些實(shí)施方案示出不同參與方之間的對(duì)等管理的視頻通信。
圖2A是根據(jù)一些實(shí)施方案示出視頻通信參與方處視頻通信數(shù)據(jù)的動(dòng)態(tài)顯示的框圖。
圖2B根據(jù)一些實(shí)施方案示出一種為視頻通信以集成顯示模式顯示視頻通信數(shù)據(jù)的參與方設(shè)備。
圖2C根據(jù)一些實(shí)施方案示出一種為視頻通信以全屏顯示模式顯示視頻通信數(shù)據(jù)的參與方設(shè)備。
圖3是根據(jù)一些實(shí)施方案的一種視頻通信模塊的框圖。
圖4是根據(jù)一些實(shí)施方案示出用于動(dòng)態(tài)顯示視頻通信數(shù)據(jù)的方法和技術(shù)的高階流程圖。
圖5至圖6C根據(jù)一些實(shí)施方案示出參與方設(shè)備的電子顯示器中動(dòng)態(tài)顯示的視頻通信數(shù)據(jù)。
圖7是根據(jù)一些實(shí)施方案示出用于為多個(gè)視頻通信參與方動(dòng)態(tài)顯示視頻通信數(shù)據(jù)的方法和技術(shù)的高階流程圖。
圖8根據(jù)一些實(shí)施方案示出參與方設(shè)備的電子顯示器中對(duì)于多個(gè)視頻通信參與方動(dòng)態(tài)顯示的視頻通信數(shù)據(jù)。
圖9是根據(jù)一些實(shí)施方案示出用于處理用于所動(dòng)態(tài)顯示的視頻通信數(shù)據(jù)的輸入的方法和技術(shù)的高階流程圖。
圖10A至圖10C根據(jù)一些實(shí)施方案示出用于處理用于所動(dòng)態(tài)顯示的視頻通信數(shù)據(jù)的輸入的示例。
圖11是根據(jù)一些實(shí)施方案示出對(duì)于視頻通信數(shù)據(jù)的傳輸實(shí)施動(dòng)態(tài)暫停和恢復(fù)的視頻通信模塊的示例性傳輸/接收管理器模塊的框圖。
圖12是根據(jù)一些實(shí)施方案示出用于動(dòng)態(tài)地檢測(cè)視頻通信的暫?;蚧謴?fù)事件的方法和技術(shù)的高階流程圖。
圖13是根據(jù)一些實(shí)施方案示出用于確定視頻通信的活躍交換指示符的方法和技術(shù)的高階流程圖。
圖14是根據(jù)一些實(shí)施方案示出用于從視頻消息向視頻通信的動(dòng)態(tài)轉(zhuǎn)變的方法和技術(shù)的高階流程圖。
圖15是根據(jù)一些實(shí)施方案示出用于為視頻通信與視頻消息之間的動(dòng)態(tài)轉(zhuǎn)變監(jiān)視視頻通信連接的質(zhì)量的方法和技術(shù)的高階流程圖。
圖16A和圖16B根據(jù)一些實(shí)施方案示出視頻消息中的多個(gè)參與方向視頻通信的動(dòng)態(tài)轉(zhuǎn)變。
圖17是根據(jù)一些實(shí)施方案示出實(shí)施視頻通信與視頻消息之間的動(dòng)態(tài)轉(zhuǎn)變的視頻通信模塊的連接管理器的框圖。
圖18是根據(jù)一些實(shí)施方案示出用于即時(shí)視頻通信的方法和技術(shù)的高階流程圖。
圖19A和圖19B是根據(jù)一些實(shí)施方案示出用于獲取建立即時(shí)視頻通信連接的授權(quán)的方法和技術(shù)的高階流程圖。
圖20是根據(jù)一些實(shí)施方案示出用于經(jīng)由即時(shí)視頻通信連接顯示視頻通信數(shù)據(jù)的方法和技術(shù)的高階流程圖。
圖21是根據(jù)一些實(shí)施方案示出實(shí)施即時(shí)視頻通信的視頻通信模塊的連接管理器的框圖。
圖22至圖24是根據(jù)一些實(shí)施方案示出示例性便攜式多功能計(jì)算設(shè)備的框圖。
圖25示出根據(jù)一些實(shí)施方案的一種示例性計(jì)算系統(tǒng)。
雖然在這里借助于幾個(gè)實(shí)施方案和示例性附圖的示例介紹了本發(fā)明,但是本領(lǐng)域的技術(shù)人員將認(rèn)識(shí)到,本發(fā)明并不限于所介紹的實(shí)施方案或附圖。應(yīng)當(dāng)理解,附圖和對(duì)其的詳細(xì)描述并不是要將本發(fā)明限制到所公開(kāi)的具體形式,而相反,本發(fā)明旨在涵蓋落入到本發(fā)明的實(shí)質(zhì)和范圍內(nèi)的所有修改形式、等價(jià)形式和替代形式。本文所使用的標(biāo)題僅用于組織的目的,并非意在用于限制說(shuō)明書的范圍。如在整個(gè)專利申請(qǐng)中所使用的那樣,以允許的意義(即,意味著具有可能性)而不是強(qiáng)制的意義(即,意味著必須)來(lái)使用字詞“可能”。類似地,詞語(yǔ)“包括”、“包含”、和“具有”是指包括、但不限于。
具體實(shí)施方式
本文介紹了視頻通信的動(dòng)態(tài)顯示的多個(gè)實(shí)施方案。視頻通信可在不同參與方設(shè)備之間進(jìn)行。這些參與方設(shè)備可在相應(yīng)參與方設(shè)備處捕獲(通常是用戶的)視頻和音頻數(shù)據(jù),并將所采集的視頻通信數(shù)據(jù)傳輸?shù)揭曨l通信中的其他參與方以進(jìn)行顯示。雖然視頻通信數(shù)據(jù)可在視頻通信應(yīng)用程序控制下顯示,例如以全屏顯示模式進(jìn)行顯示,但是其他應(yīng)用程序可同時(shí)正在參與方設(shè)備處運(yùn)行。這些應(yīng)用程序可控制或使用所述應(yīng)用程序的圖像數(shù)據(jù)或其他圖形的部分或全部顯示。視頻通信的動(dòng)態(tài)顯示可允許當(dāng)前正在運(yùn)行的應(yīng)用程序控制、指示或以其他方式配置為視頻通信所接收的視頻通信數(shù)據(jù)被顯示在參與方設(shè)備的什么地方。
本文介紹了視頻通信的動(dòng)態(tài)暫停和恢復(fù)的多個(gè)實(shí)施方案。如上所述,視頻通信中的參與方設(shè)備上可正在運(yùn)行其他應(yīng)用程序或任務(wù)。因此,經(jīng)由視頻通信的信息參與或活躍交換的水平有時(shí)可能波動(dòng)。為視頻通信捕獲的通信數(shù)據(jù)的評(píng)估可指示視頻通信數(shù)據(jù)中的一些是否有必要傳輸或者是否沒(méi)有任何視頻通信數(shù)據(jù)有必要傳輸。視頻通信的動(dòng)態(tài)暫停和恢復(fù)可提供對(duì)暫停事件的自動(dòng)化或智能檢測(cè),其中可暫停部分或全部視頻通信數(shù)據(jù)的活躍傳輸,而不禁止活躍參與方之間經(jīng)由視頻通信的信息交換。類似地,恢復(fù)事件的自動(dòng)化或智能檢測(cè)可允許恢復(fù)被暫停的視頻通信數(shù)據(jù)傳輸。因此可動(dòng)態(tài)地節(jié)省參與方設(shè)備處的計(jì)算資源。
本文介紹了從視頻消息向視頻通信的動(dòng)態(tài)轉(zhuǎn)變的多個(gè)實(shí)施方案。視頻消息用來(lái)向接收方設(shè)備發(fā)送可在接收方方便時(shí)回放的視頻。對(duì)于用戶而言,以這種方式交換信息可能比多方通信(諸如視頻通信)效率低??蓪?shí)施從視頻消息的動(dòng)態(tài)轉(zhuǎn)變,使得如果接收方設(shè)備的用戶接收到視頻消息并且希望進(jìn)行響應(yīng)或者進(jìn)行進(jìn)一步通信,則可建立視頻通信,而不是用另一視頻消息進(jìn)行應(yīng)答。以這種方式,用戶可以更大的靈活性對(duì)視頻消息進(jìn)行響應(yīng):可建立視頻通信,也可保存視頻消息以供隨后回放和/或響應(yīng)。
本文介紹了即時(shí)視頻通信連接的多個(gè)實(shí)施方案。對(duì)于某些用戶之間的通信,可能有利的是,相比于其他通信技術(shù)諸如語(yǔ)音或文本更偏向視頻通信。家庭成員、朋友、同事或其他通信關(guān)系可利用快速高效的視頻通信。即時(shí)視頻通信可允許用戶授權(quán)在相應(yīng)參與方設(shè)備之間預(yù)先建立的視頻通信連接,使得視頻通信可以看起來(lái)即刻開(kāi)始。例如,視頻通信一被接收到就可被顯示,從而使進(jìn)行視頻通信之前所需的時(shí)間最小化。用戶可管理或授權(quán)哪些其他用戶(或其相應(yīng)參與方設(shè)備)可與其自己的相應(yīng)參與方設(shè)備建立即時(shí)視頻通信。
視頻通信可通過(guò)廣域網(wǎng)在兩個(gè)或更多個(gè)參與方設(shè)備之間進(jìn)行。參與方設(shè)備可實(shí)施可促進(jìn)視頻通信(從建立連接到捕獲、傳輸和處理所接收的視頻通信數(shù)據(jù))的某種類型的應(yīng)用程序、模塊或部件。不同類型的參與方設(shè)備以及不同數(shù)量的參與方可建立或參與視頻通信,諸如雙方或多方視頻通信。在各種實(shí)施方案中,視頻通信可被對(duì)等協(xié)調(diào)或管理。例如,進(jìn)行視頻通信的參與方設(shè)備可利用對(duì)等通信策略或協(xié)議來(lái)傳輸和接收通信數(shù)據(jù)。需注意,對(duì)等管理的視頻通信可以不排除使用第三方系統(tǒng)或服務(wù)來(lái)促進(jìn)視頻通信的部分,諸如可為參與方設(shè)備提供對(duì)廣域網(wǎng)的接入的蜂窩或其他類型的無(wú)線網(wǎng)絡(luò)服務(wù)、鑒權(quán)或標(biāo)識(shí)服務(wù)、或者簡(jiǎn)單地中繼或重新傳輸消息或數(shù)據(jù)以確保視頻通信到達(dá)所有參與方。在至少一些實(shí)施方案中,對(duì)等管理的視頻通信可以不包括中央視頻通信協(xié)調(diào)器、服務(wù)器、系統(tǒng)或服務(wù),而是相反可允許參與方設(shè)備作為對(duì)等方來(lái)管理或協(xié)調(diào)參與方設(shè)備之間視頻通信數(shù)據(jù)的轉(zhuǎn)發(fā)。
圖1A和圖1B根據(jù)一些實(shí)施方案示出不同參與方之間的對(duì)等管理的視頻通信。參與方設(shè)備(例如參與方設(shè)備102,112,122,132,142,152和162)可實(shí)施在不同設(shè)備或不同設(shè)備類型上。參與方設(shè)備的示例可包括圖22至圖24所示的便攜式多功能設(shè)備諸如多功能設(shè)備3000、其他類型的移動(dòng)計(jì)算設(shè)備諸如電話、計(jì)算機(jī)、膝上型電腦、個(gè)人數(shù)字助理(PDA)、或任何計(jì)算系統(tǒng)諸如下文參考圖25所述的計(jì)算系統(tǒng)4000。相應(yīng)視頻通信模塊(例如視頻通信模塊104,114,124,134,144,154和164)可實(shí)施在每個(gè)參與方設(shè)備處以便促進(jìn)通過(guò)廣域網(wǎng)100的視頻通信。視頻通信模塊可以多種不同方式來(lái)實(shí)施。下文中詳細(xì)介紹的圖3提供了一種視頻通信模塊的一些實(shí)施方案的一個(gè)示例。
不同視頻通信可由通過(guò)廣域網(wǎng)100(例如互聯(lián)網(wǎng))的視頻通信連接來(lái)建立。例如在圖1A中,雙方視頻通信可在參與方設(shè)備102與參與方設(shè)備104之間建立。而在圖1B中,多方視頻通信可在參與方設(shè)備124,134,144,154和164之間建立。參與方設(shè)備可被配置為以不同方式接入廣域網(wǎng)100。例如,參與方設(shè)備102可被配置為可利用網(wǎng)關(guān)接入可與廣域網(wǎng)100通信的特定無(wú)線網(wǎng)絡(luò)諸如蜂窩網(wǎng)絡(luò)。網(wǎng)關(guān)可以提供面向分組的移動(dòng)數(shù)據(jù)服務(wù)(諸如通用分組無(wú)線電服務(wù)(GPRS))、或者允許無(wú)線網(wǎng)絡(luò)傳輸數(shù)據(jù)到其他網(wǎng)絡(luò)(諸如廣域網(wǎng)100)的其他移動(dòng)數(shù)據(jù)服務(wù)。同樣地,不同接入設(shè)備或接入點(diǎn)(例如IEEE 802.11g無(wú)線接入路由器或設(shè)備)可提供對(duì)廣域網(wǎng)100的通信接入。參與方設(shè)備112例如可被配置為(或被授權(quán))利用接入設(shè)備來(lái)獲得對(duì)廣域網(wǎng)100的接入。因此在各種實(shí)施方案中,參與方設(shè)備可以不同方式接入廣域網(wǎng)100并且仍然可建立視頻通信。因此,前面的示例并非旨在是對(duì)于可為參與方設(shè)備獲得對(duì)廣域網(wǎng)100的接入的其他方式的限制。
視頻通信的視頻通信數(shù)據(jù)自身可利用各種適于或能夠經(jīng)由廣域網(wǎng)100通信的傳輸格式或協(xié)議來(lái)進(jìn)行交換,包括但不限于SIP(會(huì)話發(fā)起協(xié)議)、STUN(用于NAT的會(huì)話穿越實(shí)用工具)、TURN(利用中繼NAT的穿越)、ICE(交互式連接建立)、RTP(實(shí)時(shí)傳輸協(xié)議)、SRTP(安全RTP)。視頻通信模塊可被配置為根據(jù)各種傳輸協(xié)議格式化、處理、傳輸、發(fā)送或接收視頻通信數(shù)據(jù)(例如音頻和/或視頻數(shù)據(jù)),以及加密、壓縮、編碼、解密、解壓縮和解碼視頻通信數(shù)據(jù)。
圖2A是根據(jù)一些實(shí)施方案示出視頻通信中參與方設(shè)備處視頻通信數(shù)據(jù)的動(dòng)態(tài)顯示的框圖。參與方設(shè)備200可以是參與方設(shè)備102,112,122,132,142,152或162、下文參考圖22至圖24所述的便攜式多功能設(shè)備3000、或者下文參考圖25所述的計(jì)算系統(tǒng)4000中任何一者。
參與方設(shè)備200可實(shí)施用于執(zhí)行各種任務(wù)或應(yīng)用(諸如視頻通信)的多層功能。應(yīng)用層210可允許實(shí)施應(yīng)用程序(諸如視頻通信應(yīng)用程序214(類似于上文參考圖1所述的視頻通信模塊))以及多個(gè)其他應(yīng)用程序212。在應(yīng)用層210中實(shí)施的當(dāng)前正在參與方設(shè)備200上運(yùn)行的應(yīng)用程序可經(jīng)由在中間件/操作系統(tǒng)層220中實(shí)施的用于參與方設(shè)備200的數(shù)據(jù)、特征、服務(wù)、控制、或其它功能的一個(gè)或多個(gè)不同對(duì)象或編程接口(API)訪問(wèn)參與方設(shè)備200的相應(yīng)數(shù)據(jù)、特征、服務(wù)、控制、或其它功能。參與方設(shè)備200可實(shí)施各種中間件層220和/或操作系統(tǒng)層220以提供服務(wù)。操作系統(tǒng)例如可提供對(duì)在硬件層230中實(shí)施的硬件設(shè)備(諸如顯示設(shè)備232或其它設(shè)備、部件、或子系統(tǒng)或電路)的訪問(wèn)和/或管理。參與方設(shè)備200可包括硬件層230,硬件層包括各種硬件部件諸如電子顯示器232、其它輸入/輸出設(shè)備(例如麥克風(fēng)、鍵盤、觸敏區(qū)域(觸敏區(qū)域也可以是電子顯示器232)、揚(yáng)聲器)或者實(shí)施參與方設(shè)備200的其它硬件部件、處理器、圖形加速器、或其它部件(諸如下文參考便攜式多功能設(shè)備3000或計(jì)算系統(tǒng)4000所述的那些)。
如圖2A所示,視頻通信應(yīng)用程序214可實(shí)施在應(yīng)用層210中。視頻通信應(yīng)用程序214(諸如上文參考圖1所述或者下文參考圖3更詳細(xì)所述的那些視頻通信模塊)可執(zhí)行通過(guò)網(wǎng)絡(luò)與其它參與方的視頻通信,如上文參考圖1A和圖1B所述。視頻通信數(shù)據(jù)202可作為當(dāng)前(或所發(fā)起的)與一個(gè)或多個(gè)其它參與方設(shè)備的視頻通信的一部分在視頻通信應(yīng)用程序214處被接收。視頻通信應(yīng)用程序214可被配置為處理視頻通信數(shù)據(jù)202(例如解密、解壓縮、解碼)或以其它方式準(zhǔn)備用于顯示的視頻通信數(shù)據(jù)。然后作為執(zhí)行當(dāng)前視頻通信的一部分,視頻通信應(yīng)用程序214可進(jìn)行對(duì)音頻/視頻管理模塊222的一個(gè)或多個(gè)調(diào)用或請(qǐng)求,以便最終在顯示器232上顯示視頻通信數(shù)據(jù)。在各種實(shí)施方案中,視頻通信數(shù)據(jù)可包括來(lái)自作為同一視頻通信(例如多方視頻通信)一部分參與的多個(gè)不同參與方的視頻通信數(shù)據(jù)。
在各種實(shí)施方案中,視頻通信214可以不同的顯示模式工作。例如全屏顯示模式可允許視頻通信應(yīng)用程序214控制顯示器232的大部分或全部來(lái)實(shí)施視頻通信,包括對(duì)所顯示的視頻通信數(shù)據(jù)格式化或幀處理的用戶界面元素或圖形(例如窗口、工具條、或按鈕)的其它視頻/圖像數(shù)據(jù)。在至少一些實(shí)施方案中,可在其它應(yīng)用程序212或部件(例如操作系統(tǒng)接口)正在顯示器232上顯示圖像數(shù)據(jù)、視頻數(shù)據(jù)、或任何其它形式的圖形顯示時(shí)使用集成顯示模式。音頻/視頻管理部件222可提供軟件鉤、顯示屬性、或其它技術(shù)來(lái)指示視頻通信數(shù)據(jù)在全屏模式或集成顯示模式中的顯示。例如,如果視頻通信應(yīng)用程序214以全屏模式工作,則音頻/視頻管理部件可為視頻通信應(yīng)用程序214指定或請(qǐng)求的視頻通信數(shù)據(jù)202確定顯示器232內(nèi)的顯示位置,這可能消耗顯示器232的大部分。例如圖2C根據(jù)一些實(shí)施方案示出一種為視頻通信以全屏模式顯示視頻通信數(shù)據(jù)的參與方設(shè)備。
在一些實(shí)施方案中,視頻應(yīng)用程序模塊214可工作于集成顯示模式。例如,其它應(yīng)用程序212可當(dāng)前正在運(yùn)行。作為其它應(yīng)用程序212的運(yùn)行的一部分,應(yīng)用程序圖像數(shù)據(jù)204(或視頻或其它圖形數(shù)據(jù))可被獲得、接收、或生成并在顯示器232上顯示,如從其它應(yīng)用程序212通過(guò)音頻/視頻管理模塊222到顯示器232的箭頭所示。同樣仍然可接收在其它應(yīng)用程序212運(yùn)行之前或期間發(fā)起的視頻通信的視頻通信數(shù)據(jù)202。音頻/視頻管理模塊222可被配置為標(biāo)識(shí)顯示器232內(nèi)用于視頻通信數(shù)據(jù)202的顯示位置。這個(gè)標(biāo)識(shí)可動(dòng)態(tài)地進(jìn)行,因?yàn)橛糜谝曨l通信數(shù)據(jù)的顯示屬性可在運(yùn)行時(shí)由其它應(yīng)用程序212來(lái)配置。例如,其它應(yīng)用程序212可定義在接收到視頻通信數(shù)據(jù)用于顯示的情況下配置顯示屬性的事件檢測(cè)機(jī)構(gòu)或軟件鉤。這樣,視頻通信數(shù)據(jù)202可顯示在為了允許應(yīng)用圖像數(shù)據(jù)204如期望的那樣被顯示而優(yōu)化的位置中,即使當(dāng)前視頻通信可能正在進(jìn)行也是如此,如音頻/視頻管理模塊222內(nèi)的箭頭所示。在至少一些實(shí)施方案中,視頻通信數(shù)據(jù)可直接與應(yīng)用圖像數(shù)據(jù)204或其它編碼為用于顯示的單個(gè)數(shù)據(jù)流的視頻或圖形數(shù)據(jù)混合或集成,如下文參考圖5所述。音頻/視頻管理模塊222可協(xié)調(diào)或管理可用于應(yīng)用圖像數(shù)據(jù)204和視頻通信數(shù)據(jù)202的軟件或硬件資源(例如視頻編碼器)。
圖2B根據(jù)一些實(shí)施方案示出一種為視頻通信以集成顯示模式顯示視頻通信數(shù)據(jù)的參與方設(shè)備。視頻通信數(shù)據(jù)202根據(jù)其它應(yīng)用程序212配置的顯示屬性與應(yīng)用圖像數(shù)據(jù)204集成,將視頻通信數(shù)據(jù)202放置在參與方設(shè)備顯示器232內(nèi)不妨礙應(yīng)用圖像數(shù)據(jù)204的顯示的位置(例如空白區(qū)或死區(qū),或者在可容易地調(diào)整以在視頻通信數(shù)據(jù)202周圍工作的圖像數(shù)據(jù)內(nèi))。需注意,雖然參考應(yīng)用層210中的應(yīng)用程序給出了以上示例性集成顯示模式,但是同樣可能的是,中間件/操作系統(tǒng)層220的部件(例如操作系統(tǒng)用戶接口)也可配置視頻通信數(shù)據(jù)的顯示屬性,以便以適應(yīng)為中間件/操作系統(tǒng)層220的部件顯示的圖像或其它圖形數(shù)據(jù)的方式顯示視頻通信數(shù)據(jù)202。
在各種實(shí)施方案中,音頻/視頻管理模塊222可被配置為確定當(dāng)前視頻通信的顯示模式,是全屏模式還是集成顯示模式。然而在一些實(shí)施方案中,視頻模塊應(yīng)用程序214可確定或保持顯示模式的狀態(tài),并提供音頻/視頻管理部件222的指示或格式化對(duì)音頻/視頻管理部件222的請(qǐng)求,使得音頻/視頻管理模塊222根據(jù)當(dāng)前顯示模式處理視頻通信數(shù)據(jù)202。在一些實(shí)施方案中,可接收輸入來(lái)在全屏顯示模式和集成顯示模式之間進(jìn)行切換。
視頻應(yīng)用程序214還可被配置為向音頻/視頻管理模塊222提供用戶界面元素用于顯示。這些用戶界面元素也可根據(jù)所確定的位置(例如在視頻應(yīng)用程序模塊214指定的所確定位置內(nèi))或顯示器232中的各個(gè)其它位置(例如可由其它應(yīng)用程序212在運(yùn)行時(shí)配置的其他顯示屬性來(lái)指示)來(lái)顯示。視頻通信應(yīng)用程序214可處理經(jīng)由這些用戶界面元素接收的輸入(例如暫停、恢復(fù)、結(jié)束)。
視頻通信應(yīng)用程序可以多種不同方式實(shí)施,以便促進(jìn)通過(guò)網(wǎng)絡(luò)的視頻通信。圖3是根據(jù)一些實(shí)施方案的一種視頻通信模塊的框圖,該視頻通信模塊可實(shí)施視頻通信。需注意,圖3中所示的各個(gè)部件可在硬件、軟件或它們的任意組合中實(shí)現(xiàn)。在示出單個(gè)部件的地方,可以理解,可以另選地實(shí)施多個(gè)部件來(lái)提供相同功能。因此,以下關(guān)于圖3的討論并非旨在對(duì)于視頻通信模塊的具體實(shí)施進(jìn)行限制。視頻通信模塊300可實(shí)施在多種不同類型的參與方設(shè)備上,諸如移動(dòng)計(jì)算設(shè)備、移動(dòng)電話、膝上型電腦、或其它便攜式多功能設(shè)備(諸如作為圖22中便攜式多功能設(shè)備3000的一部分實(shí)施的視頻通信模塊3039)或者計(jì)算設(shè)備(諸如下文參考圖25所述的計(jì)算系統(tǒng)4000)。
在各種實(shí)施方案中,視頻通信模塊300可實(shí)施用戶界面310來(lái)接收、處理、解析或操縱來(lái)自用戶的用于視頻通信模塊300的輸入。例如在一些實(shí)施方案中,用戶界面310可提供能夠經(jīng)由I/O設(shè)備選擇的多個(gè)用戶界面元素。例如如果參與方設(shè)備實(shí)施觸敏顯示器,則用戶界面元素可通過(guò)觸摸、作手勢(shì)、或以其它方式傳遞對(duì)特定用戶界面元素的選擇來(lái)選擇。在具有觸敏顯示器的一些實(shí)施方案中,用戶界面元素不需要被顯示,而是相反觸摸手勢(shì)自身可被解釋或解析為指示或傳遞經(jīng)由用戶界面對(duì)某些動(dòng)作的選擇。用戶界面310可為視頻通信模塊300實(shí)施多個(gè)不同元素,包括但不限于發(fā)起視頻通信(與其它參與方設(shè)備的雙方或多方模式)、結(jié)束視頻通信、暫停視頻通信、恢復(fù)視頻通信、在顯示模式之間進(jìn)行切換、對(duì)視頻通信數(shù)據(jù)的顯示格式化、選擇輸入設(shè)備(例如相機(jī))、對(duì)音頻靜音、記錄視頻通信數(shù)據(jù)的音頻/視頻/靜態(tài)圖像、或任何其它從用戶向視頻通信模塊300提供輸入或指示的部件。在一些實(shí)施方案中,其它輸入設(shè)備諸如計(jì)算機(jī)鼠標(biāo)、鍵盤、語(yǔ)音命令或識(shí)別、參與方設(shè)備的物理移動(dòng)(轉(zhuǎn)動(dòng)、傾斜、或翻轉(zhuǎn)設(shè)備)也可以是輸入,經(jīng)由用戶界面部件310來(lái)轉(zhuǎn)變或檢測(cè)。
在各種實(shí)施方案中,視頻通信模塊300可實(shí)施連接管理器320。連接管理器320可被配置為與視頻通信參與方304建立用于視頻通信的連接。例如,連接管理器320可針對(duì)標(biāo)識(shí)信息訪問(wèn)接收方聯(lián)系數(shù)據(jù)250,以與一個(gè)或多個(gè)參與方設(shè)備建立連接(如用戶可請(qǐng)求的那樣)。連接管理器320可實(shí)施各種不同協(xié)議或格式以建立視頻通信連接,諸如上文參考圖1A和圖1B所述的那些。在一些實(shí)施方案中,連接管理器320可被配置為保持即時(shí)或預(yù)先建立的連接,使得一些視頻通信可能看起來(lái)是實(shí)時(shí)發(fā)起和/或顯示(如下文參考圖18至圖21所述)。在各種實(shí)施方案中,連接管理器320還可被配置為處理從在參與方設(shè)備處接收到的視頻消息動(dòng)態(tài)轉(zhuǎn)變成實(shí)時(shí)視頻通信、以及轉(zhuǎn)變回離線視頻消息格式(如下文參考圖14至圖17所述)。
在至少一些實(shí)施方案中,視頻通信模塊300可具有對(duì)保持接收方聯(lián)系數(shù)據(jù)350和所存儲(chǔ)的視頻通信數(shù)據(jù)360的一個(gè)或多個(gè)持久性存儲(chǔ)設(shè)備或數(shù)據(jù)存儲(chǔ)的訪問(wèn)。在一些實(shí)施方案中,接收方聯(lián)系數(shù)據(jù)350可以是用于與特定視頻通信參與方建立視頻通信連接以及經(jīng)由視頻通信連接傳輸/接收視頻通信數(shù)據(jù)的身份、地址或其它網(wǎng)絡(luò)/傳輸信息。在一些實(shí)施方案中,所存儲(chǔ)的視頻通信數(shù)據(jù)360可以是當(dāng)前正在進(jìn)行的或先前的視頻通信的所存儲(chǔ)版本(以及與其相關(guān)的其它數(shù)據(jù),諸如靜態(tài)圖像或音頻記錄)。所存儲(chǔ)的視頻通信數(shù)據(jù)360可被參與方設(shè)備的視頻通信模塊300或另一應(yīng)用程序、部件訪問(wèn)以用于回放或顯示。在一些實(shí)施方案中,所存儲(chǔ)的視頻通信數(shù)據(jù)360相對(duì)于實(shí)施視頻通信模塊300的參與方設(shè)備可以不是本地存儲(chǔ)的,而相反可以被存儲(chǔ)在視頻通信模塊300能夠訪問(wèn)的遠(yuǎn)程存儲(chǔ)位置(例如媒體服務(wù)器)中。
如圖3所示,視頻通信模塊300可接收來(lái)自視頻通信捕獲設(shè)備302的視頻通信數(shù)據(jù)(視頻和/或音頻數(shù)據(jù))。例如,板上攝像機(jī)和/或板上麥克風(fēng)(例如圖22中的光學(xué)傳感器3064和/或音頻電路3030)、外部耦接的攝像機(jī)和/或外部耦接的麥克風(fēng)可用于捕獲用于傳輸?shù)揭曨l通信參與方304的視頻和/或音頻數(shù)據(jù)。在一些實(shí)施方案中,視頻通信模塊300可實(shí)施傳輸/接收管理器300,用于處理用于視頻通信的傳出和傳入視頻通信數(shù)據(jù)。例如,傳輸/接收管理器可對(duì)所捕獲的用于傳輸?shù)揭曨l通信參與方304的視頻通信數(shù)據(jù)進(jìn)行編碼、加密、壓縮和/或以其它方式格式化,并指示根據(jù)各種通信協(xié)議將視頻通信數(shù)據(jù)發(fā)送到視頻通信參與方304,諸如上文參考圖1A和圖1B所述。對(duì)于視頻通信的傳入的視頻通信數(shù)據(jù),傳輸/接收管理器330可被配置為對(duì)數(shù)據(jù)進(jìn)行解碼、解密、解壓縮或以其它方式重新格式化,以用于顯示。在一些實(shí)施方案中,顯示管理器340可指示根據(jù)全屏顯示模式和/或集成顯示模式顯示所接收的視頻通信數(shù)據(jù)。顯示管理器340還可將視頻通信數(shù)據(jù)提供給音頻/視頻管理部件(例如圖2中的音頻/視頻管理模塊222)或另一應(yīng)用程序,用于在顯示之前進(jìn)一步處理。
在各種實(shí)施方案中,通信模塊300可實(shí)施下文參考圖4至圖21所述的方法、技術(shù)和/或部件中的每一者。然而,一些實(shí)施方案可只實(shí)施特定的一些,諸如只實(shí)施圖4、圖12、圖14或圖17的技術(shù)。因此,圖3并不受限于下文所述的部件的任何特定組合或布置或者技術(shù)的具體實(shí)施。
如前所述,視頻通信數(shù)據(jù)的動(dòng)態(tài)顯示可作為參與方設(shè)備的各種不同部件或設(shè)備的一部分來(lái)實(shí)施。本身正在參與方設(shè)備上運(yùn)行的應(yīng)用程序可執(zhí)行以下技術(shù),以便將視頻通信數(shù)據(jù)并入到為所述應(yīng)用程序在電子屏幕上顯示的圖形中。類似地,視頻應(yīng)用程序模塊自身可被配置為實(shí)施所述技術(shù),使得即使另一應(yīng)用程序可能正在控制電子顯示器,也動(dòng)態(tài)地確定視頻通信數(shù)據(jù)的顯示位置。另選地,如上面在圖2A中所示,中間件/操作系統(tǒng)部件可實(shí)施以下技術(shù)。圖4因此是根據(jù)一些實(shí)施方案示出可由各種系統(tǒng)部件或設(shè)備實(shí)施的用于動(dòng)態(tài)集成視頻通信數(shù)據(jù)的方法和技術(shù)的高階流程圖。
如410所示,可接收視頻通信數(shù)據(jù),以用于作為當(dāng)前視頻通信的一部分來(lái)顯示。視頻通信數(shù)據(jù)可包括要顯示或展示的視頻和/或音頻數(shù)據(jù)。在各種實(shí)施方案中,如果視頻通信應(yīng)用程序正工作于全屏模式,則視頻通信數(shù)據(jù)可根據(jù)全屏模式顯示在電子顯示器中,如420所示。在一些實(shí)施方案中,全屏顯示模式可由視頻通信應(yīng)用程序來(lái)控制。然而,在一些實(shí)施方案中,其它應(yīng)用程序也可觸發(fā)或發(fā)起全屏顯示模式。在一些實(shí)施方案中,視頻通信可默認(rèn)地在全屏顯示模式中進(jìn)行顯示,除非另一應(yīng)用程序、操作系統(tǒng)/中間件部件、或視頻通信應(yīng)用程序另外指明。如果沒(méi)有其它應(yīng)用程序正在控制電子顯示器,如430的否定分支所示,則視頻通信數(shù)據(jù)可繼續(xù)以全屏顯示模式(或者如視頻通信應(yīng)用程序另外指明的那樣)進(jìn)行顯示。
在各種實(shí)施方案中,如果另一應(yīng)用程序被啟動(dòng)、發(fā)起、恢復(fù)、喚醒、或以其它方式開(kāi)始,使得所述另一應(yīng)用程序正在控制電子顯示器以顯示圖像數(shù)據(jù),如430的肯定分支所示,則視頻通信數(shù)據(jù)的顯示位置可根據(jù)作為執(zhí)行所述另一應(yīng)用程序的一部分而在運(yùn)行時(shí)配置的顯示屬性來(lái)動(dòng)態(tài)確定,如440所示。啟動(dòng)的其它應(yīng)用程序可以是任何使用或控制電子顯示器的應(yīng)用程序,從游戲和其它媒體,到其它通信應(yīng)用程序(包括其它視頻通信應(yīng)用程序或屏幕分享應(yīng)用程序)、以及應(yīng)用程序可被配置為執(zhí)行的各種工具、任務(wù)、或其它過(guò)程。軟件鉤、事件監(jiān)聽(tīng)器、中間件或操作系統(tǒng)提供的API調(diào)用或其它設(shè)備可允許其它應(yīng)用程序限定視頻通信數(shù)據(jù)在哪里、如何、和/或何時(shí)被顯示,從而限定以及重新限定應(yīng)用程序認(rèn)為適當(dāng)?shù)娘@示屬性。在多個(gè)實(shí)施方案中,動(dòng)態(tài)確定顯示位置就可允許所述另一應(yīng)用程序?qū)⒁曨l通信數(shù)據(jù)混入或集成到經(jīng)由當(dāng)前視頻應(yīng)用程序接收、生成、或以其它方式獲得的數(shù)據(jù)中。例如,圖5示出顯示集成的視頻通信數(shù)據(jù)500的參與方設(shè)備200。在圖5中,游戲應(yīng)用程序可接收視頻通信數(shù)據(jù)(例如所述另一參與方設(shè)備的用戶的圖像),其可在電子顯示器內(nèi)的特定位置將用戶的圖像數(shù)據(jù)混入到游戲的特定場(chǎng)景中(例如作為多米諾游戲中的對(duì)手)。更一般性地來(lái)講,所述另一應(yīng)用程序可以能夠控制、轉(zhuǎn)化、修改、或以其它方式調(diào)整視頻通信數(shù)據(jù),以便以與視頻通信數(shù)據(jù)在原始接收時(shí)原本會(huì)被顯示的方式不同的方式在電子顯示器上不同地呈現(xiàn)。因此,視頻通信數(shù)據(jù)可依賴于所述另一應(yīng)用程序,使得可生成單個(gè)視頻流來(lái)用于進(jìn)行包括視頻通信數(shù)據(jù)的顯示,而不是僅僅顯示獨(dú)立的視頻數(shù)據(jù)流。
如450所示,視頻通信數(shù)據(jù)然后可在電子顯示器內(nèi)被顯示在所確定的顯示位置處。如果沒(méi)有進(jìn)行顯示模式改變(例如切換到全屏顯示模式),如460的否定分支所示,則可重復(fù)440所示的對(duì)視頻通信數(shù)據(jù)的顯示位置的確定以及對(duì)視頻通信數(shù)據(jù)的顯示450。這樣,所述另一應(yīng)用程序可隨著時(shí)間推移而改變視頻通信數(shù)據(jù)的顯示位置。圖6A至圖6C示出可隨著時(shí)間推移確定的視頻通信數(shù)據(jù)的不同顯示位置。例如,可在所述另一應(yīng)用程序剛開(kāi)始運(yùn)行時(shí)初始地確定圖6A中視頻通信數(shù)據(jù)的顯示位置610。然而,如果所述另一應(yīng)用程序(例如響應(yīng)于用戶輸入)改變電子顯示器上對(duì)數(shù)據(jù)的顯示,則視頻通信數(shù)據(jù)的顯示位置也可改變。例如,考慮所述另一應(yīng)用程序是經(jīng)由電子顯示器的共享書本閱讀體驗(yàn)的一個(gè)示例。在圖6A和圖6B之間,共享書本應(yīng)用程序中的虛擬頁(yè)面被“翻動(dòng)”,使得視頻通信數(shù)據(jù)可最佳顯示的位置已經(jīng)變?yōu)轱@示位置620。類似地,顯示位置可在圖6B和圖6C之間再次改變,從顯示位置620變?yōu)轱@示位置630。
如460的肯定分支所示,變?yōu)槿溜@示模式就可將顯示視頻通信數(shù)據(jù)的控制變回到視頻通信應(yīng)用程序。需注意,在一些實(shí)施方案中,視頻通信可以在視頻通信應(yīng)用程序被認(rèn)為處于集成顯示模式期間被啟動(dòng)。例如,所述另一應(yīng)用程序可能已經(jīng)在運(yùn)行并且正在電子顯示器上顯示圖形。因此,在接收到視頻通信數(shù)據(jù)之后,如元素410所示,然后可動(dòng)態(tài)地確定用于所接收的視頻通信數(shù)據(jù)的顯示位置,如440所示(而不是首先以全屏顯示模式顯示視頻通信)。下文討論的圖7提供了以集成顯示模式發(fā)起視頻通信的一個(gè)類似示例,盡管其描述的是多方視頻通信,但是在至少一些實(shí)施方案中,同樣的技術(shù)可應(yīng)用于兩個(gè)參與方之間的視頻通信。
圖7是根據(jù)一些實(shí)施方案示出用于為多個(gè)視頻通信參與方動(dòng)態(tài)顯示視頻通信數(shù)據(jù)的方法和技術(shù)的高階流程圖。如710所示,可為應(yīng)用程序在電子顯示器內(nèi)顯示圖像數(shù)據(jù)(或其他視頻或圖形)。在該應(yīng)用程序正在運(yùn)行期間,可與多個(gè)用戶發(fā)起視頻通信,如720所示。例如,可選擇界面元素或其他部件來(lái)啟動(dòng)視頻通信。另選地,在一些實(shí)施方案中,可接收用于與多個(gè)參與方的視頻通信的傳入連接。
如730所示,在各種實(shí)施方案中,可接收所述視頻通信的視頻通信數(shù)據(jù),其包括用于所述多個(gè)參與方中每一者的視頻通信數(shù)據(jù)。例如,可接收從每個(gè)所述參與方傳輸?shù)膯为?dú)數(shù)據(jù)流。可根據(jù)作為運(yùn)行該應(yīng)用程序的一部分而在運(yùn)行時(shí)配置的顯示屬性來(lái)在電子顯示器內(nèi)為視頻通信數(shù)據(jù)動(dòng)態(tài)確定一個(gè)或多個(gè)顯示位置,如740所示。一旦為所述多個(gè)參與方確定了顯示位置,對(duì)應(yīng)于每個(gè)參與方的相應(yīng)視頻通信數(shù)據(jù)就可顯示在所確定的顯示位置中,如750所示。需注意,各個(gè)不同參與方的視頻通信數(shù)據(jù)可能在不同時(shí)間到達(dá),因此每個(gè)參與方的視頻通信數(shù)據(jù)可獨(dú)立于其他參與方來(lái)進(jìn)行顯示。例如,參與方C的視頻通信數(shù)據(jù)可先于其他參與方的視頻通信數(shù)據(jù)被顯示。在一些實(shí)施方案中,當(dāng)參與方加入或退出視頻通信時(shí),可(根據(jù)動(dòng)態(tài)確定的顯示位置)添加或移除這個(gè)附加參與方的相應(yīng)視頻通信數(shù)據(jù)的顯示。
例如圖8根據(jù)一些實(shí)施方案示出參與方設(shè)備的電子顯示器中對(duì)于多個(gè)視頻通信參與方動(dòng)態(tài)顯示的視頻通信數(shù)據(jù)??蔀槎鄠€(gè)參與方確定參與方設(shè)備200的電子顯示器中相應(yīng)的不同顯示位置。對(duì)于參與方A的視頻通信數(shù)據(jù),確定顯示位置810。對(duì)于參與方B的視頻通信數(shù)據(jù),確定顯示位置820。對(duì)于參與方C的視頻通信數(shù)據(jù),確定顯示位置830。在一些實(shí)施方案中,所述另一應(yīng)用程序可以是另一視頻通信或傳輸應(yīng)用程序,諸如屏幕共享應(yīng)用程序。例如,其他視頻通信數(shù)據(jù)840可以是對(duì)于視頻通信參與方經(jīng)由屏幕共享應(yīng)用程序在相應(yīng)電子顯示器之間共享的信息。
即使另一應(yīng)用程序正在運(yùn)行且控制電子顯示器,也仍然可處理集成顯示模式中視頻通信的輸入。在一些實(shí)施方案中,視頻通信應(yīng)用程序可處理所接收的輸入,并模擬適當(dāng)?shù)捻憫?yīng)。圖9是根據(jù)一些實(shí)施方案示出用于處理用于所動(dòng)態(tài)顯示的視頻通信數(shù)據(jù)的輸入的方法和技術(shù)的高階流程圖。如910所示,視頻通信數(shù)據(jù)可根據(jù)所動(dòng)態(tài)確定的顯示位置顯示在電子顯示器內(nèi)。如上所述,可參照作為不同于視頻通信應(yīng)用程序的應(yīng)用程序的運(yùn)行的一部分而配置的顯示屬性來(lái)執(zhí)行對(duì)顯示位置的確定。如920所示,可檢測(cè)用于視頻通信的輸入。例如,在一些實(shí)施方案中,電子顯示器可以是觸敏的,并且可經(jīng)由電子顯示器檢測(cè)一個(gè)或多個(gè)觸摸手勢(shì)或輸入。其它輸入設(shè)備諸如計(jì)算機(jī)鼠標(biāo)、軌跡球、鍵盤、或語(yǔ)音命令也可傳送用于視頻通信的輸入。
在各種實(shí)施方案中,如果檢測(cè)到輸入,如920的肯定分支所示,則可分析或解析所述輸入以確定響應(yīng),如930所示。例如,可顯示一個(gè)或多個(gè)用戶界面元素,并且可確定對(duì)應(yīng)于特定響應(yīng)的對(duì)特定用戶界面元素的選擇。在一些實(shí)施方案中,這些用戶界面元素也可在所述另一應(yīng)用程序的控制下動(dòng)態(tài)地顯示。又如,用于觸敏輸入設(shè)備(諸如觸敏電子顯示器)的特定手勢(shì)可被解釋并對(duì)應(yīng)于特定動(dòng)作。
可確定的一個(gè)響應(yīng)是結(jié)束視頻通信,如940所示。例如,用于結(jié)束視頻通信的用戶界面元素可被選擇,并且作為響應(yīng),視頻通信連接可被終止。又如,特定手勢(shì)(諸如特定方向上的特定觸摸輕掃)也可被解釋為請(qǐng)求結(jié)束視頻通信,諸如圖10A中所示的觸摸輸入1012。
可確定的一個(gè)響應(yīng)是顯示用于視頻通信的用戶界面元素,如950所示。例如,圖10A示出參與方設(shè)備200在顯示位置1010顯示用于當(dāng)前視頻通信的視頻通信數(shù)據(jù)??稍陲@示位置1010內(nèi)檢測(cè)觸摸輸入1012。如圖10B所示,可在顯示位置1020內(nèi)顯示附加用戶界面元素1020,這可允許對(duì)視頻通信的另外控制(例如暫停、恢復(fù)、結(jié)束、或切換到全屏顯示模式)。在一些實(shí)施方案中,然后可檢測(cè)相對(duì)于這些用戶界面元素1020的另外觸摸輸入。
可確定的另一響應(yīng)是恢復(fù)視頻通信,如960所示。在一些實(shí)施方案中,例如,圖10A中的觸摸輸入可以是用于從暫停狀態(tài)恢復(fù)視頻通信的特定手勢(shì)(例如單擊)。類似地,可確定的另一響應(yīng)是暫停視頻通信,如970所示。例如可選定暫停用戶界面元素,或者對(duì)于參與方設(shè)備進(jìn)行特定動(dòng)作或觸摸手勢(shì)(例如沿另一方向轉(zhuǎn)動(dòng)參與方設(shè)備)。
一個(gè)響應(yīng)可以是從集成顯示模式切換到全屏顯示模式,如980所示。在一些實(shí)施方案中,例如,圖10A中的觸摸輸入1012可以是用于切換到全屏顯示模式的特定手勢(shì)(例如雙擊或定向輕掃)。如圖10C所示,參與方設(shè)備200在圖10A中所示的輸入1020之后以全屏顯示模式1030顯示視頻通信。
如上所述,根據(jù)一些實(shí)施方案,可為視頻通信實(shí)施動(dòng)態(tài)暫停和恢復(fù)。移動(dòng)計(jì)算設(shè)備諸如移動(dòng)電話、膝上型電腦、個(gè)人數(shù)字助理(PDA)、便攜式多功能計(jì)算設(shè)備(例如圖22至圖24中的便攜式多功能計(jì)算設(shè)備3000)或計(jì)算系統(tǒng)(例如計(jì)算系統(tǒng)4000)所具有的對(duì)視頻通信可在其上進(jìn)行傳輸?shù)木W(wǎng)絡(luò)的連接或接入可能是有限的。視頻通信就像面對(duì)面會(huì)談一樣在活躍信息交換方面可能經(jīng)歷波動(dòng)。然而,即使正在進(jìn)行非常少的活躍信息交換或者沒(méi)有進(jìn)行任何活躍信息交換,視頻通信可能仍然繼續(xù)傳輸視頻通信數(shù)據(jù)。動(dòng)態(tài)暫停和恢復(fù)可允許視頻通信數(shù)據(jù)的傳輸對(duì)應(yīng)于視頻通信參與方之間的信息交換??稍u(píng)估來(lái)自參與方設(shè)備的用于視頻通信的數(shù)據(jù)傳輸,以動(dòng)態(tài)地確定視頻通信數(shù)據(jù)(或者至少一些所述視頻通信數(shù)據(jù))的傳輸是否可暫?;蚧謴?fù)。
圖11是根據(jù)一些實(shí)施方案示出對(duì)于視頻通信數(shù)據(jù)的傳輸實(shí)施動(dòng)態(tài)暫停和恢復(fù)的視頻通信模塊的示例性傳輸/接收管理器模塊的框圖。視頻通信模塊300可實(shí)施傳輸/接收管理器330,如上文參考圖3所述??稍趥鬏?接收管理器330處接收所捕獲的視頻通信數(shù)據(jù)1102,以作為視頻通信的一部分被傳輸1106給參與方設(shè)備??稍u(píng)估所捕獲的視頻通信數(shù)據(jù)的流。例如,傳輸/接收管理器330可實(shí)施活躍交換動(dòng)態(tài)評(píng)估器1110,用于動(dòng)態(tài)地評(píng)估視頻通信數(shù)據(jù)流以檢測(cè)暫?;蚧謴?fù)事件?;钴S交換動(dòng)態(tài)評(píng)估器1110可實(shí)施各種不同視頻分析技術(shù)(例如面部識(shí)別)、音頻分析技術(shù)、其他傳感器信息、以及用戶提供的信息(例如在參與方設(shè)備處與應(yīng)用程序的交互),以評(píng)估視頻通信數(shù)據(jù)流。下文討論的圖13提供了可被實(shí)施用于檢測(cè)暫?;蚧謴?fù)事件的技術(shù)的另外的示例。一旦檢測(cè)到,暫?;蚧謴?fù)事件就可被傳送給傳輸狀態(tài)管理器1140。
傳輸/接收管理器330可實(shí)施傳輸狀態(tài)管理器1140,以保持視頻通信的當(dāng)前傳輸狀態(tài)。例如,傳輸狀態(tài)管理器1140可指示視頻通信是否被暫停,以及當(dāng)視頻通信暫停時(shí)可允許什么視頻通信數(shù)據(jù)被傳輸(如果有的話)。例如如果視頻數(shù)據(jù)被濾除,而視頻通信的音頻數(shù)據(jù)仍然被傳輸,則傳輸狀態(tài)管理器1140可指示視頻數(shù)據(jù)被濾除。在各種實(shí)施方案中,用于手動(dòng)暫停和恢復(fù)視頻通信的用戶選擇1104的指示(而不是活躍交換動(dòng)態(tài)評(píng)估器檢測(cè)到的暫停和恢復(fù)事件)也可被接收,并更新傳輸狀態(tài)管理器1140處所指示的傳輸狀態(tài)。
在一些實(shí)施方案中,傳輸/接收管理器330可實(shí)施視頻通信數(shù)據(jù)流過(guò)濾器1120。在一些實(shí)施方案中,根據(jù)當(dāng)前傳輸狀態(tài),視頻通信數(shù)據(jù)流過(guò)濾器1120可暫停或過(guò)濾一些傳輸數(shù)據(jù),諸如視頻數(shù)據(jù)、音頻數(shù)據(jù)、或者視頻和音頻數(shù)據(jù)二者。即使在不處于暫停狀態(tài)時(shí)(當(dāng)一些接收方設(shè)備可能只接收視頻通信數(shù)據(jù)流的部分時(shí)),過(guò)濾器1120也可過(guò)濾或選擇不同量的視頻通信數(shù)據(jù)流來(lái)傳輸(例如僅音頻或少量視頻數(shù)據(jù))。傳輸/接收管理器330可實(shí)施視頻通信數(shù)據(jù)流傳送格式化器1130。過(guò)濾后的數(shù)據(jù)(或者如果恢復(fù)完全傳輸?shù)脑?,未過(guò)濾的數(shù)據(jù))然后可在視頻通信數(shù)據(jù)流傳送格式化器1130處被格式化,以根據(jù)所建立的用于視頻通信的連接來(lái)進(jìn)行發(fā)送??蓪?shí)施各種用于編碼、加密、壓縮和/或格式化通信數(shù)據(jù)以及構(gòu)建符合通信協(xié)議格式(諸如實(shí)時(shí)協(xié)議(RTP)格式)的消息、分組、或其他傳送容器的技術(shù),以準(zhǔn)備用于傳輸?shù)囊曨l通信數(shù)據(jù)。然后可傳輸1106視頻通信數(shù)據(jù)。
圖12是根據(jù)一些實(shí)施方案示出用于動(dòng)態(tài)地檢測(cè)視頻通信的暫停或恢復(fù)事件的方法和技術(shù)的高階流程圖。在一些實(shí)施方案中,如1210所示,可捕獲視頻通信數(shù)據(jù)流,以用于傳輸?shù)疆?dāng)前視頻通信的參與方。如上文參考圖3所述的對(duì)視頻通信數(shù)據(jù)的捕獲可由各種光學(xué)和/或聽(tīng)覺(jué)傳感器(例如相機(jī)和/或麥克風(fēng))來(lái)執(zhí)行。在各種實(shí)施方案中,視頻通信可對(duì)等管理,如上文參考圖1所述。如1222所示,在一些實(shí)施方案中,可動(dòng)態(tài)評(píng)估視頻通信數(shù)據(jù)流。下文討論的圖13提供對(duì)各種評(píng)估技術(shù)的討論。例如,可分析視頻通信數(shù)據(jù)內(nèi)的視頻數(shù)據(jù)和/或音頻數(shù)據(jù),以及來(lái)自其他傳感器或部件的各種其他輸入。基于所述評(píng)估,可檢測(cè)暫停事件,如1230所示。
如果檢測(cè)到暫停事件,如1230的肯定分支所示,則可暫停視頻通信(為此,然后所捕獲視頻通信數(shù)據(jù)流的至少一部分不被傳輸?shù)揭曨l通信中的參與方)。需注意,在各種實(shí)施方案中,并非所有作為視頻通信參與方的接收方設(shè)備可接收相同量的數(shù)據(jù)。例如,一些參與方設(shè)備與其他參與方設(shè)備相比可能資源缺乏更嚴(yán)重(例如阻止設(shè)備有效地處理整個(gè)視頻通信數(shù)據(jù)流)。又如,不同用戶可能對(duì)于來(lái)自發(fā)送設(shè)備的視頻通信數(shù)據(jù)流可能具有對(duì)不同量的訪問(wèn)權(quán)限或權(quán)益,或者發(fā)送設(shè)備的用戶可能希望對(duì)多方視頻通信中的特定接收方遮蔽圖形效果或其他信息。相當(dāng)?shù)?,暫停視頻通信數(shù)據(jù)的傳輸可根據(jù)原始傳輸?shù)囊曨l通信數(shù)據(jù)流的相應(yīng)量來(lái)減少或停止傳輸。如果例如一個(gè)接收方只接收作為視頻通信一部分的音頻數(shù)據(jù),而另一接收方接收音頻和視頻數(shù)據(jù),則在發(fā)送設(shè)備處暫停的情況下,第一接收方可接收不到任何視頻通信數(shù)據(jù)流,而第二接收方可只接收到音頻數(shù)據(jù)。另選地,在一些實(shí)施方案中,暫??蓪⒁曨l通信數(shù)據(jù)流的所有傳輸減少到特定量(或者根本不傳輸)。
另選地,如果視頻通信的當(dāng)前傳輸狀態(tài)是暫停,則可檢測(cè)恢復(fù)事件,如1250的肯定分支所示。視頻通信數(shù)據(jù)的至少部分流的傳輸可被恢復(fù)或再次傳輸,如1260所示。例如,如果在暫停狀態(tài),沒(méi)有任何數(shù)據(jù)(或僅音頻數(shù)據(jù))被傳輸,則在檢測(cè)到恢復(fù)事件時(shí),音頻數(shù)據(jù)和視頻數(shù)據(jù)二者可被傳輸?shù)浇邮諈⑴c方。同樣,如上所述,多方視頻通信中的不同接收方可接收不同量的視頻通信數(shù)據(jù)流。當(dāng)恢復(fù)傳輸視頻通信數(shù)據(jù)流的至少一部分時(shí),原來(lái)發(fā)送到參與接收方的視頻通信數(shù)據(jù)的量可被恢復(fù)(例如如果之前只發(fā)送音頻,并且在暫停期間沒(méi)有發(fā)送任何數(shù)據(jù),則在恢復(fù)時(shí),可只發(fā)送音頻)。多方視頻通信中參與方的情況可能在發(fā)送設(shè)備暫停狀態(tài)期間改變。例如,本來(lái)資源缺乏的接收方設(shè)備可能不再資源缺乏(并且另選地,接收方設(shè)備可能變得資源缺乏)。在一些實(shí)施方案中,不管是什么暫停,在恢復(fù)時(shí),與暫停之前原來(lái)進(jìn)行發(fā)送的量不同量的視頻通信數(shù)據(jù)流可被發(fā)送到接收方設(shè)備。
在一些實(shí)施方案中,可接收用于暫停和恢復(fù)事件的手動(dòng)輸入。如1220所示,可接收對(duì)于視頻通信傳輸狀態(tài)的用戶選擇的指示。例如,用戶界面元素可被選擇,觸摸輸入、音頻輸入或某種其他形式的輸入可被接收,并且被解釋為對(duì)應(yīng)于暫停或恢復(fù)視頻通信。
在操作多方視頻通信和/或在集成顯示模式中顯示視頻通信數(shù)據(jù)時(shí),暫停和恢復(fù)事件的動(dòng)態(tài)檢測(cè)可能是有利的。例如當(dāng)多個(gè)不同參與方正在傳輸和接收視頻通信的視頻通信數(shù)據(jù)時(shí),視頻通信數(shù)據(jù)的動(dòng)態(tài)暫??蓽p輕對(duì)于傳輸和接收參與方設(shè)備的計(jì)算負(fù)擔(dān)。類似地,檢測(cè)暫停和恢復(fù)事件的自動(dòng)化或動(dòng)態(tài)實(shí)質(zhì)可阻止用戶在視頻通信的同時(shí)操作其他應(yīng)用程序時(shí)手動(dòng)暫停和恢復(fù)傳輸(在集成顯示模式中可能出現(xiàn)這樣的情況)。
圖13是根據(jù)一些實(shí)施方案示出用于確定視頻通信的活躍交換指示符的方法和技術(shù)的高階流程圖。如上所述,視頻通信數(shù)據(jù)可被捕獲1300以用于傳輸。在各種實(shí)施方案中,視頻數(shù)據(jù)可被分析1310。例如,可執(zhí)行面部識(shí)別技術(shù)來(lái)標(biāo)識(shí)是否有人在參與方設(shè)備視線內(nèi)??墒褂闷渌问降囊曨l分析。例如,可確定光水平,或者可檢測(cè)運(yùn)動(dòng)量。如1312所示,在一些實(shí)施方案中,可分析音頻數(shù)據(jù)??墒褂谜Z(yǔ)言分析來(lái)檢測(cè)會(huì)話或語(yǔ)言的量。也可評(píng)估或識(shí)別(并忽略)背景噪音或其他音頻信號(hào)。例如,可確定正在進(jìn)行的語(yǔ)言不是針對(duì)視頻通信的其他參與方。也可分析其他傳感器輸入1314。例如,諸如包括在下文參考圖22所述的便攜式多功能設(shè)備3000中的取向傳感器可用于檢測(cè)參與方設(shè)備的運(yùn)動(dòng)。在一些實(shí)施方案中,其他傳感器輸入1314可指示與傳輸數(shù)據(jù)的設(shè)備鏈接到同一用戶帳號(hào)的另一參與方設(shè)備是否也正在傳輸視頻通信數(shù)據(jù)和/或鏈接到同一用戶帳號(hào)的其他參與方設(shè)備是否在所述設(shè)備附近。如果可基于分析從所述其他設(shè)備接收的音頻或視頻數(shù)據(jù)而確定用戶相反正在使用所述其他設(shè)備參與視頻通信,則可指示是否在所述設(shè)備處暫停視頻通信。例如,如果移動(dòng)電話和平板電腦都鏈接到同一用戶帳號(hào),并且這兩個(gè)設(shè)備都正在參與視頻通信,則可基于移動(dòng)電話處所確定的活躍信息交換和/或基于移動(dòng)電話在平板電腦附近而在這些設(shè)備之一(例如平板電腦)上檢測(cè)暫停事件。
如1320所示,在一些實(shí)施方案中,可進(jìn)行對(duì)活躍交換指示符的確定。例如,在一些實(shí)施方案中,可實(shí)施對(duì)于元素1310、1312、和1314處進(jìn)行的各種不同確定的加權(quán)方案。在參與方設(shè)備的視線內(nèi)識(shí)別的面部如果結(jié)合特定量的所檢測(cè)語(yǔ)音,可被加權(quán)為更可能指示活躍信息交換。在確定活躍交換指示符時(shí)可考慮其他用戶提供的信息。例如,如果沒(méi)有識(shí)別到面部,但是還知道面向外的相機(jī)被選擇(不會(huì)指向用戶,而是指向來(lái)顯示并非用戶的接收方事物的相機(jī)),則可否定面部識(shí)別的缺少。因此,在各種實(shí)施方案中,在評(píng)估數(shù)據(jù)流來(lái)檢測(cè)暫停和恢復(fù)事件時(shí)可考慮捕獲視頻通信數(shù)據(jù)流的源或特定設(shè)備。
一旦確定了活躍交換指示符,就可將活躍交換指示符與特定交換閾值進(jìn)行比較。其觸發(fā)恢復(fù)事件還是暫停事件可取決于視頻通信的當(dāng)前傳輸狀態(tài)。如1330的否定分支所示,如果當(dāng)前傳輸狀態(tài)是未暫停,則可將活躍交換指示符與交換閾值進(jìn)行比較。如果活躍交換指示符低于交換閾值,如1340的肯定分支所示,則可觸發(fā)暫停事件,如1350所示。否則,如1340的否定分支所示,則可捕獲1300更多數(shù)據(jù),并再次執(zhí)行分析。如1330的肯定分支所示,可進(jìn)行活躍交換指示符以及其是否高于交換閾值之間的比較,如1360所示。如果活躍交換指示符高于交換閾值,如1360的肯定分支所示,則可觸發(fā)恢復(fù)事件。否則,如1360的否定分支所示,則可捕獲1300更多數(shù)據(jù),并再次執(zhí)行分析。
發(fā)起視頻通信通常涉及發(fā)起設(shè)備和接收方設(shè)備二者。如果接收方接受視頻通信,則可建立視頻連接。隨著視頻通信變得更普遍,接收方不認(rèn)識(shí)的很多實(shí)體可能請(qǐng)求視頻通信,或者即使在已知方之間也可能試圖進(jìn)行更多視頻通信。然而,視頻通信可能并非總是所期望的,除非能夠?qū)νㄐ诺闹黝}進(jìn)行判定。不是發(fā)起視頻通信,而是可發(fā)送視頻消息給接收方,視頻消息可被重放以判定視頻通信的實(shí)質(zhì)。如果期望,則接收方設(shè)備可發(fā)起視頻消息向視頻通信的動(dòng)態(tài)轉(zhuǎn)變。圖14是根據(jù)一些實(shí)施方案示出用于從視頻消息向視頻通信的動(dòng)態(tài)轉(zhuǎn)變的方法和技術(shù)的高階流程圖。
在各種實(shí)施方案中,如1410所示,可經(jīng)由視頻消息協(xié)議從遠(yuǎn)程移動(dòng)計(jì)算設(shè)備接收視頻通信數(shù)據(jù),其作為來(lái)自遠(yuǎn)程移動(dòng)計(jì)算設(shè)備的視頻消息的一部分。例如,視頻通信數(shù)據(jù)可經(jīng)由(可部分地在與可傳輸視頻通信的廣域網(wǎng)不同的網(wǎng)絡(luò)諸如無(wú)線電話網(wǎng)絡(luò)上執(zhí)行的)多媒體消息(MMS)協(xié)議來(lái)發(fā)送和/或接收。另選地,視頻消息的視頻通信數(shù)據(jù)可經(jīng)由即時(shí)消息或聊天協(xié)議來(lái)發(fā)送。
當(dāng)視頻消息的視頻通信數(shù)據(jù)被接收時(shí),視頻消息可被顯示在接收方設(shè)備處的電子顯示器上,如1420所示。例如,視頻消息可近乎實(shí)時(shí)地顯示在接收方設(shè)備處,其可“彈出”或自動(dòng)顯示,即使另一應(yīng)用程序當(dāng)前正在顯示或控制電子顯示器或者電子顯示器處于“休眠”或不活躍,類似于上文討論的集成顯示模式。視頻消息也可被記錄以供隨后在接收方設(shè)備處顯示,如1430所示。例如,視頻消息的視頻通信數(shù)據(jù)可被存儲(chǔ)在接收方存儲(chǔ)設(shè)備上的本地存儲(chǔ)處。在各種實(shí)施方案中,視頻通信數(shù)據(jù)可以與接收時(shí)的數(shù)據(jù)質(zhì)量或版本相比更低質(zhì)量或不同版本來(lái)記錄(諸如可由另一視頻編碼如開(kāi)放格式編碼來(lái)實(shí)現(xiàn))。
在至少一些實(shí)施方案中,可接收對(duì)于發(fā)起與遠(yuǎn)程移動(dòng)計(jì)算設(shè)備的視頻通信的指示,如1440的肯定分支所示。在各種實(shí)施方案中,接收方設(shè)備處所接收的對(duì)用戶界面元素的用戶選擇或某種其他形式的輸入可指示要發(fā)起視頻通信。例如,觸摸手勢(shì)諸如輕擊觸敏電子顯示器上所顯示的視頻消息可指示期望發(fā)起視頻通信。
在各種實(shí)施方案中,響應(yīng)于接收到對(duì)于發(fā)起視頻通信的指示,可與遠(yuǎn)程移動(dòng)計(jì)算設(shè)備建立視頻通信連接,如1450所示。例如,可執(zhí)行各種握手消息或其他憑據(jù)交換,以便建立連接。隨后接收的視頻通信數(shù)據(jù)然后可經(jīng)由所建立的視頻通信連接來(lái)接收,所建立的視頻通信連接可不同于視頻消息協(xié)議。例如,視頻通信可經(jīng)由視頻傳輸協(xié)議諸如實(shí)施傳輸協(xié)議(RTP)的對(duì)等和/或?qū)Φ裙芾淼木唧w實(shí)施來(lái)執(zhí)行。此外,視頻通信數(shù)據(jù)可被捕獲并且經(jīng)由所建立的連接從接收方設(shè)備傳輸?shù)竭h(yuǎn)程移動(dòng)計(jì)算設(shè)備(如可作為雙方或多方視頻通信的一部分來(lái)執(zhí)行)。在至少一些實(shí)施方案中,在所建立的視頻通信連接上接收的視頻通信數(shù)據(jù)可繼續(xù)被記錄并與經(jīng)由視頻消息協(xié)議接收的視頻通信數(shù)據(jù)一起存儲(chǔ),以供隨后回放。
在至少一些實(shí)施方案中,雖然視頻通信連接被建立并且可允許實(shí)時(shí)通信,但是所捕獲的視頻通信數(shù)據(jù)仍然可作為消息經(jīng)由所建立的視頻通信信道來(lái)交換。例如,用戶可在對(duì)于建立視頻通信連接的選擇中指示會(huì)話仍然可“離線”進(jìn)行(即通過(guò)發(fā)送和接收視頻消息)。所交換的視頻消息可經(jīng)由所建立的連接(并且根據(jù)各種協(xié)議要求)發(fā)送。此外,可接收指示來(lái)在通過(guò)已經(jīng)建立的視頻通信連接的離線會(huì)話和實(shí)時(shí)會(huì)話之間切換。然而在一些實(shí)施方案中,可基于成本或響應(yīng)性測(cè)定來(lái)確定可傳輸“離線”視頻消息的方式。例如,如果用于建立視頻通信連接的資源可用于其他目的,則視頻通信可被放棄,并且經(jīng)由視頻消息協(xié)議交換視頻消息。
在至少一些實(shí)施方案中,可能沒(méi)有接收到任何指示要發(fā)起視頻通信,或者可能接收到不發(fā)起視頻通信的否定指示,如1440的否定分支所示。在一些實(shí)施方案中,這個(gè)指示可指示期望在接收到視頻通信數(shù)據(jù)時(shí)停止顯示視頻通信數(shù)據(jù),如1460所示例如,觸摸手勢(shì)諸如輕掃離開(kāi)觸敏電子顯示器上所顯示的視頻消息可指示期望停止顯示視頻通信數(shù)據(jù)(并且不發(fā)起視頻通信)。然而,可繼續(xù)對(duì)視頻消息的記錄。在一些實(shí)施方案中,記錄的所存儲(chǔ)視頻通信數(shù)據(jù)可隨后響應(yīng)于回放請(qǐng)求而被顯示。雖然未示出,但是在一些實(shí)施方案中,隨后可接收指示來(lái)建立視頻通信(在最初接收到不顯示視頻通信的指示之后)。例如,可檢測(cè)語(yǔ)音命令來(lái)指示顯示和建立與發(fā)送了(或者仍然正在發(fā)送)視頻消息的發(fā)送設(shè)備的視頻通信。
也可使用單方或單向的視頻消息通信向雙方或多方視頻通信之間的轉(zhuǎn)變來(lái)應(yīng)對(duì)可能使視頻通信不能持續(xù)的網(wǎng)絡(luò)變化(例如由于網(wǎng)絡(luò)連接質(zhì)量差)。圖15是根據(jù)一些實(shí)施方案示出用于為視頻通信與視頻消息之間的動(dòng)態(tài)轉(zhuǎn)變監(jiān)視視頻通信連接的質(zhì)量的方法和技術(shù)的高階流程圖。如1510所示,可捕獲視頻通信數(shù)據(jù),以用于作為視頻通信的一部分傳輸?shù)竭h(yuǎn)程移動(dòng)計(jì)算設(shè)備。所捕獲的視頻通信數(shù)據(jù)可經(jīng)由所建立的連接發(fā)送到一個(gè)或多個(gè)遠(yuǎn)程移動(dòng)計(jì)算設(shè)備。如1520所示,可監(jiān)視視頻通信以確定連接質(zhì)量指示符。例如,可使用各種信號(hào)強(qiáng)度指標(biāo)(對(duì)于無(wú)線連接)或網(wǎng)絡(luò)性能指標(biāo)(例如可用帶寬或連接速度)來(lái)確定連接質(zhì)量指示符。
如果視頻通信將連接質(zhì)量指示符保持在某個(gè)容忍閾值處或之上,則視頻通信可繼續(xù),如1530的否定分支所示。然而,在各種實(shí)施方案中,如果連接質(zhì)量指示符降到低于所述容忍閾值,則可進(jìn)行向視頻消息協(xié)議的轉(zhuǎn)變。例如,如1530的肯定分支所示,可提供向視頻消息協(xié)議轉(zhuǎn)變的指示,如1540所示。在各種實(shí)施方案中,這個(gè)指示可以是傳輸參與方設(shè)備處的提示、通知、消息或信息顯示。在一些實(shí)施方案中,也可向視頻通信中的其他參與方提供通知或其他指示,來(lái)指示特定參與方設(shè)備已經(jīng)切換到視頻消息協(xié)議。如1550所示,所捕獲的視頻通信數(shù)據(jù)可被記錄以作為視頻消息經(jīng)由視頻消息協(xié)議發(fā)送到遠(yuǎn)程移動(dòng)計(jì)算設(shè)備。雖然沒(méi)有示出,但是在至少一些實(shí)施方案中,可進(jìn)行相反轉(zhuǎn)變,例如如果連接質(zhì)量指示符達(dá)到或提高到高于所述容忍閾值,則所捕獲的視頻通信數(shù)據(jù)可再次經(jīng)由所建立的視頻通信連接發(fā)送。例如在一些實(shí)施方案中,可能確定連接質(zhì)量指示符等于或高于連接容忍閾值,并且作為響應(yīng),可經(jīng)由視頻通信連接恢復(fù)對(duì)所捕獲的視頻通信數(shù)據(jù)的傳輸。
雖然前面在接收視頻消息來(lái)發(fā)起雙方視頻通信的語(yǔ)境中進(jìn)行了討論,但是同樣的技術(shù)可適用于更大的參與方設(shè)備群組。例如,經(jīng)由群消息線程或視頻聊天線程進(jìn)行通信的多個(gè)參與方設(shè)備可實(shí)施上述技術(shù)。圖16A和圖16B根據(jù)一些實(shí)施方案示出視頻消息中的多個(gè)參與方向視頻通信的動(dòng)態(tài)轉(zhuǎn)變。圖16A示出群消息線程1600。群消息線程1600中的不同參與方可發(fā)送/發(fā)布不同視頻消息,諸如參與方A視頻消息1610、參與方B視頻消息1620、和參與方C視頻消息1630。視頻消息可在被接收時(shí)被顯示。此外,如上文參考圖14所述,可接收對(duì)于發(fā)起視頻通信的指示,諸如一個(gè)或多個(gè)所述視頻消息1610、1620、和/或1630上的觸摸輸入。圖16B示出動(dòng)態(tài)轉(zhuǎn)變?yōu)榕c群消息線程1600的參與方的視頻通信。參與方A的視頻通信數(shù)據(jù)1612、參與方B的視頻通信數(shù)據(jù)1622、和參與方C的視頻通信數(shù)據(jù)1632可作為多方視頻通信的一部分被顯示。需注意,雖然所有參與方都被圖示為參與多方通信,但是并非所有群消息線程參與方都需要或接受參與實(shí)時(shí)視頻通信。在一些實(shí)施方案中,對(duì)于不參與的那些參與方,包含通信數(shù)據(jù)的視頻消息可被傳輸或發(fā)布到群消息線程。這樣,群消息線程的一些參與方可被動(dòng)地參與群通信。在一些實(shí)施方案中,后來(lái)加入群聊天、消息線程、或多方視頻通信的參與方也可接收(并且可能顯示)群通信的先前視頻通信或消息(例如重放會(huì)話歷史)。
如上文參考圖14所述,在各種實(shí)施方案中,可記錄視頻通信數(shù)據(jù),不管是經(jīng)由視頻消息協(xié)議還是視頻通信連接傳輸?shù)?。在一些?shí)施方案中,通信數(shù)據(jù)可本地地存儲(chǔ)在每個(gè)參與方的設(shè)備處。然而,視頻通信數(shù)據(jù)的較大量可能超過(guò)本地存儲(chǔ)資源。因此,視頻通信數(shù)據(jù)可以另一(例如分辨率較低)格式存儲(chǔ)。在一些實(shí)施方案中,視頻通信數(shù)據(jù)可存儲(chǔ)在遠(yuǎn)程存儲(chǔ)設(shè)備或數(shù)據(jù)存儲(chǔ)處,諸如上文參考圖3中的所存儲(chǔ)視頻通信數(shù)據(jù)360所述。
然而,可為遠(yuǎn)程存儲(chǔ)的任何視頻通信數(shù)據(jù)實(shí)施各種隱私保護(hù)和協(xié)議。例如,可必須明確地獲得同意遠(yuǎn)程(或在其他參與方設(shè)備本地)記錄視頻通信(例如可必須選擇或批準(zhǔn)確認(rèn)對(duì)話界面元素)。視頻通信數(shù)據(jù)可被加密,使得只有視頻通信中的參與方才可以能夠訪問(wèn)所存儲(chǔ)的視頻通信數(shù)據(jù)。在一些實(shí)施方案中,可實(shí)施嚴(yán)格的數(shù)據(jù)保持策略,以在短的時(shí)間段(例如24小時(shí)或3天)之后刪除所存儲(chǔ)的通信數(shù)據(jù)。對(duì)于另一參與方對(duì)所存儲(chǔ)視頻通信數(shù)據(jù)的每次訪問(wèn),可要求來(lái)自這些參與方的當(dāng)前同意。另選地,在一些實(shí)施方案中,參與方設(shè)備可以能夠流式傳輸或發(fā)送可僅僅存儲(chǔ)在這一個(gè)參與方設(shè)備處的所存儲(chǔ)的視頻通信數(shù)據(jù)。例如,每個(gè)參與方設(shè)備可只保持在該參與方設(shè)備處所捕獲的視頻通信數(shù)據(jù),而對(duì)于視頻通信繞過(guò)任何遠(yuǎn)程存儲(chǔ)。
圖17是根據(jù)一些實(shí)施方案示出實(shí)施視頻通信與視頻消息之間的動(dòng)態(tài)轉(zhuǎn)變的視頻通信模塊的連接管理器的框圖。連接管理器320可實(shí)施視頻消息轉(zhuǎn)變協(xié)調(diào)器1720,其可被配置為指示對(duì)于在視頻消息和視頻通信之間的轉(zhuǎn)變所必需的各種步驟。例如,視頻通信的啟動(dòng)或停止命令1704可被發(fā)送到傳輸/接收管理器330,用于啟動(dòng)或停止視頻通信。類似地,視頻消息轉(zhuǎn)變協(xié)調(diào)器可請(qǐng)求另一應(yīng)用程序諸如負(fù)責(zé)實(shí)施視頻消息收發(fā)的應(yīng)用程序、模塊或部件(例如圖22中便攜式多功能設(shè)備3000中的即時(shí)消息模塊3041)將視頻通信數(shù)據(jù)作為視頻消息來(lái)處理(例如,諸如在視頻連接質(zhì)量降到低于某一閾值的情況下)。視頻消息轉(zhuǎn)變協(xié)調(diào)器可確定何時(shí)基于各種輸入進(jìn)行視頻消息收發(fā)和視頻通信之間的轉(zhuǎn)變。例如,可接收對(duì)于為當(dāng)前所顯示的視頻消息發(fā)起視頻通信的指示或用戶選擇1706,視頻消息轉(zhuǎn)變協(xié)調(diào)器可依賴于此來(lái)發(fā)起向視頻通信的轉(zhuǎn)變。
連接管理器320還可實(shí)施連接質(zhì)量監(jiān)視器1710,其可被配置為執(zhí)行上文參考圖15所述的各種技術(shù),以便評(píng)估連接質(zhì)量數(shù)據(jù)1702以及確定可何時(shí)執(zhí)行向以及自視頻消息收發(fā)的轉(zhuǎn)變。連接質(zhì)量監(jiān)視器1710還可向視頻消息轉(zhuǎn)變協(xié)調(diào)器提供輸入來(lái)指示何時(shí)可能需要執(zhí)行這樣的轉(zhuǎn)變。
連接管理器320還可實(shí)施視頻連接接口1730。視頻連接接口1730可建立與遠(yuǎn)程移動(dòng)計(jì)算設(shè)備的連接1708,以便轉(zhuǎn)變到視頻通信。連接信息1708可被提供給傳輸/接收管理器330、或者其他負(fù)責(zé)經(jīng)由所建立的連接1708傳輸捕獲的視頻通信數(shù)據(jù)的類似部件。
傳輸/接收管理器330可將所傳輸和/或接收的視頻通信數(shù)據(jù)1732記錄/存儲(chǔ)在所存儲(chǔ)視頻數(shù)據(jù)360中。所存儲(chǔ)視頻數(shù)據(jù)360可以是本地持久性數(shù)據(jù)存儲(chǔ),或者可以是將視頻通信數(shù)據(jù)存儲(chǔ)在一個(gè)存儲(chǔ)服務(wù)器或位置或者存儲(chǔ)在多個(gè)存儲(chǔ)服務(wù)器或位置的遠(yuǎn)程數(shù)據(jù)存儲(chǔ)(例如單個(gè)遠(yuǎn)程設(shè)備或分布式系統(tǒng))。
提高執(zhí)行視頻通信的便利性和靈活性的另一技術(shù)可涉及縮短建立視頻通信所需的時(shí)間量。圖18是根據(jù)一些實(shí)施方案示出用于即時(shí)視頻通信的方法和技術(shù)的高階流程圖。即時(shí)視頻通信可基于為不同參與方設(shè)備維持的預(yù)先建立的視頻通信連接來(lái)實(shí)施。每個(gè)參與方設(shè)備可管理被授權(quán)參與方設(shè)備列表,可從被授權(quán)參與方設(shè)備接收即時(shí)視頻通信或者可向被授權(quán)參與方設(shè)備發(fā)送即時(shí)視頻通信。需注意,術(shù)語(yǔ)“即時(shí)”可以是指參與方設(shè)備之間視頻通信數(shù)據(jù)的傳輸時(shí)間,而不必在傳輸視頻通信數(shù)據(jù)之前執(zhí)行某些連接建立技術(shù)。因此,在各種實(shí)施方案中,“即時(shí)”視頻通信可以是已經(jīng)為其執(zhí)行了先前執(zhí)行的連接建立步驟的視頻通信連接,使得視頻通信數(shù)據(jù)的傳輸可“即時(shí)地”開(kāi)始(從參與方設(shè)備的用戶的角度來(lái)看),而不執(zhí)行建立連接的步驟。因此,術(shù)語(yǔ)“即時(shí)”可以不被理解為要求絕對(duì)的即刻通信。
如1810所示,可接收請(qǐng)求來(lái)發(fā)起與遠(yuǎn)程移動(dòng)計(jì)算設(shè)備的即時(shí)視頻通信。例如,一些支持/被授權(quán)即時(shí)通信的遠(yuǎn)程移動(dòng)計(jì)算設(shè)備可默認(rèn)地在請(qǐng)求對(duì)那些移動(dòng)計(jì)算設(shè)備之一的視頻通信時(shí)發(fā)起對(duì)即時(shí)視頻通信的請(qǐng)求。響應(yīng)于接收到所述請(qǐng)求,可確定對(duì)于特定用戶是否授權(quán)即時(shí)連接,如1820所示。例如,可對(duì)所存儲(chǔ)的參與方連接信息應(yīng)用列表,其他組織方案,其中某些參與方被指定為被授權(quán)用于即時(shí)連接。如果參與方設(shè)備在授權(quán)列表上,則可認(rèn)為即時(shí)視頻連接被授權(quán)。
如果被授權(quán),如1820的肯定分支所示,則可訪問(wèn)所存儲(chǔ)的用于遠(yuǎn)程移動(dòng)計(jì)算設(shè)備的連接信息,如1830所示。在各種實(shí)施方案中,這個(gè)所存儲(chǔ)連接信息可被保持或更新,以確保與遠(yuǎn)程移動(dòng)計(jì)算設(shè)備的連接成功保持。例如,心跳或其他輪詢技術(shù)可周期性地或非周期性地向遠(yuǎn)程移動(dòng)計(jì)算設(shè)備發(fā)送確認(rèn)或重新授權(quán)請(qǐng)求,以獲得更新的連接信息或驗(yàn)證連接信息。在一些實(shí)施方案中,遠(yuǎn)程移動(dòng)計(jì)算設(shè)備可主動(dòng)向針對(duì)其保持對(duì)即時(shí)視頻通信的授權(quán)的參與方設(shè)備發(fā)送更新,以更新或驗(yàn)證連接信息。所保持的連接信息可以是對(duì)于經(jīng)由先前已經(jīng)被授權(quán)和建立的視頻通信連接傳輸視頻通信數(shù)據(jù)而言必需的各種標(biāo)識(shí)符、密鑰、憑證、令牌、地址、或其他信息。
如1840所示,在各種實(shí)施方案中,為即時(shí)視頻通信捕獲的視頻通信數(shù)據(jù)可根據(jù)為遠(yuǎn)程移動(dòng)計(jì)算設(shè)備所存儲(chǔ)的即時(shí)連接來(lái)傳輸。這樣,通信數(shù)據(jù)可在遠(yuǎn)程移動(dòng)計(jì)算設(shè)備處被快速接收并顯示,從而為移動(dòng)計(jì)算設(shè)備的用戶提供視頻通信的近乎實(shí)時(shí)的體驗(yàn)。下文所述的圖20提供了關(guān)于為即時(shí)視頻通信顯示視頻通信數(shù)據(jù)的進(jìn)一步細(xì)節(jié)。如果即時(shí)連接未被授權(quán),如1820的否定分支所示,則可首先與遠(yuǎn)程計(jì)算設(shè)備建立視頻通信連接,如1850所示。例如,可執(zhí)行與遠(yuǎn)程移動(dòng)計(jì)算設(shè)備和/或其他第三方系統(tǒng)諸如憑證提供或標(biāo)識(shí)系統(tǒng)的各種標(biāo)識(shí)和鑒權(quán)交換,以促進(jìn)與遠(yuǎn)程移動(dòng)計(jì)算設(shè)備的視頻通信。在建立視頻通信連接之后,為視頻通信捕獲的視頻通信數(shù)據(jù)可根據(jù)所建立的視頻通信連接來(lái)傳輸,如1860所示。
圖19A和圖19B是根據(jù)一些實(shí)施方案示出用于獲取建立即時(shí)視頻通信連接的授權(quán)的方法和技術(shù)的高階流程圖。圖19A從請(qǐng)求參與方設(shè)備的角度示出建立即時(shí)視頻通信授權(quán)。如1910所示,可向遠(yuǎn)程移動(dòng)計(jì)算設(shè)備發(fā)送針對(duì)建立即時(shí)視頻通信連接的授權(quán)的請(qǐng)求。所述請(qǐng)求可提供請(qǐng)求設(shè)備的各種標(biāo)識(shí)憑證,諸如用戶標(biāo)識(shí)符、聯(lián)系標(biāo)識(shí)符或其他信息。如1920所示,在各種實(shí)施方案中,響應(yīng)于接收到授權(quán),可與遠(yuǎn)程移動(dòng)計(jì)算設(shè)備建立即時(shí)視頻通信連接。例如,可執(zhí)行與遠(yuǎn)程移動(dòng)計(jì)算設(shè)備和/或其他第三方系統(tǒng)諸如憑證提供或標(biāo)識(shí)系統(tǒng)的各種標(biāo)識(shí)和鑒權(quán)交換,以促進(jìn)與遠(yuǎn)程移動(dòng)計(jì)算設(shè)備的視頻通信。一旦建立了,即時(shí)視頻通信連接的連接信息就可被存儲(chǔ),如1930所示,其可隨后在發(fā)起與遠(yuǎn)程移動(dòng)計(jì)算設(shè)備的即時(shí)視頻通信時(shí)被訪問(wèn)。
圖19B從遠(yuǎn)程移動(dòng)計(jì)算設(shè)備的角度或確認(rèn)或拒絕對(duì)即時(shí)視頻通信的授權(quán)的參與方設(shè)備的角度示出建立即時(shí)視頻通信連接的技術(shù)。如1940所示,可從遠(yuǎn)程移動(dòng)計(jì)算設(shè)備接收針對(duì)建立即時(shí)視頻通信連接的授權(quán)的請(qǐng)求。如上所述,所述請(qǐng)求可包括各種標(biāo)識(shí)信息?;谶@個(gè)標(biāo)識(shí)信息,可確定是否接收對(duì)于即時(shí)視頻通信連接的授權(quán),如1950所示。例如,可將標(biāo)識(shí)請(qǐng)求參與方設(shè)備(或該參與方設(shè)備的用戶)以及請(qǐng)求授權(quán)的指示或通知向遠(yuǎn)程移動(dòng)計(jì)算設(shè)備的用戶引導(dǎo)(例如顯示通知或發(fā)送電子郵件),以確認(rèn)或拒絕即時(shí)連接授權(quán)請(qǐng)求??山邮沾_認(rèn)輸入,如1950的肯定分支所示,并且可向遠(yuǎn)程移動(dòng)計(jì)算設(shè)備發(fā)送具有用于建立即時(shí)視頻通信連接的連接信息的響應(yīng),如1960所示。在一些實(shí)施方案中,接收參與方設(shè)備自身可開(kāi)始用于即時(shí)視頻通信連接的建立過(guò)程。如果未被授權(quán),則如1970所示,可拒絕對(duì)于授權(quán)的請(qǐng)求。
圖20是根據(jù)一些實(shí)施方案示出用于經(jīng)由即時(shí)視頻通信連接顯示視頻通信數(shù)據(jù)的方法和技術(shù)的高階流程圖。如2010所示,可從遠(yuǎn)程移動(dòng)計(jì)算設(shè)備接收用于即時(shí)視頻通信的視頻通信數(shù)據(jù)。在顯示視頻通信數(shù)據(jù)之前,可確定是否授權(quán)來(lái)自這個(gè)遠(yuǎn)程移動(dòng)計(jì)算設(shè)備的即時(shí)視頻通信,如2020所示。例如,可對(duì)于特定遠(yuǎn)程移動(dòng)計(jì)算設(shè)備評(píng)估被授權(quán)用戶/設(shè)備列表或聯(lián)系信息。如果即時(shí)視頻通信被授權(quán),則可顯示用于即時(shí)視頻通信的視頻通信數(shù)據(jù),如2030所示。在一些實(shí)施方案中,視頻通信數(shù)據(jù)可默認(rèn)地以集成顯示模式顯示。而在一些實(shí)施方案中,可使用全屏顯示模式來(lái)顯示視頻通信數(shù)據(jù),從而動(dòng)態(tài)確定顯示位置。如果即時(shí)視頻通信未被授權(quán),則可拒絕即時(shí)視頻通信,如2040所示。在一些實(shí)施方案中,拒絕可在遠(yuǎn)程移動(dòng)計(jì)算設(shè)備和/或接收方設(shè)備處觸發(fā)非即時(shí)視頻通信建立過(guò)程。
圖21是根據(jù)一些實(shí)施方案示出實(shí)施即時(shí)視頻通信的視頻通信模塊的連接管理器的框圖。在各種實(shí)施方案中,連接管理器320可實(shí)施即時(shí)連接管理器1740,其可被配置為協(xié)調(diào)授權(quán)以及執(zhí)行即時(shí)視頻通信。諸如上文參考圖19A所述的即時(shí)連接授權(quán)建立請(qǐng)求1743可在即時(shí)連接管理器1740處被接收,其請(qǐng)求和/或接收對(duì)于建立即時(shí)視頻通信的用戶授權(quán)1748(或拒絕)。對(duì)于被授權(quán)的即時(shí)視頻通信,即時(shí)連接管理器1740可通知視頻通信接口1730與請(qǐng)求移動(dòng)計(jì)算設(shè)備建立即時(shí)視頻通信連接。即時(shí)連接管理器1740可保持所建立即時(shí)視頻通信連接的連接信息,作為被授權(quán)即時(shí)連接參與方信息1760的一部分。
類似地,當(dāng)在即時(shí)連接管理器1740(對(duì)于其還沒(méi)有接收過(guò)來(lái)自該特定用戶或參與方設(shè)備的請(qǐng)求)接收到對(duì)于與特定用戶或移動(dòng)計(jì)算設(shè)備建立即時(shí)連接的用戶授權(quán)1748(或請(qǐng)求)時(shí),即時(shí)連接管理器1740可指示視頻通信連接接口1730向所述特定用戶或遠(yuǎn)程移動(dòng)計(jì)算設(shè)備請(qǐng)求授權(quán)??蓪?duì)于這些請(qǐng)求接收即時(shí)連接接受1746,并且保持隨后獲得的連接信息,作為被授權(quán)即時(shí)連接參與方信息1760(其可保持在上文參考圖3所述的參與方聯(lián)系信息存儲(chǔ)350中)。
對(duì)于對(duì)發(fā)起即時(shí)連接1744的請(qǐng)求,即時(shí)連接管理器1740可確定這樣的即時(shí)連接是否被授權(quán),如果被授權(quán),則指示視頻通信連接接口1730提供即時(shí)連接信息1752給傳輸/接收管理器330。同樣地,對(duì)于傳入的即時(shí)視頻通信,即時(shí)連接管理器1740可確定傳入的即時(shí)視頻通信是否被授權(quán),并且指示顯示管理器340顯示即時(shí)視頻通信數(shù)據(jù)1754。
本文所述的方法在各種實(shí)施方案中可通過(guò)硬件和軟件的任意組合來(lái)實(shí)施。例如,在一個(gè)實(shí)施方案中,這些方法可通過(guò)包括執(zhí)行存儲(chǔ)在耦接到處理器的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上的程序指令的一個(gè)或多個(gè)處理器的移動(dòng)計(jì)算設(shè)備、便攜式多功能設(shè)備(例如圖22至圖24中的便攜式多功能設(shè)備3000)或計(jì)算機(jī)系統(tǒng)(例如圖25中的計(jì)算機(jī)系統(tǒng)4000)來(lái)實(shí)施。這些程序指令可被配置為實(shí)施本文所述的功能(例如實(shí)施本文所述視頻通信應(yīng)用程序的各種部件的功能)。附圖中所示和本文所述的各種方法代表方法的示例性實(shí)施方案。任何方法的順序可改變,并且各種元素可被添加、重新排序、組合、忽略和修改等。
本文描述了電子設(shè)備、此類設(shè)備的用戶界面和使用此類設(shè)備的相關(guān)聯(lián)的過(guò)程的實(shí)施方案。在一些實(shí)施方案中,該設(shè)備是還包含其他功能諸如PDA和/或音樂(lè)播放器功能的便攜式通信設(shè)備諸如移動(dòng)電話。也可以使用其它便攜式電子設(shè)備,諸如具有觸敏表面(例如,觸摸屏顯示器和/或觸摸板)的膝上型電腦或平板電腦。還應(yīng)當(dāng)理解的是,在一些實(shí)施方案中,該設(shè)備并非便攜式通信設(shè)備,而是具有觸敏表面(例如,觸摸屏顯示器和/或觸摸板)的臺(tái)式計(jì)算機(jī)。
在下面的討論中,描述了一種包括顯示器和觸敏表面的電子設(shè)備。然而應(yīng)當(dāng)理解,電子設(shè)備可以包括一個(gè)或多個(gè)其他物理用戶接口設(shè)備,諸如物理鍵盤、鼠標(biāo)和/或操作桿。
所述設(shè)備通常支持各種應(yīng)用程序,諸如以下中的一者或多者:繪圖應(yīng)用程序、呈現(xiàn)應(yīng)用程序、文字處理應(yīng)用程序、網(wǎng)站創(chuàng)建應(yīng)用程序、盤編輯應(yīng)用程序、電子表格應(yīng)用程序、游戲應(yīng)用程序、電話應(yīng)用程序、視頻會(huì)議應(yīng)用程序、電子郵件應(yīng)用程序、即時(shí)消息應(yīng)用程序、健身支持應(yīng)用程序、相片管理應(yīng)用程序、數(shù)字相機(jī)應(yīng)用程序、數(shù)字視頻攝像機(jī)應(yīng)用程序、網(wǎng)頁(yè)瀏覽應(yīng)用程序、數(shù)字音樂(lè)播放器應(yīng)用程序和/或數(shù)字視頻播放器應(yīng)用程序。
可在設(shè)備上執(zhí)行的各種應(yīng)用程序可使用至少一個(gè)共用的物理的用戶接口設(shè)備,諸如觸敏表面。觸敏表面的一種或多種功能以及顯示在設(shè)備上的對(duì)應(yīng)信息對(duì)于各個(gè)應(yīng)用程序可被調(diào)節(jié)和/或是不同的,和/或在對(duì)應(yīng)應(yīng)用程序內(nèi)可被調(diào)節(jié)和/或是不同的。這樣,設(shè)備的共用物理架構(gòu)(諸如觸敏表面)可利用對(duì)于用戶直觀且透明的用戶界面來(lái)支持各種應(yīng)用程序。
現(xiàn)在關(guān)注具有觸敏顯示器的便攜式設(shè)備的實(shí)施方案。圖22是示出根據(jù)一些實(shí)施方案的具有觸敏顯示器3012的便攜式多功能設(shè)備3000的框圖。觸敏顯示器3012有時(shí)為了方便被稱為“觸摸屏”,并且也可被稱為是或者被叫做觸敏顯示器系統(tǒng)。設(shè)備3000可具有存儲(chǔ)器3002(其可包括一個(gè)或多個(gè)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì))、存儲(chǔ)器控制器3022、一個(gè)或多個(gè)處理單元(CPU)3020、外圍設(shè)備接口3018、RF電路3008、音頻電路3010、揚(yáng)聲器3011、麥克風(fēng)3013、輸入/輸出(I/O)子系統(tǒng)3006、其他輸入或控制設(shè)備3016、和外部端口3024。設(shè)備3000可包括一個(gè)或多個(gè)光學(xué)傳感器3064。這些部件可通過(guò)一條或多條通信總線或信號(hào)線3003進(jìn)行通信。
應(yīng)當(dāng)理解,設(shè)備3000只是便攜式多功能設(shè)備的一個(gè)示例,并且設(shè)備3000可具有比所示出的更多或更少的部件,可組合兩個(gè)或更多個(gè)部件,或者可具有這些部件的不同配置或布置。圖22中所示的各種部件可以硬件、軟件或軟硬件組合來(lái)實(shí)現(xiàn),包括一個(gè)或多個(gè)信號(hào)處理電路和/或?qū)S眉呻娐贰?/p>
存儲(chǔ)器3002可包括高速隨機(jī)存取存儲(chǔ)器并且還可包括非易失性存儲(chǔ)器,諸如一個(gè)或多個(gè)磁盤存儲(chǔ)設(shè)備、閃存存儲(chǔ)器設(shè)備、或其他非易失性固態(tài)存儲(chǔ)器設(shè)備。設(shè)備3000的其他部件(諸如CPU 3020和外圍設(shè)備接口3018)對(duì)存儲(chǔ)器3002的訪問(wèn)可由存儲(chǔ)器控制器3022來(lái)控制。
外圍設(shè)備接口3018可被用于將設(shè)備的輸入外圍設(shè)備和輸出外圍設(shè)備耦接到CPU 3020和存儲(chǔ)器3002。該一個(gè)或多個(gè)處理器3020運(yùn)行或執(zhí)行被存儲(chǔ)在存儲(chǔ)器3002中的各種軟件程序和/或指令集,以執(zhí)行設(shè)備3000的各種功能并處理數(shù)據(jù)。
在一些實(shí)施方案中,外圍設(shè)備接口3018、CPU 3020、和存儲(chǔ)器控制器3022可在單個(gè)芯片諸如芯片3004上實(shí)現(xiàn)。在一些其他實(shí)施方案中,它們可在單獨(dú)的芯片上實(shí)現(xiàn)。
RF(射頻)電路3008接收和發(fā)送也被叫做電磁信號(hào)的RF信號(hào)。RF電路3008將電信號(hào)轉(zhuǎn)換為電磁信號(hào)/將電磁信號(hào)轉(zhuǎn)換為電信號(hào),并且經(jīng)由電磁信號(hào)來(lái)與通信網(wǎng)絡(luò)以及其他通信設(shè)備進(jìn)行通信。RF電路3008可包括用于執(zhí)行這些功能的熟知的電路,包括但不限于天線系統(tǒng)、RF收發(fā)器、一個(gè)或多個(gè)放大器、調(diào)諧器、一個(gè)或多個(gè)振蕩器、數(shù)字信號(hào)處理器、編解碼芯片組、用戶身份模塊(SIM)卡、存儲(chǔ)器等等。RF電路3008可通過(guò)無(wú)線通信與網(wǎng)絡(luò)以及其他設(shè)備進(jìn)行通信,該網(wǎng)絡(luò)諸如互聯(lián)網(wǎng)(也被稱為萬(wàn)維網(wǎng)(WWW))、內(nèi)聯(lián)網(wǎng)和/或無(wú)線網(wǎng)絡(luò)(諸如蜂窩電話網(wǎng)絡(luò)、無(wú)線局域網(wǎng)(LAN)和/或城域網(wǎng)(MAN))。無(wú)線通信可以使用多個(gè)通信標(biāo)準(zhǔn)、協(xié)議和技術(shù)中任何一個(gè),包括但不限于全球移動(dòng)通信系統(tǒng)(GSM)、增強(qiáng)型數(shù)據(jù)GSM環(huán)境(EDGE)、高速下行分組接入(HSDPA)、高速上行分組接入(HSUPA)、寬帶碼分多址(W-CDMA)、碼分多址(CDMA)、時(shí)分多址(TDMA)、藍(lán)牙、無(wú)線相容性認(rèn)證(Wi-Fi)(例如IEEE 802.11a、IEEE 802.11b、IEEE 802.11g和/或IEEE 802.11n)、互聯(lián)網(wǎng)協(xié)議語(yǔ)音技術(shù)(VoIP)、Wi-MAX、電子郵件協(xié)議(例如互聯(lián)網(wǎng)消息訪問(wèn)協(xié)議(IMAP)和/或郵局協(xié)議(POP))、即時(shí)消息(例如可擴(kuò)展消息處理現(xiàn)場(chǎng)協(xié)議(XMPP)、針對(duì)即時(shí)信息處理現(xiàn)場(chǎng)支持?jǐn)U展的會(huì)話發(fā)起協(xié)議(SIMPLE)、即時(shí)信息處理現(xiàn)場(chǎng)服務(wù)(IMPS))、和/或短消息服務(wù)(SMS)、或任何其他合適的通信協(xié)議,包括在本申請(qǐng)?zhí)峤蝗者€未開(kāi)發(fā)出的通信協(xié)議。
音頻電路3010、揚(yáng)聲器3011和麥克風(fēng)3013提供用戶和設(shè)備3000之間的音頻接口。音頻電路3010從外圍設(shè)備接口3018接收音頻數(shù)據(jù),將音頻數(shù)據(jù)轉(zhuǎn)換為電信號(hào),并將電信號(hào)傳輸?shù)綋P(yáng)聲器3011。揚(yáng)聲器3011將電信號(hào)轉(zhuǎn)換為人耳可聽(tīng)見(jiàn)的聲波。音頻電路3010還接收由麥克風(fēng)3013根據(jù)聲波轉(zhuǎn)換的電信號(hào)。音頻電路3010將電信號(hào)轉(zhuǎn)換為音頻數(shù)據(jù),并將音頻數(shù)據(jù)傳輸?shù)酵鈬O(shè)備接口3018以進(jìn)行處理。音頻數(shù)據(jù)可由外圍設(shè)備接口3018從存儲(chǔ)器3002和/或RF電路3008進(jìn)行檢索和/或被傳輸至存儲(chǔ)器和/或RF電路。在一些實(shí)施方案中,音頻電路3010還包括耳麥插孔(例如,圖24中的3212)。耳麥插孔提供音頻電路3010與可移除的音頻輸入/輸出外圍設(shè)備之間的接口,該外圍設(shè)備諸如僅輸出的耳機(jī)或者具有輸出(例如,單耳或雙耳耳機(jī))和輸入(例如,麥克風(fēng))二者的耳麥。
I/O子系統(tǒng)3006將設(shè)備3000上的輸入/輸出外圍設(shè)備諸如觸摸屏3012和其他輸入控制設(shè)備3016耦接到外圍設(shè)備接口3018。I/O子系統(tǒng)3006可包括顯示控制器3056以及一個(gè)或多個(gè)輸入控制器3060以用于其他輸入或控制設(shè)備。所述一個(gè)或多個(gè)輸入控制器3060從其他輸入或控制設(shè)備3016接收電信號(hào)/將電信號(hào)發(fā)送至其他輸入或控制設(shè)備116。所述其他輸入控制設(shè)備3016可包括物理按鈕(例如,下壓按鈕、搖臂按鈕等)、撥號(hào)盤、滑動(dòng)開(kāi)關(guān)、操縱桿、點(diǎn)擊式轉(zhuǎn)盤等等。在一些另選實(shí)施方案中,一個(gè)或多個(gè)輸入控制器3060可耦接到(或不耦接到)以下各項(xiàng)中的任一者:鍵盤、紅外端口、USB端口、和指向設(shè)備諸如鼠標(biāo)。所述一個(gè)或多個(gè)按鈕(例如,圖24中的3208)可包括用于揚(yáng)聲器3011和/或麥克風(fēng)3013的音量控制的增大/減小按鈕。所述一個(gè)或多個(gè)按鈕可包括下壓按鈕(例如,圖22中的3206)。
觸敏顯示器3012提供設(shè)備與用戶之間的輸入接口和輸出接口。顯示控制器3056從觸摸屏3012接收電信號(hào)和/或?qū)㈦娦盘?hào)發(fā)送至觸摸屏。觸摸屏3012向用戶顯示視覺(jué)輸出。視覺(jué)輸出可包括圖形、文本、圖標(biāo)、視頻及它們的任意組合(統(tǒng)稱為“圖形”)。在一些實(shí)施方案中,一些視覺(jué)輸出或全部的視覺(jué)輸出可對(duì)應(yīng)于用戶界面對(duì)象。
觸摸屏3012具有基于觸覺(jué)和/或觸感接觸來(lái)接受來(lái)自用戶的輸入的觸敏表面、傳感器或傳感器組。觸摸屏3012和顯示控制器3056(與存儲(chǔ)器3002中的任何相關(guān)聯(lián)的模塊和/或指令集一起)檢測(cè)觸摸屏3012上的接觸(和該接觸的任何移動(dòng)或中斷),并且將所檢測(cè)到的接觸轉(zhuǎn)換為與顯示在觸摸屏3012上的用戶界面對(duì)象(例如,一個(gè)或多個(gè)軟鍵、圖標(biāo)、網(wǎng)頁(yè)或圖像)的交互。在一個(gè)示例性實(shí)施方案中,觸摸屏3012和用戶之間的接觸點(diǎn)對(duì)應(yīng)于用戶的手指。
觸摸屏3012可使用LCD(液晶顯示器)技術(shù)、LPD(發(fā)光聚合物顯示器)技術(shù)、或LED(發(fā)光二極管)技術(shù),但是在其他實(shí)施方案中可使用其他顯示技術(shù)。觸摸屏3012和顯示控制器3056可以利用現(xiàn)在已知或未來(lái)開(kāi)發(fā)的多個(gè)觸摸感測(cè)技術(shù)中任一個(gè)來(lái)檢測(cè)接觸及其任何移動(dòng)或中斷,包括但不限于電容性、電阻性、紅外、和表面聲波技術(shù)、以及其他接近傳感器陣列或用于確定與觸摸屏3012的一個(gè)或多個(gè)接觸點(diǎn)的其他元件。
觸摸屏3012可具有超過(guò)100dpi的視頻分辨率。在一些實(shí)施方案中,觸摸屏具有約1060dpi的視頻分辨率。用戶可使用任何合適的物體或附加物諸如觸筆、手指等等來(lái)與觸摸屏3012接觸。在一些實(shí)施方案中,用戶界面被設(shè)計(jì)用于主要與基于手指的接觸和手勢(shì)工作,由于手指在觸摸屏上的接觸區(qū)域較大,因此這可能不如基于觸筆的輸入精確。在一些實(shí)施方案中,設(shè)備將基于手指的粗略輸入轉(zhuǎn)變?yōu)榫_的指針/光標(biāo)位置或命令,以用于執(zhí)行用戶所期望的動(dòng)作。
在一些實(shí)施方案中,除了觸摸屏之外,設(shè)備3000可包括用于激活或去激活特定功能的觸摸板(未示出)。在一些實(shí)施方案中,觸摸板是設(shè)備的觸敏區(qū)域,該觸敏區(qū)域與觸摸屏不同,其不顯示視覺(jué)輸出。觸摸板可以是與觸摸屏3012分開(kāi)的觸敏表面,或者是由觸摸屏形成的觸敏表面的延伸部分。
設(shè)備3000還包括用于為各種部件供電的電力系統(tǒng)3062。電力系統(tǒng)3062可包括電力管理系統(tǒng)、一個(gè)或多個(gè)電源(例如,電池、交流電(AC))、再充電系統(tǒng)、電力故障檢測(cè)電路、功率變換器或逆變器、電力狀態(tài)指示器(例如,發(fā)光二極管(LED))和任何其他與便攜式設(shè)備中電力的生成、管理和分配相關(guān)聯(lián)的部件。
設(shè)備3000還可包括一個(gè)或多個(gè)光學(xué)傳感器3064。圖22示出了耦接到I/O子系統(tǒng)3006中的光學(xué)傳感器控制器3058的光學(xué)傳感器。光學(xué)傳感器3064可包括電荷耦合器件(CCD)或互補(bǔ)金屬氧化物半導(dǎo)體(CMOS)光電晶體管。光學(xué)傳感器3064從環(huán)境接收通過(guò)一個(gè)或多個(gè)透鏡投射的光,并且將光轉(zhuǎn)換為表示圖像的數(shù)據(jù)。結(jié)合成像模塊3043(也稱為相機(jī)模塊),光學(xué)傳感器3064可捕獲靜態(tài)圖像或視頻。在一些實(shí)施方案中,光學(xué)傳感器位于設(shè)備3000的后部,與設(shè)備前部的觸摸屏顯示器3012相背對(duì),使得觸摸屏顯示器可被用作用于靜態(tài)圖像和/或視頻圖像采集的取景器。在一些實(shí)施方案中,另一光學(xué)傳感器位于設(shè)備的前部上,使得用戶在觸摸屏顯示器上觀看其它視頻會(huì)議參與者的同時(shí)可以獲得該用戶的圖像以用于視頻會(huì)議。
設(shè)備3000還可包括一個(gè)或多個(gè)接近傳感器3066。圖7示出了耦接到外圍設(shè)備接口3018的接近傳感器3066。另選地,接近傳感器3066可耦接到I/O子系統(tǒng)3006中的輸入控制器3060。在一些實(shí)施方案中,當(dāng)多功能設(shè)備被置于用戶耳朵附近時(shí)(例如,用戶正在打電話時(shí)),接近傳感器關(guān)閉并禁用觸摸屏3012。
設(shè)備3000包括一個(gè)或多個(gè)取向傳感器3068。在一些實(shí)施方案中,這一個(gè)或多個(gè)取向傳感器包括一個(gè)或多個(gè)加速度計(jì)(例如一個(gè)或多個(gè)線性加速度計(jì)和/或一個(gè)或多個(gè)旋轉(zhuǎn)加速度計(jì))。在一些實(shí)施方案中,這一個(gè)或多個(gè)取向傳感器包括一個(gè)或多個(gè)陀螺儀。在一些實(shí)施方案中,這一個(gè)或多個(gè)取向傳感器包括一個(gè)或多個(gè)磁力儀。在一些實(shí)施方案中,這一個(gè)或多個(gè)取向傳感器包括全球定位系統(tǒng)(GPS)、全球?qū)Ш叫l(wèi)星系統(tǒng)(GLONASS)、和/或其他全球?qū)Ш较到y(tǒng)接收器中的一個(gè)或多個(gè)。GPS、GLONASS和/或其他全球?qū)Ш较到y(tǒng)接收器可用于獲得關(guān)于設(shè)備3000的位置和取向(例如縱向或橫向)的信息。在一些實(shí)施方案中,這一個(gè)或多個(gè)取向傳感器包括取向/旋轉(zhuǎn)傳感器的任何組合。圖22示出了耦接到外圍設(shè)備接口3018的這一個(gè)或多個(gè)取向傳感器3068?;蛘撸@一個(gè)或多個(gè)取向傳感器3068可耦接到I/O子系統(tǒng)3006中的輸入控制器1060。在一些實(shí)施方案中,信息基于對(duì)從這一個(gè)或多個(gè)取向傳感器接收的數(shù)據(jù)的分析而在觸摸屏顯示器上被顯示在縱向視圖或橫向視圖中。
在一些實(shí)施方案中,被存儲(chǔ)在存儲(chǔ)器3002中的軟件部件包括操作系統(tǒng)3026、通信模塊(或指令集)3028、接觸/運(yùn)動(dòng)模塊(或指令集)3030、圖形模塊(或指令集)3032、文本輸入模塊(或指令集)3034、全球定位系統(tǒng)(GPS)模塊(或指令集)3035以及應(yīng)用程序(或指令集)3036。此外,在一些實(shí)施方案中,存儲(chǔ)器3002存儲(chǔ)設(shè)備/全局內(nèi)部狀態(tài)3057,如圖22中所示。設(shè)備/全局內(nèi)部狀態(tài)3057包括以下各項(xiàng)中的一者或多者:活動(dòng)應(yīng)用程序狀態(tài),該活動(dòng)應(yīng)用程序狀態(tài)用于指示哪些應(yīng)用程序(如果有的話)當(dāng)前是活動(dòng)的;顯示狀態(tài),該顯示狀態(tài)用于指示什么應(yīng)用程序、視圖或其他信息占據(jù)觸摸屏顯示器3012的各個(gè)區(qū)域;傳感器狀態(tài),該傳感器狀態(tài)包括從設(shè)備的各個(gè)傳感器和輸入控制設(shè)備3016獲得的信息;和關(guān)于設(shè)備位置和/或姿態(tài)的位置信息。
操作系統(tǒng)3026(例如,Darwin、RTXC、LINUX、UNIX、OS X、WINDOWS、或嵌入式操作系統(tǒng)諸如VxWorks)包括用于控制和管理一般系統(tǒng)任務(wù)(例如,存儲(chǔ)器管理、存儲(chǔ)設(shè)備控制、電力管理等)的各種軟件部件和/或驅(qū)動(dòng)器,并且有利于各種硬件和軟件部件之間的通信。
通信模塊3028促進(jìn)通過(guò)一個(gè)或多個(gè)外部端口3024來(lái)與其他設(shè)備進(jìn)行通信,并且還包括用于處理由RF電路3008和/或外部端口3024所接收的數(shù)據(jù)的各種軟件部件。外部端口3024(例如通用串行總線(USB)、火線等)適于直接耦接到其他設(shè)備,或間接地通過(guò)網(wǎng)絡(luò)(例如互聯(lián)網(wǎng)、無(wú)線LAN等)耦接。在一些實(shí)施方案中,外部端口是與iPod(Apple Inc.的商標(biāo))設(shè)備上所使用的30針連接器相同的或類似的和/或與其兼容的多針(例如,30針)連接器。
接觸/運(yùn)動(dòng)模塊3030可檢測(cè)與觸摸屏3012(結(jié)合顯示控制器3056)和其他觸敏設(shè)備(例如,觸摸板或物理點(diǎn)擊式轉(zhuǎn)盤)的接觸。接觸/運(yùn)動(dòng)模塊3030包括多個(gè)軟件部件以用于執(zhí)行與接觸的檢測(cè)相關(guān)的各種操作,諸如確定是否已發(fā)生接觸(例如,檢測(cè)手指按下事件)、確定是否存在接觸的移動(dòng)并在觸敏表面上跟蹤該移動(dòng)(例如,檢測(cè)一個(gè)或多個(gè)手指拖動(dòng)事件)、以及確定接觸是否已終止(例如,檢測(cè)手指抬起事件或者接觸中斷)。接觸/運(yùn)動(dòng)模塊3030從觸敏表面接收接觸數(shù)據(jù)。確定接觸點(diǎn)的移動(dòng)可包括確定接觸點(diǎn)的速率(量值)、速度(量值和方向)、和/或加速度(量值和/或方向的改變),接觸點(diǎn)的移動(dòng)由一系列接觸數(shù)據(jù)來(lái)表示。這些操作可施加于單個(gè)觸點(diǎn)(例如,一個(gè)指狀觸點(diǎn))或多個(gè)同時(shí)的觸點(diǎn)(例如,“多點(diǎn)觸摸”/多個(gè)指狀觸點(diǎn))。在一些實(shí)施方案中,接觸/運(yùn)動(dòng)模塊3030和顯示控制器3056檢測(cè)觸摸板上的接觸。
接觸/運(yùn)動(dòng)模塊3030可檢測(cè)用戶的手勢(shì)輸入。觸敏表面上的不同手勢(shì)具有不同的接觸圖案。因此,可通過(guò)檢測(cè)具體接觸圖案來(lái)檢測(cè)手勢(shì)。例如,檢測(cè)單指輕擊手勢(shì)包括檢測(cè)手指按下事件,然后在與手指按下事件相同的位置(或基本上相同的位置)處(例如,在圖標(biāo)位置處)檢測(cè)手指抬起(抬離)事件。又如,檢測(cè)觸敏表面上的手指輕掃手勢(shì)包括檢測(cè)手指按下事件,然后檢測(cè)一個(gè)或多個(gè)手指拖動(dòng)事件,并且隨后檢測(cè)手指抬起(抬離)事件。
圖形模塊3032包括用于在觸摸屏3012或其他顯示器上渲染和顯示圖形的多個(gè)已知軟件部件,其包括用于改變被顯示圖形的強(qiáng)度的部件。如本文所用,術(shù)語(yǔ)“圖形”包括可被顯示給用戶的任何對(duì)象,包括但不限于文本、網(wǎng)頁(yè)、圖標(biāo)(諸如包括軟鍵的用戶界面對(duì)象)、數(shù)字圖像、視頻、動(dòng)畫等。
在一些實(shí)施方案中,圖形模塊3032存儲(chǔ)待使用的用于表示圖形的數(shù)據(jù)。每個(gè)圖形可被分配有對(duì)應(yīng)的代碼。圖形模塊3032從應(yīng)用程序等接收指定待顯示的圖形的一個(gè)或多個(gè)代碼,在必要的情況下還一起接收坐標(biāo)數(shù)據(jù)和其他圖形屬性數(shù)據(jù),然后生成屏幕圖像數(shù)據(jù)以輸出至顯示控制器3056。
可作為圖形模塊3032的部件的文本輸入模塊3034提供用于在多種應(yīng)用程序(例如,聯(lián)系人3037、電子郵件3040、即時(shí)消息3041、瀏覽器3047、和需要文本輸入的任何其他應(yīng)用程序)中輸入文本的軟鍵盤。
GPS模塊3035確定設(shè)備的位置并提供該信息供在各種應(yīng)用程序中使用(例如,提供至電話3038以供在基于位置的撥號(hào)中使用,提供至相機(jī)3043作為圖片/視頻元數(shù)據(jù),以及提供至提供基于位置的服務(wù)的應(yīng)用程序諸如天氣桌面小程序、當(dāng)?shù)攸S頁(yè)桌面小程序和地圖/導(dǎo)航桌面小程序)。
應(yīng)用程序3036可包括以下模塊(或指令集)或者其子集或超集:
·聯(lián)系人模塊3037(有時(shí)稱為通訊錄或聯(lián)系人列表);
·電話模塊3038;
·視頻通信模塊3039;
·電子郵件客戶端模塊3040;
·即時(shí)消息(IM)模塊3041;
·健身支持模塊3042;
·用于靜態(tài)圖像和/或視頻圖像的相機(jī)模塊3043;
·圖像管理模塊3044;
·瀏覽器模塊3047;
·日歷模塊3048;
·桌面小程序模塊3049,其可包括以下各項(xiàng)中的一者或多者:天氣桌面小程序3049-1、股市桌面小程序3049-2、計(jì)算器桌面小程序3049-3、鬧鐘桌面小程序3049-4、字典桌面小程序3049-5、和由用戶獲取的其他桌面小程序以及用戶創(chuàng)建的桌面小程序3049-6;
·用于形成用戶創(chuàng)建的桌面小程序3049-6的桌面小程序創(chuàng)建器模塊3050;
·搜索模塊3051;
·視頻和音樂(lè)播放器模塊3052,其可以由視頻播放器
·模塊和音樂(lè)播放器模塊構(gòu)成;
·記事本模塊3053;
·地圖模塊3054;和/或
·在線視頻模塊3055。
可被存儲(chǔ)在存儲(chǔ)器3002中的其他應(yīng)用程序3036的示例包括其他文字處理應(yīng)用程序、其他圖像編輯應(yīng)用程序、繪圖應(yīng)用程序、呈現(xiàn)應(yīng)用程序、支持JAVA的應(yīng)用程序、加密、數(shù)字權(quán)益管理、語(yǔ)音識(shí)別、和語(yǔ)音復(fù)制。
結(jié)合觸摸屏3012、顯示控制器3056、接觸模塊3030、圖形模塊3032、和文本輸入模塊3034,聯(lián)系人模塊3037可被用于管理通訊錄或聯(lián)系人列表(例如,被存儲(chǔ)在存儲(chǔ)器3002中的聯(lián)系人模塊3037的應(yīng)用程序內(nèi)部狀態(tài)3092中),包括:將一個(gè)或多個(gè)姓名添加到通訊錄;從通訊錄刪除一個(gè)或多個(gè)姓名;使一個(gè)或多個(gè)電話號(hào)碼、一個(gè)或多個(gè)電子郵件地址、一個(gè)或多個(gè)物理地址或其他信息與姓名相關(guān)聯(lián);使圖像與姓名相關(guān)聯(lián);對(duì)姓名歸類和分類;提供電話號(hào)碼或電子郵件地址以發(fā)起和/或促進(jìn)通過(guò)電話3038、視頻會(huì)議3039、電子郵件3040、或IM 3041進(jìn)行通信;等等。
結(jié)合RF電路3008、音頻電路3010、揚(yáng)聲器3011、麥克風(fēng)3013、觸摸屏3012、顯示控制器3056、接觸模塊3030、圖形模塊3032、和文本輸入模塊3034,電話模塊3038可被用于輸入與電話號(hào)碼對(duì)應(yīng)的字符序列、訪問(wèn)通訊錄3037中的一個(gè)或多個(gè)電話號(hào)碼、修改已輸入的電話號(hào)碼、撥打相應(yīng)的電話號(hào)碼、進(jìn)行會(huì)話以及當(dāng)會(huì)話完成時(shí)斷開(kāi)或掛斷。如上所述,無(wú)線通信可以使用多種通信標(biāo)準(zhǔn)、協(xié)議和技術(shù)中任何一個(gè)。
結(jié)合RF電路3008、音頻電路3010、揚(yáng)聲器3011、麥克風(fēng)3013、觸摸屏3012、顯示控制器3056、光學(xué)傳感器3064、光學(xué)傳感器控制器3058、接觸模塊3030、圖形模塊3032、文本輸入模塊3034、聯(lián)系人列表3037和電話模塊3038,視頻通信模塊3039包括用于根據(jù)用戶指令發(fā)起、進(jìn)行和終止用戶與一個(gè)或多個(gè)其他參與方之間的視頻通信的可執(zhí)行指令,諸如上文參考圖1至21所述。
結(jié)合RF電路3008、觸摸屏3012、顯示控制器3056、接觸模塊3030、圖形模塊3032和文本輸入模塊3034,電子郵件客戶端模塊3040包括用于響應(yīng)于用戶指令來(lái)創(chuàng)建、發(fā)送、接收和管理電子郵件的可執(zhí)行指令。結(jié)合圖像管理模塊3044,電子郵件客戶端模塊3040使得非常容易創(chuàng)建和發(fā)送具有由相機(jī)模塊3043拍攝的靜態(tài)圖像或視頻圖像的電子郵件。
結(jié)合RF電路3008、觸摸屏3012、顯示控制器3056、接觸模塊3030、圖形模塊3032和文本輸入模塊3034,即時(shí)消息模塊3041包括用于輸入與即時(shí)消息對(duì)應(yīng)的字符序列、修改先前輸入的字符、發(fā)送相應(yīng)即時(shí)消息(例如,使用針對(duì)基于電話的即時(shí)消息的短消息服務(wù)(SMS)或多媒體消息服務(wù)(MMS)協(xié)議或者使用針對(duì)基于互聯(lián)網(wǎng)的即時(shí)消息的XMPP、SIMPLE、或IMPS)、接收即時(shí)消息以及查看所接收的即時(shí)消息的可執(zhí)行指令。在一些實(shí)施方案中,所發(fā)送的和/或所接收的即時(shí)消息可包括圖形、照片、音頻文件、視頻文件和/或在MMS和/或增強(qiáng)型消息服務(wù)(EMS)中支持的其他附件。如本文所用,“即時(shí)消息”是指基于電話的消息(例如,使用SMS或MMS發(fā)送的消息)和基于互聯(lián)網(wǎng)的消息(例如,使用XMPP、SIMPLE、或IMPS發(fā)送的消息)兩者。
結(jié)合RF電路3008、觸摸屏3012、顯示控制器3056、接觸模塊3030、圖形模塊3032、文本輸入模塊3034、GPS模塊3035、地圖模塊3054、和音樂(lè)播放器模塊3046,健身支持模塊3042包括用于以下操作的可執(zhí)行指令:創(chuàng)建健身(例如具有時(shí)間、距離、和/或卡路里燃燒目標(biāo));與健身傳感器(移動(dòng)設(shè)備)進(jìn)行通信;接收健身傳感器數(shù)據(jù);校準(zhǔn)用于監(jiān)測(cè)健身的傳感器;選擇健身音樂(lè)并進(jìn)行播放;以及顯示、存儲(chǔ)和傳輸健身數(shù)據(jù)。
結(jié)合觸摸屏3012、顯示控制器3056、光學(xué)傳感器3064、光學(xué)傳感器控制器3058、接觸模塊3030、圖形模塊3032和圖像管理模塊3044,相機(jī)模塊3043包括捕獲靜態(tài)圖像或視頻(包括視頻流)并且將它們存儲(chǔ)到存儲(chǔ)器3002中、修改靜態(tài)圖像或視頻的特性、或從存儲(chǔ)器3002刪除靜態(tài)圖像或視頻的可執(zhí)行指令。
結(jié)合觸摸屏3012、顯示控制器3056、接觸模塊3030、圖形模塊3032、文本輸入模塊3034、和相機(jī)模塊3043,圖像管理模塊3044包括用于排列、修改(例如,編輯)、或以其他方式操控、加標(biāo)簽、刪除、呈現(xiàn)(例如,在數(shù)字幻燈片或相冊(cè)中)、以及存儲(chǔ)靜態(tài)圖像和/或視頻圖像的可執(zhí)行指令。
結(jié)合RF電路3008、觸摸屏3012、顯示系統(tǒng)控制器3056、接觸模塊3030、圖形模塊3032和文本輸入模塊3034,瀏覽器模塊3047包括根據(jù)用戶指令瀏覽互聯(lián)網(wǎng)(包括搜索、鏈接到、接收和顯示網(wǎng)頁(yè)或其部分以及鏈接到網(wǎng)頁(yè)的附件和其他文件)的可執(zhí)行指令。
結(jié)合RF電路3008、觸摸屏3012、顯示系統(tǒng)控制器3056、接觸模塊3030、圖形模塊3032、文本輸入模塊3034、電子郵件客戶端模塊3040和瀏覽器模塊3047,日歷模塊3048包括用于根據(jù)用戶指令來(lái)創(chuàng)建、顯示、修改和存儲(chǔ)日歷以及與日歷相關(guān)聯(lián)的數(shù)據(jù)(例如,日歷條目、待辦事項(xiàng)等)的可執(zhí)行指令。
結(jié)合RF電路3008、觸摸屏3012、顯示系統(tǒng)控制器3056、接觸模塊3030、圖形模塊3032、文本輸入模塊3034、和瀏覽器模塊3047,桌面小程序模塊3049是可以由用戶下載并使用的微型應(yīng)用程序(例如,天氣桌面小程序3049-1、股市桌面小程序3049-2、計(jì)算器桌面小程序3049-3、鬧鐘桌面小程序3049-4、和字典桌面小程序3049-5)或由用戶創(chuàng)建的微型應(yīng)用程序(例如,用戶創(chuàng)建的桌面小程序3049-6)。在一些實(shí)施方案中,桌面小程序包括HTML(超文本標(biāo)記語(yǔ)言)文件、CSS(層疊樣式表)文件和JavaScript文件。在一些實(shí)施方案中,桌面小程序包括XML(可擴(kuò)展標(biāo)記語(yǔ)言)文件和JavaScript文件(例如,Yahoo!桌面小程序)。
結(jié)合RF電路3008、觸摸屏3012、顯示系統(tǒng)控制器3056、接觸模塊3030、圖形模塊3032、文本輸入模塊3034、和瀏覽器模塊3047,桌面小程序創(chuàng)建器模塊3050可被用戶用于創(chuàng)建桌面小程序(例如,將網(wǎng)頁(yè)的用戶指定部分轉(zhuǎn)到桌面小程序中)。
結(jié)合觸摸屏3012、顯示系統(tǒng)控制器3056、接觸模塊3030、圖形模塊3032和文本輸入模塊3034,搜索模塊3051包括用于根據(jù)用戶指令搜索存儲(chǔ)器3002中的匹配一個(gè)或多個(gè)搜索條件(例如,一個(gè)或多個(gè)用戶指定的搜索詞)的文本、音樂(lè)、聲音、圖像、視頻和/或其他文件的可執(zhí)行指令。
結(jié)合觸摸屏3012、顯示系統(tǒng)控制器3056、接觸模塊3030、圖形模塊3032、音頻電路系統(tǒng)3010、揚(yáng)聲器3011、射頻電路系統(tǒng)3008和瀏覽器模塊3047,視頻和音樂(lè)播放器模塊3052包括可執(zhí)行指令,該可執(zhí)行指令允許用戶下載和播放錄制的音樂(lè)和以一種或多種文件格式來(lái)存儲(chǔ)的其他聲音文件,諸如MP3或AAC文件,并且該可執(zhí)行指令顯示、呈現(xiàn)或以其他方式播放視頻(例如,在通過(guò)外部端口3024來(lái)連接的觸摸屏3012上或外部顯示器上)。在一些實(shí)施方案中,設(shè)備3000可包括MP3播放器諸如iPod(Apple Inc.的商標(biāo))的功能。
結(jié)合觸摸屏3012、顯示控制器3056、接觸模塊3030、圖形模塊3032和文本輸入模塊3034,記事本模塊3053包括用于根據(jù)用戶指令來(lái)創(chuàng)建和管理記事本、待辦事項(xiàng)等的可執(zhí)行指令。
結(jié)合RF電路3008、觸摸屏3012、顯示系統(tǒng)控制器3056、接觸模塊3030、圖形模塊3032、文本輸入模塊3034、GPS模塊3035、和瀏覽器模塊3047,地圖模塊3054可被用于根據(jù)用戶指令接收、顯示、修改、和存儲(chǔ)地圖以及與地圖相關(guān)聯(lián)的數(shù)據(jù)(例如,駕車路線;關(guān)于特定位置處或附近的商家和其他興趣點(diǎn)的數(shù)據(jù);和其他基于位置的數(shù)據(jù))。
結(jié)合觸摸屏3012、顯示系統(tǒng)控制器3056、接觸模塊3030、圖形模塊3032、音頻電路3010、揚(yáng)聲器3011、RF電路3008、文本輸入模塊3034、電子郵件客戶端模塊3040和瀏覽器模塊3047,在線視頻模塊3055包括指令,該指令允許用戶訪問(wèn)、瀏覽、接收(例如,通過(guò)流式傳輸和/或下載)、回放(例如在觸摸屏上或在經(jīng)由外部端口3024所連接的外部顯示器上)、發(fā)送具有至特定在線視頻的鏈接的電子郵件,以及以其他方式管理一種或多種文件格式諸如H.264的在線視頻。在一些實(shí)施方案中,即時(shí)消息模塊3041而不是電子郵件客戶端模塊3040用于發(fā)送至特定在線視頻的鏈接。
上述每個(gè)模塊和應(yīng)用程序?qū)?yīng)于用于執(zhí)行上述一種或多種功能以及在本申請(qǐng)中所描述的方法(例如,本文中所描述的計(jì)算機(jī)實(shí)現(xiàn)的方法和其他信息處理方法)的一組可執(zhí)行指令。這些模塊(即指令集)不必被實(shí)現(xiàn)為獨(dú)立的軟件程序、過(guò)程或模塊,因此這些模塊的各種子集可在各種實(shí)施方案中被組合或以其他方式重新布置。在一些實(shí)施方案中,存儲(chǔ)器3002可存儲(chǔ)上文所述的模塊和數(shù)據(jù)結(jié)構(gòu)的子集。此外,存儲(chǔ)器3002可存儲(chǔ)上文沒(méi)有描述的附加模塊和數(shù)據(jù)結(jié)構(gòu)。
在一些實(shí)施方案中,設(shè)備3000是唯一地通過(guò)觸摸屏和/或觸摸板來(lái)執(zhí)行設(shè)備上的預(yù)定義的一組功能的操作的設(shè)備。通過(guò)使用觸摸屏和/或觸摸板作為用于設(shè)備3000的操作的主要輸入控制設(shè)備,可減少設(shè)備3000上的物理輸入控制設(shè)備(諸如下壓按鈕、撥號(hào)盤等等)的數(shù)量。
可唯一地通過(guò)觸摸屏和/或觸摸板執(zhí)行的所述預(yù)定義的一組功能包括在用戶界面之間進(jìn)行導(dǎo)航。在一些實(shí)施方案中,觸摸板在被用戶觸摸時(shí)將設(shè)備3000從可顯示在設(shè)備3000上的任何用戶界面導(dǎo)航到主界面菜單、home菜單或根菜單。在此類實(shí)施方案中,觸摸板可被稱為“菜單按鈕”。在一些其他實(shí)施方案中,菜單按鈕可以是物理下壓按鈕或者其他物理輸入控制設(shè)備,而不是觸摸板。
圖23是示出根據(jù)一些實(shí)施方案的用于事件處理的示例性部件的框圖。在一些實(shí)施方案中,存儲(chǔ)器3002(在圖23中)包括事件分類器3070(例如在操作系統(tǒng)3026中)和相應(yīng)的應(yīng)用程序3036-1(例如前述應(yīng)用程序3037-3051、3055中任一者)。
事件分類器3070接收事件信息并確定要將事件信息遞送到的應(yīng)用程序3036-1和應(yīng)用程序3036-1的應(yīng)用程序視圖3091。事件分類器3070包括事件監(jiān)視器3071和事件分配器模塊3074。在一些實(shí)施方案中,應(yīng)用程序3036-1包括應(yīng)用程序內(nèi)部狀態(tài)3092,該應(yīng)用程序內(nèi)部狀態(tài)指示當(dāng)應(yīng)用程序是活動(dòng)的或正在執(zhí)行時(shí)被顯示在觸敏顯示器3012上的一個(gè)或多個(gè)當(dāng)前應(yīng)用程序視圖。在一些實(shí)施方案中,設(shè)備/全局內(nèi)部狀態(tài)3057被事件分類器3070用于確定哪個(gè)(哪些)應(yīng)用程序當(dāng)前是活動(dòng)的,并且應(yīng)用程序內(nèi)部狀態(tài)3092被事件分類器3070用于確定要將事件信息遞送到的應(yīng)用程序視圖3091,諸如哪些應(yīng)用程序可控制顯示器3012上的數(shù)據(jù)顯示以及配置視頻通信的顯示屬性,如上文參考圖1至圖10所述。
在一些實(shí)施方案中,應(yīng)用程序內(nèi)部狀態(tài)3092包括附加信息,諸如以下各項(xiàng)中的一者或多者:當(dāng)應(yīng)用程序3036-1恢復(fù)執(zhí)行時(shí)將被使用的恢復(fù)信息、指示正被應(yīng)用程序3036-1顯示的信息或準(zhǔn)備好用于被應(yīng)用程序3036-1顯示的信息的用戶界面狀態(tài)信息、用于使得用戶能夠返回到應(yīng)用程序3036-1的前一狀態(tài)或視圖的狀態(tài)隊(duì)列、以及用戶采取的先前動(dòng)作的重復(fù)/撤銷隊(duì)列。
事件監(jiān)視器3071從外圍設(shè)備接口3018接收事件信息。事件信息包括關(guān)于子事件(例如,觸敏顯示器3012上的用戶觸摸,作為多點(diǎn)觸摸手勢(shì)的一部分)的信息。外圍設(shè)備接口3018傳輸其從I/O子系統(tǒng)3006或傳感器(諸如接近傳感器3066、取向傳感器3068、和/或麥克風(fēng)3013(通過(guò)音頻電路系統(tǒng)3010))接收的信息。外圍設(shè)備接口3018從I/O子系統(tǒng)3006所接收的信息包括來(lái)自觸敏顯示器3012或觸敏表面的信息。
在一些實(shí)施方案中,事件監(jiān)視器3071以預(yù)先確定的間隔將請(qǐng)求發(fā)送至外圍設(shè)備接口3018。作為響應(yīng),外圍設(shè)備接口3018傳輸事件信息。在其他實(shí)施方案中,外圍設(shè)備接口3018僅當(dāng)存在顯著事件(例如,接收到高于預(yù)先確定的噪聲閾值的輸入和/或接收到超過(guò)預(yù)先確定的持續(xù)時(shí)間的輸入)時(shí)才傳輸事件信息。
在一些實(shí)施方案中,事件分類器3070還包括命中視圖確定模塊3072和/或活動(dòng)事件識(shí)別器確定模塊3073。
當(dāng)觸敏顯示器3012顯示多于一個(gè)視圖時(shí),命中視圖確定模塊3072提供用于確定子事件已在一個(gè)或多個(gè)視圖內(nèi)的什么地方發(fā)生的軟件過(guò)程。視圖由用戶可在顯示器上看到的控件和其他元件構(gòu)成。
與應(yīng)用程序相關(guān)聯(lián)的用戶界面的另一方面是一組視圖,本文中有時(shí)也稱為應(yīng)用程序視圖或用戶界面窗口,在其中顯示信息并且發(fā)生基于觸摸的手勢(shì)。在其中檢測(cè)到觸摸的(相應(yīng)應(yīng)用程序的)應(yīng)用程序視圖可對(duì)應(yīng)于應(yīng)用程序的程序化分級(jí)結(jié)構(gòu)或視圖分級(jí)結(jié)構(gòu)內(nèi)的程序化水平。例如,在其中檢測(cè)到觸摸的最低水平視圖可被叫做命中視圖,并且被識(shí)別為正確輸入的那組事件可至少部分地基于開(kāi)始基于觸摸的手勢(shì)的初始觸摸的命中視圖來(lái)確定。
命中視圖確定模塊3072接收與基于觸摸的手勢(shì)的子事件相關(guān)的信息。當(dāng)應(yīng)用程序具有在分級(jí)結(jié)構(gòu)中組織的多個(gè)視圖時(shí),命中視圖確定模塊3072將命中視圖識(shí)別為應(yīng)對(duì)子事件進(jìn)行處理的分級(jí)結(jié)構(gòu)中的最低視圖。在大多數(shù)情況下,命中視圖是發(fā)起子事件(即形成事件或潛在事件的子事件序列中的第一子事件)在其中發(fā)生的最低水平視圖。一旦命中視圖被命中視圖確定模塊所識(shí)別,命中視圖通常接收與其被識(shí)別為命中視圖所針對(duì)的同一觸摸或輸入源相關(guān)的所有子事件。
活動(dòng)事件識(shí)別器確定模塊3073確定視圖分級(jí)結(jié)構(gòu)內(nèi)的哪個(gè)或哪些視圖應(yīng)接收特定子事件序列。在一些實(shí)施方案中,活動(dòng)事件識(shí)別器確定模塊3073確定僅命中視圖應(yīng)接收特定子事件序列。在其他實(shí)施方案中,活動(dòng)事件識(shí)別器確定模塊3073確定包括子事件的物理位置的所有視圖是活躍參與的視圖,并且因此確定所有活躍參與的視圖應(yīng)接收特定子事件序列。在其他實(shí)施方案中,即使觸摸子事件完全被局限到與一個(gè)特定視圖相關(guān)聯(lián)的區(qū)域,但是分級(jí)結(jié)構(gòu)中的更高的視圖將仍然保持為活躍參與的視圖。
事件分配器模塊174將事件信息分配到事件識(shí)別器(例如,事件識(shí)別器3080)。在包括活動(dòng)事件識(shí)別器確定模塊3073的實(shí)施方案中,事件分配器模塊3074將事件信息遞送到由活動(dòng)事件識(shí)別器確定模塊3073確定的事件識(shí)別器。在一些實(shí)施方案中,事件分配器模塊3074在事件隊(duì)列中存儲(chǔ)事件信息,該事件信息由相應(yīng)事件接收器模塊3082檢索。
在一些實(shí)施方案中,操作系統(tǒng)3026包括事件分類器3070。另選地,應(yīng)用程序3036-1包括事件分類器3070。在另一個(gè)實(shí)施方案中,事件分類器3070是獨(dú)立的模塊,或者是被存儲(chǔ)在存儲(chǔ)器3002中的另一個(gè)模塊(諸如接觸/運(yùn)動(dòng)模塊3030)的一部分。
在一些實(shí)施方案中,應(yīng)用程序3036-1包括多個(gè)事件處理器3090和一個(gè)或多個(gè)應(yīng)用程序視圖3091,其中每一者都包括用于處理在該應(yīng)用程序的用戶界面的相應(yīng)視圖內(nèi)發(fā)生的觸摸事件的指令。應(yīng)用程序3036-1的每個(gè)應(yīng)用程序視圖3091包括一個(gè)或多個(gè)事件識(shí)別器3080。通常,各個(gè)應(yīng)用程序視圖3091包括多個(gè)事件識(shí)別器3080。在其他實(shí)施方案中,事件識(shí)別器3080中的一個(gè)或多個(gè)事件識(shí)別器是獨(dú)立模塊的一部分,該獨(dú)立模塊諸如用戶界面工具包(未示出)或應(yīng)用程序3036-1從中繼承方法和其他屬性的更高水平的對(duì)象。在一些實(shí)施方案中,相應(yīng)事件處理程序3090包括以下各項(xiàng)中的一者或多者:數(shù)據(jù)更新器3076、對(duì)象更新器3077、GUI更新器3078、和/或從事件分類器3070所接收的事件數(shù)據(jù)3079。事件處理程序3090可利用或調(diào)用數(shù)據(jù)更新器3076、對(duì)象更新器3077或GUI更新器3078,以更新應(yīng)用程序內(nèi)部狀態(tài)3092。另選地,應(yīng)用程序視圖3091中的一個(gè)或多個(gè)應(yīng)用程序視圖包括一個(gè)或多個(gè)相應(yīng)事件處理程序3090。另外,在一些實(shí)施方案中,數(shù)據(jù)更新器3076、對(duì)象更新器3077和GUI更新器3078中的一者或多者被包括在相應(yīng)應(yīng)用程序視圖3091中。
相應(yīng)的事件識(shí)別器3080從事件分類器3070接收事件信息(例如,事件數(shù)據(jù)3079),并且從事件信息識(shí)別事件。事件識(shí)別器3080包括事件接收器3082和事件比較器3084。在一些實(shí)施方案中,事件識(shí)別器3080還至少包括以下各項(xiàng)的子集:元數(shù)據(jù)3083、和事件遞送指令3088(其可包括子事件遞送指令)。
事件接收器3082接收來(lái)自事件分類器3070的事件信息。事件信息包括關(guān)于子事件的信息,例如觸摸或觸摸移動(dòng)。根據(jù)子事件,事件信息還包括附加信息,諸如子事件的位置。當(dāng)子事件涉及觸摸的運(yùn)動(dòng)時(shí),事件信息還可包括子事件的速率和方向。在一些實(shí)施方案中,事件包括設(shè)備從一個(gè)取向旋轉(zhuǎn)到另一個(gè)取向(例如,從縱向取向旋轉(zhuǎn)到橫向取向,或反之亦然),并且事件信息包括關(guān)于設(shè)備的當(dāng)前取向(也被稱為設(shè)備姿態(tài))的對(duì)應(yīng)信息。
事件比較器3084將事件信息與預(yù)定義的事件或子事件定義進(jìn)行比較,并且基于該比較來(lái)確定事件或子事件、或者確定或更新事件或子事件的狀態(tài)。在一些實(shí)施方案中,事件比較器3084包括事件定義3086。事件定義3086包含事件的定義(例如,預(yù)定義的子事件序列),例如事件1(3087-1)、事件2(3087-2)以及其他事件。在一些實(shí)施方案中,事件3087中的子事件例如包括觸摸開(kāi)始、觸摸結(jié)束、觸摸移動(dòng)、觸摸取消和多點(diǎn)觸摸。在一個(gè)示例中,事件1(3087-1)的定義是在被顯示對(duì)象上的雙擊。雙擊例如包括對(duì)于預(yù)先確定的階段在被顯示對(duì)象上的第一觸摸(觸摸開(kāi)始)、對(duì)于預(yù)先確定的階段的第一提離(觸摸結(jié)束)、對(duì)于預(yù)先確定的階段在被顯示對(duì)象上的第二觸摸(觸摸開(kāi)始)、和對(duì)于預(yù)先確定的階段的第二提離(觸摸結(jié)束)。在另一個(gè)示例中,事件2(1087-2)的定義是在被顯示對(duì)象上的拖動(dòng)。拖動(dòng)例如包括對(duì)于預(yù)先確定的階段在被顯示對(duì)象上的觸摸(或接觸)、該觸摸在觸敏顯示器3012上的移動(dòng)、以及該觸摸的提離(觸摸結(jié)束)。在一些實(shí)施方案中,事件還包括用于一個(gè)或多個(gè)相關(guān)聯(lián)的事件處理程序3090的信息。
在一些實(shí)施方案中,事件定義3087包括用于相應(yīng)用戶界面對(duì)象的事件的定義。在一些實(shí)施方案中,事件比較器3084執(zhí)行命中測(cè)試以確定哪個(gè)用戶界面對(duì)象與子事件相關(guān)聯(lián)。例如,在其中在觸敏顯示器3012上顯示三個(gè)用戶界面對(duì)象的應(yīng)用程序視圖中,當(dāng)在觸敏顯示器3012上檢測(cè)到觸摸時(shí),事件比較器3084執(zhí)行命中測(cè)試以確定這三個(gè)用戶界面對(duì)象中的哪個(gè)用戶界面對(duì)象與該觸摸(子事件)相關(guān)聯(lián)。如果每個(gè)所顯示的對(duì)象與相應(yīng)的事件處理程序3090相關(guān)聯(lián),則事件比較器使用該命中測(cè)試的結(jié)果來(lái)確定哪個(gè)事件處理程序3090應(yīng)當(dāng)被激活。例如,事件比較器3084選擇與子事件和觸發(fā)該命中測(cè)試的對(duì)象相關(guān)聯(lián)的事件處理程序。
在一些實(shí)施方案中,相應(yīng)事件3087的定義還包括延遲動(dòng)作,該延遲動(dòng)作延遲事件信息的遞送,直到已確定子事件序列是否確實(shí)對(duì)應(yīng)于或不對(duì)應(yīng)于事件識(shí)別器的事件類型。
當(dāng)相應(yīng)事件識(shí)別器3080確定子事件序列不與事件定義3086中的任何事件匹配時(shí),該相應(yīng)事件識(shí)別器3080進(jìn)入事件不可能、事件失敗或事件結(jié)束狀態(tài),在此之后忽略基于觸摸的手勢(shì)的隨后子事件。在這種情況下,對(duì)于命中視圖保持活動(dòng)的其它事件識(shí)別器(如果有的話)繼續(xù)跟蹤和處理正在進(jìn)行的基于觸摸的手勢(shì)的子事件。
在一些實(shí)施方案中,相應(yīng)事件識(shí)別器3080包括具有用于指示事件遞送系統(tǒng)應(yīng)該如何執(zhí)行對(duì)活躍參與的事件識(shí)別器的子事件遞送的可配置屬性、標(biāo)記和/或列表的元數(shù)據(jù)3083。在一些實(shí)施方案中,元數(shù)據(jù)3083包括指示事件識(shí)別器彼此可如何進(jìn)行交互的可配置的屬性、標(biāo)志和/或列表。在一些實(shí)施方案中,元數(shù)據(jù)3083包括指示子事件是否被遞送到視圖或程序化分級(jí)結(jié)構(gòu)中的變化的水平的可配置的屬性、標(biāo)記和/或列表。
在一些實(shí)施方案中,當(dāng)事件的一個(gè)或多個(gè)特定子事件被識(shí)別時(shí),相應(yīng)事件識(shí)別器3080激活與事件相關(guān)聯(lián)的事件處理程序3090。在一些實(shí)施方案中,相應(yīng)事件識(shí)別器3080將與該事件相關(guān)聯(lián)的事件信息遞送到事件處理程序3090。激活事件處理程序3090不同于將子事件發(fā)送(和延期發(fā)送)到相應(yīng)的命中視圖。在一些實(shí)施方案中,事件識(shí)別器3080拋出與所識(shí)別的事件相關(guān)聯(lián)的標(biāo)記,并且與該標(biāo)記相關(guān)聯(lián)的事件處理程序3090接獲該標(biāo)記并執(zhí)行預(yù)定義的過(guò)程。
在一些實(shí)施方案中,事件遞送指令3088包括遞送關(guān)于子事件的事件信息而不激活事件處理程序的子事件遞送指令。相反,子事件遞送指令將事件信息遞送到與子事件串相關(guān)聯(lián)的事件處理程序或者遞送到活躍參與的視圖。與子事件串或與活躍參與的視圖相關(guān)聯(lián)的事件處理程序接收事件信息并執(zhí)行預(yù)先確定的過(guò)程。
在一些實(shí)施方案中,數(shù)據(jù)更新器3076創(chuàng)建并更新在應(yīng)用程序3036-1中使用的數(shù)據(jù)。例如,數(shù)據(jù)更新器3076對(duì)聯(lián)系人模塊3037中所使用的電話號(hào)碼進(jìn)行更新,或者對(duì)視頻播放器模塊3045中所使用的視頻文件進(jìn)行存儲(chǔ)。在一些實(shí)施方案中,對(duì)象更新器3077創(chuàng)建和更新在應(yīng)用程序3036-1中使用的對(duì)象。例如,對(duì)象更新器3076創(chuàng)建新的用戶界面對(duì)象或更新用戶界面對(duì)象的位置。GUI更新器3078更新GUI。例如,GUI更新器3078準(zhǔn)備顯示信息并將其發(fā)送至圖形模塊3032以用于顯示在觸敏顯示器上。
在一些實(shí)施方案中,一個(gè)或多個(gè)事件處理程序3090包括數(shù)據(jù)更新器3076、對(duì)象更新器3077和GUI更新器3078或者具有對(duì)數(shù)據(jù)更新器3076、對(duì)象更新器3077和GUI更新器3078的訪問(wèn)。在一些實(shí)施方案中,數(shù)據(jù)更新器3076、對(duì)象更新器3077和GUI更新器3078被包括在相應(yīng)應(yīng)用程序3036-1或應(yīng)用程序視圖3091的單個(gè)模塊中。在其他實(shí)施方案中,它們被包括在兩個(gè)或更多個(gè)軟件模塊中。
應(yīng)當(dāng)理解的是,前面關(guān)于觸敏顯示器上用戶觸摸的事件處理的討論也適用于其他形式的利用輸入設(shè)備來(lái)操作多功能設(shè)備3000的用戶輸入(并非它們所有都是在觸摸屏上發(fā)起的),例如協(xié)調(diào)鼠標(biāo)移動(dòng)和鼠標(biāo)按鈕按壓(具有或沒(méi)有單個(gè)或多個(gè)鍵盤按壓或保持)、觸摸板上的用戶移動(dòng)輕擊、拖動(dòng)、滾動(dòng)等、觸控筆輸入、設(shè)備的移動(dòng)、口頭指令、檢測(cè)到的眼睛移動(dòng)、生物特征輸入、和/或其任意組合,它們可以被用作為對(duì)應(yīng)于定義要識(shí)別的事件的子事件的輸入。
圖24示出了根據(jù)一些實(shí)施方案的具有觸摸屏3012的便攜式多功能設(shè)備3000。觸摸屏可在用戶界面(UI)3200內(nèi)顯示一個(gè)或多個(gè)圖形。在該實(shí)施方案中,以及在下文中介紹的其他實(shí)施方案中,用戶可以通過(guò)例如用一根或多根手指3202(在附圖中沒(méi)有按比例繪制)或者用一個(gè)或多個(gè)觸控筆3203(在附圖中沒(méi)有按比例繪制)在圖形上作出手勢(shì)來(lái)選擇這些圖形中的一個(gè)或多個(gè)。在一些實(shí)施方案中,當(dāng)用戶中斷與一個(gè)或多個(gè)圖形的接觸時(shí),發(fā)生對(duì)這一個(gè)或多個(gè)圖形的選擇。在一些實(shí)施方案中,手勢(shì)可包括一次或多次輕擊,一次或多次輕掃(從左到右、從右到左、向上和/或向下)和/或已與設(shè)備3000接觸的手指的滾動(dòng)(從右到左、從左到右、向上和/或向下)。在一些實(shí)施方案中,不經(jīng)意地與圖形接觸不會(huì)選擇圖形。例如,當(dāng)對(duì)應(yīng)于選擇的手勢(shì)是輕擊時(shí),在應(yīng)用程序圖標(biāo)上方掃過(guò)的輕掃手勢(shì)不會(huì)選擇對(duì)應(yīng)的應(yīng)用程序。
設(shè)備3000還可包括一個(gè)或多個(gè)物理按鈕,諸如“home”按鈕或菜單按鈕3204。如前所述,菜單按鈕3204可用于導(dǎo)航到可在設(shè)備3000上執(zhí)行的一組應(yīng)用程序中的任何應(yīng)用程序3036。另選地,在一些實(shí)施方案中,菜單按鈕被實(shí)現(xiàn)為被顯示在觸摸屏3012上的GUI中的軟鍵。
在一個(gè)實(shí)施方案中,設(shè)備3000包括觸摸屏3012、菜單按鈕3204、用于對(duì)設(shè)備開(kāi)/關(guān)機(jī)和鎖定設(shè)備的下壓按鈕3206、一個(gè)或多個(gè)音量調(diào)節(jié)按鈕3208、用戶身份模塊(SIM)卡槽3210、耳麥插孔3212、和對(duì)接/充電外部端口3024。下壓按鈕3206可被用于通過(guò)按下該按鈕并將該按鈕保持在按下?tīng)顟B(tài)預(yù)定義的時(shí)間間隔來(lái)對(duì)設(shè)備開(kāi)關(guān)機(jī)供電;通過(guò)按下該按鈕并在經(jīng)過(guò)預(yù)定義的時(shí)間間隔之前釋放該按鈕來(lái)鎖定設(shè)備;和/或?qū)υO(shè)備解鎖或發(fā)起解鎖過(guò)程。在另選的實(shí)施方案中,設(shè)備3000還可通過(guò)麥克風(fēng)3013來(lái)接受用于激活或去激活一些功能的言語(yǔ)輸入。
應(yīng)當(dāng)指出的是,雖然以下示例中很多示例將參考觸摸屏3012(其中觸敏表面和顯示器組合)上的輸入來(lái)給出,但是可以使用獨(dú)立于顯示器的觸敏表面,而不使用觸摸屏3012。
本文所述的用于視頻通信的各種方法和技術(shù)的實(shí)施方案可在可與各種其他參與方設(shè)備交互的一個(gè)或多個(gè)計(jì)算機(jī)系統(tǒng)上運(yùn)行,諸如上文參考圖22至圖24所述的便攜式多功能計(jì)算設(shè)備3000。圖25圖示了一種此類計(jì)算機(jī)系統(tǒng)。在不同實(shí)施方案中,計(jì)算機(jī)系統(tǒng)4000可以是各種類型的設(shè)備中的任何設(shè)備,包括但不限于個(gè)人計(jì)算機(jī)系統(tǒng)、臺(tái)式計(jì)算機(jī)、膝上型、筆記本、或上網(wǎng)本計(jì)算機(jī)、大型計(jì)算機(jī)系統(tǒng)、手持式計(jì)算機(jī)、工作站、網(wǎng)絡(luò)計(jì)算機(jī)、相機(jī)、機(jī)頂盒、移動(dòng)設(shè)備、消費(fèi)者設(shè)備、視頻游戲控制器、手持式視頻游戲設(shè)備、應(yīng)用服務(wù)器、存儲(chǔ)設(shè)備、外圍設(shè)備(諸如交換機(jī)、調(diào)制解調(diào)器、路由器)、或一般性的任何類型的計(jì)算或電子設(shè)備。
在例示的實(shí)施方案中,計(jì)算機(jī)系統(tǒng)4000包括經(jīng)由輸入/輸出(I/O)接口4030耦接到系統(tǒng)存儲(chǔ)器4020的一個(gè)或多個(gè)處理器4030。計(jì)算機(jī)系統(tǒng)4000還包括耦接到I/O接口4030的網(wǎng)絡(luò)接口4040、以及一個(gè)或多個(gè)輸入/輸出設(shè)備4050,諸如光標(biāo)控制設(shè)備4060、鍵盤4070、顯示器4080、以及用于捕獲視頻和音頻數(shù)據(jù)的各種音頻/光學(xué)傳感器4090。在一些實(shí)施方案中可以想到實(shí)施方案可以利用計(jì)算機(jī)系統(tǒng)4000的單個(gè)實(shí)例來(lái)實(shí)現(xiàn),而在其他實(shí)施方案中,多個(gè)此類系統(tǒng)或者構(gòu)成計(jì)算機(jī)系統(tǒng)4000的多個(gè)節(jié)點(diǎn)可以被配置為作為實(shí)施方案的不同部分或?qū)嵗闹鳈C(jī)。
在各種實(shí)施方案中,計(jì)算機(jī)系統(tǒng)4000可以是包括一個(gè)處理器4010的單處理器系統(tǒng)、或者包括幾個(gè)處理器4010(例如兩個(gè)、四個(gè)、八個(gè)、或另一適當(dāng)數(shù)量)的多處理器系統(tǒng)。處理器4010可以是能夠執(zhí)行指令的任何合適的處理器。例如,在各種實(shí)施方案,處理器4010可以是實(shí)現(xiàn)多種指令集架構(gòu)(ISA)(諸如x86、PowerPC、SPARC、或MIPS ISA、或任何其他合適的ISA)中任何指令集架構(gòu)的通用處理器或嵌入式處理器。在多處理器系統(tǒng)中,每個(gè)處理器4010通??梢缘⒎潜仨殞?shí)現(xiàn)相同的ISA。
在一些實(shí)施方案中,至少一個(gè)處理器4010可以是圖形處理單元。圖形處理單元或GPU可以被視為用于個(gè)人計(jì)算機(jī)、工作站、游戲機(jī)或其他計(jì)算或電子設(shè)備的專用圖形客戶端設(shè)備?,F(xiàn)代GPU可以在操縱和顯示計(jì)算機(jī)圖形方面非常高效,并且它們的高度并行結(jié)構(gòu)可以使它們對(duì)于一系列復(fù)雜圖形算法而言比典型的CPU更高效。例如,圖形處理器可以如下方式來(lái)實(shí)現(xiàn)多個(gè)圖形基元操作:使得執(zhí)行它們比利用主機(jī)中央處理單元(CPU)直接繪制到屏幕要快得多。在各種實(shí)施方案中,本文所公開(kāi)的圖像處理方法可以至少部分地由被配置用于在一個(gè)此類GPU上執(zhí)行或者并行地在兩個(gè)或更多個(gè)此類GPU上執(zhí)行的程序指令來(lái)實(shí)現(xiàn)。一個(gè)或多個(gè)GPU可實(shí)現(xiàn)允許編程人員調(diào)用所述一個(gè)或多個(gè)GPU的功能的一個(gè)或多個(gè)應(yīng)用程序編程接口(API)。合適的GPU可以從NVIDIA公司、ATI技術(shù)(AMD)及其他公司商購(gòu)獲得。
系統(tǒng)存儲(chǔ)器4020可被配置為存儲(chǔ)可被處理器4010訪問(wèn)的程序指令和/或數(shù)據(jù)。在各種實(shí)施方案中,系統(tǒng)存儲(chǔ)器4020可使用任何適當(dāng)?shù)拇鎯?chǔ)器技術(shù)來(lái)實(shí)現(xiàn),諸如靜態(tài)隨機(jī)存取存儲(chǔ)器(SRAM)、同步動(dòng)態(tài)RAM(SDRAM)、非易失性/閃存存儲(chǔ)器,或任何其他類型的存儲(chǔ)器。在所示實(shí)施方案中,實(shí)現(xiàn)所期望功能(諸如上文中為本文所述的視頻通信所述的那些)的程序指令和數(shù)據(jù)被顯示為在系統(tǒng)存儲(chǔ)器4020中分別被存儲(chǔ)為程序指令4025和數(shù)據(jù)存儲(chǔ)4035。在其他實(shí)施方案中,程序指令和/或數(shù)據(jù)可被接收、發(fā)送或存儲(chǔ)在與系統(tǒng)存儲(chǔ)器4020或計(jì)算機(jī)系統(tǒng)4000分開(kāi)的不同類型的計(jì)算機(jī)可訪問(wèn)介質(zhì)上或類似介質(zhì)上。一般而言,計(jì)算機(jī)可訪問(wèn)介質(zhì)可以包括經(jīng)由I/O接口4030耦接到計(jì)算機(jī)系統(tǒng)4000的存儲(chǔ)介質(zhì)或存儲(chǔ)器介質(zhì),諸如磁或光介質(zhì),例如盤或CD/DVD-ROM。經(jīng)由計(jì)算機(jī)可訪問(wèn)介質(zhì)所存儲(chǔ)的程序指令和數(shù)據(jù)可通過(guò)可經(jīng)由通信介質(zhì)(諸如網(wǎng)絡(luò)和/或無(wú)線鏈路,諸如可經(jīng)由網(wǎng)絡(luò)接口4040來(lái)實(shí)現(xiàn))傳送的傳輸介質(zhì)或信號(hào)(諸如電信號(hào)、電磁信號(hào)、或數(shù)字信號(hào))來(lái)傳輸。
在一個(gè)實(shí)施方案中,I/O接口4030可被配置為協(xié)調(diào)設(shè)備中的處理器4010、系統(tǒng)存儲(chǔ)器4020和任何外圍設(shè)備(包括網(wǎng)絡(luò)接口4040或其他外圍設(shè)備接口,諸如輸入/輸出設(shè)備4050)之間的I/O通信。在一些實(shí)施方案中,I/O接口4030可執(zhí)行任何必要的協(xié)議、定時(shí)或其他數(shù)據(jù)轉(zhuǎn)換以將來(lái)自一個(gè)部件(例如系統(tǒng)存儲(chǔ)器4020)的數(shù)據(jù)信號(hào)轉(zhuǎn)換為適于由另一個(gè)部件(例如處理器4010)使用的格式。在一些實(shí)施方案中,I/O接口4030可包括對(duì)例如通過(guò)各種類型的外圍設(shè)備總線(諸如外圍部件互連(PCI)總線標(biāo)準(zhǔn)或通用串行總線(USB)標(biāo)準(zhǔn)的變型)所附接的設(shè)備的支持。在一些實(shí)施方案中,I/O接口4030的功能例如可以被劃分到兩個(gè)或更多個(gè)單獨(dú)部件中,諸如北橋和南橋。此外,在一些實(shí)施方案中,I/O接口4030(諸如至系統(tǒng)存儲(chǔ)器4020的接口)的一些或所有功能可被直接并入到處理器4010中。
網(wǎng)絡(luò)接口4040可被配置為允許在計(jì)算機(jī)系統(tǒng)4000和附接到網(wǎng)絡(luò)的其他設(shè)備(諸如其他計(jì)算機(jī)系統(tǒng))之間或者在計(jì)算機(jī)系統(tǒng)4000的節(jié)點(diǎn)之間交換數(shù)據(jù)。在各種實(shí)施方案中,網(wǎng)絡(luò)接口4040可支持經(jīng)由有線或無(wú)線通用數(shù)據(jù)網(wǎng)絡(luò)進(jìn)行通信,諸如例如合適類型的以太網(wǎng);經(jīng)由電信/電話網(wǎng)絡(luò)進(jìn)行通信,諸如模擬語(yǔ)音網(wǎng)絡(luò)或數(shù)字光纖通信網(wǎng)絡(luò);經(jīng)由存儲(chǔ)區(qū)域網(wǎng)絡(luò)進(jìn)行通信,諸如光纖通道SAN,或經(jīng)由任何其他合適的類型的網(wǎng)絡(luò)和/或協(xié)議進(jìn)行通信。
輸入/輸出設(shè)備4050在一些實(shí)施方案中可以包括一個(gè)或多個(gè)顯示終端、鍵盤、鍵區(qū)、觸摸板、掃描設(shè)備、語(yǔ)音或光學(xué)識(shí)別設(shè)備、或適于由一個(gè)或多個(gè)計(jì)算機(jī)系統(tǒng)4000輸入或檢索數(shù)據(jù)的任何其他設(shè)備。多個(gè)輸入/輸出設(shè)備4050可存在于計(jì)算機(jī)系統(tǒng)4000中,或者可分布在計(jì)算機(jī)系統(tǒng)4000的各個(gè)節(jié)點(diǎn)上。在一些實(shí)施方案中,類似的輸入/輸出設(shè)備可與計(jì)算機(jī)系統(tǒng)4000分開(kāi),并且可通過(guò)有線或無(wú)線連接(諸如通過(guò)網(wǎng)絡(luò)接口4040)與計(jì)算機(jī)系統(tǒng)4000的一個(gè)或多個(gè)節(jié)點(diǎn)進(jìn)行交互。
如圖25所示,存儲(chǔ)器4020可包括程序指令4025和數(shù)據(jù)存儲(chǔ)4035,該程序指令4025被配置為實(shí)現(xiàn)本文所述的視頻通信技術(shù)的實(shí)施方案,該數(shù)據(jù)存儲(chǔ)4035包括程序指令4025能夠訪問(wèn)的各種數(shù)據(jù)。數(shù)據(jù)存儲(chǔ)4035可包括可在實(shí)施方案中使用的數(shù)據(jù)。在其他實(shí)施方案中,可以包括其他或不同的軟件元件和數(shù)據(jù)。
本領(lǐng)域技術(shù)人員將會(huì)知道,計(jì)算機(jī)系統(tǒng)4000僅僅是示例性的,而并非旨在限制本文所述的方法和技術(shù)的范圍。具體地,計(jì)算機(jī)系統(tǒng)和設(shè)備可以包括可以執(zhí)行所述功能的任何硬件或軟件組合,包括計(jì)算機(jī)、個(gè)人計(jì)算機(jī)系統(tǒng)、臺(tái)式計(jì)算機(jī)、膝上型、筆記本、或上網(wǎng)本計(jì)算機(jī)、大型計(jì)算機(jī)系統(tǒng)、手持式計(jì)算機(jī)、工作站、網(wǎng)絡(luò)計(jì)算機(jī)、相機(jī)、機(jī)頂盒、移動(dòng)設(shè)備、網(wǎng)絡(luò)設(shè)備、互聯(lián)網(wǎng)設(shè)備、PDA、無(wú)線電話、尋呼機(jī)、消費(fèi)者設(shè)備、視頻游戲機(jī)、手持式視頻游戲設(shè)備、應(yīng)用服務(wù)器、存儲(chǔ)設(shè)備、外圍設(shè)備(諸如交換機(jī)、調(diào)制解調(diào)器、路由器)、或者一般性的任何類型的計(jì)算或電子設(shè)備。計(jì)算機(jī)系統(tǒng)4000還可以連接到未示出的其他設(shè)備,或者可以作為獨(dú)立系統(tǒng)工作。此外,由所示出的部件所提供的功能在一些實(shí)施方案中可被組合在更少的部件中或者被分布在附加部件中。類似地,在一些實(shí)施方案中,一些所示出的部件的功能可不被提供,和/或可還有其他附加功能可供使用。
本領(lǐng)域的技術(shù)人員還將認(rèn)識(shí)到,雖然各種項(xiàng)目被示出為在被使用期間被存儲(chǔ)在存儲(chǔ)器中或存儲(chǔ)裝置上,但是為了存儲(chǔ)器管理和數(shù)據(jù)完整性的目的,這些項(xiàng)目或其部分可在存儲(chǔ)器和其他存儲(chǔ)設(shè)備之間進(jìn)行傳輸。另選地,在其他實(shí)施方案中,軟件部件中的一些或全部軟件部件可以在另一設(shè)備上的存儲(chǔ)器中執(zhí)行,并且經(jīng)由計(jì)算機(jī)間通信來(lái)與所示計(jì)算機(jī)系統(tǒng)通信。系統(tǒng)部件或數(shù)據(jù)結(jié)構(gòu)中的一些或全部也可(例如作為指令或結(jié)構(gòu)化數(shù)據(jù))被存儲(chǔ)在計(jì)算機(jī)可訪問(wèn)介質(zhì)或便攜式制品上以由合適的驅(qū)動(dòng)器讀取,其多種實(shí)例在上文中被描述。在一些實(shí)施方案中,存儲(chǔ)在與計(jì)算機(jī)系統(tǒng)4000分開(kāi)的計(jì)算機(jī)可訪問(wèn)介質(zhì)上的指令可經(jīng)由傳輸介質(zhì)或信號(hào)(諸如電信號(hào)、電磁信號(hào)、或數(shù)字信號(hào))被傳輸?shù)接?jì)算機(jī)系統(tǒng)4000,傳輸介質(zhì)或信號(hào)經(jīng)由通信介質(zhì)(諸如網(wǎng)絡(luò)和/或無(wú)線鏈路)來(lái)傳送。各種實(shí)施方案可進(jìn)一步包括在計(jì)算機(jī)可訪問(wèn)介質(zhì)上接收、發(fā)送或存儲(chǔ)根據(jù)以上描述所實(shí)現(xiàn)的指令和/或數(shù)據(jù)。因此,可以以其它計(jì)算機(jī)系統(tǒng)配置來(lái)實(shí)施本發(fā)明。
在以上詳細(xì)描述中,給出了多個(gè)具體細(xì)節(jié)以提供對(duì)要求保護(hù)的主題的全面理解。但是,本領(lǐng)域技術(shù)人員將理解,要求保護(hù)的主題可以在沒(méi)有這些具體細(xì)節(jié)的情況下被實(shí)現(xiàn)。在其他實(shí)例中,沒(méi)有詳細(xì)地介紹普通技術(shù)人員已知的方法、裝置、或系統(tǒng),以便不使要求保護(hù)的主題晦澀難懂。
還將理解的是,雖然術(shù)語(yǔ)“第一”、“第二”等可能在本文中用來(lái)描述各種元素,但是這些元素不應(yīng)當(dāng)被這些術(shù)語(yǔ)限定。這些術(shù)語(yǔ)只是用來(lái)將一元素與另一元素區(qū)分開(kāi)。例如,在不脫離本發(fā)明的范圍的情況下,第一觸點(diǎn)可被稱為第二觸點(diǎn),并且相似地,第二觸點(diǎn)可被稱為第一觸點(diǎn)。第一觸點(diǎn)和第二觸點(diǎn)均為觸點(diǎn),但它們不是同一個(gè)觸點(diǎn)。
在本文中的詳細(xì)描述中所使用的術(shù)語(yǔ)只是為了描述特定實(shí)施方案的目的,而并非旨在作為對(duì)本發(fā)明的限制。如本說(shuō)明書和所附權(quán)利要求中所使用的那樣,單數(shù)形式的“一個(gè)”、“一種”和“所述”旨在也涵蓋復(fù)數(shù)形式,除非上下文清楚地有相反指示。還將理解的是,本文中所使用的術(shù)語(yǔ)“和/或”是指并且涵蓋相關(guān)聯(lián)地列出的項(xiàng)目中的一個(gè)或多個(gè)項(xiàng)目的任何和全部可能的組合。還將理解的是,術(shù)語(yǔ)“包括”(“includes,”“including,”“comprises,”和/或“comprising,”)在本說(shuō)明書中使用時(shí)是指定存在所陳述的特征、整數(shù)、步驟、操作、元件和/或部件,但是并不排除存在或添加一個(gè)或多個(gè)其他特征、整數(shù)、步驟、操作、元件、部件和/或其分組。
如本文中所用,根據(jù)上下文,術(shù)語(yǔ)“如果”可以被解釋為意思是“當(dāng)......時(shí)”或“在......時(shí)”或“響應(yīng)于確定”或“響應(yīng)于檢測(cè)到”。類似地,根據(jù)上下文,短語(yǔ)“如果確定......”或“如果檢測(cè)到[所陳述的條件或事件]”可被解釋為意指“在確定......時(shí)”或“響應(yīng)于確定......”或“在檢測(cè)到[所陳述的條件或事件]時(shí)”或“響應(yīng)于檢測(cè)到[所陳述的條件或事件]”。
下面的詳細(xì)描述中一些部分是以存儲(chǔ)在特定裝置或?qū)S糜?jì)算設(shè)備或平臺(tái)的存儲(chǔ)器內(nèi)的對(duì)二進(jìn)制數(shù)字信號(hào)的操作的算法或符號(hào)表示來(lái)提供的。在這個(gè)特定說(shuō)明書的上下文中,術(shù)語(yǔ)“特定裝置”等包括通用計(jì)算機(jī),只要該通用計(jì)算機(jī)被編程為根據(jù)來(lái)自程序軟件和其他可編程電子設(shè)備的指令執(zhí)行特定功能。算法描述或符號(hào)表示是信號(hào)處理領(lǐng)域或相關(guān)領(lǐng)域中的普通技術(shù)人員用于將其工作實(shí)質(zhì)內(nèi)容傳達(dá)給該領(lǐng)域中的其他技術(shù)人員的技術(shù)的實(shí)例。算法在這里、并且一般性地被視為是導(dǎo)致所期望結(jié)果的操作或類似信號(hào)處理的自相一致的序列。在這個(gè)上下文中,操作或處理涉及物理量的物理操縱。通常,但是這不是必然的,此類量可采取能夠被存儲(chǔ)、傳送、組合、比較或以其他方式操縱的電信號(hào)或磁信號(hào)的形式。已證明有時(shí)(主要是出于慣用用法的原因)將此類信號(hào)指代為位、數(shù)據(jù)、數(shù)值、元素、符號(hào)、字符、項(xiàng)、數(shù)字、數(shù)碼等是方便的。但是應(yīng)該理解,所有這些或類似術(shù)語(yǔ)要與適當(dāng)?shù)奈锢砹肯嚓P(guān)聯(lián)并且僅僅是方便的標(biāo)記。
本公開(kāi)的實(shí)施方式可基于以下權(quán)利要求來(lái)描述。
1.一種系統(tǒng),包括:
一個(gè)或多個(gè)音頻傳感器,所述一個(gè)或多個(gè)音頻傳感器被配置為捕獲音頻數(shù)據(jù);
一個(gè)或多個(gè)視頻傳感器,所述一個(gè)或多個(gè)視頻傳感器被配置為捕獲圖像數(shù)據(jù);
一個(gè)或多個(gè)處理器;
包括程序指令的存儲(chǔ)器,所述程序指令在由所述一個(gè)或多個(gè)處理器執(zhí)行時(shí)使得所述一個(gè)或多個(gè)處理器實(shí)現(xiàn):
視頻通信模塊,所述視頻通信模塊被配置為:
接收來(lái)自傳輸參與方處所述音頻傳感器中的至少一個(gè)音頻傳感器和所述視頻傳感器中的至少一個(gè)視頻傳感器的用于當(dāng)前視頻通信的視頻通信數(shù)據(jù)流,以用于傳輸?shù)剿霎?dāng)前視頻通信的一個(gè)或多個(gè)接收參與方,其中所述當(dāng)前視頻通信是所述傳輸參與方與所述一個(gè)或多個(gè)接收參與方之間的對(duì)等管理的連接;
動(dòng)態(tài)評(píng)估所述視頻通信數(shù)據(jù)流,以檢測(cè)所述當(dāng)前視頻通信的所述傳輸參與方的暫停事件;以及
響應(yīng)于檢測(cè)到所述暫停事件,為所述傳輸參與方暫停所述當(dāng)前視頻通信,使得所述視頻通信數(shù)據(jù)流中的至少一些不從所述傳輸參與方傳輸?shù)剿鲆粋€(gè)或多個(gè)接收參與方。
2.根據(jù)權(quán)利要求1所述的系統(tǒng),其中為了動(dòng)態(tài)評(píng)估所述視頻通信數(shù)據(jù)流,所述視頻通信模塊被配置為:
執(zhí)行視頻分析或音頻分析中的至少一者,以便確定所述傳輸參與方的活躍交換指示符;以及
確定所述活躍交換指示符低于用于所述傳輸參與方的交換閾值,以便觸發(fā)所述暫停事件。
3.根據(jù)權(quán)利要求要求1所述的系統(tǒng),其中對(duì)所述視頻通信數(shù)據(jù)流的所述動(dòng)態(tài)評(píng)估基于所述視頻通信數(shù)據(jù)的一部分所獲取的所述至少一個(gè)音頻傳感器或所述至少一個(gè)視頻傳感器的標(biāo)識(shí)。
4.根據(jù)權(quán)利要求1所述的系統(tǒng),
其中所述程序指令使所述一個(gè)或多個(gè)處理器實(shí)現(xiàn)被配置用于檢測(cè)對(duì)恢復(fù)用戶界面元素或暫停用戶界面元素的選擇的用戶界面模塊;
其中所述視頻通信模塊被進(jìn)一步配置為:
接收對(duì)所述恢復(fù)用戶界面元素的選擇的指示;
響應(yīng)于接收到所述選擇,恢復(fù)所述當(dāng)前視頻通信,使得所述視頻通信數(shù)據(jù)流中的至少一部分再次傳輸?shù)剿鲆粋€(gè)或多個(gè)接收參與方。
5.根據(jù)權(quán)利要求1所述的系統(tǒng),其中所述視頻通信模塊被進(jìn)一步配置為:
動(dòng)態(tài)評(píng)估所述視頻通信數(shù)據(jù)流,以檢測(cè)所述當(dāng)前視頻通信的所述傳輸參與方的恢復(fù)事件;以及
響應(yīng)于檢測(cè)到所述恢復(fù)事件,恢復(fù)所述當(dāng)前視頻通信,使得全部所述視頻通信數(shù)據(jù)流傳輸?shù)剿鲆粋€(gè)或多個(gè)接收參與方。
6.根據(jù)權(quán)利要求1所述的系統(tǒng),其中所述系統(tǒng)是移動(dòng)電話。
7.一種方法,包括:
由一個(gè)或多個(gè)計(jì)算設(shè)備執(zhí)行:
捕獲當(dāng)前視頻通信中傳輸參與方的視頻通信數(shù)據(jù)流,以用于傳輸?shù)剿霎?dāng)前視頻通信的一個(gè)或多個(gè)接收參與方,其中所述當(dāng)前視頻通信是所述傳輸參與方與所述一個(gè)或多個(gè)接收參與方之間的對(duì)等管理的連接;
在所述傳輸參與方處動(dòng)態(tài)評(píng)估所述視頻通信數(shù)據(jù)流,以檢測(cè)所述當(dāng)前視頻通信的所述傳輸參與方的暫停事件;以及
響應(yīng)于檢測(cè)到所述暫停事件,為所述傳輸參與方暫停所述當(dāng)前視頻通信,使得所述視頻通信數(shù)據(jù)流中的至少一些不從所述傳輸參與方傳輸?shù)剿鲆粋€(gè)或多個(gè)接收參與方。
8.根據(jù)權(quán)利要求7所述的方法,其中所述動(dòng)態(tài)評(píng)估所述視頻通信數(shù)
據(jù)流以檢測(cè)所述暫停事件包括:
執(zhí)行視頻分析或音頻分析中的至少一者,以便確定所述傳輸參與方的活躍交換指示符;以及
確定所述活躍交換指示符低于用于所述傳輸參與方的交換閾值,以便觸發(fā)所述暫停事件。
9.根據(jù)權(quán)利要求8所述的方法,其中所述執(zhí)行所述視頻分析或所述音頻分析中的至少一者,以便確定所述傳輸參與方的所述活躍交換指示符基于所述視頻通信數(shù)據(jù)流的一部分的特定捕獲源。
10.根據(jù)權(quán)利要求7所述的方法,還包括:
在所述傳輸參與方處動(dòng)態(tài)評(píng)估所述視頻通信數(shù)據(jù)流,以檢測(cè)所述當(dāng)前視頻通信的所述傳輸參與方的恢復(fù)事件;以及
響應(yīng)于檢測(cè)到所述恢復(fù)事件,恢復(fù)所述當(dāng)前視頻通信,使得所述視頻通信數(shù)據(jù)流中的至少一部分再次傳輸?shù)剿鲆粋€(gè)或多個(gè)接收參與方。
11.根據(jù)權(quán)利要求7所述的方法,其中所述視頻通信數(shù)據(jù)流中再次傳輸?shù)剿鲆粋€(gè)或多個(gè)接收參與方中的一者的部分與所述視頻通信數(shù)據(jù)流中再次傳輸?shù)剿鲆粋€(gè)或多個(gè)接收參與方中的另一者的部分不同。
12.根據(jù)權(quán)利要求7所述的方法,其中所述傳輸參與方與所述一個(gè)或多個(gè)接收參與方之間的所述對(duì)等管理的連接響應(yīng)于檢測(cè)到所述暫停事件而被維持。
13.根據(jù)權(quán)利要求7所述的方法,其中所述一個(gè)或多個(gè)接收參與方是多個(gè)接收參與方,并且其中所述當(dāng)前視頻通信是所述多個(gè)接收參與方與所述傳輸參與方之間的多方視頻通信。
14.一種存儲(chǔ)程序指令的非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),所述程序指令在由移動(dòng)計(jì)算設(shè)備執(zhí)行時(shí)使得所述移動(dòng)計(jì)算設(shè)備實(shí)現(xiàn):
捕獲當(dāng)前視頻通信中傳輸參與方的視頻通信數(shù)據(jù)流,以用于傳輸?shù)剿霎?dāng)前視頻通信的一個(gè)或多個(gè)接收參與方,其中所述當(dāng)前視頻通信是所述傳輸參與方與所述一個(gè)或多個(gè)接收參與方之間的對(duì)等管理的連接,其中所述傳輸參與方處于暫停狀態(tài),使得所述視頻通信數(shù)據(jù)流的至少一些不被傳輸?shù)剿鲆粋€(gè)或多個(gè)接收參與方;
動(dòng)態(tài)評(píng)估所述視頻通信數(shù)據(jù)流,以檢測(cè)所述當(dāng)前視頻通信的所述傳輸參與方的恢復(fù)事件;以及
響應(yīng)于檢測(cè)到所述恢復(fù)事件,恢復(fù)將當(dāng)前視頻通信數(shù)據(jù)流中的至少一部分傳輸?shù)剿鲆粋€(gè)或多個(gè)接收參與方。
15.根據(jù)權(quán)利要求14所述的非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),其中所述動(dòng)態(tài)評(píng)估所述視頻通信數(shù)據(jù)以檢測(cè)所述恢復(fù)事件包括:
執(zhí)行視頻分析或音頻分析中的至少一者,以便確定所述傳輸參與方的活躍交換指示符;以及
確定所述活躍交換指示符高于用于所述傳輸參與方的交換閾值,以便觸發(fā)所述恢復(fù)事件。
16.根據(jù)權(quán)利要求14所述的非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),其中所述程
序指令使所述移動(dòng)計(jì)算設(shè)備還實(shí)現(xiàn):
在所述傳輸參與方進(jìn)入所述暫停狀態(tài)之前,在所述傳輸參與方處動(dòng)態(tài)評(píng)估所述視頻通信數(shù)據(jù)流,以檢測(cè)所述傳輸參與方的暫停事件,所述暫停事件觸發(fā)所述傳輸參與方的所述暫停狀態(tài)。
17.根據(jù)權(quán)利要求14所述的非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),其中所述程
序指令使所述移動(dòng)計(jì)算設(shè)備還實(shí)現(xiàn):
在所述傳輸參與方進(jìn)入所述暫停狀態(tài)之前,接收對(duì)暫停用戶界面元素的用戶選擇的指示,所述指示觸發(fā)所述傳輸參與方的所述暫停狀態(tài)。
18.根據(jù)權(quán)利要求14所述的非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),其中所述視頻通信數(shù)據(jù)流的不被傳輸?shù)剿鲆粋€(gè)或多個(gè)接收參與方的所述至少一些是視頻數(shù)據(jù)。
19.根據(jù)權(quán)利要求14所述的非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),其中所述動(dòng)態(tài)評(píng)估所述視頻通信數(shù)據(jù)流是響應(yīng)于確定所述當(dāng)前視頻通信根據(jù)集成顯示模式進(jìn)行顯示而執(zhí)行的。
20.根據(jù)權(quán)利要求14所述的非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),其中所述一個(gè)或多個(gè)接收參與方是多個(gè)接收參與方,并且其中所述當(dāng)前視頻通信是所述多個(gè)接收參與方與所述傳輸參與方之間的多方視頻通信。
21.一種系統(tǒng),包括:
電子顯示器;
一個(gè)或多個(gè)處理器;
包括程序指令的存儲(chǔ)器,所述程序指令在由所述一個(gè)或多個(gè)處理器執(zhí)行時(shí)使得所述一個(gè)或多個(gè)處理器實(shí)現(xiàn)視頻通信模塊和用戶接口;
所述用戶接口被配置為檢測(cè)用戶輸入;
所述視頻通信模塊被配置為:
經(jīng)由視頻消息協(xié)議從遠(yuǎn)程移動(dòng)計(jì)算設(shè)備接收作為來(lái)自所述遠(yuǎn)程移動(dòng)計(jì)算設(shè)備的視頻消息的一部分的視頻通信數(shù)據(jù);
當(dāng)所述視頻通信數(shù)據(jù)被接收時(shí)在所述電子顯示器上顯示所述視頻消息;
記錄所述視頻通信數(shù)據(jù),以用于隨后在便攜式多功能設(shè)備處進(jìn)行顯示;
經(jīng)由所述用戶接口接收用于發(fā)起與所述遠(yuǎn)程移動(dòng)計(jì)算設(shè)備的視頻通信的用戶輸入的指示;和
響應(yīng)于接收到用于發(fā)起所述視頻通信的所述指示,與所述遠(yuǎn)程移動(dòng)計(jì)算設(shè)備建立通信連接,使得隨后從所述遠(yuǎn)程計(jì)算設(shè)備接收的視頻通信數(shù)據(jù)和隨后向所述遠(yuǎn)程計(jì)算設(shè)備傳輸?shù)囊曨l通信數(shù)據(jù)經(jīng)由所建立的視頻通信連接來(lái)發(fā)送,其中所述視頻通信連接與所述視頻消息協(xié)議不同。
22.根據(jù)權(quán)利要求21所述的系統(tǒng),其中所述電子顯示器是觸敏顯示器,并且其中為了檢測(cè)所述用戶輸入,所述用戶接口被配置為檢測(cè)所述電子顯示器上的觸摸手勢(shì)。
23.根據(jù)權(quán)利要求21所述的系統(tǒng),其中所述視頻通信模塊被進(jìn)一步配置為:
監(jiān)視所述視頻通信連接,以確定連接質(zhì)量值;
確定所述連接質(zhì)量值低于連接容忍閾值;
響應(yīng)于所述確定所述連接質(zhì)量值低于所述連接容忍閾值:
在所述電子顯示器上顯示向所述視頻消息協(xié)議轉(zhuǎn)變的指示;以及
記錄附加視頻通信數(shù)據(jù),以作為另一視頻消息經(jīng)由所述視頻消息協(xié)議發(fā)送到所述遠(yuǎn)程移動(dòng)計(jì)算設(shè)備。
24.根據(jù)權(quán)利要求21所述的系統(tǒng),還包括:
數(shù)據(jù)存儲(chǔ)裝置;
其中為了記錄所述視頻通信數(shù)據(jù),所述視頻通信模塊被配置為將所述視頻通信數(shù)據(jù)的版本存儲(chǔ)在所述數(shù)據(jù)存儲(chǔ)裝置中以用于回放;
其中所述視頻通信模塊被進(jìn)一步配置為存儲(chǔ)所述隨后接收的視頻通信數(shù)據(jù)的版本和所述隨后傳輸?shù)囊曨l通信數(shù)據(jù)的版本,以用于回放。
25.根據(jù)權(quán)利要求21所述的系統(tǒng),
其中所述程序指令使所述一個(gè)或多個(gè)處理器還實(shí)現(xiàn)當(dāng)前執(zhí)行的應(yīng)用程序模塊,所述當(dāng)前執(zhí)行的應(yīng)用程序模塊被配置為在所述電子顯示器上顯示圖像數(shù)據(jù);
其中為了在所述電子顯示器上顯示所述視頻消息,所述視頻通信模塊被配置為確定當(dāng)前顯示所述應(yīng)用程序模塊的所述圖像數(shù)據(jù)的所述電子顯示器內(nèi)的顯示位置。
26.根據(jù)權(quán)利要求21所述的系統(tǒng),其中所述系統(tǒng)是移動(dòng)電話。
27.一種方法,包括:
由便攜式多功能設(shè)備執(zhí)行:
經(jīng)由視頻消息協(xié)議從遠(yuǎn)程移動(dòng)計(jì)算設(shè)備接收作為來(lái)自所述遠(yuǎn)程移動(dòng)計(jì)算設(shè)備的視頻消息的一部分的視頻通信數(shù)據(jù);
當(dāng)所述視頻通信數(shù)據(jù)被接收時(shí)在所述便攜式多功能設(shè)備處顯示所述視頻消息;
當(dāng)所述視頻通信數(shù)據(jù)被接收時(shí)記錄所述視頻消息以供隨后在所述便攜式多功能設(shè)備處顯示;以及
響應(yīng)于接收到用于發(fā)起與所述遠(yuǎn)程移動(dòng)計(jì)算設(shè)備的視頻通信的指示,與所述遠(yuǎn)程移動(dòng)計(jì)算設(shè)備建立視頻通信連接,使得隨后從所述遠(yuǎn)程計(jì)算設(shè)備接收的視頻通信數(shù)據(jù)和隨后向所述遠(yuǎn)程計(jì)算設(shè)備傳輸?shù)囊曨l通信數(shù)據(jù)經(jīng)由所建立的視頻通信連接來(lái)發(fā)送,其中所述視頻通信連接與所述視頻消息協(xié)議不同。
28.根據(jù)權(quán)利要求27所述的方法,還包括:
經(jīng)由所述視頻消息協(xié)議從另一遠(yuǎn)程移動(dòng)計(jì)算設(shè)備接收作為來(lái)自所述另一遠(yuǎn)程移動(dòng)計(jì)算設(shè)備的另一視頻消息的一部分的其他視頻通信數(shù)據(jù);
為所述另一視頻消息的所述其他視頻通信數(shù)據(jù)執(zhí)行所述顯示和所述記錄;以及
響應(yīng)于接收到用于停止顯示所述其他視頻的指示,停止便攜式多功能設(shè)備處對(duì)所述另一視頻消息的所述顯示。
29.根據(jù)權(quán)利要求27所述的方法,其中所述記錄所述視頻通信數(shù)據(jù)還
包括記錄隨后從所述遠(yuǎn)程移動(dòng)計(jì)算設(shè)備接收的視頻通信數(shù)據(jù),并且其中所述方法還包括:
響應(yīng)于回放請(qǐng)求,顯示所記錄的視頻通信數(shù)據(jù)以及隨后接收的視頻通信數(shù)據(jù)。
30.根據(jù)權(quán)利要求29所述的方法,其中從托管所記錄的隨后接收的視頻通信數(shù)據(jù)的遠(yuǎn)程數(shù)據(jù)存儲(chǔ)裝置獲取要顯示的隨后接收的視頻通信數(shù)據(jù)中的至少一些。
31.根據(jù)權(quán)利要求27所述的方法,還包括:
監(jiān)視所述視頻通信連接,以確定連接質(zhì)量值;
確定所述連接質(zhì)量值低于連接容忍閾值;以及
響應(yīng)于所述確定所述連接質(zhì)量值低于所述連接容忍閾值,記錄附加視頻通信數(shù)據(jù)以經(jīng)由所述視頻消息協(xié)議作為另一視頻消息發(fā)送到所述遠(yuǎn)程移動(dòng)計(jì)算設(shè)備。
32.根據(jù)權(quán)利要求31所述的方法,還包括:
在確定所述連接質(zhì)量值低于所述連接容忍閾值之后,確定所述連接質(zhì)量值等于或高于所述連接容忍閾值;
響應(yīng)于確定所述連接質(zhì)量值等于或高于所述連接容忍閾值,恢復(fù)經(jīng)由所建立的視頻通信連接對(duì)所捕獲的視頻通信數(shù)據(jù)的傳輸。
33.根據(jù)權(quán)利要求27所述的方法,其中所述便攜式多功能設(shè)備和所述遠(yuǎn)程移動(dòng)計(jì)算設(shè)備是參與群消息線程的大量計(jì)算設(shè)備中的兩個(gè),其中所述方法還包括:
響應(yīng)于接收到用于發(fā)起與所述遠(yuǎn)程移動(dòng)計(jì)算設(shè)備的所述視頻通信的所述指示,建立與所述群消息線程中并非所述遠(yuǎn)程移動(dòng)計(jì)算設(shè)備的一個(gè)或多個(gè)其余計(jì)算設(shè)備的相應(yīng)附加視頻通信連接,其中所建立的與所述遠(yuǎn)程移動(dòng)計(jì)算設(shè)備的視頻連接和與所述一個(gè)或多個(gè)其余計(jì)算設(shè)備的所述相應(yīng)附加視頻通信連接一起構(gòu)成多方視頻通信。
34.一種存儲(chǔ)程序指令的非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),所述程序指令
在由移動(dòng)計(jì)算設(shè)備執(zhí)行時(shí)使得所述移動(dòng)計(jì)算設(shè)備實(shí)現(xiàn):
經(jīng)由視頻消息協(xié)議從遠(yuǎn)程移動(dòng)計(jì)算設(shè)備接收作為來(lái)自所述遠(yuǎn)程移動(dòng)計(jì)算設(shè)備的視頻消息的一部分的視頻通信數(shù)據(jù);
當(dāng)所述視頻通信數(shù)據(jù)被接收時(shí)在便攜式多功能設(shè)備處顯示所述視頻消息;
當(dāng)所述視頻通信數(shù)據(jù)被接收時(shí)記錄所述視頻消息以供隨后在所述便攜式多功能設(shè)備處顯示;
接收用于轉(zhuǎn)變到與所述遠(yuǎn)程移動(dòng)計(jì)算設(shè)備的視頻通信的用戶輸入的指示;和
響應(yīng)于接收到所述用戶輸入的所述指示,建立與所述遠(yuǎn)程移動(dòng)計(jì)算設(shè)備的視頻通信連接,使得隨后從所述遠(yuǎn)程計(jì)算設(shè)備接收的視頻通信數(shù)據(jù)和隨后向所述遠(yuǎn)程計(jì)算設(shè)備傳輸?shù)囊曨l通信數(shù)據(jù)經(jīng)由所建立的視頻通信連接來(lái)發(fā)送,其中所述視頻通信連接與所述視頻消息協(xié)議不同。
35.根據(jù)權(quán)利要求34所述的非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),其中所述程
序指令還使所述移動(dòng)計(jì)算設(shè)備實(shí)現(xiàn):
監(jiān)視所述視頻通信連接,以確定連接質(zhì)量值;
確定所述連接質(zhì)量值低于連接容忍閾值;
響應(yīng)于所述確定所述連接質(zhì)量值低于所述連接容忍閾值:
提供向所述視頻消息協(xié)議轉(zhuǎn)變的指示;和
記錄附加視頻通信數(shù)據(jù),以作為另一視頻消息經(jīng)由所述視頻消息協(xié)議發(fā)送到所述遠(yuǎn)程移動(dòng)計(jì)算設(shè)備。
36.根據(jù)權(quán)利要求34所述的非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),其中所述程序指令使所述移動(dòng)計(jì)算設(shè)備還實(shí)現(xiàn):
經(jīng)由所述視頻消息協(xié)議從另一遠(yuǎn)程移動(dòng)計(jì)算設(shè)備接收作為來(lái)自所述另一遠(yuǎn)程移動(dòng)計(jì)算設(shè)備的另一視頻消息的一部分的其他視頻通信數(shù)據(jù);
為所述另一視頻消息的所述其他視頻通信數(shù)據(jù)執(zhí)行所述顯示和所述記錄;
接收用于停止顯示所述其他視頻的用戶輸入的指示;以及
響應(yīng)于接收到用于停止顯示所述其他視頻的所述用戶輸入的所述指示,停止便攜式多功能設(shè)備處對(duì)所述另一視頻消息的所述顯示。
37.根據(jù)權(quán)利要求36所述的非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),其中所述程序指令還使所述移動(dòng)計(jì)算設(shè)備實(shí)現(xiàn):
響應(yīng)于回放請(qǐng)求,顯示所述視頻消息的所記錄的視頻通信數(shù)據(jù)。
38.根據(jù)權(quán)利要求34所述的非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),其中所述移動(dòng)計(jì)算設(shè)備和所述遠(yuǎn)程移動(dòng)計(jì)算設(shè)備是參與群消息線程的大量計(jì)算設(shè)備中的兩個(gè),并且其中所述程序指令使所述移動(dòng)計(jì)算設(shè)備還實(shí)現(xiàn):
響應(yīng)于接收到用于發(fā)起與所述遠(yuǎn)程移動(dòng)計(jì)算設(shè)備的所述視頻通信的所述指示,建立與所述群消息線程中不同于所述遠(yuǎn)程移動(dòng)計(jì)算設(shè)備的一個(gè)或多個(gè)其余計(jì)算設(shè)備的相應(yīng)附加視頻通信連接,其中所建立的與所述遠(yuǎn)程移動(dòng)計(jì)算設(shè)備的視頻連接和與所述一個(gè)或多個(gè)其余計(jì)算設(shè)備的所述相應(yīng)附加視頻通信連接一起構(gòu)成多方視頻通信。
39.根據(jù)權(quán)利要求38所述的非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),其中作為所述多方視頻通信的一部分在所述多個(gè)計(jì)算設(shè)備之間傳輸?shù)母郊右曨l通信數(shù)據(jù)被存儲(chǔ)在存儲(chǔ)服務(wù)器處,并且其中所述程序指令使所述移動(dòng)計(jì)算設(shè)備還實(shí)現(xiàn):
響應(yīng)于對(duì)所述多方視頻通信的一部分的回放請(qǐng)求,顯示從存儲(chǔ)服務(wù)器獲得的所述附加視頻通信數(shù)據(jù)的與所述多方視頻通信的所請(qǐng)求部分相對(duì)應(yīng)的一部分。
40.根據(jù)權(quán)利要求39所述的非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),其中包括在所述多方視頻通信中的所述多個(gè)計(jì)算設(shè)備中的每一個(gè)都保持作為所述多方視頻通信的一部分從所述計(jì)算設(shè)備傳輸?shù)母郊右曨l通信數(shù)據(jù)的相應(yīng)記錄,并且其中所述程序指令使所述移動(dòng)計(jì)算設(shè)備還實(shí)現(xiàn):
響應(yīng)于對(duì)所述多方視頻通信的一部分的回放請(qǐng)求,顯示與所述多方視頻通信的所請(qǐng)求部分相對(duì)應(yīng)的從特定計(jì)算設(shè)備獲得的附加視頻通信數(shù)據(jù)的相應(yīng)記錄。
41.一種系統(tǒng),包括:
數(shù)據(jù)存儲(chǔ)裝置,所述數(shù)據(jù)存儲(chǔ)裝置被配置為為與相應(yīng)一個(gè)或多個(gè)遠(yuǎn)程移動(dòng)計(jì)算設(shè)備的一個(gè)或多個(gè)預(yù)先建立的即時(shí)視頻通信連接保持相應(yīng)連接信息;
一個(gè)或多個(gè)處理器;
包括程序指令的存儲(chǔ)器,所述程序指令在由所述一個(gè)或多個(gè)處理器執(zhí)行時(shí)使得所述一個(gè)或多個(gè)處理器實(shí)現(xiàn)視頻通信模塊;
所述視頻通信模塊被配置為:
接收用于發(fā)起與所述一個(gè)或多個(gè)遠(yuǎn)程移動(dòng)計(jì)算設(shè)備中特定遠(yuǎn)程移動(dòng)計(jì)算設(shè)備的即時(shí)視頻通信的請(qǐng)求;
響應(yīng)于接收到用于發(fā)起所述即時(shí)視頻通信的所述請(qǐng)求:
確定與所述特定遠(yuǎn)程移動(dòng)計(jì)算設(shè)備的所述即時(shí)視頻通信連接被授權(quán);
響應(yīng)于所述確定:
針對(duì)所述特定遠(yuǎn)程移動(dòng)計(jì)算設(shè)備的所述相應(yīng)連接信息訪問(wèn)所述數(shù)據(jù)存儲(chǔ)裝置;和
根據(jù)所述相應(yīng)即時(shí)連接信息傳輸所請(qǐng)求的即時(shí)視頻通信的所捕獲的視頻通信數(shù)據(jù),使得
所捕獲的視頻通信數(shù)據(jù)可在被接收時(shí)在所述遠(yuǎn)程便攜式多功能計(jì)算設(shè)備處顯示。
42.根據(jù)權(quán)利要求41所述的系統(tǒng),其中所述視頻通信模塊被進(jìn)一步配置為:
在接收到所述即時(shí)視頻通信請(qǐng)求之前:
向所述特定遠(yuǎn)程移動(dòng)計(jì)算設(shè)備發(fā)送對(duì)于建立與所述特定遠(yuǎn)程移動(dòng)計(jì)算設(shè)備的所述即時(shí)視頻通信連接的授權(quán)的請(qǐng)求;
接收所述特定遠(yuǎn)程移動(dòng)計(jì)算設(shè)備的所述相應(yīng)連接信息;和
將所述特定遠(yuǎn)程移動(dòng)計(jì)算設(shè)備的所述相應(yīng)連接信息存儲(chǔ)在所述數(shù)據(jù)存儲(chǔ)裝置中。
43.根據(jù)權(quán)利要求41所述的系統(tǒng),其中所述視頻通信模塊被進(jìn)一步配
置為:
在接收到所述即時(shí)視頻通信請(qǐng)求之前:
從所述遠(yuǎn)程移動(dòng)計(jì)算設(shè)備接收對(duì)于建立相應(yīng)的所述預(yù)先建立的即時(shí)視頻通信連接的授權(quán)的請(qǐng)求;
響應(yīng)于接收到對(duì)于授權(quán)的所述請(qǐng)求:
響應(yīng)于確定所述特定遠(yuǎn)程移動(dòng)計(jì)算設(shè)備被授權(quán)建立所述預(yù)先建立的即時(shí)視頻通信連接,用用于建立所述預(yù)先建立的即時(shí)視頻通信連接的相應(yīng)連接信息對(duì)所述請(qǐng)求進(jìn)行響應(yīng)。
44.根據(jù)權(quán)利要求41所述的系統(tǒng),
其中所述系統(tǒng)還包括電子顯示器;
其中所述視頻通信模塊被進(jìn)一步配置為:
經(jīng)由所述預(yù)先建立的即時(shí)視頻通信連接中另一預(yù)先建立的即時(shí)視頻通信連接從所述一個(gè)或多個(gè)遠(yuǎn)程移動(dòng)計(jì)算設(shè)備中另一遠(yuǎn)程移動(dòng)計(jì)算設(shè)備接收其他視頻通信數(shù)據(jù);
響應(yīng)于接收到所述其他視頻通信數(shù)據(jù):
響應(yīng)于確定所述另一預(yù)先建立的即時(shí)視頻通信連接被授權(quán),在所述其他視頻通信數(shù)據(jù)被接收時(shí)將所述其他視頻通信數(shù)據(jù)顯示在所述電子顯示器上。
45.根據(jù)權(quán)利要求41所述的系統(tǒng),其中,為了在所述電子顯示器上顯
示所述其他視頻通信數(shù)據(jù),所述視頻通信模塊被配置為確定當(dāng)前
顯示另一應(yīng)用程序的圖像數(shù)據(jù)的所述電子顯示器內(nèi)的顯示位置。
46.根據(jù)權(quán)利要求41所述的系統(tǒng),其中所述系統(tǒng)是移動(dòng)電話。
47.一種方法,包括:
便攜式移動(dòng)計(jì)算設(shè)備執(zhí)行:
接收對(duì)于發(fā)起與遠(yuǎn)程便攜式多功能計(jì)算設(shè)備的即時(shí)視頻通信的請(qǐng)求;
響應(yīng)于接收到對(duì)于發(fā)起所述即時(shí)視頻通信的所述請(qǐng)求:
確定與所述遠(yuǎn)程便攜式多功能計(jì)算設(shè)備的所述即時(shí)視頻通信連接被授權(quán);
響應(yīng)于所述確定:
訪問(wèn)所述遠(yuǎn)程便攜式多功能計(jì)算設(shè)備的所存儲(chǔ)的連接信息;以及
根據(jù)所存儲(chǔ)的即時(shí)連接信息傳輸所請(qǐng)求的即時(shí)視頻通信的所捕獲的視頻通信數(shù)據(jù),使得所捕獲的視頻通信數(shù)據(jù)可在被接收時(shí)在所述遠(yuǎn)程便攜式多功能計(jì)算設(shè)備處顯示。
48.根據(jù)權(quán)利要求47所述的方法,還包括:
在接收到所述即時(shí)視頻通信請(qǐng)求之前:
向所述遠(yuǎn)程便攜式多功能計(jì)算設(shè)備發(fā)送對(duì)于建立即時(shí)視頻通信連接的授權(quán)的請(qǐng)求;
接收用于建立所述即時(shí)視頻通信連接的連接信息;以及
存儲(chǔ)所述遠(yuǎn)程便攜式多功能計(jì)算設(shè)備的所述連接信息。
49.根據(jù)權(quán)利要求48所述的方法,還包括:
所述遠(yuǎn)程便攜式多功能計(jì)算設(shè)備執(zhí)行:
接收對(duì)于建立與所述便攜式多功能計(jì)算設(shè)備的所述即時(shí)視頻通信連接的授權(quán)的所述請(qǐng)求;
響應(yīng)于接收到所述請(qǐng)求:
確定所述便攜式多功能計(jì)算設(shè)備被授權(quán)建立所述即時(shí)視頻通信連接;和
響應(yīng)于所述確定所述便攜式多功能計(jì)算設(shè)備被授權(quán)建立所述即時(shí)視頻通信連接,用所述即時(shí)連接信息對(duì)所述請(qǐng)求進(jìn)行響應(yīng)。
50.根據(jù)權(quán)利要求48所述的方法,還包括:
所述遠(yuǎn)程便攜式多功能計(jì)算設(shè)備執(zhí)行:
經(jīng)由所述即時(shí)視頻通信連接接收所述視頻通信數(shù)據(jù);以及
當(dāng)所述視頻通信數(shù)據(jù)被接收時(shí)在所述遠(yuǎn)程便攜式多功能計(jì)算設(shè)備處顯示所述視頻通信數(shù)據(jù)。
51.根據(jù)權(quán)利要求47所述的方法,還包括:
接收對(duì)于發(fā)起與另一遠(yuǎn)程便攜式多功能計(jì)算設(shè)備的即時(shí)視頻通信的另一請(qǐng)求;
響應(yīng)于接收到所述另一請(qǐng)求:
響應(yīng)于確定與所述另一遠(yuǎn)程便攜式多功能計(jì)算設(shè)備的所述即時(shí)視頻通信連接未被授權(quán):
建立與所述另一遠(yuǎn)程便攜式多功能計(jì)算設(shè)備的視頻通信連接;以及
經(jīng)由所建立的與所述另一遠(yuǎn)程便攜式多功能計(jì)算設(shè)備的所述視頻通信連接傳輸所述另一請(qǐng)求的即時(shí)視頻通信的其他捕獲的視頻通信數(shù)據(jù)。
52.根據(jù)權(quán)利要求47所述的方法,還包括:
檢測(cè)所述即時(shí)視頻通信連接的所述連接信息的改變;以及
響應(yīng)于檢測(cè)到所述改變,根據(jù)所檢測(cè)到的所述改變更新所述遠(yuǎn)程便攜式多功能計(jì)算設(shè)備的所存儲(chǔ)的所述連接信息。
53.根據(jù)權(quán)利要求52所述的方法,其中所述檢測(cè)所述即時(shí)視頻通信連接的所述連接信息的改變包括周期性地或非周期性地輪詢所述遠(yuǎn)程便攜式多功能計(jì)算設(shè)備,以驗(yàn)證所述即時(shí)視頻通信連接。
54.一種存儲(chǔ)程序指令的非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),所述程序指令在由移動(dòng)計(jì)算設(shè)備執(zhí)行時(shí)使得所述移動(dòng)計(jì)算設(shè)備實(shí)現(xiàn):
維持與一個(gè)或多個(gè)相應(yīng)遠(yuǎn)程移動(dòng)計(jì)算設(shè)備的一個(gè)或多個(gè)預(yù)先建立的即時(shí)視頻通信連接;
經(jīng)由所述預(yù)先建立的即時(shí)視頻通信連接中的一個(gè)預(yù)先建立的即時(shí)視頻通信連接從所述相應(yīng)遠(yuǎn)程移動(dòng)計(jì)算設(shè)備接收視頻通信數(shù)據(jù);
響應(yīng)于接收到所述視頻通信數(shù)據(jù):
響應(yīng)于確定所述預(yù)先建立的即時(shí)視頻通信連接被授權(quán),在所述視頻通信數(shù)據(jù)被接收時(shí)顯示所述視頻通信數(shù)據(jù)。
55.根據(jù)權(quán)利要求54所述的非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),
其中所述程序指令使所述移動(dòng)計(jì)算設(shè)備還實(shí)現(xiàn):
在接收到所述視頻通信數(shù)據(jù)之前:
向所述相應(yīng)遠(yuǎn)程移動(dòng)計(jì)算設(shè)備發(fā)送對(duì)于建立與所述相應(yīng)遠(yuǎn)程移動(dòng)計(jì)算設(shè)備的所述即時(shí)視頻通信連接的授權(quán)的請(qǐng)求;
接收用于建立所述即時(shí)視頻通信連接的連接信息;并且
其中在所述維持與所述一個(gè)或多個(gè)相應(yīng)遠(yuǎn)程移動(dòng)計(jì)算設(shè)備的一個(gè)或多個(gè)預(yù)先建立的即時(shí)視頻通信連接中,所述程序指令使所述移動(dòng)計(jì)算設(shè)備實(shí)現(xiàn):存儲(chǔ)所述遠(yuǎn)程移動(dòng)計(jì)算設(shè)備的所述連接信息。
56.根據(jù)權(quán)利要求54所述的非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),其中在所述在所述視頻通信數(shù)據(jù)被接收時(shí)顯示所述視頻通信數(shù)據(jù)中,所述程序指令使所述移動(dòng)計(jì)算設(shè)備實(shí)現(xiàn):確定當(dāng)前顯示另一應(yīng)用程序的圖像數(shù)據(jù)的電子顯示器內(nèi)的顯示位置,其中根據(jù)作為執(zhí)行所述另一應(yīng)用程序的一部分在運(yùn)行時(shí)配置的一個(gè)或多個(gè)顯示屬性動(dòng)態(tài)地確定所述顯示位置。
57.根據(jù)權(quán)利要求54所述的非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),其中所述程序指令使所述移動(dòng)計(jì)算設(shè)備還實(shí)現(xiàn):
在接收到所述視頻通信數(shù)據(jù)之前:
從另一移動(dòng)計(jì)算設(shè)備接收對(duì)于建立所述一個(gè)或多個(gè)預(yù)先建立的即時(shí)視頻通信連接中另一預(yù)先建立的即時(shí)視頻通信連接的授權(quán)的請(qǐng)求;
響應(yīng)于接收到所述請(qǐng)求:
確定所述另一移動(dòng)計(jì)算設(shè)備被授權(quán)建立所述另一預(yù)先建立的即時(shí)視頻通信連接;以及
響應(yīng)于所述確定所述另一移動(dòng)計(jì)算設(shè)備被授權(quán)建立所述另一預(yù)先建立的即時(shí)視頻通信連接,用用于建立所述預(yù)先建立的即時(shí)視頻通信連接的連接信息對(duì)所述請(qǐng)求進(jìn)行響應(yīng)。
58.根據(jù)權(quán)利要求54所述的非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),其中所述程序指令使所述移動(dòng)計(jì)算設(shè)備還實(shí)現(xiàn):
接收對(duì)于發(fā)起與所述一個(gè)或多個(gè)遠(yuǎn)程移動(dòng)計(jì)算設(shè)備中另一遠(yuǎn)程移動(dòng)計(jì)算設(shè)備的即時(shí)視頻通信的請(qǐng)求;
響應(yīng)于接收到對(duì)于發(fā)起所述即時(shí)視頻通信的所述請(qǐng)求:
響應(yīng)于確定與所述另一遠(yuǎn)程移動(dòng)計(jì)算設(shè)備的所述即時(shí)視頻通信連接被授權(quán),經(jīng)由相應(yīng)的所述另一預(yù)先建立的即時(shí)視頻通信連接向所述另一遠(yuǎn)程移動(dòng)計(jì)算設(shè)備發(fā)送所請(qǐng)求的即時(shí)視頻通信的所捕獲的視頻通信數(shù)據(jù)。
59.根據(jù)權(quán)利要求54所述的非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),其中所述程序指令使所述一個(gè)或多個(gè)移動(dòng)計(jì)算設(shè)備實(shí)現(xiàn):
響應(yīng)于接收到對(duì)于所述一個(gè)或多個(gè)遠(yuǎn)程移動(dòng)計(jì)算設(shè)備中另一遠(yuǎn)程移動(dòng)計(jì)算設(shè)備的解除授權(quán)指示,移除對(duì)于所述另一遠(yuǎn)程移動(dòng)計(jì)算設(shè)備的相應(yīng)的所述預(yù)先建立的即時(shí)視頻通信連接。
60.根據(jù)權(quán)利要求59所述的非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),其中經(jīng)由所述移動(dòng)計(jì)算設(shè)備處的用戶接口接收所述解除授權(quán)指示,并且其中在所述移除對(duì)于所述另一遠(yuǎn)程移動(dòng)計(jì)算設(shè)備的相應(yīng)的所述預(yù)先建立的即時(shí)視頻通信連接中,所述程序指令使所述移動(dòng)計(jì)算設(shè)備實(shí)現(xiàn):向所述另一遠(yuǎn)程計(jì)算設(shè)備發(fā)送解除授權(quán)通知。