集成音頻和視頻會議能力的制作方法
【專利摘要】一種集成音頻和視頻會議能力。提供用于向單純音頻通信會話添加視頻的系統(tǒng)、方法和計算機可讀存儲介質(zhì)。在第一裝置與第二裝置之間的通信會話中，第一裝置接收來自用戶的通信會話的音頻部分。第一裝置然后通過無線連接接收來自第三裝置的通信會話的視頻部分。第一裝置使通信會話的音頻部分與通信會話的視頻部分同步化，以產(chǎn)生通信會話的同步化的音頻和視頻部分。然后，第一裝置將通信會話的同步化的音頻和視頻部分發(fā)送到第二裝置。
【專利說明】集成音頻和視頻會議能力
【技術領域】
[0001]本公開涉及視頻會議，特別是涉及集成音頻和視頻會議能力。
【背景技術】
[0002]大多數(shù)的視頻會議系統(tǒng)是“一體化”裝置。這些系統(tǒng)常常需要諸如麥克風、揚聲器、監(jiān)視器和照相機的各種部件之間的有線連接。在某些情況下，諸如無線HDMI和無線USB的近年的無線技術允許這些部件中的一些被無線連接。但是，這些無線連接一般固定于無線連接的部件之間，并因此限制可動性。并且，由于諸如計算機和電話的大多數(shù)的裝置一般不具有內(nèi)置的無線HDMI或無線USB能力，因此它們需要硬件“軟件狗”或適配器以提供與其它部件的無線連接性。對于用戶來說，這使事情大大復雜化。
[0003]并且，當前的視頻會議系統(tǒng)沒有利用諸如WIFI Direct的其它的新型強大的無線技術以集成不同的裝置或部件。并且，當前的方案無法使用無線能力以提供更大的可動性，同時允許裝置在會議中無縫地集成其它的裝置并自動地擴展在會議中利用的會議能力。例如，當前的方案在單純音頻會議裝置進入具有無線能力的視頻會議裝置附近時不允許單純音頻會議裝置自動地向音頻會議添加視頻會議。在當前的方案中，如果用戶通過移動電話處于單純音頻呼叫上并且用戶希望添加超出移動電話能力的高質(zhì)量視頻，那么用戶必須在另一裝置上手動遷移或重新建立整個呼叫。

【發(fā)明內(nèi)容】

[0004]在以下的說明書中闡述并且部分地從說明書理解或者可通過這里公開的原理的實際掌握本公開的附加的特征和優(yōu)點?？赏ㄟ^特別地在所附的權利要求中指出的儀器和組合實現(xiàn)和獲得本公開的特征和優(yōu)點。公開的這些和其它特征從以下的描述和所附的權利要求將變得更加明顯，或者可通過這里闡述的原理的實際被掌握。
[0005]這里闡述的方法可被用于無線集成會議系統(tǒng)中的不同的裝置和部件。通過使用強大的無線能力，這些方法在會議中向用戶提供很大的可動性，并且允許會議裝置在會議中無縫地集成其它的裝置并自動擴展在會議中利用的會議能力。例如，通過單純音頻電話參與單純音頻會議的用戶可通過與具有視頻能力的附近裝置無線連接自動向會議添加高質(zhì)量視頻。如果用戶希望移動到不同的位置，她可自動地向具有視頻能力的另外的附近裝置無線傳送會議的視頻部分。另一方面，如果用戶不希望移動到不同的位置而只希望向具有更好的視頻能力的不同的裝置傳送會議的視頻部分，那么她可在不傳送或重新建立整個電話的情況下通過無線連接自動完成這一點。
[0006]公開用于集成音頻和視頻會議能力的系統(tǒng)、方法和非暫時性計算機可讀存儲介質(zhì)。在第一裝置與第二裝置之間的通信會話中，第一裝置接收來自用戶的通信會話的音頻部分。第一裝置然后通過無線連接接收來自第三裝置的通信會話的視頻部分。第一裝置可建立通信會話作為單純音頻通信會話并隨后向第三裝置發(fā)送消息以初始化視頻輸入和輸出以建立用于通信會話的視頻能力。通信會話的視頻部分可包含由諸如內(nèi)部照相機或外部照相機的與第三裝置相關的照相機捕獲的壓縮視頻幀。第三裝置可以是具有無線能力的任何裝置。例如，第三裝置可以是向第一裝置傳送從照相機裝置捕獲的視頻幀的無線會議網(wǎng)關。第三裝置還可包含視頻編碼器/解碼器、照相機、無線接口和/或視頻輸出。例如，無線連接可以是裝置之間的直接無線連接。例如，直接無線連接可基于802.11標準。這里，裝置可通過使用諸如WIFI Direct的無線標準直接相互連接。并且，裝置可完成無線配對以允許裝置無縫地相互通信。
[0007]然后，第一裝置使通信會話的音頻部分與通信會話的視頻部分同步化，以產(chǎn)生通信會話的同步化的音頻和視頻部分。為了使通信會話的音頻和視頻部分同步化，第一裝置可通過來自通信會話的音頻部分的音頻設定通信會話的視頻部分上的唇音同步化屬性。然后，第一裝置向第二裝置發(fā)送通信會話的同步化的音頻和視頻部分。如果第一裝置從第二裝置接收與通信會話相關的視頻和/或音頻幀，那么第一裝置可檢查視頻幀上的唇音同步化屬性，并且，在至少部分地基于唇音同步化屬性的時間，向第三裝置發(fā)送視頻幀以將其解碼并在第三裝置上顯示。因此，第三裝置可顯示從第二裝置接收的視頻幀，同時第一裝置輸出從第二裝置接收的相應的音頻幀。
[0008]可通過周期性地同步化多個裝置之間的時鐘實現(xiàn)唇音同步化。通過使用公知的算法，一個裝置可用作主機，其它的裝置可用作從屬機，這里，主機和從屬機交換網(wǎng)絡消息以使它們的時鐘同步化。因此，例如，第一裝置和第三裝置可針對唇音同步化周期性地使它們的時鐘同步化。通過使用公知的算法，第一裝置或第三裝置可用作主機裝置，而其它的裝置可用作從屬裝置。然后，為了基于唇音同步化屬性執(zhí)行唇音同步化，主機裝置(例如，第一裝置)和從屬裝置(例如，第三裝置)可交換網(wǎng)絡消息以使它們的時鐘同步化。
[0009]除了第三裝置以外，第一裝置還可從其它裝置接收通信會話的附加部分。例如，如果第一裝置的用戶希望移動到超出第三裝置的無線范圍的位置，或者，如果用戶只希望在不同的顯示裝置上顯示通信會話的視頻，那么用戶可通過無線連接第一裝置與具有無線能力的第四裝置完成這一點。這里，第一裝置可從第四裝置接收通信會話的第二部分，使通信會話的第二視頻部分與通信會話的相應的音頻部分同步化，并且將通信會話的同步化的音頻和視頻部分發(fā)送給第二裝置。第一裝置可在第一裝置檢測到第三和/或第四裝置處于系統(tǒng)的無線范圍內(nèi)時與第三和/或第四裝置無線連接。例如，第一裝置還可與其它的無線裝置連接以在用戶移動到不同的位置時接收視頻部分或者提示第一裝置建立連接。
【專利附圖】

【附圖說明】
[0010]圖1示出示例性系統(tǒng)實施例；
[0011]圖2示出用于無線集成音頻和視頻會議能力的示例性系統(tǒng)；
[0012]圖3示出被連接以形成單個視頻會議端點的多個無線裝置的例子；
[0013]圖4示出用于向桌面電話添加多方視頻會議的示例性機制；
[0014]圖5示出用于向音頻會議添加視頻的示例性無線會議盒；
[0015]圖6示出示例性方法實施例。
【具體實施方式】
[0016]以下詳細描述公開的各種實施例。雖然描述特定的實現(xiàn)，但應理解，這樣做僅是出于解釋的目的。在不背離公開的精神和范圍的情況下，可使用其它的部件和構成。
[0017]本公開針對無線集成音頻和視頻會議能力。公開集成音頻和視頻會議能力的系統(tǒng)、方法和計算機可讀介質(zhì)。這里公開可用于實施這些概念的圖1中的基本通用系統(tǒng)或計算裝置的簡要引導性描述。然后提供無線集成音頻和視頻會議能力的更詳細的描述和變更。當闡述各種實施例時，應在這里描述這些變更。本發(fā)明現(xiàn)在轉(zhuǎn)到圖1。
[0018]參照圖1，示例性系統(tǒng)包括通用計算裝置100，該計算裝置100包含處理單元(CPU或處理器)120和將包含諸如只讀存儲器(ROM) 140和隨機存取存儲器(RAM) 150的系統(tǒng)存儲器130的各種系統(tǒng)部件耦合到處理器120的系統(tǒng)總線110。計算裝置100可包含直接連接、接近處理器120或者一體化為其一部分的高速存儲器的高速緩存122。計算裝置100將數(shù)據(jù)從存儲器130和/或存儲裝置160復制到高速緩存122，以供處理器120的迅速訪問。以這種方式，高速緩存提供性能提升，這避免處理器120由于等待數(shù)據(jù)而延遲。這些和其它模塊可控制或者被配置為控制處理器120以執(zhí)行各種行動。其它的系統(tǒng)存儲器130也可能是可用的。存儲器130可包含具有不同的性能特性的多種不同類型的存儲器?？梢岳斫?，公開可在具有多于一個處理器120的計算裝置100上或者在連接在一起以提供更大的處理能力的一組或一群計算裝置上操作。處理器120可包含被配置為控制處理器120以及將軟件指令加入到實際的處理器設計中的特定用途處理器的任何通用的處理器和硬件模塊或軟件模塊，諸如模塊1162、部件2164和模塊3166。處理器120可基本上是包含多個芯或處理器、總線、存儲器控制器、高速緩存等的完全自含的計算系統(tǒng)。多芯處理器可以是對稱的或不對稱的。
[0019]系統(tǒng)總線110可以是包含存儲器總線或存儲器控制器、外設總線和使用各種總線結(jié)構中的任一種的本地總線的幾種類型的總線結(jié)構中的任一種。存儲于R0M140等中的基本輸入/輸出(BIOS)可諸如在啟動時提供幫助在計算裝置100內(nèi)的要素之間傳送信息的基本例程。計算裝置100還可包含諸如硬盤驅(qū)動器、磁盤驅(qū)動器、光盤驅(qū)動器或帶驅(qū)動器等的存儲裝置160。存儲裝置160可包含用于控制處理器120的軟件模塊162、164、166。設想其它的硬件或軟件模塊。存儲裝置160通過驅(qū)動器接口與系統(tǒng)總線110連接。驅(qū)動器和相關的計算機可讀存儲介質(zhì)提供計算機可讀指令、數(shù)據(jù)結(jié)構、程序模塊和用于計算裝置100的其它數(shù)據(jù)的非易失性存儲。在一個方面中，執(zhí)行特定功能的硬件模塊包含與諸如處理器120、總線110和顯示器170等的必要的硬件部件關聯(lián)地存儲于有形計算機可讀存儲介質(zhì)中以實施功能的軟件部件。在另一方面中，系統(tǒng)可使用處理器和計算機可讀存儲介質(zhì)，以存儲當被處理器執(zhí)行時使得處理器執(zhí)行方法或其它特定行動的指令。根據(jù)裝置的類型，諸如計算裝置100是小型、手持計算裝置、桌面計算機還是計算機服務器，設想基本部件和相應的變更。
[0020]雖然這里描述的示例性實施例使用硬盤160，但是，在示例性操作環(huán)境中，也可使用可存儲可通過計算機訪問的數(shù)據(jù)的其它類型的計算機可讀介質(zhì)，諸如磁盒、快擦寫存儲卡、數(shù)字萬用盤、編碼磁帶、隨機存取存儲器(RAM) 150、只讀存儲器(ROM) 140和包含位流的電纜或無線信號等。有形計算機可讀存儲介質(zhì)明確排除諸如能量、載波信號、電磁波和信號本身的介質(zhì)。
[0021]為了實現(xiàn)與計算裝置100的用戶交互作用，輸入裝置190代表任意數(shù)量的輸入機構，諸如用于語音的麥克風、用于手勢或圖形輸入的觸摸敏感屏、鍵盤、鼠標、移動輸入和語音等。輸出裝置170也可以是本領域技術人員已知的大量的輸出機構中的一個或多個。在一些情況下，多模式系統(tǒng)使得用戶能夠提供多種類型的輸入以與計算裝置100通信。通信接口 180—般掌控和管理用戶輸入和系統(tǒng)輸出。對于任何特定的硬件配置上的操作沒有限制，因此，可很容易地通過改進的硬件或開發(fā)的固件配置替代這里的基本特征。
[0022]為了簡化解釋，解釋性的系統(tǒng)實施例被示為包括各單個功能塊，包含標為“處理器”或處理器120的功能塊?？赏ㄟ^使用共享或?qū)Ｓ玫挠布峁┻@些塊所代表的功能，這些硬件包含但不限于能夠執(zhí)行軟件和硬件的硬件，諸如專門構建以作為在通用處理器上執(zhí)行的軟件的等同物操作的處理器120。例如，在圖1中代表的一個或多個處理器的功能可由單個共享處理器或多個處理器提供。(術語“處理器”的使用不應被解釋為排他性地指的是能夠執(zhí)行軟件的硬件)。解釋性的實施例可包含微處理器和/或數(shù)字信號處理器(DSP)硬件、用于存儲執(zhí)行以下描述的操作的軟件的只讀存儲器(ROM) 140和用于存儲結(jié)果的隨機存取存儲器(RAM) 150。也可提供超大規(guī)模集成(VLSI)硬件實施例以及與通用DSP電路組合的定制VLSI電路。
[0023]各種實施例的邏輯操作實現(xiàn)為:(I)在通用計算機內(nèi)的可編程電路上運行的一系列的計算機實現(xiàn)的步驟、操作或過程；(2)在特定用途可編程電路上運行的一系列的計算機實現(xiàn)的步驟、操作或過程；(3)可編程電路內(nèi)的互連機器模塊或程序引擎。圖1所示的計算裝置100可實現(xiàn)陳述的方法的全部或一部分，可以是陳述的系統(tǒng)的一部分，并且/或者可根據(jù)陳述的有形計算機可讀存儲介質(zhì)中的指令操作。這些邏輯操作可實現(xiàn)為模塊，這些模塊被配置為根據(jù)模塊的編程控制處理器120以執(zhí)行特定的功能。例如，圖1示出三個模塊Modll62、Mod2164和Mod3166，這些模塊是被配置為控制處理器120的模塊。這些模塊可存儲于存儲裝置160上并在運行時間被加載到RAM150或存儲器130中，或者可存儲于其它的計算機可讀存儲器位置中。
[0024]已公開計算系統(tǒng)的一些部件，公開現(xiàn)在轉(zhuǎn)到圖2，該圖2示出用于無線集成音頻和視頻會議能力的示例性系統(tǒng)200。這里，用戶202可通過使用電話204A開始與用戶206的音頻呼叫。在一些實施例中，用戶202可另外通過使用諸如便攜式電腦、便攜式媒體播放器、IP電視、會議系統(tǒng)、平板計算機、媒體裝置、電子閱讀器等的具有聯(lián)網(wǎng)能力的任何其它裝置開始與用戶206的音頻呼叫。在圖2中，電話204A通過網(wǎng)絡212與由遠程用戶206使用的媒體裝置208連接。網(wǎng)絡212可包含諸如因特網(wǎng)的公共網(wǎng)絡，但也可包含諸如內(nèi)聯(lián)網(wǎng)、家庭網(wǎng)絡、虛擬私人網(wǎng)絡(VPN)、單獨實體之間的共享協(xié)作網(wǎng)絡等的私人或準私人網(wǎng)絡。事實上，在這里闡述的原理適用于許多類型的網(wǎng)絡，諸如局域網(wǎng)絡(LAN)、虛擬LAN (VLAN)、公司網(wǎng)絡、廣域網(wǎng)絡和幾乎任何其它形式的網(wǎng)絡。媒體裝置208可以是具有聯(lián)網(wǎng)能力的任何裝置，諸如便攜式電腦、便攜式媒體播放器、IP電視、會議系統(tǒng)、平板計算機、媒體裝置和電子閱讀器等。
[0025]如果用戶202決定向呼叫添加視頻，那么她可通過顯示裝置204B和無線會議網(wǎng)關204C這樣做，而不必轉(zhuǎn)移或重新建立整個呼叫。這里，用戶202可使用顯示裝置204B，以顯示由遠程用戶206從媒體裝置208作為呼叫的視頻部分發(fā)送的視頻幀。用戶202還可使用無線會議網(wǎng)關204C以捕獲視頻幀并將視頻幀作為呼叫的視頻部分發(fā)送給遠程用戶206。用戶202可在建立呼叫之前或在呼叫中的任意點上向呼叫添加視頻。一旦用戶202向呼叫添加視頻，她就可隨后改變哪些裝置在呼叫中的任意點上捕獲、顯示和管理呼叫的視頻部分。[0026]為了向呼叫添加視頻，電話204A可在呼叫之前或者呼叫中與提供視頻會議能力的無線會議網(wǎng)關204C無線連接。電話204A和無線會議網(wǎng)關204C可相互直接無線連接。這里，顯示裝置204B和/或無線會議網(wǎng)關204C不必與網(wǎng)絡212連接，原因是它們可例如在WiFi上直接與電話204A通信。電話204A和無線會議網(wǎng)關204C當處于無線范圍中時可自動地相互直接無線連接。例如，電話204A和無線會議網(wǎng)關204C可通過基于諸如WIFIDirect的802.11標準的無線連接自動建立直接無線連接。并且，電話204A和無線會議網(wǎng)關204C可基于預先配置的設定和/或來自用戶202的輸入自動連接。并且，當電話204A檢測到無線會議網(wǎng)關204C處于無線范圍中時，電話204A可向用戶202呈現(xiàn)諸如音頻提示的提示，該提示請求允許與無線會議網(wǎng)關204C連接。響應提示，當用戶準許電話204A與無線會議網(wǎng)關204C連接時，電話204A可然后與無線會議網(wǎng)關204C連接。作為替代方案，電話204A當檢測到無線會議網(wǎng)關204C處于無線范圍中時可自動地與無線會議網(wǎng)關204C連接，而不向用戶202呈現(xiàn)提示。在一個實施例中，電話204A和無線會議網(wǎng)關204C建立應用級WIFI Direct連接，并且在標準IP連接上直接通信。電話204A和無線會議網(wǎng)關204C可通過使用標準WIFI協(xié)議“看到”彼此。并且，電話204A和無線會議網(wǎng)關204C可包含WIFIDirect服務應用，它們可使用該WIFI Direct服務應用以交換信息，諸如關于安全、視頻數(shù)據(jù)編解碼、幀率、分辨率、硬件能力、軟件能力等的信息。
[0027]無線會議網(wǎng)關204C可向電話204A發(fā)送由無線會議網(wǎng)關204C上的照相機捕獲的視頻幀，該電話204A可然后作為呼叫的視頻部分的一部分傳送到媒體裝置208。在一些實施例中，無線會議網(wǎng)關204C可具有內(nèi)置的照相機，該照相機捕獲發(fā)送到電話204A的視頻幀。在其它的實施例中，照相機是與無線會議網(wǎng)關204C分開的裝置。這里，無線會議網(wǎng)關204C從照相機接收視頻幀，并且將視頻幀中轉(zhuǎn)給電話204A。無線會議網(wǎng)關204C可壓縮和編碼視頻幀，并將視頻幀發(fā)送到電話204A，以供傳送到遠程用戶206。電話204A可然后向視頻幀附加網(wǎng)絡標題，用來自用戶202的音頻設定唇音同步化屬性，并且將視頻幀發(fā)送到遠程用戶206。
[0028]無線會議網(wǎng)關204C還接收由電話204A發(fā)送并源自由遠程用戶206使用的媒體裝置208的視頻幀，并且，將視頻幀轉(zhuǎn)送到顯示器204B以供顯示。電話204A可使視頻幀與來自音頻幀的音頻同步化，并且，在適當?shù)臅r間將視頻幀發(fā)送給無線會議網(wǎng)關204C以將其解碼和在顯示器204B上顯示。無線會議網(wǎng)關204C包含視頻解碼器/編碼器和視頻輸出，以允許來自遠程用戶206的視頻幀被輸出到顯示器。
[0029]圖3示出被連接以形成單個視頻會議端點300的多個無線裝置的例子。單個視頻會議端點300包含移動電話302、無線會議盒304和顯示器306。移動電話302和無線會議盒304在基于諸如WIFI Direct的802.11標準的直接無線連接上通信。并且，無線會議盒304和顯示器306可通過使用諸如HDM1、VGA、DV1、S-Video、無線HDM1、WIFI等的適于傳送視頻數(shù)據(jù)的任何機構和/或接口通信。
[0030]在圖3中，移動電話302從會議呼叫中的遠程方接收音頻和視頻媒體，通過移動電話302上的揚聲器輸出音頻，并且將視頻幀中轉(zhuǎn)給無線會議盒304。移動電話302檢查視頻幀上的唇音同步化屬性以確定什么時候向無線會議盒304發(fā)送視頻幀，因此，視頻幀可被及時解碼并在顯示器306上被顯示。特別地，移動電話302通過諸如因特網(wǎng)、無線網(wǎng)絡、企業(yè)網(wǎng)絡、LAN、WAN等的網(wǎng)絡從遠程方接收音頻和視頻媒體。移動電話302可然后在諸如WIFI Direct的直接無線連接上將視頻幀發(fā)送到無線會議盒304。無線會議盒304從移動電話302接收視頻幀，將視頻幀解碼，并且將解碼的視頻幀傳送到顯示器306以供在顯示器306上呈現(xiàn)。
[0031]無線會議盒304包含用于捕獲視頻的照相機，該視頻要被傳送到會議呼叫中的遠程方。并且，無線會議盒304將來自照相機的壓縮的視頻幀發(fā)送到移動電話302。無線會議盒304可根據(jù)諸如H.264的適當?shù)囊曨l壓縮標準將視頻幀編碼。移動電話302從無線會議盒304接收視頻幀，使視頻幀與來自用戶的音頻同步化，并將同步化的視頻和音頻媒體發(fā)送到會議呼叫中的遠程方。在一個實施例中，移動電話302從無線會議盒304接收視頻幀，附加網(wǎng)絡標題，用來自用戶的音頻設定唇音同步化屬性，并將視頻幀發(fā)送到會議呼叫中的遠程方。
[0032]雖然圖3中的視頻會議端點300包含移動電話302、無線會議盒304和顯示器306，但本領域技術人員可以理解，視頻會議端點300可包含其它的裝置。例如，視頻會議端點300可包含附加的無線會議盒和/或顯示器，以允許用戶在必要時基于用戶的位置和/或視頻要求將視頻從會議呼叫傳送到其它的裝置。
[0033]圖4示出用于向桌面電話添加多方視頻會議的示例性機制。桌面電話402可與無線會議盒404連接以向音頻呼叫添加視頻，而不傳送或重新建立整個呼叫。桌面電話402從遠程方接收視頻并將視頻發(fā)送到無線會議盒404。例如，桌面電話402還可從多方視頻會議中的網(wǎng)絡網(wǎng)關接收一個或多個包流(例如，視頻流和/或音頻流)。無線會議盒404與顯示器406連接，以顯示來自遠程方的視頻。顯示器406可通過各方分割視頻的呈現(xiàn)，使得在顯示器的不同部分上顯示來自遠程方的視頻。在一些實施例中，無線會議盒404與多個顯示器連接，并且，在不同的顯示器上顯示來自各遠程方的視頻。無線會議盒404還包含用于捕獲視頻的照相機。無線會議盒404向桌面電話402發(fā)送捕獲的視頻，因此，桌面電話402可然后向遠程方發(fā)送捕獲的視頻作為視頻會議的一部分。桌面電話402、無線會議盒404和顯示器406 —起形成用于多方視頻會議的單個視頻會議端點400。
[0034]在向桌面電話402發(fā)送捕獲的視頻之前，無線會議盒404可根據(jù)諸如H.264的適當?shù)囊曨l壓縮標準將視頻編碼。桌面電話402可使來自無線會議盒404的視頻與從用戶接收的音頻同步化，并將同步化的媒體發(fā)送到遠程方。在一個實施例中，桌面電話402從無線會議盒404接收壓縮的視頻，添加網(wǎng)絡標題，用來自用戶的音頻設定唇音同步化屬性，并將視頻發(fā)送到會議呼叫中的遠程方。當從遠程方接收視頻時，桌面電話402可檢查唇音同步化屬性以確定什么時候向無線會議盒404發(fā)送視頻以供在顯示器406上呈現(xiàn)以及什么時候輸出從遠程方接收的相應的音頻。
[0035]桌面電話402和無線會議盒404直接通過無線連接。無線連接可以是基于諸如WIFI Direct的802.11標準的直接無線連接。并且，桌面電話402和無線會議盒404可通過使用標準WIFI協(xié)議“看到”彼此。這允許桌面電話402和無線會議盒404在兩個裝置處于無線范圍中時自動相互連接，這使得桌面電話402能夠無縫地向音頻會議添加視頻。另夕卜，桌面電話402和無線會議盒404可包含用于交換諸如關于安全、視頻數(shù)據(jù)編解碼、幀率、分辨率、能力等的信息的信息的WIFI Direct服務應用。這有利于桌面電話402與無線會議盒404之間的無縫連接以及視頻在視頻會議中的集成。
[0036]在一個實施例中，當桌面電話402檢測到無線會議盒404時，它詢問桌面電話402的用戶是否愿意為了向音頻會議添加視頻與無線會議盒404連接。如果用戶接受，那么桌面電話402和無線會議盒404建立應用級WIFI Direct連接。桌面電話402和無線會議盒404可在標準IP連接上直接通信。桌面電話402然后向遠程方通知由無線會議盒404和顯示器406提供的新的視頻能力。如果遠程方響應它們自身的視頻能力，那么桌面電話402可通過向無線會議盒404發(fā)送消息以初始化視頻入/出初始化視頻。無線會議盒404可然后將來自照相機的壓縮視頻幀發(fā)送到桌面電話402。桌面電話402接收壓縮的視頻幀，附加網(wǎng)絡標題，用來自用戶的音頻設定唇音同步化屬性，并且將視頻幀發(fā)送到遠程方。并且，當桌面電話402從遠程方接收視頻幀時，它檢查唇音同步化屬性，并且，在適當?shù)臅r間，向無線會議盒404發(fā)送視頻幀以將其解碼并在顯示器406上顯示。當在顯示器406上顯示視頻幀時，桌面電話402可輸出相應的音頻，使得以同步化的方式呈現(xiàn)視頻幀和相應的音頻。
[0037]圖5示出用于向音頻會議添加視頻的示例性的無線會議盒500。無線會議盒500可與電話或任何其它能夠支持音頻IP上音頻呼叫(例如，VoLTE、VoIP、無線LAN等)的裝置連接，以向電話添加視頻會議能力并且/或者向無線會議盒500傳送視頻會議功能。無線會議盒500包含用于與其它裝置無線通信的無線網(wǎng)絡接口卡504。無線會議盒500可使用無線網(wǎng)絡接口卡504以直接在無線上與電話或任何其它音頻會議裝置連接。直接無線連接可基于諸如WIFI Direct的802.11標準。并且，無線會議盒500可通過使用標準WIFI協(xié)議檢測其它無線裝置并且/或者被其檢測。無線會議盒500還可包含WIFI Direct服務應用以無線發(fā)送和/或接收諸如關于安全、視頻數(shù)據(jù)編解碼、幀率、分辨率、能力等的信息的信息。
[0038]無線會議盒500包含內(nèi)置的用于捕獲視頻的照相機502。在一些實施例中，無線會議盒500不包含內(nèi)置的照相機，但是與單獨的外部照相機連接。并且，無線會議盒500可包含用于編碼和解碼視頻幀的板上芯片506。但是，在一些實施例中，例如，如果使用具有其自身的編碼器的外部照相機，那么板上芯片506可以不是必要的。這里，當無線會議盒500與具有其自身的編碼器的外部照相機一起使用時，無線會議盒500可以不包含板上芯片506。在一些實施例中，板上芯片506可支持H.264多流編碼和解碼。并且，無線會議盒500可包含諸如HDMI和VGA的視頻接口 510，以與諸如監(jiān)視器或電視的顯示裝置連接。并且，無線會議盒500可包含通用串行總線(USB)接口 508以連接諸如數(shù)字照相機、網(wǎng)絡適配器、麥克風、揚聲器、網(wǎng)絡攝像頭、媒體播放器、盤驅(qū)動器、快擦寫驅(qū)動器、輸入裝置、打印機、計算機外設等的其它裝置并向其供給電力。
[0039]無線會議盒500還可通過使用不同的無線協(xié)議通過無線網(wǎng)絡接口卡504與諸如顯示器和照相機的其它裝置連接。例如，無線會議盒500可通過使用無線HDMI與諸如電視的顯示裝置連接。作為另一例子，無線會議盒500可使用無線USB以連接諸如游戲控制器、打印機、掃描儀、數(shù)字照相機、媒體播放器、硬盤驅(qū)動器、快擦寫驅(qū)動器、麥克風、揚聲器等的其它裝置連接。
[0040]已公開了一些基本系統(tǒng)部件和概念，公開現(xiàn)在轉(zhuǎn)到圖6所示的示例性方法實施例。為了闡明，關于被配置為實施方法的圖1所示的示例性系統(tǒng)100描述方法。這里概括的步驟是示例性的，并且可通過它們的任意的組合被實現(xiàn)，這些組合包含排除、添加或修改某些步驟的組合。
[0041]在系統(tǒng)100與第二裝置之間的通信會話中，系統(tǒng)100首先從用戶接收通信會話的音頻部分(600)。系統(tǒng)100然后通過無線連接從第三裝置接收通信會話的視頻部分(602)。為了向通信會話添加視頻或者向第三裝置轉(zhuǎn)移通信會話的現(xiàn)有視頻部分的視頻的處理、創(chuàng)建和/或顯示，系統(tǒng)100接收通信會話的視頻部分。例如，通信會話可以是單純音頻通信會話，系統(tǒng)100可然后擴展該單純音頻通信會話以包含系統(tǒng)100從第三裝置接收的視頻。為了初始化通信會話的視頻部分，系統(tǒng)100可向第三裝置發(fā)送消息以初始化視頻輸入和輸出以建立用于通信會話的視頻能力。一旦第三裝置初始化視頻輸入和輸出，它就向系統(tǒng)100發(fā)送通信會話的視頻部分。
[0042]通信會話的視頻部分可包含由諸如內(nèi)部照相機或外部照相機的與第三裝置相關的照相機捕獲的壓縮的視頻幀。第三裝置可以是具有無線能力的任何裝置。例如，第三裝置可以是向系統(tǒng)100傳送從照相機裝置捕獲的視頻幀的無線會議網(wǎng)關。第三裝置還可包含視頻編碼器和解碼器、照相機、無線接口和/或視頻輸出。無線連接可以是例如裝置之間的直接無線連接。例如，直接無線連接可基于802.11標準。例如，系統(tǒng)100和第三裝置可通過使用諸如WIFI Direct的無線標準直接相互連接。并且，系統(tǒng)100和第三裝置可進行無線配對以允許裝置無縫地相互通信。
[0043]系統(tǒng)100可響應來自用戶和/或系統(tǒng)100的向通信會話添加視頻的請求接收通信會話的視頻部分。例如，作為通信會話的一部分，系統(tǒng)100可響應由系統(tǒng)100向第三裝置發(fā)送的提示第三裝置捕獲視頻幀并且/或者將其發(fā)送到系統(tǒng)100的消息，接收通信會話的視頻部分。系統(tǒng)100還可基于調(diào)度、條件、行為、偏好、配置設定、閾值、輸入等接收通信會話的視頻部分。并且，系統(tǒng)100還可在系統(tǒng)100和第三裝置建立無線連接時自動地接收通信會話的視頻部分。例如，系統(tǒng)100可在第三裝置處于無線范圍內(nèi)時自動地建立無線連接。在一個實施例中，當?shù)谌b置處于無線范圍中時，系統(tǒng)100通過WIFI Direct自動地與第三裝置建立無線連接。在建立無線連接之前，系統(tǒng)100可提示系統(tǒng)100的用戶啟用/允許無線連接。系統(tǒng)100可然后在從用戶接收確認/允許時建立無線連接。提示可以是音頻提示、視頻提示、文本提示、電子郵件、文本消息、警告、宣告、圖形提示、聲音、圖像和/或它們的組合。例如，提示可以是建立與第三裝置的無線連接的可聽請求。
[0044]作為替代方案，系統(tǒng)100可在不提示用戶啟用/允許無線連接的情況下透明地建立無線連接。這里，當?shù)谌b置處于無線范圍內(nèi)時，當系統(tǒng)100檢測到特定的條件和/或行為時，當系統(tǒng)100檢測到來自第三裝置的請求時，系統(tǒng)100可自動地建立無線連接，等等。例如，系統(tǒng)100可在第二裝置嘗試向系統(tǒng)100發(fā)送視頻幀時自動地建立無線連接。系統(tǒng)100還可基于輸入、調(diào)度、設定、閾值、錯誤、條件和預先配置的偏好等建立無線連接。例如，系統(tǒng)100如果檢測到系統(tǒng)100和/或與系統(tǒng)100連接的顯示裝置的視頻能力低于閾值則自動建立無線連接。
[0045]然后，系統(tǒng)100使通信會話的音頻部分與通信會話的視頻部分同步化，以產(chǎn)生通信會話的同步化的音頻和視頻部分(604)。為了使通信會話的音頻部分和視頻部分同步化，系統(tǒng)100可用來自通信會話的音頻部分的音頻設定通信會話的視頻部分上的唇音同步化屬性。然后，系統(tǒng)100向第二裝置發(fā)送通信會話的同步化的音頻和視頻部分(606)。系統(tǒng)100在系統(tǒng)100與第二裝置之間發(fā)送通信會話的同步化的音頻和視頻部分作為通信會話的一部分。如果系統(tǒng)100然后從第二裝置接收與通信會話相關的視頻和音頻幀，那么系統(tǒng)100可檢查視頻幀上的唇音同步化屬性，并且在至少部分地基于唇音同步化屬性的時間向第三裝置發(fā)送視頻幀以將其解碼和在第三裝置上顯示。這樣，第三裝置可顯示來自第二裝置的視頻幀，而系統(tǒng)100從第二裝置輸出相應的音頻幀，使得以同步化的方式輸出視頻幀和音頻幀。
[0046]除了第三裝置以外，系統(tǒng)100還可從其它的裝置接收通信會話的附加部分。例如，如果系統(tǒng)100的用戶希望移動到超出第三裝置的無線范圍的位置，或者，如果用戶只希望在不同的顯示裝置上顯示通信會話的視頻，那么用戶可通過無線連接系統(tǒng)100與具有無線能力的第四裝置完成這一點。這里，系統(tǒng)100可從第四裝置接收通信會話的第二部分，使通信會話的第二視頻部分與通信會話的相應的音頻部分同步化，并且向第二裝置發(fā)送通信會話的同步化音頻和視頻部分。當系統(tǒng)100檢測到第三裝置和/或第四裝置處于系統(tǒng)100的無線范圍內(nèi)時，系統(tǒng)100可無線連接第三裝置和/或第四裝置。例如，當用戶移動到不同的位置或提示系統(tǒng)100建立與其它無線裝置的無線連接時，系統(tǒng)100還可與其它的無線裝置連接以接收通信會話的其它視頻部分。
[0047]當系統(tǒng)100與其它的無線裝置連接時，它可無縫地添加或轉(zhuǎn)移用于通信會話的視頻，而不必轉(zhuǎn)移或重新建立整個通信會話。以下的非限制性的例子是解釋性的。作為處于商務旅行中而離開的管理者的Bill在作為Bill的雇員之一的Andy的WIFI Direct啟用智能電話上呼叫Andy。在本例子中，Bill從與WIFI Direct視頻會議裝置連接的WIFI Direct啟用智能電話呼叫Andy,該WIFI Direct視頻會議裝置與照相機和監(jiān)視器連接。當Andy接收呼叫時，他處于沒有附近的WIFI Direct視頻會議裝置的休息室中。因此，Andy —開始只能參與與Bill的音頻呼叫。但是，當與Bill交談時，Andy返回到其辦公室，在這里他具有與其計算機的監(jiān)視器和網(wǎng)絡攝像頭連接的WIFI Direct視頻會議裝置。當Andy進入其辦公室時，其智能電話檢測到WIFI Direct視頻會議裝置并向Andy呈現(xiàn)通過WIFI Direct視頻會議裝置向呼叫添加視頻的選項。Andy然后選擇該選項以添加視頻,這提示Andy的智能電話建立與WIFI Direct視頻會議裝置的無線連接并初始化視頻輸入和輸出。WIFI Direct視頻會議裝置向呼叫添加視頻，而不重新建立或轉(zhuǎn)移整個呼叫。并且，WIFI Direct視頻會議裝置操作通向和來自Bill的智能電話的視頻,而Andy的智能電話操作通向和來自Bill的智能電話的音頻。
[0048]Bill然后決定他希望在呼叫中包含Cindy和Earl。Andy也決定他希望在配有更大的顯示裝置的更大房間內(nèi)與Cindy和Earl繼續(xù)會議。因此,Andy召集Cindy和Earl并步行到具有更大的空間和更大的顯示裝置的會議室，同時繼續(xù)從智能電話與Bill交談。由于Andy不禁用其智能電話上的視頻會議選項，因此，智能電話利用WIFI Direct以發(fā)現(xiàn)附近的WIFI Direct視頻會議裝置。當Andy步行到會議室中時，其智能電話檢測到會議室中的WIFI Direct視頻會議裝置并與WIFI Direct視頻會議裝置自動建立WIFI Direct連接。會議室中的WIFI Direct視頻會議裝置然后開始處理通向和來自Bill的智能電話的視頻。會議室中的WIFI Direct視頻會議裝置向Andy的智能電話發(fā)送從本地照相機捕獲的視頻，并然后向Bill的智能電話發(fā)送視頻。并且，會議室中的WIFI Direct視頻會議裝置可在會議室中的大型顯示器上輸出來自Bill的智能電話的視頻，以供包括Andy、Cindy和Earl的所有人觀看。Andy可選擇其智能電話上的揚聲器選項以通過揚聲器輸出來自Bill的智能電話的音頻，以供Andy、Cindy和Earl接聽。這樣，Andy可將會議的視頻部分轉(zhuǎn)移到不同的裝置，而不轉(zhuǎn)移或重新建立整個呼叫，同時還繼續(xù)參與會議的音頻部分。[0049]本公開的范圍內(nèi)的實施例還可包含用于承載或具有存儲于其上面的計算機可執(zhí)行指令或數(shù)據(jù)結(jié)構的有形和/或非暫時性計算機可讀存儲介質(zhì)。這種有形計算機可讀存儲介質(zhì)可以是可通過通用或特定用途計算機訪問的任何可用的介質(zhì)，包含以上描述的任何特定用途處理器的功能設計。作為例子而不是限制，這種有形計算機可讀介質(zhì)可包含RAM、ROM、EEPR0M、⑶-ROM或其它的光盤存儲、磁盤存儲或其它的磁存儲裝置或可用于承載或存儲計算機可執(zhí)行指令、數(shù)據(jù)結(jié)構或處理芯片設計的形式的希望的程序代碼手段的任何其它介質(zhì)。當在網(wǎng)絡或另一通信連接(例如，硬接線、無線或它們的組合)上向計算機轉(zhuǎn)移或提供信息時，計算機適當?shù)貙⑦B接視為計算機可讀介質(zhì)。因此，任何這種連接被適當?shù)胤Q為計算機可讀介質(zhì)。以上的組合也應包含于計算機可讀介質(zhì)的范圍內(nèi)。
[0050]計算機可執(zhí)行指令包含例如導致通用計算機、特定用途計算機或特定用途處理裝置執(zhí)行某種功能或一組功能的指令和數(shù)據(jù)。計算機可執(zhí)行指令還包含由獨立或網(wǎng)絡環(huán)境中的計算機執(zhí)行的程序模塊。一般地，程序模塊包含執(zhí)行特定的任務或?qū)崿F(xiàn)特定的抽象數(shù)據(jù)類型的例程、程序、部件、數(shù)據(jù)結(jié)構、對象和特定用途處理器中的設計固有的功能等。計算機可執(zhí)行指令、相關的數(shù)據(jù)結(jié)構和程序模塊代表用于執(zhí)行這里公開的方法的步驟的程序代碼手段的例子。這種可執(zhí)行指令或相關的數(shù)據(jù)結(jié)構的特定次序代表用于實現(xiàn)按這種步驟描述的功能的相應的操作的例子。
[0051]可在包含個人計算機、手持裝置、多處理器系統(tǒng)、基于微處理器或可編程消費者電子器件、網(wǎng)絡PC、迷你計算機和主機計算機等的具有許多類型的計算機系統(tǒng)配置的網(wǎng)絡計算環(huán)境中實現(xiàn)公開的其它實施例。也可在由通過通信網(wǎng)絡鏈接(通過硬接線鏈接、無線鏈接或者通過其組合)的本地和遠程處理裝置執(zhí)行任務的分布式計算環(huán)境中實施實施例。在分布式計算環(huán)境中，程序模塊可位于本地和遠程存儲器存儲裝置中。
[0052]以上描述的各種實施例僅作為解釋被提供，并且不應被解釋為限制本公開的范圍。可對于這里描述的原理提出不遵循這里示出和描述的示例性實施例和應用且不背離公開的精神和范圍的各種修改和變化。
【權利要求】
1.一種方法，包括: 在第一裝置與第二裝置之間的通信會話中，在第一裝置上接收來自用戶的通信會話的音頻部分； 通過無線連接在第一裝置上接收來自第三裝置的通信會話的視頻部分； 使通信會話的音頻部分與通信會話的視頻部分同步化，以產(chǎn)生通信會話的同步化的音頻和視頻部分；和 將通信會話的同步化的音頻和視頻部分發(fā)送到第二裝置。
2.根據(jù)權利要求1的方法，還包括: 建立通信會話作為單純音頻通信會話；和 向第三裝置發(fā)送消息以初始化視頻輸入和輸出以建立用于通信會話的視頻能力。
3.根據(jù)權利要求1的方法，其中，通信會話的視頻部分包含由與第三裝置相關的照相機捕獲的壓縮視頻幀。
4.根據(jù)權利要求1的方法，其中，使通信會話的音頻部分與通信會話的視頻部分同步化包含用來自通信會話的音頻部分的音頻來設定通信會話的視頻部分上的唇音同步化屬性。
5.根據(jù)權利要求1的方法，還包括: 從第二裝置接收與通信會話相關的視頻幀；` 檢查視頻幀上的唇音同步化屬性；和 在至少部分地基于唇音同步化屬性時，向第三裝置發(fā)送視頻幀以將其解碼并在第三裝置上顯示。
6.根據(jù)權利要求1的方法，還包括: 當?shù)谝谎b置處于第三裝置的無線范圍外時，在第一裝置上接收來自第四裝置的通信會話的第二視頻部分； 使通信會話的第二視頻部分和通信會話的相應的音頻部分同步化，以產(chǎn)生通信會話的第二同步化音頻和視頻部分；和 將通信會話的第二同步化音頻和視頻部分發(fā)送到第二裝置。
7.一種系統(tǒng),包括: 處理器；和 計算機可讀存儲介質(zhì)，具有存儲在其中的指令，當被處理器執(zhí)行時使得處理器執(zhí)行以下操作: 在第一裝置與第二裝置之間的通信會話中，在第一裝置上接收來自用戶的通信會話的音頻部分； 通過無線連接在第一裝置上接收來自第三裝置的通信會話的視頻部分； 使通信會話的音頻部分與通信會話的視頻部分同步化，以產(chǎn)生通信會話的同步化的音頻和視頻部分；和 將通信會話的同步化的音頻和視頻部分發(fā)送到第二裝置。
8.根據(jù)權利要求7的系統(tǒng)，其中，計算機可讀存儲介質(zhì)存儲附加指令，當被處理器執(zhí)行時使得還執(zhí)行以下操作: 建立通信會話作為單純音頻通信會話；和向第三裝置發(fā)送消息以初始化視頻輸入和輸出以建立用于通信會話的視頻能力。
9.根據(jù)權利要求7的系統(tǒng)，其中，計算機可讀存儲介質(zhì)存儲附加指令，當被處理器執(zhí)行時使得還執(zhí)行以下操作: 從第二裝置接收與通信會話相關的視頻幀； 檢查視頻幀上的唇音同步化屬性；和 在至少部分地基于唇音同步化屬性時，向第三裝置發(fā)送視頻幀以將其解碼并在第三裝置上顯示。
10.根據(jù)權利要求7的系統(tǒng)，其中，使通信會話的音頻部分與通信會話的視頻部分同步化包含用來自通信會話的音頻部分的音頻來設定通信會話的視頻部分上的唇音同步化屬性。
【文檔編號】G06F15/16GK103870434SQ201310683331
【公開日】2014年6月18日 申請日期:2013年12月13日 優(yōu)先權日:2012年12月14日
【發(fā)明者】M·維爾尼克 申請人:阿瓦亞公司