針對無線顯示設備的用戶輸入控制的無連接傳輸的制作方法
【專利說明】
[0001] 優(yōu)先權聲明
[0002] 本申請要求享有于2013年1月25日遞交的美國臨時申請No. 61/757, 010和于 2013年1月28日提交的美國臨時申請No. 61/757, 414的權益，通過引用的方式將每個美國 臨時申請的全部內容并入本文。
技術領域
[0003] 本申請涉及媒體數據的傳輸和回放，更具體地說，涉及通過媒體數據的傳輸和回 放進行用戶輸入控制。
【背景技術】
[0004] Wi-Fi顯示（也叫做Miracast?)是Wi-Fi聯(lián)盟開發(fā)的針對無線顯示的即將到來的 標準。該標準基于Wi-FiDirect。該Wi-Fi顯示（WFD)標準提供了一種用于在Wi-Fi顯示 宿處發(fā)現、配對、連接和呈現源自Wi-Fi顯示源的多媒體內容的互操作機制?？梢栽赪i-Fi 聯(lián)盟技術委員會顯示任務小組的Wi-Fi顯示技術規(guī)范vl. 0.0 (Wi-FiDisplayTechnical Specificationvl.0.0)和Wi-Fi聯(lián)盟"Wi-FiDisplaySpecificationdraftversion I. 31"中找到關于當前WFD標準的額外信息，通過引用的方式將這些規(guī)范的全部內容并入 本文。
[0005] 無線顯示（WD)系統(tǒng)包括源設備和一個或多個宿設備。源設備可以是能夠在無線 局域網中發(fā)送媒體內容的設備。宿設備可以是能夠接收并呈現媒體內容的設備。源設備和 宿設備可以是移動設備或有線設備。作為移動設備，例如，源設備和宿設備可以包括移動電 話、具有無線通信卡的便攜式計算機、個人數字助理（PDA)、便攜式媒體播放器、數字圖像捕 捉設備（比如相機或攝像機）、或具有無線通信能力的其它閃存設備（包括所謂的"智能" 電話和"智能"平板計算機或平板電腦、或其它類型的無線通信設備）。作為有線設備，例 如，源設備和宿設備可以包括電視、臺式計算機、監(jiān)視器、投影儀、打印機、音頻放大器、機頂 盒、游戲操縱桿、路由器、汽車儀表盤顯示器和數字視頻光碟（DVD)播放器和媒體服務器。
[0006] 源設備可以向參與特定媒體共享會話的一個或多個宿設備發(fā)送媒體數據，比如音 頻視頻（AV)數據。該媒體數據可以在源設備的本地顯示器和宿設備的每個顯示器上回放。 更具體地，每個參與宿設備呈現所接收到的媒體數據以用于在其屏幕和音頻裝置上顯示。 在一些情況中，宿設備的用戶可以將用戶輸入應用于宿設備，比如觸摸輸入和遠程控制輸 入。在一些情況中，源設備可以使用虛擬網絡計算（VNC)作為基本協(xié)議以便在宿設備顯示 器上顯示源設備應用的用戶接口并將用戶輸入傳輸回移動源設備。

【發(fā)明內容】

[0007] -般而言，本申請涉及一種將無線顯示（WD)用戶輸入協(xié)議擴展為包括額外輸入 類型，并且在一些方面中，使用無連接傳輸協(xié)議來傳輸與任何額外輸入類型相對應的用戶 輸入數據的技術。
[0008] 在一個示例中，一種接收用戶輸入數據的方法包括發(fā)送用戶輸入返回信道（UIBC) 參數消息，其中，所述UIBC參數消息規(guī)定了語音輸入類型和虛擬網絡計算機（VNC)輸入 類型中的一個；以及根據所述語音輸入類型和所述VNC輸入類型中的所規(guī)定的一個，接收 UIBC消息中的用戶輸入數據。
[0009] 在另一個示例中，一種發(fā)送用戶輸入數據的方法包括接收用戶輸入返回信道 (UIBC)參數消息，其中，所述UIBC參數消息規(guī)定了語音輸入類型和虛擬網絡計算機（VNC) 輸入類型中的一個，以及根據所述語音輸入類型和所述VNC輸入類型中的所規(guī)定的一個來 發(fā)送用戶輸入數據。
[0010] 在再一個示例中，一種源設備包括用于發(fā)送用戶輸入返回信道（UIBC)參數消息 的模塊，其中，所述UIBC參數消息規(guī)定了語音輸入類型和虛擬網絡計算機（VNC)輸入類型 中的一個，以及用于根據所述語音輸入類型和所述VNC輸入類型中的所規(guī)定的一個來接收 UIBC消息中的用戶輸入數據的模塊。
[0011] 在又一個示例中，一種宿設備包括用于接收用戶輸入返回信道（UIBC)參數消息 的模塊，其中，所述UIBC參數消息規(guī)定了語音輸入類型和虛擬網絡計算機（VNC)輸入類型 中的一個，以及用于根據所述語音輸入類型和所述VNC輸入類型中的所規(guī)定的一個來發(fā)送 用戶輸入數據的模塊。
[0012] 在還有一個示例中，一種源設備包括一個或多個處理器，其中，所述一個或多個處 理器被配置為發(fā)送用戶輸入返回信道（UIBC)參數消息，其中，所述UIBC參數消息規(guī)定了語 音輸入類型和虛擬網絡計算機（VNC)輸入類型中的一個，以及根據所述語音輸入類型和所 述VNC輸入類型中的所規(guī)定的一個來接收UIBC消息中的用戶輸入數據。
[0013] 在另一個不例中，一種宿設備包括一個或多個處理器，其中，所述一個或多個處理 器被配置為接收用戶輸入返回信道（UIBC)參數消息，其中，所述UIBC參數消息規(guī)定了語音 輸入類型和虛擬網絡計算機（VNC)輸入類型中的一個，以及根據所述語音輸入類型和所述 VNC輸入類型中的所規(guī)定的一個來發(fā)送用戶輸入數據。
[0014] 在再一個示例中，一種包括存儲在其上的指令的計算機可讀存儲介質，當執(zhí)行所 述指令時將一個或多個處理器配置為：發(fā)送用戶輸入返回信道（UIBC)參數消息，其中，所 述UIBC參數消息規(guī)定了語音輸入類型和虛擬網絡計算機（VNC)輸入類型中的一個，以及根 據所述語音輸入類型和所述VNC輸入類型中的所規(guī)定的一個來接收UIBC消息中的用戶輸 入數據。
[0015] 在又一個示例中，一種包括存儲在其上的指令的計算機可讀存儲介質，當執(zhí)行所 述指令時將一個或多個處理器配置為：接收用戶輸入返回信道（UIBC)參數消息，其中，所 述UIBC參數消息規(guī)定了語音輸入類型和虛擬網絡計算機（VNC)輸入類型中的一個，以及根 據所述語音輸入類型和所述VNC輸入類型中的所規(guī)定的一個來發(fā)送用戶輸入數據。
[0016] 在附圖和下面的描述中給出了本申請的一個或多個示例的細節(jié)。根據所述說明書 和附圖以及根據權利要求，其它特征、目的和優(yōu)點將是清楚的。
【附圖說明】
[0017] 圖1是示出了無線顯示（WD)系統(tǒng)的示例的框圖，所述無線顯示（WD)系統(tǒng)包括能 夠使用用戶輸入設備控制通信信道來交換語音和虛擬網絡連接（VNC)按鍵事件的源設備 和宿設備。
[0018] 圖2是示出了WD系統(tǒng)的數據通信模型或協(xié)議棧的示例的框圖。
[0019] 圖3是示出了可以實現本申請中描述的技術的源設備的示例的框圖。
[0020] 圖4是示出了可以實現本申請中描述的技術的宿設備的示例的框圖。
[0021] 圖5是示出了本申請中描述的用戶輸入傳輸技術的流程圖。
[0022] 圖6是示出了本申請中描述的用戶輸入傳輸技術的流程圖。
[0023] 圖7是示出了本申請中描述的用戶輸入傳輸技術的流程圖。
[0024] 圖8是示出了本申請中描述的用戶輸入傳輸技術的流程圖。
【具體實施方式】
[0025] 源設備和宿設備可以實現WD通信技術，該技術與比如像無線HD、無線家用數字接 口（WHDI)、WiGig、無線USB和當前正在開發(fā)的Wi-Fi顯示（WFD)標準兼容。可以在Wi-Fi 聯(lián)盟技術委員會、顯示任務小組的Wi-Fi聯(lián)盟"Wi-FiDisplaySpecificationdraft versionI. 31"中找到關于WFD標準的額外信息，通過引用的方式將其全部內容并入本文。 但是，當前WFD標準既不支持語音輸入也不支持虛擬網絡計算（VNC)輸入，比如VNC按鍵事 件輸入。另外，當前WFD標準規(guī)定了通過面向連接的協(xié)議（即，通過互聯(lián)網協(xié)議的傳輸控制 協(xié)議（TCP/IP))來傳輸用戶輸入。
[0026] 本申請的技術可以包括在WD系統(tǒng)中的源設備與宿設備之間建立用戶輸入設備控 制通信信道以便允許宿設備向源設備發(fā)送設備控制輸入。用戶輸入設備控制通信信道可以 包括被稱為Wi-Fi用戶輸入返回信道（UIBC)的反向信道架構，其已經被修改為傳輸一個或 多個額外的輸入類型。例如，UIBC可以擴展到傳輸語音和VNC按鍵事件輸入類型。
[0027] 在一些示例中，這些技術還可以包括修改WFD軟件棧以便針對一個或多個輸入類 型，通過無連接傳輸協(xié)議（比如，通過IP的用戶數據報協(xié)議（UDP/IP))來傳輸用戶輸入設 備控制通信信道。在一些示例中，這些技術可以包括為TCP/IP和UDP/IP建立相應的用戶 輸入設備控制通信信道，并將設備控制的輸入類型分配給用戶輸入設備控制通信信道中的 一個以用于傳輸。例如，語音可以分配給UDP/IP信道，而將鼠標點擊事件分配給TCP/IP。 與TCP不同，UDP提供無保證的數據報傳遞、排序或復制保護，并且可以更好地適合于攜帶 語音和其它實時數據。
[0028] 結果，這些技術可以擴展WD設備的潛在用戶輸入類型的范圍，從而改善正在對源 設備的操作進行控制的宿設備的用戶的用戶體驗。另外，通過修改WFD軟件棧以便使用無 連接協(xié)議來傳輸用戶輸入設備控制通信信道的至少一些輸入類型，這些技術可以減小源設 備向宿設備發(fā)送的用戶輸入的傳輸延遲，通過減小例如語音命令與命令執(zhí)行之間的延遲再 次潛在地改善用戶體驗。
[0029] 圖1是示出了無線顯示（WD)系統(tǒng)100的示例的框圖，所述無線顯示（WD)系統(tǒng)100 包括能夠使用用戶輸入設備控制通信信道來交換語音和虛擬網絡連接（VNC)按鍵事件的 源設備120和宿設備160。在一些示例中，源設備120和宿設備160能夠使用無連接協(xié)議來 交換一個或多個用戶輸入類型，比如語音和VNC按鍵事件輸入類型中的一個或二者。如圖 1中所示，WD系統(tǒng)100包括經由通信信道150與宿設備160進行通信的源設備120。
[0030] 源設備120可以包括存儲器122、顯示器124、揚聲器126、音頻和/或視頻（A/V) 編碼器128、音頻和/或視頻（A/V)控制模塊130、以及發(fā)射機/接收機（TX/RX)單元132。 宿設備160可以包括發(fā)射機/接收機單元162、音頻和/或視頻（A/V)解碼器164、顯示器 166、揚聲器168、用戶輸入（UI)設備170和用戶輸入處理模塊（UIPM) 172。所示出的組件 僅僅構成WD系統(tǒng)100的一種示例性配置。其它配置可以包括與那些示出的組件相比更少 的組件，或者可以包括除那些示出的組件以外的額外組件。
[0031] 在圖1的示例中，源設備120可以在顯示器124上顯示A/V數據的視頻部分，并且 可以使用揚聲器126輸出A/V數據的音頻部分?？梢詫/V數據本地地存儲在存儲器122 上，從外部存儲介質（比如，文件服務器、硬盤驅動器、外部存儲器、藍光光碟、DVD或其它物 理存儲介質）訪問，或者可以經由網絡連接（比如，經由互聯(lián)網）流式傳輸到源設備120。 在一些實例中，A/V數據可以是經由源設備120的攝像頭和麥克風實時捕獲的。A/V數據可 以包括諸如電影、電視節(jié)目或音樂之類的多媒體內容，但是還可以包括由源設備120生成 的實時內容。這樣的實時內容可以例如由源設備120上運行的應用產生，或者可以是被捕 捉到的視頻數據，例如作為視頻電話會話的一部分。在一些實例中，這樣的實時內容可以包 括可用于由用戶進行選擇的用戶輸入選項的視頻幀。在一些實例中，A/V數據可以包括不 同類型內容（比如，具有覆蓋在視頻幀上的用戶輸入選項的電影或TV節(jié)目的視頻幀）的組 合的視頻幀。在一些實例中，A/V數據可以包括由虛擬網絡計算（VNC)傳輸的、用于在宿設 備160上顯示在源設備120上執(zhí)行的應用的用戶接口的數據。一般而言，WD可以使用VNC 顯示該用戶接口并從宿