用于無線顯示設(shè)備的反饋信道的制作方法
【專利摘要】無線顯示（WD）系統(tǒng)（100）中的宿設(shè)備（160）可以向源設(shè)備（120）發(fā)送性能信息反饋以便在源設(shè)備（120）處調(diào)整媒體數(shù)據(jù)處理。性能信息反饋可以包括WD系統(tǒng)的性能指示符，在宿設(shè)備（160）處能夠基于所接收的媒體數(shù)據(jù)或用于調(diào)整媒體數(shù)據(jù)的傳輸?shù)恼?qǐng)求來測(cè)量或計(jì)算WD系統(tǒng)的性能指示符。例如，性能信息反饋可以包括往返延遲、延遲抖動(dòng)、分組丟失率、差錯(cuò)分布和接收信號(hào)強(qiáng)度指示（RSSI）中的一個(gè)或多個(gè)。可以在源設(shè)備（120）與宿設(shè)備（160）之間實(shí)現(xiàn)的、被稱為用戶輸入反向信道（UIBC）的反向信道架構(gòu)上捎帶反饋信道。
【專利說明】用于無線顯示設(shè)備的反饋信道
[0001]本申請(qǐng)要求享有于2011年10月14日遞交的美國臨時(shí)申請(qǐng)N0.61/547，397和于2012年2月29日遞交的美國臨時(shí)申請(qǐng)N0.61/604, 674的權(quán)益，故以引用方式將這兩個(gè)美國臨時(shí)申請(qǐng)的全部?jī)?nèi)容并入本文。
【技術(shù)領(lǐng)域】
[0002]本公開內(nèi)容涉及媒體數(shù)據(jù)的傳輸和回放，更具體地說，涉及對(duì)媒體數(shù)據(jù)的傳輸和播放的控制。
【背景技術(shù)】
[0003]無線顯示(WD)系統(tǒng)包括源設(shè)備和一個(gè)或多個(gè)宿設(shè)備。源設(shè)備可以是能夠在無線局域網(wǎng)內(nèi)發(fā)送媒體內(nèi)容的設(shè)備。宿設(shè)備可以是能夠接收并且呈現(xiàn)媒體內(nèi)容的設(shè)備。源設(shè)備和宿設(shè)備可以是移動(dòng)設(shè)備或有線設(shè)備。作為移動(dòng)設(shè)備，例如，源設(shè)備和宿設(shè)備可以包括:移動(dòng)電話、具有無線通信卡的便攜式計(jì)算機(jī)、個(gè)人數(shù)字助理(PDA)、便攜式媒體播放器、數(shù)字圖像捕獲設(shè)備(例如照相機(jī)或攝像機(jī))、或具有無線通信能力的其它閃存設(shè)備(包括所謂的“智能”電話和智能板或平板電腦、或者其它類型的無線通信設(shè)備)。作為有線設(shè)備，例如，源設(shè)備和宿設(shè)備可以包括:電視機(jī)、臺(tái)式計(jì)算機(jī)、監(jiān)視器、投影儀、打印機(jī)、音頻放大器、機(jī)頂盒、游戲控制臺(tái)、路由器、數(shù)字視頻光盤(DVD )播放器和媒體服務(wù)器。
[0004]源設(shè)備可以向參與特定媒體共享會(huì)話的一個(gè)或多個(gè)宿設(shè)備發(fā)送諸如音頻視頻(AV)數(shù)據(jù)之類的媒體數(shù)據(jù)。既可在源設(shè)備的本地顯示器處也可在每個(gè)宿設(shè)備的顯示器處回放該媒體數(shù)據(jù)。更具體地說，每個(gè)參與的宿設(shè)備呈現(xiàn)所接收的媒體數(shù)據(jù)以便展示在其屏幕和音頻裝置上。在某些情況下，宿設(shè)備的用戶可以向宿設(shè)備施加用戶輸入，例如觸摸式輸入和遠(yuǎn)程控制輸入。

【發(fā)明內(nèi)容】

[0005]概括地說，本公開內(nèi)容涉及使得無線顯示(WD)系統(tǒng)中的宿設(shè)備能夠向源設(shè)備發(fā)送性能信息反饋以便在所述源設(shè)備處調(diào)整媒體數(shù)據(jù)(例如音頻視頻(AV)數(shù)據(jù))處理的技術(shù)。源設(shè)備和宿設(shè)備可以實(shí)現(xiàn)與諸如WirelessHD、無線家庭數(shù)字接口(WHDI)、WiGig、無線USB之類的標(biāo)準(zhǔn)以及當(dāng)前處于開發(fā)下的W1-Fi顯示(WFD)標(biāo)準(zhǔn)相兼容的WD通信技術(shù)。在W1-Fi聯(lián)盟、“W1-Fi顯示規(guī)范草案版本1.31”、W1-Fi聯(lián)盟技術(shù)委員會(huì)、顯示任務(wù)組中可以找到關(guān)于WFD標(biāo)準(zhǔn)的額外信息，其全部?jī)?nèi)容通過引用的方式被并入本文中。由于分組丟失或在源設(shè)備與宿設(shè)備之間的信道擁塞，WD系統(tǒng)可能偶爾經(jīng)歷媒體性能下降。源設(shè)備能夠基于在宿設(shè)備處經(jīng)歷的性能下降來調(diào)整它的媒體數(shù)據(jù)處理(例如編碼和/或分組傳輸操作)可能是有利的。然而，當(dāng)前的WFD標(biāo)準(zhǔn)不包括一種機(jī)制，通過這種機(jī)制源設(shè)備可以從宿設(shè)備接收性能信息。
[0006]本公開內(nèi)容的技術(shù)可以包括:在WD系統(tǒng)中在源設(shè)備和宿設(shè)備之間建立反饋信道以允許宿設(shè)備向源設(shè)備發(fā)送性能信息反饋。所述性能信息反饋可以包括WD系統(tǒng)和媒體數(shù)據(jù)通信信道的性能指示符，在宿設(shè)備處能夠基于所接收的媒體數(shù)據(jù)來測(cè)量或計(jì)算所述性能指示符。例如，所述性能信息反饋可以包括往返延遲、延遲抖動(dòng)、分組丟失率、差錯(cuò)分布、分組差錯(cuò)率和接收信號(hào)強(qiáng)度指示(RSSI)中的一個(gè)或多個(gè)。在一些例子中，源設(shè)備可以基于所述性能信息來對(duì)媒體數(shù)據(jù)的傳輸作出調(diào)整。在其它例子中，宿設(shè)備可以提供具有要由源設(shè)備執(zhí)行的對(duì)媒體數(shù)據(jù)的傳輸?shù)拿鞔_調(diào)整的性能信息。例如，性能信息消息可以包括用于增加或減少比特速率、或者發(fā)送即時(shí)解碼器刷新(IDR)幀的消息?？梢栽诒环Q為用戶輸入反向信道(UIBC)的反向信道架構(gòu)上捎帶反饋信道，所述WBC被實(shí)現(xiàn)用于向源設(shè)備傳送在宿設(shè)備處所接收的用戶輸入。
[0007]在一個(gè)例子中，一種用于發(fā)送媒體數(shù)據(jù)的方法包括:向宿設(shè)備發(fā)送媒體數(shù)據(jù)，其中媒體數(shù)據(jù)是根據(jù)第一傳輸協(xié)議來傳輸?shù)模粡乃鏊拊O(shè)備接收消息，其中所述消息是根據(jù)第二傳輸協(xié)議來傳輸?shù)?；至少部分地基于?shù)據(jù)分組報(bào)頭來確定所述消息是否包括用戶輸入信息或基于數(shù)據(jù)分組報(bào)頭的性能信息中的一項(xiàng)；以及基于所述消息來調(diào)整媒體數(shù)據(jù)的傳輸。
[0008]在另一個(gè)例子中，一種用于接收媒體數(shù)據(jù)的方法包括:從源設(shè)備接收媒體數(shù)據(jù)，其中媒體數(shù)據(jù)是根據(jù)第一傳輸協(xié)議來傳輸?shù)模幌蛩鲈丛O(shè)備發(fā)送消息，其中所述消息是根據(jù)第二傳輸協(xié)議來傳輸?shù)?；以及至少部分地基于?shù)據(jù)分組報(bào)頭來指示所述消息是否包括用戶輸入信息或性能信息中的一項(xiàng)。
[0009]在另一個(gè)例子中，一種源設(shè)備包括:用于向宿設(shè)備發(fā)送媒體數(shù)據(jù)的單元，其中媒體數(shù)據(jù)是根據(jù)第一傳輸協(xié)議來傳輸?shù)模挥糜趶乃鏊拊O(shè)備接收消息的單元，其中所述消息是根據(jù)第二傳輸協(xié)議來傳輸?shù)模挥糜谥辽俨糠值鼗跀?shù)據(jù)分組報(bào)頭來確定所述消息是否包括用戶輸入信息或性能信息中的一項(xiàng)的單元；以及用于基于所述消息來調(diào)整媒體數(shù)據(jù)的傳輸?shù)膯卧?br> [0010]在另一個(gè)例子中，一種宿設(shè)備包括:用于從源設(shè)備接收媒體數(shù)據(jù)的單元，其中媒體數(shù)據(jù)是根據(jù)第一傳輸協(xié)議來傳輸?shù)模挥糜谙蛩鲈丛O(shè)備發(fā)送消息的單元，其中所述消息是根據(jù)第二傳輸協(xié)議來傳輸?shù)?；以及用于至少部分地基于?shù)據(jù)分組報(bào)頭來指示消息是否包括用戶輸入信息或性能信息中的一項(xiàng)的單元。
[0011]在另一個(gè)例子中，一種源設(shè)備包括:存儲(chǔ)器，其存儲(chǔ)媒體數(shù)據(jù)；以及處理器，其被配置為執(zhí)行指令以使所述源設(shè)備進(jìn)行以下操作:向宿設(shè)備發(fā)送媒體數(shù)據(jù)，其中媒體數(shù)據(jù)是根據(jù)第一傳輸協(xié)議來傳輸?shù)模惶幚韽乃鏊拊O(shè)備接收的消息，其中所述消息是根據(jù)第二傳輸協(xié)議來傳輸?shù)?；至少部分地基于?shù)據(jù)分組報(bào)頭來確定所述消息是否包括用戶輸入信息或性能信息中的一項(xiàng)；以及基于所述消息來調(diào)整媒體數(shù)據(jù)的傳輸。
[0012]在另一個(gè)例子中，一種宿設(shè)備包括:存儲(chǔ)器，其存儲(chǔ)媒體數(shù)據(jù)；以及處理器，其被配置為執(zhí)行指令以使所述宿設(shè)備進(jìn)行以下操作:傳輸進(jìn)而處理從源設(shè)備接收的媒體數(shù)據(jù)，其中媒體數(shù)據(jù)是根據(jù)第一傳輸協(xié)議來傳輸?shù)模幌蛩鲈丛O(shè)備發(fā)送消息，其中所述消息是根據(jù)第二傳輸協(xié)議來傳輸?shù)模灰约爸辽俨糠值鼗跀?shù)據(jù)分組報(bào)頭來指示所述消息是否包括用戶輸入信息或性能信息中的一項(xiàng)。
[0013]在另一個(gè)例子中，一種計(jì)算機(jī)可讀介質(zhì)包括存儲(chǔ)在其上的指令，當(dāng)在源設(shè)備中執(zhí)行所述指令時(shí)使處理器進(jìn)行以下操作:向宿設(shè)備發(fā)送媒體數(shù)據(jù)，其中媒體數(shù)據(jù)是根據(jù)第一傳輸協(xié)議來傳輸?shù)?；處理從所述宿設(shè)備接收的消息，其中所述消息是根據(jù)第二傳輸協(xié)議來傳輸?shù)?；至少部分地基于?shù)據(jù)分組報(bào)頭來確定所述消息是否包括用戶輸入信息或性能信息中的一項(xiàng)；以及基于所述消息來調(diào)整媒體數(shù)據(jù)的傳輸。
[0014]在一個(gè)例子中，一種計(jì)算機(jī)可讀介質(zhì)包括存儲(chǔ)在其上的指令，當(dāng)在宿設(shè)備中執(zhí)行所述指令時(shí)使處理器進(jìn)行以下操作:處理從源設(shè)備接收的媒體數(shù)據(jù)，其中媒體數(shù)據(jù)是根據(jù)第一傳輸協(xié)議來傳輸?shù)?；向所述源設(shè)備發(fā)送消息，其中所述消息是根據(jù)第二傳輸協(xié)議來傳輸?shù)?；以及至少部分地基于?shù)據(jù)分組報(bào)頭來指示所述消息是否包括用戶輸入信息或性能信息中的一項(xiàng)。
[0015]在附圖和下面的描述中闡述本公開內(nèi)容的一個(gè)或多個(gè)例子的細(xì)節(jié)。通過說明書、附圖和權(quán)利要求書，其它的特征、目的和優(yōu)點(diǎn)將變得顯而易見。
【專利附圖】

【附圖說明】
[0016]圖1是示出了包括源設(shè)備和宿設(shè)備的無線通信系統(tǒng)的框圖。
[0017]圖2是示出了通信參考模型的例子的概念性示圖。
[0018]圖3是示出了被用于從宿設(shè)備向源設(shè)備以信號(hào)形式傳送性能信息作為反饋的反饋分組的概念性示圖。
[0019]圖4是示出了基于從宿設(shè)備發(fā)向源設(shè)備的性能信息反饋來適配媒體數(shù)據(jù)的比特速率的示例性操作的流程圖。
[0020]圖5是示出了在多個(gè)不同場(chǎng)景中用于包括在來自圖3的反饋分組的有效載荷數(shù)據(jù)中的用戶輸入或反饋消息的示例性消息格式的概念性示圖。
[0021]圖6是示出了實(shí)現(xiàn)用于基于反饋信息來調(diào)整媒體數(shù)據(jù)的傳輸?shù)募夹g(shù)的源設(shè)備的例子的框圖。
[0022]圖7是示出了實(shí)現(xiàn)用于提供反饋信息的技術(shù)的宿設(shè)備的例子的框圖。
[0023]圖8是示出了用于基于反饋信息來調(diào)整媒體數(shù)據(jù)的傳輸?shù)募夹g(shù)的流程圖。
[0024]圖9示出了用于提供反饋信息的技術(shù)的流程圖。
【具體實(shí)施方式】
[0025]在當(dāng)前的WD系統(tǒng)中，傳統(tǒng)的反饋消息傳送被用于從宿設(shè)備向源設(shè)備提供反饋。傳統(tǒng)的反饋消息傳送如下進(jìn)行:宿設(shè)備請(qǐng)求序列參數(shù)集(SPS)或圖像參數(shù)集(PPS);源設(shè)備以SPS或PPS來響應(yīng)；宿設(shè)備請(qǐng)求開始流式傳輸；以及當(dāng)生成信號(hào)時(shí)，宿設(shè)備發(fā)送用戶發(fā)起的人工接口設(shè)備命令(HIDC)用戶輸入。宿設(shè)備還計(jì)算通信信道的分組差錯(cuò)率(PER)作為在時(shí)間上保持增長(zhǎng)的值。當(dāng)前的WD系統(tǒng)并不向源設(shè)備反饋PER值。
[0026]根據(jù)本公開內(nèi)容的技術(shù)，在宿設(shè)備與源設(shè)備之間建立反饋信道以允許宿設(shè)備向源設(shè)備發(fā)送性能信息反饋。所述反饋信道可以在定期間隔中將通信信道和宿設(shè)備的性能信息發(fā)送回源設(shè)備。例如，根據(jù)所述技術(shù)，宿設(shè)備可以在同步窗口間隔中而不是通過在時(shí)間上增長(zhǎng)的值來計(jì)算音頻或視頻信道的PER。所述同步窗口可以被定義為I秒。宿設(shè)備因此可以計(jì)算每秒的PER并且生成要向源設(shè)備發(fā)送的反饋消息。本公開內(nèi)容的技術(shù)可以包括:在宿設(shè)備處實(shí)現(xiàn)的差錯(cuò)管理過程，以由源設(shè)備和宿設(shè)備兩者商定的格式來定義適當(dāng)?shù)南⒉⑵浒l(fā)送回源設(shè)備。以下對(duì)差錯(cuò)管理系統(tǒng)和消息格式進(jìn)行更詳細(xì)地說明。
[0027]在接收到性能信息反饋后，源設(shè)備可以調(diào)整它如何處理向宿設(shè)備發(fā)送的后續(xù)的媒體數(shù)據(jù)?；趤碜运拊O(shè)備的性能信息反饋，源設(shè)備可以調(diào)整其媒體數(shù)據(jù)編碼操作和/或其分組傳輸操作。例如，源設(shè)備可以以較低的質(zhì)量來編碼后續(xù)的媒體數(shù)據(jù)以避免類似的性能下降。在另一個(gè)例子中，源設(shè)備可以識(shí)別丟失的特定分組并且決定重傳所述分組。
[0028]圖1是示出了包括能夠基于性能信息消息來支持對(duì)媒體數(shù)據(jù)的傳輸?shù)恼{(diào)整的源設(shè)備120和宿設(shè)備160的無線顯示(WD)系統(tǒng)100的例子的框圖。如圖1中所示出的，WD系統(tǒng)100包括源設(shè)備120，源設(shè)備120經(jīng)由通信信道150與宿設(shè)備160通信。
[0029]源設(shè)備120可以包括存儲(chǔ)器122、顯示器124、揚(yáng)聲器126、音頻和/或視頻(A/V)編碼器128、音頻和/或視頻(A/V)控制模塊130和發(fā)射機(jī)/接收機(jī)(TX/RX)單元132。宿設(shè)備160可以包括發(fā)射機(jī)/接收機(jī)單元162、音頻和/或視頻(A/V)解碼器164、顯示器166、揚(yáng)聲器168、用戶輸入(UI)設(shè)備170和用戶輸入處理模塊(UIPM) 172。所示出的組件僅構(gòu)成WD系統(tǒng)100的一個(gè)示例性配置。其它的配置可以包括比那些示出的組件少的組件，或者除了那些示出的組件，還可以包括額外的組件。
[0030]在圖1的例子中，源設(shè)備120可以在顯示器124上顯示A/V數(shù)據(jù)的視頻部分以及可以使用揚(yáng)聲器126來輸出A/V數(shù)據(jù)的音頻部分。A/V數(shù)據(jù)可以本地地存儲(chǔ)在存儲(chǔ)器122上、從外部的存儲(chǔ)介質(zhì)(例如，文件服務(wù)器、硬盤驅(qū)動(dòng)器、外部存儲(chǔ)器、藍(lán)光光盤、DVD或其它物理存儲(chǔ)介質(zhì))存取，或者可以經(jīng)由網(wǎng)絡(luò)連接(例如互聯(lián)網(wǎng))被流式傳輸?shù)皆丛O(shè)備120。在一些實(shí)例中，可以通過源設(shè)備120的照相機(jī)和麥克風(fēng)來實(shí)時(shí)捕獲A/V數(shù)據(jù)。A/V數(shù)據(jù)可以包括諸如電影、電視節(jié)目或音樂之類的多媒體內(nèi)容，但還可以包括由源設(shè)備120生成的實(shí)時(shí)內(nèi)容。這樣的實(shí)時(shí)內(nèi)容可以例如由運(yùn)行在源設(shè)備120上的應(yīng)用產(chǎn)生，或是被捕獲的視頻數(shù)據(jù)(例如作為視頻電話會(huì)話的一部分)。這樣的實(shí)時(shí)內(nèi)容可以在一些實(shí)例中包括可供用戶選擇的用戶輸入選項(xiàng)的視頻幀。在一些實(shí)例中，A/V數(shù)據(jù)可以包括視頻幀，其是不同類型的內(nèi)容的組合，例如具有在視頻幀上覆蓋的用戶輸入選項(xiàng)的電影或TV節(jié)目的視頻幀。
[0031]除了經(jīng)由顯示器124和揚(yáng)聲器126來本地地呈現(xiàn)A/V數(shù)據(jù)以外，源設(shè)備120的A/V編碼器128可以編碼A/V數(shù)據(jù)以及發(fā)射機(jī)/接收機(jī)單元132可以在通信信道150上向宿設(shè)備160發(fā)送經(jīng)編碼的數(shù)據(jù)。宿設(shè)備160的發(fā)射機(jī)/接收機(jī)單元162接收經(jīng)編碼的數(shù)據(jù)，以及A/V解碼器164可以解碼經(jīng)編碼的數(shù)據(jù)并且輸出經(jīng)解碼的數(shù)據(jù)以便展示在顯示器166和揚(yáng)聲器168上。以這一方式，由顯示器124和揚(yáng)聲器126呈現(xiàn)的音頻和視頻數(shù)據(jù)可以同時(shí)由顯示器166和揚(yáng)聲器168呈現(xiàn)。可以在多個(gè)幀中排列音頻數(shù)據(jù)和視頻數(shù)據(jù)，并且音頻幀在被呈現(xiàn)時(shí)可以與視頻幀進(jìn)行時(shí)間同步。
[0032]A/V編碼器128和A/V解碼器164可以實(shí)施各種音頻和視頻壓縮標(biāo)準(zhǔn)，例如ITU-TH.264標(biāo)準(zhǔn)(或者被稱為MPEG4第10部分)、高級(jí)視頻編碼(AVC)或新興的高效視頻編碼(HEVC)標(biāo)準(zhǔn)。也可以使用許多其它類型的專用的或標(biāo)準(zhǔn)化的壓縮技術(shù)。一般而言，A/V解碼器164被配置為執(zhí)行對(duì)A/V編碼器128的反向編碼操作。雖然在圖1中未示出，但在一些方面中，A/V編碼器128和A/V解碼器164可以各自與音頻編碼器和解碼器相結(jié)合，并且可以包括適當(dāng)?shù)膹?fù)用-解復(fù)用(MUX-DEMUX)單元或其它的硬件和軟件，以便處理對(duì)公共數(shù)據(jù)流或單獨(dú)數(shù)據(jù)流中的音頻和視頻兩者的編碼。
[0033]如以下將進(jìn)行詳細(xì)描述的，除了實(shí)施如上文所描述的視頻壓縮標(biāo)準(zhǔn)以外，A/V編碼器128還可以執(zhí)行其它的編碼功能。例如，在向宿設(shè)備160發(fā)送A/V數(shù)據(jù)之前，A/V編碼器128可以向A/V數(shù)據(jù)添加各種類型的元數(shù)據(jù)。在一些實(shí)例中，可以以經(jīng)編碼的形式將A/V數(shù)據(jù)存儲(chǔ)在源設(shè)備120上或在源設(shè)備120處對(duì)其進(jìn)行接收，從而不需要由A/V編碼器128進(jìn)行進(jìn)一步的壓縮。
[0034]雖然圖1單獨(dú)地示出了攜帶音頻有效載荷數(shù)據(jù)和視頻有效載荷數(shù)據(jù)的通信信道150，但應(yīng)當(dāng)理解，在一些實(shí)例中，視頻有效載荷數(shù)據(jù)和音頻有效載荷數(shù)據(jù)可以是公共數(shù)據(jù)流的一部分。如果適用的話，則這些復(fù)用-解復(fù)用(MUX-DEMUX)單元可以符合ITU H.223復(fù)用器協(xié)議或諸如用戶數(shù)據(jù)報(bào)協(xié)議(UDP)之類的其它協(xié)議。A/V編碼器128和A/V解碼器164均可以實(shí)現(xiàn)為一個(gè)或多個(gè)微處理器、數(shù)字信號(hào)處理器(DSP)、專用集成電路(ASIC)、現(xiàn)場(chǎng)可編程門陣列(FPGA)、分立邏輯、軟件、硬件、固件或其任意組合。A/V編碼器128和A/V解碼器164中的每一個(gè)可以包括在一個(gè)或多個(gè)編碼器或解碼器中，所述編碼器或解碼器中的任何一個(gè)可以被集成作為組合的編碼器/解碼器(CODEC)的一部分。因此，源設(shè)備120和宿設(shè)備160中的每一個(gè)可以包括被配置為執(zhí)行本公開內(nèi)容的一個(gè)或多個(gè)技術(shù)的專用機(jī)器。
[0035]顯示器124和顯示器168可以包括各種視頻輸出設(shè)備(例如陰極射線管(CRT)、液晶顯示器(IXD)、等離子體顯示器、發(fā)光二極管(LED)顯示器、有機(jī)發(fā)光二極管(OLED)顯示器或其它類型的顯示設(shè)備)中的任意一種。在這些或其它例子中，顯示器124和顯示器168均可以是發(fā)射式顯示器或透射式顯示器。顯示器124和顯示器166還可以是觸摸式顯示器，使得它們同時(shí)既是輸入設(shè)備也是顯示設(shè)備。這種觸摸式顯示器可以是電容型的、電阻型的或允許用戶向相應(yīng)設(shè)備提供用戶輸入的其它類型的觸摸式面板。
[0036]揚(yáng)聲器126和揚(yáng)聲器168可以包括各種音頻輸出設(shè)備中的任意一種,例如頭戴式耳機(jī)、單揚(yáng)聲器系統(tǒng)、多揚(yáng)聲器系統(tǒng)或環(huán)繞聲系統(tǒng)。此外，雖然顯不器124和揚(yáng)聲器126被不出為源設(shè)備120的一部分以及顯不器166和揚(yáng)聲器168被不出為宿設(shè)備160的一部分，但源設(shè)備120和宿設(shè)備160實(shí)際可以是具有多個(gè)設(shè)備的系統(tǒng)。舉一個(gè)例子，顯示器166可以是電視機(jī)，揚(yáng)聲器168可以是環(huán)繞聲系統(tǒng)，而A/V解碼器164可以是有線地或無線地連接到顯不器166和揚(yáng)聲器168的外置盒的一部分。在其它實(shí)例中，宿設(shè)備160可以是單個(gè)設(shè)備，例如平板計(jì)算機(jī)或智能電話。在其它情況下，源設(shè)備120和宿設(shè)備160是類似的設(shè)備，例如，兩者都是智能電話、平板計(jì)算機(jī)等等。在這種情況下，一個(gè)設(shè)備可以作為源進(jìn)行操作，而另一個(gè)設(shè)備可以作為宿進(jìn)行操作。在后續(xù)的通信會(huì)話中這些角色可以交換。在其它情況下，源設(shè)備120可以包括移動(dòng)設(shè)備(例如智能電話、膝上型或平板計(jì)算機(jī))，而宿設(shè)備160可以包括更穩(wěn)定的設(shè)備(例如具有AC電源線)，在該情況下源設(shè)備120可以經(jīng)由宿設(shè)備160傳送音頻和視頻數(shù)據(jù)，以便呈現(xiàn)給一個(gè)或多個(gè)觀眾。
[0037]發(fā)射機(jī)/接收機(jī)單元132和發(fā)射機(jī)/接收機(jī)單元162可以各自包括各種混頻器、濾波器、放大器和被設(shè)計(jì)為用于信號(hào)調(diào)制的其它組件、以及被設(shè)計(jì)用于發(fā)送和接收數(shù)據(jù)的一個(gè)或多個(gè)天線和其它組件。通信信道150 —般表示用于在源設(shè)備120和宿設(shè)備160之間傳輸音頻/視頻數(shù)據(jù)、控制數(shù)據(jù)和反饋的任何適當(dāng)?shù)耐ㄐ沤橘|(zhì)、或不同通信媒體的集合。通信信道150通常是相對(duì)短距離的通信信道，并且可以實(shí)現(xiàn)與例如實(shí)現(xiàn)限定于2.4GHz,3.6GHz、5GHz、60GHz或超寬帶(UWB)頻帶結(jié)構(gòu)的Wi_F1、藍(lán)牙等相似的物理信道結(jié)構(gòu)。然而，通信信道150不必限于該方面，而可以包括任何無線或有線的通信介質(zhì)，例如射頻(RF)頻譜或者一個(gè)或多個(gè)物理傳輸線、或無線和有線媒體的任意組合。在其它例子中，通信信道150甚至可以形成基于分組的網(wǎng)絡(luò)(例如，有線或無線局域網(wǎng)、廣域網(wǎng)或諸如互聯(lián)網(wǎng)的全球網(wǎng)絡(luò))的一部分。此外，通信信道150可以由源設(shè)備120和宿設(shè)備160用于創(chuàng)建對(duì)等鏈路。
[0038]源設(shè)備120和宿設(shè)備160可以根據(jù)例如使用實(shí)時(shí)流式傳輸協(xié)議(RSTP)控制消息的能力協(xié)商來建立通信會(huì)話。在一個(gè)例子中，用于建立通信會(huì)話的請(qǐng)求可以由源設(shè)備120發(fā)送給宿設(shè)備160。一旦建立媒體共享會(huì)話，源設(shè)備120就使用實(shí)時(shí)傳輸協(xié)議(RTP)來向參與的宿設(shè)備160發(fā)送媒體數(shù)據(jù)(例如音頻視頻(AV)數(shù)據(jù))。宿設(shè)備160在其顯示器和音頻裝置(在圖1中未示出)上呈現(xiàn)所接收的媒體數(shù)據(jù)。
[0039]源設(shè)備120和宿設(shè)備160隨后可以在通信信道150上使用通信協(xié)議(例如來自IEEE802.11標(biāo)準(zhǔn)族的標(biāo)準(zhǔn))進(jìn)行通信。在一個(gè)例子中，通信信道150可以是網(wǎng)絡(luò)通信信道。在該例子中，通信服務(wù)供應(yīng)商可以使用基站作為網(wǎng)絡(luò)集線器來集中地操作和管理一個(gè)或多個(gè)網(wǎng)絡(luò)。源設(shè)備120和宿設(shè)備160可以例如根據(jù)W1-Fi直接或W1-Fi顯示(WFD)標(biāo)準(zhǔn)來進(jìn)行通信，使得源設(shè)備120和宿設(shè)備160在不使用諸如無線接入點(diǎn)或所謂的熱點(diǎn)之類的媒介的情況下直接地互相通信。源設(shè)備120和宿設(shè)備160還可以建立隧道式直接鏈路建立(TDLS)以避免或減少網(wǎng)絡(luò)擁塞。WFD和TDLS旨在建立相對(duì)短距離的通信會(huì)話。在該上下文中的相對(duì)短距離可以是指例如小于約70米，然而在吵鬧或受遮擋的環(huán)境中，設(shè)備之間的距離可能甚至更短，例如，小于約35米或小于約20米。
[0040]雖然本公開內(nèi)容的技術(shù)有時(shí)候可能是針對(duì)WFD來進(jìn)行描述的，但可預(yù)期的是這些技術(shù)的方面還可以與其它通信協(xié)議相兼容。通過舉例而非限制性的方式，在源設(shè)備120與宿設(shè)備之間的無線通信可以采用正交頻分復(fù)用(ODFM)技術(shù)。還可以使用各種各樣的其它無線通信技術(shù)，包括但不限于時(shí)分多址(TDMA)、頻分多址(FDMA)、碼分多址(CDMA)、或者OFDM、FDMA, TDMA和/或CDMA的任意組合。
[0041]除了解碼并呈現(xiàn)從源設(shè)備120接收的數(shù)據(jù)以外，宿設(shè)備160還可以從用戶輸入設(shè)備170接收用戶輸入。用戶輸入設(shè)備170可以例如是鍵盤、鼠標(biāo)、軌跡球或觸控板、觸摸屏、語音命令識(shí)別模塊或任何其它此種用戶輸入設(shè)備。UIPM172將由用戶輸入設(shè)備170接收的用戶輸入命令格式化成源設(shè)備120能夠處理的數(shù)據(jù)分組結(jié)構(gòu)。這種數(shù)據(jù)分組由發(fā)射機(jī)/接收機(jī)162通過通信信道150發(fā)送給源設(shè)備120。發(fā)射機(jī)/接收機(jī)單元132接收數(shù)據(jù)分組，而A/V控制模塊130解析數(shù)據(jù)分組以解讀由用戶輸入設(shè)備170接收的用戶輸入命令?；谠跀?shù)據(jù)分組中接收到的命令，A/V控制模塊130可以更改編碼的和發(fā)送的內(nèi)容。以這一方式，宿設(shè)備160的用戶可以遠(yuǎn)程地控制由源設(shè)備120發(fā)送的音頻有效載荷數(shù)據(jù)和視頻有效載荷數(shù)據(jù)而不是直接地與源設(shè)備120交互。
[0042]此外，宿設(shè)備160的用戶也許能夠啟動(dòng)并控制源設(shè)備120上的應(yīng)用。例如，宿設(shè)備160的用戶也許能夠啟動(dòng)存儲(chǔ)在源設(shè)備120上的照片編輯應(yīng)用并且使用該應(yīng)用來編輯本地地存儲(chǔ)在源設(shè)備120上的照片。宿設(shè)備160可以向用戶提供看上去和感覺像是在宿設(shè)備160上本地地編輯照片的用戶體驗(yàn)，盡管實(shí)際是在源設(shè)備120上編輯該照片。使用這樣的配置，用戶也許能夠利用一個(gè)設(shè)備與多個(gè)設(shè)備一起使用的能力。例如，源設(shè)備120可以包括具有大量?jī)?nèi)存和高端處理能力的智能電話。然而，當(dāng)觀看電影時(shí)，用戶可能希望在具有更大顯示屏的設(shè)備上觀看電影，在這種情況下宿設(shè)備160可以是平板計(jì)算機(jī)或者甚至是更大的顯示設(shè)備或電視機(jī)。當(dāng)想要發(fā)送電子郵件或回復(fù)電子郵件時(shí)，用戶可能希望使用具有物理鍵盤的設(shè)備，在這種情況下宿設(shè)備160可以是筆記本電腦。在這兩個(gè)實(shí)例中，即使用戶正在與宿設(shè)備160交互，源設(shè)備120仍然可以執(zhí)行大批量的處理。源設(shè)備120和宿設(shè)備160可以通過發(fā)送控制數(shù)據(jù)(例如用于在通信信道150上任何給定的會(huì)話中協(xié)商和/或識(shí)別設(shè)備的能力的數(shù)據(jù))來促進(jìn)雙向交互。[0043]在一些配置中，A/V控制模塊130可以包括由源設(shè)備120的操作系統(tǒng)執(zhí)行的操作系統(tǒng)進(jìn)程。然而，在其它配置中，A/V控制模塊130可以包括運(yùn)行在源設(shè)備120上的應(yīng)用的軟件進(jìn)程。在這樣的配置中，用戶輸入命令可以由軟件進(jìn)程解讀，使得宿設(shè)備160的用戶直接與運(yùn)行在源設(shè)備120上的應(yīng)用進(jìn)行交互，而不是與運(yùn)行在源設(shè)備120上的操作系統(tǒng)進(jìn)行交互。通過直接與應(yīng)用而不是操作系統(tǒng)進(jìn)行交互，宿設(shè)備160的用戶可以訪問對(duì)于源設(shè)備120的操作系統(tǒng)來說并非本地的命令庫。此外，直接與應(yīng)用進(jìn)行交互可以使得命令能夠由運(yùn)行在不同平臺(tái)上的設(shè)備更容易地發(fā)送和處理。
[0044]可以通過通信信道150將在宿設(shè)備160處施加的用戶輸入發(fā)送回源設(shè)備120。在一個(gè)例子中，可以實(shí)施反向信道架構(gòu)(也被稱為用戶輸入反向信道(UIBC))以使得宿設(shè)備160能夠向源設(shè)備120發(fā)送在宿設(shè)備160處施加的用戶輸入。反向信道架構(gòu)可以包括用于傳輸用戶輸入的上層消息和用于在宿設(shè)備160和源設(shè)備120處協(xié)商用戶接口能力的下層幀。UIBC可以位于在宿設(shè)備160與源設(shè)備120之間的互聯(lián)網(wǎng)協(xié)議(IP)傳輸層上。以這一方式，WBC可以高于開放系統(tǒng)互連(OSI)通信模型中的傳輸層。為了促進(jìn)包含用戶輸入數(shù)據(jù)的數(shù)據(jù)分組的可靠傳輸和依序傳送，WBC可以被配置為在其它基于分組的通信協(xié)議(例如傳輸控制協(xié)議/互聯(lián)網(wǎng)協(xié)議(TCP/IP)或用戶數(shù)據(jù)報(bào)協(xié)議(UDP))之上運(yùn)行。UDP和TCP可以在OSI層架構(gòu)中并行操作。TCP/IP可以使得宿設(shè)備160和源設(shè)備120能夠在分組丟失的情況下實(shí)施重傳技術(shù)。
[0045]WBC可以被設(shè)計(jì)為傳輸各種類型的用戶輸入數(shù)據(jù)，包括跨平臺(tái)的用戶輸入數(shù)據(jù)。例如，源設(shè)備120可以運(yùn)行iOS?操作系統(tǒng)，而宿設(shè)備160運(yùn)行另外的操作系統(tǒng)(例如Android?或Windows?)。不管平臺(tái)如何，UIPM172可以以Α/v控制模塊130可理解的形式來封裝所接收的用戶輸入。若干個(gè)不同類型的用戶輸入格式可以受nBC支持，從而允許許多不同類型的源設(shè)備和宿設(shè)備利用協(xié)議，而不管源設(shè)備和宿設(shè)備是否在不同的平臺(tái)上進(jìn)行操作。規(guī)定的通用輸入格式和平臺(tái)特定輸入格式兩者都可受到支持，從而以可在源設(shè)備120與宿設(shè)備160之間通過WBC來傳送用戶輸入的方式提供了靈活性。
[0046]由于分組丟失或在源設(shè)備120與宿設(shè)備160之間的信道擁塞，WD系統(tǒng)100可能偶爾經(jīng)歷媒體性能下降。例如，在容易丟失和出錯(cuò)的通信網(wǎng)絡(luò)上的視頻傳輸容易在傳輸期間引起差錯(cuò)。對(duì)于一些應(yīng)用來說，可能需要實(shí)時(shí)地流式傳輸視頻。在這些應(yīng)用中，差錯(cuò)可能提供不可接受的用戶體驗(yàn)。希望在通信會(huì)話中早點(diǎn)采取適當(dāng)?shù)拇胧﹣砑m正或減少錯(cuò)誤，例如在丟失增加到不可接受的或不可管理的水平之前?？梢源嬖诙鄠€(gè)階段，在所述多個(gè)階段可以糾正或減少在傳輸期間引起的差錯(cuò)。當(dāng)前的WFD標(biāo)準(zhǔn)不包括一種通過其源設(shè)備120可以從宿設(shè)備160接收性能信息的機(jī)制。源設(shè)備120能夠基于在宿設(shè)備160處所體驗(yàn)的性能來調(diào)整它的媒體數(shù)據(jù)處理(例如，編碼和/或分組傳輸操作)以減少由于分組丟失或信道擁塞造成的媒體性能下降將是有利的。
[0047]更具體地說，宿設(shè)備160可以使用反饋信號(hào)以信號(hào)形式來向源設(shè)備120傳送性能信息。源設(shè)備120中的Α/V控制模塊130隨后可以解析所接收的信號(hào)以識(shí)別如何基于性能信息來調(diào)整Α/V處理。Α/V控制模塊130可以修改源設(shè)備120和/或運(yùn)行在源設(shè)備120上的應(yīng)用的操作以更改被呈現(xiàn)以及發(fā)送給宿設(shè)備160的內(nèi)容的類型。根據(jù)本公開內(nèi)容的技術(shù)，源設(shè)備120和宿設(shè)備160可以基于性能信息消息來支持對(duì)媒體數(shù)據(jù)的傳輸速率的調(diào)整。
[0048]圖2是示出了 WD系統(tǒng)的數(shù)據(jù)通信模型或協(xié)議棧的例子的框圖。數(shù)據(jù)通信模型200示出了在實(shí)施的WD系統(tǒng)中在數(shù)據(jù)與用于在源設(shè)備與宿設(shè)備之間傳輸數(shù)據(jù)的控制協(xié)議之間的交互。在一個(gè)例子中，WD系統(tǒng)100可以使用數(shù)據(jù)通信模型200。數(shù)據(jù)通信模型200包括物理(PHY)層202、介質(zhì)接入控制(MAC)層(204)、互聯(lián)網(wǎng)協(xié)議(IP)206、用戶數(shù)據(jù)報(bào)協(xié)議(UDP)208、實(shí)時(shí)協(xié)議(RTP) 210、MPEG2傳輸流(MPEG2-TS) 212、內(nèi)容保護(hù)214、打包的基本流(PES)封包216、視頻編解碼器218、音頻編解碼器220、傳輸控制協(xié)議(TCP) 222、實(shí)時(shí)流式傳輸協(xié)議(RTSP) 224、反饋封包228、人工接口設(shè)備常量(constant) 230、通用用戶輸入232和性能分析234。
[0049]物理層202和MAC層204可以規(guī)定用于WD系統(tǒng)中的通信的物理信令、尋址和信道接入控制。物理層202和MAC層204可以規(guī)定用于通信的頻帶結(jié)構(gòu)，例如，限定于2.4GHz、
3.6GHz、5GHz、60GHz或超寬帶(UWB)頻帶結(jié)構(gòu)的聯(lián)邦通信委員會(huì)頻段。物理層202和MAC層204還可以規(guī)定數(shù)據(jù)調(diào)制技術(shù)，例如，模擬和數(shù)字幅度調(diào)制、頻率調(diào)制、相位調(diào)制技術(shù)及其組合。物理層202和MAC層204還可以規(guī)定復(fù)用技術(shù)，例如(舉例來說)，時(shí)分多址(TDMA)、頻分多址(FDMA)、碼分多址(CDMA)或者OFDM、FDMA, TDMA和/或CDMA的任意組合。在一個(gè)例子中，物理層202和介質(zhì)接入控制層204可以由(例如由WFD提供的)W1-Fi (例如IEEE802.11-2007和802.lln-2009x)標(biāo)準(zhǔn)規(guī)定。在其它例子中，物理層202和介質(zhì)接入控制層204可以由以下各項(xiàng)中的任意一項(xiàng)來規(guī)定jirelessHD、無線家庭數(shù)字接口(WHDI )、WiGig和無線USB。
[0050]互聯(lián)網(wǎng)協(xié)議(IP ) 206、用戶數(shù)據(jù)報(bào)協(xié)議(UDP ) 208、實(shí)時(shí)協(xié)議(RTP ) 210、傳輸控制協(xié)議(TCP)222和實(shí)時(shí)流式傳輸協(xié)議(RTSP)224規(guī)定了在WD系統(tǒng)中所使用的分組結(jié)構(gòu)和封裝并且這些協(xié)議可以根據(jù)由互聯(lián)網(wǎng)工程任務(wù)組(IETF)維護(hù)的標(biāo)準(zhǔn)來規(guī)定。
[0051]RTSP224可以由源設(shè)備120和宿設(shè)備160用于協(xié)商能力、建立會(huì)話以及會(huì)話維護(hù)和管理。源設(shè)備120和宿設(shè)備160可以使用RTSP消息事務(wù)來建立反饋信道以便協(xié)商源設(shè)備120和宿設(shè)備160的能力從而支持WBC上的反饋信道和反饋輸入類別。使用RTSP協(xié)商來建立反饋信道可以與使用RTSP協(xié)商過程來建立媒體共享會(huì)話和/或WBC相類似。
[0052]例如，源設(shè)備120可以向宿設(shè)備160發(fā)送能力請(qǐng)求消息(例如，RTSP獲取_參數(shù)(GET_PARAMETER)請(qǐng)求消息)，能力請(qǐng)求消息指定源設(shè)備120感興趣的能力的列表。根據(jù)本公開內(nèi)容，能力請(qǐng)求消息可以包括用于支持WBC上的反饋信道的能力。宿設(shè)備160可以用能力響應(yīng)消息(例如RTSP獲取_參數(shù)響應(yīng)消息)來響應(yīng)源設(shè)備120，能力響應(yīng)消息聲明其支持反饋信道的能力。舉一個(gè)例子，如果宿設(shè)備160支持WBC上的反饋信道，則能力響應(yīng)消息可以指示“是”。源設(shè)備120隨后可以向宿設(shè)備160發(fā)送確認(rèn)請(qǐng)求消息(例如RTSP設(shè)置_參數(shù)(SET_PARAMETER)請(qǐng)求消息)，確認(rèn)請(qǐng)求消息指示在媒體共享會(huì)話期間將使用反饋信道。宿設(shè)備160可以用確認(rèn)響應(yīng)消息(例如RTSP設(shè)置_參數(shù)響應(yīng)消息)來響應(yīng)源設(shè)備120，確認(rèn)響應(yīng)消息確認(rèn)在媒體共享會(huì)話期間將使用反饋信道。
[0053]視頻編解碼器218可以規(guī)定可由WD系統(tǒng)使用的視頻數(shù)據(jù)編碼技術(shù)。視頻編解碼器218可以實(shí)施任意數(shù)量的視頻壓縮標(biāo)準(zhǔn)(例如ITU-T H.261、IS0/IEC MPEG-1Visual、ITU-T
H.262 或 IS0/IEC MPEG-2Visual、ITU_TH.263、IS0/IEC MPEG_4Visual、ITU_T H.264 (也被稱為IS0/IEC MPEG-4AVC)、VP8和高效視頻編碼(HEVC))。應(yīng)當(dāng)注意的是，在一些實(shí)例中，WD系統(tǒng)可以使用壓縮的或未壓縮的視頻數(shù)據(jù)。
[0054]音頻編解碼器220可以規(guī)定可由WD系統(tǒng)使用的音頻數(shù)據(jù)編碼技術(shù)。音頻數(shù)據(jù)可以使用多通道格式(例如那些由杜比(Dolby)和數(shù)字影院系統(tǒng)(Digital Theater System)開發(fā)的格式)來編碼。音頻數(shù)據(jù)可以使用壓縮的或未壓縮的格式來編碼。壓縮的音頻格式的例子包括MPEG-1、2音頻層II和II1、AC_3、AAC0未壓縮的音頻格式的例子包括脈沖編碼調(diào)制(PCM)音頻格式。
[0055]打包的基本流(PES)封包216和MPEG2傳輸流(MPEG2-TS) 212可以規(guī)定如何打包和發(fā)送編碼的音頻和視頻數(shù)據(jù)。打包的基本流(PES)封包216和MPEG2-TS212可以根據(jù)MPEG-2部分I來規(guī)定。在其它例子中，可以根據(jù)其它的封包和傳輸流協(xié)議來打包和發(fā)送音頻和視頻數(shù)據(jù)。內(nèi)容保護(hù)214可以提供對(duì)音頻或視頻數(shù)據(jù)的未授權(quán)的復(fù)制的防范。在一個(gè)例子中，內(nèi)容保護(hù)214可以根據(jù)高帶寬數(shù)字內(nèi)容保護(hù)2.0規(guī)范來定義。
[0056]反饋封包228可以規(guī)定如何打包用戶輸入和性能信息。圖3是示出了被用于從宿設(shè)備向源設(shè)備以信號(hào)形式傳送輸入或性能信息的反饋分組300的例子的概念性示圖。反饋分組300包括數(shù)據(jù)分組報(bào)頭302和有效載荷數(shù)據(jù)304?？梢詮乃拊O(shè)備160通過由WFD規(guī)定的WBC反向信道架構(gòu)向源設(shè)備120發(fā)送反饋分組300。以這一方式，可以在宿設(shè)備160與源設(shè)備120之間實(shí)現(xiàn)的WBC反向信道架構(gòu)上捎帶反饋信道。為了在WBC上進(jìn)行捎帶，可以與在WFD中規(guī)定的WBC數(shù)據(jù)分組報(bào)頭一起使用被稱為“反饋”的新輸入類別以指示W(wǎng)BC分組中的有效載荷數(shù)據(jù)包括性能信息反饋?；诜答伔纸M300的數(shù)據(jù)分組報(bào)頭302的內(nèi)容，源設(shè)備120可以解析來自宿設(shè)備160的有效載荷數(shù)據(jù)304?；谟行лd荷內(nèi)容304，源設(shè)備120可以更改從源設(shè)備120向宿設(shè)備160發(fā)送的媒體數(shù)據(jù)。
[0057]在圖3中示出了數(shù)據(jù)分組報(bào)頭302的例子。編號(hào)0-15標(biāo)識(shí)數(shù)據(jù)分組報(bào)頭302內(nèi)的比特位置，而編號(hào)0、16和32標(biāo)識(shí)在數(shù)據(jù)分組報(bào)頭302中的單獨(dú)字段之間的比特偏移。數(shù)據(jù)分組報(bào)頭302包括版本字段、時(shí)間戳標(biāo)志(“T”)、保留的字段、反饋類別字段、長(zhǎng)度字段和可選的時(shí)間戳字段。在圖3的例子中，版本字段是3比特字段，其可以指示由宿設(shè)備實(shí)施的特定通信協(xié)議的版本。版本字段中的值可以通知源設(shè)備如何解析數(shù)據(jù)分組報(bào)頭302中的剩余部分以及如何解析有效載荷數(shù)據(jù)304。時(shí)間戳標(biāo)志是I比特字段，其指示可選的時(shí)間戳字段是否存在于數(shù)據(jù)分組報(bào)頭302中。時(shí)間戳標(biāo)志可以例如包括“I”以指示存在時(shí)間戳字段，以及可以包括“O”以指示不存在時(shí)間戳字段。保留的字段是被保留以供在版本字段中所標(biāo)識(shí)的特定協(xié)議的未來版本使用的8比特字段。
[0058]在圖3的例子中，反饋類別字段是4比特字段以標(biāo)識(shí)用于包含在反饋分組300中的有效載荷數(shù)據(jù)304的輸入類別或性能信息類別。反饋類別字段的值向源設(shè)備標(biāo)識(shí)包括在有效載荷數(shù)據(jù)304中的數(shù)據(jù)的類型以及如何格式化有效載荷數(shù)據(jù)304?；谠摳袷交丛O(shè)備確定如何解析有效載荷數(shù)據(jù)304。舉一個(gè)例子，反饋類別字段可以標(biāo)識(shí)通用輸入類別以指示使用在由源設(shè)備和宿設(shè)備兩者執(zhí)行的協(xié)議中所定義的通用信息元素來格式化有效載荷數(shù)據(jù)304。舉另一個(gè)例子，反饋類別字段可以標(biāo)識(shí)人工接口設(shè)備命令(HIDC)輸入類別以指示基于用戶接口的類型來格式化有效載荷數(shù)據(jù)304，在宿設(shè)備處通過所述用戶接口來接收輸入數(shù)據(jù)。舉另一個(gè)例子，反饋類別字段可以標(biāo)識(shí)操作系統(tǒng)(OS)特定輸入類別以指示基于由源設(shè)備或宿設(shè)備使用的OS類型來格式化有效載荷數(shù)據(jù)304。根據(jù)本公開內(nèi)容的技術(shù)，反饋類別字段還可以標(biāo)識(shí)反饋輸入類別以指示基于在宿設(shè)備處所確定的性能信息的類型來格式化有效載荷數(shù)據(jù)304。反饋輸入類別將反饋分組中的有效載荷數(shù)據(jù)同通用用戶輸入和HIDC用戶輸入?yún)^(qū)分開。在通用或HIDC用戶輸入的情況下，用戶輸入對(duì)向宿設(shè)備發(fā)送的后續(xù)的媒體數(shù)據(jù)的影響通常與在宿設(shè)備處如何將媒體數(shù)據(jù)呈現(xiàn)給用戶(例如縮放和平移操作)有關(guān)。在反饋用戶輸入的情況下，用戶輸入對(duì)向宿設(shè)備160發(fā)送的后續(xù)的媒體數(shù)據(jù)的影響通常與源設(shè)備120如何編碼媒體數(shù)據(jù)并將其發(fā)送給宿設(shè)備160有關(guān)。
[0059]時(shí)間戳字段可以包括可選的16比特字段，當(dāng)存在時(shí)，可選的16比特字段可以包括與由源設(shè)備產(chǎn)生的并被發(fā)送給宿設(shè)備的媒體數(shù)據(jù)相關(guān)聯(lián)的時(shí)間戳。例如，源設(shè)備120可以在向宿設(shè)備160發(fā)送媒體數(shù)據(jù)分組之前已將時(shí)間戳應(yīng)用于媒體數(shù)據(jù)分組。當(dāng)存在時(shí)，數(shù)據(jù)分組報(bào)頭302中的時(shí)間戳字段可以包括時(shí)間戳，所述時(shí)間戳標(biāo)識(shí)在宿設(shè)備160向源設(shè)備發(fā)送反饋分組300之前在宿設(shè)備160處接收的最新媒體數(shù)據(jù)分組。在其它例子中，時(shí)間戳字段可以包括時(shí)間戳，所述時(shí)間戳標(biāo)識(shí)在宿設(shè)備160處接收的不同媒體數(shù)據(jù)分組。時(shí)間戳值可以使得源設(shè)備120能夠標(biāo)識(shí)哪一個(gè)媒體數(shù)據(jù)分組經(jīng)歷所報(bào)告的性能下降以及能夠計(jì)算WD系統(tǒng)中的往返延遲。
[0060]長(zhǎng)度字段可以包括16比特字段以指示反饋分組300的長(zhǎng)度。基于長(zhǎng)度字段的值，源設(shè)備120可以識(shí)別反饋分組的結(jié)束和新的、后續(xù)的反饋分組的開始。在圖3中所示出的反饋分組300中的字段的編號(hào)和大小僅是說明性的。在其它例子中，反饋分組可以包括具有比在圖3中所示出的反饋分組300中的字段更大或更小的大小的字段，和/或可以包括比在圖3中所示出的反饋分組300更多或更少的字段。
[0061 ] 參考回到圖2，在HIDC、通用和OS特定用戶輸入的情況下，這些用戶輸入通常影響如何將后續(xù)的媒體數(shù)據(jù)在宿設(shè)備160處呈現(xiàn)給用戶(例如縮放和平移操作)以及源設(shè)備120如何處理(例如，編碼和/或發(fā)送)發(fā)往宿設(shè)備160的媒體數(shù)據(jù)。
[0062]人工接口設(shè)備命令(HIDC) 230、通用用戶輸入232和OS特定用戶輸入234可以規(guī)定如何將用戶輸入的類型格式化成信息元素。如上文所描述的，可以使用反饋分組300來封裝這些信息元素。例如，人工接口設(shè)備命令230和通用用戶輸入232可以基于用戶接口類型(例如，鼠標(biāo)、鍵盤、觸摸、多點(diǎn)觸摸、語音、姿勢(shì)、供應(yīng)商特定接□等等)和命令(例如，縮放、平移等等)來將輸入分類并且確定應(yīng)當(dāng)如何將用戶輸入格式化成信息元素。
[0063]在一個(gè)例子中，人工接口設(shè)備命令230可以基于規(guī)定的用戶輸入設(shè)備規(guī)范(例如USB、藍(lán)牙和Zigbee)來格式化用戶輸入數(shù)據(jù)并生成用戶輸入值。表1A、表IB和表IC給出了 HIDC輸入主體格式、HID接口類型和HID類型值的例子。在一個(gè)例子中，人工接口設(shè)備命令(HIDC)230可以根據(jù)WFD來定義。在表IA中，HID接口類型字段指定人工接口設(shè)備(HID)類型。在表IB中給出了 HID接口類型的例子。HID類型字段指定HID類型。表IC給出了HID類型的例子。長(zhǎng)度字段指定以八位字節(jié)為單位的HIDC值的長(zhǎng)度。HIDC包括可以在諸如藍(lán)牙、Zigbee和USB之類的規(guī)范中定義的輸入數(shù)據(jù)。
[0064]表IA:HIDC主體格式
[0065]
【權(quán)利要求】
1.一種發(fā)送媒體數(shù)據(jù)的方法，所述方法包括: 向宿設(shè)備發(fā)送媒體數(shù)據(jù)，其中媒體數(shù)據(jù)是根據(jù)第一傳輸協(xié)議來傳輸?shù)模? 從所述宿設(shè)備接收消息，其中所述消息是根據(jù)第二傳輸協(xié)議來傳輸?shù)模? 至少部分地基于數(shù)據(jù)分組報(bào)頭來確定所述消息是否包括以下各項(xiàng)中的一項(xiàng):用戶輸入信息或性能信息；以及 基于所述消息來調(diào)整媒體數(shù)據(jù)的傳輸。
2.根據(jù)權(quán)利要求1所述的方法，其中，所述第一傳輸協(xié)議是用戶數(shù)據(jù)協(xié)議(UDP)，而所述第二傳輸協(xié)議是傳輸控制協(xié)議(TCP )。
3.根據(jù)權(quán)利要求1所述的方法，還包括:使用實(shí)時(shí)流式傳輸協(xié)議(RTSP)來確定所述宿設(shè)備的能力。
4.根據(jù)權(quán)利要求1所述的方法，其中，所述消息包括性能信息，其中，所述性能信息至少包括針對(duì)在所述宿設(shè)備處接收的所述媒體數(shù)據(jù)的時(shí)間戳值。
5.根據(jù)權(quán)利要求1所述的方法，其中，所述消息包括性能信息，其中，所述性能信息包括分組差錯(cuò)信息，以及其中，基于所述消息來調(diào)整媒體數(shù)據(jù)的傳輸包括:調(diào)整用于編碼所述媒體數(shù)據(jù)的量化參數(shù)。
6.根據(jù)權(quán)利要求1所述的方法，其中，所述消息包括性能信息，其中，所述性能信息包括分組差錯(cuò)信息，以及其中，基于所述消息來調(diào)整媒體數(shù)據(jù)的傳輸包括:發(fā)送即時(shí)解碼器刷新中貞。
7.一種接收媒體數(shù)據(jù)`的方法，所述方法包括: 從源設(shè)備接收媒體數(shù)據(jù)，其中媒體數(shù)據(jù)是根據(jù)第一傳輸協(xié)議來傳輸?shù)模? 至少部分地基于數(shù)據(jù)分組報(bào)頭來指示消息是否包括以下各項(xiàng)中的一項(xiàng):用戶輸入信息或性能信息；以及 向所述源設(shè)備發(fā)送所述消息，其中所述消息是根據(jù)第二傳輸協(xié)議來傳輸?shù)摹?br> 8.根據(jù)權(quán)利要求7所述的方法，其中，所述第一傳輸協(xié)議是用戶數(shù)據(jù)協(xié)議(UDP)，而所述第二傳輸協(xié)議是傳輸控制協(xié)議(TCP )。
9.根據(jù)權(quán)利要求7所述的方法，還包括:使用實(shí)時(shí)流式傳輸協(xié)議(RTSP)來發(fā)送能力消肩、O
10.根據(jù)權(quán)利要求7所述的方法，其中，所述消息包括性能信息，其中，所述性能信息至少包括針對(duì)在所述宿設(shè)備處接收的所述媒體數(shù)據(jù)的時(shí)間戳值。
11.根據(jù)權(quán)利要求7所述的方法，其中，所述消息包括性能信息，其中，所述性能信息包括針對(duì)所述源設(shè)備調(diào)整所述媒體數(shù)據(jù)的傳輸速率的請(qǐng)求。
12.根據(jù)權(quán)利要求7所述的方法，其中，所述消息包括性能信息，其中，所述性能信息包括針對(duì)所述源設(shè)備發(fā)送即時(shí)解碼器刷新幀的請(qǐng)求。
13.—種源設(shè)備,包括: 用于向宿設(shè)備發(fā)送媒體數(shù)據(jù)的單元，其中媒體數(shù)據(jù)是根據(jù)第一傳輸協(xié)議來傳輸?shù)模? 用于從所述宿設(shè)備接收消息的單元，其中所述消息是根據(jù)第二傳輸協(xié)議來傳輸?shù)模? 用于至少部分地基于數(shù)據(jù)分組報(bào)頭來確定所述消息是否包括以下各項(xiàng)中的一項(xiàng):用戶輸入信息或性能信息的單元；以及 用于基于所述消息來調(diào)整媒體數(shù)據(jù)的傳輸?shù)膯卧?br> 14.根據(jù)權(quán)利要求13所述的源設(shè)備，其中，所述第一傳輸協(xié)議是用戶數(shù)據(jù)協(xié)議(UDP)，而所述第二傳輸協(xié)議是傳輸控制協(xié)議(TCP )。
15.根據(jù)權(quán)利要求13所述的源設(shè)備，還包括:用于使用實(shí)時(shí)流式傳輸協(xié)議(RTSP)來確定所述宿設(shè)備的能力的單元。
16.根據(jù)權(quán)利要求13所述的源設(shè)備，其中，所述消息包括性能信息，其中，所述性能信息至少包括針對(duì)在所述宿設(shè)備處接收的所述媒體數(shù)據(jù)的時(shí)間戳值。
17.根據(jù)權(quán)利要求13所述的源設(shè)備，其中，所述消息包括性能信息，其中，所述性能信息包括分組差錯(cuò)信息，以及其中，用于基于所述消息來調(diào)整媒體數(shù)據(jù)的傳輸?shù)膯卧?用于調(diào)整用于編碼所述媒體數(shù)據(jù)的量化參數(shù)的單元。
18.根據(jù)權(quán)利要求13所述的源設(shè)備，其中，所述消息包括性能信息，其中，所述性能信息包括分組差錯(cuò)信息，以及其中，用于基于所述消息來調(diào)整媒體數(shù)據(jù)的傳輸?shù)膯卧?用于發(fā)送即時(shí)解碼器刷新幀的單元。
19.一種宿設(shè)備,包括: 用于從源設(shè)備接收媒體數(shù)據(jù)的單元，其中媒體數(shù)據(jù)是根據(jù)第一傳輸協(xié)議來傳輸?shù)模挥糜谥辽俨糠值鼗跀?shù)據(jù)分組報(bào)頭來指示消息是否包括以下各項(xiàng)中的一項(xiàng):用戶輸入信息或性能信息的單元；以及 用于向所述源設(shè)備發(fā)送所述消息的單元，其中所述消息是根據(jù)第二傳輸協(xié)議來傳輸?shù)摹?br> 20.根據(jù)權(quán)利要求19所述的宿設(shè)備，其中，所述第一傳輸協(xié)議是用戶數(shù)據(jù)協(xié)議(UDP)，而所述第二傳輸協(xié)議是傳輸控制協(xié)議(TCP )。
21.根據(jù)權(quán)利要求19所述的宿設(shè)備，還包括:用于使用實(shí)時(shí)流式傳輸協(xié)議(RTSP)來發(fā)送能力消息的單元。
22.根據(jù)權(quán)利要求19所述的宿設(shè)備，其中，所述消息包括性能信息，其中，所述性能信息至少包括針對(duì)在所述宿設(shè)備處接收的所述媒體數(shù)據(jù)的時(shí)間戳值。
23.根據(jù)權(quán)利要求19所述的宿設(shè)備，其中，所述消息包括性能信息，其中，所述性能信息包括針對(duì)所述源設(shè)備調(diào)整所述媒體數(shù)據(jù)的傳輸速率的請(qǐng)求。
24.根據(jù)權(quán)利要求19所述的宿設(shè)備，其中，所述消息包括性能信息，其中，所述性能信息包括針對(duì)所述源設(shè)備發(fā)送即時(shí)解碼器刷新幀的請(qǐng)求。
25.—種源設(shè)備,包括: 存儲(chǔ)器，其存儲(chǔ)媒體數(shù)據(jù)；以及 處理器，其被配置為執(zhí)行指令以使所述源設(shè)備進(jìn)行以下操作:向宿設(shè)備發(fā)送媒體數(shù)據(jù)，其中媒體數(shù)據(jù)是根據(jù)第一傳輸協(xié)議來傳輸?shù)?；處理從所述宿設(shè)備接收的消息，其中所述消息是根據(jù)第二傳輸協(xié)議來傳輸?shù)?；至少部分地基于?shù)據(jù)分組報(bào)頭來確定所述消息是否包括以下各項(xiàng)中的一項(xiàng):用戶輸入信息或性能信息；以及基于所述消息來調(diào)整媒體數(shù)據(jù)的傳輸。
26.根據(jù)權(quán)利要求25所述的源設(shè)備，其中，所述第一傳輸協(xié)議是用戶數(shù)據(jù)協(xié)議(UDP)，而所述第二傳輸協(xié)議是傳輸控制協(xié)議(TCP )。
27.根據(jù)權(quán)利要求25所述的源設(shè)備，其中，所述處理器還被配置為使用實(shí)時(shí)流式傳輸協(xié)議(RTSP)來確定所述宿設(shè)備的能力。
28.根據(jù)權(quán)利要求25所述的源設(shè)備，其中，所述消息包括性能信息，其中，所述性能信息至少包括針對(duì)在所述宿設(shè)備處接收的所述媒體數(shù)據(jù)的時(shí)間戳值。
29.根據(jù)權(quán)利要求25所述的源設(shè)備，其中，所述消息包括性能信息，其中，所述性能信息包括分組差錯(cuò)信息，以及其中，被配置為基于所述消息來調(diào)整媒體數(shù)據(jù)的傳輸包括:調(diào)整用于編碼所述媒體數(shù)據(jù)的量化參數(shù)。
30.根據(jù)權(quán)利要求25所述的源設(shè)備，其中，所述消息包括性能信息，其中，所述性能信息包括分組差錯(cuò)信息，以及其中，被配置為基于所述消息來調(diào)整媒體數(shù)據(jù)的傳輸包括:發(fā)送即時(shí)解碼器刷新幀。
31.一種宿設(shè)備，包括: 存儲(chǔ)器，其存儲(chǔ)媒體數(shù)據(jù)；以及 處理器，其被配置為執(zhí)行指令以使所述宿設(shè)備進(jìn)行以下操作:傳輸進(jìn)而處理從源設(shè)備接收的媒體數(shù)據(jù)，其中媒體數(shù)據(jù)是根據(jù)第一傳輸協(xié)議來傳輸?shù)?；向所述源設(shè)備發(fā)送消息，其中所述消息是根據(jù)第二傳輸協(xié)議來傳輸?shù)模灰约爸辽俨糠值鼗跀?shù)據(jù)分組報(bào)頭來指示所述消息是否包括以下各項(xiàng)中的一項(xiàng):用戶輸入信息或性能信息。
32.根據(jù)權(quán)利要求31所述的宿設(shè)備，其中，所述第一傳輸協(xié)議是用戶數(shù)據(jù)協(xié)議(UDP)，而所述第二傳輸協(xié)議是傳輸控制協(xié)議(TCP )。
33.根據(jù)權(quán)利要求31所述的宿設(shè)備，其中，所述處理器還被配置為使用實(shí)時(shí)流式傳輸協(xié)議(RTSP)來確定所述宿設(shè)備的能力。
34.根據(jù)權(quán)利要求`31所述的宿設(shè)備，其中，所述消息包括性能信息，其中，所述性能信息至少包括針對(duì)在所述宿設(shè)備處接收的所述媒體數(shù)據(jù)的時(shí)間戳值。
35.根據(jù)權(quán)利要求31所述的宿設(shè)備，其中，所述消息包括性能信息，其中，所述性能信息包括針對(duì)所述源設(shè)備調(diào)整所述媒體數(shù)據(jù)的傳輸速率的請(qǐng)求。
36.根據(jù)權(quán)利要求31所述的宿設(shè)備，其中，所述消息包括性能信息，其中，所述性能信息包括針對(duì)所述源設(shè)備發(fā)送即時(shí)解碼器刷新幀的請(qǐng)求。
37.一種計(jì)算機(jī)可讀介質(zhì)，包括存儲(chǔ)在其上的指令，當(dāng)在源設(shè)備的處理器中執(zhí)行所述指令時(shí)使所述源設(shè)備進(jìn)行以下操作: 向宿設(shè)備發(fā)送媒體數(shù)據(jù)，其中媒體數(shù)據(jù)是根據(jù)第一傳輸協(xié)議來傳輸?shù)模? 處理從所述宿設(shè)備接收的消息，其中所述消息是根據(jù)第二傳輸協(xié)議來傳輸?shù)模? 至少部分地基于數(shù)據(jù)分組報(bào)頭來確定所述消息是否包括以下各項(xiàng)中的一項(xiàng):用戶輸入信息或性能信息；以及 基于所述消息來調(diào)整媒體數(shù)據(jù)的傳輸。
38.根據(jù)權(quán)利要求37所述的計(jì)算機(jī)可讀介質(zhì)，其中，所述第一傳輸協(xié)議是用戶數(shù)據(jù)協(xié)議(UDP )，而所述第二傳輸協(xié)議是傳輸控制協(xié)議(TCP )。
39.根據(jù)權(quán)利要求37所述的計(jì)算機(jī)可讀介質(zhì)，還包括存儲(chǔ)在其上的指令，當(dāng)在源設(shè)備中執(zhí)行所述指令時(shí)使可編程處理器使用實(shí)時(shí)流式傳輸協(xié)議(RTSP)來確定所述宿設(shè)備的能力。
40.根據(jù)權(quán)利要求37所述的計(jì)算機(jī)可讀介質(zhì)，其中，所述消息包括性能消息，其中，所述性能信息至少包括針對(duì)在所述宿設(shè)備處接收的所述媒體數(shù)據(jù)的時(shí)間戳值。
41.根據(jù)權(quán)利要求37所述的計(jì)算機(jī)可讀介質(zhì)，其中，所述消息包括性能信息，其中，所述性能信息包括分組差錯(cuò)信息，以及其中，基于所述消息來調(diào)整媒體數(shù)據(jù)的傳輸包括:調(diào)整用于編碼所述媒體數(shù)據(jù)的量化參數(shù)。
42.根據(jù)權(quán)利要求37所述的計(jì)算機(jī)可讀介質(zhì)，其中，所述消息包括性能信息，其中，所述性能信息包括分組差錯(cuò)信息，以及其中，基于所述消息來調(diào)整媒體數(shù)據(jù)的傳輸包括:發(fā)送即時(shí)解碼器刷新幀。
43.一種計(jì)算機(jī)可讀介質(zhì)，包括存儲(chǔ)在其上的指令，當(dāng)在宿設(shè)備的處理器中執(zhí)行所述指令時(shí)使所述宿設(shè)備進(jìn)行以下操作: 處理從源設(shè)備接收的媒體數(shù)據(jù)，其中媒體數(shù)據(jù)是根據(jù)第一傳輸協(xié)議來傳輸?shù)模? 至少部分地基于數(shù)據(jù)分組報(bào)頭來指示消息是否包括以下各項(xiàng)中的一項(xiàng):用戶輸入信息或性能信息；以及 向所述源設(shè)備發(fā)送所述消息，其中所述消息是根據(jù)第二傳輸協(xié)議來傳輸?shù)摹?br> 44.根據(jù)權(quán)利要求43所述的計(jì)算機(jī)可讀介質(zhì)，其中，所述第一傳輸協(xié)議是用戶數(shù)據(jù)協(xié)議(UDP )，而所述第二傳輸協(xié)議是傳輸控制協(xié)議(TCP )。
45.根據(jù)權(quán)利要求43所述的計(jì)算機(jī)可讀介質(zhì)，還包括存儲(chǔ)在其上的指令，當(dāng)在宿設(shè)備中執(zhí)行所述指令時(shí)使可編程處理器使用實(shí)時(shí)流式傳輸協(xié)議(RTSP )來發(fā)送能力消息。
46.根據(jù)權(quán)利要求43所述的計(jì)算機(jī)可讀介質(zhì)，其中，所述消息包括性能信息，其中，所述性能信息至少包括針對(duì)在所述宿設(shè)備處接收的所述媒體數(shù)據(jù)的時(shí)間戳值。
47.根據(jù)權(quán)利要求43所述的計(jì)算機(jī)可讀介質(zhì)，其中，所述消息包括性能信息，其中，所述性能信息包括針 對(duì)所述源設(shè)備調(diào)整所述媒體數(shù)據(jù)的傳輸速率的請(qǐng)求。
48.根據(jù)權(quán)利要求43所述的宿設(shè)備，其中，所述消息包括性能信息，其中，所述性能信息包括針對(duì)所述源設(shè)備發(fā)送即時(shí)解碼器刷新幀的請(qǐng)求。
【文檔編號(hào)】H04L29/06GK103875225SQ201280050386
【公開日】2014年6月18日 申請(qǐng)日期:2012年10月12日 優(yōu)先權(quán)日:2011年10月14日
【發(fā)明者】X·黃, V·R·拉韋恩德朗, P·K·巴米迪帕蒂, F·肖卡特, X·王, J·S·弗勒利歇爾 申請(qǐng)人:高通股份有限公司