用于傳輸編碼媒體數(shù)據(jù)的方法和設(shè)備的制造方法
【專利說明】 用于傳輸編碼媒體數(shù)據(jù)的方法和設(shè)備[0001 ] 本發(fā)明涉及用于傳輸編碼媒體數(shù)據(jù)的方法和設(shè)備。
[0002]對(duì)于可縮放視頻編解碼器(SVC)(例如H.264 SVC或H.265 SVC)而言，附加于基本層的層確保了較高視頻質(zhì)量水平并實(shí)現(xiàn)了對(duì)已經(jīng)編碼的視頻流的視頻質(zhì)量的適配。
[0003]如今，RTCP，作為從(一個(gè)或多個(gè))目標(biāo)節(jié)點(diǎn)到(一個(gè)或多個(gè))源節(jié)點(diǎn)的RTP內(nèi)的帶內(nèi)反饋信道，承載可從其得到源節(jié)點(diǎn)處的實(shí)際端到端網(wǎng)絡(luò)服務(wù)質(zhì)量(例如分組丟失率、延遲、抖動(dòng))的信息?；谠撔畔ⅲ幋a器能夠開始或重新開始源節(jié)點(diǎn)處的附加層的生成以用于傳輸，降低圖像頻率或幀率，或增加壓縮比以降低帶寬消耗。為了促進(jìn)這一點(diǎn)，通過源節(jié)點(diǎn)連接與目標(biāo)節(jié)點(diǎn)連接之間的關(guān)系來標(biāo)識(shí)端到端鏈路。該概念還適用于點(diǎn)到多點(diǎn)連接，例如用于視頻分發(fā)服務(wù)。
[0004]專用于H.264 SVC的另一已知概念是(移動(dòng))設(shè)備或終端在其上注冊(cè)其能力(例如屏幕尺寸、分辨率等)的智能路由器。還考慮了朝向設(shè)備的可用帶寬。視頻源生成SVC編解碼器的所有層。該視頻流經(jīng)由針對(duì)每一個(gè)個(gè)體目標(biāo)設(shè)備基于注冊(cè)信息決定將向該設(shè)備繼續(xù)傳遞多少層的智能路由器而繼續(xù)傳遞。因此，針對(duì)每一個(gè)連接端點(diǎn)轉(zhuǎn)發(fā)各個(gè)視頻流。
[0005]PPP-多鏈路[RFC1990]描述了例如將多個(gè)鏈路捆綁到鏈路層中的一個(gè)虛擬鏈路中。這隱藏了關(guān)于所使用的接入技術(shù)之間的差異的信息，并且，沒有關(guān)于不同鏈接質(zhì)量的輸運(yùn)層的進(jìn)一步適配是可能的。
[0006]多路徑_TCP[RFC6824]允許通過使用子流或部分流來耗盡不同網(wǎng)絡(luò)路徑。然而，針對(duì)應(yīng)用提供了僅一個(gè)單個(gè)輸運(yùn)服務(wù)(即，可靠輸運(yùn))。
[0007]本發(fā)明所解決的一個(gè)問題是提供用于傳輸編碼媒體數(shù)據(jù)的方法、設(shè)備和系統(tǒng)的問題，這能夠至少部分地克服現(xiàn)有技術(shù)的前述缺點(diǎn)。
[0008]根據(jù)本發(fā)明，該問題由獨(dú)立權(quán)利要求的特征解決。在從屬權(quán)利要求中提供本發(fā)明的有利實(shí)施例和發(fā)展。
[0009]本發(fā)明的一個(gè)基本思想是:基于當(dāng)前網(wǎng)絡(luò)質(zhì)量來同時(shí)利用多于一個(gè)網(wǎng)絡(luò)接入以自動(dòng)控制SVC層的傳輸。網(wǎng)絡(luò)質(zhì)量可以例如在端到端的基礎(chǔ)上(例如，如由RTCP定義的那樣)或者局部地在每一個(gè)接入技術(shù)中加以評(píng)估，例如可以利用信號(hào)與噪聲距離或信噪比(SNR)。
[0010]因此，根據(jù)本發(fā)明的第一方面，提出了一種用于在層模型的基礎(chǔ)上傳輸編碼媒體數(shù)據(jù)的方法，包括以下步驟:
a)將媒體數(shù)據(jù)劃分到基本層和至少一個(gè)附加增強(qiáng)層上；
b)經(jīng)由至少兩個(gè)網(wǎng)絡(luò)接入傳輸基本層和至少一個(gè)增強(qiáng)層；
c)選擇具有足以傳輸基本層的網(wǎng)絡(luò)質(zhì)量和/或穩(wěn)定性的傳輸基本層的第一網(wǎng)絡(luò)接入點(diǎn)；以及
d)取決于第一網(wǎng)絡(luò)接入點(diǎn)的帶寬以及網(wǎng)絡(luò)接入的質(zhì)量和穩(wěn)定性，從網(wǎng)絡(luò)接入之中選擇至少一個(gè)第二網(wǎng)絡(luò)接入點(diǎn)，以傳輸至少一個(gè)增強(qiáng)層。
[0011]就本發(fā)明而言，媒體數(shù)據(jù)特別是但不僅僅是音頻數(shù)據(jù)和/或視頻數(shù)據(jù)和/或文本數(shù)據(jù)和/或視頻文本數(shù)據(jù)和/或會(huì)議數(shù)據(jù)和/或應(yīng)用特定數(shù)據(jù)等。同樣包括的是諸如組合式音頻/視頻數(shù)據(jù)和/或會(huì)議數(shù)據(jù)和/或演示數(shù)據(jù)和/或游戲情形數(shù)據(jù)等之類的多媒體數(shù)據(jù)，以及特別地諸如電話數(shù)據(jù)和/或視頻電話數(shù)據(jù)和/或串流數(shù)據(jù)等之類的實(shí)時(shí)通信數(shù)據(jù)。媒體數(shù)據(jù)優(yōu)選地包括多層編解碼器的視頻和/或音頻，特別是根據(jù)H.264 SVC的視頻編解碼器。就本發(fā)明而言，基本層和增強(qiáng)層是內(nèi)容承載子層，其中基本層至少包含解碼所要求的數(shù)據(jù)，并且其中一個(gè)或多個(gè)增強(qiáng)層包含用于解碼源介質(zhì)的質(zhì)量特征的數(shù)據(jù)。就本發(fā)明而言，網(wǎng)絡(luò)接入可以是任何數(shù)據(jù)傳輸路徑且還可以包括網(wǎng)絡(luò)接入點(diǎn)、節(jié)點(diǎn)、協(xié)議、接口、層等?；緦涌梢跃哂性诰哂凶罴丫W(wǎng)絡(luò)質(zhì)量和/或穩(wěn)定性的網(wǎng)絡(luò)接入的分配方面的優(yōu)先級(jí)。在該情況中，可以將具有比被分配給增強(qiáng)層的網(wǎng)絡(luò)接入更好的網(wǎng)絡(luò)質(zhì)量和/或穩(wěn)定性的網(wǎng)絡(luò)接入分配給基本層。要理解的是，步驟c)和d)可以在步驟b)之前實(shí)施。步驟c)和d)還可以在第二網(wǎng)絡(luò)接入被省略或經(jīng)歷干擾時(shí)或者在更好的網(wǎng)絡(luò)接入可用的情況下被重復(fù)地實(shí)施?？梢詾榇四康倪B續(xù)監(jiān)視網(wǎng)絡(luò)環(huán)境。應(yīng)當(dāng)理解的是，經(jīng)由至少一個(gè)第二網(wǎng)絡(luò)接入傳輸至少一個(gè)增強(qiáng)層。這還可以意味著:取決于相應(yīng)網(wǎng)絡(luò)接入的要求和能力，劃分成多個(gè)第二網(wǎng)絡(luò)接入而傳輸單個(gè)增強(qiáng)層，經(jīng)由單個(gè)第二網(wǎng)絡(luò)接入傳輸一個(gè)或多個(gè)增強(qiáng)層，或者經(jīng)由多個(gè)第二網(wǎng)絡(luò)接入傳輸若干增強(qiáng)層。
[0012]在本發(fā)明的該方面的一個(gè)優(yōu)選實(shí)施例中，該方法考慮針對(duì)編解碼器的部分層的優(yōu)先級(jí)的編解碼器特定參數(shù)化。
[0013]在本發(fā)明的該方面的一個(gè)優(yōu)選實(shí)施例中，該方法具有附加步驟:
e)確定可用網(wǎng)絡(luò)接入點(diǎn)的信噪比；以及
f)通過包括所確定的信噪比的度量來近似可用網(wǎng)絡(luò)接入點(diǎn)的網(wǎng)絡(luò)質(zhì)量。
[0014]信噪比(SNR)被定義為信號(hào)水平與噪聲水平之比。步驟e)和f)可以被整合到步驟c)和/或d)中。
[0015]在本發(fā)明的該方面的一個(gè)優(yōu)選實(shí)施例中，該方法具有附加步驟:
g)在傳輸片段之前，在編碼媒體數(shù)據(jù)的每一個(gè)片段前添加序列號(hào)。
[0016]由于根據(jù)本發(fā)明，多個(gè)網(wǎng)絡(luò)接入(S卩，傳輸路徑)被用于傳輸還可具有不同等待時(shí)間等的使用數(shù)據(jù)，因此添加序列號(hào)也可以使接收器側(cè)處的組裝更容易。
[0017]本發(fā)明的另一方面涉及一種用于在層模型的基礎(chǔ)上傳輸編碼媒體數(shù)據(jù)的方法，其具有以下步驟:
A)經(jīng)由至少一個(gè)網(wǎng)絡(luò)接入接收被劃分到基本層和至少一個(gè)附加增強(qiáng)層上的媒體數(shù)據(jù)；
以及
B)將因而成功傳輸?shù)膶又械幕緦雍椭辽僖粋€(gè)增強(qiáng)層組合到可解碼媒體數(shù)據(jù)中。
[0018]顯然，該方面中的方法涉及接收器側(cè)，而前一方面涉及發(fā)射器側(cè)。因此，該方面中的傳輸方法不需要具有但也可以具有用于傳輸?shù)牟襟E。因此，該方面的傳輸方法還可以一般地理解為用于處理編碼媒體數(shù)據(jù)的方法。根據(jù)該發(fā)明方面中的方法而接收的數(shù)據(jù)優(yōu)選地為已借助于根據(jù)之前的發(fā)明方面的方法而提供的數(shù)據(jù)。通過組合它們，可解碼數(shù)據(jù)至少接收基本層(否則解碼將不會(huì)是可能的)，并取決于傳輸成功，接收一個(gè)或多個(gè)增強(qiáng)層。
[0019]在本發(fā)明的該方面的一個(gè)優(yōu)選實(shí)施例中，該方法具有附加步驟:
C)緩沖媒體數(shù)據(jù)的所接收到的數(shù)據(jù)片段，以及
D)以正確的順序組合所接收到且經(jīng)緩沖的數(shù)據(jù)片段，優(yōu)選地基于每個(gè)數(shù)據(jù)片段前的序列號(hào)。
[0020]根據(jù)前述發(fā)明方面的方法優(yōu)選地提供至少一個(gè)增強(qiáng)層以實(shí)現(xiàn)以下特征中的一個(gè)或多個(gè):
-相比于基本層較大的傳輸錯(cuò)誤冗余，
-相比于基本層較大的視頻分辨率，
-至少3維視頻分辨率，
-相比于基本層較高的圖像重復(fù)率，
-相比于基本層較好的音頻接收質(zhì)量，
-多信道、特別是立體聲、環(huán)繞或空間音頻接收質(zhì)量。
[0021]較高圖像重復(fù)率還包括下述情況:其中，當(dāng)基本層僅具有靜止圖像或化身(avatar )時(shí)，移動(dòng)圖像可以經(jīng)由增強(qiáng)層而傳輸。
[0022]本發(fā)明的另一方面涉及一種用于施行根據(jù)前述發(fā)明方面之一的方法的設(shè)備。具體地，該設(shè)備是或者包括服務(wù)器(130)和/或移動(dòng)終端(110)。要理解的是，該方法或該方法的各個(gè)段由被實(shí)現(xiàn)在該設(shè)備中的功能單元控制。功能單元可以被實(shí)現(xiàn)在一個(gè)單個(gè)設(shè)備上，或者它們可以以任何期望的方式分布到若干設(shè)備。如果涉及第一發(fā)明方面的方法的功能單元被實(shí)現(xiàn)在發(fā)射器側(cè)上，并且如果涉及第二發(fā)明方面的方法的功能單元被實(shí)現(xiàn)在接收器側(cè)上，則這是有用的。然而，第一發(fā)明方面的方法的至少部分可以被實(shí)現(xiàn)在接收器側(cè)上和/或第二發(fā)明方面的方法的至少部分可以被實(shí)現(xiàn)在發(fā)射器側(cè)上。還應(yīng)當(dāng)注意的是，諸如路由器、網(wǎng)關(guān)、切換交換局和中心等之類的傳輸路徑上的項(xiàng)可以表示發(fā)射器和接收器這兩側(cè)。這樣的項(xiàng)還可以實(shí)現(xiàn)本發(fā)明的這兩個(gè)方面，并且情況還可以是:一個(gè)這樣的項(xiàng)根據(jù)經(jīng)由相應(yīng)傳輸路徑而傳輸?shù)膶犹幹脭?shù)據(jù)片段的僅一部分。換言之，根據(jù)本發(fā)明的設(shè)備包括覆蓋根據(jù)本發(fā)明的方法的僅一個(gè)方面的各個(gè)單元，以及覆蓋這兩個(gè)方面的部分或整體的各個(gè)單元，以及其