專(zhuān)利名稱(chēng)：重排和復(fù)用屬于互相關(guān)會(huì)話的多媒體流的包的方法和設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于重排序和復(fù)用來(lái)自屬于互相關(guān)會(huì)活的多媒體數(shù)據(jù)流的
多媒體包的方法和i史備。
這種方法例如對(duì)使用實(shí)時(shí)傳輸協(xié)議傳輸?shù)目蓴U(kuò)縮視頻編解碼器編碼的 數(shù)據(jù)流是重要的。
背景技術(shù)：
視頻編碼和傳輸中的可擴(kuò)縮性近年來(lái)已變得越來(lái)越重要。在從ITU-T 建議H.264/ISO/IEC IS 14496-10 AVC, 2005修訂3中可以發(fā)現(xiàn)的 H.264/AVC標(biāo)準(zhǔn)的附錄G中詳細(xì)說(shuō)明了可擴(kuò)縮視頻編碼，以下縮寫(xiě)為 SVC。在SVC的最基本形式中，通過(guò)一個(gè)基層和一個(gè)或多個(gè)增強(qiáng)層來(lái)表示 視頻信號(hào)。與僅解碼增強(qiáng)層所基于的層相比，增強(qiáng)層可以提高時(shí)間分辨率 (即，幀速率)、空間分辨率、或視頻內(nèi)容的質(zhì)量。增強(qiáng)層可以被"堆棧" 在彼此之上。在SVC中，使增強(qiáng)層直接依賴(lài)多于一個(gè)的"低層"甚至是 可行的，并且可以實(shí)現(xiàn)非常復(fù)雜的層相關(guān)性圖，雖然易受約束，即，在一 般對(duì)應(yīng)視頻幀的一個(gè)存取單元中，層圖像可以直接僅依賴(lài)一個(gè)低層。每個(gè) 層，與所有它的依賴(lài)低層一起，形成該視頻信號(hào)在特定空間分辨率、時(shí)間 分辨率和質(zhì)量水平處的一個(gè)表示.在該文獻(xiàn)中，可擴(kuò)縮層^^稱(chēng)為一個(gè)給定 層，所述給定層具有它直接或間楱農(nóng)賴(lài)的所有低層。 一個(gè)可擴(kuò)縮比特流含 有多層，所述多層形成至少兩個(gè)但是有時(shí)更多的可擴(kuò)縮層表示。
SVC保留H.264/AVC的網(wǎng)絡(luò)提取層(以下縮寫(xiě)為NAL )概念和關(guān)鍵 特性。NAL單元形成SVC比特流的基本結(jié)構(gòu)，并且可以被視為存取單元 的一部分，存取單元本身對(duì)應(yīng)視頻幀。
為了傳輸編碼視頻信號(hào)，廣泛使用實(shí)時(shí)傳輸協(xié)議，以下縮寫(xiě)為RTP。在IETF標(biāo)準(zhǔn)的RFC3550中被詳細(xì)說(shuō)明的基本RTP協(xié)議，在互聯(lián)網(wǎng)上被 用于流應(yīng)用和DVB-H/SH視頻廣播。由于RTC3550中僅定義了 RTP的核 心功能，需要補(bǔ)充RFC將特定編碼視頻數(shù)據(jù)的傳輸定義到RTP中。在這 方面，定義了 RFC3984來(lái)詳細(xì)說(shuō)明H.264 AVC NAL單元的傳輸。
新的提出的用于納入SVC編碼視頻的RTP有效載荷規(guī)范的擴(kuò)展，諸 如這些提出的RFC3984，支持在一個(gè)RTP包中封裝單NAL單元、多于一 個(gè)NAL單元、或NAL單元的分片。在H.264/AVC中詳細(xì)說(shuō)明的單NAL 單元可以被"按照原樣"包括在RTP包中，并且NAL單元頭還用作有效 栽荷頭。詳細(xì)說(shuō)明了四類(lèi)型的聚合NAL單元。兩個(gè)單時(shí)間聚合包類(lèi)型， STAP-A和STAP-B，允許在一個(gè)RTP包中封裝來(lái)源于相同圖《象(由相同 RTP時(shí)間戳標(biāo)識(shí))的多于一個(gè)的NAL單元。兩個(gè)多時(shí)間聚合包類(lèi)型
(MTAP)可以被用于在一個(gè)RTP包中聚合來(lái)自不同圖像的NAL單元。 RFC3984還支持兩類(lèi)型的分片單元，F(xiàn)U-A和FU-B，所述分片單元使得能 夠?qū)⒁粋€(gè)NAL單元分片到多個(gè)RTP包中。
SVC，與之前所有視頻壓縮標(biāo)準(zhǔn)一樣，要求應(yīng)當(dāng)以特定順序即解碼順 序?qū)⒅T如NAL單元的比特流語(yǔ)法實(shí)體呈現(xiàn)給解碼器。在H.264/AVC和 SVC的情況中，解碼順序和編碼順序相同，并且以對(duì)NAL單元的排序的 約束來(lái)表示。 一些H.264/AVC和SVC簡(jiǎn)檔允許一定量的NAL單元重排序， 而不破壞一致性，但是其它簡(jiǎn)檔則不允許。任何情況下，有必要在傳輸層 中包括實(shí)現(xiàn)有效的NAL單元重排序的機(jī)制。
如在IETF RFC3550中定義的，RTP借助RTP序號(hào)支持包重排序，
然而，NAL單元解碼順序沒(méi)必要與傳輸順序或RTP包順序相同。例 如，當(dāng)4吏用RFC3984的交錯(cuò)打包才莫式(interleaved packetization mode) 時(shí)，從上述信息推斷正確的NAL單元排序有時(shí)是不可能的。當(dāng)在不同RTP 會(huì)話中傳輸H.264 SVC層時(shí)，被稱(chēng)為RTP會(huì)話復(fù)用，情形甚至變得更復(fù) 雜。SVC有效載荷草案的早期版本試圖指定用于該NAL重排序過(guò)程的算 法，但是過(guò)高地考慮了規(guī)范和實(shí)現(xiàn)復(fù)雜性。該方法的替代方法是，在包流中顯示發(fā)信號(hào)通知NAL單元的順序。 這要求使用RFC3984交錯(cuò)模式，并且STAP-B、 FU-B和MTAP包的字段 DON (解碼序號(hào))被顯示用于指示跨所有層和RTP會(huì)話的NAL單元解碼 順序。
在含有DON字段的包不被允許的非交錯(cuò)模式中，另一方法是，通過(guò) 使用聚合包(STAP-A)中的PACSI NAL單元中的字段DONC,顯示指 示跨所有層的NAL單元解碼順序(跨層DON或CL-DON)。這非常復(fù)雜， 并且要求附加的帶寬。
在非交錯(cuò)或單NAL單元模式中，依賴(lài)于在會(huì)話描述協(xié)議(SDP)中定 義的一維RTP會(huì)話相關(guān)性路徑的知識(shí)，另一方法涉及同步點(diǎn)概念。這基本 上包括分析包的時(shí)間戳相關(guān)性和跨RTP會(huì)活的分發(fā)，以標(biāo)識(shí)和檢索處于解 碼順序的存取單元的順序。通過(guò)搜索從最高依賴(lài)會(huì)話至最低依賴(lài)會(huì)話的會(huì) 話同步點(diǎn)來(lái)檢索存取單元的順序，M Sx的同步點(diǎn)(被定義為T(mén)S_Sx)被 定義為時(shí)間對(duì)準(zhǔn)的(即，都有相同的時(shí)間戳的)、具有每個(gè)會(huì)話Sy中的至 少一個(gè)RTP包的RTP包集，才艮據(jù)會(huì)活相關(guān)性的順序Sy優(yōu)于或等于Sx。 基本上，該方法涉及分析包的時(shí)間戳相關(guān)性和跨會(huì)話的分發(fā)，來(lái)標(biāo)識(shí)并且 檢索處于解碼順序的存取單元的順序，以及涉及在SDP中定義的會(huì)話相關(guān) 性路徑的知識(shí)，來(lái)檢索每個(gè)存取單元內(nèi)NAL單元的順序。
因此，任何同步點(diǎn)是指特定存取單元。 一旦NAL單元被關(guān)聯(lián)到存取 單元，每個(gè)存取單元的NAL單元被按照會(huì)話相關(guān)性路徑的順序和每個(gè)會(huì) 話內(nèi)部的序號(hào)的順序輸出，以檢索每個(gè)存取單元內(nèi)部的NAL單元解碼順 序。
后一種方法的問(wèn)^H/限制包括對(duì)在不同RTP ^"之間幀速率分發(fā)的約 束，因?yàn)楸痉椒▋H為RTP會(huì)話的相同時(shí)間例子的NAL單元工作，所述NAL 單元也在依賴(lài)該RTP會(huì)話的RTP會(huì)話中出現(xiàn)。這意味著幀速率的遞增順 序必須遵循會(huì)話相關(guān)性的遞增順序
發(fā)明內(nèi)容
本發(fā)明的目的是提供一種以上已知類(lèi)型的、但是可以解決上述的計(jì)算 復(fù)雜性、增加的帶寬或缺乏應(yīng)對(duì)不同幀速率的問(wèn)題的方法，用于在非交錯(cuò)
模式和/或單NAL單元模式中檢索例如RTP/SVC會(huì)話的包。類(lèi)似地，本 發(fā)明的目的是提供一種適于在向解碼器提供不同包之前以正確的順序排列 所述不同包的設(shè)備。
根據(jù)本發(fā)明，該目的通過(guò)包括權(quán)利要求l中描述的步驟的所述方法來(lái) 實(shí)現(xiàn)。類(lèi)似地，如在權(quán)利要求6中描述的設(shè)備將適于實(shí)現(xiàn)該目的。
通過(guò)這種方式，依賴(lài)每個(gè)會(huì)話內(nèi)部包含的幀速率的知識(shí)，而不是使用 現(xiàn)有技術(shù)的同步點(diǎn)概念。所提出的方法比現(xiàn)有技術(shù)的方法更有效并且更簡(jiǎn) 單，而且即使所述幀速率不遵循會(huì)話相關(guān)性順序，重排序包也是可能的。
本發(fā)明的附加典型特征在權(quán)利要求2中被陳述。
這將另外解決現(xiàn)有技術(shù)的另一內(nèi)在問(wèn)題，如在丟包的情況下，基于所 述同步點(diǎn)的現(xiàn)有技術(shù)方法可能不能輸出所有完好接收的包。所以該現(xiàn)有技 術(shù)方法在檢測(cè)到第一個(gè)丟包的M處停止所述重排序過(guò)程；并且不輸出當(dāng) 前和下一個(gè)存取單元中的更高會(huì)話的包，直至對(duì)應(yīng)TS_S0同步點(diǎn)的下一個(gè) 存取單元被發(fā)現(xiàn)為止。結(jié)果就是更高會(huì)話的完好接收的包/NAL單元在可 能很多存取單元期間被丟失，盡管視頻播放器本來(lái)可以使用這些完好接收 的NAL單元來(lái)實(shí)現(xiàn)良好的SVC隱藏技術(shù)。通過(guò)當(dāng)搜索具有最高幀速率的 M時(shí)不考慮檢測(cè)到丟包的RTPM，以及通過(guò)當(dāng)檢測(cè)到M中的錯(cuò)誤時(shí) 不中斷跨層重排序過(guò)程，用于重排序包的本發(fā)明方法對(duì)丟包更加強(qiáng)壯，因 為即使在低層會(huì)話中檢測(cè)到丟失之后包也會(huì)被重排序。因此實(shí)現(xiàn)SVC隱藏 的^L頻播放器在輸入上具有最大的可用信息。
可以在簡(jiǎn)單的迭代過(guò)程中組合兩種原理。
本發(fā)明的另一典型特征在權(quán)利要求5中被陳述。使用每會(huì)話包含的幀 速率的知識(shí)，通過(guò)4吏用信號(hào)通知信息，產(chǎn)生非常簡(jiǎn)單的實(shí)現(xiàn)，所述信號(hào)通 知信息在SVC/RTP流的情況中可以是會(huì)話描述協(xié)議，縮寫(xiě)為SDP，用于 檢測(cè)具有最高幀速率的流。
在所附權(quán)利要求中可以發(fā)現(xiàn)附加特征。^曰/
〖袖
視頻接收器。
要注意的是，在權(quán)利要求中使用的術(shù)語(yǔ)"耦合"不應(yīng)當(dāng)被解釋為僅限
于直接連接。因而，表達(dá)式"耦合到設(shè)備B的設(shè)備A"的范圍不應(yīng)當(dāng)限于 設(shè)備A的輸出被直接連接到設(shè)備B的輸入的設(shè)備或系統(tǒng)。它意味著在A 的輸出和B的輸入之間存在路徑，所述路徑可以是包括其它設(shè)備或裝置的 路徑。
要注意的是，在權(quán)利要求中使用的術(shù)語(yǔ)"包括，，不應(yīng)當(dāng)被解釋為僅限 于其后列出的裝置。因而，表達(dá)式"包括裝置A和B的設(shè)備"的范圍不應(yīng) 當(dāng)限于僅由部件A和B組成的設(shè)備。它意味著關(guān)于本發(fā)明，該設(shè)備的僅相 關(guān)的部件是A和B。


通過(guò)參考以下結(jié)合附圖對(duì)實(shí)施例進(jìn)行的描述，本發(fā)明以上的和其它的 目標(biāo)和特征將變得更加顯而易見(jiàn)，并且本發(fā)明本身將得到更好的理解，在 所述附圖中
圖1示出視頻傳輸系統(tǒng)的基本體系結(jié)構(gòu)；
圖2a-c示出在具有SVC/AVC代碼幀的例子上的編碼過(guò)程的細(xì)節(jié)； 圖3a-c示出用于圖2的例子的封裝和傳輸過(guò)程的進(jìn)一步的細(xì)節(jié)； 圖4示出在圖2和3的例子上的接收過(guò)程的一部分； 圖5示出用于實(shí)施根據(jù)本發(fā)明的方法的詳細(xì)流程圖的例子；以及 圖6示出在圖2、 3和4中陳述的例子上才艮據(jù)本發(fā)明進(jìn)行重排序和 復(fù)用操作之后的結(jié)果。
具體實(shí)施例方式
可以在諸如視頻和/或音頻編碼應(yīng)用的多媒體編碼中使用本發(fā)明。更特 別地，可以結(jié)合縮寫(xiě)為SVC編碼的可擴(kuò)縮視頻編解碼器來(lái)使用本發(fā)明，所 述可擴(kuò)縮^L頻編解碼器的編碼基本單元，被稱(chēng)為NAL單元，裙/使用實(shí)時(shí)協(xié)議RTP、使用非交錯(cuò)或單NAL單元模式來(lái)封裝和傳輸。不過(guò)，本發(fā)明 可以被用于所有這樣的區(qū)域，在所述區(qū)域中屬于互相關(guān)會(huì)話的多媒體數(shù)據(jù) 流的包需要被重排序以便與被解碼器請(qǐng)求的預(yù)定順序一致。通常該順序?qū)?應(yīng)由編碼器生成的順序。
SVC編碼方法由MPEG-4-AVC (ISO/IEC 14496的第10部分)標(biāo)準(zhǔn) 進(jìn)行標(biāo)準(zhǔn)化。為了傳輸H.264 AVC，專(zhuān)用于H.264 AVC的RTP (實(shí)時(shí)傳 輸協(xié)議)有效載荷被IETF RTC3984標(biāo)準(zhǔn)化。SVC覆蓋H.264/AVC的整 個(gè)應(yīng)用范圍，從低比特率互聯(lián)網(wǎng)流應(yīng)用到具有幾乎無(wú)丟失編碼并且要求幾 十或幾百M(fèi)Bit/s的HDTV廣4番和數(shù)字電影。
器產(chǎn)生的網(wǎng)絡(luò)提取層(NAL)單元的一部分或一個(gè)或多個(gè)進(jìn)行打包。有效 載荷格式具有廣泛的適用性，范圍從低比特率會(huì)話的、經(jīng)過(guò)互聯(lián)網(wǎng)的視頻 流到高比特率娛樂(lè)質(zhì)量視頻。
以已知的方式，嵌入不同表示點(diǎn)或可擴(kuò)縮層表示的單個(gè)SVC流被使用 RTP協(xié)議經(jīng)過(guò)若干傳輸通道傳輸。這意味著SVC流由若干可擴(kuò)縮層組成， 由此，每層被經(jīng)過(guò)一個(gè)單獨(dú)的RTP通道傳輸。這些不同表示點(diǎn)涉及相同的 內(nèi)容，但是提供不同的視頻格式或質(zhì)量來(lái)考慮特定接收者要求。這例如這 樣的情況，相同的視頻內(nèi)容應(yīng)當(dāng)針對(duì)不同的屏幕大小，例如，QVGA用于 手持機(jī)，HDTV用于高端平面屏幕，VGA用于PDA屏幕。這使用SVC 分層概念來(lái)表示，其中， 一個(gè)可擴(kuò)縮比特流包含多層，所述多層形成至少 兩個(gè)但是有時(shí)更多的可擴(kuò)縮層表示。在該情況下，每個(gè)SVC層可以被經(jīng)過(guò) 具有可能不同網(wǎng)絡(luò)路徑的專(zhuān)用RTP會(huì)話傳輸，每個(gè)SVC層細(xì)化可以從較 低相關(guān)層檢索的^L頻格式或質(zhì)量。在一個(gè)特定RTP流中傳輸?shù)拿總€(gè)SVC 層要結(jié)合其它RTP流中的所有相關(guān)低層來(lái)被解碼，以檢索目標(biāo)表示點(diǎn)或 SVC層表示。屬于相同SVC視頻內(nèi)容的RTP流之間的關(guān)系，借助信號(hào)通 知協(xié)議來(lái)指示，所述信號(hào)通知協(xié)議在RTP流的情況中是SDP協(xié)議。在該 特定情況中，使用每個(gè)會(huì)話的草案標(biāo)準(zhǔn)化的 "a=depend"行將指示RTP 會(huì)話屬于彼此。通過(guò)^f吏用用于傳輸這樣的SVC編碼視頻流的RTP有效載荷，有可能所有這些流將以不同的順序到達(dá)接收者，其中，所述這樣的SVC 編碼視頻流的每個(gè)由NAL單元的序列組成。如之前提到的，重要的問(wèn)題 包括在接收者處重新同步這些NAL單元。這是重要的，因?yàn)榻獯a器需要 它們處于正確的順序，以l更能夠使用SVC/IL264解碼。當(dāng)這些不同的SVC 流因而可以經(jīng)過(guò)不同的RTP會(huì)話、經(jīng)由具有不同延時(shí)的不同通道被傳輸 時(shí)，問(wèn)題甚至更難。
已知的解決這種跨層同步機(jī)制的過(guò)程在該文獻(xiàn)的前面段落已被予以討 論，并且依賴(lài)"同步時(shí)間戳"(同步點(diǎn))之間的相關(guān)性，考慮或者RTCP 發(fā)送者報(bào)告中的掛鐘時(shí)間/時(shí)間戳映射用于每個(gè)RTP會(huì)話，或者直接是公 用時(shí)間戳參考和刻度(scale)用于所有RTP會(huì)話。然而，其它使用跨層解 碼序號(hào)(CL-DON)或DON (交錯(cuò)模式)的概念，所述跨層解碼序號(hào) (CL-DON )或DON (交錯(cuò)模式)在不同RTP M之間使用一個(gè)序號(hào)的 概念，這使得能夠發(fā)現(xiàn)遍布在不同會(huì)話間的包的正確順序。
在圖1中，示出了這種全局視頻傳輸系統(tǒng)的基本體系結(jié)構(gòu)，并且將借 助圖2和3解釋用于使用AVC/SVC協(xié)議編碼的基本步驟。
圖1示出視頻傳輸器VT，視頻傳輸器VT用于經(jīng)由諸如互聯(lián)網(wǎng)網(wǎng)絡(luò)的 分組網(wǎng)絡(luò)PN向^L頻接收者VR傳輸^皮打包的流，所述,皮打包的流包含編 碼視頻數(shù)據(jù)。
視頻傳輸器VT通常包括視頻捕獲設(shè)備1、視頻編碼器2、封裝設(shè)備3、 信號(hào)通知設(shè)備4、以及傳輸網(wǎng)絡(luò)設(shè)備5。現(xiàn)在將對(duì)使用AVC/SVC編碼的例 子討論所有以上這些的實(shí)現(xiàn)或?qū)嵤├?，其中，所述AVC/SVC編碼使用RTP 封裝和流。
圖1的視頻傳輸器VT包括諸如攝#4^的視頻捕獲設(shè)備1，視頻捕獲 設(shè)備l能夠生成具有它們的相關(guān)聯(lián)的取樣時(shí)間的視頻幀。由該捕獲設(shè)備生 成的流在圖2a上示出，并且由關(guān)聯(lián)到取樣時(shí)間(tl、 t2、 t3......)的索引
(Fl、 F2、 F3......)標(biāo)識(shí)的很多幀組成。取樣時(shí)間一般來(lái)源于取樣時(shí)鐘，
所述取樣時(shí)鐘在捕獲設(shè)備的本地并且觸發(fā)照相機(jī)的光傳感器。對(duì)于以恒定 幀速率運(yùn)行的捕獲設(shè)備，獲得連續(xù)幀之間的固定時(shí)間周期。如圖2a上所示，以取樣時(shí)間的遞增順序遞送在該捕獲設(shè)備的輸出處的幀，其中，該遞增順 序與幀索引順序相同，所述幀索引順序也是,皮要求的顯示順序。這樣的捕 獲設(shè)備不僅限于遞送實(shí)時(shí)視頻場(chǎng)景的照相機(jī)設(shè)備，而且很多由能夠以取樣 時(shí)間的遞增順序遞送幀的任何設(shè)備組成，所述任何設(shè)備包括遞送本地生成 的或來(lái)自外部視頻內(nèi)g供者的、存儲(chǔ)的或?qū)崟r(shí)的視頻內(nèi)容(直播頻道、
VoD平臺(tái))的任何設(shè)備，其中，取樣情況被關(guān)聯(lián)到每個(gè)幀。關(guān)聯(lián)到幀的取 樣時(shí)間被轉(zhuǎn)發(fā)到在該例子中是SVC編碼器的視頻編碼器2，來(lái)觸發(fā)幀的編 碼過(guò)程，并且被轉(zhuǎn)發(fā)到在該例子中是RTP流設(shè)備的封裝設(shè)備3，封裝設(shè)備 3在RTP流設(shè)備的情況中將使用該信息來(lái)設(shè)置RTP時(shí)間戳。
也被包括在視頻傳輸器VT中的H.264 SVC視頻編碼器2適于將從捕 獲設(shè)備1接收的幀的流編碼為一組至少兩個(gè)可擴(kuò)縮層，所述至少兩個(gè)可擴(kuò) 縮層是互相關(guān)的，以形成一組提供不同空間/時(shí)間/質(zhì)量視頻格式的表示點(diǎn)。 在圖2b中，示出了 SVC視頻編碼器的配置的例子。在該例子中，示出了 包括兩個(gè)層L0和Ll的SVC流，以便L0的解碼僅在QCIF產(chǎn)生呈現(xiàn)點(diǎn)， QCIF是176x144像素的屏幕尺寸格式，并且在該例子中選擇每秒15幀的 幀速率； 一起解碼L0和L1在CIF產(chǎn)生呈現(xiàn)點(diǎn)，其中，CIF對(duì)應(yīng)352x288 像素，是具有每秒30幀的選定幀速率的另一顯示格式的另一例子。通過(guò)這 樣的配置，以及一般通過(guò)依賴(lài)于基于分層B幀的時(shí)間可擴(kuò)縮性的配置，在 編碼器的輸入處的幀的順序不同于視頻編碼器的輸出處的幀/存取單元的
編碼順序，其中，所述編碼器的輸入處的幀的順序與取4羊時(shí)間的順序有關(guān)， 等同于圖2a的幀索引并且在圖2b上以行"幀/AUidx"來(lái)示出，所述視頻 編碼器的輸出處的幀/存取單元的編碼順序在圖2b上以行"AU編碼順序" 來(lái)示出。根據(jù)SVC/AVC編碼方案，視頻編碼器在它的輸出處生成以編碼 NAL單元順序排序的NAL單元流，在圖2c上示出。該圖為每個(gè)NAL單 元指示NAL所指的層和幀索引；例如，第一NAL 1與可擴(kuò)縮層LO的內(nèi) 容、幀索引Fl相關(guān)，第二NAL2與可擴(kuò)縮層L1的內(nèi)容、幀索引Fl相關(guān)， 第三NAL3與層L0、幀索引F3相關(guān)，等等。
視頻編碼器還生成被表示為PS的一組編碼參數(shù)，該組編碼參數(shù)將進(jìn)一步被遞送給信號(hào)通知設(shè)備4，在隨后的段落中將描述信號(hào)通知設(shè)備4。
圖1的視頻傳輸器VT進(jìn)一步包括RTP流設(shè)備3，用于根據(jù)在RTP SVC規(guī)范RFC3984中定義的打包模式的一個(gè)，將流入的NAL單元封裝到 RTP包中。如之前提到的，這些這樣的打包模式包括"單NAL單元"模 式、"非交錯(cuò)模式"或"交錯(cuò)，，模式。在圖3a上示出的例子中，通過(guò)解釋 所述方法的方式僅考慮了 "單NAL單元"模式。不過(guò)，本領(lǐng)域的技術(shù)人 員將知道如何擴(kuò)展根據(jù)本發(fā)明的重排序方法，用于使用非交錯(cuò)模式封裝的 包。
單NAL單元模式每RTP包僅使用 一個(gè)單NAL單元，如圖3a上所示。 在封裝步驟期間，如圖3b上所示的和RFC3550所標(biāo)準(zhǔn)化的每個(gè)RTP頭， 必須遵循以下規(guī)則祐:初始化
1、 對(duì)每個(gè)RTP包增加序號(hào)，每個(gè)RTP會(huì)話具有從隨機(jī)值開(kāi)始的獨(dú)立 序號(hào)。不過(guò)，為了使圖清晰，沒(méi)有使用隨機(jī)值，并且序號(hào)從值l開(kāi)始。
2、 根據(jù)在包中包含的數(shù)據(jù)的取樣時(shí)間，即，根據(jù)被封裝的NAL所參 考的幀的取樣時(shí)間(圖2a的)，設(shè)置時(shí)間戳(TS)。使用以下公式計(jì)算 TS值TS=sampling—time*TS—frequency + random value (TS:取樣時(shí)間 *TS頻率+隨才幾值)，TS— frequency ( TS頻率)對(duì)H.264 AVC/SVC編解 碼器被定義在卯kHz。有兩個(gè)可能同步時(shí)間戳刻度用于所有RTP會(huì)話(相 同的隨機(jī)值)，或獨(dú)立的非同步時(shí)間戳刻度用于每個(gè)RTP^ (這意味著 選擇不同的隨機(jī)值)。這對(duì)將在該文獻(xiàn)的l^段落中解釋的重排序過(guò)程有 輕微的影響。
3、 SSRC (同步源)唯一標(biāo)識(shí)每個(gè)RTP會(huì)話。實(shí)踐中，SSRC值被i史 置為具有非重疊隨^L值(S0， Sl)。
作為結(jié)果，RTP流設(shè)備3適于將圖2c的不同封裝NAL單元根據(jù)它們 的可擴(kuò)縮層索引(LO， Ll)映射到具有SSRC S0和Sl的不同RTP會(huì)話，如 圖3c中所示。例如，來(lái)自可擴(kuò)縮層L0的NAL單元將,皮傳輸?shù)絊SRC-S0 的RTP會(huì)話，來(lái)自可擴(kuò)縮層Ll的NAL單元將被傳輸?shù)絊SRC=S1的RTP 會(huì)活。 一般來(lái)i兌，由RTP流設(shè)備生成N+1個(gè)不同的RTP會(huì)話S0至SN,如圖1中所示。
在我們的例子中，RTP流設(shè)備3的輸出提供兩個(gè)RTP會(huì)話S0和S1， 意p木著如圖3c中所示的并且由SSRC SO和SSRC Sl標(biāo)識(shí)的RTP包的兩 個(gè)流將被輸出。RTP包被根據(jù)等同于存取單元編碼順序的傳輸順序排序。 所以分析處于傳輸順序的RTP包的NAL單元，我們將顯示圖2b的幀或 存取單元順序。
圖1的視頻傳輸器VT進(jìn)一步包括信號(hào)通知設(shè)備4,信號(hào)通知設(shè)備4 能夠在使用由會(huì)話描述協(xié)議(SDP)定義的文本描述的SVC/AVC例子中 生成多媒體服務(wù)的描述。該協(xié)議基于從視頻編碼器2檢索的H.264參數(shù)組 信息，特別定義了 SVC層/RTP會(huì)話相關(guān)性關(guān)系、在每個(gè)SVC層/RTP會(huì) 話中包含的幀速率、相關(guān)的UDP/IP地址和端口。該信號(hào)通知設(shè)備還負(fù)責(zé) 實(shí)現(xiàn)信號(hào)通知傳輸協(xié)議來(lái)與接收器通過(guò)IP網(wǎng)絡(luò)交換信號(hào)通知。這樣的信號(hào) 通知傳輸協(xié)議可以例如是RTSP、 SAP或僅是HTTP。由信號(hào)通知設(shè)備生 成的輸出在圖1中用SDP表示。
圖1的視頻傳輸器VT進(jìn)一步包括傳輸網(wǎng)絡(luò)設(shè)備5，傳輸網(wǎng)絡(luò)設(shè)備5 用于復(fù)用所有流入的RTP和信號(hào)通知流，用于將復(fù)用的包封裝在經(jīng)過(guò)分組 網(wǎng)M輸?shù)?、諸如經(jīng)過(guò)例如互聯(lián)網(wǎng)的IP網(wǎng)^"輸?shù)腎P包的、如果在多播 模式中使用視頻遞送的話可能具有不同目的址的包中。
這樣的分組網(wǎng)絡(luò)PN,諸如IP網(wǎng)絡(luò)，負(fù)責(zé)將包路由和傳輸至目的址。 每個(gè)包可以沿不同的網(wǎng)絡(luò)路徑而行，因此會(huì)有可變延時(shí)、丟包以及不能確 保在接收器保持傳輸順序。由RTP設(shè)備輸出的每個(gè)RTP包的實(shí)際傳輸時(shí) 間因而將依賴(lài)于所使用的網(wǎng) 口 ，所述網(wǎng) 口將可能實(shí)現(xiàn)一些流控制 或流量平滑機(jī)制。因此，大體上，傳輸應(yīng)當(dāng)被視為在非確定時(shí)間使用每個(gè) RTP務(wù)活的RTP包的異步過(guò)程。
在接收器側(cè)，能夠從諸如IP網(wǎng)絡(luò)的分組網(wǎng)絡(luò)檢索諸如IP流的包流的 典型視頻接收器VR, —般包括網(wǎng)絡(luò)接口 6、緩沖器B0至BN、信號(hào)通知 設(shè)備7、解碼器8和顯示設(shè)備9。取決于所使用的特定編碼/封裝協(xié)議，重 排序設(shè)備R也可以是必要的，諸如在該文獻(xiàn)的情況中。再次地，將簡(jiǎn)要描述具有用于進(jìn)一步處理來(lái)自圖2和3的例子的數(shù)據(jù)的實(shí)施例的所有塊。將 更加詳細(xì)地描述根據(jù)本發(fā)明的重排序設(shè)備R。
接收器網(wǎng),口 6能夠根據(jù)在每個(gè)流入的RTP包的RTP頭中包括的 SSRC的值，將接收的包流解復(fù)用為不同的應(yīng)用流，以饋給不同的RTP緩 沖器B0至BN,并且饋給具有信號(hào)通知包的接收者信號(hào)通知設(shè)備7，其中， 所述不同的應(yīng)用流由RTP流和信號(hào)通知傳輸流組成。使用現(xiàn)有的過(guò)程進(jìn)行 解復(fù)用，諸如，在接收IP包的情況下根據(jù)它們的IP多播目的址、或根據(jù) 它們的UDP目的端口 、或才艮據(jù)它們的RTP SSRC路由IP包。
RTP緩沖器能夠存儲(chǔ)相繼接收的RTP包，所述RTP包與由RX網(wǎng)絡(luò) 接口遞送的每個(gè)RTP會(huì)話S1至SN相關(guān)。這些緩沖器被以異步方式、遵 循每個(gè)RTP包的實(shí)際接收時(shí)間饋給。緩沖器還負(fù)責(zé)根據(jù)RTP包的序號(hào)分 類(lèi)RTP包，以便重排序這些RTP包，因?yàn)榉纸M網(wǎng)絡(luò)一般不保證正確的傳 輸順序。RTP緩沖器還消除由網(wǎng)絡(luò)引入的不同的可變時(shí)延，所以它們也被 稱(chēng)為去抖動(dòng)RTP緩沖器。接著我們的兩層/RTP會(huì)話的傳輸?shù)睦?，在?收了圖3c的最后傳輸?shù)陌螅@得每個(gè)RTP緩沖器B0和B1的內(nèi)容， 如圖4上所示。這些緩沖器以傳輸順序包含RTP包，所述RTP包由它們 的被存儲(chǔ)在不同存儲(chǔ)器/緩沖器槽中的序號(hào)、時(shí)間戳(TS )值和SSRC標(biāo)識(shí)。 圖4還為每個(gè)緩沖器示出哪些RTP包將被首先和最后輸出，用作到重排序 設(shè)備R的輸入，該順序等同于每個(gè)RTP會(huì)話的RTP序號(hào)順序。
視頻接收器VR進(jìn)一步包括信號(hào)通知設(shè)備7，信號(hào)通知設(shè)備7在用于
應(yīng)的SDP描述，并且將會(huì)話相關(guān)性信息和每會(huì)話幀速率遞送到重排序設(shè) 備，將H.264參數(shù)組遞送到SVC解碼設(shè)備8。在圖1中，這些H.264 M 組祐束示為PS數(shù)據(jù)，而遞送到重排序和復(fù)用設(shè)備R的其它SDP信息祐束 示為I。
該視頻接收器進(jìn)一步包括SVC解碼器8，用于以正確次序解碼所接收 的NAL單元，被稱(chēng)為NAL單元解碼順序，其對(duì)應(yīng)更早期的編碼順序。因 為該要求的順序與從RTP緩沖器直接出來(lái)的順序不同，并且因?yàn)橐獙?shí)施一些復(fù)用，重排序和復(fù)用設(shè)備是必要的。這將在下一段落中予以更廣泛的討
論o
在任何情況下，該重排序和復(fù)用設(shè)備將以正確的順序向解碼器遞送
NAL單元，解碼器相應(yīng)地將能夠以顯示順序檢索原始幀。在SVC解碼器 8的輸出的幀被取樣時(shí)間觸發(fā)，并且最終被遞送到諸如CRT或其它顯示器 的顯示設(shè)備9，顯示設(shè)備9能夠以幀顯示順序顯示流入的幀，所述幀顯示 順序由關(guān)聯(lián)到每個(gè)幀的取樣時(shí)間調(diào)整(cadenced)。
根據(jù)本發(fā)明的重排序和復(fù)用設(shè)備適于首先識(shí)別公用時(shí)間變量，諸如同 步時(shí)間戳TS，該同步時(shí)間戳TS是圖2a的取樣時(shí)間相關(guān)的RTP頭時(shí)間戳， 與下一個(gè)存取單元或幀相關(guān)聯(lián)，通過(guò)讀M沖器Ssync的下一包的該TS 值，Ssync是具有最高幀速率的RTP會(huì)話，然后適于按照會(huì)話相關(guān)性跨 RTP會(huì)話解封所有的RTP包，來(lái)以圖6上所示的NAL單元解碼順序輸出 NAL單元。我們注意到，圖6示出了和圖2c類(lèi)似的順序，該順序是我們 應(yīng)當(dāng)考慮饋給SVC解碼器8的順序。該設(shè)備R因而通過(guò)讀取在關(guān)聯(lián)到每 個(gè)AU的RTP包的RTP頭中包括的TS如險(xiǎn)索關(guān)聯(lián)到幀的取樣時(shí)間，并 且進(jìn)一步將該信息提供到SVC解碼器8和顯示設(shè)備9兩者來(lái)觸發(fā)解碼過(guò)程 和最終得到的幀的顯示，以便兩個(gè)設(shè)備在取樣時(shí)間上同步，所述取樣時(shí)間 在傳輸器處也祐 使用。視頻遞送的實(shí)時(shí)方面由此,皮保證。
要注意關(guān)于或者使用公用RTP時(shí)間戳刻度用于所有RTP會(huì)話(同步 時(shí)間戳)或者另一方面使用每RTP^"不同時(shí)間戳刻度(非同步時(shí)間戳) 的情形。在后一種情況中，在被所提出的算法讀取之前，每個(gè)包的RTP頭 中包括的TS必須首先4皮在公用時(shí)間變量中解釋?zhuān)龉脮r(shí)間變量諸如 使用已知的RFC3550 (RTCP/掛鐘映射)機(jī)制的公用掛鐘時(shí)間參考。
根據(jù)本方面的方法和設(shè)備基本涉及來(lái)自圖1中所示出的體系結(jié)構(gòu)的塊 R。 一般來(lái)說(shuō)，該包復(fù)用和重排序設(shè)備R適于接收這樣的包，所述這樣的 包屬于視頻接收器VR中的N+l個(gè)緩沖器S0至SN的不同的N+l個(gè)解復(fù) 用的RTP流，并且進(jìn)一步適于從它們提取NAL單元并將它們排列成正確 的順序用于進(jìn)一步遞送到解碼器D作為一個(gè)單獨(dú)的流。根據(jù)本發(fā)明的方法基本包括兩個(gè)主要步驟第一步包括搜索諸如下一 RTP包的同步時(shí)間戳TS的公用時(shí)間變量或公用掛鐘時(shí)間參考，所述公用 掛鐘時(shí)間參考自動(dòng)參考具有最高幀速率的流的并且處于解碼順序的下 一存 取單元AU或幀，第二步是遵循會(huì)話相關(guān)性的順序，以解碼順序跨會(huì)話輸 出包。因?yàn)榻獯a順序和編碼順序相關(guān)，本方法因而包括以與編碼所述數(shù)據(jù) 的編碼過(guò)程相關(guān)的預(yù)定順序，在所述多媒體流之中具有最高幀速率的流的 包內(nèi)，搜索與所述多媒體數(shù)據(jù)的下一幀相關(guān)聯(lián)的包的公用時(shí)間變量的步驟， 以及以會(huì)話相關(guān)性的順序提供處于跨所述會(huì)話的所述預(yù)定順序的包的步 驟。
借助圖6解釋用于實(shí)現(xiàn)這樣的方法的詳細(xì)實(shí)施例。本方法以從RTP緩 沖器接收RTP包開(kāi)始，并且基于SDP信號(hào)通知設(shè)備7的輸出，并行確定 有效會(huì)話的列表。因而從7接收有效會(huì)話的列表，以及每會(huì)話的所有要求 的信息。取決于終端類(lèi)型，有效會(huì)活的列表可以是在SDP中定義的所有會(huì) 話的子集，例如，PDA將僅訂購(gòu)兩個(gè)有效會(huì)活，因?yàn)樘峁〩DTV的第三 個(gè)會(huì)話對(duì)PDA沒(méi)用。選擇將使用哪些會(huì)話與視頻接收器自身有關(guān)，并且一 般在設(shè)備中被硬編碼，而且與嵌入式部件的性能有關(guān)，例如，CPU速度、 總可用存儲(chǔ)、屏幕大小、視頻解碼器簡(jiǎn)檔......
接下來(lái)，要搜索具有最高幀速率的RTP會(huì)話。簡(jiǎn)單的解決方案涉及確 定凈錄示為Ssync的內(nèi)變量，所述內(nèi)變量是指在有效^t的列表中具有最 高幀速率的會(huì)話的會(huì)話號(hào)。可以通過(guò)讀取由信號(hào)通知設(shè)備7接收的、關(guān)聯(lián) 到SDP協(xié)議中的RTP會(huì)話的所有行"a=framerate (幀速率)"，以^LiL 現(xiàn)與最大 "a-framerate (幀速率)"值相關(guān)聯(lián)的會(huì)話標(biāo)識(shí)符，來(lái)發(fā)現(xiàn)最 高幀速率的M。在設(shè)備R中的、計(jì)算每個(gè)M的幀速率的另一方法，是 發(fā)現(xiàn)在所考慮的^^內(nèi)的兩個(gè)包之間的時(shí)間戳的最小差，該差的倒數(shù)給出 幀速率。應(yīng)當(dāng)在每個(gè)RTP會(huì)話上進(jìn)行該幀速率計(jì)算步驟。例如，對(duì)M L0，時(shí)間戳之間的最小差是2，對(duì)會(huì)話L1，最小差是l，因此，Ll是更高 幀速率的會(huì)話，因?yàn)?>1/2。具有最高幀速率的會(huì)活得到屬性"Ssync"。 Ssync是存儲(chǔ)最高幀速率的RTP會(huì)話的標(biāo)識(shí)符的內(nèi)變量，例如，在我們的例子中，Ssync=Sl。 一旦該特定Ssync被發(fā)現(xiàn)，具有最高幀速率的RTP流 因而也祐發(fā)現(xiàn)，并且與Ssync相關(guān)聯(lián)的緩沖器的下一個(gè)包被讀取，Ssync 在圖4中的例子中是B1，該包被稱(chēng)為Psync?？蛇x步驟可以包括在具有最 高幀速率的該RTP流中檢測(cè)丟包。如果存在丟包，即，Psync顯示出^^ Ssync內(nèi)的序號(hào)中的間隙(gap)，借助搜索Ssync變量的另一值來(lái)搜索最 高幀速率的下一個(gè)RTP流，在該步驟之后，再次使用下一個(gè)Ssync重復(fù)確 定下一個(gè)包Psync的過(guò)程。在沒(méi)有發(fā)現(xiàn)丟包的Ssync的情況中，在關(guān)聯(lián)到 Ssync的包Psync的RTP頭中包括的同步時(shí)間戳TS被讀取。在圖4的例 子中，具有最高幀速率的RTP流是緩沖器Bl中存儲(chǔ)的流Sl，然后不同 RTP包的時(shí)間戳被提取。以具有最高幀速率的該SI會(huì)活中的以序號(hào)排序 的包在所有存取單元中是固有存在的，因?yàn)樗哂凶罡邘俾剩虼藳](méi)有 存取單元被遺漏。因此，它們的序號(hào)映射存取單元解碼順序的解碼順序。 這個(gè)第一時(shí)間戳因而對(duì)應(yīng)TSl。
本方法的第二步驟然后包括按照會(huì)活相關(guān)性的順序輸出處于跨會(huì)活的 解碼順序的包。
該第二步驟的實(shí)施例是使用在信令會(huì)話描述協(xié)議中定義的會(huì)話相關(guān)性 的順序，如在圖5的較低部分中所示出的。^t相關(guān)性定義存取單元內(nèi)的 NAL單元的解碼順序。屬于最低相關(guān)會(huì)話的NAL單元應(yīng)當(dāng)被首先輸出， 最高相關(guān)M的NAL單元應(yīng)當(dāng)被最后輸出。在我們的例子中，這意味著 屬于相同存取單元的、并因而具有相同時(shí)間戳的會(huì)話LO的NAL單元，應(yīng) 當(dāng)比會(huì)話LI的NAL單元更先被輸出。在每個(gè)^4t內(nèi)，通過(guò)以下序號(hào)檢索 NAL單元的解碼順序。因此，在所提出方法的第二步驟中，會(huì)話以從最低 相關(guān)會(huì)話SO開(kāi)始到最高相關(guān)會(huì)話Sn的循環(huán)被處理，其中，所述最低相關(guān) 會(huì)話SO在我們的例子中是會(huì)話L0，所述最高相關(guān)會(huì)活Sn在我們的例子中 是會(huì)話L1。然后，對(duì)該循環(huán)的每個(gè)會(huì)話Si，在會(huì)話Si的緩沖器中搜索具 有關(guān)聯(lián)到當(dāng)前存取單元的特定時(shí)間戳TS的第一個(gè)包。如果至少一個(gè)包存 在，它意味著MSi包含當(dāng)前存取單元的至少一個(gè)包。序號(hào)在當(dāng)前存取單 元的包之前的任何包被從緩沖器Si移除；在臨時(shí)高峰網(wǎng)絡(luò)延時(shí)的情況中，
17這些后期包可以在會(huì)話中出現(xiàn)，并且在該步驟被移除以避免存儲(chǔ)器溢出。
然后遵循會(huì)話內(nèi)的NAL單元解碼順序，具有等于當(dāng)前存取單元的TS的時(shí) 間戳的緩沖器Si的所有包以序號(hào)的遞增順序被輸出。如果在緩沖器Si中 不存在具有當(dāng)前存取單元的TS的包，這意味著在用于當(dāng)前存取單元的該 會(huì)話中沒(méi)有可用的NAL單元，因?yàn)樵摃?huì)話的幀速率低于最高幀速率，并 且沒(méi)有關(guān)聯(lián)到用于該存取單元的Si的表示點(diǎn)，或者因?yàn)殛P(guān)聯(lián)到當(dāng)前存取單 元的包在網(wǎng)g輸期間丟失。在兩種情況中，在Si中沒(méi)有要輸出的NAL 單元，我們進(jìn)入下一個(gè)會(huì)話。在從SO到Sn的循環(huán)中，所有會(huì)話被處理以 檢索跨當(dāng)前存取單元的所有會(huì)話的NAL單元解碼順序。在該循環(huán)的終點(diǎn)， 我們通過(guò)重復(fù)整個(gè)算法進(jìn)入下 一個(gè)存取單元。
圖6中示出了圖2-4的例子的最終結(jié)果，其中，從不同RTP包中提取 NAL單元的順序#_示出，因?yàn)檫@些NAL單元最終將由重排序設(shè)備輸出到 解碼器。如可以容易看到的，該順序與圖2c的編碼順序相同，這是本發(fā)明 的目標(biāo)。
要注意的是，以下僅示出本發(fā)明的原理。因而將要理解的是，本領(lǐng)域 的技術(shù)人員將能夠設(shè)計(jì)各種盡管在此處未明確描述或示出但是體現(xiàn)本發(fā)明 原理并且被包括在本發(fā)明的精神和范圍內(nèi)的配置。此外，此處陳述的所有 例子和條件語(yǔ)言主要僅用于幫助讀者理解本發(fā)明的原理和發(fā)明者提出的以 促進(jìn)本領(lǐng)域的概念的教學(xué)目的，并且將被理解為對(duì)這樣具體陳述的例子和 條件沒(méi)有限制。而且，此處陳述本發(fā)明的原理、方面和實(shí)施例的所有聲明 以及其特定例子，旨在覆蓋其結(jié)構(gòu)上的和功能上的等同物。另外，這樣的 等同物包括當(dāng)前已知的等同物以及未來(lái)發(fā)展的等同物，即，M的、無(wú)論 結(jié)構(gòu)如何實(shí)施相同功能的任何單元。
盡管以上已結(jié)合特定裝置描述了本發(fā)明的原理，要清楚理解的是，該 描述僅是通過(guò)示例方式進(jìn)行，不是對(duì)本發(fā)明范圍的限制，本發(fā)明的范圍在 所附權(quán)利要求中進(jìn)行定義。
權(quán)利要求
1. 一種用于重拍序和復(fù)用來(lái)自屬于互相關(guān)會(huì)話的多媒體數(shù)據(jù)流(S0、S1、......SN)的多媒體包的方法，所述方法包括在所述多媒體流之中具有最高幀速率的流的包內(nèi)，以與編碼所述數(shù)據(jù)的編碼過(guò)程相關(guān)的預(yù)定順序，搜索與所述多媒體數(shù)據(jù)的下一個(gè)幀(AU)相關(guān)聯(lián)的包的公用時(shí)間變量(TS)的步驟；以及以會(huì)話互相關(guān)性的順序提供處于跨所述會(huì)話的所述預(yù)定順序的包的步驟。
2. 根據(jù)權(quán)利要求l所述的方法，其中，從接收的沒(méi)有數(shù)據(jù)包丟失的流 中搜索所述具有最高幀速率的一個(gè)流。
3. 根據(jù)權(quán)利要求1或2所述的方法，其中，所述互相關(guān)會(huì)話是實(shí)時(shí)傳 輸協(xié)議會(huì)話。
4. 根據(jù)權(quán)利要求1至3的任一項(xiàng)所述的方法，其中，所述編碼過(guò)程是 可擴(kuò)縮視頻編解碼器編碼過(guò)程，并且所述互相關(guān)會(huì)話傳輸普通多媒體內(nèi)容 的可擴(kuò)縮層表示。
5. 根據(jù)之前權(quán)利要求1至4的任一項(xiàng)所述的方法，其中，信號(hào)通知信 息被用于確定所述具有最高幀速率的流。
6. —種用于重排序和復(fù)用接收的來(lái)自屬于互相關(guān)會(huì)話的多媒體數(shù)據(jù)流 的多媒體包的設(shè)備(R)，所述設(shè)備包括用于從所述多媒體數(shù)據(jù)流接收 所述包的裝置；用于在所述流之中選擇具有最高幀速率的流的選擇裝置； 用于以與編碼所述數(shù)據(jù)的編碼過(guò)程相關(guān)的預(yù)定順序，在所述具有最高幀速 率的流的包內(nèi)，搜索與所述多媒體數(shù)據(jù)的下一個(gè)幀(AU)相關(guān)聯(lián)的包的公 用時(shí)間變量(TS)的裝置；以及用于以會(huì)話互相關(guān)性的順序提供處于跨所 述會(huì)話的所述預(yù)定順序的包的輸出裝置。
7. 根據(jù)權(quán)利要求6所述的設(shè)備，其中，所述選擇裝置進(jìn)一步適于從這 些接收的沒(méi)有數(shù)據(jù)包丟失的流中搜索所述具有最高幀速率的流。
8. 根據(jù)權(quán)利要求6或權(quán)利要求7所述的設(shè)備，其中，所述互相關(guān)M 是RTPM。
9. 根據(jù)權(quán)利要求6至8的任一項(xiàng)所述的設(shè)備，其中，所述編碼過(guò)程是 可擴(kuò)縮視頻編碼過(guò)程，并且所述互相關(guān)會(huì)話傳輸普通多媒體內(nèi)容的可擴(kuò)縮 層表示。
10. 根據(jù)之前權(quán)利要求6至9的任一項(xiàng)所述的設(shè)備，進(jìn)一步包括用于 分析信號(hào)通知信息的裝置，用于確定所述具有最高幀速率的流。
11. 一種包括根據(jù)之前權(quán)利要求6至10的任一項(xiàng)的設(shè)備的視頻接收器 (VR)。
全文摘要
本發(fā)明提供了一種重排和復(fù)用屬于互相關(guān)會(huì)話的多媒體流的包的方法和設(shè)備。所述方法包括以與編碼所述數(shù)據(jù)的編碼過(guò)程相關(guān)的預(yù)定順序，在所述多媒體流之中具有最高幀速率的流的包內(nèi)，搜索與所述多媒體數(shù)據(jù)的下一個(gè)幀相關(guān)聯(lián)的包的公用時(shí)間變量(TS)的步驟；以及以會(huì)話互相關(guān)性的順序提供處于跨所述會(huì)話的所述預(yù)定順序的包的步驟。還公開(kāi)了一種用于實(shí)施該方法的設(shè)備。
文檔編號(hào)H04N7/24GK101505316SQ200910005708
公開(kāi)日2009年8月12日 申請(qǐng)日期2009年2月3日 優(yōu)先權(quán)日2008年2月4日
發(fā)明者O·波佩爾, Y·勒普羅沃 申請(qǐng)人:阿爾卡特朗訊公司