專利名稱：媒體流處理的制作方法
技術(shù)領(lǐng)域：
本發(fā)明總體涉及處理和產(chǎn)生包括具有所分配的時(shí)間戳的媒體幀在內(nèi)的媒體流。
背景技術(shù)：
通過預(yù)測(cè)可以利用時(shí)間和空間冗余，從而使對(duì)視頻以及其它類型的媒體和多媒體 的緊湊表示成為可能。例如，像素預(yù)測(cè)是諸如H. 26UH. 263.MPEG-4以及H. 264等視頻編碼 標(biāo)準(zhǔn)的重要部分。在H. 264中利用了三種像素預(yù)測(cè)方法，即幀內(nèi)預(yù)測(cè)、幀間預(yù)測(cè)以及雙向預(yù) 測(cè)。幀內(nèi)預(yù)測(cè)提供了由當(dāng)前幀的先前解碼像素對(duì)當(dāng)前像素塊進(jìn)行空間預(yù)測(cè)。幀間預(yù)測(cè)利用 先前解碼的幀中相應(yīng)但移位的像素塊來給出當(dāng)前像素塊的時(shí)間預(yù)測(cè)。雙向預(yù)測(cè)給出兩個(gè)幀 間預(yù)測(cè)的加權(quán)平均。因此，幀內(nèi)預(yù)測(cè)幀不依賴于視頻流中的任何先前幀，而幀間預(yù)測(cè)幀(包 括那些雙向預(yù)測(cè)的幀間預(yù)測(cè)幀)，利用來自視頻流中的一個(gè)或多個(gè)其它參考幀的運(yùn)動(dòng)補(bǔ)償。具有媒體播放器的用戶終端僅僅能夠在幀內(nèi)預(yù)測(cè)幀處開始解碼和呈現(xiàn)媒體數(shù)據(jù)。 為了能夠調(diào)收(time-in)視頻流而沒有太長(zhǎng)延時(shí)，通常周期性地發(fā)送幀內(nèi)預(yù)測(cè)幀。然而，幀 內(nèi)預(yù)測(cè)幀與幀間預(yù)測(cè)幀相比，在比特的數(shù)量上通常更大，從而顯著地增加了視頻流中的開 銷。典型地，視頻流的媒體幀及其攜帶幀的數(shù)據(jù)包在流中聚集在一起。例如，在系統(tǒng)前 向糾錯(cuò)(FEC)的情況下，攜帶幀的數(shù)據(jù)包聚集至不同的FEC塊中，并與修復(fù)信息一起發(fā)送。 在解碼順序下，這樣的FEC塊應(yīng)從幀內(nèi)預(yù)測(cè)幀開始，從而差錯(cuò)不會(huì)在FEC塊間傳播。這也避 免了較長(zhǎng)的調(diào)收時(shí)間，即FEC調(diào)收應(yīng)與幀內(nèi)預(yù)測(cè)幀調(diào)收對(duì)齊。圖1示意了這樣的將幀16、22- 、32-；34劃分至FEC塊10、20、30中。在圖中，1222、 1332分別表示FEC塊20、30序號(hào)2和3的初始幀內(nèi)預(yù)測(cè)幀。Pij 16,24,26,34表示FEC塊 10,20,30序號(hào)i的幀間預(yù)測(cè)幀j。FEC塊20的每個(gè)媒體幀2246具有對(duì)應(yīng)的時(shí)間戳40，定 義了 FEC塊20中媒體的呈現(xiàn)或播放時(shí)間調(diào)度。目前，對(duì)于傳統(tǒng)編碼序列的平均調(diào)收時(shí)間是1. 5XFEC塊大小。首先，必須等待整 個(gè)FEC塊，以能夠執(zhí)行FEC解碼。每個(gè)FEC塊具有單個(gè)幀內(nèi)預(yù)測(cè)幀，還需要平均等待額外的 半個(gè)FEC ±夬，以獲得幀內(nèi)預(yù)測(cè)幀。這是因?yàn)樵贔EC塊開始之后進(jìn)行調(diào)收，由于幀間預(yù)測(cè)幀 的時(shí)間預(yù)測(cè)屬性，在后續(xù)FEC塊的下一個(gè)幀內(nèi)預(yù)測(cè)幀前，阻止解碼器和媒體播放器開始解 碼和呈現(xiàn)媒體數(shù)據(jù)。在圖1的上部分，用戶終端在幀間預(yù)測(cè)幀P23和P24之間調(diào)收流1。這意味著用戶 終端將僅僅接收當(dāng)前FEC塊20的幀間預(yù)測(cè)幀1^4至&7。因此，用戶終端在可以發(fā)起媒體播 放之前，必須等待接收到下一 FEC塊30的幀內(nèi)預(yù)測(cè)幀1332，這在圖1的下部分進(jìn)行了示例 說明。用戶終端在可以對(duì)包執(zhí)行解碼之前，還需要等待整個(gè)FEC塊。這是因?yàn)镕EC塊中稍 后的數(shù)據(jù)包被用于修復(fù)較早的包，并且不希望在每次出現(xiàn)可修復(fù)的差錯(cuò)時(shí)暫停。該圖通過 指示調(diào)收以及指示在緩存整個(gè)FEC塊后接著進(jìn)行播放來對(duì)此進(jìn)行表示。但是，因?yàn)橛脩艚K 端沒有正確接收到FEC塊20的先前幀12、P21至P23，因此將不能使用接收到的幀間預(yù)測(cè)幀 24 至
現(xiàn)在利用當(dāng)前實(shí)施的技術(shù)，可以對(duì)數(shù)據(jù)包進(jìn)行交織。在該情況下，可以將FEC塊 10,20的初始幀內(nèi)預(yù)測(cè)幀12、22放至FEC塊10、20的末尾，這在圖2中進(jìn)行了示意。圖2與 圖1相比，各個(gè)FEC塊10、20、30內(nèi)媒體幀的順序12-16、22_26、32_36已進(jìn)行了交換。在與圖1中相同的發(fā)送順序下的時(shí)間點(diǎn)調(diào)收，用戶終端現(xiàn)在將接收到幀間預(yù)測(cè)幀 P21至P23，以及當(dāng)前FEC塊20的幀內(nèi)預(yù)測(cè)幀12。因此，F(xiàn)EC塊20的一部分是可解碼的。然而，該交織將部分調(diào)收延時(shí)向序列中移動(dòng)了一小段距離。因此，播放幀12、P21 > P22>P23,就好像調(diào)收位于FEC塊20的起始。然而，因?yàn)闆]有接收到FEC塊20的下四幀P24至 P27，在本例中，將顯示幀P23，直至可以播放來自下一 FEC塊30的第9幀1332。結(jié)果，將P23 的媒體數(shù)據(jù)顯示很長(zhǎng)的一段時(shí)間，這變得在視覺上對(duì)用戶沒有吸引力。當(dāng)調(diào)收FEC塊的末 尾時(shí)，該問題將進(jìn)一步加劇，意味著連續(xù)呈現(xiàn)中的延時(shí)可以很大，直至FEC塊的長(zhǎng)度。

發(fā)明內(nèi)容
本發(fā)明實(shí)施例克服了現(xiàn)有技術(shù)配置中的上述以及其它缺點(diǎn)。一般目的在于提供一種媒體幀的流，允許根據(jù)不同的呈現(xiàn)時(shí)間調(diào)度來對(duì)媒體幀進(jìn) 行替換處理。通過由所附專利權(quán)利要求所限定的實(shí)施例來滿足該目的以及其它目的。簡(jiǎn)要地，實(shí)施例涉及產(chǎn)生包括多個(gè)媒體幀的流。這些媒體幀中的每一個(gè)具有對(duì)應(yīng) 的所分配的缺省時(shí)間戳。這些缺省時(shí)間戳根據(jù)缺省呈現(xiàn)時(shí)間調(diào)度，定義媒體幀的媒體數(shù)據(jù) 的呈現(xiàn)時(shí)間。對(duì)流中多個(gè)媒體幀中的至少一部分分配至少一個(gè)對(duì)應(yīng)的替換時(shí)間戳。這些替 換時(shí)間戳根據(jù)至少一個(gè)替換呈現(xiàn)時(shí)間調(diào)度，定義媒體幀的媒體數(shù)據(jù)的替換呈現(xiàn)時(shí)間。當(dāng)將流中的媒體數(shù)據(jù)組織成不同的幀分組時(shí)，尤其是在幀分組中以分層幀發(fā)送順 序來組織媒體幀時(shí)，使用替換時(shí)間戳尤其具有優(yōu)勢(shì)。當(dāng)在該幀分組中的中間位置調(diào)收流時(shí) (即丟失幀分組的至少一個(gè)或多個(gè)媒體幀)，即使不在幀分組的開始調(diào)收，替換時(shí)間戳也可 以用于實(shí)現(xiàn)高效的數(shù)據(jù)處理。在該情況下，針對(duì)所調(diào)收的幀分組接收到的媒體幀的替換時(shí) 間戳用于確定這些媒體幀的媒體數(shù)據(jù)的替換呈現(xiàn)時(shí)間調(diào)度。因此，通過根據(jù)替換時(shí)間戳而 不是傳統(tǒng)的缺省時(shí)間戳來執(zhí)行媒體呈現(xiàn)，可以使由于所丟失的分組的一個(gè)或多個(gè)媒體幀所 導(dǎo)致的在媒體呈現(xiàn)中的任何間隙的影響降低，或甚至不存在。實(shí)施例還涉及用于產(chǎn)生和處理流的媒體幀的設(shè)備以及涉及這樣的流。


通過結(jié)合附圖參考下面的描述，可以最佳地理解本實(shí)施例及其目的以及優(yōu)勢(shì)，其 中，圖1示意性地示出了根據(jù)現(xiàn)有技術(shù)的媒體幀的流的發(fā)送和呈現(xiàn)。圖2示意性地示出了采用交織媒體幀的媒體幀的流的發(fā)送和呈現(xiàn)。圖3是示出了根據(jù)實(shí)施例的產(chǎn)生媒體幀的流的方法的流程圖。圖4示意性地示出了根據(jù)實(shí)施例的采用替換時(shí)間戳的媒體幀的流的發(fā)送和呈現(xiàn)。圖5示意性地示出了根據(jù)另一實(shí)施例的采用替換時(shí)間戳的媒體幀的流的發(fā)送和 呈現(xiàn)。圖6是示出了根據(jù)實(shí)施例的用于產(chǎn)生媒體幀的流的設(shè)備的示意框圖。
圖7是示出了根據(jù)實(shí)施例的處理媒體幀的流的方法的流程圖。圖8是示出了圖7中的流處理方法的附加可選步驟的流程圖。圖9是示出了圖7中的流處理方法的附加可選步驟的流程圖。圖10是示出了圖7中的流處理方法的附加可選步驟的流程圖。圖11是示出了圖7中的流處理方法的附加可選步驟的流程圖。圖12是根據(jù)本實(shí)施例的用于處理媒體幀的流的設(shè)備的示意框圖；以及圖13是可以在其中實(shí)現(xiàn)實(shí)施例的無線通信系統(tǒng)的一部分的示意概要圖。
具體實(shí)施例方式在附圖中，對(duì)于相應(yīng)的或相似的元素將采用相同的參考符號(hào)。實(shí)施例涉及包括攜帶媒體幀的數(shù)據(jù)包在內(nèi)的媒體流的產(chǎn)生以及使用。如現(xiàn)有技術(shù) 所知，該媒體幀或更準(zhǔn)確地說攜帶媒體幀的媒體數(shù)據(jù)的數(shù)據(jù)包包含所分配的時(shí)間戳。在解 碼以及呈現(xiàn)或播放期間使用這些時(shí)間戳，以定義媒體的呈現(xiàn)或播放順序和時(shí)間。在現(xiàn)有技 術(shù)配置中，每個(gè)媒體幀具有單個(gè)時(shí)間戳，定義該媒體幀的媒體的呈現(xiàn)時(shí)間。本發(fā)明的實(shí)施例采取了截然不同的方法，對(duì)媒體流中的至少某些媒體幀分配替換 時(shí)間戳。作為結(jié)果，這些媒體幀中的每一個(gè)具有多個(gè)所分配的時(shí)間戳，定義媒體幀中媒體的 不同的呈現(xiàn)時(shí)間。因此，使用根據(jù)替換呈現(xiàn)時(shí)間調(diào)度定義呈現(xiàn)時(shí)間的至少一個(gè)替換時(shí)間戳， 來補(bǔ)充根據(jù)缺省呈現(xiàn)時(shí)間調(diào)度定義呈現(xiàn)時(shí)間的傳統(tǒng)的缺省時(shí)間戳。如以下所公開，諸如媒體播放器、轉(zhuǎn)碼器等媒體處理終端可以將媒體流的替換時(shí) 間戳用于不同目的。媒體或多媒體數(shù)據(jù)指可以由內(nèi)容提供商或服務(wù)器提供給媒體播放器來呈現(xiàn)數(shù)據(jù) 的任何數(shù)據(jù)。典型的優(yōu)選示例包括視頻數(shù)據(jù)和/或音頻數(shù)據(jù)。媒體數(shù)據(jù)還可以是可伸縮視 頻數(shù)據(jù)以及可以被處理并呈現(xiàn)以形成不同場(chǎng)景的富媒體的形式，包括可伸縮矢量圖(SVG)。根據(jù)本實(shí)施例的媒體流包括多個(gè)媒體幀，每個(gè)媒體幀包括媒體數(shù)據(jù)。從而，該媒體 幀可以是攜帶視頻數(shù)據(jù)的視頻媒體幀。傳統(tǒng)上將視頻媒體幀分類為幀內(nèi)預(yù)測(cè)幀(I幀)或 幀間預(yù)測(cè)幀，包括預(yù)測(cè)幀(P幀)以及雙向預(yù)測(cè)幀(B幀)。媒體幀還可以是攜帶音頻數(shù)據(jù)的 音頻幀。在可伸縮視頻數(shù)據(jù)的情況下，媒體幀可以與可伸縮視頻數(shù)據(jù)的基本層相對(duì)應(yīng)或攜 帶適用于基本層的附加增強(qiáng)層的數(shù)據(jù)。傳統(tǒng)上，富媒體包括場(chǎng)景或隨機(jī)訪問點(diǎn)，以及所謂的 場(chǎng)景更新。因此，媒體幀還可以攜帶該場(chǎng)景數(shù)據(jù)或場(chǎng)景更新數(shù)據(jù)。圖3是示出了根據(jù)實(shí)施例的產(chǎn)生媒體幀的流的方法的流程圖。該方法從步驟Sl 開始，其中，提供多個(gè)媒體幀。在步驟Sl中提供幀可以通過從先前已經(jīng)錄入了媒體數(shù)據(jù)的 可訪問媒體存儲(chǔ)器取得幀的媒體數(shù)據(jù)來實(shí)現(xiàn)?？蛇x地，從某些其它外部單元接收媒體幀，在 該外部單元中，已經(jīng)存儲(chǔ)、記錄或產(chǎn)生了媒體數(shù)據(jù)。另一種可能性是實(shí)際創(chuàng)建媒體數(shù)據(jù)，諸 如記錄視頻序列或合成產(chǎn)生媒體數(shù)據(jù)。對(duì)在步驟Sl中提供的媒體幀分別分配了根據(jù)缺省呈現(xiàn)時(shí)間調(diào)度定義媒體幀的媒 體呈現(xiàn)時(shí)間的缺省時(shí)間戳。該缺省時(shí)間戳是分配給媒體幀的傳統(tǒng)時(shí)間戳并在媒體處理(諸 如對(duì)媒體進(jìn)行解碼或呈現(xiàn))期間使用。通常，媒體幀具有由缺省時(shí)間戳規(guī)定的所定義的呈 現(xiàn)順序和時(shí)間。如現(xiàn)有技術(shù)所知，媒體幀的媒體數(shù)據(jù)可以裝在一個(gè)數(shù)據(jù)包中，或按照發(fā)送順序通常是連續(xù)的多個(gè)數(shù)據(jù)包中。在前一種情況下，在媒體幀和數(shù)據(jù)包之間具有一對(duì)一的關(guān)系，意 味著可以將對(duì)媒體幀分配的缺省時(shí)間戳看作被分配給攜帶媒體幀的數(shù)據(jù)的數(shù)據(jù)包，或反之 亦然。在后一種情況下，優(yōu)選地，對(duì)攜帶媒體幀的數(shù)據(jù)的全部數(shù)據(jù)包分配該媒體幀的缺省時(shí) 間戳。因此，優(yōu)選地，與單個(gè)媒體幀相關(guān)聯(lián)的全部這些數(shù)據(jù)包包含相同的缺省時(shí)間戳的通 知。下面，將缺省或替換時(shí)間戳討論為被分配給媒體幀。然而，如上所公開，這也涵蓋對(duì)攜 帶媒體幀的數(shù)據(jù)的數(shù)據(jù)包分配缺省和替換時(shí)間戳。在可選的但是優(yōu)選實(shí)施例中，所提供的具有缺省時(shí)間戳的媒體幀被組織到多個(gè)幀 分組之中。該幀分組包括流的多個(gè)媒體幀，優(yōu)選地，由缺省時(shí)間戳定義的多個(gè)連續(xù)的媒體 幀。與媒體流相關(guān)聯(lián)的在現(xiàn)有技術(shù)中所使用的該幀分組的非限定性示例是所謂的前向糾錯(cuò) 編碼(FEC)塊或組。在視頻數(shù)據(jù)的情況下，該FEC塊包括幀內(nèi)預(yù)測(cè)幀，其后按照由缺省時(shí)間 戳定義的呈現(xiàn)順序跟著多個(gè)幀間預(yù)測(cè)幀。FEC是一種對(duì)數(shù)據(jù)發(fā)送進(jìn)行差錯(cuò)控制的系統(tǒng)，借助 該系統(tǒng)，在媒體數(shù)據(jù)中增加冗余，并且接收方可以利用冗余來糾正在數(shù)據(jù)發(fā)送和接收期間 發(fā)生的差錯(cuò)。優(yōu)選地，按照分層幀發(fā)送順序來組織屬于幀分組(諸如FEC塊)的媒體幀。在該情 況下，優(yōu)選地，在發(fā)送順序的末尾提供分層頂層幀，而在發(fā)送順序的開始提供分層底層幀。 該幀發(fā)送順序與由所分配的時(shí)間戳定義的媒體幀的呈現(xiàn)順序不同，并且通常并不相關(guān)。在 圖1所示的現(xiàn)有技術(shù)配置中，幀分組20的媒體幀22至沈的發(fā)送順序與幀呈現(xiàn)順序相符。 然而，在圖2中，幀分組20的媒體幀22至沈的發(fā)送順序基本上與由分配給媒體幀22至沈 的缺省時(shí)間戳40定義的呈現(xiàn)順序相反。通常，通過交織實(shí)現(xiàn)的該分層幀發(fā)送順序是優(yōu)選 的，這是因?yàn)榧词拐{(diào)收發(fā)生在FEC塊20開始之后的某個(gè)位置，該分層幀發(fā)送順序也允許調(diào) 收媒體播放器解碼和呈現(xiàn)媒體數(shù)據(jù)22-26的至少一部分。因此，優(yōu)選的實(shí)施方案提供了幀分組中的媒體幀的分層幀發(fā)送順序，其中，最重要 的媒體幀在發(fā)送順序的最后，最不重要的幀在發(fā)送順序的開始。在視頻媒體數(shù)據(jù)和使用FEC 塊作為幀分組的情況下，分層的頂層幀(即FEC塊的最重要的幀)通常是幀內(nèi)預(yù)測(cè)幀。相 應(yīng)地，分層的底層幀(即FEC塊的最不重要的幀)通常是不作為媒體流中任何其它幀間預(yù) 測(cè)幀的參考幀的任何幀間預(yù)測(cè)幀。因此，沒有其它幀間預(yù)測(cè)幀是基于這些最不重要的媒體 幀來進(jìn)行預(yù)測(cè)的。作為結(jié)果，分層幀發(fā)送順序優(yōu)選地包括幀內(nèi)預(yù)測(cè)幀在末尾，前面是用作 媒體流中至少一個(gè)其它幀間預(yù)測(cè)幀的參考幀的任何其它幀間預(yù)測(cè)幀，不作為媒體流中的任 何其它幀間預(yù)測(cè)幀的參考幀的任何幀間預(yù)測(cè)幀在發(fā)送順序的開始。在可伸縮視頻媒體的情況下，分層頂層幀可以是攜帶基本層的媒體數(shù)據(jù)的媒體 幀。分層上較不重要的幀可以是攜帶附加增強(qiáng)層的媒體幀。因此，這些較不重要的媒體幀 中的每一個(gè)提高了媒體流的幀率。上述給出的優(yōu)選示例示出了通過將媒體幀的發(fā)送順序與缺省呈現(xiàn)順序基本反向 的反向交織。然而實(shí)施例不局限于該反向交織，任何類型的發(fā)送順序以及交織都可以使用。 舉例而言，如果在幀分組期間存在場(chǎng)景變化，在幀分組中可以提供一個(gè)以上幀內(nèi)預(yù)測(cè)幀。在 該情況下，對(duì)于幀分組，可以將多個(gè)幀內(nèi)預(yù)測(cè)幀放置在發(fā)送順序的末尾?？蛇x地，在呈現(xiàn)順 序中，可以將幀內(nèi)預(yù)測(cè)幀放置在場(chǎng)景之后。圖1中的流產(chǎn)生方法的下一步驟S3對(duì)流中的至少一部分媒體幀的每個(gè)媒體幀分 別確定替換時(shí)間戳。這些替換時(shí)間戳根據(jù)替換呈現(xiàn)時(shí)間調(diào)度定義媒體幀的媒體替換呈現(xiàn)時(shí)間。因此，至少一部分媒體流具有至少兩組根據(jù)不同呈現(xiàn)時(shí)間調(diào)度的時(shí)間戳。在步驟S3的實(shí)施例中，將替換時(shí)間戳確定為相對(duì)于分配給媒體幀的缺省時(shí)間戳 的對(duì)應(yīng)的時(shí)間偏移?？蛇x地，在步驟S3中，可以將替換時(shí)間戳確定為相對(duì)于另一媒體幀(尤 其是同一幀分組中的另一媒體幀)的呈現(xiàn)時(shí)間的對(duì)應(yīng)的時(shí)間偏移。圖4示出了該概念。在 圖中，當(dāng)前媒體分組20的每個(gè)媒體幀22至沈包括根據(jù)缺省呈現(xiàn)時(shí)間調(diào)度定義幀分組中的 媒體的呈現(xiàn)時(shí)間的對(duì)應(yīng)的缺省時(shí)間戳40。媒體幀22至沈也包括對(duì)應(yīng)的時(shí)間戳50。這些 替換時(shí)間戳50被定義為相對(duì)于根據(jù)分層幀發(fā)送順序的幀分組20的第一媒體幀沈的時(shí)間 偏移。因此，分配給發(fā)送順序中第一媒體幀沈的替換時(shí)間戳具有偏移值零。在發(fā)送順序 中的下一媒體幀P26具有偏移值1，等等。如這里進(jìn)一步描述的，這些偏移值可以用于提供 高效的流調(diào)收，而不具有與現(xiàn)有技術(shù)相關(guān)聯(lián)的缺點(diǎn)。有利地，可以基于媒體幀的幀發(fā)送順序來定義在步驟S3中對(duì)媒體幀確定的替換 時(shí)間戳。這在圖4中作了進(jìn)一步示出，其中，偏移的值(即替換時(shí)間戳50)取決于在FEC塊 20的發(fā)送順序中媒體幀22至沈的相對(duì)位置。在該示例性示例中，對(duì)于FEC塊20中較晚發(fā) 送的媒體幀，偏移值50增加，最小的偏移值50被分配給FEC塊的發(fā)送順序中的第一個(gè)媒體 幀26。在前述中內(nèi)容，對(duì)每個(gè)媒體幀分配了一替換時(shí)間戳。然而本實(shí)施例并不局限于此。 截然相反，可以對(duì)媒體流中的至少一部分媒體幀分配多個(gè)替換時(shí)間戳。這些多個(gè)替換時(shí)間 戳根據(jù)不同的替換時(shí)間調(diào)度，定義媒體幀中媒體的不同的替換呈現(xiàn)時(shí)間。例如，在進(jìn)行調(diào)收 的情況下，為了減少如以下進(jìn)一步所述的等待媒體呈現(xiàn)的起始的時(shí)段，每個(gè)媒體幀使用多 個(gè)替換時(shí)間戳的這種實(shí)施例是有優(yōu)勢(shì)的。返回圖3，一旦諸如根據(jù)任何先前公開的任一實(shí)施例確定了替換時(shí)間戳，就將替換 時(shí)間戳分配給媒體流中的媒體幀?？梢詫⑻鎿Q時(shí)間戳分配給媒體流中的全部媒體幀，或僅 僅其中的一部分，分配給幀分組中的全部媒體幀或僅僅其中的一部分。對(duì)同一幀分組的媒 體幀分配的替換時(shí)間戳可以是不同的，或至少其中的一部分可以是相同的。方法以所產(chǎn)生的媒體流結(jié)束，在該媒體流中，每個(gè)媒體幀具有對(duì)應(yīng)的缺省時(shí)間戳， 并且媒體幀的至少某些具有至少一個(gè)對(duì)應(yīng)的所分配的替換時(shí)間戳。圖6是用于產(chǎn)生媒體幀的流的流產(chǎn)生設(shè)備100的示意框圖。流產(chǎn)生設(shè)備100包括 幀提供器120，被實(shí)現(xiàn)用于提供多個(gè)媒體幀，每個(gè)媒體幀具有對(duì)應(yīng)的缺省時(shí)間戳。可以將幀 提供器120連接至記錄或產(chǎn)生媒體幀的媒體的內(nèi)部或外部媒體引擎170。可選地，幀提供器 120從流產(chǎn)生設(shè)備100的連接接收器110接收媒體幀(通常具有編碼形式或作為未編碼媒 體數(shù)據(jù))。然后接收器110通過有線或無線通信，從通信系統(tǒng)中的外部終端接收媒體數(shù)據(jù)。 作為另一可選方案，幀提供器120可以從流產(chǎn)生設(shè)備100的連接幀存儲(chǔ)器160取得媒體幀 或?qū)⒈唤M織成媒體幀的媒體數(shù)據(jù)。流產(chǎn)生設(shè)備100優(yōu)選地包括可選時(shí)間戳確定器140，確定媒體幀的替換時(shí)間戳。如 前所述，該時(shí)間戳確定器140可以將替換時(shí)間戳確定為相對(duì)于分配給媒體幀的缺省時(shí)間戳 的對(duì)應(yīng)的時(shí)間偏移，或相對(duì)于流中另一媒體幀的呈現(xiàn)時(shí)間的時(shí)間偏移?？蛇x地，時(shí)間戳確定 器140可以基于流產(chǎn)生設(shè)備100的發(fā)送器110向一個(gè)或多個(gè)用戶終端發(fā)送媒體幀所用的相 對(duì)幀發(fā)送順序，確定替換時(shí)間戳。時(shí)間戳確定器140可以針對(duì)應(yīng)該分配以替換時(shí)間戳的每個(gè)媒體幀確定一個(gè)或多個(gè)替換時(shí)間戳。時(shí)間戳分配器130將所確定的替換時(shí)間戳分配給由幀提供器120提供的媒體幀的 至少一部分中的每個(gè)媒體幀?？梢酝ㄟ^發(fā)送器110，將所形成的具有缺省時(shí)間戳和至少一個(gè) 替換時(shí)間戳的媒體幀直接發(fā)送給一個(gè)或多個(gè)外部單元，例如轉(zhuǎn)碼器、具有媒體播放器的用 戶終端等?？蛇x地，可以將所形成的媒體幀錄入幀存儲(chǔ)器160，以稍后獲取并發(fā)送至外部單兀?？蛇x幀組織器150在流產(chǎn)生設(shè)備100中實(shí)現(xiàn)，用于將所提供的以及所處理的媒體 幀組織成幀分組，例如FEC塊。優(yōu)選地，幀組織器150以分層幀發(fā)送順序來組織幀分組中的 媒體幀，如前所述，分層的頂層幀在發(fā)送順序的最后，分層的底層幀在發(fā)送順序的開始。根據(jù)本實(shí)施例產(chǎn)生的媒體幀可以由發(fā)送器110以例如多播或廣播發(fā)送來發(fā)送給 一個(gè)或多個(gè)用戶終端?？蛇x地，流產(chǎn)生設(shè)備100僅僅產(chǎn)生媒體流的媒體幀，而將媒體幀轉(zhuǎn)發(fā) 給用戶終端是由有線或無線通信系統(tǒng)的某些其它設(shè)備來實(shí)現(xiàn)的，流產(chǎn)生設(shè)備100可以在有 線或無線通信系統(tǒng)中實(shí)現(xiàn)?？梢杂布④浖蛴布c軟件的結(jié)合提供流產(chǎn)生設(shè)備100的單元110至140。有利 地，可以將流產(chǎn)生設(shè)備100布置在有線或優(yōu)選地?zé)o線的基于射頻的通信系統(tǒng)中。流產(chǎn)生設(shè) 備100可以構(gòu)成內(nèi)容提供器或服務(wù)器的一部分，或可以與之連接。圖7是示出了根據(jù)本實(shí)施例的處理媒體流的媒體幀的方法的流程圖。在該實(shí)施例 中，流包括多個(gè)幀分組(例如FEC塊)，每個(gè)幀分組包括多個(gè)媒體幀。媒體幀具有對(duì)應(yīng)的缺 省時(shí)間戳，根據(jù)缺省呈現(xiàn)時(shí)間定義媒體幀的媒體數(shù)據(jù)的呈現(xiàn)時(shí)間。媒體幀的至少某些還包 括至少一個(gè)替換時(shí)間戳，每一個(gè)替換時(shí)間戳都如前所述。參考圖4和圖7，方法起始于步驟SlO中，該步驟涉及在幀分組20的中間點(diǎn)調(diào)收流 1。在下一步驟Sll中接收幀分組20的剩余幀122、P21至P23。如果根據(jù)現(xiàn)有技術(shù)使用缺省時(shí)間戳40來對(duì)媒體幀進(jìn)行解碼和呈現(xiàn)，那么將會(huì)發(fā) 生參考圖2在背景技術(shù)中說明的問題。然而，在步驟S12中，使用接收到的媒體幀122、P21 至P23的替換時(shí)間戳50來確定替換呈現(xiàn)時(shí)間調(diào)度。因此，在該情況下，使用替換時(shí)間戳50， 而不僅僅是缺省時(shí)間戳40，來確定在定義媒體幀的對(duì)應(yīng)的呈現(xiàn)時(shí)間時(shí)所使用的呈現(xiàn)時(shí)間調(diào)度。在圖4的示例中，替換時(shí)間戳50采用時(shí)間偏移的形式，較晚發(fā)送的幀分組20的媒 體幀具有較大的偏移值。因此，對(duì)接收到的幀分組20的媒體幀I22、P21至P23分配了替換時(shí) 間戳值7、6、5和4。在步驟S12中，識(shí)別接收到的媒體幀I22、P21至P23的最小的替換時(shí)間戳 值，即在本情況中是4。下一步驟S13根據(jù)在步驟S12中基于替換時(shí)間戳確定的替換時(shí)間調(diào)度，來呈現(xiàn)接 收到的媒體幀I22、P21至p23。因此，在圖4的示例中，呈現(xiàn)時(shí)間戳應(yīng)該從時(shí)間戳序號(hào)5 = 1+4 開始。這導(dǎo)致與較早時(shí)間戳相對(duì)應(yīng)的任何媒體被跳過。換言之，將圖2的現(xiàn)有技術(shù)與圖4 的實(shí)施例相比，在相同的播放時(shí)間開始呈現(xiàn)媒體幀122、P21至P23，但是使用的是不同的起始 時(shí)間戳，根據(jù)本實(shí)施例是5，而根據(jù)現(xiàn)有技術(shù)是1。在該實(shí)施例中，該替換時(shí)間調(diào)度提供了根 據(jù)第一幀分組20的時(shí)間戳5、6、7、8連續(xù)無中斷地呈現(xiàn)媒體數(shù)據(jù)，接著平滑地繼續(xù)呈現(xiàn)第二 幀分組30的媒體幀32、34，而沒有任何中斷或者在播放中推遲顯示。這意味著，圖4中的實(shí)施例解決了如圖2中一旦開始呈現(xiàn)就會(huì)使一個(gè)媒體幀Pm推遲顯示的問題。圖4中的實(shí)施例向觀看用戶提供了一種在視覺上更加具有吸引力的解決方 案一旦媒體呈現(xiàn)開始，無需中斷或不自然地推遲顯示媒體數(shù)據(jù)。截然相反，呈現(xiàn)平滑地通 過當(dāng)前幀分組20的媒體幀122、P21至P23，并進(jìn)行至下一幀分組30的媒體幀13、P310圖8是示出了圖7中的處理方法的附加、可選步驟的流程圖。方法從圖7中的步驟 S12繼續(xù)。下一步驟S20從接收到的當(dāng)前幀分組20的媒體幀122、P21至Pu中識(shí)別起始幀。 在優(yōu)選實(shí)施例中，幀分組20具有媒體幀22至沈的分層組織，其中，從解碼角度而言最重要 的媒體幀在發(fā)送順序中處于幀分組20的末尾。因此，通常將起始幀22識(shí)別為針對(duì)幀分組 20接收到的最后一幀12。一般地，起始幀22是媒體幀22，可以根據(jù)該幀開始解碼而無需參 考流1中的任何其它幀。因此起始幀22可以是視頻流1的幀內(nèi)預(yù)測(cè)幀或者是可伸縮視頻 流1中的基本層幀?？梢曰诎ㄔ诿襟w幀22至沈(例如媒體幀22至沈的首部)中的 信息或者由媒體幀22至沈在幀分組20中的位置來識(shí)別起始幀22。方法繼續(xù)值圖7中的步驟13，在這一步，從起始幀開始呈現(xiàn)媒體幀，并根據(jù)替換呈 現(xiàn)時(shí)間調(diào)度進(jìn)行呈現(xiàn)。參考圖4和9，方法從圖7中的步驟S13繼續(xù)至圖9中的步驟S30。步驟S30接收 隨后的幀分組30的媒體幀I3、Pm至P37。然而，在步驟S31中，通常是根據(jù)缺省時(shí)間調(diào)度來 執(zhí)行這些媒體幀13、P31至P37的呈現(xiàn)。因此，替換時(shí)間戳用于第一幀分組20的媒體幀12、 P21至P23，其中，調(diào)收在發(fā)送第一媒體幀P27之后發(fā)生。然而，對(duì)于隨后的幀分組30，其全部 媒體幀13131至？37都被接收到并能進(jìn)行解碼和呈現(xiàn)，可以根據(jù)由缺省時(shí)間戳定義的缺省時(shí) 間調(diào)度來進(jìn)行呈現(xiàn)。可選地，基于第一幀分組20的替換時(shí)間戳確定并被應(yīng)用于幀分組20 的全部媒體幀12、P21至Pm的同一時(shí)間偏移也可以應(yīng)用于隨后的幀分組30的幀13、P31至 P370因此，接著，基于缺省時(shí)間戳以及所確定的時(shí)間偏移，定義這些隨后的幀分組30的呈現(xiàn) 時(shí)間調(diào)度。優(yōu)選地，對(duì)每個(gè)后續(xù)接收到的幀分組執(zhí)行由步驟S30和S31定義的循環(huán)，通過線Ll 對(duì)此進(jìn)行了說明。圖10是示出了圖7中的處理方法的附加、可選步驟的流程圖。方法從圖7中的步 驟Sll繼續(xù)。在該實(shí)施例中，如結(jié)合圖4所示意的，對(duì)于接收到的媒體幀中的至少一部分可 用的替換時(shí)間戳具有時(shí)間偏移的形式。下一步驟S40識(shí)別針對(duì)當(dāng)前幀分組接收到的媒體幀 的時(shí)間偏移的最小偏移。接著，至少部分基于所識(shí)別的最小時(shí)間偏移，來確定幀分組的替換 呈現(xiàn)時(shí)間調(diào)度。在典型實(shí)施中，所識(shí)別的時(shí)間偏移確定幀分組的起始幀的呈現(xiàn)起始時(shí)間。因 此，所識(shí)別的時(shí)間偏移允許確定呈現(xiàn)起始幀的媒體數(shù)據(jù)的特定時(shí)間，例如，應(yīng)由媒體播放器 發(fā)起幀分組的I幀。確定替換呈現(xiàn)時(shí)間調(diào)度的特殊實(shí)施例既使用替換時(shí)間戳又使用缺省時(shí)間戳來定 義替換呈現(xiàn)時(shí)間調(diào)度。舉例并參考圖4，接收到的當(dāng)前幀分組20中的媒體幀I2、P21至Pu的 最小替換時(shí)間戳50是4。此時(shí)，可以將該值加至接收到的媒體幀12、P21至Pm的缺省時(shí)間 戳40，以獲得定義媒體幀I2、P21至Pm的實(shí)際呈現(xiàn)時(shí)間的更新后的時(shí)間戳。因此，在該示例 性示例中，起始幀22將得到時(shí)間戳1+4 = 5，并且按照呈現(xiàn)順序的其它隨后的媒體幀P21至 P23得到時(shí)間戳6至8。因此，以時(shí)間戳5開始這些媒體幀12、P21至P23的呈現(xiàn)。圖5示出了分配和使用替換時(shí)間戳的可選實(shí)施例。首先，該實(shí)施例示出了不是幀 分組20中的所有媒體幀22至沈都必須具有對(duì)應(yīng)的替換時(shí)間戳。當(dāng)使用替換時(shí)間戳以提供高效調(diào)收媒體流1時(shí)，在幀分組20的起始后緊接著調(diào)收而沒有任何分配的替換時(shí)間戳?xí)r 發(fā)生的、將媒體幀中的一個(gè)的媒體數(shù)據(jù)顯示幾毫秒是可以接受的。因此，在幀分組20中用 戶終端調(diào)收的越晚，現(xiàn)有技術(shù)的問題變得越嚴(yán)重。這意味著，優(yōu)選地，將任何替換時(shí)間戳分 配給幀分組20的發(fā)送順序中的至少最后幾個(gè)媒體幀。然而，如果所有媒體幀或者至少幀分 組中的大部分具有對(duì)應(yīng)的所分配的或相關(guān)聯(lián)的時(shí)間戳，最能高效利用與調(diào)收相關(guān)聯(lián)的替換 時(shí)間戳的良好效果。圖5還示出了與圖4中的實(shí)施例相比的另一差別。在圖4中，幀分組20的每個(gè)媒 體幀22至沈具有唯一的替換時(shí)間戳50，該時(shí)間戳50是根據(jù)幀發(fā)送順序基于幀分組20中 的媒體幀22至沈的相對(duì)位置定義的。實(shí)際上，媒體幀22至沈不一定具有唯一的替換時(shí) 間戳50。截然相反，幀分組20的媒體幀22至沈的至少兩個(gè)可以具有相同的所分配的替換 時(shí)間戳50。在圖5中，具有替換時(shí)間戳50的所有媒體幀12、P21至P24具有相同的時(shí)間戳值。 將圖5中的情況與圖4相比，在幀P24和P23之間調(diào)收媒體流1的用戶終端將接收與圖4中 相同的媒體幀I2、P21至P23。然而，最小的替換時(shí)間戳(即在該示例中的偏移值)是3而不 是4。因此，所計(jì)算的起始幀22的時(shí)間戳是1+3 = 4，表示起始時(shí)間戳實(shí)際上比圖4中小1。 在圖5中，由于分配相同的替換時(shí)間戳，因此在繼續(xù)呈現(xiàn)來自下一幀分組30的媒體幀32、34 的媒體數(shù)據(jù)之前，媒體幀P23中的一個(gè)的媒體數(shù)據(jù)實(shí)際上將被顯示兩個(gè)呈現(xiàn)時(shí)刻。因此，與 圖4相比，這提供的結(jié)果在某種程度上要差一些，但是與圖2所示的相應(yīng)的現(xiàn)有技術(shù)相比， 依然取得了顯著的改善。因此，本實(shí)施例僅僅對(duì)某些媒體幀分配替換時(shí)間戳，并且對(duì)多個(gè)媒 體幀分配相同的替換時(shí)間戳，依然比現(xiàn)有技術(shù)有所改善。圖11是示出了圖7中的處理方法的替換、可選步驟的流程圖。方法從圖7的步驟 Sll繼續(xù)。接著的附加步驟S50可應(yīng)用于對(duì)媒體幀分配多個(gè)替換時(shí)間戳的情況。在該情況 下，步驟S50針對(duì)每個(gè)接收到的具有多個(gè)所分配的替換時(shí)間戳的媒體幀，識(shí)別要使用的替 換時(shí)間戳。此外，優(yōu)選地，至少部分基于在幀分組中調(diào)收流的位置，執(zhí)行步驟S50中的識(shí)別 過程。因此，如果調(diào)收在幀分組中發(fā)生的很早，在步驟S50中，針對(duì)媒體幀，識(shí)別對(duì)應(yīng)的第一 個(gè)替換時(shí)間戳。然而，如果調(diào)收在幀分組中發(fā)生得較晚，那么優(yōu)選地識(shí)別對(duì)應(yīng)的第二個(gè)、不 同的替換時(shí)間戳。這允許用戶終端針對(duì)當(dāng)前情況識(shí)別最合適的替換時(shí)間戳的集合。作為結(jié) 果，與第二用戶終端在媒體流的幀分組中的第二位置調(diào)收相比，典型地，第一用戶終端在同 一幀分組中的第一位置調(diào)收將使用替換時(shí)間戳的另一集合。因此，優(yōu)選地，用戶終端使用包含在媒體幀中的信息(諸如媒體幀的缺省時(shí)間戳 或者其它信息)來確定媒體幀在幀分組的發(fā)送順序中的位置。例如，攜帶媒體幀的數(shù)據(jù)包 可以包含首部信息，允許識(shí)別數(shù)據(jù)包的對(duì)應(yīng)包數(shù)目。在步驟S50中，任何此類被包括的信息 都可以用來確定在幀分組中的調(diào)收位置，以及識(shí)別正確的替換時(shí)間戳。方法繼續(xù)至圖7中的步驟S12，在這里使用所識(shí)別的替換時(shí)間戳來確定所接收的 媒體數(shù)據(jù)的替換呈現(xiàn)調(diào)度。圖12是用于處理媒體幀的設(shè)備200的實(shí)施例的示意圖示。在圖中，以具有媒體播 放功能的用戶終端的形式非限制地示出了設(shè)備200。該用戶終端200可以例如是無線通信 系統(tǒng)的便攜式用戶終端，諸如移動(dòng)電話、個(gè)人數(shù)字助理、具有通信設(shè)備的膝上型電腦等。可 以從本發(fā)明受益的用戶終端的其它示例包括計(jì)算機(jī)、游戲控制臺(tái)、TV解碼器以及其它適于處理和呈現(xiàn)媒體數(shù)據(jù)的設(shè)備。此外，設(shè)備200不一定必須是媒體呈現(xiàn)設(shè)備。截然相反，設(shè)備 200可以將這里所公開的替換時(shí)間戳用作其它處理目的。例如，適于接收經(jīng)編碼的媒體幀、 對(duì)其進(jìn)行解碼、接著重新編碼媒體幀的轉(zhuǎn)碼器可以使用替換時(shí)間戳。設(shè)備200包括接收器210，用于接收媒體流的媒體幀。在實(shí)施例中，設(shè)備200在媒 體幀的幀分組的起始后的某處調(diào)收媒體流。因此，設(shè)備200不接收當(dāng)前調(diào)收的幀分組的全 部媒體幀。設(shè)備200的調(diào)度確定器220使用對(duì)于幀分組的所接收的媒體幀的至少某些可用的 替換時(shí)間戳，來確定所接收的媒體的替換呈現(xiàn)時(shí)間調(diào)度。在第一實(shí)施方案中，調(diào)度確定器220從攜帶媒體幀的數(shù)據(jù)包中提取替換時(shí)間戳。 這意味著，替換時(shí)間戳被包括在攜帶媒體幀的相同數(shù)據(jù)包之中。在另一實(shí)施方案中，替換時(shí) 間戳是單獨(dú)以信號(hào)發(fā)送的，即，不包括在攜帶媒體幀的數(shù)據(jù)包之中。例如，可以使用與涉及 將媒體數(shù)據(jù)轉(zhuǎn)發(fā)至設(shè)備200的媒體會(huì)話相關(guān)的控制信道，來單獨(dú)發(fā)送替換時(shí)間戳。這可以 通過將各替換時(shí)間戳與媒體幀或數(shù)據(jù)包的標(biāo)識(shí)符或者可以應(yīng)用替換時(shí)間戳的幀分組中的 幀位置的標(biāo)識(shí)符相關(guān)聯(lián)來實(shí)現(xiàn)。在這種情況下，設(shè)備200可以決定是否接收替換時(shí)間戳。這 意味著，例如通過已經(jīng)調(diào)收至流中而不需要使用替換時(shí)間戳的設(shè)備200可以不考慮接收到 替換時(shí)間戳。因此，與將替換時(shí)間戳包含在所發(fā)送的媒體幀包的情況相比，所發(fā)送的媒體幀 包的總尺寸在某種程度上可以被保持得更小。還有另外一種可能性是在接收到媒體幀之前使用已經(jīng)在設(shè)備200處提供的替換 時(shí)間戳。例如，可以在設(shè)備200的存儲(chǔ)器沈0中對(duì)替換時(shí)間戳進(jìn)行硬編碼，或者例如在發(fā)起 或建立媒體會(huì)話時(shí)接收替換時(shí)間戳。如果典型地就每個(gè)幀分組的媒體幀的數(shù)目而言幀分組 具有定義好的大小，或者在幀分組中占據(jù)給定位置的媒體幀可以與在另一幀分組中占據(jù)同 樣位置的另一媒體幀使用同樣的替換時(shí)間戳，該實(shí)施例是可行的。參考圖4，其中非限制地 示出幀分組20包括8個(gè)媒體幀22至沈。在該情況下，按照發(fā)送順序，每個(gè)幀分組20、30中 的第一媒體幀26、36具有相同的替換時(shí)間戳，第二媒體幀具有相同的替換時(shí)間戳，以此類 推。在該情況下，優(yōu)選地，設(shè)備200包括時(shí)間戳識(shí)別器250，用于識(shí)別至少一個(gè)替換時(shí) 間戳，以在確定所接收的數(shù)據(jù)的替換呈現(xiàn)時(shí)間調(diào)度時(shí)使用。優(yōu)選地，時(shí)間戳識(shí)別器250識(shí)別 調(diào)收流發(fā)生在幀分組中的位置。優(yōu)選地，基于該所識(shí)別的位置，確定多個(gè)硬編碼的替換時(shí)間 戳或先前提供用以使用的替換時(shí)間戳。設(shè)備200典型地但如上所述并不是必須包括媒體播放器270，執(zhí)行實(shí)際的媒體呈 現(xiàn)或播放。媒體播放器270包括或訪問解碼器275，以根據(jù)已知技術(shù)來對(duì)媒體幀和媒體數(shù)據(jù) 進(jìn)行解碼。經(jīng)解碼的媒體由媒體播放器270呈現(xiàn)，例如在包含在設(shè)備200中或與其連接的 顯示屏280上顯示。可選地，或附加的，音頻形式的媒體可以通過包含在設(shè)備200之中或與 其連接的揚(yáng)聲器290來播放?？梢栽谠O(shè)備200中實(shí)現(xiàn)可選的幀識(shí)別器230，用于識(shí)別所調(diào)收的幀分組的呈現(xiàn)起 始幀。通常，基于包括在所接收的數(shù)據(jù)包中的信息(例如缺省時(shí)間戳)或由數(shù)據(jù)包攜帶的 標(biāo)識(shí)媒體幀類型的信息(例如幀內(nèi)預(yù)測(cè)幀或幀間預(yù)測(cè)幀)來識(shí)別該起始幀。媒體播放器 270以包含在所識(shí)別的起始幀中的數(shù)據(jù)，開始媒體呈現(xiàn)，接著根據(jù)由調(diào)度確定器220所確定 的替換呈現(xiàn)時(shí)間調(diào)度繼續(xù)媒體呈現(xiàn)。
一旦呈現(xiàn)了當(dāng)前幀分組的所有媒體數(shù)據(jù)，媒體播放器270就繼續(xù)來自隨后的幀分 組的媒體數(shù)據(jù)。然而，在該情況下，包括在所接收的媒體幀中的缺省時(shí)間戳可以用于這些后 續(xù)媒體幀，意味著媒體呈現(xiàn)根據(jù)缺省呈現(xiàn)時(shí)間調(diào)度繼續(xù)進(jìn)行。在將替換時(shí)間戳定義為相對(duì)于缺省時(shí)間戳的時(shí)間偏移的情況下，優(yōu)選地，時(shí)間調(diào) 度確定器220基于分配給媒體幀的缺省時(shí)間戳以及替換時(shí)間戳來確定替換呈現(xiàn)時(shí)間調(diào)度。優(yōu)選地，由設(shè)備200的偏移識(shí)別器240來識(shí)別確定所接收的媒體的起始呈現(xiàn)時(shí)間 所用的替換時(shí)間戳。優(yōu)選地，針對(duì)當(dāng)前幀分組，偏移識(shí)別器240識(shí)別出對(duì)正確接收并能夠被 設(shè)備200解碼的媒體幀所分配的最小偏移時(shí)間。調(diào)度確定器220利用該識(shí)別的最小偏移值， 可選地與缺省時(shí)間戳一起，來確定由媒體播放器270所使用的替換呈現(xiàn)時(shí)間調(diào)度。在所接收的媒體幀的至少某些具有多個(gè)所分配的替換時(shí)間戳的情況下，設(shè)備200 也可以使用上述時(shí)間戳識(shí)別器250。然后，時(shí)間戳識(shí)別器250如前所述優(yōu)選地基于設(shè)備200 調(diào)收媒體流的位置，選擇適用于當(dāng)前情況的替換時(shí)間戳。可以硬件、軟件或硬件與軟件的結(jié)合提供設(shè)備200的單元210至250、270、275。以上主要結(jié)合使用替換時(shí)間戳來實(shí)現(xiàn)高效的調(diào)收以及媒體呈現(xiàn)而不長(zhǎng)時(shí)間顯示 或播放同一媒體數(shù)據(jù)描述了實(shí)施例。然而，這并不是受益于替換時(shí)間戳的唯一有優(yōu)勢(shì)的幀 處理。如上所述，當(dāng)轉(zhuǎn)碼器設(shè)備沒有正確接收到幀分組的全部媒體幀時(shí)，在媒體轉(zhuǎn)碼期間， 可以使用替換時(shí)間戳。此外，轉(zhuǎn)碼器設(shè)備可以使用替換時(shí)間戳來確定媒體的替換呈現(xiàn)時(shí)間 調(diào)度。在該情況下，轉(zhuǎn)碼器設(shè)備基本上可以以與這里如前所述的解碼器一樣的方式來使 用替換時(shí)間戳。例如，轉(zhuǎn)碼器設(shè)備可以利用替換時(shí)間戳，根據(jù)幀分組中調(diào)收的發(fā)生，來選擇 呈現(xiàn)時(shí)間。相應(yīng)地，轉(zhuǎn)碼器設(shè)備可以像編碼器一樣操作，例如，通過將幀分組中的媒體幀的 順序反向，使最重要的幀在幀分組的末尾。然后，轉(zhuǎn)碼器設(shè)備根據(jù)媒體幀在幀分組中的位置 與幀分組的末尾之間的距離，對(duì)每個(gè)媒體幀分配替換時(shí)間戳，如時(shí)間戳偏移。使用替換時(shí)間戳的另一示例是當(dāng)多種類型的媒體(例如，視頻和音頻媒體)一起 處理時(shí)。在該情況下，與攜帶音頻幀的數(shù)據(jù)包相比，可能在單獨(dú)的媒體流中單獨(dú)的數(shù)據(jù)包中 發(fā)送視頻幀。此外，視頻幀通常具有缺省時(shí)間戳，與分配給音頻幀的缺省時(shí)間戳是分開的。 可以結(jié)合視頻幀、音頻幀或者視頻幀和音頻幀使用替換時(shí)間戳，根據(jù)其它類型媒體(例如 音頻)的已經(jīng)接收到的媒體量來確定一種類型的媒體(例如視頻)的媒體呈現(xiàn)時(shí)間調(diào)度， 或反之亦然。例如，可以基于接收到的音頻數(shù)據(jù)的量，通過分配給視頻幀的替換時(shí)間戳，來 確定視頻數(shù)據(jù)的替換呈現(xiàn)時(shí)間調(diào)度。因此，如果設(shè)備接收了 1秒的音頻，并且按照解碼順序 發(fā)送音頻數(shù)據(jù)，那么設(shè)備確定，可以將視頻推進(jìn)對(duì)應(yīng)于1秒的FEC塊大小的時(shí)間戳偏移。接 著，設(shè)備使用該偏移(即替換時(shí)間戳)來調(diào)整視頻，從而認(rèn)為存在1秒的視頻。另一示例 是，設(shè)備知道幀的時(shí)間戳與下一 FEC塊的(按顯示順序的)起始幀的時(shí)間戳之間的距離的 情況。在該情況下，設(shè)備可以接收例如2秒的視頻，并使用替換時(shí)間戳(如偏移)，使得這2 秒的視頻是當(dāng)前FEC塊的最后兩秒，從而提供在FEC塊邊界上的平滑過渡。例如，還可以使用替換時(shí)間戳，來快進(jìn)遍歷流的媒體幀。例如，流的媒體數(shù)據(jù)的呈 現(xiàn)可以發(fā)生在缺省時(shí)間調(diào)度期間，在缺省時(shí)間調(diào)度中，根據(jù)缺省時(shí)間戳適時(shí)呈現(xiàn)所有媒體 幀。可選地，根據(jù)由替換時(shí)間戳定義的替換時(shí)間調(diào)度，來呈現(xiàn)流的媒體數(shù)據(jù)。在該情況下，如 由替換時(shí)間戳所定義的，實(shí)際上會(huì)跳過某些媒體幀，從而在流中選定的媒體幀之間“跳躍”，并忽略由其它被跳過的媒體幀所攜帶的媒體數(shù)據(jù)。可以將使用這里所公開的時(shí)間戳的替換集理解為，能夠根據(jù)不同的呈現(xiàn)時(shí)間調(diào) 度，在多個(gè)時(shí)間點(diǎn)顯示圖像。當(dāng)選擇在快進(jìn)時(shí)顯示某個(gè)圖像時(shí)，因此，可以選擇有效時(shí)間跨 度最大的媒體幀。使用替換時(shí)間戳的另一示例是在媒體流中實(shí)現(xiàn)高效的導(dǎo)航。通過對(duì)媒體幀給予替 換時(shí)間戳，當(dāng)導(dǎo)航至特定時(shí)間時(shí)，即使在快進(jìn)期間，也不要求精確地在由時(shí)間戳所定義的這 些時(shí)間獲取媒體幀。例如，不顯示時(shí)刻10、20、30等等，而是可以更容易地解碼媒體幀9、19、
29等等。圖13是可以在其中實(shí)現(xiàn)實(shí)施例的無線通信系統(tǒng)500的一部分的示意概要圖。通 信系統(tǒng)500包括一個(gè)或多個(gè)網(wǎng)絡(luò)節(jié)點(diǎn)或基站400，向連接的用戶終端200提供通信服務(wù)。具 體地，基站400傳送攜帶具有所分配的缺省時(shí)間戳和如上公開的替換時(shí)間戳的數(shù)據(jù)包?；?站400包括或連接至包括上述以及在圖6中所公開的流產(chǎn)生設(shè)備100在內(nèi)的媒體服務(wù)器或 提供器300?？梢砸詥尾グl(fā)送來發(fā)送媒體流，但是如在圖中示意性示出的，通常以多播或廣播 發(fā)送的形式來發(fā)送。本領(lǐng)域技術(shù)人員應(yīng)當(dāng)能夠理解的是，可以在不背離由所附權(quán)利要求限定的范圍的 情況下對(duì)本發(fā)明做出多種修改以及改變。
權(quán)利要求
1.一種產(chǎn)生媒體幀的流的方法，包括提供多個(gè)媒體幀，所述多個(gè)媒體幀中的每個(gè)媒體幀具有所分配的缺省時(shí)間戳，所述缺 省時(shí)間戳根據(jù)缺省呈現(xiàn)時(shí)間調(diào)度定義所述媒體幀的媒體的呈現(xiàn)時(shí)間；以及對(duì)所述多個(gè)媒體幀的至少一部分中的每個(gè)媒體幀，分配替換時(shí)間戳，所述替換時(shí)間戳 根據(jù)替換呈現(xiàn)時(shí)間調(diào)度定義所述媒體幀的所述媒體的替換呈現(xiàn)時(shí)間。
2.根據(jù)權(quán)利要求1所述的方法，還包括將所述多個(gè)媒體幀組織成幀分組，其中所述流 包括多個(gè)幀分組。
3.根據(jù)權(quán)利要求2所述的方法，其中，所述組織步驟包括以分層幀發(fā)送順序，在所述 幀分組中組織所述多個(gè)媒體幀，使分層的頂層幀位于所述分層幀發(fā)送順序的末尾，以及分 層的底層幀位于所述分層幀發(fā)送順序的開始。
4.根據(jù)權(quán)利要求3所述的方法，其中，所述組織步驟包括以所述分層幀發(fā)送順序，在 所述幀分組中組織所述多個(gè)媒體幀，使幀內(nèi)預(yù)測(cè)幀位于所述分層幀發(fā)送順序的末尾，之前 是用作所述多個(gè)幀的至少一個(gè)其它幀間預(yù)測(cè)幀的參考幀的所述多個(gè)媒體幀的任何幀間預(yù) 測(cè)幀，并且不用作所述多個(gè)幀的至少一個(gè)其它幀間預(yù)測(cè)幀的參考幀的所述多個(gè)媒體幀的任 何幀間預(yù)測(cè)幀位于所述分層幀發(fā)送順序的開始。
5.根據(jù)權(quán)利要求1至4中任一項(xiàng)所述的方法，還包括針對(duì)所述多個(gè)媒體幀的所述至 少一部分中的每個(gè)媒體幀，將所述替換時(shí)間戳確定為相對(duì)于分配給所述媒體幀的所述缺省 時(shí)間戳的時(shí)間偏移。
6.根據(jù)權(quán)利要求1至4中任一項(xiàng)所述的方法，還包括針對(duì)所述多個(gè)媒體幀的所述至 少一部分中的每個(gè)媒體幀，將所述替換時(shí)間戳確定為相對(duì)于所述多個(gè)媒體幀中的另一媒體 幀的呈現(xiàn)時(shí)間的時(shí)間偏移。
7.根據(jù)權(quán)利要求1至6中任一項(xiàng)所述的方法，還包括針對(duì)所述多個(gè)媒體幀的所述至 少一部分中的每個(gè)媒體幀，根據(jù)與所述多個(gè)媒體幀相關(guān)聯(lián)的幀發(fā)送順序，基于所述媒體幀 的相對(duì)發(fā)送時(shí)間，確定所述替換時(shí)間戳。
8.一種用于產(chǎn)生媒體幀的流的設(shè)備，包括幀提供器，用于提供多個(gè)媒體幀，所述多個(gè)媒體幀中的每個(gè)媒體幀具有所分配的缺省 時(shí)間戳，所述缺省時(shí)間戳根據(jù)缺省呈現(xiàn)時(shí)間調(diào)度定義所述媒體幀的媒體的呈現(xiàn)時(shí)間；以及時(shí)間戳分配器，用于對(duì)所述多個(gè)媒體幀的至少一部分中的每個(gè)媒體幀，分配替換時(shí)間 戳，所述替換時(shí)間戳根據(jù)替換呈現(xiàn)時(shí)間調(diào)度定義所述媒體幀的所述媒體的替換呈現(xiàn)時(shí)間。
9.根據(jù)權(quán)利要求8所述的設(shè)備，還包括幀組織器，用于將所述多個(gè)媒體幀組織成幀分 組，其中，所述流包括多個(gè)幀分組。
10.根據(jù)權(quán)利要求9所述的設(shè)備，其中，所述幀組織器被配置為以分層幀發(fā)送順序，在 所述幀分組中組織所述多個(gè)媒體幀，使分層的頂幀層位于所述分層幀發(fā)送順序的末尾，以 及分層的底層幀位于所述分層幀發(fā)送順序的開始。
11.根據(jù)權(quán)利要求8至10中任一項(xiàng)所述的設(shè)備，還包括時(shí)間戳確定器，用于針對(duì)所述 多個(gè)媒體幀的所述至少一部分中的每個(gè)媒體幀，將所述替換時(shí)間戳確定為相對(duì)于分配給所 述媒體幀的所述缺省時(shí)間戳的時(shí)間偏移。
12.根據(jù)權(quán)利要求8至10中任一項(xiàng)所述的設(shè)備，還包括時(shí)間戳確定器，用于針對(duì)所述 多個(gè)媒體幀的所述至少一部分中的每個(gè)媒體幀，將所述替換時(shí)間戳確定為相對(duì)于所述多個(gè)媒體幀中的另一媒體幀的呈現(xiàn)時(shí)間的時(shí)間偏移。
13.根據(jù)權(quán)利要求8至12中任一項(xiàng)所述的設(shè)備，還包括時(shí)間戳確定器，用于針對(duì)所述 多個(gè)媒體幀的所述至少一部分中的每個(gè)媒體幀，根據(jù)與所述多個(gè)媒體幀相關(guān)聯(lián)的幀發(fā)送順 序，基于所述媒體幀的相對(duì)發(fā)送時(shí)間，確定所述替換時(shí)間戳。
14.一種媒體幀流，包括多個(gè)媒體幀，其中，所述多個(gè)媒體幀中的每個(gè)媒體幀具有所分配的缺省時(shí)間戳，所述缺省時(shí)間戳根據(jù)缺省 呈現(xiàn)時(shí)間調(diào)度定義所述媒體幀的媒體的呈現(xiàn)時(shí)間；以及所述多個(gè)媒體幀的至少一部分中的每個(gè)媒體幀具有替換時(shí)間戳，所述替換時(shí)間戳根據(jù) 替換呈現(xiàn)時(shí)間調(diào)度定義所述媒體幀的所述媒體的替換呈現(xiàn)時(shí)間。
15.一種處理多個(gè)幀分組的流的媒體幀的方法，其中，所述幀分組包括多個(gè)媒體幀，每 個(gè)媒體幀具有缺省時(shí)間戳，所述缺省時(shí)間戳根據(jù)缺省呈現(xiàn)時(shí)間調(diào)度定義幀分組的所述多個(gè) 媒體幀的呈現(xiàn)時(shí)間，所述方法包括在所述多個(gè)幀分組中的一個(gè)幀分組的中間點(diǎn)調(diào)收所述流；接收所述中間點(diǎn)之后的所述幀分組的媒體幀；以及基于對(duì)所述幀分組可用的至少一個(gè)替換時(shí)間戳，針對(duì)所述接收到的媒體幀，確定替換 呈現(xiàn)時(shí)間調(diào)度。
16.根據(jù)權(quán)利要求15所述的方法，還包括在所述接收到的媒體幀中識(shí)別所述幀分組的呈現(xiàn)起始幀；以及根據(jù)所述替換呈現(xiàn)時(shí)間調(diào)度，從所述呈現(xiàn)起始幀開始呈現(xiàn)所述接收到的媒體幀。
17.根據(jù)權(quán)利要求16所述的方法，還包括根據(jù)至少一個(gè)后續(xù)幀分組的缺省呈現(xiàn)時(shí)間 調(diào)度，呈現(xiàn)所述流的所述至少一個(gè)后續(xù)幀分組的多個(gè)媒體幀。
18.根據(jù)權(quán)利要求15至17中任一項(xiàng)所述的方法，其中，所述確定步驟包括基于分配 給所述接收到的媒體幀的所述至少一個(gè)替換時(shí)間戳以及所述缺省時(shí)間戳，確定所述替換呈 現(xiàn)時(shí)間調(diào)度。
19.根據(jù)權(quán)利要求15至18中任一項(xiàng)所述的方法，其中，所述替換時(shí)間戳是時(shí)間偏移，并 且所述幀分組的所述多個(gè)幀的至少一部分具有對(duì)應(yīng)的所分配的時(shí)間偏移，所述確定步驟包 括在所述接收到的媒體幀中識(shí)別最小時(shí)間偏移；以及基于所述最小時(shí)間偏移，確定所述替換呈現(xiàn)時(shí)間調(diào)度。
20.一種用于處理多個(gè)幀分組的流的媒體幀的設(shè)備，所述幀分組包括多個(gè)媒體幀，每個(gè) 媒體幀具有缺省時(shí)間戳，所述缺省時(shí)間戳根據(jù)缺省呈現(xiàn)時(shí)間調(diào)度定義幀分組的所述多個(gè)媒 體幀的呈現(xiàn)時(shí)間，所述設(shè)備包括接收器，用于接收所述幀分組的中間調(diào)收點(diǎn)之后的所述多個(gè)幀分組的幀分組的媒體 幀；以及調(diào)度確定器，用于基于對(duì)所述幀分組可用的至少一個(gè)替換時(shí)間戳，針對(duì)所述接收到的 媒體幀，確定替換呈現(xiàn)時(shí)間調(diào)度。
21.根據(jù)權(quán)利要求20所述的設(shè)備，還包括幀識(shí)別器，用于在所述接收到的媒體幀中識(shí)別所述幀分組的呈現(xiàn)起始幀；以及媒體播放器，用于根據(jù)所述替換呈現(xiàn)時(shí)間調(diào)度從所述呈現(xiàn)起始幀開始呈現(xiàn)所述接收到的媒體幀。
22.根據(jù)權(quán)利要求21所述的設(shè)備，其中，所述媒體播放器被配置為根據(jù)至少一個(gè)后續(xù) 幀分組的缺省呈現(xiàn)時(shí)間調(diào)度，呈現(xiàn)所述流的所述至少一個(gè)后續(xù)幀分組的多個(gè)媒體幀。
23.根據(jù)權(quán)利要求20至22中任一項(xiàng)所述的設(shè)備，其中，所述調(diào)度確定器被配置為基 于分配給所述接收到的媒體幀的所述至少一個(gè)替換時(shí)間戳以及所述缺省時(shí)間戳，確定所述 替換呈現(xiàn)時(shí)間調(diào)度。
24.根據(jù)權(quán)利要求20至23中任一項(xiàng)所述的設(shè)備，其中，所述替換時(shí)間戳是時(shí)間偏移， 并且所述幀分組的所述多個(gè)幀的至少一部分具有對(duì)應(yīng)的所分配的時(shí)間偏移，所述設(shè)備還包 括偏移識(shí)別器，用于在所述接收到的媒體幀中識(shí)別最小時(shí)間偏移；其中，所述調(diào)度確定器 被配置為基于所述最小時(shí)間偏移，確定所述替換呈現(xiàn)時(shí)間調(diào)度。
全文摘要
通過提供具有對(duì)應(yīng)的所分配的缺省時(shí)間戳(40)的多個(gè)媒體幀(22-26)，來產(chǎn)生媒體幀(12-16、22-26、32-36)的流(1)，所述缺省時(shí)間戳根據(jù)缺省呈現(xiàn)時(shí)間調(diào)度定義媒體幀(22-26)的媒體數(shù)據(jù)的呈現(xiàn)時(shí)間。對(duì)媒體幀(22-26)的至少一部分分配對(duì)應(yīng)的替換時(shí)間戳(50)。這些替換時(shí)間戳(50)根據(jù)替換呈現(xiàn)時(shí)間調(diào)度定義媒體幀(22-26)的媒體數(shù)據(jù)的替換呈現(xiàn)時(shí)間。當(dāng)在媒體幀(22-26)的幀分組(20)的中間位置調(diào)收流(1)時(shí)，可以利用替換時(shí)間戳(50)提供高效的媒體呈現(xiàn)，從而跳過幀分組(20)的某些媒體幀(22、24)。
文檔編號(hào)H04L29/06GK102067551SQ200880129805
公開日2011年5月18日 申請(qǐng)日期2008年11月27日 優(yōu)先權(quán)日2008年6月16日
發(fā)明者克林頓·普里德爾, 托比杰恩·埃納爾松, 馬格納斯·威斯特蘭德 申請(qǐng)人:艾利森電話股份有限公司