專利名稱：媒體流成分的同步的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及諸如音頻和視頻那樣的媒體流的成分(component)的同步，具體地涉 及在數(shù)字視頻廣播-手持(DVB-H)系統(tǒng)中的成分的同步。
背景技術(shù)：
數(shù)字視頻廣播-手持(DVB-H)是用于提供電視廣播以及其它視頻與音頻流到移動 設(shè)備或手持設(shè)備的標準。在DVB-H中，使用時間分片，這意味著不同的服務(即，不同的電視頻道)在時間 或突發(fā)的相應的“分片(slice)”中被傳送。圖1顯示示范性DVB-H傳輸結(jié)構(gòu)。在這個例子 中，DVB-H輸送流2以2 Mbps被傳送，且包含四個不同的服務，每個服務具有5001cbpS的平 均比特速率。由于時間分片的結(jié)果，每個服務在四分之一的時間內(nèi)以2Mbps的最大比特速 率被傳送。所以，使用單個服務的接收設(shè)備在75%的時間內(nèi)可以停用DVB-H接收機。因此， 時間分片在DVB-H中被使用來減小接收設(shè)備中的功率消耗。如圖1所示，在DVB-H流中，音頻與視頻信息通過使用實時輸送協(xié)議(RTP)，經(jīng)由分 別被標記為225. 0. 0. 1:4000和225. 0. 0. 1:5000的分開的流(并且具體地是用戶數(shù)據(jù)報協(xié) 議(UDP)套接字)來發(fā)送。這個協(xié)議被設(shè)計成使得多媒體會話(例如，視頻和音頻)的不同 的媒體成分可以經(jīng)由不同的信道/路由(可能來自不同的源例如在視頻會議中的話筒和 攝像機)被輸送。當使用RTP時，廣播音頻和視頻流可能會不同步達幾秒之久。因此，音頻和視頻流在接收設(shè)備中必須在時間上同步，以便避免影音同步 (lip-sync)問題。音頻與視頻流之間的甚至是小的偏差也能被用戶感知。對于DVB-H廣播有兩個單獨的同步問題。第一個同步問題出現(xiàn)在用戶選擇或改 變接收的服務時(即，用戶激活接收設(shè)備，或從圖1中的“服務1”切換到“服務2”)。在這 種情形下，接收設(shè)備必須改變到新的服務，并同步新的視頻與音頻流。這個同步可花上幾秒 鐘，這意味著，在呈現(xiàn)新的服務之前對于用戶將有延遲。除了視頻與音頻流以外，還可能有 需要同步的另外的成分(例如，圖形或字幕)。第二個問題是視頻與音頻流之間的同步可隨時間而漂移，并可能需要校正。在RTP中，這些同步問題通過使用連同音頻和視頻流一起被發(fā)送的RTP控制協(xié)議 (RTCP)發(fā)送者報告分組而被減輕。如圖1所示，音頻和視頻流中的每個被與包含RTCP發(fā)送 者報告分組的相應的流進行配對，流225. 0. 0. 1:4001載送用于視頻流225. 0. 0. 1:4000的 RTCP發(fā)送者報告分組4，以及流225. 0. 0. 1:5001載送用于音頻流225. 0. 0. 1:5000的RTCP 發(fā)送者報告分組6。然而，從這個圖可以看出，當視頻和音頻流被首次接收時，在這些流可被同步(在 圖1上被標記為“同步點，，)之前，必須等待，直至為每個音頻和視頻流接收到RTCP發(fā)送者 報告分組為止。在圖2中顯示了按照RTCP技術(shù)規(guī)范的RTCP發(fā)送者報告分組的示范性結(jié)構(gòu)。該分 組包括規(guī)定正被使用的協(xié)議的版本的頭標部分(V)、填充指示符比特(P)、該分組中的接收報告塊的數(shù)目(RC)、分組類型(PT-即發(fā)送者報告SR)、以32比特字計的分組的長度、以 及對于發(fā)送者報告分組的源的同步源標識符(SSRC)。該分組還包括發(fā)送者信息部分，其 規(guī)定64比特網(wǎng)絡(luò)時間協(xié)議(NTP)時間戳(在這里它被稱為絕對時間)；RTP時間戳，其反映 視頻或音頻流中的RTP數(shù)據(jù)分組內(nèi)的第一個八位位組的采樣時間；發(fā)送者的分組計數(shù)，其 顯示直至發(fā)送者報告的傳輸?shù)?、由發(fā)送者傳送的RTP數(shù)據(jù)分組的總數(shù)；和發(fā)送者的八位位 組計數(shù)，其顯示直至發(fā)送者報告的傳輸?shù)?、由發(fā)送者傳送的凈荷八位位組的總數(shù)。每個RTP數(shù)據(jù)分組載送RTP時間戳，其顯示自從在RTP數(shù)據(jù)分組中的第一個八位 位組的采樣時刻以來消逝的時間。RTP時間戳通常對于單獨的媒體流(即視頻或音頻)是 特定的，且將相應的開始點和頻率用于計數(shù)時間戳中的增量。這樣，因為不同的音頻和視頻 流不是將相同的時基(即時鐘頻率和啟動偏移)用于RTP時間戳，所以它們不可以直接比 較。所以，如上所述，每個音頻和視頻RTP流都與包含RTCP分組的相應的流進行配對。 如圖2所示，這些RTCP發(fā)送者報告分組包括NTP時間戳和RTP時間戳，它們代表相同的時 間，但是是以不同的時基。由于NTP時間戳對于所有的不同的媒體成分(例如，音頻和視 頻)是相同的，因而同步所有的流是簡單明了的。具體地，通過使用定時信息而為每個成分 計算呈現(xiàn)時間戳(PTS)，讓PTS指示相關(guān)的數(shù)據(jù)采樣應當從緩沖器被檢索、譯碼和呈現(xiàn)給用 戶的時間。在DVB-H應用中，推薦每隔4秒發(fā)送RTCP分組。然而，當作出服務中的改變時，這 意味著，在接收到下一個RTCP分組以及可以通過使用定時信息來使音頻和視頻流的RTP時 間戳互相相關(guān)之前，將花費多達5秒。這意味著，在選擇或改變服務后，相當于頭5秒內(nèi)音 頻和視頻流可能不同步。另外，在廣播期間，當接收到新的RTCP發(fā)送者報告分組并確定必須校正同步時， 調(diào)節(jié)或校正可被用戶感知為在所呈現(xiàn)的音頻或視頻中的輕微的跳躍或人工產(chǎn)物。

發(fā)明內(nèi)容
所以，需要一種供按照DVB-H技術(shù)規(guī)范的廣播使用的、克服上述的缺點的方法和 設(shè)備。具體地，需要一種方法和設(shè)備，其在新的服務被選擇時具有改進的同步時間，以及當 實施媒體流成分之間的同步的校正時提供更平滑的過渡。本發(fā)明由獨立權(quán)利要求定義。從 屬權(quán)利要求定義有利的實施例。按照本發(fā)明的第一方面，提供了用于同步廣播媒體流的多個成分的方法，所述方 法包括緩沖用于廣播媒體流的多個成分的數(shù)據(jù)采樣的流以及緩沖多個信息分組，用于多 個成分中每個成分的數(shù)據(jù)采樣的流包括相對定時信息，每個信息分組包括指示在所述成分 中的相對定時信息與絕對時間之間的關(guān)系的定時信息；對緩沖的信息分組執(zhí)行預作準備 (look-ahead)行動，以提取對于該多個成分中每個成分的定時信息；以及使用所提取的定 時信息和相對定時信息來同步該多個成分。在一個實施例中，每個信息分組與該多個成分中相應的成分相關(guān)聯(lián)，以及定時信 息指示在它們的相應成分中的相對定時信息與絕對時間之間的關(guān)系。優(yōu)選地，該方法還包括流播多個成分中的同步的數(shù)據(jù)采樣的步驟。在一個實施例中，該方法還包括以下步驟在存儲器中存儲信息分組；和使用被存儲在存儲器中的信息分組內(nèi)的定時信息來同步多個成分中的數(shù)據(jù)采樣，直至接收到另外 的信息分組為止。在這個實施例中，廣播媒體流包括多個可選擇的服務，以及該方法還包括以下步 驟接收對于每個可選服務中的各成分的信息分組；以及把信息分組存儲在存儲器中。優(yōu)選地，用于多個成分的數(shù)據(jù)采樣的流包括在廣播媒體流中的第一可選服務，以 及所存儲的用于第二可選服務的信息分組在第二服務被選擇的事件中以及在接收到用于 第二服務的相應信息分組之前被使用。優(yōu)選地，數(shù)據(jù)采樣在突發(fā)中被接收，以及信息分組與每個突發(fā)一起被接收。優(yōu)選地，使用所提取的定時信息和相對定時信息的步驟包括確定在多個成分中 的、要被同時流播的數(shù)據(jù)采樣。優(yōu)選地，該方法還包括以下步驟比較所確定的要同時流播的數(shù)據(jù)采樣與先前確 定的要同時流播的數(shù)據(jù)采樣組，以識別在多個成分之間的漂移；以及添加或省略來自特定 成分的數(shù)據(jù)采樣，以便當從緩沖器流播數(shù)據(jù)分組時，校正所識別的漂移。在這個實施例中，在與被用來確定漂移的信息分組一起接收的一個或多個數(shù)據(jù)采 樣被流播之前，通過添加或省略數(shù)據(jù)采樣而校正漂移。優(yōu)選地，數(shù)據(jù)采樣是通過重復現(xiàn)有的數(shù)據(jù)采樣而添加的。優(yōu)選地，該方法還包括把比較步驟的結(jié)果存儲到存儲器的步驟。優(yōu)選地，該方法還包括從被存儲在存儲器中的結(jié)果計算平均校正量；以及使用 所計算的平均校正量來預測對于特定成分所需要的校正量。在優(yōu)選實施例中，廣播媒體流按照數(shù)字視頻廣播-手持技術(shù)規(guī)范被廣播。在這些實施例中，相對定時信息包括實時傳送協(xié)議(RTP)時間戳，信息分組是RTP 控制協(xié)議(RTCP)發(fā)送者報告分組，以及絕對時間是按照網(wǎng)絡(luò)時間協(xié)議(NTP)被確定的。優(yōu)選地，廣播媒體流的成分包括從視頻、音頻、圖形、字幕和交互式內(nèi)容中選擇的 一項。按照本發(fā)明的第二方面，提供了用于把廣播媒體流呈現(xiàn)給用戶的設(shè)備，所述設(shè)備 包括緩沖器，用來存儲用于廣播媒體流的多個成分的數(shù)據(jù)采樣流和多個信息分組，每個成 分包括用于在所述流內(nèi)的數(shù)據(jù)采樣的相對定時信息，每個信息分組包括指示在所述成分中 的相對定時信息與絕對時間之間的關(guān)系的定時信息；以及處理器，其適于執(zhí)行預作準備 行動，以從所緩沖的對于每個成分的信息分組中提取定時信息；以及使用所提取的定時信 息和相對定時信息來同步多個成分。優(yōu)選地，該設(shè)備還包括存儲器，用于存儲所提取的定時信息。本發(fā)明的第三方面提供包括計算機可讀代碼的計算機程序產(chǎn)品，當該計算機可讀 代碼被處理器執(zhí)行時，適于執(zhí)行如上所述的方法。從下文描述的實施例中，本發(fā)明的這些和其它方面將是明顯的，并將參照所述實 施例予以闡述。


現(xiàn)在將參照附圖，僅僅通過例子來描述本發(fā)明，其中 圖1顯示在DVB-H系統(tǒng)中的廣播的結(jié)構(gòu)；圖2顯示示范性RTCP發(fā)送者報告分組的結(jié)構(gòu)； 圖3是按照本發(fā)明的實施例的移動設(shè)備的框圖； 圖4顯示在任意時刻的、DVB-H系統(tǒng)中的緩沖器的內(nèi)容；以及 圖5是圖示按照本發(fā)明的實施例的方法的流程圖。
具體實施例方式現(xiàn)在將參照包括音頻和視頻成分的廣播媒體流來描述本發(fā)明，雖然應意識到，本 發(fā)明可適用于包括不同的或附加的成分(包括但不限于，字幕、圖形和交互式內(nèi)容)的媒體流。而且，雖然將參照DVB-H系統(tǒng)來描述本發(fā)明，但應意識到，本發(fā)明可適用于使用時 間分片通過空中接口或有線接口來遞送服務的其它系統(tǒng)(包括供非移動或非便攜式設(shè)備 使用的系統(tǒng))?，F(xiàn)在參照圖3，圖上給出按照本發(fā)明的實施例的移動設(shè)備。移動設(shè)備10-其可以 是能接收廣播媒體流的任何設(shè)備，例如移動電話、個人數(shù)字助理或便攜式電視設(shè)備一包括 天線12和接收機電路14，用于通過空中接口接收廣播媒體流。接收機電路14被連接到用 來控制移動設(shè)備10的運行的處理器16。移動設(shè)備10還包括被連接到處理器16的緩沖器 18，其被使用來存儲用于進入的媒體流的各成分的數(shù)據(jù)采樣的分組。接收來自移動設(shè)備10的用戶的命令的用戶接口 20，連同揚聲器(們)22和顯示器 24 一起，也被連接到處理器16。揚聲器22和顯示器M被使用來在處理器16檢索和譯碼 來自緩沖器18的媒體成分的時候把媒體流呈現(xiàn)給用戶。在某些實施例中，移動設(shè)備10還可包括被連接到處理器16的存儲器26。因此，包括多個成分的進入的媒體流由移動設(shè)備10使用天線12和接收機電路14 進行接收，并被處理器16存儲在緩沖器18中。為了把媒體流初始地呈現(xiàn)給移動設(shè)備10的 用戶(即，當設(shè)備10被首次接通時，當設(shè)備10首次開始接收廣播媒體流時，或當用戶選擇 廣播媒體設(shè)備的新的服務來觀看時)，處理器16為每個音頻和視頻分組確定NTP時間戳，并 把分組從緩沖器18流播到移動設(shè)備10的適當?shù)妮敵?即，揚聲器22或顯示器，其中 NTP時間戳被使用來指示哪個音頻分組應當與特定的視頻分組一起從緩沖器18被流播。呈 現(xiàn)的實際時間(即，分組從緩沖器18流播的時間)可以由處理器16依據(jù)呈現(xiàn)時間戳(PTS) 來確定，或僅僅由處理器16考慮視頻流的幀速率來確定(即，每秒流播用于特定數(shù)目的幀 的視頻數(shù)據(jù))。將意識到，當移動設(shè)備是移動電話時，接收機電路14可以用收發(fā)信機電路代替， 或可以提供分開的發(fā)射機電路用于與通信網(wǎng)絡(luò)的上行鏈路通信。而且，將意識到，在某些實施例中，接收機電路14可以把接收的媒體流直接提供 到緩沖器18，而無需經(jīng)過處理器16。圖4顯示在任意時刻的、在DVB-H系統(tǒng)中的緩沖器18的內(nèi)容。在這個圖示中，流 播到緩沖器18中的數(shù)據(jù)采樣自左面來，從緩沖器18(來自流播點)流播出來到揚聲器22 或顯示器M的數(shù)據(jù)采樣往右面去。因為在本例中媒體流包括兩個成分，即視頻和音頻，所 以緩沖器18實際上被劃分成兩個部分，讓第一部分(被顯示于圖4的上半部)存儲視頻數(shù) 據(jù)采樣，而第二部分(被顯示于圖4的下半部)存儲音頻數(shù)據(jù)采樣。
對于在每個時間分片或突發(fā)期間接收的每個成分的數(shù)據(jù)采樣被顯示在緩沖器18 中。如上所述，當數(shù)據(jù)采樣被媒體流的成分的源生成時，采樣被加上時間戳。然而，每個成 分對于這些時間戳將使用不同的基，這樣，不同成分的時間戳不可直接比較。因此，每個成分伴隨有與數(shù)據(jù)信道同時廣播的相應的信道，且該信道包含信息分 組4、6，這些信息分組包括指示在所述成分中的相對時間戳與絕對時間之間的關(guān)系的定時 信息。這些信息分組4、6被存儲在緩沖器中，如圖4所示。在DVB-H系統(tǒng)中，數(shù)據(jù)采樣通過使用實時傳送協(xié)議(RTP)而被廣播，所以包括RTP 時間戳。另外，信息分組是RTCP發(fā)送者報告，以及定時信息指示在RTP時間戳與絕對時間 (即，NTP時間)之間的關(guān)系。傳統(tǒng)上，當信息分組4、6連同它們的相應的音頻和視頻流一起從緩沖器18流播出 來時，信息分組4、6由處理器16或其它媒體播放器讀出(即，它們在流播點到達相應的信 息分組時被讀出)。然而，按照本發(fā)明，處理器16能夠執(zhí)行預作準備行動，這意味著，它超前于緩沖器 18中的當前的流播點(即，數(shù)據(jù)采樣當前正從其被流播的點)來為已被存儲在緩沖器18中 的任何“將來的”信息分組預作準備。換句話說，處理器16檢驗處在緩沖器18中的信息分 組，而不是等待它們通過數(shù)據(jù)采樣被流播出緩沖器18。替換地，預作準備行動可導致處理器 16在信息分組被接收機電路14接收時(即，在它們被存儲到緩沖器18之前)檢驗該信息 分組。由于廣播媒體流的時間分片結(jié)構(gòu)，由處理器16進行的這種“預作準備”行動是可 能的，因為與在處理器16中的成分譯碼器可以使用數(shù)據(jù)采樣相比，在特定的時間分片里接 收數(shù)據(jù)采樣要快得多。圖5是圖示按照本發(fā)明的一個方面的移動設(shè)備的運行的流程圖。在步驟101，用于廣播媒體流的多個成分的數(shù)據(jù)采樣被接收，并被存儲在緩沖器 18。每個成分包括用于在該流中的數(shù)據(jù)采樣的相對時間戳。在步驟103，對于每個成分的相應的信息分組被接收，并被存儲在緩沖器18。每個 信息分組包括指示在它們的相應成分中的相對時間戳與絕對時間之間的關(guān)系的定時信息。在步驟105，處理器對緩沖器18執(zhí)行預作準備行動，且從所接收的信息分組中提 取定時信息。替換地，處理器16可以在信息分組被接收機電路14接收時讀出定時信息。因 此，在與信息分組一起被并行地接收的數(shù)據(jù)采樣從緩沖器18被流播之前，從那個信息分組 中提取定時信息。因為信息分組是間歇地接收的，所以處理器16可以周期性地重復預作準 備行動。在步驟107，處理器16使用所識別的定時信息來把各成分中的數(shù)據(jù)采樣的相對時 間戳與絕對時間相關(guān)。因為來自不同的數(shù)據(jù)流的采樣現(xiàn)在具有共同的時基，所以處理器16 可以通過確定在一個成分中的哪些采樣應當連同在另一個成分中的哪些采樣一起流播而 對各成分進行同步。最后，在步驟109，在這些成分中的同步的數(shù)據(jù)采樣從緩沖器18流播。將會意識到，由于數(shù)據(jù)流播系統(tǒng)的性質(zhì)(即，數(shù)據(jù)被周期地接收(在突發(fā)傳輸?shù)那?形下)并連續(xù)不斷地流播給用戶)，在這個方法中的每個步驟由移動設(shè)備10或多或少同時 地執(zhí)行，雖然是對媒體流的不同部分來執(zhí)行的。例如，步驟101和103對于特定的突發(fā)將基本上在相同的時間發(fā)生(因此，被并排地顯示在流程圖上)，而此時處理器16正把來自廣播 媒體流中的較早的數(shù)據(jù)采樣流播給用戶。因此，當設(shè)備10被首次接通時，當設(shè)備10首次開始接收廣播媒體流時，或當用戶 選擇廣播媒體流的新的服務時，上述的方法允許多個成分比傳統(tǒng)的方法快得多地被同步。 事實上，如果信息分組(RTCP發(fā)送者報告)在第一突發(fā)中是可得到的，則幾乎一旦發(fā)生服務 改變，就可以實現(xiàn)同步。另外，通過使用上述的方法，有可能比用傳統(tǒng)方法更早地確定多個成分是否需要 重新同步(即，在成分之間的定時是否漂移)。而且，正如下面更詳細地描述的，對所需要的 同步校正的提早檢測允許在短的時間段上(即，多個幀)實施校正，而不是如在傳統(tǒng)的方 法中那樣在特定的時刻實施校正。這樣，用戶可感知的人工產(chǎn)物將被減小。這兩個實施方案的進一步的細節(jié)在下面提供。在新的服各中的成分的同步因此，當設(shè)備10被首次接通時，當設(shè)備10首次開始接收廣播媒體流時，或當用戶選擇 廣播媒體的新的服務時，設(shè)備10接收第一個選擇的突發(fā)，并把數(shù)據(jù)采樣和RTCP發(fā)送者報告 分組存儲在緩沖器18中。雖然處理器16可以開始消耗(即，流播)來自緩沖器18的所接收的媒體成分，但 它可以同時執(zhí)行預作準備行動，以檢查緩沖器18的其余部分來查找所有必需的媒體成分 的可得到的RTCP分組。如果對于至少兩個不同的媒體成分找到這樣的RTCP分組，則通過使用把RTP時間 戳鏈接到NTP時間的、RTCP發(fā)送者報告分組中的定時信息，可以把數(shù)據(jù)采樣流中的個體的 成分RTP時間戳轉(zhuǎn)化回一個絕對時基。具體地，由于RTCP發(fā)送者報告分組包含對于在RTP 數(shù)據(jù)分組中的第一個八位位組的采樣時刻的RTP時間戳和對應的NTP時間戳，所以在RTP 數(shù)據(jù)分組中的RTP時間戳(從這個第一個采樣時刻測量的)可以與NTP時間相關(guān)。因為定時信息在每個RTCP分組之間不變化，所以來自較早的和較遲的RTCP發(fā)送 者報告分組的定時信息對于在RTP數(shù)據(jù)流中的數(shù)據(jù)采樣都是有效的。因此，雖然RTCP發(fā)送者報告分組在時間上稍后地被接收，但在多個成分之間的同 步可以一旦接收到分組就被建立。具體地，以下的計算說明了本發(fā)明在達到多個成分的同步方面提供了優(yōu)于傳統(tǒng)方 法的改進。下面，假設(shè)新的服務是在用于那個服務的突發(fā)之間被選擇的(即，用于那個服務 的突發(fā)并不是在進行服務切換的時間處正被傳送)。如果假設(shè)對于媒體流中的每個成分，每隔4秒發(fā)送一 RTCP發(fā)送者報告分組(正如 在當前的標準中建議的)，以及媒體流具有2秒的時間分片循環(huán)期，則達到同步所需要的最 大時間是7秒，包括2秒來等待正確的時間分片和5秒來等待RTCP發(fā)送者報告分組。平均 來說，達到同步將花費3. 5秒，包括1秒來等待正確的時間分片和2. 5秒來等待RTCP分組。然而，當使用按照本發(fā)明的方法時，達到同步的最大時間是6秒，包括2秒來等待 正確的時間分片，2秒來等待下一個時間分片(當當前的時間分片不包含RTCP分組時)，當 下一個時間分片仍不包含RTCP分組時再多2秒，以及隨后的0秒，因為RTCP分組幾乎可以 一旦接收到它就被讀出。達到同步的平均時間將是2. 6秒，包括1秒來等待時間分片，有40% 的機會RTCP分組處在這個時間分片(所以需要0秒的進一步等待)，有40%的機會RTCP分組處在下一個時間分片(所以需要2秒的進一步等待)，以及有20%的機會RTCP分組處 在最后的時間分片(所以需要4秒的進一步等待)。在本發(fā)明的優(yōu)選實施例中，通過與數(shù)據(jù)采樣的每個突發(fā)一起傳送RTCP時間戳，同 步時間還可以進一步改進。這樣，由于等待另一個突發(fā)而引起的延遲得以避免。具體地，當每個時間分片都發(fā)送RTCP分組時(因此是每隔1秒)，使用傳統(tǒng)方法同 步這些成分的最大時間將是4秒，包括2秒來等待時間分片和2秒來等待RTCP分組。同步 這些成分所花費的平均時間將是2秒，包括1秒來等待時間分片和1秒來等待RTCP分組。然而，對每個時間分片中的RTCP分組使用上述的方法導致2秒的最大同步時間， 包括2秒來等待該時間分片。平均持續(xù)時間將是1秒，包括1秒來等待該時間分片。在同步多個成分所花費的時間方面的另一個改進可以通過把接收到的對于每個 服務的定時信息存儲在存儲器26中的歷史表內(nèi)而達到。因為在RTCP發(fā)送者報告分組中的 相對值不應當隨時間而改變，所以當用戶切換到那個服務時，可以使用所存儲的分組。這個歷史表可以以幾種方式來填充。首先，當設(shè)備10被激活時，需要設(shè)備10接收 用于廣播中所有服務的時間分片。處理器16可以搜索對于所有的RTCP分組的這些時間分 片，并把這些時間分片存儲在存儲器沈中。第二，設(shè)備10可以實行周期性的更新，以刷新在存儲器沈中的對于每個服務的定 時信息。第三，在正常服務接收期間，設(shè)備10可以高速緩存當前正被消耗的服務的RTCP分 組。如果在某個以后的時間，用戶切換回這個服務，則RTCP信息在存儲器沈中已經(jīng)可得到。 這樣，將僅僅當設(shè)備10首次切換到新的服務時在同步上有延遲。因此，當在新選擇的服務的第一時間分片中缺乏RTCP發(fā)送者報告時，高速緩存的 定時信息可被使用來同步多個成分。在這些情形中的任何情形下，在相對定時可能已改變的不大可能的事件中，令處 理器16檢測到是相當簡單明了的，因為在媒體流中的成分之間將有大的定時差別(例如， 幾秒的量級或更多)，且處理器16可以忽略使這個測試失敗的任何高速緩存的信息。對于高速緩存的信息可以實行進一步的檢驗，以確定它是否仍舊有效。具體地，除 了把RTCP分組高速緩存在存儲器沈中以外，有可能高速緩存對應于該RTCP分組被接收的 點的絕對時間、以及用于接近于該RTCP分組接收的RTP分組的呈現(xiàn)時間戳。所以，當用高 速緩存的信息計算RTP分組的呈現(xiàn)時間戳時，最終得到的呈現(xiàn)時間戳應當接近于高速緩存 的時間之間的絕對時間差加上高速緩存時刻的呈現(xiàn)時間戳。如果情況不是這樣，則被保持 在高速緩存器中的信息或許是無效的，以及處理器16應當?shù)却碌降腞TCP分組。在現(xiàn)有的服務中的成分之間的同步的校IH如上所述，如果服務中的多個成分之間的同步隨時間漂移，則與用傳統(tǒng)的方法相比，按 照本發(fā)明的方法允許更早地確定這個同步漂移。由于同步漂移的這種更早的檢測，所以可以在短的時間段內(nèi)(即，若干幀)進行同 步校正，而不是如在傳統(tǒng)的方法中那樣在特定的時刻進行校正。具體地，同步校正可以通過丟棄視頻幀(如果視頻成分在時間上處于其它成分之 前)和/或通過丟棄音頻采樣(如果音頻成分在時間上處于其它成分之前)而被實施。在移動設(shè)備10已使用隨每個流發(fā)送的第一個RTCP發(fā)送者報告分組而同步RTP傳輸?shù)牟煌拿襟w成分后，它繼續(xù)接收對于每個成分流的進一步的RTCP信息分組。按照本發(fā) 明，移動設(shè)備10對于在緩沖器18中的RTCP分組執(zhí)行預作準備操作。換句話說，一旦RTCP 分組中的定時信息對于移動設(shè)備10是可得到的，設(shè)備10就提取該定時信息，而不是等待該 分組連同對應的數(shù)據(jù)采樣一起流播出緩沖器。一旦找到這樣的RTCP分組，處理器16就把相對時間戳與絕對時間相關(guān)，并如通常 的那樣去計算對于不同的媒體成分的呈現(xiàn)時間戳。由此，處理器16確定來自一個成分的哪 些采樣應當與來自其它成分的特定的采樣一起被流播，以及把這個與當前正在流播的數(shù)據(jù) 采樣對進行比較。如果這些采樣對與當前正在流播的采樣對不同，則存在有漂移，所以處理 器16確定特定的一個成分或多個成分需要被調(diào)節(jié)多少，以及這個漂移應當在哪個點被校 正。漂移正常地被校正的時間是從緩沖器18讀出RTCP分組的時間。處理器16使用所確定的調(diào)節(jié)量和正常的校正時間來確定在RTCP分組被從緩沖器 18讀出之前每個(或哪個)成分需要被調(diào)節(jié)多少，以便同步這些成分。處理器16可以通過添加或省略視頻幀(如果視頻分別在音頻流之前或之后)、或 通過添加或省略音頻采樣(如果音頻分別在視頻流之前或之后)而校正在音頻和視頻流之 間的同步漂移。通過重復現(xiàn)有的幀或采樣，可以添加幀或采樣。優(yōu)選地，處理器16通過在從緩沖器18讀出RTCP分組之前的時間段上使幀或采樣 的添加或省略隔開而校正同步漂移，所以在重新同步中不應當有任何用戶可感知的人工產(chǎn) 物。每次發(fā)生重新同步時，與重新同步有關(guān)的信息可被存儲在存儲器沈中的歷史表 內(nèi)。處理器16可以使用這個表中的信息來計算已發(fā)生的幀或音頻定時的總體平均調(diào)節(jié)量。 通過這個信息，處理器16可以在RTCP分組被接收之前預測重新同步，并確保在從緩沖器18 讀出相關(guān)的RTCP分組之前很久便實施重新同步。這樣，重新同步可以在更大的時間尺度上 被實施，這意味著，過渡可以被做得更平滑，因為幀或音頻采樣的添加或省略可以進一步分 開地散布。當RTCP分組從緩沖器18被讀出時，其中的定時信息可被使用來確認成分的同步 已被正確地調(diào)節(jié)。而且，本發(fā)明的這個實施例可以通過在傳輸源中引入特定的RTCP分組而被應用 于非時間分片的傳輸。這個分組可包含同步信息和指示應當在何時按照這個信息行動的時 間戳。如果期望輕微的重新同步，則這個分組可以由傳輸源提前來創(chuàng)建和發(fā)送。這樣，如果 這個特定的RTCP分組被接收，則設(shè)備可以在一時間段內(nèi)平滑地調(diào)節(jié)同步。所以，提供了一種方法和設(shè)備，當新的服務被選擇時其具有改進的同步時間，并且 當實施在媒體流的成分之間的同步的校正時其提供更平滑的過渡。雖然在附圖和上述的說明中詳細地圖示和描述了本發(fā)明，但這樣的圖示和描述應 當被看作為是說明性或示范性的，而不是限制性的，本發(fā)明不限于所公開的實施例。通過研究附圖、公開內(nèi)容和所附權(quán)利要求，實踐所要求的本發(fā)明的本領(lǐng)域技術(shù)人 員可以了解并實現(xiàn)對于所公開的實施例的變化。本發(fā)明可以借助于包括幾個不同的單元的 硬件，和/或借助于被適當?shù)鼐幊痰奶幚砥鞫粚嵤Ｔ跈?quán)利要求中，單詞“包括”不排除其 它單元或步驟，以及不定冠詞“一”或“一個”(“a”或“an”)不排除多個。單個處理器或其 它單元可以完成在權(quán)利要求中陳述的幾個項目的功能。某些措施在互相不同的從屬權(quán)利要求中被陳述的起碼事實不表示這些措施的組合不能被使用來獲益。在權(quán)利要求中的任何參 考標號不應當被解釋為限制范圍。計算機程序可在適當?shù)慕橘|(zhì)一諸如連同其它硬件一起 或作為其它硬件的一部分被供應的光學存儲介質(zhì)或固態(tài)介質(zhì)一中被存儲/分發(fā)，而且該計 算機程序也可以以其它形式被分發(fā)，諸如是經(jīng)由互聯(lián)網(wǎng)或其它有線或無線電信系統(tǒng)分發(fā)。
權(quán)利要求
1.一種用于同步廣播媒體流的多個成分的方法，所述方法包括緩沖(101)用于廣播媒體流的多個成分的數(shù)據(jù)采樣流以及緩沖多個信息分組，用于該 多個成分中每個成分的數(shù)據(jù)采樣流包括相對定時信息，每個信息分組包括指示在所述成分 中的相對定時信息與絕對時間之間的關(guān)系的定時信息；對緩沖的信息分組執(zhí)行(105)預作準備行動，以提取對于該多個成分中每個成分的定 時信息；以及使用(107)所提取的定時信息和相對定時信息來同步該多個成分。
2.如在權(quán)利要求1中要求的方法，其中每個信息分組與該多個成分中的相應成分相關(guān) 聯(lián)，以及定時信息指示在它們的相應成分中的相對定時信息與絕對時間之間的關(guān)系。
3.如在權(quán)利要求1或2中要求的方法，還包括以下步驟 流播(109)該多個成分中已同步的數(shù)據(jù)采樣。
4.如在權(quán)利要求1到3的任一項中要求的方法，還包括以下步驟 把信息分組存儲在存儲器(26)；和使用被存儲在存儲器中的信息分組內(nèi)的定時信息來同步該多個成分中的數(shù)據(jù)采樣，直 至接收到另外的信息分組為止。
5.如在權(quán)利要求4中要求的方法，其中該廣播媒體流包括多個可選擇的服務，以及所 述方法還包括以下步驟接收(103)對于每個可選服務中的各成分的信息分組；以及 將該信息分組存儲在存儲器。
6.如在權(quán)利要求5中要求的方法，其中用于該多個成分的數(shù)據(jù)采樣的流包括在廣播媒 體流中的第一可選服務，以及其中所存儲的用于第二可選服務的信息分組在第二服務被選 擇的事件中以及在接收到用于第二服務的相應信息分組之前被使用。
7.如在任一前述權(quán)利要求中要求的方法，其中數(shù)據(jù)采樣在突發(fā)中被接收，以及信息分 組與每個突發(fā)一起被接收。
8.如在任一前述權(quán)利要求中要求的方法，其中使用所提取的定時信息和相對定時信息 的步驟包括確定該多個成分中要被同時流播的數(shù)據(jù)采樣。
9.如在權(quán)利要求8中要求的方法，還包括以下步驟比較所確定的要被同時流播的數(shù)據(jù)采樣與先前確定的要被同時流播的數(shù)據(jù)采樣組，以 識別在多個成分之間的漂移；以及添加或省略來自特定成分的數(shù)據(jù)采樣，以便當從緩沖器流播數(shù)據(jù)分組時，校正所識別 的漂移。
10.如在權(quán)利要求9中要求的方法，其中在與被用來確定漂移的信息分組一起接收的 一個或多個數(shù)據(jù)采樣被流播之前，通過添加或省略數(shù)據(jù)采樣而校正所述漂移。
11.如在權(quán)利要求9或10中要求的方法，其中添加數(shù)據(jù)采樣包括重復數(shù)據(jù)采樣。
12.如在權(quán)利要求9、10或11中要求的方法，其中該方法還包括 把比較步驟的結(jié)果存儲到存儲器。
13.如在權(quán)利要求12中要求的方法，其中該方法還包括 從被存儲在存儲器中的結(jié)果計算平均校正量；以及使用所計算的平均校正量來預測對于特定成分所需要的校正量。
14.一種用于把廣播媒體流呈現(xiàn)給用戶的設(shè)備，所述設(shè)備包括緩沖器(18)，用來存儲用于廣播媒體流的多個成分的數(shù)據(jù)采樣的流和多個信息分組， 每個成分包括用于該流內(nèi)的數(shù)據(jù)采樣的相對定時信息，每個信息分組包括指示在所述成分 中的相對定時信息與絕對時間之間的關(guān)系的定時信息；以及 處理器(16)，其適于-執(zhí)行預作準備行動，以從所緩沖的對于每個成分的信息分組中提取定時信息；以及 -使用所提取的定時信息和相對定時信息來同步該多個成分。
15.如在權(quán)利要求14中要求的設(shè)備，還包括存儲器(26)，用于存儲所提取的定時信息。
全文摘要
提供了用于同步廣播媒體流的多個成分的方法，所述方法包括緩沖(18)用于廣播媒體流的多個成分的數(shù)據(jù)采樣的流，以及緩沖多個信息分組，所述用于多個成分中每個成分的數(shù)據(jù)采樣的流包括相對定時信息，每個信息分組包括指示在所述成分中的相對定時信息與絕對時間之間的關(guān)系的定時信息；對緩沖的信息分組執(zhí)行(16)預作準備行動，以提取對于該多個成分中每個成分的定時信息；以及使用(16)所提取的定時信息和相對定時信息來同步該多個成分。
文檔編號H04N7/24GK102057687SQ200980121754
公開日2011年5月11日 申請日期2009年6月4日 優(yōu)先權(quán)日2008年6月11日
發(fā)明者德尼斯 G., P. 范加塞爾 J. 申請人:皇家飛利浦電子股份有限公司