專利名稱：：同步通過不同網(wǎng)絡(luò)接收的內(nèi)容的呈現(xiàn)的解碼器及其方法
技術(shù)領(lǐng)域：
：本發(fā)明大體上涉及一種用于解碼通過寬帶網(wǎng)絡(luò)接收的音頻視頻節(jié)目的方法，并且具體地涉及一種將通過寬帶網(wǎng)絡(luò)接收的內(nèi)容的呈現(xiàn)與通過廣播網(wǎng)絡(luò)接收的內(nèi)容的呈現(xiàn)同步的方法。
背景技術(shù)：
：本部分旨在向讀者介紹可能與下面描述和/或要求保護(hù)的本發(fā)明的各個(gè)方面有關(guān)的技術(shù)的各個(gè)方面。相信本討論有助于幫助向讀者提供
背景技術(shù)：
信息以便促使對(duì)本發(fā)明的各個(gè)方面的更好理解。相應(yīng)地，應(yīng)該理解這些陳述應(yīng)該鑒于此地閱讀，并且不作為對(duì)現(xiàn)有技術(shù)的承認(rèn)。在過去的幾年中，隨著通過寬帶因特網(wǎng)協(xié)議(IP)網(wǎng)絡(luò)的TV或視頻服務(wù)的大量推出(rollout)，已經(jīng)擴(kuò)展了地面、衛(wèi)星和有線網(wǎng)絡(luò)的傳統(tǒng)TV廣播領(lǐng)域。這些網(wǎng)絡(luò)是互補(bǔ)的，其中廣播分發(fā)適配用于實(shí)況事件和大量分發(fā)和寬帶分發(fā)適配用于點(diǎn)播、趕上(catch-up)以及個(gè)人化服務(wù)。這樣的互補(bǔ)提供了混合模型的前景，其中平衡每個(gè)網(wǎng)絡(luò)的強(qiáng)度以便以高效的方式提供增強(qiáng)TV和視頻服務(wù)?？梢酝ㄟ^寬帶傳遞的個(gè)人化內(nèi)容來豐富廣播事件，這個(gè)內(nèi)容事先用流傳輸并且推送(push)。這樣的混合服務(wù)可能需要通過分離的網(wǎng)絡(luò)傳遞的分量(component)緊密同步。例示這個(gè)精確同步的需要的一個(gè)典型示例是正在觀看廣播節(jié)目的用戶選擇沒有被廣播但是通過寬帶可用的外國音頻序列。另一個(gè)示例是通過由廣播傳遞另一視頻分量來豐富廣播內(nèi)容，根據(jù)廣播分量該另一個(gè)視頻分量例如是可分級(jí)視頻編碼(SVC)增強(qiáng)層的多視圖視頻編碼(MVC)分量，以在3D或同一場(chǎng)景的另一視圖提出該事件。有多種通過寬帶傳遞這個(gè)額外分量的方法。第一種基于點(diǎn)播傳遞的解決方案是使用超文本傳輸協(xié)議(HTTP)流傳輸,如在文件“HTTPLiveStreaming,draft-pantos-http-live-streaming-01-R.Pantos,AppleIncJune8,2009”中所描述的，或者依賴于推薦RFC3550,“ATransportProtocolforReal-TimeApplications”中定義的通過UDP/IP的實(shí)時(shí)傳輸協(xié)議(RTP)。在這最后一種情況中如實(shí)時(shí)流協(xié)議(RTSP)(在推薦RFC2326中所描述的)的通信協(xié)議與RTP相關(guān)聯(lián)?；诙嗖鬟f的另一種解決方案是使用如文件“ATransportProtocolforReal-TimeApplications”中定義的RTP協(xié)議(RTP/UDP/IP)。在點(diǎn)播傳遞的情況下，內(nèi)容的請(qǐng)求可以嵌入表示要傳遞的第一視聽樣本的展示時(shí)間戳(PTS)的定時(shí)信息。當(dāng)終端向多播流訂閱時(shí)不是這種情況。終端不能請(qǐng)求給定時(shí)間戳的定時(shí)信息，并且該行為類似于客戶端經(jīng)受內(nèi)容傳遞限制的廣播網(wǎng)絡(luò)。一些網(wǎng)絡(luò)的特征是其等待時(shí)間和其抖動(dòng)。這意味著通過一個(gè)網(wǎng)絡(luò)與通過另一網(wǎng)絡(luò)傳遞內(nèi)容不采用相同的持續(xù)時(shí)間。廣播網(wǎng)絡(luò)的特定性在于內(nèi)容在不需要接收器請(qǐng)求任何東西的情況下到達(dá)接收器，即，接收器持久地接收內(nèi)容，并且傳遞具有有限的抖動(dòng)，其可以在具有有限尺寸的緩沖器的接收器中處理(treat)。內(nèi)容傳遞持續(xù)時(shí)間包括從服務(wù)器到終端通過廣播網(wǎng)絡(luò)傳遞內(nèi)容的持續(xù)時(shí)間以及終端需要用來多路分解、緩沖并且解碼內(nèi)容的持續(xù)時(shí)間。寬帶網(wǎng)絡(luò)可以被視為個(gè)人化傳遞網(wǎng)絡(luò)，由于其僅在接收器請(qǐng)求時(shí)傳遞內(nèi)容。圖I圖示通過寬帶網(wǎng)絡(luò)傳遞節(jié)目?jī)?nèi)容。視頻服務(wù)器向機(jī)頂盒接收器(STB)傳遞節(jié)目?jī)?nèi)容。機(jī)頂盒接收并解碼內(nèi)容以便在顯示設(shè)備上對(duì)其顯示。傳遞可以被分開為4個(gè)主要步驟以及對(duì)應(yīng)持續(xù)時(shí)間請(qǐng)求到達(dá)服務(wù)器需要的持續(xù)時(shí)間為Tl。服務(wù)器對(duì)請(qǐng)求進(jìn)行處理并發(fā)射節(jié)目?jī)?nèi)容的持續(xù)時(shí)間為T2。從服務(wù)器到機(jī)頂盒的節(jié)目?jī)?nèi)容傳遞的持續(xù)時(shí)間為T3。機(jī)頂盒需要用來緩沖、解碼和顯示節(jié)目?jī)?nèi)容的持續(xù)時(shí)間為T4。在混合廣播寬帶環(huán)境中的傳遞不一定暗示時(shí)間格式對(duì)于所有分量都相同。在MPEG-2傳輸流格式(通常用于廣播網(wǎng)絡(luò))中，定時(shí)信息基于節(jié)目時(shí)鐘參考(PCR)格式，而網(wǎng)絡(luò)時(shí)間協(xié)議(NTP)是用于在實(shí)時(shí)傳輸協(xié)議(通常用于寬帶網(wǎng)絡(luò))中編碼的流的定時(shí)的格式。此外，兩個(gè)分量可以具有相同的時(shí)間格式，而時(shí)間參考可以不同(偏移值)。為了補(bǔ)償分量之間的所提到的定時(shí)問題，必須實(shí)施一種機(jī)制來變換(transpose)其它分量中一些的定時(shí)格式和/或參考。通過寬帶傳遞的(多個(gè))分量的定時(shí)格式和/或參考與通過廣播傳遞的(多個(gè))分量的定時(shí)格式和/或參考對(duì)齊(lineup)，后者為“主”分量。在此處的描述中，估計(jì)當(dāng)定時(shí)格式和/或參考不同時(shí)，這個(gè)定時(shí)對(duì)準(zhǔn)操作隱式地進(jìn)行以便同步分量，并且當(dāng)我們引起(evoke)定時(shí)值時(shí)它們指代相同變換的參考(相同的格式和相同的初始值)中的定時(shí)值。這個(gè)唯一的時(shí)間參考叫做系統(tǒng)時(shí)鐘。通過廣播傳遞的分量叫做“主分量”而通過寬帶傳遞的分量叫做“個(gè)人化分量(personalizedcomponent)”。在此描述傳遞個(gè)人化分量的方法。終端請(qǐng)求個(gè)人化分量并且通過雙向?qū)拵ЬW(wǎng)絡(luò)發(fā)送個(gè)人化分量。傳遞可以是線性的或是非線性的。線性傳遞確保終端以相當(dāng)恒定的速率接收分量。由于抖動(dòng)網(wǎng)絡(luò)，其不是精確恒定的。對(duì)于要與廣播的主分量同步的個(gè)人化分量的傳遞可以考慮兩種情況。在展示主分量的對(duì)應(yīng)的幀之前可以接收、解碼并展示個(gè)人化分量流，或者個(gè)人化分量流在之后到達(dá)，并且在這種情況下個(gè)人化分量的所有幀將沒有用處。線性傳遞機(jī)制的典型情況是當(dāng)終端通過發(fā)送請(qǐng)求以加入多播組(如因特網(wǎng)組管理協(xié)議(IGMP協(xié)議)中定義的)來訂閱多播流時(shí)。使用多播流傳遞，終端不能從定義的時(shí)間戳接收流。在這種情況下，并且如果個(gè)人化分量比主分量的對(duì)應(yīng)的幀到達(dá)更晚，則不能同步它們的呈現(xiàn)。實(shí)時(shí)傳輸協(xié)議(RTP)對(duì)于線性傳遞也是熟知的。RTP協(xié)議允許從給定時(shí)間戳的內(nèi)容的請(qǐng)求，所述給定時(shí)間戳等于當(dāng)前接收時(shí)間參考加上偏移(offset)。終端估計(jì)偏移以便事先請(qǐng)求內(nèi)容使得在解碼和呈現(xiàn)內(nèi)容之前對(duì)其接收。如果不正確地評(píng)估了偏移，則個(gè)人化分量被接收得太遲以至于不能與主分量同步。從而，客戶機(jī)必須停止當(dāng)前流傳輸?shù)慕邮詹⑶冶仨毟訙?zhǔn)確地評(píng)估偏移并且然后基于新估計(jì)的偏移值發(fā)送新請(qǐng)求。非線性傳遞是其中終端以非定期方式接收內(nèi)容的機(jī)制。內(nèi)容的一部分以比其被展示更高的速率被傳遞。示例中，幀速率接收高于幀速率展示。非線性傳遞的構(gòu)思是向接收起初遲于展示的個(gè)人化分量的終端提供趕上主分量以便能夠在給定的時(shí)刻展示的可能性。實(shí)時(shí)流協(xié)議(RTSP)服務(wù)器也可以以非線性方式傳遞內(nèi)容。取決于請(qǐng)求參數(shù)，其可以例如在突發(fā)(burst)中傳遞節(jié)目?jī)?nèi)容的第一巾貞或畫面組并且然后以巡航速率(cruisingrate)傳遞內(nèi)容。在使用RTSP的情況下，終端請(qǐng)求給定展示時(shí)間戳。超文本傳輸協(xié)議(HTTP)流傳輸是另一種非線性傳遞。個(gè)人化分量被分開為許多被稱為塊(chunk)的連續(xù)部分。塊是文件或者是包括描述其的一段信息的文件的一部分。所述一段信息可以包括例如時(shí)隙、文件名、字節(jié)范圍、比特率或者任何對(duì)于終端解碼和呈現(xiàn)塊的內(nèi)容可能有用的其它信息。包含視頻的塊的編碼開始于可以不參照先前幀而解碼的關(guān)鍵幀(key-frame)。關(guān)鍵幀可以例如是如MPEG壓縮標(biāo)準(zhǔn)(IS0/IEC13818)中定義的I畫面(或I幀)。塊包含如MPEG壓縮中定義的一整組或若干整組畫面(GOP)。當(dāng)使用HTTP流傳輸接收內(nèi)容時(shí)，終端向服務(wù)器請(qǐng)求塊。服務(wù)器然后盡力而為地發(fā)送塊。內(nèi)容被發(fā)送至連續(xù)關(guān)發(fā)。非線性傳遞向終端提供以下可能性通過發(fā)送連續(xù)請(qǐng)求以便得到開始于關(guān)鍵幀的在系統(tǒng)時(shí)鐘方面與主分量同步的個(gè)人化內(nèi)容的一些片段，解碼時(shí)間參考并且展示時(shí)間參考，來將個(gè)人化分量的呈現(xiàn)與主分量的呈現(xiàn)同步。這樣的同步的一個(gè)缺點(diǎn)在于當(dāng)終端請(qǐng)求要與主分量同步個(gè)人化分量并且接收開始于關(guān)鍵幀(對(duì)于其解碼和展示時(shí)間參考指示接收太遲以至于不能與主分量同步)內(nèi)容時(shí)，丟棄的內(nèi)容可能與就呈現(xiàn)而言重要的時(shí)間范圍(達(dá)到許多秒)對(duì)應(yīng)。終端然后必須發(fā)送一個(gè)或更多新請(qǐng)求并且接收新個(gè)人化流內(nèi)容直至解碼和展示時(shí)間參考指示在終端中可以同步。
發(fā)明內(nèi)容本發(fā)明的目的在于克服現(xiàn)有技術(shù)的缺點(diǎn)。更具體地，本發(fā)明提供將個(gè)人化分量的呈現(xiàn)與主分量的呈現(xiàn)同步所需的延遲的優(yōu)化。在分量的混合廣播和寬帶傳遞需要緊密的同步的環(huán)境中，本發(fā)明提出一種顯著減少訪問點(diǎn)播分量(個(gè)人化分量)的等待時(shí)間來增強(qiáng)用戶體驗(yàn)的方法。本發(fā)明的方法的使用因此最小化時(shí)間參考參數(shù)的不良估計(jì)的影響，依據(jù)時(shí)間參考參數(shù)必須向終端發(fā)送點(diǎn)播(個(gè)人化)分量以便與主分量同步。在這種方法中，即便通過寬帶傳遞的分量的幀在當(dāng)展示要同時(shí)呈現(xiàn)的廣播內(nèi)容幀時(shí)的時(shí)刻之后到達(dá)，也處理它們。該方法基于以下事實(shí)寬帶分量的傳遞幀速率高于展示幀速率，使得，在給定時(shí)刻，對(duì)于其系統(tǒng)時(shí)鐘參考與廣播分量的系統(tǒng)時(shí)鐘參考一致的寬帶分量的一部分，可以在廣播分量的對(duì)應(yīng)部分同時(shí)展示。本發(fā)明的方法忽視其中幀以由解碼時(shí)間戳給定的節(jié)奏解碼并且其中系統(tǒng)地呈現(xiàn)解碼的幀的視頻解碼器的通常行為。該方法盡可能快地解碼晚到的寬帶分量的一組畫面的第一幀，但不對(duì)其進(jìn)行呈現(xiàn)。因此簡(jiǎn)單地不呈現(xiàn)這些幀。但是，因?yàn)閷?duì)不是關(guān)鍵幀的解碼需要參照一個(gè)或更多先前或之后幀來解碼，所以被解碼但未被呈現(xiàn)的幀用于準(zhǔn)時(shí)呈現(xiàn)的該組畫面的其它幀的解碼。本發(fā)明的方法用于解碼通過寬帶網(wǎng)絡(luò)接收的第二節(jié)目?jī)?nèi)容，節(jié)目?jī)?nèi)容的呈現(xiàn)與呈現(xiàn)第一節(jié)目?jī)?nèi)容同步，該方法包括以下步驟關(guān)于節(jié)目時(shí)鐘參考解碼第一節(jié)目?jī)?nèi)容，關(guān)于節(jié)目時(shí)鐘參考解碼第二節(jié)目?jī)?nèi)容，所述第二節(jié)目?jī)?nèi)容包括與解碼時(shí)間信息以及展示時(shí)間信息相關(guān)聯(lián)的連續(xù)第二幀。該方法還包括以下步驟當(dāng)解碼時(shí)間信息次于節(jié)目時(shí)鐘參考時(shí)，解碼第二節(jié)目?jī)?nèi)容的第二幀，以及當(dāng)展示時(shí)間信息使得第二幀的呈現(xiàn)能夠與第一節(jié)目?jī)?nèi)容的呈現(xiàn)同步時(shí)呈現(xiàn)解碼的第二幀。根據(jù)本發(fā)明的實(shí)施例，解碼第二幀的步驟包括以下步驟讀取與第二幀中的一個(gè)相關(guān)聯(lián)的解碼時(shí)間戳，以及根據(jù)解碼時(shí)間戳和節(jié)目時(shí)鐘參考之間的比較結(jié)果來解碼第二幀。根據(jù)本發(fā)明的實(shí)施例，呈現(xiàn)解碼的第二幀的步驟包括以下步驟讀取與一個(gè)第二幀相關(guān)聯(lián)的展示時(shí)間戳，以及根據(jù)展示時(shí)間戳和節(jié)目時(shí)鐘參考之間的比較結(jié)果來呈現(xiàn)第二幀。根據(jù)本發(fā)明的實(shí)施例，第一節(jié)目?jī)?nèi)容包括與解碼時(shí)間信息和展示時(shí)間信息相關(guān)聯(lián)的連續(xù)第一幀。根據(jù)本發(fā)明的實(shí)施例，解碼時(shí)間信息包括解碼時(shí)間戳。根據(jù)本發(fā)明的實(shí)施例，展示時(shí)間信息包括展示戳。根據(jù)本發(fā)明的實(shí)施例，通過第一解碼器裝置從廣播網(wǎng)絡(luò)接收第一節(jié)目?jī)?nèi)容，并且通過第二解碼器裝置從寬帶網(wǎng)絡(luò)接收第二節(jié)目?jī)?nèi)容。本發(fā)明還關(guān)注解碼器裝置，其包括解碼部件，用于關(guān)于節(jié)目時(shí)鐘參考解碼從寬帶網(wǎng)絡(luò)接收的節(jié)目?jī)?nèi)容，所述節(jié)目?jī)?nèi)容包括與解碼時(shí)間信息和展示時(shí)間信息相關(guān)聯(lián)的連續(xù)幀。解碼器裝置的解碼部件被適配用于當(dāng)解碼時(shí)間信息次于節(jié)目時(shí)鐘參考時(shí)來解碼幀，并且解碼部件還包括用于當(dāng)展示時(shí)間信息優(yōu)于或者等于節(jié)目時(shí)鐘參考時(shí)呈現(xiàn)解碼幀的部件。根據(jù)本發(fā)明的實(shí)施例，解碼器裝置還包括濾波模塊，其被適配解析解碼時(shí)間信息和展示時(shí)間信息，用于根據(jù)將解碼時(shí)間信息和展示信息分別相比較于節(jié)目時(shí)鐘參考之間的比較結(jié)果，以便對(duì)幀進(jìn)行濾波。以非限制性方式，參照附圖，借助于以下實(shí)施例和執(zhí)行示例，將更好地理解和圖示本發(fā)明，附圖中圖I圖示通過寬帶網(wǎng)絡(luò)的傳遞；圖2是遵從于本發(fā)明第一實(shí)施例的系統(tǒng)的框圖；圖3是遵從于本發(fā)明第一實(shí)施例的接收器/解碼器的框圖；圖4圖示根據(jù)本發(fā)明第一實(shí)施例的加速解碼的第一種情況；圖5圖示根據(jù)本發(fā)明第一實(shí)施例的加速解碼的第二種情況；圖6是描述根據(jù)本發(fā)明第一實(shí)施例的解碼的方法的圖；圖7是根據(jù)本發(fā)明第二實(shí)施例的接收器/解碼器的框圖。在圖2、圖3和圖7中，所表示的方框?yàn)閱渭児δ軐?shí)體，其不必與物理分離實(shí)體對(duì)應(yīng)。即，可以以硬件或軟件形式對(duì)其開發(fā)，或者在一個(gè)或若干個(gè)集成電路中實(shí)現(xiàn)。具體實(shí)施例方式已經(jīng)了解到已經(jīng)對(duì)本發(fā)明的附圖和描述進(jìn)行了簡(jiǎn)化以便例示有關(guān)用于清楚地理解本發(fā)明的元件，同時(shí)為簡(jiǎn)要目的，消除典型數(shù)字多媒體內(nèi)容傳遞方法和系統(tǒng)中發(fā)現(xiàn)的許多其它元件。然而，因?yàn)檫@樣的元件在技術(shù)中已知，所以在此不提供這樣的元件的詳細(xì)討論。在此的公開針對(duì)本領(lǐng)域技術(shù)人員已知的所有的這樣的變型和修改。圖2圖示根據(jù)本發(fā)明第一實(shí)施例的網(wǎng)絡(luò)架構(gòu)。廣播定時(shí)被考慮為參考并且寬帶網(wǎng)絡(luò)被適配用于同步。視頻源I向編碼器2傳遞非編碼主分量節(jié)目。編碼器2編碼主分量并且將其發(fā)送至發(fā)射器3。通過發(fā)送器3廣播主分量可以與通過編碼器2的編碼同步完成但是也可以遲于編碼器2的編碼。主分量通過空中被廣播至接收器/解碼器6。編碼器2還向點(diǎn)播服務(wù)器4提供編碼的個(gè)人化分量節(jié)目。個(gè)人化分量與主分量同步。編碼器2可以在編碼期間提供個(gè)人化分量，但是個(gè)人化分量還可以在點(diǎn)播服務(wù)器4上已經(jīng)可用。其可以在與要廣播的主分量有關(guān)的個(gè)人化分量的數(shù)據(jù)庫中可用。通過編碼器2同步兩個(gè)分量的時(shí)間參考信息(諸如，解碼時(shí)間戳、展示時(shí)間戳和節(jié)目時(shí)鐘參考)。通過編碼器2對(duì)齊定時(shí)格式和/或參考的方式不在范圍以內(nèi)。接收器/解碼器6在來自用戶的初始請(qǐng)求時(shí)通過寬帶網(wǎng)絡(luò)5向點(diǎn)播服務(wù)器4請(qǐng)求個(gè)人化分量。然后點(diǎn)播服務(wù)器4通過寬帶網(wǎng)絡(luò)傳遞個(gè)人化分量到接收器/解碼器6。接收器/解碼器6處理個(gè)人化分量的加速解碼階段(accelerateddecodingphase)以便將其呈現(xiàn)與發(fā)送器3廣播的主分量的呈現(xiàn)同步。以同步的方式呈現(xiàn)兩個(gè)分量并且通過接收器/解碼器6輸出這兩個(gè)分量以便在顯示設(shè)備7上顯示。根據(jù)本發(fā)明的實(shí)施例，將個(gè)人化分量和主分量的同步定義成本領(lǐng)域技術(shù)人員共用的。換言之，如果主分量和個(gè)人化分量二者是視頻內(nèi)容，那么同步例如與個(gè)人化分量的呈現(xiàn)處理GOP的事實(shí)對(duì)應(yīng)，該GOP包括展示時(shí)間參考(用于定義展示時(shí)間)，其與用于呈現(xiàn)主分量而處理的GOP中包括的展示時(shí)間參考接近。如果分別屬于第一和第二視頻內(nèi)容的兩個(gè)GOP在幾秒鐘或更短的時(shí)間范圍內(nèi)至少部分地都被呈現(xiàn)，則兩個(gè)視頻分量可以例如被認(rèn)為就呈現(xiàn)而言同步。關(guān)于音頻和視頻分量的同步，同步基于已經(jīng)熟知的“嘴唇同步(lipsync)”同步，其中包括聲音作品的音頻流應(yīng)該與正在說話(或正在唱歌)的人的嘴唇的運(yùn)動(dòng)同步。“嘴唇同步”的目標(biāo)在于具有嘴唇運(yùn)動(dòng)和唱出或說出的聲音作品的匹配。圖3圖示根據(jù)本發(fā)明第一實(shí)施例的接收器/解碼器6。解碼器具有兩個(gè)輸入接口。第一輸入接口601被連接用于接收廣播主分量。第二輸入接口602被連接用于接收通過寬帶網(wǎng)絡(luò)傳遞的個(gè)人化分量。兩個(gè)分量都被作為通過節(jié)目標(biāo)識(shí)符識(shí)別的并且包含一些連續(xù)畫面組(GOP)的連續(xù)分組被發(fā)送。廣播輸入接口601和寬帶輸入接口602實(shí)現(xiàn)它們各自接收的內(nèi)容的多路分解并且在接收緩沖器603的專用緩沖區(qū)域中存儲(chǔ)與每個(gè)分量對(duì)應(yīng)的數(shù)據(jù)。每個(gè)GOP開始于與解碼時(shí)間戳(DTS)以及展示時(shí)間戳(PTS)相關(guān)聯(lián)的所謂的關(guān)鍵幀的第一幀。第一幀解碼器607通過讀取接收緩沖器603中的主分量的分組來處理正常解碼。當(dāng)從廣播輸入接口601以分組接收的關(guān)鍵幀具有等于當(dāng)前節(jié)目時(shí)鐘參考(PCR)的解碼時(shí)間戳?xí)r，第一幀解碼器607操作幀的解碼并且在幀緩沖器604中存儲(chǔ)對(duì)應(yīng)的解碼幀。當(dāng)關(guān)鍵幀的展示時(shí)間戳等于PCR值時(shí)，第一幀解碼器607還讀取幀緩沖器604中的幀并且傳輸顯示緩沖器605中的關(guān)鍵幀。顯示輸出接口606讀取顯示緩沖器的內(nèi)容并且輸出幀到連接的顯示設(shè)備(未示出)。顯示緩沖器中解碼和傳輸?shù)奶幚韺?duì)于來自廣播輸入接口的當(dāng)前GOP的連續(xù)幀相同直至通過第一幀解碼器607在接收緩沖器603中讀取下一關(guān)鍵幀。第一幀解碼器607通過當(dāng)GOP的關(guān)鍵幀的DTS等于PCR值時(shí)開始解碼一組畫面，并且通過當(dāng)關(guān)鍵幀的PTS等于PCR值時(shí)開始展示顯示緩沖器605中的解碼幀，來實(shí)現(xiàn)被廣播的主分量的解碼和顯/Jno第二幀解碼器608通過解碼在接收緩沖器603中讀取的所有對(duì)應(yīng)的幀直至關(guān)鍵幀的DTS大于或等于當(dāng)前PCR值，來操作通過寬帶輸入接口602接收的個(gè)人化分量的解碼。對(duì)于要與從廣播輸入接口601接收的對(duì)應(yīng)的廣播內(nèi)容同步呈現(xiàn)的、從寬帶輸入接口602晚到達(dá)的GOP就是這種情況。即使相關(guān)聯(lián)的DTS小于當(dāng)前PCR值，第二幀解碼器608也解碼來自接收緩沖器603的幀。在幀緩沖器604中存儲(chǔ)解碼幀。當(dāng)對(duì)應(yīng)的PTS等于當(dāng)前PCR值時(shí)，第二幀解碼器608也讀取與幀緩沖器604中的個(gè)人化分量對(duì)應(yīng)的解碼幀，并且傳輸解碼器幀到顯示緩沖器605。如果個(gè)人化分量的幀的相關(guān)聯(lián)的PTS小于當(dāng)前PTS，則不將該幀復(fù)制到顯示緩沖器。當(dāng)DTS信息小于PCR值時(shí)第二幀解碼器608操作加速解碼階段，并且一旦DTS值等于或大于PCR值第二幀解碼器608操作正常解碼。圖4圖示根據(jù)本發(fā)明第一實(shí)施例的加速解碼處理。該圖示出其中通過寬帶網(wǎng)絡(luò)接收的個(gè)人化分量的第一幀太遲以至于不能被解碼并且以正常解碼速率與主分量同步的情況。因此可以通過使用不考慮DTS值的加速解碼階段來實(shí)現(xiàn)兩個(gè)分量的同步呈現(xiàn)。這樣的情況取決于網(wǎng)絡(luò)等待時(shí)間(latency)。該圖示出在以第二步驟中的巡航速率發(fā)送之前，對(duì)于第一步驟中的寬帶內(nèi)容(個(gè)人化分量)的緩沖器的填充更快，這是因?yàn)閷拵ЬW(wǎng)絡(luò)可以實(shí)現(xiàn)以比解碼和展示速率更高的速率的發(fā)送(突發(fā)(burst)模式)。寬帶緩沖器填充從當(dāng)接收到個(gè)人化內(nèi)容的第一數(shù)據(jù)時(shí)的BTSl時(shí)間開始。當(dāng)緩沖器包含足夠數(shù)據(jù)時(shí)(例如考慮如MPEG壓縮標(biāo)準(zhǔn)定義的發(fā)送比特率)，在DTSl時(shí)間開始加速解碼階段。在加速解碼期間，即便幀的對(duì)應(yīng)的DTS信息小于PCR值，也可以對(duì)其解碼。然后解碼速率是比當(dāng)解碼器等待等于DTS的PCR值以便開始幀的解碼時(shí)的正常模式更高。在所表示的情況中，因?yàn)閷拵?nèi)容不是太遲以至于不能以與廣播內(nèi)容(主分量)同步的方式來呈現(xiàn)，加速解碼允許具有一些來自寬帶內(nèi)容具有大于或等于PCR值的PTS值的解碼畫面。沒有丟棄任何用于呈現(xiàn)的解碼幀。當(dāng)加速解碼階段允許在接收緩沖器中存儲(chǔ)一些具有DTS信息等于或大于PCR值的畫面時(shí)，加速解碼階段結(jié)束并且以正常速率繼續(xù)解碼。圖5圖示根據(jù)具有寬帶網(wǎng)絡(luò)等待時(shí)間大于圖4中所示的情況的本發(fā)明的第一實(shí)施例的加速解碼的情況。寬帶網(wǎng)絡(luò)的等待時(shí)間太長(zhǎng)使得輸入幀太遲以至于不能被解碼并且太遲以至于不能在解碼的開始被呈現(xiàn)。來自寬帶網(wǎng)絡(luò)的要解碼的第一幀從時(shí)間BTSl存儲(chǔ)在接收緩沖器中。緩沖器的填充速率快于從廣播網(wǎng)絡(luò)接收的內(nèi)容的填充速率，這是因?yàn)閷拵ЬW(wǎng)絡(luò)的突發(fā)容量造成的。當(dāng)接收緩沖器中存在足夠的數(shù)據(jù)時(shí)(例如，取決于根據(jù)壓縮標(biāo)準(zhǔn)的比特率)，在DTSl時(shí)間，加速解碼階段開始，但是解碼幀太遲以至于不能以與廣播內(nèi)容同步的方式呈現(xiàn)。丟棄解碼幀而不將其展示，并且僅僅呈現(xiàn)來自廣播內(nèi)容的解碼幀。在加速解碼期間，在DTSn時(shí)間，廣播內(nèi)容的解碼幀具有符合PCR值的相關(guān)聯(lián)的PTS值。所以寬帶內(nèi)容和廣播內(nèi)容的呈現(xiàn)可以同步。最后，在DTSi時(shí)間，來自寬帶網(wǎng)絡(luò)的輸入幀具有根據(jù)正常解碼處理的要及時(shí)解碼的相關(guān)聯(lián)的DTS值。加速解碼階段完成并且以正常速率繼續(xù)解碼。圖6是包括加速解碼階段的第二幀解碼器解碼的方法。第二幀解碼器負(fù)責(zé)從寬帶網(wǎng)絡(luò)接收的個(gè)人化分量的解碼和呈現(xiàn)。認(rèn)為在是第二幀解碼器的解碼處理的開始的步驟SI，在接收緩沖器中接收的第一幀是與解碼時(shí)間戳和展示時(shí)間戳相關(guān)聯(lián)的關(guān)鍵幀。在步驟S2，第二幀解碼器讀取幀并且在步驟S3確定其是否是關(guān)鍵幀。如果其不是關(guān)鍵幀，解碼處理繼續(xù)下一幀而不考慮任何與先前關(guān)鍵幀相關(guān)聯(lián)的解碼時(shí)間戳值。因此處理經(jīng)過步驟S6。這種情況與不是關(guān)鍵幀的GOP中的畫面對(duì)應(yīng)。在步驟S4，第二幀解碼器讀取與關(guān)鍵幀相關(guān)聯(lián)的PTS和DTS信息。在步驟S5，第二幀解碼器將DTS值與PCR值相比較。如果DTS值小于當(dāng)前PCR值，則讀取幀太遲以至于不能及時(shí)解碼。因此在步驟S6立即解碼幀以便在解碼幀緩沖器中對(duì)于下一幀的解碼可用。在步驟S5，如果幀還不太遲，當(dāng)DTS大于PCR值時(shí)，處理在步驟S5循環(huán)直至PCR值大于或等于DTS。正常解碼模式(沒有加速的)是這種情況。在步驟S7，第二幀解碼器將PTS值與PCR值相比較以便定義是必須顯示還是丟棄該幀。如果PTS小于PCR值，那么解碼幀太遲以至于不能以與主分量同步的方式呈現(xiàn)。處理循環(huán)到步驟S2。如果PTS大于或等于PCR值，那么幀還不太遲并且必須以PCR及時(shí)呈現(xiàn)。處理在步驟S8上循環(huán)直至PCR大于或等于PTS。當(dāng)達(dá)到這個(gè)條件時(shí)，在步驟S9，第二幀解碼器將幀從解碼幀緩沖器復(fù)制到顯示緩沖器用于呈現(xiàn)。處理然后在步驟S2上循環(huán)。第二幀解碼器使用的解碼方法然后是用于解碼通過寬帶網(wǎng)絡(luò)接收的第二節(jié)目?jī)?nèi)容的方法，第二節(jié)目?jī)?nèi)容的呈現(xiàn)為要與第一節(jié)目?jī)?nèi)容的呈現(xiàn)同步，第一節(jié)目?jī)?nèi)容通過廣播網(wǎng)絡(luò)接收。方法包括以下步驟關(guān)于節(jié)目時(shí)鐘參考解碼第一節(jié)目?jī)?nèi)容，關(guān)于節(jié)目時(shí)鐘參考解碼第二節(jié)目?jī)?nèi)容，所述第二節(jié)目?jī)?nèi)容包括與解碼時(shí)間信息以及展示時(shí)間信息相關(guān)聯(lián)的連續(xù)第二幀。該方法特征在于其還包括以下步驟當(dāng)解碼時(shí)間信息次于節(jié)目時(shí)鐘參考時(shí)，解碼第二幀(S4，S5，S6)，以及當(dāng)展示時(shí)間信息使得第二幀的呈現(xiàn)可以與第一節(jié)目?jī)?nèi)容的呈現(xiàn)同步時(shí)呈現(xiàn)解碼第二幀(S8，S9)。根據(jù)實(shí)施例的變型，通過兩個(gè)分離的裝置實(shí)現(xiàn)主分量和個(gè)人化分量的解碼和呈現(xiàn)。兩個(gè)裝置的每一個(gè)都包括用于接收、解碼和呈現(xiàn)相關(guān)聯(lián)的分量的部件。解碼個(gè)人化分量的裝置使用非傳統(tǒng)解碼，其允許關(guān)于節(jié)目時(shí)鐘參考解碼從寬帶網(wǎng)絡(luò)接收的節(jié)目?jī)?nèi)容并且該節(jié)目?jī)?nèi)容包括與解碼時(shí)間信息以及展示時(shí)間信息相關(guān)聯(lián)的連續(xù)巾貞。解碼個(gè)人化分量的裝置的解碼部件被適配用于當(dāng)解碼時(shí)間信息次于(inferiorto)節(jié)目時(shí)鐘參考時(shí)對(duì)幀解碼，并且包括用于當(dāng)對(duì)應(yīng)展示時(shí)間信息優(yōu)于(superiorto)或者等于節(jié)目時(shí)鐘參考時(shí)呈現(xiàn)解碼幀的部件。在這種情況下，兩個(gè)裝置包括用于交換關(guān)于正在被接收和呈現(xiàn)的當(dāng)前節(jié)目的解碼和呈現(xiàn)的信息的部件。具體地，解碼個(gè)人化分量的裝置必須知道當(dāng)前正在解碼和呈現(xiàn)主分量的哪個(gè)部分以便選擇/請(qǐng)求來自遠(yuǎn)程服務(wù)器的個(gè)人化分量的對(duì)應(yīng)片段。由接收并解碼主分量的裝置發(fā)送到接收并解碼個(gè)人化分量的裝置的信息是，例如，節(jié)目中的時(shí)間索引、用于呈現(xiàn)的節(jié)目時(shí)鐘參考值、或者允許識(shí)別當(dāng)前解碼和呈現(xiàn)的主分量的當(dāng)前部分的任何其它值。這樣的裝置可以包括濾波模塊，其被適配用于解析解碼時(shí)間信息和展示時(shí)間信息，以便根據(jù)解碼時(shí)間信息和展示信息相比較于節(jié)目時(shí)鐘參考之間的比較結(jié)果來對(duì)幀進(jìn)行濾波。根據(jù)實(shí)施例的這個(gè)變型的用于解碼個(gè)人化分量的裝置例如是與家用網(wǎng)關(guān)連接的因特網(wǎng)平板電腦(internettablet),允許用戶觀看多視圖節(jié)目的視圖，主視圖在諸如例如地面數(shù)字電視機(jī)的另一裝置上廣播和呈現(xiàn)。圖7圖示根據(jù)本發(fā)明第二實(shí)施例的接收器/解碼器6。個(gè)人化分量(來自寬帶網(wǎng)絡(luò))由包含許多組畫面的連續(xù)塊組成，濾波模塊609通過讀取塊和/或畫面組內(nèi)的某些時(shí)間參考信息來對(duì)在寬帶輸入接口602上接收的塊內(nèi)容進(jìn)行濾波。濾波模塊609將接收的內(nèi)容里的時(shí)間信息與接收器/解碼器6使用的節(jié)目時(shí)間參考相比較，以進(jìn)行解碼和呈現(xiàn)。如果濾波模塊檢測(cè)到塊或GOP太遲以至于不能將其內(nèi)容的呈現(xiàn)與接收的廣播內(nèi)容的呈現(xiàn)同步，則不將GOP或塊發(fā)送到接收緩沖器。這避免第二幀解碼器608解碼接收緩沖器603中出現(xiàn)的、不能與廣播內(nèi)容同步的內(nèi)容。這個(gè)濾波使得兩個(gè)分量的呈現(xiàn)有可能提前。根據(jù)本發(fā)明第三實(shí)施例，通過雙向?qū)拵ЬW(wǎng)絡(luò)接收的個(gè)人化分量是包括音頻樣本的連續(xù)塊的音頻內(nèi)容。音頻樣本的塊的每一個(gè)都包括用于其解碼和呈現(xiàn)的時(shí)間參考信息。只有如果時(shí)間參考信息指示樣本可以被及時(shí)解碼以便以與主分量同步的方式呈現(xiàn)，接收器/解碼器濾波器的濾波模塊才解析時(shí)間信息并且向接收緩沖器傳輸塊。顯然地，本發(fā)明不限于包括被承載作為連續(xù)畫面組或塊的視頻或音頻的主分量和個(gè)人化分量。本發(fā)明關(guān)注包括在接收器中節(jié)目?jī)?nèi)容的解碼和展示所需的、可以與節(jié)目時(shí)鐘參考(系統(tǒng)時(shí)鐘)相比較的時(shí)間參考信息的所有同步節(jié)目?jī)?nèi)容。說明書、權(quán)利要求書和附圖中公開的引用可以被單獨(dú)提供或以任何適當(dāng)方式提供。在適當(dāng)處，可以以硬件、軟件或二者的結(jié)合實(shí)現(xiàn)特征。在此對(duì)“一個(gè)實(shí)施例”或“實(shí)施例”的引用意味著結(jié)合該實(shí)施例所描述的具體特征、結(jié)構(gòu)、或特性可以被包括到本發(fā)明的至少一個(gè)實(shí)現(xiàn)方式中。短語“在一個(gè)實(shí)施例中”在說明書各處的出現(xiàn)不必全部指代相同的實(shí)施例，單獨(dú)或可替換實(shí)施例也不必與其它實(shí)施例彼此排斥。權(quán)利要求1.一種用于解碼通過寬帶網(wǎng)絡(luò)接收的第二節(jié)目?jī)?nèi)容的方法，所述第二節(jié)目?jī)?nèi)容的呈現(xiàn)與第一節(jié)目?jī)?nèi)容的呈現(xiàn)同步，所述方法包括以下步驟-關(guān)于節(jié)目時(shí)鐘參考解碼所述第一節(jié)目?jī)?nèi)容，-關(guān)于所述節(jié)目時(shí)鐘參考解碼所述第二節(jié)目?jī)?nèi)容，所述第二節(jié)目?jī)?nèi)容包括與解碼時(shí)間信息以及展示時(shí)間信息相關(guān)聯(lián)的連續(xù)第二幀，其特征在于，所述方法還包括以下步驟-當(dāng)所述解碼時(shí)間信息次于所述節(jié)目時(shí)鐘參考時(shí)，解碼所述第二幀(S4，S5，S6)以及，-當(dāng)所述展示時(shí)間信息使得所述第二幀的呈現(xiàn)能夠與所述第一節(jié)目?jī)?nèi)容的呈現(xiàn)同步時(shí)，呈現(xiàn)所述解碼的第二幀(S8，S9)。2.如權(quán)利要求I所述的方法，其特征在于，解碼所述第二幀的步驟包括以下步驟讀取與所述第二幀中的一個(gè)相關(guān)聯(lián)的解碼時(shí)間戳(S4)，以及根據(jù)所述解碼時(shí)間戳和所述節(jié)目時(shí)鐘參考之間的比較結(jié)果來解碼所述第二幀中的所述一個(gè)(S5，S6)。3.如權(quán)利要求I至2中任一項(xiàng)所述的方法，其特征在于，呈現(xiàn)所述解碼的第二幀的步驟包括以下步驟讀取與所述第二幀相關(guān)聯(lián)的展示時(shí)間戳(S4)，以及根據(jù)所述展示時(shí)間戳和所述節(jié)目時(shí)鐘參考之間的比較結(jié)果來呈現(xiàn)所述第二幀(S7，S8，S9)。4.如權(quán)利要求I至2中任一項(xiàng)所述的方法，其特征在于，所述第一節(jié)目?jī)?nèi)容包括與解碼時(shí)間信息和展示時(shí)間信息相關(guān)聯(lián)的連續(xù)第一幀。5.如權(quán)利要求I至2中任一項(xiàng)所述的方法，其特征在于，所述解碼時(shí)間信息包括解碼時(shí)間戳。6.如權(quán)利要求I至2中任一項(xiàng)所述的方法，其特征在于，所述展示時(shí)間信息包括展示時(shí)間戳。7.如權(quán)利要求I至2中任一項(xiàng)所述的方法，其特征在于，通過第一解碼器裝置從廣播網(wǎng)絡(luò)接收所述第一節(jié)目?jī)?nèi)容，并且通過第二解碼器裝置從寬帶網(wǎng)絡(luò)接收所述第二節(jié)目?jī)?nèi)容。8.一種解碼器裝置，包括-解碼部件(608)，用于關(guān)于節(jié)目時(shí)鐘參考解碼從寬帶網(wǎng)絡(luò)接收的節(jié)目?jī)?nèi)容，所述節(jié)目?jī)?nèi)容包括與解碼時(shí)間信息和展示時(shí)間信息相關(guān)聯(lián)的連續(xù)幀，其特征在于，所述解碼部件(608)被適配用于當(dāng)所述解碼時(shí)間信息次于所述節(jié)目時(shí)鐘參考時(shí)來解碼所述幀，并且在于，所述解碼部件包括用于當(dāng)所述展示時(shí)間信息優(yōu)于或者等于所述節(jié)目時(shí)鐘參考時(shí)來呈現(xiàn)解碼的所述幀的部件。9.如權(quán)利要求8所述的解碼器裝置，其特征在于，其還包括濾波模塊￠09)，其被適配解析所述解碼時(shí)間信息和展示時(shí)間信息，用于根據(jù)將所述解碼時(shí)間信息和所述展示信息相比較于節(jié)目時(shí)鐘參考之間的比較結(jié)果，以便對(duì)所述幀進(jìn)行濾波。全文摘要一種解碼通過寬帶網(wǎng)絡(luò)發(fā)送的音頻/視頻內(nèi)容的方法。所述方法基于如果一組畫面到達(dá)太遲以至于不能與通過廣播網(wǎng)絡(luò)接收的另一音頻/視頻內(nèi)容同步地呈現(xiàn)，則快速解碼該組畫面的第一幀而不呈現(xiàn)它們。所述方法允許盡可能快地向觀看者同步呈現(xiàn)分別通過廣播和寬帶網(wǎng)絡(luò)接收的內(nèi)容。文檔編號(hào)H04N21/435GK102685588SQ201210063228公開日2012年9月19日申請(qǐng)日期2012年3月12日優(yōu)先權(quán)日2011年3月11日發(fā)明者A.勞倫特,E.高蒂爾,P.吉爾伯頓申請(qǐng)人:湯姆森特許公司