專利名稱：補(bǔ)充處理信息的提供的制作方法
技術(shù)領(lǐng)域：
實(shí)施例一般涉及媒體內(nèi)容處理，并且具體地說，涉及提供結(jié)合媒體內(nèi)容處理有用的補(bǔ)充處理信息。
背景技術(shù)：
H. 264/MPEG-4第10部分或高級(jí)視頻編碼(AVC)是最新技術(shù)發(fā)展視頻編碼標(biāo)準(zhǔn)。它是混合編解碼器，其 取得消除幀之間和ー個(gè)幀內(nèi)的冗余的優(yōu)點(diǎn)。編碼過程的輸出是視頻編碼層(VCL)數(shù)據(jù)，該數(shù)據(jù)在傳送或存儲(chǔ)前進(jìn)ー步封裝到網(wǎng)絡(luò)抽象層(NAL)単元中。補(bǔ)充增強(qiáng)信息(SEI)被提供以幫助與諸如顯示等解碼后有關(guān)的過程。SEI消息的示例包括定義濾后提示和色調(diào)映射(tone mapping)。SEI消息以它們對(duì)于解碼過程非強(qiáng)制的此類方式來設(shè)計(jì)。符合的解碼器能夠丟棄它們不理解的SEI消息。SEI消息今天被封裝到NAL単元中，就好像VCL數(shù)據(jù)ー樣，但不影響解碼。根據(jù)現(xiàn)有技術(shù)，必須借助于媒體終端顯示能力的特定知識(shí)形成文件，以保證正確的回放(playback)。通過增強(qiáng)信息(即，在解碼循環(huán)外)添加的新顯示特征不能以后向兼容的方式進(jìn)行。此方面的ー個(gè)示例是已添加到H. 264視頻以幫助在三維(3D)顯示裝置上描繪(render)解碼圖片的空間交織幀SEI消息。這些SEI消息派生自使用諸如H. 264等現(xiàn)有ニ維(2D)編解碼器來編碼3D內(nèi)容的工作。此方面的ー個(gè)示例是SEI消息描述偶數(shù)幀分配到左視圖、并且奇數(shù)幀分配到右視圖的情況。SEI消息在涉及到解碼時(shí)以可丟棄的方式來設(shè)計(jì)。然而，重要的是媒體終端能夠?qū)⒋诵畔⒄_地解釋以用于諸如3D描繪等解碼外的事物。不具有理解這些SEI消息的能力的遺留媒體終端將簡(jiǎn)單地忽略它們，并且在2D顯示上描繪解碼圖片，導(dǎo)致顯著的顯示偽像(artifact)，例如，對(duì)于上述示例的每幀在左和右視圖之間的跳躍。此外，今天媒體終端需要解碼視頻比特流以便發(fā)現(xiàn)是否及哪些類型的增強(qiáng)信息是必需的。對(duì)于本地重放和傳送，這均是問題。例如，某人可具有不可完全顯示的電影，并且媒體終端將只發(fā)現(xiàn)在涉及未知SEI消息時(shí)它不能正確顯示該電影。在另ー情況下，在涉及媒體傳送時(shí)，使比特流變瘦的ー種簡(jiǎn)單、快速的方法是刪除所有SEI消息，因?yàn)榻獯a不要求這些消息。這能夠?qū)е聦?duì)描繪重要的SEI消息變少。因此，在技術(shù)領(lǐng)域內(nèi)，存在對(duì)有效處理諸如SEI數(shù)據(jù)等補(bǔ)充處理信息以便解決或至少減輕現(xiàn)有技術(shù)的問題的一般需要。

發(fā)明內(nèi)容
使得能夠以有效方式提供補(bǔ)充處理信息是一般目的。此目的和其它目的通過本文中公開的實(shí)施例而得以滿足。簡(jiǎn)要地說，實(shí)施例的一方面涉及ー種提供與編碼媒體內(nèi)容有關(guān)或相關(guān)聯(lián)的補(bǔ)充處理信息的方法。該方法涉及提供用于將媒體內(nèi)容編碼的媒體編解碼器的偽標(biāo)識(shí)符。還提供補(bǔ)充處理信息。補(bǔ)充處理信息定義用于處理通過將編碼媒體內(nèi)容解碼而可獲得的解碼的媒體內(nèi)容的解碼后指示。偽標(biāo)識(shí)符和補(bǔ)充處理信息被共同組織在文件中，以便觸發(fā)不認(rèn)識(shí)偽標(biāo)識(shí)符的遺留媒體終端中止編碼媒體內(nèi)容的解碼。對(duì)應(yīng)地，文件中偽標(biāo)識(shí)符和補(bǔ)充處理信息的共同組織使得認(rèn)識(shí)偽標(biāo)識(shí)符的媒體終端能夠使用媒體編解碼器將媒體內(nèi)容解碼，并且使得能夠使用補(bǔ)充處理信息進(jìn)行解碼媒體內(nèi)容的解碼后處理。另ー方面涉及ー種用于提供補(bǔ)充處理信息的裝置。該裝置包括用于提供媒體編解碼器的偽標(biāo)識(shí)符的標(biāo)識(shí)符提供器。信息提供器在該裝置中被實(shí)現(xiàn)以提供定義解碼后指示的補(bǔ)充處理信息。該裝置還包括用于在文件中以觸發(fā)不認(rèn)識(shí)偽標(biāo)識(shí)符的遺留媒體終端中止編碼媒體內(nèi)容的解碼的此類方式來共同組織偽標(biāo)識(shí)符和補(bǔ)充處理信息的文件組織器。然而，認(rèn)識(shí)偽標(biāo)識(shí)符的媒體終端將能夠使用媒體編解碼器將編碼媒體內(nèi)容解碼，并且基于補(bǔ)充處理信息進(jìn)ー步處理解碼后的媒體內(nèi)容。實(shí)施例的又一方面涉及ー種處理媒體內(nèi)容的方法。該方法涉及接收包括偽標(biāo)識(shí)符和補(bǔ)充處理信息的文件。如果不認(rèn)識(shí)從文件檢索的偽標(biāo)識(shí)符，則中止編碼媒體內(nèi)容的解碼，因此，將不向用戶呈現(xiàn)媒體內(nèi)容。然而，如果認(rèn)識(shí)偽標(biāo)識(shí)符，則基于在偽標(biāo)識(shí)符的基礎(chǔ)上檢 索的媒體編解碼器的編解碼器標(biāo)識(shí)符來選擇用于將編碼媒體內(nèi)容解碼的媒體編解碼器。隨后，使用選定媒體編解碼器將編碼媒體內(nèi)容解碼。從文件檢索的補(bǔ)充處理信息用于處理解碼的媒體內(nèi)容，以獲得適合描繪的形式中的媒體內(nèi)容，從而為用戶提供媒體呈現(xiàn)。作為實(shí)施例的又一方面，公開了ー種媒體終端。該媒體終端包括用于接收帶有偽標(biāo)識(shí)符和補(bǔ)充處理信息的文件的接收器。媒體終端的解碼控制器配置成調(diào)查偽標(biāo)識(shí)符并確定媒體終端是否可認(rèn)識(shí)偽標(biāo)識(shí)符。如果不認(rèn)識(shí)偽標(biāo)識(shí)符，則解碼控制器控制解碼器中止或停止編碼媒體內(nèi)容的解碼。如果轉(zhuǎn)而認(rèn)識(shí)偽標(biāo)識(shí)符，則解碼控制器基于在偽標(biāo)識(shí)符基礎(chǔ)上檢索的編解碼器標(biāo)識(shí)符，選擇要用于將編碼媒體內(nèi)容解碼的媒體編解碼器。隨后，解碼器配置成使用選定媒體編解碼器將編碼媒體內(nèi)容解碼以產(chǎn)生解碼的媒體內(nèi)容。此解碼的媒體內(nèi)容由內(nèi)容處理器基于從文件檢索的補(bǔ)充處理信息進(jìn)行處理，以獲得適合描繪的形式中的媒體內(nèi)容。實(shí)施例因此提供了有效的方式來提供要結(jié)合媒體內(nèi)容的解碼后處理以用于獲得使得能夠向用戶正確描繪和呈現(xiàn)的形式中的媒體內(nèi)容的補(bǔ)充處理信息。不理解并因此不能使用補(bǔ)充處理信息的遺留媒體終端被阻止描繪未經(jīng)任何解碼后處理的媒體內(nèi)容，轉(zhuǎn)而中止解碼。通過使用偽標(biāo)識(shí)符而不是真實(shí)編解碼器標(biāo)識(shí)符作為媒體編解碼器標(biāo)識(shí)符來觸發(fā)解碼的中止。遺留媒體終端因此被禁止描繪媒體內(nèi)容。這是重要的，因?yàn)槊枥L將否則導(dǎo)致用戶可感知的視覺和/或音頻偽像(由于缺乏使用補(bǔ)充處理信息的能力的遺留媒體終端未使用補(bǔ)充處理信息進(jìn)行媒體內(nèi)容的解碼后處理)。


通過參考與附圖一起進(jìn)行的以下描述，可最好地理解本發(fā)明及其另外的目的和優(yōu)點(diǎn)，其中
圖I是示出根據(jù)ー實(shí)施例的提供補(bǔ)充處理信息的方法的流程 圖2是根據(jù)現(xiàn)有技術(shù)和根據(jù)ー實(shí)施例的媒體內(nèi)容處理的比較；
圖3是示出圖I中的共同組織步驟的ー實(shí)施例的流程 圖4是根據(jù)一實(shí)施例的媒體容器文件的示意概圖；圖5是根據(jù)一實(shí)施例的樣本條目盒(sample entry box)的示意概 圖6是在媒體軌道的樣本條目盒中組織補(bǔ)充處理信息的一實(shí)施例的示意概 圖7是能夠?qū)崿F(xiàn)實(shí)施例所在的通信網(wǎng)絡(luò)的概 圖8是根據(jù)一實(shí)施例的用于提供補(bǔ)充處理信息的裝置的示意框 圖9是根據(jù)一實(shí)施例的處理媒體內(nèi)容的方法的流程 圖10是根據(jù)ー實(shí)施例的圖9中方法的另外步驟的流程 圖11是根據(jù)另ー實(shí)施例的圖9中方法的另外步驟的流程 圖12是根據(jù)一實(shí)施例的媒體終端的示意框圖；以及 圖13是示出圖I中的共同組織步驟的另一實(shí)施例的流程圖。
具體實(shí)施例方式在圖形各處，相同的引用標(biāo)號(hào)用于類似或?qū)?yīng)的元素。實(shí)施例一般涉及媒體內(nèi)容處理，并且具體地說，涉及能夠由媒體終端和播放器用于處理和/或描繪解碼的媒體內(nèi)容的補(bǔ)充處理信息的提供和使用。實(shí)施例提供傳遞此類補(bǔ)充處理信息到媒體終端的有效方式。補(bǔ)充處理信息的傳遞允許認(rèn)識(shí)補(bǔ)充處理信息的媒體終端檢索它并在描繪之前或期間將它用于處理媒體內(nèi)容。然而，補(bǔ)充處理信息有利地以不認(rèn)識(shí)補(bǔ)充處理信息的遺留媒體終端將不描繪媒體內(nèi)容的此類方式來傳遞。這是優(yōu)選的，因?yàn)榇祟惷襟w內(nèi)容描繪將導(dǎo)致用戶感知的視覺和/或音頻偽像，而遺留媒體終端將不進(jìn)行基于任何補(bǔ)充處理信息的解碼后處理。補(bǔ)充處理信息(SPI)或也如本領(lǐng)域中所稱的補(bǔ)充增強(qiáng)信息(SEI)定義媒體終端和播放器能夠用于處理補(bǔ)充處理信息相關(guān)聯(lián)的解碼媒體內(nèi)容的解碼后指示。這些解碼后指示因此能夠向媒體終端提供有關(guān)它們應(yīng)如何處理數(shù)據(jù)以便在媒體會(huì)話期間提供媒體內(nèi)容的正確描繪的信息和指示。在省略基于補(bǔ)充處理信息的解碼媒體內(nèi)容的處理從而阻止媒體終端描繪媒體內(nèi)容方面，補(bǔ)充處理信息對(duì)于媒體終端是強(qiáng)制的，或者媒體終端能夠描繪媒體內(nèi)容但結(jié)果媒體呈現(xiàn)將具有用戶將感知的幾處或多或少嚴(yán)重的視覺和/或音頻偽像。在不要求描繪媒體內(nèi)容方面，補(bǔ)充處理信息也能夠是可選的，但可能通過增大媒體呈現(xiàn)的視覺和/或音頻效應(yīng)或通過有利于媒體呈現(xiàn)中的定位(seeking)操作而將增強(qiáng)描繪。例如，AVC指定能夠用于改進(jìn)AVC比特流的VCL的解碼和描繪的SEI消息。此信息以它對(duì)于解碼過程非強(qiáng)制的此類方式來設(shè)計(jì)，即，SEI包含不是對(duì)解碼VCI所必需的信息，并且能夠被符合的解碼器丟棄。雖然SEI對(duì)于解碼過程不是至關(guān)重要的，但它可為隨后描繪過程指定要求動(dòng)作。ー個(gè)示例是指示視頻序列的編碼幀/字段由形成立體視圖的圖片對(duì)組成的立體視頻信息SEI消息。更近的示例是空間交織幀“棋盤”SEI消息。它通知解碼器輸出的解碼圖片包含由多個(gè)不同的空間交織幀組成的幀的樣本及如何為顯示目的而將樣本適當(dāng)解交織。如果遺留媒體終端嘗試解碼和描繪包含這些SEI消息的AVC比特流而不理解其含意，則它將丟棄它們并將比特流解碼而不知道未經(jīng)進(jìn)一歩解交織則解碼的圖片無意義。直 接輸出到2D顯示，結(jié)果將充滿偽像，并且肯定不是內(nèi)容提供商所希望的。AVC文件格式在基于ISO基本媒體文件格式的例如MP4和3GP的文件格式中定義AVC的存儲(chǔ)。此類文件中包含的AVC比特流可包括可對(duì)解碼過程有用的SEI消息。然而，在能夠包括的SEI消息的類型上沒有約束，并且當(dāng)前沒有通知播放器AVC比特流可包含解碼數(shù)據(jù)的適當(dāng)描繪所要求的SEI的信令機(jī)制。即使播放器解析AVC比特流并且查找SEI消息，它也不能分辨任何檢測(cè)到的SEI消息是否在解碼循環(huán)外強(qiáng)加動(dòng)作(除非它認(rèn)識(shí)它們及它們的含意)。丟棄似乎無害，但未知的SEI因此能夠?qū)е乱馔獾慕Y(jié)果。因此，根據(jù)現(xiàn)有技術(shù)，必須借助于媒體終端顯示能力的特定知識(shí)形成文件，以保證正確的回放。今天，通過諸如在解碼循環(huán)外的SEI消息等補(bǔ)充處理信息添加的新顯示特征不能以后向兼容的方式進(jìn)行。如本文中公開的媒體內(nèi)容涉及能夠傳遞到媒體終端以用于其中的解碼和描繪從而向用戶提供媒體呈現(xiàn)的媒體數(shù)據(jù)。媒體內(nèi)容因此能夠是在顯示屏幕上播放和呈現(xiàn)的視頻內(nèi)容或數(shù)據(jù)。備選或附加的是，媒體內(nèi)容能夠是被回放并且能夠由使用揚(yáng)聲器的用戶收聽的音頻內(nèi)容或數(shù)據(jù)。圖I是根據(jù)一實(shí)施例的提供與編碼媒體內(nèi)容有關(guān)的補(bǔ)充處理信息的方法的流程圖。該方法從步驟Si開始，在該步驟中，提供媒體編解碼器的偽標(biāo)識(shí)符。媒體編解碼器定義用于將相關(guān)媒體內(nèi)容編碼的媒體編碼器。步驟Si提供編偽標(biāo)識(shí)符而不是解碼器的真實(shí)編解碼器標(biāo)識(shí)符。偽標(biāo)識(shí)符應(yīng)在本文中解釋為用于編解碼器標(biāo)識(shí)符的別名。偽標(biāo)識(shí)符還被選擇成由ー些媒體終端可認(rèn)識(shí)并能夠解釋，但在本文中表示為遺留媒體終端的其它媒體終端不認(rèn)識(shí)且不能解釋。下ー步驟S2提供補(bǔ)充處理信息，在圖中縮寫為SPI。補(bǔ)充處理信息定義用于處理通過將與補(bǔ)充處理信息相關(guān)聯(lián)的編碼媒體內(nèi)容解碼而可獲得的解碼媒體內(nèi)容的解碼后指
/Jn ο偽標(biāo)識(shí)符和補(bǔ)充處理信息在步驟S3中以觸發(fā)不認(rèn)識(shí)偽標(biāo)識(shí)符的遺留媒體終端中止解碼或阻止編碼媒體內(nèi)容的解碼的此類方式被共同組織在文件中。因此，偽標(biāo)識(shí)符優(yōu)選觸發(fā)遺留媒體終端中止媒體內(nèi)容的解碼，并由此不描繪任何媒體內(nèi)容。然而，文件中的共同組織還以它使得認(rèn)識(shí)偽標(biāo)識(shí)符的媒體終端能夠使用由媒體編解碼器定義的媒體解碼器將編碼媒體內(nèi)容解碼、并且使用補(bǔ)充處理信息將解碼媒體內(nèi)容進(jìn)行解碼后處理的此類方式來進(jìn)行。因此，在步驟SI中文件中偽標(biāo)識(shí)符和補(bǔ)充處理信息的共同組織將阻止遺留媒體終端將編碼媒體內(nèi)容解碼，或者在媒體終端檢索到偽標(biāo)識(shí)符時(shí)觸發(fā)它中止編碼媒體內(nèi)容的解碼。對(duì)于此的原因是遺留媒體終端不認(rèn)識(shí)且因此不能使用補(bǔ)充處理信息。這意味著即使遺留媒體終端能夠?qū)⒕幋a媒體內(nèi)容解碼，它也不能使用補(bǔ)充處理信息正確地執(zhí)行解碼媒體內(nèi)容的解碼后處理。這將導(dǎo)致問題，實(shí)施例通過在描繪能夠由遺留媒體終端啟動(dòng)前使用偽標(biāo)識(shí)符觸發(fā)解碼的中止來解決該問題。圖2示意示出此概念。在此說明性示例中，為視頻內(nèi)容提供有在要求補(bǔ)充處理信息以便使得能夠向用戶正確描繪和顯示視頻數(shù)據(jù)方面的限制。例如，對(duì)于立體聲或3D描繪，補(bǔ)充處理信息能夠定義編碼視頻數(shù)據(jù)或內(nèi)容的哪些視頻幀對(duì)應(yīng)于左視圖，以及哪些視頻中貞對(duì)應(yīng)于右視圖。補(bǔ)充信息隨后能夠定義視頻內(nèi)容的姆個(gè)奇數(shù)巾貞表不第一(左或右)視圖，而視頻內(nèi)容的每個(gè)偶數(shù)幀表示第二 (右或左)視圖。根據(jù)現(xiàn)有技術(shù)，舊終端(即遺留媒體終端)將正確解碼編碼媒體內(nèi)容。然而，由于它不認(rèn)識(shí)補(bǔ)充處理信息，因此，它將簡(jiǎn)單地忽略該信息。由于遺留媒體終端不知道不同視圖的視頻幀的特定交織，因此，這將導(dǎo)致視頻內(nèi)容 的不正確回放或描繪，在每幀的左右視圖之間出現(xiàn)跳躍。媒體呈現(xiàn)因此將對(duì)觀看用戶極無吸引力，并且將由于在每幀的視圖跳躍而充滿視覺偽像。在現(xiàn)有技術(shù)中，即使遺留媒體終端不認(rèn)識(shí)為了獲得正確媒體呈現(xiàn)所需要的補(bǔ)充處理信息，解碼和媒體描繪也在遺留媒體終端中進(jìn)行。根據(jù)實(shí)施例，偽標(biāo)識(shí)符及文件中偽標(biāo)識(shí)符和補(bǔ)充處理信息的共同組織通過觸發(fā)不認(rèn)識(shí)偽標(biāo)識(shí)符的那些遺留媒體終端中止或停止對(duì)編碼媒體內(nèi)容的解碼，解決了與現(xiàn)有技術(shù)有關(guān)的此問題。這意味著媒體內(nèi)容優(yōu)選從不在遺留媒體終端被描繪，并且用戶能夠轉(zhuǎn)而得知其媒體終端不支持當(dāng)前媒體內(nèi)容的描繪。此概念在圖2右側(cè)示意示出。因此，在遺留媒體終端(即圖中的舊終端)接收帶有偽標(biāo)識(shí)符和補(bǔ)充處理信息的文件吋，遺留媒體終端檢索到偽標(biāo)識(shí)符。媒體終端隨后斷定它不認(rèn)識(shí)偽標(biāo)識(shí)符并因此停止媒體內(nèi)容的解碼。
在一特定實(shí)施例中，一些另外或外部信息可能與文件在一起提供以增強(qiáng)媒體終端的自我意識(shí)。此類元信息例如能夠是通知媒體終端其解碼器過時(shí)而不能解碼比特流并且需要ー些更新的鏈接。這在圖中進(jìn)ー步示出，其中，媒體終端能夠搜索編解碼器更新以便有效地處理文件，認(rèn)識(shí)偽標(biāo)識(shí)符和使用補(bǔ)充處理信息處理解碼的媒體內(nèi)容。媒體終端由此能夠配置成從ー些預(yù)配置的外部源請(qǐng)求支持或更新。偽標(biāo)識(shí)符因此能夠視為用于向?qū)⒉徽J(rèn)識(shí)補(bǔ)充處理信息的遺留媒體終端隱藏媒體編解碼器的真實(shí)編解碼器標(biāo)識(shí)符的部件。編解碼器標(biāo)識(shí)符的隱藏由此阻止遺留移動(dòng)終端解碼并由此描繪媒體內(nèi)容。偽標(biāo)識(shí)符和補(bǔ)充處理信息的共同組織優(yōu)選地以僅在媒體終端認(rèn)識(shí)并能夠解釋偽標(biāo)識(shí)符時(shí)它才將從文件檢索補(bǔ)充處理信息的此類方式來執(zhí)行。這有效地阻止遺留媒體終端嘗試檢索和解釋它們不認(rèn)識(shí)的補(bǔ)充處理信息?，F(xiàn)在將結(jié)合不同的特定實(shí)現(xiàn)示例，進(jìn)ー步描述實(shí)施例。圖3是根據(jù)特定實(shí)施例示出圖I中的共同組織步驟的流程圖。該方法從圖I的步驟S2繼續(xù)。下ー步驟SlO生成并提供媒體容器文件。媒體容器文件能夠視為完整的輸入包，其除媒體內(nèi)容本身外，優(yōu)選包括媒體終端執(zhí)行媒體內(nèi)容的解碼和描繪要求的信息和指示。ISO基本媒體文件格式能夠有利地用作媒體容器文件的文件格式，包括在ISO基本媒體文件格式上派生的或基于ISO基本媒體文件格式的各種存儲(chǔ)格式，例如AVC文件格式。AVC文件格式又指定如何在例如MP4和3GP文件格式等從ISO基本媒體文件格式派生的各種文件格式中攜帶H. 264 (MPEG-4 AVC)。步驟SlO中生成的媒體容器文件包括定義媒體內(nèi)容的至少ー個(gè)媒體軌道和包括編碼媒體內(nèi)容的至少ー個(gè)媒體內(nèi)容容器或盒。圖4中示出此類媒體容器文件I的示例。媒體容器文件I在此示例中包括用于在媒體呈現(xiàn)期間要描繪的每個(gè)媒體內(nèi)容的相應(yīng)媒體軌道20、30。因此，第一媒體軌道20定義視頻內(nèi)容，并且第二媒體軌道30定義對(duì)應(yīng)的音頻內(nèi)容。媒體軌道20、30優(yōu)選在電影(“moov”)容器或盒10中被組織，該容器是用于與媒體內(nèi)容有關(guān)的元數(shù)據(jù)的容器。該圖還示出媒體數(shù)據(jù)(“mdat”)容器或盒40，該容器是用于媒體呈現(xiàn)的實(shí)際元數(shù)據(jù)的容器。圖2中方法的下ー步驟Sll提供媒體容器文件中的樣本條目盒。此樣本條目盒定義偽標(biāo)識(shí)符。此類樣本條目盒的示例能夠如下所示
class A VCSampleEntry ( ノ extends VisualSampIeEntry ( resv ノ /Res tric tedSchemeInfoBox ();
A VCConfigura tionBox config;
MPEG4BitRateBox 廣 ノ / // 可選
MPEG4Ex ten si onDescrip ti onBox 廣 ノ / // 可選
ノ
或更為普通的是
class RestrictedSampleEntry ( ノ extends ^ampleEntry ( resv ノ {
Res tri c tedhchemeInfoBox ();
Confi gura ti onBox confi g;
ノ
V i sual Samp I eEn try和AVCSampleEntry定義媒體內(nèi)容是視頻內(nèi)容。樣本條目盒以它具有虛擬基:SampleEntry (format) extends Box (format)的此類方式來設(shè)計(jì)?！癴ormat”字段中的內(nèi)容未被定義，并且留給其派生的條目為它指派值。例如，在視頻情況下，我們具^ VisualSampleEntry (codingname) extends SampleEntry膽<9ノ。在本f肯況中，
“codingname”對(duì)應(yīng)于表示偽標(biāo)識(shí)符的“resv”。因此，本實(shí)施例不定義用于編碼媒體內(nèi)容的特定和媒體編解碼器，如“avcl”，而是將媒體編解碼器的編解碼器標(biāo)識(shí)符替代為偽標(biāo)識(shí)符“resv”。在步驟S12中，補(bǔ)充處理信息盒在樣本條目盒中被提供。補(bǔ)充處理信息盒包括適用于媒體內(nèi)容的補(bǔ)充處理信息。根據(jù)各種實(shí)施例，此補(bǔ)充處理信息盒能夠布置在媒體容器文件中。在第一實(shí)施例中，補(bǔ)充處理信息盒直接在樣本條目盒中被提供。樣本條目盒隨后能夠擴(kuò)展為如下所示，其中，SeiInformationBox對(duì)應(yīng)于補(bǔ)充處理信息盒class A VCSampleEn try ( ノ extends Vi sual Samp I eEn try ( resv ノ /
Res tric tedSchemeInfoBox ();
A VCConfi gura ti onBox confi g;
Sei Informa ti onBox sei I nfo;
MPEG4BitRateBox 廣 ノ / // 可選
MPEG4Ex ten si onDescrip ti onBox 廣 ノ / // 可選
ノ
在一備選實(shí)施例中，補(bǔ)充處理信息盒在受限制的方案信息盒中更深處被提供，而不是直接在樣本條目盒中被提供。受限制的方案彳目息盒因而能夠定乂為
aligned (8) class Res tri c tedScheme InfoBox (fmt) extends Box ( rinf ) {OriginalFormatBox (fmt) original_format;
Scheme TypeBox scheme—type—box; // 可選 SchemeInforma ti onBox info;
ノ
在此類情況下，補(bǔ)充處理信息盒能夠包含在方案信息盒中。在一特定實(shí)施例中，補(bǔ)充處理信息盒在方案信息盒中的包括能夠取決于使用“aSEI” (BP, AVC SEI)作為方案類型。
在任一情況下，在一特定實(shí)施例中，補(bǔ)充處理信息盒能夠定義為a丄 ignea (8) class ^ei Imorma ti onBox extends Box ( seii ノ /unsigned int (8) numRequiredSEIs;for (i=0; i くnumRequiredSEIs; i++) {unsigned int (8) requiredSEI_ID;
}
unsigned int (8) numNotRequiredSEIs;for (i=0; i<numNo tRequiredSEIs; i++) {unsigned int (8) NotrequiredSEI_ID;
}
J
因此，在此特定實(shí)施例中，補(bǔ)充處理信息能夠劃分成在媒體內(nèi)容的解碼后處理期 間媒體終端必須使用的強(qiáng)制補(bǔ)充處理信息(requiredSEIJD)和可選補(bǔ)充處理信息(NotrequiredSEI_ID)。后者是非強(qiáng)制的，但如果被移動(dòng)終端采用，則一般將改進(jìn)或增強(qiáng)媒體內(nèi)容的媒體呈現(xiàn)或描繪。numRequiredSEIs和numNotRequiredSEIs定義媒體容器文件中存在的并且與特定媒體內(nèi)容有關(guān)的強(qiáng)制的和可選的補(bǔ)充處理信息版本的數(shù)量。r叫采用諸如SEI消息等媒體流中存在的并且文件作者或創(chuàng)建者認(rèn)為是正確描繪或回放所必需的補(bǔ)充處理信息消息的值“payIoadType”。NotrequiredSEI_ID對(duì)應(yīng)地采用文件作者不認(rèn)為是正確描繪所必需的補(bǔ)充處理信息消息(SEI消息)的值“payloadType”。補(bǔ)充處理信息盒因此優(yōu)選只包括能夠與特定媒體內(nèi)容結(jié)合使用的補(bǔ)充處理信息消息的相應(yīng)標(biāo)識(shí)符。這些標(biāo)識(shí)符所引用的特定補(bǔ)充處理信息消息隨后能夠在媒體容器文件中的其它地方被提供，這在本文中被進(jìn)ー步描述。圖3的下ー步驟S13在樣本條目盒中提供媒體格式盒。媒體格式盒包括媒體編解碼器的編解碼器標(biāo)識(shí)符。在一特定實(shí)施例中，原來的樣本條目類型(S卩，編解碼器標(biāo)識(shí)符)被包含在表示媒體格式盒的OriginalFormatBox中。OriginalFormatBox隨后能夠被包含在上述RestrictedSchemeInfoBox 內(nèi)
aiignea (8) class OrigmalFormatBox (codingname) extends Box ( frma ノ {unsigned int (32) data_format; // 來自未變換的樣本條目的值，如 data_format ニ' avc I';
}
因此，在上述示例中，“data_format”表示真實(shí)媒體編解碼器標(biāo)識(shí)符，并且能夠根據(jù)特定媒體編解碼器而采用諸如“aVCl”、“mp4V”等各種值。圖5示意示出能夠用于定義偽標(biāo)識(shí)符、編解碼器標(biāo)識(shí)符和補(bǔ)充處理信息的各種容器或盒。在此特定實(shí)施例中，樣本條目盒80將諸如“ avcl”等其傳統(tǒng)四字符碼替代為圖中表示“受限視頻”的“resv”所代表的偽標(biāo)識(shí)符。在此示例中，除其它之外，樣本條目盒80又 包括圖中示為“rinf”的受限方案信息盒70。受限方案信息盒70包括帶有諸如“avcl”等編解碼器標(biāo)識(shí)符62的原來的格式盒60 (在圖中示為“frma”)。在一特定實(shí)施例中，受限方案信息盒70也包括圖中示為“seii”的補(bǔ)充處理信息盒50。補(bǔ)充處理信息盒50包括或列出要求的或強(qiáng)制的補(bǔ)充處理信息消息的標(biāo)識(shí)符52和非要求的或可選的補(bǔ)充處理信息消息的標(biāo)識(shí)符54。圖6是表示媒體容器文件的媒體軌道20的圖形。此圖示出媒體軌道20能夠劃分成多個(gè)樣本條目盒80，其中，每個(gè)此類樣本條目盒80與媒體容器文件的媒體內(nèi)容盒中包含的編碼媒體內(nèi)容的相應(yīng)部分相關(guān)聯(lián)。在此類情況下，補(bǔ)充處理信息50能夠如前面所提及的在樣本條目盒80中存在。在一特定實(shí)施例中，在與編碼媒體內(nèi)容的前面部分相關(guān)聯(lián)的樣本條目盒中提供定義適用于編碼媒體內(nèi)容的后面部分的解碼后指示的補(bǔ)充處理信息50。編碼內(nèi)容的此前面部分因而具有在編碼媒體內(nèi)容的后面部分的解碼時(shí)間之前的解碼時(shí)間。因此，定義與媒體內(nèi)容部分k、k+l、k+2有關(guān)的解碼后指示的補(bǔ)充處理信息50在與媒體內(nèi)容部分k-l、k、k+l有關(guān)的樣本條目盒80中被提供。在此類情況下，在相關(guān)媒體內(nèi)容版本已由媒體終端解碼時(shí)，媒體終端將有時(shí)間識(shí)別和提供補(bǔ)充處理信息及其定義的解碼后指示。因此，將減少解碼和解碼后處理有關(guān)的任何延遲。然而，在大多數(shù)實(shí)施例中，一般在傳送媒體數(shù)據(jù)容器中存在的實(shí)際數(shù)據(jù)前一起發(fā)送樣本條目盒80和媒體軌道20。因此，對(duì)于這些實(shí)施例，一般無需提供與媒體內(nèi)容部分k-1有關(guān)的樣本條目盒80中的定義與媒體內(nèi)容k有關(guān)的解碼后指示的補(bǔ)充處理信息50。形成 鮮明對(duì)比的是，補(bǔ)充處理信息50轉(zhuǎn)而能夠在與媒體內(nèi)容部分k有關(guān)的樣本條目盒中被提供。補(bǔ)充處理信息定義的實(shí)際解碼后指示能夠在實(shí)際比特流中被提供。因此，能夠?qū)⒅T如SEI消息等解碼后指示封裝在NAL単元中，井隨后使其位于比特流中的深處，其中，它們由媒體數(shù)據(jù)盒來包含。實(shí)際解碼后指示能夠位于的另一位置是在某一特殊盒中，例如，僅形成比特流中實(shí)際解碼后指示的副本的ViewScalabiIitylnfoSEIBox。媒體容器文件的其它實(shí)施例能夠替代傳統(tǒng)樣本條目，如AVC樣本條目(以使得遺留媒體終端將不能將它解碼的方式)。新樣本條目隨后以類似于原來的語法的方式來定義，但添加了補(bǔ)充處理信息盒。在此類情況下，此新的樣本條目將對(duì)應(yīng)于媒體編解碼器的偽標(biāo)識(shí)符。例如，對(duì)于帶有限制的AVC，樣本條目盒和偽標(biāo)識(shí)符能夠地示為“aver”
class A VCRes tri c ti onsSampleEn try ( ノ extends Vi sual Samp I eEn try ( aver ノ /A VCConfi gura ti onBox confi g;
Sei Informa ti onBox sei I nfo;
MPEG4BitRateBox 廣 ノ / // 可選
MPEG4Ex ten si onDescrip torsBox 廣 ノ / // 可選
ノ
在仍有的另ー實(shí)施例中，定義AVCDecoderConfigurationRecord的新版本，并因此在AVCDEcoderConfigurationRecord 中使用用于 configurationVersion 的新值。這樣做使得不能使用補(bǔ)充處理信息的遺留媒體終端將不能解碼文件。在可選情況下，AVCDecoderConfigurationRecord的新定義也包含有關(guān)要求的和/或可選的補(bǔ)充處理信息的信息。下面示出此語法的示例
ai I gned (8) class A VしDecoderConr I gura ti onRecord {unsigned int (8) confi gura ti on Versi on = 2;unsigned in t (8) A VCProfi IeIndi ca ti on;unsigned in t (8) profile— compa tibiIi ty;unsigned in t (8) A VCLe vellndi ca ti on;bit (6) reserved ニ，111111’b;unsigned int (2) IengthSizeMinusOne;
Mt (3) reserved ニ ’ 111’b;
unsigned int (5) numOfSequenceParame ter Se ts;
for (i=0; i く numOfSequenceParame ter Se ts; i++) { unsigned int (16) sequenceParame ter Se tLength;
bi t (S^sequenceParame ter Se tLength) sequenceParame ter Se tNALUni t;
}
unsigned int (8) numOfPi c tureParame ter Se ts;
for (i=0; i く numOfPi c tureParame ter Se ts; i++) {
unsigned int (16) pictureParameterSetLength;
bi t (S*pic tureParame terSe tLength) pic tureParame terSe tNALUni t;
}
unsigned int (8) numRequiredSEIs;for (i=0; i くnumRequiredSEIs; i++) {unsigned int (8) requiredSEI_ID;
}
unsigned int (8) numNo tRequiredSEIs;for (i=0; iくnumNotRequiredSEIs; i++) {unsigned int (8) NotrequiredSEI_ID;
}
}
在一備選實(shí)施例中，偽標(biāo)識(shí)符和補(bǔ)充處理信息被共同組織在其中的文件不必是媒體容器文件。圖13示出此實(shí)施例。該方法從圖I的步驟S2繼續(xù)。下ー步驟S50涉及生成會(huì)話描述協(xié)議(SDP)文件，并且將偽標(biāo)識(shí)符和補(bǔ)充處理信息共同組織為SDP文件中的不同屬性行。如本領(lǐng)域中已知的，實(shí)時(shí)傳輸協(xié)議(Real-Transport Protocol, RTP)被設(shè)計(jì)用于實(shí)時(shí)數(shù)據(jù)傳送。不同的有效負(fù)載格式被定義以用于不同媒體編解碼器，并且這些格式調(diào)節(jié)分組化規(guī)則。邊信息一般也在SDP文件中在發(fā)送器與接收器之間被發(fā)送，以便雙方通過建立SDP供應(yīng)/應(yīng)答模型而知道正在傳送的媒體內(nèi)容的狀態(tài)。SDP文件隨后能夠修改為具有包括偽標(biāo)識(shí)符的第一屬性行和包括補(bǔ)充處理信息的第二屬性行。不能利用補(bǔ)充處理信息進(jìn)行媒體內(nèi)容的解碼后處理的遺留媒體終端將不認(rèn)識(shí)從SDP文件檢索的偽標(biāo)識(shí)符。由此停止并阻止媒體內(nèi)容的解碼。在一特定實(shí)施例中，偽標(biāo)識(shí)符用作一種新類型的品牌(brand)名稱，而不是舊品牌名，如將H264替代為H264-RES，這表示帶有限制的H. 264。此外，定義新的流屬性參數(shù)，指明應(yīng)用了哪些限制。這些流屬性參數(shù)對(duì)應(yīng)于能夠指定為要求/非要求SEI消息的補(bǔ)充處理信息。下面給出了示例
m ニ video 20000 RTP/AVP 97 a ニ rtpmap: 97 H264-RES/90000a ニ fmtp:97 sprop-requiredSEI~ID {ID1}, {ID2j; sprop-No trequiredSEI~ID= {ID3J, {ID4J, {ID5J;
在遺留媒體終端接收器接收上述SDP供應(yīng)時(shí)，偽標(biāo)識(shí)符H264-RES停止錯(cuò)誤解碼，因?yàn)檫z留媒體終端將提前拒絕此供應(yīng)。僅認(rèn)識(shí)H264-RES的媒體終端將接受該供應(yīng)，并因此能夠通過補(bǔ)充處理信息正確解碼和描繪媒體內(nèi)容。這些媒體終端因此將映射和轉(zhuǎn)換偽標(biāo)識(shí)符H264-RES到編解碼器標(biāo)識(shí)符，S卩，H264。這意味著這些媒體終端已配置成理解偽標(biāo)識(shí)符并進(jìn)行要求的標(biāo)識(shí)符映射或轉(zhuǎn)換。上述內(nèi)容中公開的實(shí)施例主要通過H. 264/AVC例示。然而，這應(yīng)只視為說明性而非限制性示例。例如，除其它之外，帶有諸如可伸縮視頻編碼(Scalable Video Coding,SVC)和多視圖視頻編碼(Multiview Video Coding, MVC)等H. 264/AVC的擴(kuò)展的等效實(shí)施例通過以類似的方式擴(kuò)展其特定配置記錄和/或樣本條目類型，以十分類似的方式來エ作。實(shí)施例因此使得能夠通過媒體終端檢測(cè)補(bǔ)充處理信息的存在而不檢查比特流。形成鮮明對(duì)比的是，如上所例示的，調(diào)查媒體容器文件或SDP文件或供應(yīng)的相關(guān)部分已足夠。補(bǔ)充處理信息將只由能夠解釋和使用補(bǔ)充處理信息的那些媒體終端進(jìn)ー步有利地看到。遺留媒體終端因此將不嘗試顯示在描繪前將具有要求的另外后處理的解碼比特流。圖7是其中能夠?qū)崿F(xiàn)實(shí)施例的通信網(wǎng)絡(luò)的一部分的示意概圖。通信網(wǎng)絡(luò)除其它之夕卜，由借助于基站310或網(wǎng)絡(luò)節(jié)點(diǎn)提供通信服務(wù)到移動(dòng)終端200、210和其它用戶裝置的基于無線電的通信網(wǎng)絡(luò)來例示。該通信網(wǎng)絡(luò)也包括用于提供媒體內(nèi)容到諸如移動(dòng)終端200、210等一個(gè)或多個(gè)請(qǐng)求媒體終端的此類基站310中實(shí)現(xiàn)的或者連接到此類基站310的媒體服務(wù)器300。該圖示出用于提供補(bǔ)充處理信息的裝置100的ー個(gè)可能實(shí)現(xiàn)實(shí)施例，其在圖中示為SPI提供裝置。此裝置100配置成生成如本文中公開的包括偽標(biāo)識(shí)符和補(bǔ)充處理信息的文件I。文件I隨后借助于連接的基站310傳送到移動(dòng)終端200、210。在圖中，移動(dòng)終端210能夠表示遺留移動(dòng)終端，而移動(dòng)終端200指示認(rèn)識(shí)偽標(biāo)識(shí)符并能夠使用補(bǔ)充處理信息的媒體終端。裝置100不必一定在媒體服務(wù)器300中實(shí)現(xiàn)，而是能夠備選地在通信網(wǎng)絡(luò)的另ー網(wǎng)絡(luò)節(jié)點(diǎn)中實(shí)現(xiàn)。在多個(gè)此類網(wǎng)絡(luò)節(jié)點(diǎn)中的分布式實(shí)現(xiàn)也是可能的，并且在實(shí)施例的范圍內(nèi)。圖8是根據(jù)一實(shí)施例的用于提供補(bǔ)充處理信息的裝置100的示意框圖。裝置100包括配置成提供用于將媒體內(nèi)容編碼的媒體編解碼器的偽標(biāo)識(shí)符的標(biāo)識(shí)符提供器110。信息提供器130配置成提供表示用于處理通過將編碼媒體內(nèi)容解碼而可獲得的解碼媒體內(nèi)容的解碼后指示的補(bǔ)充處理信息。裝置100也包括配置成將來自標(biāo)識(shí)符提供器110的偽標(biāo)識(shí)符和來自信息提供器130的補(bǔ)充處理信息共同組織在文件中的文件組織器120。如已公開的，文件中的共同組織由文件組織器120進(jìn)行，以便它觸發(fā)不認(rèn)識(shí)偽標(biāo)識(shí)符的遺留媒體終端中止編碼內(nèi)容的解碼。然而，共同組織使得認(rèn)識(shí)偽標(biāo)識(shí)符的媒體終端能夠使用媒體編解碼器將編碼媒體內(nèi)容解碼，井能夠使用補(bǔ)充處理信息進(jìn)行解碼媒體內(nèi)容的解碼后處理。信息提供器130能夠提供表示用于處理解碼媒體內(nèi)容的強(qiáng)制的解碼后指示的要求的補(bǔ)充處理信息和表示用于處理解碼媒體內(nèi)容的可選解碼后指示的非要求的補(bǔ)充處理 信息。
在一特定實(shí)施例中，文件組織器120配置成生成包括定義媒體內(nèi)容的至少ー個(gè)媒體軌道和包括編碼媒體內(nèi)容的至少ー個(gè)媒體內(nèi)容盒的媒體容器文件。標(biāo)識(shí)符提供器110隨后能夠在媒體容器文件中提供樣本條目盒。如前面所述，樣本條目盒定義偽標(biāo)識(shí)符，并包括含編解碼器標(biāo)識(shí)符的媒體格式盒。信息提供器130優(yōu)選地在樣本條目盒中提供包括補(bǔ)充處理信息的補(bǔ)充處理信息盒。在一特定實(shí)施例中，信息提供器130在與具有在編碼媒體內(nèi)容部分k的解碼時(shí)間之前的解碼時(shí)間的前面的編碼媒體內(nèi)容部分k-Ι相關(guān)聯(lián)的樣本條目盒中提供定義適用于媒體內(nèi)容部分k的解碼后指示的補(bǔ)充處理信息。在另ー實(shí)施例中，信息提供器130在與媒體內(nèi)容部分k相關(guān)聯(lián)的樣本條目盒中提供定義適用于媒體內(nèi)容部分k的解碼后指示的補(bǔ)充處理信息。 在一備選實(shí)施例中，文件組織器120配置成生成包括來自標(biāo)識(shí)符提供器110的偽標(biāo)識(shí)符作為第一屬性行、并且來自信息提供器130的補(bǔ)充處理信息作為第二屬性行的SDP文件。裝置100的單元110到130可被實(shí)現(xiàn)或提供為硬件或硬件和軟件的組合。在基于軟件的實(shí)現(xiàn)的情況下，實(shí)現(xiàn)裝置100或其一部分的計(jì)算機(jī)程序產(chǎn)品包括在通用或?qū)Ｓ糜?jì)算機(jī)、處理器或微處理器上運(yùn)行的軟件或計(jì)算機(jī)程序。所述軟件包括圖8所示的計(jì)算機(jī)程序代碼元素或軟件代碼部分。所述程序可整體或部分被存儲(chǔ)在諸如磁盤、⑶-ROM、DVD盤、USB存儲(chǔ)器、硬盤、磁光存儲(chǔ)器等一個(gè)或多個(gè)適合的非暫時(shí)性計(jì)算機(jī)可讀媒體或數(shù)據(jù)存儲(chǔ)部件之上或之中、RAM或易失性存儲(chǔ)器中、ROM或閃速存儲(chǔ)器中(作為固件)、或數(shù)據(jù)服務(wù)器上。裝置100能夠有利地在如圖7所示的媒體服務(wù)器300中實(shí)現(xiàn)，或結(jié)合其實(shí)現(xiàn)。圖9是根據(jù)一實(shí)施例的示出處理媒體終端中媒體內(nèi)容的方法的流程圖。該方法從步驟S20開始，在該步驟中接收包括偽標(biāo)識(shí)符和補(bǔ)充處理信息的文件。下ー步驟S21驗(yàn)證圖中縮寫為PID的偽標(biāo)識(shí)符是否是可認(rèn)識(shí)的。如果偽標(biāo)識(shí)符是不可認(rèn)識(shí)的，則該方法繼續(xù)到步驟S22，在該步驟中，中止或阻止媒體內(nèi)容的解碼。如上述內(nèi)容中討論的，編碼媒體內(nèi)容能夠與偽標(biāo)識(shí)符和補(bǔ)充處理信息在相同的文件中被提供，或者被分開地提供(在步驟S20中或另ー(未公開的)步驟中)。如果偽標(biāo)識(shí)符轉(zhuǎn)而是可認(rèn)識(shí)的，則該方法從步驟S21繼續(xù)到步驟S23。此步驟S23基于在偽標(biāo)識(shí)符的基礎(chǔ)上檢索的編解碼器標(biāo)識(shí)符，選擇用于將媒體內(nèi)容解碼的媒體編解碼器。下ー步驟S24使用選定媒體編解碼器將媒體內(nèi)容解碼。在步驟S25中，基于補(bǔ)充處理信息來處理解碼媒體內(nèi)容，以便獲得適合諸如顯示或回放等描繪的形式中的媒體內(nèi)容。該方法隨后能夠結(jié)束。備選的是,媒體內(nèi)容能夠劃分成不同的媒體內(nèi)容部分,其中，補(bǔ)充處理信息能夠與不同的此類媒體部分相關(guān)聯(lián)并適用于不同的此類媒體部分。在此類情況下，為每個(gè)此類媒體內(nèi)容部分重復(fù)進(jìn)行步驟S24和S25。圖10是根據(jù)一實(shí)施例的示出圖9中方法的另外步驟的流程圖。該方法從圖9的步驟S20繼續(xù)，該步驟涉及接收包括定義媒體內(nèi)容的至少ー個(gè)媒體軌道、包括編碼媒體內(nèi)容的至少ー個(gè)媒體內(nèi)容盒和至少ー個(gè)樣本條目盒的媒體容器文件。樣本條目盒定義偽標(biāo)識(shí)符并包括帶有補(bǔ)充處理信息的補(bǔ)充處理信息盒和帶有編解碼器標(biāo)識(shí)符的媒體格式盒。下ー步驟S30從樣本條目盒來檢索偽標(biāo)識(shí)符，并且在圖9的步驟S21中調(diào)查偽標(biāo)識(shí)符是否是可認(rèn)識(shí)的。如果這為真，則該方法繼續(xù)到步驟S31，在該步驟中，從媒體格式盒來檢索編解碼器標(biāo)識(shí)符。該方法隨后繼續(xù)到圖9的步驟S23，在該步驟中，基于檢索的編解碼器標(biāo)識(shí)符而選擇媒體編解碼器。圖11是根據(jù)另ー實(shí)施例的示出圖9中方法的另外步驟的流程圖。該方法從圖9的步驟S20繼續(xù)，該步驟涉及接收包括含偽標(biāo)識(shí)符的第一屬性行和含補(bǔ)充處理信息的第二屬性行的SDP文件。下ー步驟S40讀取SDP文件中的第一屬性行以識(shí)別偽標(biāo)識(shí)符。該方法隨后繼續(xù)到圖9中的步驟S21以調(diào)查偽標(biāo)識(shí)符是否是可認(rèn)識(shí)的。如果這為真，則該方法繼續(xù)到步驟S41。步驟S41將偽標(biāo)識(shí)符映射或轉(zhuǎn)換到編解碼器標(biāo)識(shí)符。該方法隨后繼續(xù)到圖9的步驟S23，在該步驟中，基于映射的編解碼器標(biāo)識(shí)符來選擇媒體編解碼器。如果補(bǔ)充處理信息定義允許識(shí)別哪些視頻幀屬于立體聲或3D描繪的左視圖、而哪些視頻幀屬于其右視圖的解碼后指示，則圖9中的處理步驟能夠包括基于補(bǔ)充處理信息來識(shí)別對(duì)應(yīng)于左視圖的編碼視頻數(shù)據(jù)的視頻幀和對(duì)應(yīng)于右視圖的視頻幀。圖12是根據(jù)一實(shí)施例的媒體終端200的示意框圖。媒體終端200由圖中的移動(dòng)終端來例示。然而，這應(yīng)只視為說明性示例。媒體終端能夠是具有解碼和描繪能力的任何實(shí)體或裝置或多個(gè)裝置的聚合。單個(gè)此類裝置能夠是移動(dòng)終端，如移動(dòng)電話或膝上型計(jì)算機(jī)、計(jì)算機(jī)、用于電視的機(jī)頂盒或任何其它媒體處理裝置。解碼和描繪功能能夠存在于不同裝置中，這些裝置因而能夠相互進(jìn)行有線或無線通信。媒體終端因此也涵蓋此類分布式實(shí)現(xiàn)實(shí)施例。移動(dòng)終端200包括圖中由收發(fā)器(TX/RX)例示的接收器210。接收器210配置成接收包括偽標(biāo)識(shí)符和補(bǔ)充處理信息的文件。解碼控制器220配置成從文件來檢索偽標(biāo)識(shí)符并驗(yàn)證偽標(biāo)識(shí)符是否是可認(rèn)識(shí)的。如果解碼控制器220不認(rèn)識(shí)它，則解碼控制器220控制解碼器230中止編碼媒體內(nèi)容的解碼，或者停止解碼器230啟動(dòng)解碼過程。如果解碼控制器220轉(zhuǎn)而認(rèn)識(shí)偽標(biāo)識(shí)符，則它選擇由解碼器230用于將媒體內(nèi)容解碼的媒體編解碼器235。此編解碼器選擇基于解碼控制器220使用偽標(biāo)識(shí)符所確定的編解碼器標(biāo)識(shí)符來進(jìn)行。隨后，解碼器230使用選定媒體編解碼器235將編碼媒體內(nèi)容解碼以獲得解碼的媒體內(nèi)容。解碼的媒體內(nèi)容由內(nèi)容處理器240基于從文件檢索的補(bǔ)充處理信息進(jìn)行進(jìn)ー步處理，以獲得適合描繪的形式中的媒體內(nèi)容。媒體終端200隨后能夠具有媒體播放器(未示出)，該播放器描繪處理過的媒體內(nèi)容以便在顯示屏幕250上顯示。備選或附加的是，媒體播放器能夠在媒體終端200的揚(yáng)聲器(未出)上回放音頻內(nèi)容。在一特定實(shí)施例中，接收器210接收帶有定義媒體內(nèi)容的至少ー個(gè)媒體軌道、包括媒體內(nèi)容且優(yōu)選包括由補(bǔ)充處理信息定義的解碼后指示的至少ー個(gè)媒體內(nèi)容盒的媒體容器文件。至少ー個(gè)樣本條目盒也被包括在媒體容器文件中，并定義偽標(biāo)識(shí)符，以及包括帶有補(bǔ)充處理信息的補(bǔ)充處理信息盒和帶有編解碼器標(biāo)識(shí)符的媒體格式盒。在此類情況下，媒體終端200優(yōu)選地包括配置成從樣本條目盒來檢索偽標(biāo)識(shí)符的標(biāo)識(shí)符提供器225。如果偽標(biāo)識(shí)符可由解碼控制器220認(rèn)識(shí)，則標(biāo)識(shí)符提供器225優(yōu)選地也從媒體格式盒來檢索編解碼器標(biāo)識(shí)符。在一備選實(shí)施例中，接收器210接收包括含偽標(biāo)識(shí)符的第一屬性行和含補(bǔ)充處理信息的第二屬性行的SDP文件。標(biāo)識(shí)符提供器225隨后配置成讀取第一屬性行以檢索偽標(biāo)
識(shí)符，井隨后如果偽標(biāo)識(shí)符可由解碼控制器220認(rèn)識(shí)，則使用媒體終端200中存儲(chǔ)的預(yù)配置映射數(shù)據(jù)，將偽標(biāo)識(shí)符映射到媒體編解碼器235的編解碼器標(biāo)識(shí)符。此類預(yù)配置的映射數(shù)據(jù)能夠是包括解碼控制器220認(rèn)識(shí)的偽標(biāo)識(shí)符和匹配的編解碼器標(biāo)識(shí)符的列表。
移動(dòng)終端200的單元210到240可被實(shí)現(xiàn)或提供為硬件或硬件和軟件的組合。在基于軟件的實(shí)現(xiàn)的情況下，實(shí)現(xiàn)移動(dòng)終端200或其一部分的計(jì)算機(jī)程序產(chǎn)品包括通用或?qū)Ｓ糜?jì)算機(jī)、處理器或微處理器上運(yùn)行的軟件或計(jì)算機(jī)程序。所述軟件包括圖12所示的計(jì)算機(jī)程序代碼元素或軟件代碼部分。所述程序可整體或部分被存儲(chǔ)在諸如磁盤、CD-ROM、DVD盤、USB存儲(chǔ)器、硬盤、磁光存儲(chǔ)器等一個(gè)或多個(gè)適合的非暫時(shí)性計(jì)算機(jī)可讀媒體或數(shù)據(jù)存儲(chǔ)部件之上或之中、RAM或易失性存儲(chǔ)器中、ROM或閃速存儲(chǔ)器中(作為固件)、或數(shù)據(jù)服務(wù)器上。
上述實(shí)施例要理解為本發(fā)明的少數(shù)幾個(gè)說明性示例。本領(lǐng)域的技術(shù)人員將理解，在不脫離本發(fā)明范圍的情況下，可對(duì)實(shí)施例進(jìn)行各種修改、組合和更改。具體地說，不同實(shí)施例中的不同部分解決方案能在技術(shù)上可能的其它配置中被組合。然而，本發(fā)明的范圍由隨附權(quán)利要求來定義。
權(quán)利要求
1.ー種提供與編碼的媒體內(nèi)容有關(guān)的補(bǔ)充處理信息(52, 54)的方法,所述方法包括 提供(SI)用于編碼所述媒體內(nèi)容的媒體編解碼器的偽標(biāo)識(shí)符； 提供(S2)定義解碼后指示的補(bǔ)充處理信息(52，54)，所述解碼后指示用于處理通過解碼所述編碼的媒體內(nèi)容而可獲得的解碼的媒體內(nèi)容；以及 將所述偽標(biāo)識(shí)符和所述補(bǔ)充處理信息(52，54)共同組織(S3)在文件(I)中以觸發(fā)不認(rèn)識(shí)所述偽標(biāo)識(shí)符的遺留媒體終端(210)中止所述編碼的媒體內(nèi)容的解碼，以及使得認(rèn)識(shí)所述偽標(biāo)識(shí)符的媒體終端(200)能夠使用所述媒體編解碼器來解碼所述編碼的媒體內(nèi)容和使用所述補(bǔ)充處理信息(52，54)進(jìn)行所述解碼的媒體內(nèi)容的解碼后處理。
2.如權(quán)利要求I所述的方法，其中共同組織(S3)所述偽標(biāo)識(shí)符和所述補(bǔ)充處理信息包括 生成(SlO)媒體容器文件(I),所述媒體容器文件包括定義所述媒體內(nèi)容的至少ー個(gè)媒體軌道(20)和包括所述編碼的媒體內(nèi)容的至少ー個(gè)媒體內(nèi)容盒(40)； 在所述媒體容器文件(I)中提供(Sll)定義所述偽標(biāo)識(shí)符的樣本條目盒(80)； 在所述樣本條目盒(80)中提供(S12)包括所述補(bǔ)充處理信息(52，54)的補(bǔ)充處理信息盒(50);以及 在所述樣本條目盒(80)中提供(S13)包括所述媒體編解碼器的編解碼器標(biāo)識(shí)符(62)的媒體格式盒(60)。
3.如權(quán)利要求2所述的方法，其中所述媒體軌道(20)包括多個(gè)樣本條目盒(80)，所述多個(gè)樣本條目盒各自與所述至少ー個(gè)媒體內(nèi)容盒(40)中包含的所述編碼的媒體內(nèi)容的相應(yīng)部分相關(guān)聯(lián)，其中提供(S12)所述補(bǔ)充處理信息盒(50)包括在樣本條目盒(50)中提供(S12)定義適用于所述編碼的媒體內(nèi)容的后面部分的解碼后指示的補(bǔ)充處理信息盒(50)，所述樣本條目盒(50)與具有在所述編碼的媒體內(nèi)容的所述后面部分的解碼時(shí)間之前的解碼時(shí)間的所述編碼的媒體內(nèi)容的前面部分相關(guān)聯(lián)。
4.如權(quán)利要求I所述的方法，其中共同組織(S3)所述偽標(biāo)識(shí)符和所述補(bǔ)充處理信息(52，54)包括生成(S50)會(huì)話描述協(xié)議文件，所述會(huì)話描述協(xié)議文件包括含所述偽標(biāo)識(shí)符的第一屬性行和含所述補(bǔ)充處理信息的第二屬性行。
5.如權(quán)利要求I到4的任一項(xiàng)所述的方法，其中提供(S2)所述補(bǔ)充處理信息(52，54)包括提供(S2)表示用于處理所述解碼的媒體內(nèi)容的強(qiáng)制解碼后指示的補(bǔ)充處理信息(52)和表示用于處理所述解碼的媒體內(nèi)容的可選解碼后指示的補(bǔ)充處理信息(54)的至少之一 O
6.如權(quán)利要求I到5的任一項(xiàng)所述的方法，其中所述編碼的媒體內(nèi)容包括編碼的視頻數(shù)據(jù)，并且提供(S2)所述補(bǔ)充處理信息(52，54)包括提供(S2)表示解碼后指示的、對(duì)于所述視頻數(shù)據(jù)的三維描繪定義所述編碼的視頻數(shù)據(jù)的哪些視頻幀對(duì)應(yīng)于左視圖和所述編碼的視頻數(shù)據(jù)的哪些視頻幀對(duì)應(yīng)于右視圖的補(bǔ)充處理信息。
7.一種用于提供與編碼的媒體內(nèi)容有關(guān)的補(bǔ)充處理信息(52，54)的裝置(100)，所述裝置(100)包括 標(biāo)識(shí)符提供器(110)，配置成提供用于編碼所述媒體內(nèi)容的媒體編解碼器的偽標(biāo)識(shí)符; 信息提供器(130)，配置成提供定義解碼后指示的補(bǔ)充處理信息(52，54)，所述解碼后指示用于處理通過解碼所述編碼的媒體內(nèi)容而可獲得的解碼的媒體內(nèi)容；以及 文件組織器(120)，配置成將所述標(biāo)識(shí)符提供器(110)提供的所述偽標(biāo)識(shí)符和所述信息提供器(130)提供的所述補(bǔ)充處理信息(52，54)共同組織在文件(I)中，以觸發(fā)不認(rèn)識(shí)所述偽標(biāo)識(shí)符的遺留媒體終端(210)中止所述編碼的媒體內(nèi)容的解碼，并使得認(rèn)識(shí)所述偽標(biāo)識(shí)符的媒體終端(200)能夠使用所述媒體編解碼器來解碼所述編碼的媒體內(nèi)容，并使用所述補(bǔ)充處理信息(52，54)進(jìn)行所述解碼的媒體內(nèi)容的解碼后處理。
8.如權(quán)利要求7所述的裝置，其中 所述文件組織器(120)配置成生成包括定義所述媒體內(nèi)容的至少ー個(gè)媒體軌道(20)和包括所述編碼的媒體內(nèi)容的至少ー個(gè)媒體內(nèi)容盒(40)的媒體容器文件(I)； 所述標(biāo)識(shí)符提供器(110)配置成在所述媒體容器文件(I)中提供定義所述偽標(biāo)識(shí)符的樣本條目盒(80)，并且在所述樣本條目盒(80)中提供包括所述媒體編解碼器的編解碼器標(biāo)識(shí)符￠2)的媒體格式盒￠0);以及 所述信息提供器(130)配置成在所述樣本條目盒(80)中提供包括所述補(bǔ)充處理信息(52.54)的補(bǔ)充處理信息盒(50)。
9.如權(quán)利要求8所述的裝置，其中所述媒體軌道(20)包括多個(gè)樣本條目盒(80)，所述多個(gè)樣本條目盒各自與所述至少ー個(gè)媒體內(nèi)容盒(40)中包含的所述編碼的媒體內(nèi)容的相應(yīng)部分相關(guān)聯(lián)，其中所述信息提供器(130)配置成在樣本條目盒(50)中提供定義適用于所述編碼的媒體內(nèi)容的后面部分的解碼后指示的補(bǔ)充處理信息盒(50)，所述樣本條目盒(50)與具有在所述編碼的媒體內(nèi)容的所述后面部分的解碼時(shí)間之前的解碼時(shí)間的所述編碼的媒體內(nèi)容的前面部分相關(guān)聯(lián)。
10.如權(quán)利要求7所述的裝置，其中所述文件組織器(120)配置成生成會(huì)話描述協(xié)議文件，所述會(huì)話描述協(xié)議文件包括含所述偽標(biāo)識(shí)符的第一屬性行和含所述補(bǔ)充處理信息(52.54)的第二屬性行。
11.如權(quán)利要求7到10的任一項(xiàng)所述的裝置，其中所述信息提供器(130)配置成提供表示用于處理所述解碼的媒體內(nèi)容的強(qiáng)制解碼后指示的補(bǔ)充處理信息(52)和表示用于處理所述解碼的媒體內(nèi)容的可選解碼后指示的補(bǔ)充處理信息(54)的至少之一。
12.—種媒體服務(wù)器(300)，包括如權(quán)利要求7到11的任一項(xiàng)所述的用于提供補(bǔ)充處理信息(52，54)的裝置(100)。
13.—種網(wǎng)絡(luò)節(jié)點(diǎn)(310)，包括如權(quán)利要求12所述的媒體服務(wù)器(300)。
14.一種處理媒體內(nèi)容的方法，包括 接收(S20)包括用于編碼所述媒體內(nèi)容的媒體編解碼器的偽標(biāo)識(shí)符和定義用于處理所述媒體內(nèi)容的解碼后指示的補(bǔ)充處理信息(52，54)的文件(I)； 如果從所述文件(I)檢索的所述偽標(biāo)識(shí)符是不可認(rèn)識(shí)的，則中止(S22)所述媒體內(nèi)容的編碼版本的解碼； 如果從所述文件(I)檢索的所述偽標(biāo)識(shí)符是可認(rèn)識(shí)的，則基于在所述偽標(biāo)識(shí)符基礎(chǔ)上檢索的媒體編解碼器(235)的編解碼器標(biāo)識(shí)符￠2)來選擇(S23)用于解碼所述媒體內(nèi)容的所述編碼版本的所述媒體編解碼器(235)； 如果從所述文件(I)檢索的所述偽標(biāo)識(shí)符是可認(rèn)識(shí)的，則使用所述選擇的媒體編解碼器(235)來解碼(S24)所述媒體內(nèi)容的所述編碼版本；以及如果從所述文件(I)檢索的所述偽標(biāo)識(shí)符是可認(rèn)識(shí)的，則基于從所述文件(I)檢索的所述補(bǔ)充處理信息(52，54)來處理(S25)所述媒體內(nèi)容以獲得適合描繪的形式中的所述媒體內(nèi)容。
15.如權(quán)利要求14所述的方法，其中接收(S20)所述文件(I)包括接收(S20)媒體容器文件(I)，所述媒體容器文件包括定義所述媒體內(nèi)容的至少ー個(gè)媒體軌道(20)、包括所述媒體內(nèi)容的所述編碼版本的至少ー個(gè)媒體內(nèi)容盒(40)以及定義所述偽標(biāo)識(shí)符并包括含所述補(bǔ)充處理信息(52，54)的補(bǔ)充處理信息盒(50)和含所述編解碼器標(biāo)識(shí)符￠2)的媒體格式盒￠0)的樣本條目盒(80)，所述方法還包括 從所述樣本條目盒(80)來檢索(S30)所述偽標(biāo)識(shí)符；以及 如果從所述文件(I)檢索的所述偽標(biāo)識(shí)符是可認(rèn)識(shí)的，則從所述媒體格式盒￠0)來檢索(S31)所述編解碼器標(biāo)識(shí)符(62)。
16.如權(quán)利要求14所述的方法，其中接收(S20)所述文件(I)包括接收(S20)會(huì)話描述協(xié)議文件，所述會(huì)話描述協(xié)議文件包括含所述偽標(biāo)識(shí)符的第一屬性行和含所述補(bǔ)充處理信息(52，54)的第二屬性行，所述方法還包括 讀取(S40)所述會(huì)話描述文件中的所述第一屬性行以檢索所述偽標(biāo)識(shí)符；以及 如果從所述文件(I)檢索的所述偽標(biāo)識(shí)符是可認(rèn)識(shí)的，則映射(S41)所述偽標(biāo)識(shí)符到所述編解碼器標(biāo)識(shí)符(62)。
17.如權(quán)利要求14到16的任一項(xiàng)所述的方法，其中所述媒體內(nèi)容是視頻數(shù)據(jù)，并且處理(S25)所述媒體內(nèi)容包括如果從所述文件(I)檢索的所述偽標(biāo)識(shí)符是可認(rèn)識(shí)的，并基于所述補(bǔ)充處理信息(52，54)，則對(duì)于所述視頻數(shù)據(jù)的三維描繪，識(shí)別所述編碼的視頻數(shù)據(jù)的哪些視頻幀對(duì)應(yīng)于左視圖和所述編碼的視頻數(shù)據(jù)的哪些視頻幀對(duì)應(yīng)于右視圖。
18.ー種媒體終端(200)，包括 接收器(210)，配置成接收包括用于編碼媒體內(nèi)容的媒體編解碼器的偽標(biāo)識(shí)符和定義用于處理所述媒體內(nèi)容的解碼后指示的補(bǔ)充處理信息(52，54)的文件(I)； 解碼控制器(220)，配置成如果從所述文件(I)檢索的所述偽標(biāo)識(shí)符是不可認(rèn)識(shí)的，則中止所述媒體內(nèi)容的編碼版本的解碼，并且如果從所述文件(I)檢索的所述偽標(biāo)識(shí)符是可認(rèn)識(shí)的，則基于在所述偽標(biāo)識(shí)符基礎(chǔ)上檢索的媒體編解碼器(235)的編解碼器標(biāo)識(shí)符(62)來選擇用于解碼所述媒體內(nèi)容的所述編碼版本的所述媒體編解碼器(235)； 解碼器(220)，配置成如果從所述文件(I)檢索的所述偽標(biāo)識(shí)符是可認(rèn)識(shí)的，則使用所述解碼控制器(220)所選擇的所述媒體編解碼器(235)來解碼所述媒體內(nèi)容的所述編碼版本；以及 內(nèi)容處理器(240)，配置成如果從所述文件(I)檢索的所述偽標(biāo)識(shí)符是可認(rèn)識(shí)的，則基于從所述文件(I)檢索的所述補(bǔ)充處理信息(52，54)來處理所述媒體內(nèi)容以獲得適合描繪的形式中的所述媒體內(nèi)容。
19.如權(quán)利要求18所述的媒體終端，其中所述接收器(210)配置成接收媒體容器文件(I)，所述媒體容器文件包括定義所述媒體內(nèi)容的至少ー個(gè)媒體軌道(20)、包括所述媒體內(nèi)容的所述編碼版本的至少ー個(gè)媒體內(nèi)容盒(40)以及定義所述偽標(biāo)識(shí)符并包括含所述補(bǔ)充處理信息(52，54)的補(bǔ)充處理信息盒(50)和含所述編解碼器標(biāo)識(shí)符￠2)的媒體格式盒(60)的樣本條目盒(80)，所述媒體終端(200)還包括配置成從所述樣本條目盒(80)檢索所述偽標(biāo)識(shí)符并且如果從所述文件(I)檢索的所述偽標(biāo)識(shí)符是可認(rèn)識(shí)的則從所述媒體格式盒￠0)檢索所述編解碼器標(biāo)識(shí)符￠2)的標(biāo)識(shí)符提供器(225)。
20.如權(quán)利要求18所述的媒體終端，其中所述接收器(210)配置成接收會(huì)話描述協(xié)議文件，所述會(huì)話描述協(xié)議文件包括含所述偽標(biāo)識(shí)符的第一屬性行和含所述補(bǔ)充處理信息的第二屬性行，所述媒體終端(100)還包括配置成讀取所述會(huì)話描述文件中的所述第一屬性行以檢索所述偽標(biāo)識(shí)符并且如果從所述文件(I)檢索的所述偽標(biāo)識(shí)符是可認(rèn)識(shí)的則映射所述偽標(biāo)識(shí)符到所述編解碼器標(biāo)識(shí)符￠2)的標(biāo)識(shí)符提供器(225)。
全文摘要
定義用于處理解碼的媒體內(nèi)容的解碼后指示的補(bǔ)充處理信息(52，54)在文件(1)中與用于將媒體內(nèi)容編碼的媒體編解碼器的偽標(biāo)識(shí)符共同組織在一起。所述共同組織觸發(fā)不認(rèn)識(shí)偽標(biāo)識(shí)符的遺留媒體終端(210)中止媒體內(nèi)容的解碼，但使得認(rèn)識(shí)偽標(biāo)識(shí)符的媒體終端(200)能夠?qū)⒚襟w內(nèi)容解碼，由此使得能夠使用補(bǔ)充處理信息(52，54)進(jìn)行解碼的媒體內(nèi)容的解碼后處理。所述共同組織由此阻止不能使用補(bǔ)充處理信息的遺留媒體終端(210)將媒體內(nèi)容解碼和在媒體呈現(xiàn)中描繪媒體內(nèi)容。
文檔編號(hào)H04N7/26GK102648629SQ201080057965
公開日2012年8月22日 申請(qǐng)日期2010年10月18日 優(yōu)先權(quán)日2009年10月20日
發(fā)明者C.普里德勒, P.弗勒德, 巫壯飛 申請(qǐng)人:瑞典愛立信有限公司