專利名稱：用于處理可縮放數(shù)據(jù)的方法和裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于處理數(shù)據(jù)的方法和裝置，其中存在基本信息 和具有對(duì)該基本信息加以補(bǔ)充的信息的元素。
背景技術(shù)：
在通信系統(tǒng)中在發(fā)送器和接收器之間傳送消息。通信系統(tǒng)的具體 例子就是無(wú)線通信系統(tǒng)。其中借助電磁波通過(guò)發(fā)送站和接收站之間的
無(wú)線接口來(lái)傳送例如具有語(yǔ)音信息、圖像信息、視頻信息、SMS (短消 息服務(wù))、MMS (多媒體收發(fā)服務(wù))或其它數(shù)據(jù)的消息。這些站在此根 據(jù)無(wú)線通信系統(tǒng)的具體實(shí)施方式
可以是不同類(lèi)型的用戶端的無(wú)線站、 轉(zhuǎn)發(fā)器或者網(wǎng)絡(luò)上的無(wú)線設(shè)備如基站或無(wú)線接入點(diǎn)。在移動(dòng)無(wú)線通信 系統(tǒng)中，用戶端無(wú)線站的至少一個(gè)成員是移動(dòng)無(wú)線站。電磁波的輻射 是以處于為相應(yīng)系統(tǒng)而設(shè)置的頻帶中的載波頻率進(jìn)行的。
移動(dòng)無(wú)線通信系統(tǒng)通常是例如按照GSM (全球移動(dòng)通信系統(tǒng))標(biāo)準(zhǔn) 或UMTS (通用移動(dòng)電信系統(tǒng))標(biāo)準(zhǔn)的蜂窩系統(tǒng)，其具有例如由基站、 用于檢查和控制基站的設(shè)備以及其它網(wǎng)絡(luò)方面的設(shè)備組成的網(wǎng)絡(luò)基本 結(jié)構(gòu)。除了這種松散組織的(超局部的)蜂窩狀分層無(wú)線網(wǎng)絡(luò)之外， 還存在無(wú)線的局域網(wǎng)(WLAN)，具有通常在地域上明顯更加有限的無(wú) 線覆蓋區(qū)域。
在傳送可縮放的信息時(shí)要傳送基本信息，另外還要傳送對(duì)該基本 信息加以補(bǔ)充的信息?？煽s放的數(shù)據(jù)由此具有可能在接收器中質(zhì)量降 低的特性，因?yàn)榻邮掌髦粚?duì)基本信息或者基本信息加上一部分補(bǔ)充信 息進(jìn)行解碼，而不是對(duì)基本信息加上全部補(bǔ)充信息解碼。同時(shí)發(fā)送給 多個(gè)用戶的數(shù)據(jù)可以作為可縮放信息而以盡可能最佳的質(zhì)量出現(xiàn)在發(fā) 送器中，也就說(shuō)作為基本信息和補(bǔ)充信息出現(xiàn)。在將網(wǎng)絡(luò)中的數(shù)據(jù)發(fā) 送到不同的接收器之前或者在分布到不同的接收器時(shí)，可以對(duì)該數(shù)據(jù) 進(jìn)行匹配/縮放，使得補(bǔ)充信息的不同部分傳遞給不同的接收器，從而 只傳送各接收器需要的補(bǔ)充信息。由于有限的傳輸資源這尤其是在無(wú)線通信系統(tǒng)中證明是很有利的。

發(fā)明內(nèi)容
本發(fā)明要解決的技術(shù)問(wèn)題是提供一種用于處理可縮放數(shù)據(jù)的方法 和裝置。
該技術(shù)問(wèn)題通過(guò)具有權(quán)利要求1的特征的方法以及通過(guò)具有并列 權(quán)利要求的特征的裝置解決。優(yōu)選結(jié)構(gòu)和擴(kuò)展是從屬權(quán)利要求的內(nèi)容。
按照本發(fā)明，作為第一數(shù)據(jù)組在第一級(jí)(0rdnung)中存儲(chǔ)基本 信息和多個(gè)具有對(duì)基本信息加以補(bǔ)充的信息的元素，該補(bǔ)充信息在解 碼時(shí)提高基本信息的質(zhì)量。作為第二數(shù)據(jù)組存儲(chǔ)關(guān)于該元素在第一 數(shù)據(jù)組內(nèi)的位置的說(shuō)明。所存儲(chǔ)的第二數(shù)據(jù)組或者一個(gè)與第一和笫二 數(shù)據(jù)組都不同的數(shù)據(jù)組包含用于將該元素從第一級(jí)轉(zhuǎn)換為第二級(jí)的信 息。
既存在基本信息又存在提高基本信息的質(zhì)量的補(bǔ)充信息，如果除 了基本信息還要對(duì)該補(bǔ)充信息解碼的話。還可以在沒(méi)有補(bǔ)充信息的情 況下解碼和處理基本信息，為此不需要存在補(bǔ)充信息?；拘畔⒑脱a(bǔ) 充信息是可縮放的信息。在發(fā)送該可縮放信息時(shí)，基本信息的發(fā)送優(yōu) 選在補(bǔ)充信息的發(fā)送之前進(jìn)行。
基本信息和補(bǔ)充信息可以通過(guò)對(duì)數(shù)據(jù)編碼來(lái)產(chǎn)生。這些數(shù)據(jù)例如 可以是圖像信息、音頻信息、例如用MPEG標(biāo)準(zhǔn)編碼的視頻信息、語(yǔ)音 信息或者這些信息類(lèi)型的組合。
存儲(chǔ)了兩個(gè)相互分離的數(shù)據(jù)組。存在兩個(gè)數(shù)據(jù)組意味著在從該數(shù) 據(jù)組中讀取數(shù)據(jù)時(shí)不會(huì)混淆第一數(shù)據(jù)組的數(shù)據(jù)和第二數(shù)據(jù)組的數(shù)據(jù)， 例如第一數(shù)據(jù)組的一定數(shù)量的數(shù)據(jù)之后緊接著是第二數(shù)據(jù)組的一定數(shù) 量的數(shù)據(jù)，然后又是第一數(shù)據(jù)組的數(shù)據(jù)。由此可以讀取兩個(gè)數(shù)據(jù)組而 不必分別讀取另一個(gè)數(shù)據(jù)組的數(shù)據(jù)，這些數(shù)據(jù)是可以分開(kāi)讀取的。這 可以通過(guò)將兩個(gè)數(shù)據(jù)組存儲(chǔ)為不同的文件來(lái)實(shí)現(xiàn)。兩個(gè)數(shù)據(jù)組可以存 儲(chǔ)在相同的或者不同的存儲(chǔ)器中。第一和第二數(shù)據(jù)組除了所述內(nèi)容之 外還可以具有其它內(nèi)容。
第二數(shù)據(jù)組包含關(guān)于第一數(shù)據(jù)組中的元素位置的說(shuō)明。因此這是
元數(shù)據(jù)，因?yàn)榈诙?shù)據(jù)組的數(shù)據(jù)描述了第一數(shù)據(jù)組的數(shù)據(jù)。第一數(shù)據(jù)
組的元素的位置可以是相對(duì)地，也就是參照例如另一個(gè)元素的位置給 出，或者也可以絕對(duì)地給出。關(guān)于位置的說(shuō)明可以通過(guò)指向各元素的 指針來(lái)實(shí)現(xiàn)。關(guān)于某個(gè)元素的位置的說(shuō)明使得可以訪問(wèn)該元素，而不 必讀取或搜索第一數(shù)據(jù)組的其它元素。
存在用于轉(zhuǎn)換元素的級(jí)別的信息。該信息可以存儲(chǔ)在所存儲(chǔ)的第 二數(shù)據(jù)組中，也可以存儲(chǔ)在其它與笫一和第二數(shù)據(jù)組不同的數(shù)據(jù)組 中。與第一和第二數(shù)據(jù)組不同的數(shù)據(jù)組可以是由存儲(chǔ)第一和第二數(shù)據(jù)
組的相同裝置存儲(chǔ)的數(shù)據(jù)組。可替換地，該數(shù)據(jù)組可以通過(guò)存儲(chǔ)第一 和第二數(shù)據(jù)組的裝置由其它裝置調(diào)用。
元素在特定的級(jí)別中具有特定的順序，必要時(shí)還具有特定的分 組。第二級(jí)可以例如包含相對(duì)于第一級(jí)的元素出口或者特定的元素分 組。從第一級(jí)向第二級(jí)的轉(zhuǎn)換可以通過(guò)從一個(gè)特定的元素開(kāi)始刪除后 面的元素來(lái)實(shí)現(xiàn)，或者在元素的順序保持不變或者改變的情況下通過(guò) 元素的換組或者重新分組來(lái)實(shí)現(xiàn)。
本發(fā)明可以在有多個(gè)第二級(jí)的情況下使用。
所描述的方法步驟、優(yōu)選下面描述的實(shí)施方式和擴(kuò)展中的方法步 驟，優(yōu)選由包括一個(gè)合適的存儲(chǔ)器的裝置來(lái)執(zhí)行，如由互聯(lián)網(wǎng)的服務(wù) 器執(zhí)行。
在本發(fā)明的擴(kuò)展中，所存儲(chǔ)的第二數(shù)據(jù)組還包括關(guān)于元素的補(bǔ)充 信息通過(guò)何種方式分別提高基本信息的質(zhì)量的說(shuō)明。從而可以在第二
數(shù)據(jù)組內(nèi)為每個(gè)具有補(bǔ)充信息的元素設(shè)置兩維Tupel的信息位置說(shuō) 明以及質(zhì)量提高方式的說(shuō)明。這種兩維Tupel的存儲(chǔ)優(yōu)選這樣進(jìn)行， 即使得可以直接連續(xù)讀取位置說(shuō)明以及質(zhì)量提高方式的說(shuō)明。
尤其是補(bǔ)充信息可以通過(guò)提高時(shí)間分辨率和/或提高空間分辨率 和/或提高信噪比來(lái)提高基本信息的質(zhì)量。上述說(shuō)明還可以包含涉及所 述提高大小的量化說(shuō)明。
在本發(fā)明的實(shí)施方式中，元素從第一級(jí)轉(zhuǎn)換為第二級(jí)，然后發(fā)送 全部或部分元素。該級(jí)別的轉(zhuǎn)換在此可以用于對(duì)發(fā)送進(jìn)行準(zhǔn)備。級(jí)別 轉(zhuǎn)換和發(fā)送優(yōu)選由負(fù)責(zé)本發(fā)明的存儲(chǔ)的相同裝置來(lái)進(jìn)行，或者由訪問(wèn) 進(jìn)行本發(fā)明存儲(chǔ)的相應(yīng)存儲(chǔ)器的裝置來(lái)進(jìn)行。
優(yōu)選從由基本信息的未來(lái)接收器發(fā)送的信息、和/或從關(guān)于向接收 器發(fā)送消息、尤其是基本信息的信息中獲得用于轉(zhuǎn)換的信息。由未來(lái)
接收器發(fā)送的信息例如是關(guān)于接收器的質(zhì)量要求、接收器的結(jié)構(gòu)或者
接收器處理或應(yīng)用數(shù)據(jù)的可能性或能力的說(shuō)明。關(guān)于向接收器傳送消
息的信息例如可以是負(fù)責(zé)向接收器發(fā)送該消息的通信網(wǎng)絡(luò)的通信量負(fù)
荷，或者是通過(guò)該通信網(wǎng)絡(luò)傳送消息的類(lèi)型。
本發(fā)明用于存儲(chǔ)和處理數(shù)據(jù)的裝置包括用于以第一級(jí)存儲(chǔ)基本信 息和多個(gè)具有對(duì)基本信息加以補(bǔ)充的信息的元素作為第一數(shù)據(jù)組的裝
置，該補(bǔ)充信息在解碼時(shí)提高基本信息的質(zhì)量，以及用于存儲(chǔ)關(guān)于該 元素在第一數(shù)據(jù)組中的位置的說(shuō)明作為第二數(shù)據(jù)組的裝置。此外還包 括用于在所存儲(chǔ)的第二數(shù)據(jù)組內(nèi)或者在不同于第一和第二數(shù)據(jù)組的數(shù) 據(jù)組內(nèi)存儲(chǔ)用于將這些元素從第一級(jí)轉(zhuǎn)換為第二級(jí)的信息，或者用于 調(diào)用將元素從第一級(jí)轉(zhuǎn)換為第二級(jí)的信息的裝置。
本發(fā)明的裝置例如可以是編碼、按照本發(fā)明的方式存儲(chǔ)和發(fā)送數(shù) 據(jù)的裝置，如互聯(lián)網(wǎng)中的服務(wù)器。本發(fā)明的裝置尤其適用于執(zhí)行本發(fā) 明的方法，其中這也適用于實(shí)施方式和擴(kuò)展。為此該裝置可以具有其 它合適的裝置。


下面借助實(shí)施例詳細(xì)解釋本發(fā)明。在此 圖1示意性示出可縮放數(shù)據(jù)的組成部分， 圖2示出可縮放數(shù)據(jù)在多個(gè)數(shù)據(jù)組中的存儲(chǔ)， 圖3示出對(duì)應(yīng)表的結(jié)構(gòu)。
具體實(shí)施例方式
下面解釋由編碼器執(zhí)行的方法步驟，該編碼器可以存儲(chǔ)由其編碼 的數(shù)據(jù)，為了發(fā)送而合適地制備該數(shù)據(jù)并發(fā)送該數(shù)據(jù)。例如考察對(duì)視 頻信息的編碼。所考察的編碼器例如是互聯(lián)網(wǎng)的服務(wù)器。編碼器對(duì)視 頻信息進(jìn)行編碼，從而該視頻信息作為可縮放的數(shù)據(jù)出現(xiàn)?？煽s放數(shù) 據(jù)的各個(gè)組成部分在圖1中示意性示出。圖1左下角上的方塊對(duì)應(yīng)于 基本信息BASE。通過(guò)參數(shù)T、 B和S表示的其它方塊對(duì)應(yīng)于補(bǔ)充信息。 向右延伸的T軸表明每個(gè)時(shí)間單位發(fā)送多少?gòu)垐D像，例如向右的第一 方塊對(duì)應(yīng)于7.5fps (fps:每秒的幀)的數(shù)據(jù)速率，向右的第二方塊 對(duì)應(yīng)于15fps的數(shù)據(jù)速率，向右的第三方塊對(duì)應(yīng)于30fps的數(shù)據(jù)速率。向上延伸的s軸說(shuō)明各圖像的空間分辨率有多好，即一張圖像包含多 少像素，例如向上的笫一方塊對(duì)應(yīng)于QCIF (Quarter Common Intermediate Format,四分之一通用中間格式，其對(duì)應(yīng)于具有176 x144個(gè)圖^(象點(diǎn)的圖《象大小)，向上的第二方塊對(duì)應(yīng)于CIF (Common Intermediate Format,通用中間格式，其對(duì)應(yīng)于352 x 288個(gè)圖像點(diǎn) 的圖4象大小)，以及向上的第三方塊對(duì)應(yīng)于4CIF (4 times Common Intermediate Format, 4倍的通用中間格式，其對(duì)應(yīng)于704 x 576個(gè) 圖像點(diǎn)的圖像大小)。向后延伸的B軸說(shuō)明一張圖像的信噪比(SNR)。 由此視頻信息的時(shí)間分辨率向右逐漸增大，空間分辨率向上逐漸增 大，而信噪比向后逐漸增大。圖1的每個(gè)方塊都包含將可視質(zhì)量在3 個(gè)縮放維度的一個(gè)方向上提高一級(jí)所需要的數(shù)據(jù)。
本發(fā)明還可用于靜止圖像。在這種情況下不是圖1中的3個(gè)縮放 維度，而是只存在兩維，T軸被去掉。對(duì)于音頻信息也適合采用本發(fā)明。 在本發(fā)明的范圍中也可以考慮針對(duì)視頻或其它信息采用不同于圖1的 其它數(shù)量的縮放維度或其它縮放維度。
原則上，接收器接收基本信息BASE并對(duì)其解碼就足以，但是該基 本信息不具備高的質(zhì)量。用戶站為了能顯示該視頻信息必須至少對(duì)基 本信息BASE解碼。除了基本信息BASE之外對(duì)圖1中每個(gè)其它方塊的 解碼提高了視頻信息的質(zhì)量。根據(jù)所采用的編碼方法，具有補(bǔ)充信息 的方塊不能按照非任意的順序與基本信息BASE組合。從而在可縮放地 擴(kuò)展H. 264/MPEG-4 AVC時(shí)例如不能在方塊TO, S1，B0之前對(duì)方塊 TO, S2，B0解碼。
由編碼器根據(jù)如J如在Heiko Schwarz， Detlev Marpe和Thomas Wiegand:MCTF and Scalability Extension of H.264/AVC, Proc.PCS"04， San Fransisco， CA， USA, December 15.-17. 2004 中描述的標(biāo)準(zhǔn)H. 264/MPEG-4 AVC的可縮放擴(kuò)展來(lái)以NALU (Network Abstraction Layer Units,網(wǎng)絡(luò)提取層單元)的形式輸出視頻信息。 NALU與圖1的方塊邏輯地組合，其中每個(gè)方塊可以包含一個(gè)或多個(gè) NALU。圖1的方塊例如可以是經(jīng)過(guò)編碼的數(shù)據(jù)，即圖《象組(GOP)。
為了存儲(chǔ)經(jīng)過(guò)編碼的數(shù)據(jù)定義相應(yīng)的文件格式，如描述在IS0/IEC 14496—15: 2004， Information technology-Coding of audio—visual objects-Part 15: Advanced Video Coding (AVC) file format, 2004中的MPEG-4 Part 15 AVC文件格式。該格式確定圖4象的位沒(méi)有開(kāi)始 碼和終止碼地直接存儲(chǔ)在文件中，該開(kāi)始碼和終止碼作為用于在傳送 視頻信息時(shí)識(shí)別一個(gè)數(shù)據(jù)分組的開(kāi)始和結(jié)束的標(biāo)記。 一個(gè)附加的數(shù)據(jù) 組，即所謂的索引軌道包含關(guān)于為了以RTP分組(RTP:實(shí)時(shí)傳輸協(xié)議) 發(fā)送而如何包裝視頻信息并接著發(fā)送的信息。RTP是為了發(fā)送視頻信息 而采用的協(xié)議。在存儲(chǔ)的視頻信息中包含所謂隨機(jī)存取恢復(fù)點(diǎn)的定 義，該定義使得可以自由選擇地訪問(wèn)該視頻信息。
圖2示出按照本發(fā)明對(duì)視頻信息的存儲(chǔ)。存在包含NALU的第一存 儲(chǔ)數(shù)據(jù)組MEDIA-STREAM, NALU通過(guò)數(shù)據(jù)組MEDIA-STREAM的片段內(nèi)的 豎直線條來(lái)表示。在數(shù)據(jù)組MEDIA-STREAM內(nèi)按照類(lèi)別對(duì)NALU分類(lèi)， 從而邏輯上有關(guān)系的NALU屬于一類(lèi)。因此數(shù)據(jù)組MEDIA-STREAM的第 一段包含圖1的BASE方塊的NALU。該數(shù)據(jù)組的第二段包含圖1的方 塊TO, S0，B1的NALU，第三段包含圖1的方塊Tl， SO, Bl的NALU，第 四段包杏圖1的方塊T0，S1，B0的NALU，第五段包含圖1的方塊 TO, Sl， Bl的NALU，第六段包含圖1的方塊Tl， Sl， BO的NALU。圖1的 每個(gè)方塊或圖2的數(shù)據(jù)組MEDIA-STREAM的每一段都對(duì)應(yīng)于一個(gè)類(lèi)別。 在所述例子中一個(gè)類(lèi)別只包含一個(gè)空間的、 一個(gè)時(shí)間的和一個(gè)SNR縮 放等級(jí)的NALU。從而不會(huì)在一個(gè)類(lèi)別中找到不同空間分辯率等級(jí)的視 頻信息。還可以用類(lèi)別來(lái)進(jìn)行NALU的其它分布，以及在數(shù)據(jù)組 MEDIA-STREAM中可以存在類(lèi)別的其它順序。
一個(gè)類(lèi)別的NALU相繼存儲(chǔ)在數(shù)據(jù)組MEDIA-STREAM中，從而在通 過(guò)RTP發(fā)送視頻信息時(shí)訪問(wèn)數(shù)據(jù)組MED I A-STREAM的次數(shù)保持為盡可能 的少。在通過(guò)RTP發(fā)送NALU時(shí)優(yōu)選將一個(gè)類(lèi)別的NALU組合在一個(gè)RTP 分組中，只要該RTP分組的長(zhǎng)度允許。
除了數(shù)據(jù)組MEDIA-STREAM之外還存在另一個(gè)數(shù)據(jù)組META-STREAM。兩個(gè)數(shù)據(jù)組MEDIA-STREAM和META-STREAM優(yōu)選作為兩個(gè)分 開(kāi)的文件存儲(chǔ)。數(shù)據(jù)組META-STREAM包含對(duì)應(yīng)于數(shù)據(jù)組MEDIA-STREAM 的元數(shù)據(jù)，并由此用于描述數(shù)據(jù)組MEDIA-STREAM。數(shù)據(jù)組META-STREAM 包含指向數(shù)據(jù)組MEDIA-STREAM的內(nèi)容的指針，從而可以從數(shù)據(jù)組 韭TA-STREAM推導(dǎo)出在數(shù)據(jù)組MEDIA-STREAM內(nèi)的哪些位置上存儲(chǔ)著 可通過(guò)給出參數(shù)T、 S和B來(lái)識(shí)別的、不同類(lèi)別的NALU。如圖2所示， 參照每個(gè)類(lèi)別。在各個(gè)類(lèi)別內(nèi)(圖2未示出)可以參照該類(lèi)別的各個(gè)
NALU。從而可以例如在給出類(lèi)別T0，S0，B1在數(shù)據(jù)組META-STREAM內(nèi) 的位置的情況下說(shuō)明，該類(lèi)別的3個(gè)NALU分別位于數(shù)據(jù)組MEDIA-STREAM內(nèi)的哪個(gè)位置上。通過(guò)這種方式可以采用數(shù)據(jù)組META-STREAM 分級(jí)式地訪問(wèn)數(shù)據(jù)組MEDIA-STREAM的元素或NALU。
尤其是為了找到一個(gè)特定類(lèi)別的多個(gè)NALU或者一個(gè)NALU，不需 要搜遍整個(gè)數(shù)據(jù)組MEDIA-STREAM或者讀取其內(nèi)容。而是可以由所描述 的數(shù)據(jù)組META-STREAM實(shí)現(xiàn)對(duì)各個(gè)類(lèi)別的訪問(wèn)。
除了數(shù)據(jù)組META-STREAM之外還可以采用其它附加的、簡(jiǎn)化與數(shù) 據(jù)組MEDIA-STREAM的聯(lián)系的數(shù)據(jù)組，在圖2中表示為其它數(shù)據(jù)組 FURTHER META-STREAM,可替換地，下面描述的附加數(shù)據(jù)組FURTHER META-STREAM的信息也可以存放在數(shù)據(jù)組META-STREAM中。
優(yōu)選所述類(lèi)別與更大組之間的對(duì)應(yīng)規(guī)則MAPPING-TABLE (映射 表)的存儲(chǔ)在下面稱為層。第一層可以例如由方塊TO，Sl，BO、 T1，S1，B0、 T1，S0，B0、 T0，S0，B1、 T1,S0，B1、 TO, SI, Bl和Tl， Sl， Bl 組成，第二層由方塊T2，S0，B0、 T2，S0，B1、 T2， SI, BO和T2， Sl， Bl組 成，第三層由方塊T0，S2，B0、 T0，S2，B1、 T1，S2，B0、 T1，S2,B1、 T2，S2，B0和T2，S2，B1組成。這些層應(yīng)當(dāng)這樣構(gòu)成，使得每一層在至 少一個(gè)縮放方向上、即相對(duì)于至少一個(gè)軸T、 S或B必須包含比下個(gè)較 低層更高的分辨級(jí)別。 一個(gè)層的NALU只能在前面層的NALU解碼之后 才能被解碼。如果映射規(guī)則MAPPING-TABLE (映射表)存儲(chǔ)在類(lèi)別或 NALU和層之間，則可以在發(fā)送視頻信息時(shí)進(jìn)行逐層的發(fā)送來(lái)取代逐個(gè) 類(lèi)別的發(fā)送。在逐層的RTP發(fā)送時(shí)， 一個(gè)層的所有NALU優(yōu)選包含在一 個(gè)RTP分組中，只要該RTP分組的大小允許，而在逐個(gè)類(lèi)別的發(fā)送中 一個(gè)類(lèi)別的所有NALU包含在一個(gè)RTP分組中，只要該RTP分組的大小 允許。如果由于RTP分組的大小有限而不能這樣做，則一個(gè)層或一個(gè) 類(lèi)別的NALU可以分布在相連續(xù)的多個(gè)RTP分組中。
經(jīng)過(guò)縮放的視頻信息的逐層傳送具有這樣的優(yōu)點(diǎn)縮放操作在執(zhí) 行向終端設(shè)備的傳遞的網(wǎng)絡(luò)中或者在終端設(shè)備中沒(méi)那么復(fù)雜。從而可 以在分配裝置中用是/否的判定來(lái)決定是否應(yīng)當(dāng)向特定的終端設(shè)備傳 遞下個(gè)更高層的NALU，或者終端設(shè)備可以通過(guò)是/否的判定來(lái)決定是否 應(yīng)當(dāng)對(duì)下個(gè)更高層的MLU解碼。相反在逐個(gè)類(lèi)別的發(fā)送中，就將要傳 遞或解碼的類(lèi)別而言存在多個(gè)自由度，從而例如可以在類(lèi)別T1,S0，B0 之后傳遞或解碼類(lèi)別T1，S1,B0或類(lèi)別T2，S0，B0。這具有更大靈活性 的優(yōu)點(diǎn)。
視頻信息的類(lèi)別和層之間的轉(zhuǎn)換規(guī)則MAPPING-TABLE (映射表) 優(yōu)選由視頻信息的接收器所發(fā)送的信息來(lái)形成。從而接收器可以向外 告知它期待或需要或可以處理什么樣質(zhì)量等級(jí)的視頻信息。編碼器在 采用該說(shuō)明的條件下形成類(lèi)別與層之間的對(duì)應(yīng)，其中只存儲(chǔ)針對(duì)那些 對(duì)接收器來(lái)說(shuō)有意義的層的對(duì)應(yīng)。然后在發(fā)送之前將來(lái)自數(shù)據(jù)組 MEDIA-STREAM的NALU按照數(shù)據(jù)組META-STREAM的信息以及轉(zhuǎn)換規(guī)則 MAPPING-TABLE (映射表)封裝為RTP分組，并按照接收器的需要發(fā)送 給接收器。
下面考察具體的例子。接收器向外告知其無(wú)法顯示分辨率4CIF。 如果4CIF對(duì)應(yīng)于圖l的第三行方塊，則最多向該接收器發(fā)送前面兩行 的方塊。圖3示意性示出存儲(chǔ)在數(shù)據(jù)流FURTHER META-STREAM中的、 針對(duì)以下接收器要求的對(duì)應(yīng)表MAPPING-TABLE (映射表)的結(jié)構(gòu)基 本信息只包含方塊BASE，其組成自己的層，該層是最底層。第一層"層 1"由基本信息BASE (B=l)的SNR更新和更新到下個(gè)時(shí)間分辨率(T =1)的更新組成。第二層"層2"包含第一層"層1"到下個(gè)空間分 辨率(S = l)的所有更新。第三層"層3"包含第二層"層2"到完全 時(shí)間分辨率(T = l)的全部更新。
此外，在數(shù)據(jù)組FURTHER META-STREAM中存儲(chǔ)了關(guān)于有意義的縮 放可能性的信息STRATEGY (策略)。在該信息中包含關(guān)于應(yīng)當(dāng)向何種 類(lèi)型的接收器發(fā)送什么類(lèi)別，應(yīng)當(dāng)在特定通信量條件下發(fā)送什么類(lèi) 別，應(yīng)當(dāng)在特定傳輸模式如低延遲模式下發(fā)送什么類(lèi)別的說(shuō)明。通過(guò) 這種方式例如可以存儲(chǔ)應(yīng)當(dāng)向移動(dòng)計(jì)算機(jī)發(fā)送具有高空間分辨率的類(lèi) 別，而對(duì)于移動(dòng)電話則由于較小的顯示器只需較低的空間分辨率就足 夠了。信息MAPPING-TABLE (映射表)和STRATEGY (策略)還可以組 合使用。
數(shù)據(jù)組FURTHER META-STREAM的信息可以由編碼器發(fā)送到通信網(wǎng) 絡(luò)中，以便在該網(wǎng)絡(luò)中在向終端設(shè)備分發(fā)視頻信息時(shí)使用。從而例如 可以由編碼器發(fā)送所有類(lèi)別的NALU，此外還發(fā)送轉(zhuǎn)換規(guī)則MAPPING-TABLE (映射表)。根據(jù)該信息的接收，分配裝置將逐個(gè)類(lèi)別的傳送轉(zhuǎn) 換為逐層的傳送，并向特定的終端設(shè)備傳遞這些層。通過(guò)這種方式可
以在服務(wù)器和終端設(shè)備之間的不同傳輸?shù)攸c(diǎn)進(jìn)行縮放可能性的轉(zhuǎn)換。
根據(jù)本發(fā)明，將按照特定的第一級(jí)、在該具體例子中是按照類(lèi)別 排列的可縮放數(shù)據(jù)存儲(chǔ)在第 一數(shù)據(jù)組中。由于為了傳送該可縮放數(shù)據(jù) 優(yōu)選還可能參照笫二級(jí)、在該具體例子中稱為層，因此在另一個(gè)數(shù)據(jù) 組中存儲(chǔ)實(shí)現(xiàn)了第一級(jí)轉(zhuǎn)換為第二級(jí)的信息。這在發(fā)送可縮放數(shù)據(jù)方 面實(shí)現(xiàn)了很大的靈活性，還可以實(shí)現(xiàn)與網(wǎng)絡(luò)中要求或者終端設(shè)備的可 能性的靈活匹配。匹配路徑不是通過(guò)存儲(chǔ)數(shù)據(jù)來(lái)確定，數(shù)據(jù)也不僅可 以按照通過(guò)第一級(jí)預(yù)先給定的方式來(lái)縮放/匹配。這種靈活性可以一直 保持到為了發(fā)送而將數(shù)據(jù)封裝為分組的時(shí)刻，或者通過(guò)轉(zhuǎn)換規(guī)則的發(fā) 送甚至傳遞至分配站。
權(quán)利要求
1.一種用于處理數(shù)據(jù)的方法，其中作為第一數(shù)據(jù)組(MEDIA-STREAM)在第一級(jí)中存儲(chǔ)基本信息(BASE)和多個(gè)具有對(duì)基本信息(BASE)加以補(bǔ)充的信息的元素(T0，S0，B1，T1，S0，B1，T0，S1，B0，T0，S1，B1，T1，S1，B0)，該補(bǔ)充信息在解碼時(shí)提高基本信息(BASE)的質(zhì)量，作為第二數(shù)據(jù)組(META-STREAM)存儲(chǔ)關(guān)于該元素(T0，S0，B1，T1，S0，B1，T0，S1，B0，T0，S1，B1，T1，S1，B0)在第一數(shù)據(jù)組(MEDIA-STREAM)內(nèi)的位置的說(shuō)明，所存儲(chǔ)的第二數(shù)據(jù)組(META-STREAM)或者一個(gè)與第一(MEDIA-STREAM)和第二數(shù)據(jù)組(META-STREAM)都不同的數(shù)據(jù)組(FURTHERMETA-STREAM)包含用于將該元素(T0，S0，B1，T1，S0，B1，T0，S1，B0，T0，S1，B1，T1，S1，B0)從第一級(jí)轉(zhuǎn)換為第二級(jí)的信息(MAPPING-TABLE，STRATEGY)。
2. 根據(jù)權(quán)利要求1所述的方法，其中所存儲(chǔ)的第二數(shù)據(jù)組 (META-STREAM ) 還包含關(guān)于所述元素 (TO, SO, Bl， Tl， SO, Bl， TO, Sl， BO， TO, Sl， Bl， Tl， Sl, BO )的補(bǔ)充信息通過(guò)何種方式分別提高基本信息(BASE)的質(zhì)量的說(shuō)明。
3. 根據(jù)權(quán)利要求1或2所述的方法，其中所述補(bǔ)充信息通過(guò)提高 時(shí)間分辨率(T)和/或提高空間分辨率(S )和/或提高信噪比(SNR) 來(lái)提高基本信息(BASE)的質(zhì)量。
4. 根據(jù)權(quán)利要求1至3中任一項(xiàng)所述的方法，其中所述第二級(jí)包 含元素(T0，S0，B1,T1，S0，B1，T0，S1，B0，T0，S1，B1,T1，S1,B0)相對(duì) 于第一級(jí)的出口。
5. 根據(jù)權(quán)利要求1至4中任一項(xiàng)所述的方法，其中所述第二級(jí)包 含元素(T0，S0，B1，T1，S0，B1，T0，S1，B0，T0，S1，B1，T1，S1，B0)的特 定分組。
6. 根據(jù)權(quán)利要求1至5中任一項(xiàng)所述的方法，其中將元素 (TO, SO, Bl， Tl， SO, Bl， TO, Sl， BO， TO, Sl， Bl， Tl， Sl， BO )從第 一級(jí)轉(zhuǎn)換為第二級(jí)， 然后發(fā)送該元素 (TO， SO, Bl， Tl, SO, Bl， TO, Sl， BO， TO, Sl， Bl， Tl， Sl， BO)。
7. 根據(jù)權(quán)利要求1至6中任一項(xiàng)所述的方法，其中用于轉(zhuǎn)換的信 息(MAPPING-TABLE, STRATEGY)是從以下信息中獲得的由基本信息(BASE)的未來(lái)接收器發(fā)送的信息，和/或 關(guān)于向接收器發(fā)送消息的信息。
8. —種用于存儲(chǔ)和處理數(shù)據(jù)的裝置，包括用于在第一級(jí)存儲(chǔ)基本信息(BASE)和多個(gè)具有對(duì)基本信息 ( BASE ) 加 以 補(bǔ)充的信息 的元 素 (TO, SO, Bl， Tl， SO, Bl， TO, Sl， BO， TO, Sl， Bl， Tl， Sl， BO )作為第 一數(shù) 據(jù)組(MEDIA-STREAM)的裝置，該補(bǔ)充信息在解碼時(shí)提高基本信息 (BASE)的質(zhì)量，用于存儲(chǔ)關(guān)于該元素 (TO, SO, Bl, Tl, SO, Bl， TO, Sl， BO， TO, Sl， Bl， Tl， Sl， BO )在第 一數(shù)據(jù) 組(MEDIA-STREAM)中的位置的說(shuō)明作為第二數(shù)據(jù)組(META-STREAM) 的裝置，以及用于在所存儲(chǔ)的第二數(shù)據(jù)組(META-STREAM )內(nèi)或者在一個(gè)不同于 第一(MEDIA-STREAM )和第二數(shù)據(jù)組(META-STREAM )的數(shù)據(jù)組(FURTHER META-STREAM ) 內(nèi)存儲(chǔ)用于將這些元素 (TO, SO, Bl， Tl， SO, Bl， TO, Sl， BO, TO, Sl， Bl， Tl, Sl， BO )從第 一級(jí)轉(zhuǎn) 換為第二級(jí)的信息(MAPPING-TABLE, STRATEGY)，或者用于調(diào)用將元 素(TO，SO，Bl，Tl，SO，Bl，TO，Sl，BO,TO，Sl，Bl，Tl，Sl，BO)從第一級(jí) 轉(zhuǎn)換為第二級(jí)的信息(MAPPING-TABLE, STRATEGY)的裝置。
全文摘要
本發(fā)明涉及一種用于處理數(shù)據(jù)的方法，其中作為第一數(shù)據(jù)組(MEDIA-STREAM)在第一級(jí)中存儲(chǔ)基本信息(BASE)和多個(gè)具有對(duì)基本信息(BASE)加以補(bǔ)充的信息的元素(T0，S0，B1，T1，S0，B1，T0，S1，B0，T0，S1，B1，T1，S1，B0)，該補(bǔ)充信息在解碼時(shí)提高基本信息(BASE)的質(zhì)量。作為第二數(shù)據(jù)組(META-STREAM)存儲(chǔ)關(guān)于該元素(T0，S0，B1，T1，S0，B1，T0，S1，B0，T0，S1，B1，T1，S1，B0)在第一數(shù)據(jù)組(MEDIA-STREAM)內(nèi)的位置的說(shuō)明。此外還存在用于將該元素(T0，S0，B1，T1，S0，B1，T0，S1，B0，T0，S1，B1，T1，S1，B0)從第一級(jí)轉(zhuǎn)換為第二級(jí)的信息。本發(fā)明還涉及一種用于執(zhí)行該方法的裝置。
文檔編號(hào)H04N7/24GK101099389SQ200580046390
公開(kāi)日2008年1月2日 申請(qǐng)日期2005年12月16日 優(yōu)先權(quán)日2005年1月11日
發(fā)明者A·胡特, P·阿蒙, T·拉思根 申請(qǐng)人:西門(mén)子公司