專利名稱：用于使用模式而在句法上分析位流的方法以及根據(jù)其來生成位流的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及多媒體方法、設(shè)備和位流，尤其涉及應(yīng)用高級(jí)內(nèi)容描述(例如通過使用這些所謂的位流句法描述語言，比如BSDL或其變體或派生物，的像XML一類的文檔)的多媒體方法、設(shè)備和位流。本發(fā)明特別涉及圖像編碼技術(shù)——其中，考慮該圖像的基于塊的布置。該圖像編碼技術(shù)生成分組位流。本發(fā)明也涉及編碼位流的描述、用于轉(zhuǎn)換這種描述以便生成改編的描述的方法，以及用于從原始編碼位流中生成改編的編碼位流的方法。本發(fā)明也涉及被設(shè)計(jì)成用于執(zhí)行轉(zhuǎn)換描述的這種方法的電子設(shè)備。本發(fā)明還涉及包括發(fā)送器和接收器的傳輸系統(tǒng)，所述發(fā)送器具有用于執(zhí)行從原始編碼位流中生成改編的編碼位流的這種方法的工具，以及用于將所述改編的編碼位流傳送到所述接收器的工具。
本發(fā)明特別在圖像/視頻傳輸領(lǐng)域中具有有趣的應(yīng)用。
背景技術(shù)：
已經(jīng)在以下內(nèi)容中引入“位流句法描述語言”(BSDL或類似的語言)[“位流句法定義語言到MPEG-21內(nèi)容表示的輸入”，ISO/IEC JTC1/SC29/WG11MPEG01/M7053，新加坡，2001年3月]和[Sylvain Devillers，MyriamCaprioglio，“位流句法定義語言(BSDL)”，ISO/IEC JTC1/SC29/WG11MPEG01/M7433，悉尼，2001年7月]，作為描述并改編多媒體內(nèi)容的一種有效率的、平臺(tái)獨(dú)立的方法?；谶@個(gè)XML模式的語言允許使用可以用XSLT來加以修改的并可以恢復(fù)到二進(jìn)制形式的可理解的結(jié)構(gòu)化方法來描述多媒體文件的該內(nèi)容。從內(nèi)容可量測性的觀點(diǎn)來看，轉(zhuǎn)換多媒體文件的這種可能性非常具有吸引力。
如今，流動(dòng)視頻很普通，而3D內(nèi)容的這種流動(dòng)則仍然很罕見，或者甚至不存在。當(dāng)為3D內(nèi)容解碼并呈現(xiàn)它時(shí)，該消費(fèi)者的平臺(tái)上的工作負(fù)荷根據(jù)這些觀察條件，會(huì)有幾個(gè)數(shù)量級(jí)之多的變化。由于通常只有這些構(gòu)造成的3D對象的一部分在任何給定的時(shí)間是可見的，因此，只流出該結(jié)構(gòu)的這些可見區(qū)域并且/或者為它們解碼將會(huì)減小瞬間的帶寬和/或平臺(tái)工作負(fù)荷。當(dāng)這些觀察條件發(fā)生變化時(shí)，隨著這些新近可見的部分逐漸變得看得見，可以使它們流出并且/或者為它們解碼。所以，用于對構(gòu)造成的3D內(nèi)容進(jìn)行解碼和呈現(xiàn)的該所需網(wǎng)絡(luò)帶寬以及該所需工作負(fù)荷隨著時(shí)間的推移而得到擴(kuò)大，同時(shí)將該察覺到的質(zhì)量損失減到最小。這個(gè)過程被稱作“依靠觀察的結(jié)構(gòu)解碼”[D.Cohen-Or，Y.Mann，S.Fleishman，“用于流出結(jié)構(gòu)密集動(dòng)畫的深度壓縮”，關(guān)于計(jì)算機(jī)制圖的計(jì)算機(jī)繪圖專業(yè)組1999年年會(huì)會(huì)議錄，第261-267頁，1999年]。
在該MPEG-4多媒體壓縮標(biāo)準(zhǔn)[“該MPEG-4音頻-視頻壓縮標(biāo)準(zhǔn)，ISO/IEC14496-5/FPDAM1的文本”，ISO/IEC JTC1/SC29/WG11/MPEG99/N3309，Noordwijkerhout，2000年3月]以內(nèi)]，存在用于為3D內(nèi)容編碼的工具。特別是，MPEG-4提供了關(guān)于結(jié)構(gòu)的可升級(jí)的、基于小波的壓縮工具——被稱作“視覺結(jié)構(gòu)編碼(VTC))”[I.Sodagar，H.J.Lee，P.Hatrack，Y.Q.Zhang，“關(guān)于合成/自然混合圖像的可升級(jí)的小波編碼”，關(guān)于視頻技術(shù)的電路和系統(tǒng)的IEEE會(huì)報(bào)，第9卷，編號(hào)2，第244-254頁，1999年3月]。
VTC允許生成用于定義這些數(shù)據(jù)包邊界的、具有高度靈活性的分組位流。每個(gè)數(shù)據(jù)包包括被稱作“結(jié)構(gòu)單元(TU)”的許多基本單元。VTC中的特定情況是該多分層-樹深度方式(MQ-TD)。
該MQ-TD方式中所提供的該最大粒度由小波變換層次的數(shù)目來給出。該變換中所涉及的該像素?cái)?shù)目增加了，因?yàn)樵搲K的尺寸是2n_levels×2n_levels。由于錯(cuò)誤回彈引入某項(xiàng)內(nèi)務(wù)操作，因此，限制該粒度可以減小該壓縮圖像的尺寸。幾個(gè)轉(zhuǎn)換空間塊可以被分組在單一數(shù)據(jù)包中，而不是在每個(gè)塊后面引入錯(cuò)誤回彈記號(hào)。當(dāng)只要求粗糙粒度時(shí)，這會(huì)有用。
已知的多媒體格式趨向于隱藏信息，該信息對于該多媒體內(nèi)容改編過程而言會(huì)至關(guān)重要，但被嵌入該位流。
由Koninklijke Philips Electronics N.V.提交的該國際專利申請WO 02/063494中描述了一種用于轉(zhuǎn)換位流的描述的方法。這個(gè)文檔中所描述的該方法包括-使用用標(biāo)記語言書寫的位流的原始描述，以及一套預(yù)定義的變換，-將所述預(yù)定義的變換之一應(yīng)用于所述原始描述，以生成改編的描述，-從所述改編的描述中生成改編的位流。
在這個(gè)文檔中所描述的該方法中，必須對該原始描述進(jìn)行足夠詳細(xì)的說明，以允許恢復(fù)執(zhí)行這些變換而需要的該編碼信息。這種詳細(xì)的描述會(huì)相當(dāng)冗長，需要更容易改編的描述。具有更加簡單、簡短的描述也將會(huì)有用。
發(fā)明概述本發(fā)明的目的之一是提議一種用于轉(zhuǎn)換允許進(jìn)行容易的改編的描述的方法。利用如本專利申請的權(quán)利要求1～3中所述的該方法來實(shí)現(xiàn)這一點(diǎn)。根據(jù)本發(fā)明，描寫該描述中的一組數(shù)據(jù)包的該元素具有包含變換標(biāo)簽的屬性。當(dāng)轉(zhuǎn)換該原始描述時(shí)，依照預(yù)定的條件來檢驗(yàn)這些變換標(biāo)簽。通過除去其變換標(biāo)簽不滿足該預(yù)定條件的這些元素，來生成該改編的描述。本發(fā)明包括(例如)被嵌入位流以便跨越信道來加以傳送的描述，該描述用標(biāo)記語言來書寫并包含一個(gè)元素，該元素至少具有一個(gè)包含標(biāo)簽的屬性。該描述可能是被存儲(chǔ)在存儲(chǔ)設(shè)備(例如，CD-ROM、DVD光盤、磁盤、磁帶、計(jì)算機(jī)系統(tǒng)的存儲(chǔ)器)上或被存儲(chǔ)在電信系統(tǒng)的網(wǎng)絡(luò)元件的存儲(chǔ)器中的數(shù)據(jù)結(jié)構(gòu)。該標(biāo)簽可能表示描述將要在信道上被加以傳送的位流的層次結(jié)構(gòu)的至少一部分或描述這個(gè)位流中的數(shù)據(jù)包的標(biāo)識(shí)的信息。經(jīng)由該變換標(biāo)簽，可獲得變換所需要的該信息。與上述原先的技術(shù)比較，使用這類變換標(biāo)簽的另一個(gè)優(yōu)點(diǎn)是它允許提高該變換處理速度。
在本發(fā)明的第一個(gè)實(shí)施例中，該編碼位流具有可升級(jí)的格式，可根據(jù)該格式來定義幾個(gè)數(shù)據(jù)層，并且，所述變換標(biāo)簽是這組數(shù)據(jù)包所屬的該數(shù)據(jù)層的指示。這些數(shù)據(jù)層可以屬于層次結(jié)構(gòu)(例如，不同的數(shù)據(jù)層包含涉及圖像的不同的分辨率或質(zhì)量的數(shù)據(jù))。這第一個(gè)實(shí)施例允許獲得內(nèi)容的不同質(zhì)量，(例如)以適合不同的終端(例如，不同的分辨率或帶寬)。可以除去屬于較高數(shù)據(jù)層的元素，以生成打算送到具有較低性能的終端(例如，移動(dòng)電話的低分辨率顯示器)的低質(zhì)量的位流的描述。
在本發(fā)明的第二個(gè)實(shí)施例中，該變換標(biāo)簽是數(shù)據(jù)包標(biāo)識(shí)符，并且，所述預(yù)定條件是與將要實(shí)現(xiàn)的特殊變換有關(guān)聯(lián)的一套數(shù)據(jù)包標(biāo)識(shí)符的從屬關(guān)系條件。當(dāng)定義幾個(gè)不同的變換時(shí)，可有利地使用這第二個(gè)實(shí)施例。每個(gè)變換包括作為參數(shù)的一套數(shù)據(jù)包標(biāo)識(shí)符，這些數(shù)據(jù)包標(biāo)識(shí)符涉及在該變換之后將要避開位流(或?qū)⒁獜奈涣髦斜怀?的那些數(shù)據(jù)包。
例如，有利的是，通過使用如從BSDL中已知的風(fēng)格紙樣(stylesheets)，來執(zhí)行變換。
本發(fā)明的另外的優(yōu)點(diǎn)是提供了一種更加適合用于改編多媒體內(nèi)容的模式，尤其在該位流或其有關(guān)的模式實(shí)例的連續(xù)改編的情況下。模式實(shí)例是已從該模式中被生成的編碼位流的描述。為了獲得該位流的改編/變換，可生成改編的描述。通過使用如由Koninklijke Philips Electronics N.V.提交的該國際專利申請WO 02/069187中所描述的模式的一些方面，來有利地從該改編的描述中生成改編的位流。所以，本發(fā)明涉及一種模式、一種用于使用該模式來對位流進(jìn)行句法分析的方法、以及一種用于根據(jù)所述模式來生成位流的方法，所述模式具有WO 02/069187 A1中給出的各種特點(diǎn)(除本發(fā)明的這些新穎的發(fā)明特點(diǎn)以外)。該模式描述關(guān)于位流表示中的該數(shù)據(jù)結(jié)構(gòu)的格式。該模式途徑被用于一種改編多媒體內(nèi)容的有效率的、平臺(tái)獨(dú)立的方法。
以上所描述的該模式途徑定義一種構(gòu)架，該構(gòu)架用于使用標(biāo)記語言(例如，象XML一類的(例如，基于XML的或服從XML的)語言)來描述位流的該結(jié)構(gòu)，并且，該模式途徑提供一種關(guān)于資源改編的類屬途徑。在執(zhí)行該改編的過程中，可以考慮用戶參數(shù)選擇。由于多媒體位流包括一個(gè)結(jié)構(gòu)化序列的二進(jìn)制符號(hào)——其結(jié)構(gòu)針對該編碼格式，因此，該模式途徑允許描述位流的該高級(jí)結(jié)構(gòu)。
為了避免隱藏對于該多媒體改編過程而言會(huì)至關(guān)重要的信息，根據(jù)本發(fā)明的另一個(gè)方面，該描述包括包含有用信息的特殊元素。要么在該內(nèi)容編碼過程期間生成這些元素，要么以后從該編碼位流中生成這些元素。
有利的是，提供了一種模式，可以從該模式中導(dǎo)出這種描述。這種模式具有元素，它為這些元素描述信息的名稱、類型，所述信息被嵌入該位流。因此，信息變得很明確，這要求進(jìn)行用于從該位流中導(dǎo)出它們的復(fù)雜的計(jì)算，更具體地說，只有當(dāng)為所述位流的一部分解碼時(shí)，才可以獲得該信息。
為圖像編碼技術(shù)(其中，該圖像首先被分成各個(gè)塊)展示了這一點(diǎn)。該圖像編碼技術(shù)生成分組位流，因此，可以在該位流內(nèi)區(qū)別多個(gè)數(shù)據(jù)包?？梢赃x擇“該圖像的多少個(gè)塊(一個(gè)或多個(gè))將要在一個(gè)數(shù)據(jù)包中一起被加以編碼”。這暗示數(shù)據(jù)包是獨(dú)立的，從而意味著數(shù)據(jù)包之間不存在數(shù)據(jù)相關(guān)性。注意，如果在該圖像上應(yīng)用轉(zhuǎn)換，則(例如)在比如小波變換的次能帶編碼技術(shù)的情況中，重疊會(huì)是必要的，從而導(dǎo)致一些數(shù)據(jù)相關(guān)性。
根據(jù)以上所描述的該圖像編碼技術(shù)，用于描述圖像的該結(jié)構(gòu)的該模式具有作為關(guān)于每幅圖像的元素的主要頭部和各個(gè)部分，每個(gè)部分與數(shù)據(jù)包有關(guān)。這些部分包含對該位流的這個(gè)有關(guān)的部分的參考，這項(xiàng)參考也被表示為該有效負(fù)載，并且(例如)可以用URL的形式來加以規(guī)定。
除從WO 02/069187中已知的這些元素以外，本發(fā)明還提供了一個(gè)元素，所述元素被用于描述所謂的擴(kuò)展信息。
作為進(jìn)一步的舉例說明，為圖像編碼技術(shù)(其中，這些圖像在差異質(zhì)量層中被加以編碼)提供這個(gè)擴(kuò)展信息概念的運(yùn)用。在這種圖像編碼技術(shù)中，層的質(zhì)量取決于該圖像的這些像素上所使用的分層以及變換層次。關(guān)于所使用的該分層的以及當(dāng)使用這項(xiàng)圖像編碼技術(shù)時(shí)的該變換層次的該信息也在該位流中(例如，在與該質(zhì)量層有關(guān)的第一個(gè)數(shù)據(jù)包中)被加以編碼。這種信息可以是層的數(shù)目、每一層的數(shù)據(jù)包的數(shù)目和該變換層次。因此，它被隱藏在這些數(shù)據(jù)包內(nèi)。雖然該信息可用，但是，它被嵌入該位流。注意，該質(zhì)量層途徑基于將要被包括在與那個(gè)特定層有關(guān)的該位流的那一部分中的分組信息。
該額外的元素(可以補(bǔ)充該主要頭部)可以被用于描述關(guān)于該分層的所謂的擴(kuò)展信息(比如層的數(shù)目、每一層的數(shù)據(jù)包的數(shù)目和該變換層次)。其他可能性是該位流的那個(gè)部分對某個(gè)級(jí)別的質(zhì)量、分辨率級(jí)別和該各自的顏色成分或類似物的作用的標(biāo)記。
以上所描述的該模式可以被用于改編多媒體內(nèi)容。如果想要規(guī)定內(nèi)容可量測性，則需要轉(zhuǎn)換多媒體文件的這種可能性。該模式改編途徑運(yùn)作如下通過使用所謂的風(fēng)格紙樣，來修改該位流的象該模式一類的描述，而不是直接改編該位流。所以，從該修改過的象模式一類的描述中，可生成該二進(jìn)制形式(該改編的二進(jìn)制結(jié)構(gòu))文件。
如果考慮基于塊的圖像編碼技術(shù)，生成分組位流，因此可以在該位流內(nèi)區(qū)別多個(gè)數(shù)據(jù)包，則會(huì)面臨這個(gè)問題在連續(xù)變換之后，該位流中的數(shù)據(jù)包的該位置不再與該圖像和該質(zhì)量層空間中的其有關(guān)的位置一致。通過為該位流(其中，可以發(fā)現(xiàn)這個(gè)位置)的各個(gè)部分解碼，可以再次解決這個(gè)問題，但這要求進(jìn)行復(fù)雜的計(jì)算。
根據(jù)另一個(gè)方面，按照以上所描述的該圖像編碼技術(shù)，用于描述圖像的該結(jié)構(gòu)的該模式具有作為關(guān)于每幅圖像的元素的主要頭部和各個(gè)部分，每個(gè)部分與數(shù)據(jù)包有關(guān)，并且，在該模式中，加入關(guān)于這些數(shù)據(jù)包的額外的屬性或標(biāo)簽。這個(gè)額外的屬性是如此，以便可以容易地導(dǎo)出該圖像中的、這些數(shù)據(jù)包的位置。通過要么將所述位置存儲(chǔ)在這個(gè)額外的屬性中，要么使用關(guān)于該數(shù)據(jù)包的標(biāo)識(shí)號(hào)，來實(shí)現(xiàn)這一點(diǎn)。這個(gè)額外的屬性導(dǎo)致這些數(shù)據(jù)包的一種標(biāo)記。
例如，本發(fā)明提供了多媒體方法和設(shè)備，從而通過使用采用這些所謂的位流句法描述語言(比如BSDL或其變體或派生物)的象XML一類的文檔，來利用位流的高級(jí)內(nèi)容描述，這些發(fā)明的方法和設(shè)備的特征是為這些所使用的描述提供允許進(jìn)行有效率的位流改編的格外特殊的元素和屬性，例如，在可見結(jié)構(gòu)編碼的情況中會(huì)需要它們，尤其當(dāng)考慮3-D對象和依靠觀察的編碼時(shí)，更是如此。
附圖簡述

圖1是一種圖像編碼技術(shù)的例子的框圖。
圖2是一種方法的例子的框圖，該方法包括生成編碼位流，生成是該編碼位流的樹形表示的實(shí)例，改編所述實(shí)例，生成改編的位流，以及為該改編的位流解碼。
圖3是另一種方法的例子的框圖，該方法包括生成編碼位流，生成是該編碼位流的樹形表示的實(shí)例，改編所述實(shí)例，生成改編的位流，以及對包括有關(guān)區(qū)域選擇的該改編的位流進(jìn)行解碼。
圖4表現(xiàn)了塊和數(shù)據(jù)包的圖像粒度和變換。
圖5表現(xiàn)了關(guān)于VTC MQ-TD圖像的“BSDL描述”的片段。
圖6表現(xiàn)了關(guān)于VTC MQ-TD方式的該“模式”的片段。
圖7表現(xiàn)了這些數(shù)據(jù)包的簡化描述。
圖8表現(xiàn)了關(guān)于VTC的擴(kuò)展信息元素的例子。
圖9表現(xiàn)了被應(yīng)用于Rubik的Cube-Lena圖像的可量測性。
圖10表現(xiàn)了Rubik的“立方體”測試實(shí)例——(a)關(guān)于充分解碼的結(jié)構(gòu)的結(jié)果、(b)關(guān)于依靠觀察的解碼的結(jié)果、(c)該立方體的不可見的部分。
圖11表現(xiàn)了關(guān)于活動(dòng)網(wǎng)絡(luò)中的連續(xù)變換的標(biāo)記的數(shù)據(jù)包。
圖12是根據(jù)本發(fā)明的實(shí)施例的傳輸系統(tǒng)的框圖。
發(fā)明的詳細(xì)說明將參照某些實(shí)施例和附圖來描述本發(fā)明，但本發(fā)明不局限于此。有技能的人將會(huì)理解本發(fā)明具有如所附權(quán)利要求書中所定義的廣泛的應(yīng)用。
本發(fā)明也涉及用于在句法上分析位流的方法和用于生成位流的方法，所述方法使用關(guān)于表示所述位流的文檔的某種格式，所述文檔是所述位流的樹狀表示。
(所謂的模式中所描述的)該格式定義一種或多種類型的數(shù)據(jù)，特別是與無限長度的二進(jìn)制段相對應(yīng)的一種類型的數(shù)據(jù)。另外，所述模式包括多個(gè)元素，它為這些元素而至少描述數(shù)據(jù)的名稱和類型。
位流的該多媒體格式定義哪個(gè)信息被定位在該位流中的哪里。通過使用該模式或因此被定義的該格式，可以創(chuàng)立文檔，從而描述該位流的該結(jié)構(gòu)。除數(shù)據(jù)以外，該位流也包括關(guān)于所使用的該編碼過程的信息。因此，所述信息在該位流內(nèi)被加以編碼。
當(dāng)根據(jù)更高層次的表示(比如根據(jù)該模式來制作的該文檔)來改編該位流時(shí)，所述嵌入信息為該改編過程而仍然保持隱藏狀態(tài)，從而意味著如果想要或需要利用所述信息，則需要對該位流的那個(gè)部分進(jìn)行解碼。
本發(fā)明的優(yōu)點(diǎn)是提供了一種更加適合用于改編多媒體內(nèi)容的模式。由模式來實(shí)現(xiàn)這一點(diǎn)，從而允許采用用于描述該數(shù)據(jù)的該結(jié)構(gòu)的格式，其中，該嵌入信息的至少一部分可以變得明確。因此，該模式具有特殊的元素，它為這些特殊的元素而描述信息的名稱和類型，所述信息被嵌入該位流。
特別是，本發(fā)明涉及一種用于從原始位流中生成改編的位流的方法；所述方法包括以下步驟接收所述原始位流；根據(jù)某種格式而在句法上分析包含具有結(jié)構(gòu)的數(shù)據(jù)的所述原始位流，所述分析步驟生成所述原始位流的樹狀表示，并包括以下步驟讀取一種用于從類屬上描述所述格式的模式，包括它為其而描述數(shù)據(jù)的名稱和類型的多個(gè)元素，并且，特殊元素與關(guān)于該編碼方法的信息有關(guān)；在所述原始位流中搜索與所述模式中所包含的這些元素(包括所述特殊元素)相對應(yīng)的該數(shù)據(jù)；生成所述模式的實(shí)例，它包含在所述原始位流中發(fā)現(xiàn)的該數(shù)據(jù)，并構(gòu)成所述樹狀表示，所述實(shí)例進(jìn)一步包括明確的信息，該信息被嵌入所述原始位流；生成所述模式的改編的實(shí)例，所述改編過程利用所述明確的信息；以及，
最后，從所述改編的實(shí)例中生成所述改編的位流。
現(xiàn)在為圖像編碼技術(shù)(100)展示這一點(diǎn)，其中，該圖像(10)首先被分成各個(gè)塊(15)。該圖像編碼技術(shù)生成分組位流(70)，因此，可以在該位流內(nèi)區(qū)別多個(gè)數(shù)據(jù)包(75)。可以選擇“該圖像的多少個(gè)塊(一個(gè)或多個(gè))(例如，選擇(20))在一個(gè)數(shù)據(jù)包中一起被加以編碼”。
另外，不是在該原始圖像上，而是在該圖像的轉(zhuǎn)換版本上使用該圖像譯碼或編碼技術(shù)。一種可能類型的被使用的轉(zhuǎn)換是次能帶轉(zhuǎn)換(比如小波變換)。因此，可以在該圖像編碼技術(shù)內(nèi)發(fā)現(xiàn)轉(zhuǎn)換步驟(110)和為該轉(zhuǎn)換圖像(80)編碼的步驟(120)。應(yīng)用該轉(zhuǎn)換步驟會(huì)產(chǎn)生在次能帶(40)中被分解的圖像(30)。
該圖像編碼技術(shù)通常將會(huì)作用于該圖像的一個(gè)(被轉(zhuǎn)換的)部分(例如，塊)。在圖4中，表現(xiàn)了圖像被分成各個(gè)塊。從轉(zhuǎn)換層次的數(shù)目中導(dǎo)出該塊大小。在這個(gè)例子的情況中，數(shù)據(jù)包由兩個(gè)塊組成。數(shù)據(jù)包是獨(dú)立的——沒有與其他這些數(shù)據(jù)包的數(shù)據(jù)相關(guān)性。這些數(shù)據(jù)包的尺寸確定粒度。注意，這只是對于該水平維數(shù)而言是如此，因?yàn)闊o法按縱列方向的方式來包裝塊。另外，這些圖像(或其各個(gè)轉(zhuǎn)換部分)在差異質(zhì)量層中被加以編碼，從而意味著將含蓄地選擇使用該轉(zhuǎn)換部分的哪個(gè)次能帶，并且將含蓄地選擇這些所選擇的次能帶部分的各個(gè)像素上所使用的分層程度(見這些不同的位平面(60))。這些選擇或分組(例如，見選擇(50))定義某個(gè)質(zhì)量。如果在對與那個(gè)質(zhì)量層有關(guān)的該位流的該部分進(jìn)行解碼之后，將會(huì)顯示該原始圖像，則可以預(yù)期某個(gè)預(yù)定義的質(zhì)量。
層的質(zhì)量取決于該圖像和變換層次的各個(gè)像素上所使用的該分層，尤其取決于包括哪些次能帶。關(guān)于所使用的該分層的和當(dāng)使用這項(xiàng)圖像編碼技術(shù)時(shí)的這些次能帶的該信息也在該位流中(例如，在與該質(zhì)量層有關(guān)的第一個(gè)數(shù)據(jù)包中)被加以編碼。當(dāng)然，可以使用本質(zhì)上相同的信息的其他參數(shù)化法。
根據(jù)以上所描述的該圖像編碼技術(shù)，用于描述圖像的該結(jié)構(gòu)的該模式具有作為關(guān)于每幅圖像的元素的主要頭部和各個(gè)部分，每個(gè)部分與數(shù)據(jù)包有關(guān)。這些部分包含對該位流的該有關(guān)部分的參考，這個(gè)參考也被表示為該有效負(fù)載，并(例如)可以用URL的形式來加以規(guī)定。
本發(fā)明規(guī)定對以上所討論的元素附加的特殊元素，所述元素被用于描述所謂的擴(kuò)展信息。這種信息可以是層的數(shù)目、每一層的數(shù)據(jù)包的數(shù)目和所使用的次能帶。因此，它被隱藏在這些數(shù)據(jù)包內(nèi)。雖然該信息可用，但是，它被嵌入該位流。
參考圖2，本發(fā)明生成包含在所述原始位流中發(fā)現(xiàn)的該數(shù)據(jù)并構(gòu)成所述樹狀表示的所述模式的實(shí)例(500)，而不是直接作用于該位流，所述實(shí)例進(jìn)一步包括明確的信息(700)，該信息被嵌入所述原始位流。
本發(fā)明規(guī)定對以上所討論的元素(應(yīng)該補(bǔ)充該主要頭部)附加的一個(gè)元素，所述元素被用于描述由該圖像編碼生成的、關(guān)于該分層的所謂的擴(kuò)展信息(比如層的數(shù)目、每一層的數(shù)據(jù)包的數(shù)目和該變換層次)。
該擴(kuò)展信息的直接可用性慮及利用所述擴(kuò)展信息是創(chuàng)立改編的實(shí)例的過程(400)。從這個(gè)改編的實(shí)例中，執(zhí)行該圖像編碼(200)的顛倒過程——具有圖像解碼(220)和顛倒轉(zhuǎn)換(210)的子步驟。
本發(fā)明提供了一種用于從原始位流中生成改編的位流的方法，所述原始位流是在圖像的至少一個(gè)部分上應(yīng)用編碼方法的該結(jié)果，所述方法包括以下步驟接收所述原始位流；根據(jù)某種格式而在句法上分析包含具有結(jié)構(gòu)的數(shù)據(jù)的所述原始位流，所述分析步驟生成所述原始位流的樹狀表示，并包括以下步驟讀取一種用于從類屬上描述所述格式的模式，包括它為其而描述數(shù)據(jù)的名稱和類型的多個(gè)元素，并且，特殊元素與關(guān)于該編碼方法的信息有關(guān)；在所述原始位流中搜索與所述模式中所包含的這些元素(包括所述特殊元素)相對應(yīng)的該數(shù)據(jù)；生成所述模式的實(shí)例，它包含在所述原始位流中發(fā)現(xiàn)的該數(shù)據(jù)，并構(gòu)成所述樹狀表示，所述實(shí)例進(jìn)一步包括明確的信息，該信息被嵌入所述原始位流；生成所述模式的改編的實(shí)例，所述改編過程利用所述明確的信息；以及，最后，從所述改編的實(shí)例中生成所述改編的位流。
在其實(shí)施例中，所述編碼方法包括圖像的一個(gè)部分的次能帶轉(zhuǎn)換的步驟。
在其實(shí)施例中，所述編碼方法包括一個(gè)步驟定義質(zhì)量層，并選擇每一質(zhì)量層的、為編碼而包括所述圖像的所述部分的哪些次能帶；并且，所述明確的信息指出所述次能帶和位平面的該分組。
在其實(shí)施例中，所述編碼方法包括一個(gè)步驟定義質(zhì)量層，并選擇每一質(zhì)量層的、正在為所述質(zhì)量層而選擇的該圖像的這些部分上使用哪個(gè)程度的分層；并且，所述明確的信息指出所述分層程度。
該模式可以被用于改編多媒體內(nèi)容。如果想要規(guī)定內(nèi)容可量測性，則需要轉(zhuǎn)換多媒體文件的這種可能性。該模式改編途徑運(yùn)作如下通過使用所謂的風(fēng)格紙樣，來修改該位流的象該模式一類的描述，而不是直接改編該位流。所以，可從該修改過的象模式一類的描述中生成該二進(jìn)制形式(該改編的二進(jìn)制結(jié)構(gòu))文件。
如果考慮基于塊的圖像編碼技術(shù)，生成分組位流，因此可以在該位流內(nèi)區(qū)別多個(gè)數(shù)據(jù)包，則會(huì)面臨這個(gè)問題在連續(xù)變換之后，該位流中的數(shù)據(jù)包的該位置不再與它在該圖像中的位置一致。
注意，萬一想要顯示該原始圖像的特定的有關(guān)區(qū)域——該原始位流，則可以容易地選擇該有關(guān)的數(shù)據(jù)包，因?yàn)樵搱D像編碼技術(shù)使用通過該圖像的預(yù)定義掃描，用于生成所述原始位流。作為選擇，可以根據(jù)該位流中可用的該信息來確定這個(gè)有關(guān)的數(shù)據(jù)包，但這要求進(jìn)行解碼，因此要求進(jìn)行復(fù)雜的計(jì)算。
本發(fā)明的優(yōu)點(diǎn)是提供一種更加適合用于改編多媒體內(nèi)容的模式，尤其在位流的連續(xù)改編的情況下(例如，在網(wǎng)絡(luò)中)。
根據(jù)以上所描述的該圖像編碼技術(shù)，用于描述圖像的該結(jié)構(gòu)的該模式具有作為關(guān)于每幅圖像的元素的主要頭部和各個(gè)部分，每個(gè)部分與數(shù)據(jù)包有關(guān)，并且，在該模式中，加入關(guān)于這些數(shù)據(jù)包的額外的屬性(600)。該額外的屬性如此，以便可以容易地導(dǎo)出它在該圖像中的位置。通過要么將所述位置存儲(chǔ)在該額外的屬性中，要么使用關(guān)于該數(shù)據(jù)包的標(biāo)識(shí)號(hào)，來實(shí)現(xiàn)這一點(diǎn)。該額外的屬性產(chǎn)生這些數(shù)據(jù)包的一種標(biāo)記。
因此，萬一想要顯示該改編的圖像的特定的有關(guān)區(qū)域(因而來自改編(400)后的該位流)，則在這個(gè)所要求的數(shù)據(jù)包選擇步驟(300)中利用所述額外的屬性，因?yàn)橥ㄟ^該圖像的該預(yù)定義掃描因該位流上的這些修改而無法被再使用?？梢允褂迷擃~外的屬性來跟蹤這個(gè)改編的位流中的該數(shù)據(jù)包，用于分配所述數(shù)據(jù)包，并用于確定其質(zhì)量等級(jí)。注意，將使用該有關(guān)區(qū)域再次顯示過程的基于模式的途徑。
一種方法用于顯示來自從一種模式的實(shí)例中生成的位流的圖像的一個(gè)部分，所述實(shí)例構(gòu)成所述數(shù)據(jù)的樹狀表示，并包含在位流中發(fā)現(xiàn)的該數(shù)據(jù)，所述位流是在圖像的至少一個(gè)部分上應(yīng)用編碼方法和在所述結(jié)果上應(yīng)用變換的該結(jié)果，所述位流進(jìn)一步包括多個(gè)數(shù)據(jù)包，所述方法的特征體現(xiàn)在所述模式的所述實(shí)例包括關(guān)于所述數(shù)據(jù)包的額外的屬性，所述額外的屬性根據(jù)與所述編碼方法有關(guān)的預(yù)定義掃描程序來指出所述數(shù)據(jù)包的該位置；以及，所述顯示包括根據(jù)所述屬性來選擇至少一個(gè)數(shù)據(jù)包。
現(xiàn)在進(jìn)一步描述本發(fā)明的特定的實(shí)現(xiàn)。
該國際專利申請WO 02/069187中所描述的該“位流句法描述語言”(BSDL)是用于描述并改編多媒體內(nèi)容的一種有效率的、平臺(tái)獨(dú)立的方法。這種基于XML模式的語言允許按可理解的結(jié)構(gòu)化方法來描述多媒體文件的該內(nèi)容，該方法可以使用XSLT來加以修改，并可以恢復(fù)到二進(jìn)制形式。從內(nèi)容可量測性的觀點(diǎn)來看，轉(zhuǎn)換多媒體文件的這種可能性非常有吸引力。在MPEG-4AFX的該上下文中，正在研究錯(cuò)誤回彈記號(hào)的使用，以允許VTC中的可量測性[見Eric Delfosse，Gauthier Lafruit，“關(guān)于依靠觀察的結(jié)構(gòu)解碼的VTC錯(cuò)誤回彈的使用”，ISO/IEC JTC1/SC29/WG11/MPEG2001/m7580，Pattaya，2001年12月]。
以下將加以描述的本發(fā)明的示范實(shí)施例涉及BSDL實(shí)施，該BSDL實(shí)施允許選擇關(guān)于VTC文件中的任意數(shù)量的區(qū)域的不同的質(zhì)量等級(jí)。這個(gè)過程的目的是通過只傳送在某個(gè)時(shí)刻解碼所需要的該信息，來啟用3D應(yīng)用中的網(wǎng)絡(luò)QoS。但是，本發(fā)明不局限于這個(gè)特殊的實(shí)施例。
如今，流動(dòng)視頻很普通，而3D內(nèi)容的這種流動(dòng)仍然保持罕見，或者甚至不存在。當(dāng)對3D內(nèi)容進(jìn)行解碼和呈現(xiàn)時(shí)，該消費(fèi)者的平臺(tái)上的工作負(fù)荷會(huì)根據(jù)這些觀察條件而有幾個(gè)數(shù)量級(jí)之多的變化[見G.Lafruit，L.Nachtergaele，K.Denolf，J.Bormans，“3D計(jì)算的適度降級(jí)”，關(guān)于MPEG-4的ISCAS-專題研究組和展覽會(huì)的會(huì)議錄，第III-547～I(xiàn)II-550頁，2000年5月28-31日]。
由于通常只有這些構(gòu)造成的3D對象的一部分在任何給定的時(shí)間可見，因此，只流出該結(jié)構(gòu)的這些可見區(qū)域并且/或者為其解碼將會(huì)減小瞬間帶寬和/或平臺(tái)工作負(fù)荷。當(dāng)這些觀察條件發(fā)生變化時(shí)，隨著這些新近可見的部分逐漸變得看得見，可以使它們流出并且/或者為它們解碼。所以，用于對構(gòu)造成的3D內(nèi)容進(jìn)行解碼和呈現(xiàn)的該所需網(wǎng)絡(luò)帶寬以及該所需工作負(fù)荷隨著時(shí)間的推移而得到擴(kuò)大，同時(shí)將該察覺到的質(zhì)量損失減到最小。這個(gè)過程被稱作“依靠觀察的結(jié)構(gòu)解碼”[見D.Cohen-Or，Y.Mann，S.Fleishman，“用于流出結(jié)構(gòu)密集動(dòng)畫的深度壓縮”，關(guān)于計(jì)算機(jī)制圖的計(jì)算機(jī)繪圖專業(yè)組1999年年會(huì)會(huì)議錄，第261-267頁，1999年]。
在該MPEG-4多媒體壓縮標(biāo)準(zhǔn)[見“該MPEG-4音頻-視頻壓縮標(biāo)準(zhǔn)，ISO/IEC14496-5/FPDAM1的文本”，ISO/IEC JTC1/SC29/WG11/MPEG99/N3309，Noordwijkerhout，2000年3月]以內(nèi)，存在用于為3D內(nèi)容編碼的工具。特別是，MPEG-4提供了關(guān)于結(jié)構(gòu)的可升級(jí)的、基于小波的壓縮工具——被稱作“視覺結(jié)構(gòu)編碼(VTC))”[見I.Sodagar，H.J.Lee，P.Hatrack，Y.Q.Zhang，“關(guān)于合成/自然混合圖像的可升級(jí)的小波編碼”，關(guān)于視頻技術(shù)的電路和系統(tǒng)的IEEE會(huì)報(bào)，第9卷，編號(hào)2，第244-254頁，1999年3月]。
在本發(fā)明中，揭示了使用錯(cuò)誤回彈記號(hào)來允許MPEG-4 AFX的該上下文中的VTC中的可量測性。[Eric Delfosse，Gauthier Lafruit，“關(guān)于依靠觀察的結(jié)構(gòu)解碼的VTC錯(cuò)誤回彈的使用”，ISO/IECJTC1/SC29/WG11/MPEG2001/m7580，Pattaya，2001年12月，它被包括于此，用作參考]。
可以為依靠觀察的結(jié)構(gòu)解碼而利用VTC的這些錯(cuò)誤回彈特點(diǎn)。通過使用這些錯(cuò)誤回彈記號(hào)，可允許生成具有高度靈活性的分組位流，用于定義這些數(shù)據(jù)包邊界。每個(gè)數(shù)據(jù)包包括被稱作“結(jié)構(gòu)單元(TU)”的許多基本單元。每個(gè)數(shù)據(jù)包包括被稱作“結(jié)構(gòu)單元(TU)”的許多基本單元。我們將把焦點(diǎn)放在VTC中的最有趣的情況——該多分層-樹深度方式(MQ-TD)上。
為該多分層-樹深度方式(MQ-TD)進(jìn)一步展示本發(fā)明。由小波變換層次的數(shù)目來給出該MQ-TD方式中所提供的最大粒度。該變換中所涉及的該像素?cái)?shù)目增加了，因?yàn)樵搲K的尺寸是2n_levels×2n_levels。由于錯(cuò)誤回彈引入某項(xiàng)內(nèi)務(wù)操作，因此，限制該粒度可以減小該壓縮圖像的尺寸。幾個(gè)轉(zhuǎn)換空間塊可以被分組在單一數(shù)據(jù)包中，而不是在每個(gè)塊后面引入錯(cuò)誤回彈記號(hào)。當(dāng)只要求粗糙粒度時(shí)，這會(huì)有用。
在MPEG-4 VTC中，圖像被分成各個(gè)塊。從該轉(zhuǎn)換層次數(shù)目中導(dǎo)出該塊大小。在這個(gè)例子的情況中，數(shù)據(jù)包由兩個(gè)塊組成。數(shù)據(jù)包是獨(dú)立的——沒有與其他這些數(shù)據(jù)包的數(shù)據(jù)相關(guān)性。這些數(shù)據(jù)包的尺寸確定粒度。注意，這只對于水平維數(shù)而言是如此，因?yàn)闊o法按縱列方向的方式來包裝塊。
另外，本發(fā)明揭示了其BSDL實(shí)施，該BSDL實(shí)施允許選擇關(guān)于VTC文件中的任意數(shù)量的區(qū)域的不同的質(zhì)量等級(jí)。這個(gè)過程的目的是通過只傳送在某個(gè)時(shí)刻解碼所需要的該信息，來啟用3D應(yīng)用中的網(wǎng)絡(luò)QoS。
可以應(yīng)用該“位流句法描述語言”來描述VTC圖像的該結(jié)構(gòu)。圖5表現(xiàn)了典型描述的片段。每幅圖像包括主要頭部和許多數(shù)據(jù)包。每個(gè)數(shù)據(jù)包包含關(guān)于哪些TU被包括在該數(shù)據(jù)包中和作為URL的有效負(fù)載的信息。從該描述中，可以生成該原始二進(jìn)制文件。該模式中宣布了這些描述元素以及它們的類型定義。圖6中表現(xiàn)了該“模式”的片段。該描述可以從VTC二進(jìn)制文件中被生成，或者可以在創(chuàng)建該二進(jìn)制文件時(shí)由該VTC編碼器來生成。第一個(gè)選項(xiàng)使用該BintoXML分析程序和該“模式”來識(shí)別這些不同的元素。
VTC的該BSDL類型實(shí)施可以被正式地描述為使用一種用于描述圖像的該結(jié)構(gòu)的模式的方法，所述模式具有作為關(guān)于每幅圖像的元素的主要頭部和各個(gè)部分，每個(gè)部分與數(shù)據(jù)包有關(guān)。這些部分包含對該位流的這個(gè)有關(guān)部分的參考，該參考也被表示為該有效負(fù)載，并(例如)可以用URL的形式來加以規(guī)定。
由于已發(fā)現(xiàn)當(dāng)需要低級(jí)細(xì)節(jié)時(shí)，完整的BSDL描述會(huì)相當(dāng)冗長，因此，該描述對于該目標(biāo)應(yīng)用而言會(huì)太詳細(xì)了。所以，本發(fā)明規(guī)定將該描述減少到最有關(guān)的元素，從而獲得更簡單、更簡短和更容易轉(zhuǎn)換的描述。
可以用兩種方法來獲得更簡短的描述1.數(shù)據(jù)包結(jié)構(gòu)不詳細(xì)。將該頭部與該有效負(fù)載合并。
2.如果該結(jié)構(gòu)已被編碼成提供比所需要的更多的粒度，則可以對數(shù)據(jù)包進(jìn)行分組。
圖7中表現(xiàn)了這兩個(gè)程序的例子。將兩個(gè)數(shù)據(jù)包裝配在一起，并且，改變該有效負(fù)載的各種限制，以包含它們兩個(gè)。注意，該簡化描述仍然符合同一種模式。
該VTC格式將關(guān)于分層的一些至關(guān)重要的信息隱藏在這些數(shù)據(jù)包內(nèi)。這種信息應(yīng)該存在于該文件的該主要頭部中，但它被嵌入該位流。作為例子，在每個(gè)質(zhì)量層的第一個(gè)數(shù)據(jù)包中為這些分層步驟編碼。層的數(shù)目和每一層的數(shù)據(jù)包的數(shù)目是至關(guān)重要的信息，但要知道它們，則要求進(jìn)行復(fù)雜的計(jì)算。
作為用于促進(jìn)VTC中的BSDL的利用的解決方案，本發(fā)明提議在該描述中包括額外的元素，從而詳述關(guān)于無法容易地獲得的該結(jié)構(gòu)的重要信息?？梢栽诰幋a期間或直接從“BSDL描述”中(例如，利用XSLT風(fēng)格紙樣)生成這個(gè)新元素。該擴(kuò)展信息被該XMLtoBin分析程序忽略，并且只由該XSLT風(fēng)格紙樣來進(jìn)行處理。圖8中表現(xiàn)了這種擴(kuò)展信息的例子。
XSLT風(fēng)格紙樣被用來轉(zhuǎn)換這些“BSDL描述”，并因而獲得該內(nèi)容的改編版本。變換風(fēng)格紙樣已被設(shè)計(jì)成選擇圖像內(nèi)的任意數(shù)量的區(qū)域，該圖像規(guī)定關(guān)于它們中的每個(gè)的質(zhì)量設(shè)置。然后，該XMLtoBin分析程序使用該“模式”來生成改編的二進(jìn)制結(jié)構(gòu)文件。區(qū)域限制被規(guī)定為該圖像的總尺寸的百分比。該風(fēng)格紙樣選擇最少數(shù)量的數(shù)據(jù)包來覆蓋被提供該可用粒度的該區(qū)域。這個(gè)程序允許將這些結(jié)構(gòu)換算為該所需的質(zhì)量等級(jí)，從而提供網(wǎng)絡(luò)QoS。該變換可以按兩種不同的方式來進(jìn)行。
-首先，該客戶請求該結(jié)構(gòu)的換算版本。這是獨(dú)立的服從VTC的結(jié)構(gòu)文件。
-此外，當(dāng)這些顯示條件發(fā)生變化時(shí)，該客戶可以請求關(guān)于一些區(qū)域的額外的質(zhì)量。在這種情況下，只發(fā)送一些數(shù)據(jù)包。
由于只發(fā)送必要的信息，因此，只有當(dāng)需要時(shí)，才最恰當(dāng)?shù)厥褂迷搸?。由于該VTC格式已被設(shè)計(jì)成可升級(jí)，因此，解碼器QoS是可能存在的。而且，通過只傳送有關(guān)的信息，網(wǎng)絡(luò)QoS也可以存在。
圖9和圖10中表現(xiàn)了這個(gè)程序的例子。在這個(gè)測試實(shí)例中，用該Lena圖像來遮蔽Rubik的“立方體”。如同不是所有的瓦片都同時(shí)可見，也并不是所有的信息都必須被傳送和解碼。圖9表現(xiàn)了如何在4個(gè)不同的質(zhì)量等級(jí)(范圍從只有DC到無損)中傳送該圖像。在圖10中，可以看見該“立方體”呈現(xiàn)。該圖的部分(a)表現(xiàn)了使用該完美質(zhì)量結(jié)構(gòu)來呈現(xiàn)的該“立方體”。部分(b)使用圖9結(jié)構(gòu)，從而利用了這個(gè)機(jī)會(huì)只有該前方的一面必須按完美的質(zhì)量來加以呈現(xiàn)，同時(shí)，該右邊的一面和頂部的一面可以按較低質(zhì)量設(shè)置來加以呈現(xiàn)。使用該DC成分來僅僅呈現(xiàn)不可見的該“立方體”的那個(gè)部分(圖10(c))。
在科學(xué)界有一種共識(shí)在以后的數(shù)年中，活動(dòng)網(wǎng)絡(luò)將會(huì)脫穎而出，成為一種提高通信效率的方法。關(guān)于3D制圖和BSDL的一種可能的情況如下所述“正在播放3D場景或電影。在該終端一方執(zhí)行呈現(xiàn)，但這些終端的各個(gè)特征是異類的。該服務(wù)器傳送使該質(zhì)量適應(yīng)該當(dāng)前觀察點(diǎn)的結(jié)構(gòu)。該質(zhì)量為高性能終端而預(yù)定，并且，該網(wǎng)絡(luò)將會(huì)使該內(nèi)容適應(yīng)這些不同的終端。該服務(wù)器一方將該結(jié)構(gòu)提供給這些網(wǎng)絡(luò)節(jié)點(diǎn)和該BSDL代碼。這樣，移動(dòng)電話操作者將應(yīng)用進(jìn)一步的變換，以便根據(jù)移動(dòng)電話的這些低分辨率顯示器來降低該質(zhì)量。”在這種情況中，如果應(yīng)用連續(xù)變換，則該位流中的數(shù)據(jù)包的該位置不再與它在該圖像中的位置一致。這樣，數(shù)據(jù)包的該分配和質(zhì)量等級(jí)會(huì)難以跟蹤。在這種情況下，必須為數(shù)據(jù)包加標(biāo)簽。通過將屬性或?qū)傩约ǖ矫總€(gè)數(shù)據(jù)包，可以做到這一點(diǎn)。圖11中表現(xiàn)了一個(gè)例子。
在這幅圖的該頂部例子中，該描述的這些元素包括-第一個(gè)變換標(biāo)簽，它包含這組數(shù)據(jù)包所屬的該數(shù)據(jù)層的指示，-第二個(gè)和第三個(gè)變換標(biāo)簽，它們包含該圖像中的這組數(shù)據(jù)包的該位置。
這是因?yàn)樵谝陨纤枋龅膽?yīng)用中，既考慮該質(zhì)量層，又考慮該圖像中的該位置，以決定當(dāng)生成改編的描述時(shí)，除去哪個(gè)(哪些)數(shù)據(jù)包。
當(dāng)然，關(guān)于其他的應(yīng)用和其他的編碼格式，這些元素可能只包括包含該數(shù)據(jù)層的指示的變換標(biāo)簽。例如，掃描包括這類變換標(biāo)簽的描述，以除去所有數(shù)據(jù)包，關(guān)于該所有數(shù)據(jù)包的該數(shù)據(jù)層指示高于“1”。
在圖11的該底部例子中，該描述的這些元素包括包含數(shù)據(jù)包標(biāo)識(shí)符的單一變換標(biāo)簽。
在這種情況下，將要為每個(gè)可能的變換而定義一套數(shù)據(jù)包標(biāo)識(shí)符。當(dāng)應(yīng)用特殊變換時(shí)，掃描該描述，并且，除去其變換標(biāo)簽不屬于為那個(gè)特殊變換而定義的這個(gè)數(shù)據(jù)包標(biāo)識(shí)符集的這些元素。(當(dāng)然，也可以定義將要被除去的各個(gè)數(shù)據(jù)包標(biāo)識(shí)符集，并除去其變換標(biāo)簽屬于為那個(gè)特殊變換而定義的這個(gè)數(shù)據(jù)包標(biāo)識(shí)符集的這些元素。)將會(huì)理解本發(fā)明的這第一個(gè)方面不局限于以上所描述的這個(gè)例子(MPEG-4VTC)。特別是，它可適用于其他的二維圖像或視頻編碼格式。
將要注意，只有當(dāng)將要通過使用如WO 02/069187中所描述的該模式來從該改編的描述中生成該改編的位流時(shí)，才必須在該描述中引入該變換標(biāo)簽，作為屬性(因?yàn)閷傩员辉揦ML-to-Bin分析程序忽略)。否則，它可以被引入，作為元素。
總之，可以說，本發(fā)明為象BSDL一類的途徑提供了必要的特點(diǎn)(比如額外的元素和屬性)，這些象BSDL一類的途徑用于允許關(guān)于如為MPEG-4 VTC而展示的多媒體應(yīng)用的強(qiáng)有力的、平臺(tái)獨(dú)立的內(nèi)容可量測性?？梢猿浞掷迷摽捎昧６葋韴?zhí)行區(qū)域和質(zhì)量選擇。使用BSDL的內(nèi)容改編允許在該服務(wù)器、這些網(wǎng)絡(luò)元件和該終端上分布該QoS管理。
可以按一些方法、一種方法和/或另一些方法來使用該模式的這些發(fā)明特點(diǎn)(額外的元素和特殊的屬性)——這些方法用于生成所述模式的實(shí)例，這種方法用于生成改編的位流，這另一些方法用于顯示圖像的有關(guān)區(qū)域。另外，可以在用于圖像編碼的設(shè)備中使用所述特點(diǎn)，從而提供位流和這類實(shí)例；也可以在網(wǎng)絡(luò)節(jié)點(diǎn)設(shè)備中使用所述特點(diǎn)，從而改編位流和/或圖像顯示終端，執(zhí)行有關(guān)區(qū)域選擇。
注意，這種圖像譯碼或編碼裝置將包括硬件部分，該硬件部分被配置成用于為所述模式的實(shí)例編碼并生成該實(shí)例。所以，所述硬件部分可以是定制的處理器或可編程的處理器或其組合?？梢詫W(wǎng)絡(luò)節(jié)點(diǎn)設(shè)備的該硬件部分加以類似的考慮，它將用于生成改編的位流和所述模式的改編的實(shí)例。圖像顯示終端的該硬件部分也可以被加以定制并且/或者被加以編程，用于執(zhí)行有關(guān)區(qū)域數(shù)據(jù)包選擇步驟和解碼。
所述設(shè)備將具有用于存儲(chǔ)所述模式的實(shí)例的存儲(chǔ)工具，所述存儲(chǔ)工具(可以是任何物理存儲(chǔ)實(shí)體)將被配置成用于存儲(chǔ)具有至少一個(gè)特殊元素和/或至少一個(gè)屬性的實(shí)例。也將預(yù)知用于存儲(chǔ)具有特殊的元素和屬性的模式的存儲(chǔ)空間。
在實(shí)施例中，該圖像編碼裝置將為硬件部分編碼，該硬件部分被配置成用于為位流中的圖像編碼；并且，所述硬件部分將能夠包括關(guān)于它所生成的該模式的這個(gè)實(shí)例內(nèi)的某個(gè)數(shù)據(jù)包的重要的編碼參數(shù)。
在該網(wǎng)絡(luò)節(jié)點(diǎn)設(shè)備的實(shí)施例中，提供了用于接收或生成所述模式的實(shí)例的工具，并且，所述設(shè)備的該硬件部分將被配置如此，以便它可以利用這個(gè)所接收或生成的實(shí)例內(nèi)的該明確的信息。
在該圖像顯示終端的實(shí)施例中，除用于指示該圖像的該有關(guān)區(qū)域的工具以外，還將提供用于接收或生成所述模式的實(shí)例的工具，并且，所述設(shè)備的該硬件部分將被配置如此，以便它可以利用這個(gè)所接收或生成的實(shí)例內(nèi)的這些明確的屬性。
圖12中表現(xiàn)了根據(jù)本發(fā)明的另一個(gè)方面的傳輸系統(tǒng)900。它包括發(fā)送器902和接收器904。在該發(fā)送器一方執(zhí)行圖像編碼、描述變換和改編的位流生成，同時(shí)，在該接收器一方執(zhí)行圖像解碼。所述發(fā)送器和接收器包括存儲(chǔ)工具和處理工具。利用軟件來執(zhí)行本發(fā)明，該軟件被存儲(chǔ)在所述存儲(chǔ)工具中并由所述處理工具來加以執(zhí)行。例如，該軟件可以是用C、C++或類似的語言而書寫的計(jì)算機(jī)程序，并可以為特殊的微處理器而加以編譯。本發(fā)明也包括存儲(chǔ)所述程序的數(shù)據(jù)載體(例如，磁盤、CD-ROM、磁帶、或電信網(wǎng)絡(luò)中或計(jì)算設(shè)備內(nèi)的存儲(chǔ)器)。當(dāng)被裝載到該計(jì)算設(shè)備上時(shí)，該數(shù)據(jù)載體執(zhí)行根據(jù)本發(fā)明的一種方法。
所述計(jì)算機(jī)程序執(zhí)行根據(jù)本發(fā)明的一種方法，尤其當(dāng)被載入微處理器(例如，由英特爾公司提供的“奔騰IV”微處理器)或被載入另一種合適的處理引擎(例如，“可編程邏輯陣列”(PLA)、“可編程陣列邏輯”(PAL)、諸如“域可編程門陣列”(FPGA)的可編程門陣列)時(shí)，所述計(jì)算機(jī)程序可執(zhí)行任何所述的方法。該處理引擎可能被包括在具有存儲(chǔ)器的合適的計(jì)算設(shè)備中，該計(jì)算設(shè)備不僅可以是(例如)個(gè)人計(jì)算機(jī)或UNIX工作站，而且可以是(例如)移動(dòng)電話、“個(gè)人數(shù)字助理”(PDA)；或者，該處理引擎可能被嵌入VLSI或(例如)被嵌入適用于個(gè)人計(jì)算機(jī)或視頻投影儀或其他顯示設(shè)備的加速器卡。本發(fā)明也包括專用模塊(例如，采取VLSI的形式)ASIC，它專門用于執(zhí)行根據(jù)本發(fā)明的方法。
權(quán)利要求
1.一種用于轉(zhuǎn)換編碼位流的描述的方法，所述編碼位流包括數(shù)據(jù)包，所述描述用標(biāo)記語言來書寫，一組的一個(gè)或多個(gè)數(shù)據(jù)包在所述描述中由元素來描寫，所述元素具有包含變換標(biāo)簽的至少一個(gè)屬性，所述方法包括-掃描所述描述，以便根據(jù)預(yù)定條件來核對變換標(biāo)簽，以及，-生成改編的描述，在該改編的描述中，除去這些元素，在這些元素中，變換標(biāo)簽不滿足所述預(yù)定條件。
2.如權(quán)利要求1中所述的用于轉(zhuǎn)換描述的方法，其特征在于，所述編碼位流具有可升級(jí)的格式，幾個(gè)數(shù)據(jù)層根據(jù)該格式來加以定義，并且，所述變換標(biāo)簽是這組的一個(gè)或多個(gè)數(shù)據(jù)包所屬的該數(shù)據(jù)層的指示。
3.如權(quán)利要求1中所述的用于轉(zhuǎn)換描述的方法，其特征在于，所述變換標(biāo)簽是數(shù)據(jù)包標(biāo)識(shí)符，并且，所述預(yù)定條件是與將要實(shí)現(xiàn)的特殊變換關(guān)聯(lián)的一套數(shù)據(jù)包標(biāo)識(shí)符的從屬關(guān)系條件。
4.一種用于從原始編碼位流中生成改編的編碼位流的方法，所述原始編碼位流包括數(shù)據(jù)包，所述方法包括-通過應(yīng)用如權(quán)利要求1～3中的任何權(quán)利要求中所述的用于轉(zhuǎn)換描述的方法，來轉(zhuǎn)換所述原始編碼位流的、用標(biāo)記語言書寫的描述，以生成改編的描述，以及，-從所述改編的描述中生成所述改編的位流。
5.一種包括數(shù)據(jù)包的編碼位流的、用標(biāo)記語言書寫的描述，所述描述包括用于描述各組的一個(gè)或多個(gè)數(shù)據(jù)包的元素，所述元素具有至少一個(gè)屬性，該屬性包含意在被用來依照預(yù)定條件來加以檢驗(yàn)的變換標(biāo)簽，以便通過除去所述元素中的一些元素，來改編所述描述。
6.如權(quán)利要求5中所述的描述，其特征在于，所述編碼位流具有可升級(jí)的格式，幾個(gè)數(shù)據(jù)層根據(jù)該格式來加以定義，并且，所述變換標(biāo)簽是這組數(shù)據(jù)包所屬的該數(shù)據(jù)層的指示。
7.如權(quán)利要求5中所述的描述，其特征在于，所述變換標(biāo)簽是數(shù)據(jù)包標(biāo)識(shí)符，并且，所述預(yù)定條件是與將要實(shí)現(xiàn)的特殊變換關(guān)聯(lián)的一套數(shù)據(jù)包標(biāo)識(shí)符的從屬關(guān)系條件。
8.一種電子設(shè)備，包括存儲(chǔ)器和處理工具，該存儲(chǔ)器存儲(chǔ)如權(quán)利要求5～7中的任何權(quán)利要求中所述的位流的描述，該處理工具用于執(zhí)行如權(quán)利要求1～3中的任何權(quán)利要求中所述的用于轉(zhuǎn)換所述描述的方法。
9.一種程序，包括指令，當(dāng)所述程序由處理器來執(zhí)行時(shí)，這些指令用于執(zhí)行如權(quán)利要求1～3中的任何權(quán)利要求中所述的用于轉(zhuǎn)換描述的方法。
10.一種傳輸系統(tǒng)，包括發(fā)送器和接收器，所述發(fā)送器具有用于執(zhí)行如權(quán)利要求4中所述的用于從原始編碼位流中生成改編的編碼位流的方法的工具，以及用于將所述改編的編碼位流傳送到所述接收器的工具。
11.一種用于生成模式的實(shí)例的方法，所述實(shí)例構(gòu)成編碼圖像數(shù)據(jù)的樹狀表示，所述模式從類屬上描述所述表示的該格式，并且包括多個(gè)元素，該格式為這些元素而描述數(shù)據(jù)的名稱和類型，該方法包括存取該圖像；根據(jù)預(yù)定的編碼參數(shù)，來執(zhí)行為所述圖像編碼的步驟，從而通過連接與所述元素相對應(yīng)的、位流的各個(gè)部分，來生成該位流和所述實(shí)例；對所述方法，其特征在于所述模式包括與所述編碼方法的這些編碼參數(shù)有關(guān)的特殊元素；以及，所述實(shí)例包括與所述特殊元素相連接的明確的信息，所述明確的信息也被嵌入所述位流，并涉及所述編碼參數(shù)。
12.一種用于從原始位流中生成改編的位流的方法，所述位流是編碼圖像數(shù)據(jù)，所述編碼根據(jù)預(yù)定的編碼參數(shù)來加以執(zhí)行，所述方法包括接收所述原始位流和包含在所述原始位流中發(fā)現(xiàn)的數(shù)據(jù)的模式的實(shí)例，該實(shí)例構(gòu)成樹狀表示，生成所述模式的改編的實(shí)例；以及，從所述改編的實(shí)例中生成所述改編的位流，對該方法，其特征在于所述實(shí)例包括關(guān)于所述編碼參數(shù)的明確的信息；以及，生成改編的實(shí)例的所述步驟利用所述明確的信息。
13.一種圖像編碼裝置，包括用于讀取圖像的工具；用于輸入編碼參數(shù)的工具；硬件部分，它被配置成用于根據(jù)所述編碼參數(shù)來為所述讀取的圖像編碼，從而生成位流；以及，編碼裝置，它用于生成模式的實(shí)例，所述模式從類屬上描述所述表示的該格式，并包括多個(gè)元素，該格式為這些元素而描述數(shù)據(jù)的名稱和類型，所述實(shí)例構(gòu)成所述編碼圖像數(shù)據(jù)的樹狀表示，并包含具有所述元素的所述位流的各個(gè)部分之間的連接，對所述裝置，其特征在于，所述模式包括與所述編碼參數(shù)有關(guān)的特殊元素；以及，所述實(shí)例包括關(guān)于與所述特殊元素連接的所述編碼參數(shù)的明確的信息。
14.一種終端，包括用于接收第一個(gè)位流的工具，所述位流是編碼圖像數(shù)據(jù)，所述編碼根據(jù)預(yù)定的編碼參數(shù)來加以執(zhí)行；用于接收或生成模式的實(shí)例的工具，該實(shí)例包含在所述第一個(gè)位流中發(fā)現(xiàn)的該數(shù)據(jù)，并構(gòu)成樹狀表示；硬件部分，它被配置成用于生成所述模式的改編的實(shí)例，并用于從所述改編的實(shí)例中生成改編的位流，對所述終端，其特征在于所述實(shí)例包括關(guān)于所述編碼參數(shù)的明確的信息；以及，所述硬件部分被配置成用于通過利用所述明確的信息，來生成改編的實(shí)例。
15.一種用于從原始位流中生成改編的位流的方法，所述方法包括接收所述原始位流；根據(jù)某種格式而在句法上分析包含具有結(jié)構(gòu)的數(shù)據(jù)的所述原始位流，所述分析步驟生成所述原始位流的樹狀表示；該方法包括讀取一種從類屬上描述所述格式的模式，所述模式包括該格式為其而描述數(shù)據(jù)的名稱和類型的多個(gè)元素，以及與關(guān)于該編碼方法的信息相關(guān)聯(lián)的特殊元素；在所述原始位流中搜索與這些元素相對應(yīng)的該數(shù)據(jù)，這些元素包括所述模式中所包含的所述特殊元素；生成所述模式的實(shí)例，該實(shí)例包含在所述原始位流中發(fā)現(xiàn)的該數(shù)據(jù)，并構(gòu)成所述樹狀表示，所述實(shí)例進(jìn)一步包括明確的信息，該信息被嵌入所述原始位流；生成所述模式的改編的實(shí)例，所述改編過程利用所述明確的信息；以及，從所述改編的實(shí)例中生成所述改編的位流。
16.一種用于生成模式的實(shí)例的方法，構(gòu)成位流的樹狀表示的所述實(shí)例是在圖像的至少一個(gè)部分上應(yīng)用編碼方法的該結(jié)果，其中，可以在該位流中區(qū)別多個(gè)數(shù)據(jù)包，所述模式從類屬上描述所述表示的該格式，并包括該格式為其而描述數(shù)據(jù)的名稱和類型的多個(gè)元素，該方法包括存取該圖像；執(zhí)行為所述圖像編碼的步驟，從而通過連接與所述元素相對應(yīng)的、位流的各個(gè)部分，來生成該位流和所述實(shí)例；對所述方法，其特征在于所述模式包括與如該編碼方法所定義的數(shù)據(jù)包位置信息有關(guān)的特殊元素；以及，所述實(shí)例包括關(guān)于所述數(shù)據(jù)包的額外的屬性，所述額外的屬性指出所述位流中的所述數(shù)據(jù)包的該位置，所述位置由該編碼方法來定義。
17.一種圖像編碼裝置，包括用于讀取圖像的工具；硬件部分，它被配置成用于根據(jù)所述編碼參數(shù)用于所述讀取的圖像編碼，從而生成包括多個(gè)數(shù)據(jù)包的位流；以及，該編碼裝置，它用于生成模式的實(shí)例，所述模式從類屬上描述所述表示的該格式，并包括它為其而描述數(shù)據(jù)的名稱和類型的多個(gè)元素，所述實(shí)例構(gòu)成所述編碼圖像數(shù)據(jù)的樹狀表示，并包含具有所述元素的所述位流的各個(gè)部分之間的連接，對所述裝置，其特征在于所述模式包括與所述位流中的數(shù)據(jù)包位置有關(guān)的特殊元素；以及，所述實(shí)例包括指出該位流內(nèi)的所述數(shù)據(jù)包位置的、關(guān)于所述數(shù)據(jù)包的屬性，所述屬性與所述特殊元素連接。
18.一種用于從原始位流中生成改編的位流的方法，所述原始位流是在圖像的至少一個(gè)部分上應(yīng)用編碼方法的該結(jié)果，其中，在所述原始位流中提供多個(gè)數(shù)據(jù)包，所述方法包括接收所述原始位流；根據(jù)某種格式而在句法上分析包含具有結(jié)構(gòu)的數(shù)據(jù)的所述原始位流，所述分析步驟生成所述原始位流的樹狀表示，并包括讀取用于從類屬上描述所述格式的模式，該模式包括它為其而描述數(shù)據(jù)的名稱和類型的多個(gè)元素，以及與關(guān)于該編碼方法的信息有關(guān)的特殊元素；在所述原始位流中搜索與這些元素相對應(yīng)的該數(shù)據(jù)，這些元素包括所述模式中所包含的所述特殊元素；生成所述模式的實(shí)例，該實(shí)例包含在所述原始位流中發(fā)現(xiàn)的該數(shù)據(jù)，并構(gòu)成所述樹狀表示，所述實(shí)例進(jìn)一步包括關(guān)于所述數(shù)據(jù)包的額外的屬性，所述額外的屬性指出所述原始位流中的所述數(shù)據(jù)包的該位置；生成所述模式的改編的實(shí)例，所述改編過程利用所述額外的屬性；以及，最后，從所述改編的實(shí)例中生成所述改編的位流。
19.一種用于顯示來自從模式的實(shí)例中生成的位流的圖像的一個(gè)部分的方法，該實(shí)例構(gòu)成所述數(shù)據(jù)的樹狀表示，所述實(shí)例包含在位流中發(fā)現(xiàn)的該數(shù)據(jù)，所述位流是在圖像的至少一個(gè)部分上應(yīng)用編碼方法和在所述結(jié)果上應(yīng)用變換的該結(jié)果，所述位流進(jìn)一步包括多個(gè)數(shù)據(jù)包，對所述方法，其特征在于所述模式的所述實(shí)例包括關(guān)于所述數(shù)據(jù)包的額外的屬性，所述額外的屬性根據(jù)與所述編碼方法有關(guān)的預(yù)定義的掃描程序來指出所述數(shù)據(jù)包的該位置；以及，所述顯示包括根據(jù)所述屬性來至少選擇一個(gè)數(shù)據(jù)包。
20.一種圖像顯示終端，包括圖像顯示器；指示器工具，用于指出將要在所述圖像顯示器上顯示該圖像的哪個(gè)部分；用于存取位流和模式的實(shí)例的工具，該實(shí)例構(gòu)成所述位流的樹狀表示，所述實(shí)例包含在位流中發(fā)現(xiàn)的該數(shù)據(jù)，所述位流是將編碼方法應(yīng)用于圖像的至少一個(gè)部分的該結(jié)果，所述位流進(jìn)一步包括多個(gè)數(shù)據(jù)包；硬件部分，它被配置成從所述指示器工具接收輸入，對所述硬件部分，其特征在于通過使用由所述實(shí)例提供的額外的屬性，它根據(jù)來自所述位流的所述指示器工具輸入來選擇數(shù)據(jù)包，所述額外的屬性根據(jù)與所述編碼方法有關(guān)的預(yù)定義的掃描程序來指出所述位流中的所述數(shù)據(jù)包的該位置。
全文摘要
描述了一種用于轉(zhuǎn)換編碼位流的描述的方法和裝置。該編碼位流包括數(shù)據(jù)包，該描述用諸如BSDL的標(biāo)記語言來書寫。一組的一個(gè)或多個(gè)數(shù)據(jù)包在所述描述中由元素來描寫，所述元素具有包含變換標(biāo)簽的至少一個(gè)屬性。掃描該描述，以便根據(jù)預(yù)定條件來核對變換標(biāo)簽，并且，生成改編的描述。描述多媒體的該變換，以規(guī)定內(nèi)容可量測性。該改編途徑運(yùn)作如下通過使用所謂的風(fēng)格紙樣，來修改該位流的描述，而不是直接改編該位流。所以，可以從該修改過的描述中生成二進(jìn)制形式文件。
文檔編號(hào)H04N7/64GK1618234SQ02827531
公開日2005年5月18日 申請日期2002年11月26日 優(yōu)先權(quán)日2001年11月26日
發(fā)明者R·歐索里奧 申請人:康寧克里克菲利浦電子股份有限公司