本申請是申請日為2011年04月20日、申請?zhí)枮?01180020090.5、發(fā)明名稱為“用于傳送和接收媒體數(shù)據(jù)的接口裝置和方法”的發(fā)明專利申請的分案申請。

本發(fā)明一般涉及用于傳送和接收多媒體數(shù)據(jù)的裝置和方法，并且更具體地，涉及用于封裝各種類型的多媒體數(shù)據(jù)并且在以多媒體傳輸為目標的網絡上的設備之間傳送和接收封裝的多媒體數(shù)據(jù)的接口裝置和方法。

背景技術：

為了高效地傳送各種多媒體內容，mpeg(運動圖像專家組)已經開發(fā)的多種標準，諸如mpeg2ts(傳輸流)和mp4系統(tǒng)以及文件格式。而且，標準組織，如ietf(因特網工程工作組)和ieee(電子和電氣工程師協(xié)會)3gpp(第三代伙伴計劃)，已經開發(fā)了多種協(xié)議，用于在因特網上傳送各種多媒體內容，以及平臺技術，用于使用mpeg標準配置多媒體內容。

隨著從2000年延續(xù)的廣播和通信服務的集中(convergence)的傾向，已經呈現(xiàn)出各種內容和服務必須通過不同的網路來傳送的環(huán)境。而且，由于內容壓縮和傳輸技術的發(fā)展，以及顯示性能的改善(例如，tv)，用戶希望以更低的成本來使用高清(high-definition)數(shù)據(jù)。

為了滿足上述要求，mpeg意圖開發(fā)能夠有效傳送高清多媒體內容、集中傳送各種多媒體內容、以及在多媒體內容的傳輸中使用各種網絡的標準技術。

圖1示出了根據(jù)各種多媒體內容使用了不同的協(xié)議的傳統(tǒng)的多媒體內容傳輸結構。

參考圖1，每個應用(例如電子郵件、文件傳遞、網絡服務，等等)傳統(tǒng)地通過使用單獨的(separate)協(xié)議而在相應的層中服務。例如，電子郵件服務101在應用層中要求smtp協(xié)議103，在傳輸層中要求tcp協(xié)議105，并且在網絡層中要求ip協(xié)議107。相反，語音服務113在應用層中要求rtp協(xié)議115，并且在傳輸層中要求udp協(xié)議117。

例如，假定將電影內容提供給用戶。構成電影內容的一幀典型地包括視頻流、音頻流、以及字幕信息。在使用圖1的協(xié)議結構的情況下，如上所述，視頻流、音頻流、以及字幕信息必須使用不同的協(xié)議來傳送。因此，當使用傳統(tǒng)的協(xié)議結構時，包括各種類型的媒體的內容(以下稱為“多媒體內容”)，諸如電影內容，其傳送是低效率的(inefficient)。

技術實現(xiàn)要素：

技術問題

也就是說，在目前使用的提供多媒體內容的方法中，必須根據(jù)構成每種多媒體內容的各個媒體而應用單獨的協(xié)議，這導致了在多媒體內容傳輸中的低效率。具體來說，在包括各種多媒體內容的復雜多媒體內容的傳輸中存在困難。

技術方案

因此，已經做出本發(fā)明以解決在現(xiàn)有技術中出現(xiàn)的上述問題，并且本發(fā)明的一個方面提供了用于通過使用各種類型的網絡來傳送包括各種類型的多媒體內容的多媒體數(shù)據(jù)的裝置和方法。

而且，本發(fā)明的另一個方面提供了一種用于多媒體內容的綜合性傳輸?shù)慕涌凇?/p>

而且，本發(fā)明的再一個方面提供了一種用于多媒體內容的綜合性傳輸?shù)臄?shù)據(jù)包格式。

根據(jù)本發(fā)明的一個方面，提供了用于提供媒體服務的接口，該接口包括：封裝層，用于封裝編碼的媒體數(shù)據(jù)；遞送層，用于將封裝的媒體數(shù)據(jù)傳送到另一個實體；以及控制層，用于控制媒體數(shù)據(jù)的傳輸。

更具體地，本發(fā)明的一個方面提供了一種用于接收多媒體內容的數(shù)據(jù)的方法，所述方法包括：接收數(shù)據(jù)單元，該數(shù)據(jù)單元包括多媒體內容的媒體數(shù)據(jù)和媒體數(shù)據(jù)相關信息；以及接收用于消費多媒體內容的控制信息；其中所述控制信息包括關于所述多媒體內容的結構的信息。

附圖說明

圖1示出了根據(jù)各種多媒體服務而使用不同的協(xié)議的傳統(tǒng)的協(xié)議結構；

圖2示出了根據(jù)本發(fā)明的實施例的用于解釋必要功能和接口而細分的三個層；

圖3示出了使用具有如圖2中所示的結構的mmt傳送的多媒體的ip數(shù)據(jù)包的結構；

圖4示出了通過使用如圖2中定義的mmt系統(tǒng)而為用戶實際提供服務的示例；

圖5示出了使用具有如圖2中所示的結構的多媒體系統(tǒng)傳送的、具有傳輸文件格式的形式的服務；以及

圖6示出了使用具有如圖2中所示的結構的多媒體系統(tǒng)傳送的內容的數(shù)據(jù)包結構。

具體實施方式

以下，將參考附圖描述本發(fā)明的實施例。在下面描述中，相同的元素將由相同的參考標號來表示，即使它們示出在不同的附圖中。而且，在以下描述中找到的各種具體定義，如數(shù)據(jù)包標識的具體值、顯示信息的內容等，只是提供用來幫助對本發(fā)明的一般理解，并且本領域技術人員將清楚，本發(fā)明可以實現(xiàn)而沒有這樣的定義。而且，在本發(fā)明的以下描述中，當可能使得本發(fā)明的主題不清楚時，將省略在這里合并的已知功能和配置的詳細描述。

本發(fā)明定義了用于多媒體內容的綜合性(integrated)傳送和接收的接口。在本發(fā)明中定義的接口提供了三個功能層。第一功能層是封裝層，第二功能層是遞送層，而第三功能層是控制層。

封裝層處理和封裝從媒體編碼層接收的各種類型的編碼的多媒體內容。而且，封裝層將封裝的多媒體內容適當?shù)剞D換為能夠在存儲設備中存儲的格式，或者能夠通過遞送層傳送到網絡上的另一個實體或用戶設備的格式。

遞送層定義了用于提供對于多媒體內容最優(yōu)化的傳輸環(huán)境的功能，以便通過各種網絡傳送封裝的多媒體內容。

控制層定義了用戶消費(consume)多媒體內容所需的消費信息(例如電子節(jié)目指南(epg))以及遞送層高效傳送多媒體內容所需的功能。

圖2示出了根據(jù)本發(fā)明的實施例的以逐個協(xié)議為基礎細分的上述三個功能層。

在本發(fā)明中，封裝層包括三個層e.1211、e.2212、以及e.3213，遞送層包括三個層d.1221、d.2222、以及d.3223，而控制層包括三個層c.1231、c.2232、以及c.3233。在圖2中，各層由參考標號“270”共同地指定，也就是說，片段nal單元、au、mpeg-2ts、rtp/http、以及udp/tcp只是為了更好地理解本發(fā)明的各層而描述的，因此應當注意到mmte.3層213、mmte.2層212、mmte.1層211、mmtd.1層221、以及mmtd.2層222的功能不必與片段nal單元、au、mpeg-2ts、rtp/http、以及udp/tcp層的功能相一致。

參考圖2，媒體編碼層200通過以片段為單位劃分多媒體內容并對劃分的片段進行編碼，來生成媒體數(shù)據(jù)片段(“片段”)。而且，媒體編碼層200生成與片段相關的信息。這種與片段相關的信息是代表在所生成的片段之間的關系的信息。用于參考，給定數(shù)目的片段的組合構成了存取單元，而給定數(shù)目的存取單元以及與存取單元相關的信息的組合構成了基本碼流。

封裝層具有以下配置和功能。

封裝層的e.3層213從媒體編碼層200接收片段、片段報頭、以及與片段相關的信息，并通過使用所接收的片段、片段報頭、以及與片段相關的信息生成存取單元。而且，e.1層213生成與存取單元相關的信息，即，關于在所生成的存取單元之間的關系的信息。

與存取單元相關的信息是指，例如，解碼時間、合成時間(compositiontime)、大小、存取序號(sequencenumber)、等等。所生成的存取單元和與存取單元相關的信息被傳遞到e.2層212。用于參考，片段可以是組成多媒體內容的所有類型的數(shù)據(jù)，諸如從語音編解碼器輸出的數(shù)據(jù)、從視頻編解碼器輸出的數(shù)據(jù)、用于支持與已有媒體視頻相比能夠附加功能的富媒體(richmedia)的場景合成信息、各種應用、以及文檔數(shù)據(jù)等。

e.2層212通過組合多個存取單元和與存取單元相關的信息來生成基本碼流。而且，e.2層212生成與基本碼流相關的信息。所述與基本碼流相關的信息是指，例如，流的類型、流標識符、流的傳輸特性值、等等。

e.1層211生成允許多媒體內容被適當消費的包括基本碼流和代表性傳輸特性值的多媒體內容的合成信息。所述合成信息可以是，例如，當視頻數(shù)據(jù)和音頻數(shù)據(jù)被組合以便再現(xiàn)包括視頻數(shù)據(jù)和音頻數(shù)據(jù)的多媒體內容時所需的信息，而所述代表性傳輸特性值可以是，例如，可以通過傳輸誤差率、速度、等等來表示的qos(服務質量)。

遞送層具有以下配置和功能。

d.1層221是由本發(fā)明新提供的應用協(xié)議，其對應于類似于在圖1的傳統(tǒng)協(xié)議結構中用于多媒體數(shù)據(jù)傳輸?shù)囊延衦tp或http傳輸協(xié)議的傳輸協(xié)議。為了高效地傳送多媒體內容，d.1層221生成多媒體傳輸所需的網絡信息和關于多媒體內容的特性的信息。

d.2層222考慮到各種網絡類型生成用于執(zhí)行流控制和糾錯功能的信息，其對應于類似于圖1中的已有udp或tcp協(xié)議的網絡傳輸協(xié)議。

d.3層223提供了涉及在如圖2中所示的所有層之間的信息傳輸?shù)墓δ?。也就是說，d.3層223使能多媒體內容在層之間的傳遞以及最終必須的通信，以便最優(yōu)化多媒體內容的生成、傳遞、以及消費。d.3層223執(zhí)行用于滿足多媒體內容的體驗質量(qualityofexperience，qoe)的操作，生成用于這些操作的信息，并且必要時，將信息傳送給接收多媒體內容的實體。而且，d.3層223允許多媒體內容滿足其在遞送層中的qos，并且為此，執(zhí)行與圖2的所有層的通信。

控制層具有以下配置和功能。控制層根據(jù)用于控制的目標層被劃分為三個層。

c.1層231通過使用在封裝層e.1211、e.2212、e.3213中生成的信息，生成傳遞和消費多媒體內容所需的信息，并且將所生成的信息提供給用戶設備。所述傳遞和消費多媒體內容所需的信息是指，例如，內容消費所需的信息，諸如構成多媒體的內容的種類，內容之間的關系、內容的消費次序、以及可以通過其來發(fā)現(xiàn)多媒體內容的發(fā)現(xiàn)信息(discoveryinformation)。

c.2層232為d.1層221和d.2層222提供媒體傳輸所需的控制功能。例如，c.2層232控制d.1層221執(zhí)行考慮到多媒體內容的幀配置。就這一點而言，c.2層232考慮到多媒體內容被通過各種網絡傳送的情況而對d.1層221執(zhí)行控制。而且，c.2層232為d.2層222提供了用于傳送多媒體內容的會話的流控制。

c.3層233存取和控制低于遞送層的各層，即，ip(網際協(xié)議)層240、數(shù)據(jù)鏈路層250、或物理層260。例如，c.3層233從數(shù)據(jù)鏈路層250接收網絡傳輸延遲測量信息，并通過使用所接收的信息，允許遞送層適當?shù)貍魉投嗝襟w內容。而且，c.3層233可以從物理層260接收傳輸誤差率信息，并且執(zhí)行減少傳輸誤差率所需的適當控制。用于減少傳輸誤差率的控制示例可以是重新傳送發(fā)生錯誤的已傳送數(shù)據(jù)包的指令。

圖3示出了使用具有如圖2中所示的結構的mmt(mpeg媒體傳遞)接口傳送的多媒體的ip數(shù)據(jù)包的結構。

操作圖2中的每一層所要求的信息被包括在構成圖3的ip數(shù)據(jù)包300的有效載荷的每個相應層報頭中。在圖3中，ip數(shù)據(jù)包300包括ip報頭301和有效載荷310。有效載荷310包括每層報頭，其中包括在上述每層中生成的信息。

更具體地，在媒體編碼層中生成的媒體編碼的(mediacoded)數(shù)據(jù)以存取單元為單位被包括在e.3層有效載荷307、309中。e3層報頭306、308包括在相應層中生成的與存取單元相關的信息，e.2層報頭305包括在相應層中生成的基本碼流中繼的(elementarystream-relayed)信息，而e.1層報頭304包括在相應層中生成的合成信息和代表性傳輸特性值。此外，d.1層報頭303包括在相應層中生成的關于多媒體內容的特性的信息，而d.2層報頭302包括用于流控制和糾錯的信息。

在本發(fā)明中，由于使用在圖3中示出的ip數(shù)據(jù)包結構傳遞需要的信息，所以支持特定層的網絡實體能夠從相應層報頭中獲取將在相應層中執(zhí)行的功能所需的信息而不用訪問其有效載荷。

圖4示出了通過使用根據(jù)本發(fā)明實施例的mmt系統(tǒng)而為用戶實際提供服務的示例。

圖4的這個示例對應于提供用于在http協(xié)議上傳送高級視頻編解碼器(avc)數(shù)據(jù)的服務的示例，并且示出了能夠只使用e.1層411和c.1層431來提供該服務的情況。這樣，本發(fā)明能夠通過只使用在圖2中定義的層中的一些來為用戶提供相應的服務來提供服務。

圖5示出了使用根據(jù)本發(fā)明實施例的多媒體系統(tǒng)傳送的、具有傳輸文件格式的形式的服務。

在e.3層513中，編碼的媒體數(shù)據(jù)514以存取單元為單位進行解片段(defragmented)。這通過圖5中的e.3塊示出。

e.3層數(shù)據(jù)被存儲在e.2層512中，并且e.1層511包括多媒體內容的合成信息和代表性傳輸特性值，其中多媒體內容的合成信息是d層和c層讀取與包括基本碼流的服務或會話相關的信息并將其作為服務提供所需的信息，而代表性傳輸特性值允許多媒體內容被適當?shù)叵M。由于用戶可以從相應媒體服務開始后的任意時間點訪問多媒體服務，比如在用戶在提供相應的多媒體服務的中間打開tv終端的情況下，需要重復地表示(express)合成信息和代表性傳輸特性值。

在低于e.1層511的各層中，d.1層521包括傳輸相應的數(shù)據(jù)包所需的網絡信息以及關于對應的多媒體內容的特性的信息，而d.2層522包括使用ip層的傳輸所需的網絡信息和用于流控制和糾錯的信息。

圖6示出了使用根據(jù)本發(fā)明實施例的多媒體系統(tǒng)傳送的媒體內容數(shù)據(jù)的數(shù)據(jù)包結構。

在圖6中，根據(jù)內容數(shù)據(jù)的類型和屬性被切分(sliced)為適當大小的媒體片(mediaslice)601作為e.3數(shù)據(jù)包602的有效載荷被包格式化(packetized)。而且，e.3數(shù)據(jù)包602在被以存取單元為單位進行劃分時被e.2數(shù)據(jù)包603包格式化。而且，e.2數(shù)據(jù)包603在被以基本碼流為單位進行劃分時被e.1數(shù)據(jù)包604包格式化。e.1數(shù)據(jù)包604與用于使用tcp或udp層進行傳輸?shù)男畔⒁约瓣P于多媒體內容的特性的信息一起，由d.1數(shù)據(jù)包605包格式化。d.1數(shù)據(jù)包605與使用ip層進行傳輸所需的信息以及用于流控制和糾錯的信息一起，由d.2數(shù)據(jù)包606包格式化。最后，d.2數(shù)據(jù)包606由傳統(tǒng)的ip數(shù)據(jù)包607包格式化。

根據(jù)如上所述的本發(fā)明，通過使用集中框架(convergedframework)，各種多媒體內容能夠以最小化的成本最優(yōu)化地傳送。因此，由于不僅能夠為用戶高效地提供與多媒體相關的內容，而且多媒體內容的供應商還能夠通過一個集中的系統(tǒng)提供服務，從而改善了提供服務時的效率和靈活性。

雖然已經參考本發(fā)明的一定實施例示出和描述了本發(fā)明，本領域技術人員將理解，可以在這里進行形式和細節(jié)上的各種改變，而不脫離由所附權利要求定義的本發(fā)明的精神和范圍。