專(zhuān)利名稱(chēng)：發(fā)送和接收運(yùn)動(dòng)圖像數(shù)據(jù)的方法及其設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種音頻-視頻發(fā)送機(jī)和音頻-視頻接收機(jī)、數(shù)據(jù)處理設(shè)備和方法、 波形數(shù)據(jù)發(fā)送方法和設(shè)備和波形數(shù)據(jù)接收方法和設(shè)備以及視頻發(fā)送方法和設(shè)備和視 頻接收方法和設(shè)備。
背景技術(shù)：
已有一種設(shè)備，它滿足了感覺(jué)到你面前出現(xiàn)的對(duì)方圖像實(shí)際存在的要求，其目 的在于進(jìn)行現(xiàn)實(shí)圖像通信，這是通過(guò)從例如有你本人的風(fēng)景圖像中提取出某人的圖 像，然后，將此人的圖像(即對(duì)方發(fā)送來(lái)的某人的圖像)和要與預(yù)先存儲(chǔ)的對(duì)方圖像 一起顯示的虛擬空間圖像相互疊加，并加以顯示來(lái)實(shí)現(xiàn)的(日本專(zhuān)利申請(qǐng)No. 4-24914)。具體地說(shuō)，在已有技術(shù)的情況下，已有了涉及加速圖像合成和減小存儲(chǔ)器的方 法的一些發(fā)明(例如日本專(zhuān)利公開(kāi)No. 5-46592的官方公報(bào)圖像合成器)。雖然已有技術(shù)已提出了利用圖像合成對(duì)兩維靜止圖像或三維CG數(shù)據(jù)進(jìn)行合成的 通信系統(tǒng)，但從下面的觀點(diǎn)來(lái)看，同時(shí)合成多幅圖像和多路聲音并進(jìn)行顯示的系 統(tǒng)，其實(shí)現(xiàn)方法還沒(méi)有進(jìn)行具體討論。艮口，從下面列舉的方法來(lái)看，存在沒(méi)有具體討論的課題。(Al)—種方法，它利用在一條或多條實(shí)際傳輸線路上由軟件構(gòu)成的多條邏輯傳 輸線路獨(dú)立地傳輸數(shù)據(jù)和控制信息(由與控制終端側(cè)處理數(shù)據(jù)不同的數(shù)據(jù)包傳輸?shù)男?息)的環(huán)境下傳輸(通信和廣播)并控制圖像和聲音。(A2)—種方法，它動(dòng)態(tài)地改變要加到待發(fā)送的圖像或聲音數(shù)據(jù)中的首部信息(對(duì) 應(yīng)于本發(fā)明的控制信息)；(A3) —種方法，它動(dòng)態(tài)地改變要加入的首部信息(對(duì)應(yīng)于本發(fā)明的傳輸控制信 息)，以便進(jìn)行傳輸；(A4)—種方法，它通過(guò)動(dòng)態(tài)動(dòng)復(fù)接和分離多條邏輯傳輸線路來(lái)傳輸信息；(A5)—種方法，它考慮了節(jié)目或數(shù)據(jù)的讀取和增長(zhǎng)周期，以傳輸圖像和聲音；(A6)—種考慮了快速切換傳輸圖像和聲音的方法。然而，就動(dòng)態(tài)調(diào)整要傳輸?shù)骄W(wǎng)絡(luò)的數(shù)據(jù)量而言，己提出了改變編碼系統(tǒng)的方法 和根據(jù)圖像幀的類(lèi)型討論幀數(shù)據(jù)的方法(H. Jinzenji和T. Tajiri撰寫(xiě)的分配自適 應(yīng)型V0D系統(tǒng)的研究，D-8，刊登于電子、信息和通信工程學(xué)會(huì)(IEICE)系統(tǒng)社的D-8(1995))。能在受限制的處理時(shí)間下提供高質(zhì)量圖像的動(dòng)態(tài)通過(guò)量換算算法己作為一種調(diào) 整編碼器側(cè)的通過(guò)量提出(T. 0sako 、 Yaj ima 、 H. Kodera 、 H. Watanabe 、 K. shinia肌rra等撰寫(xiě)的利用動(dòng)態(tài)通過(guò)量換算算法對(duì)軟件視頻進(jìn)行編碼，刊登于IEICE的 論文期刊D-2， Vol. 80-D-2，第二期，第444-458頁(yè)，1997)。而且，存在MPEG1/MPEG2系統(tǒng)作為實(shí)現(xiàn)同步再現(xiàn)圖像和聲音的例子。(Bl)對(duì)應(yīng)于圖像幀的類(lèi)型討論圖像的傳統(tǒng)方法有這樣一個(gè)問(wèn)題，即通過(guò)處理多 個(gè)視頻數(shù)據(jù)流或多個(gè)音頻數(shù)據(jù)流，難以與聲音同步地重點(diǎn)再現(xiàn)重要的場(chǎng)面，反映編 輯的意圖，這是由于可以處理的信息的等級(jí)位于單一信息流中。(B2)而且，由于其必要條件是用硬件來(lái)實(shí)現(xiàn)MPEG1/MPEG2，所以解碼器必須可 以對(duì)每個(gè)提供的位流進(jìn)行解碼。因此，其問(wèn)題就是如何適應(yīng)超出解碼器通過(guò)出量的 情況。此外，為了傳輸圖像，己有一些系統(tǒng)，例如H.261(ITU-T建議H.261的px. 64 聲像業(yè)務(wù)視頻編碼解碼器)，并且它們是用硬件組裝的。因此，由于在設(shè)計(jì)硬件時(shí)考 慮了必要性能的上限，所以沒(méi)有產(chǎn)生不能在指定時(shí)間內(nèi)完成解碼的情況。上面的指定時(shí)間表示發(fā)送編碼一張圖像獲得的位流所需要的時(shí)間。如果解碼不 能在該時(shí)間內(nèi)完成，其額外的時(shí)間就成為延遲。如果把這種延遲累積，則發(fā)送側(cè)到 接收側(cè)的的延遲就增加，系統(tǒng)就不能用作可視電話。這種狀態(tài)必須避免。而且，當(dāng)由于通信對(duì)方產(chǎn)生了規(guī)定以外的位流而不能在指定時(shí)間內(nèi)完成解碼 時(shí)，則就產(chǎn)生不能傳輸圖像的問(wèn)題。上述問(wèn)題不僅產(chǎn)生在視頻數(shù)據(jù)中，而且也產(chǎn)生在音頻數(shù)據(jù)中。然而，近年來(lái)，由于個(gè)人計(jì)算機(jī)(PC)所形成網(wǎng)絡(luò)環(huán)境的布局帶來(lái)互聯(lián)網(wǎng)和ISDN 的擴(kuò)展，所以傳輸速率已得到改善，已經(jīng)可以利用PC和網(wǎng)絡(luò)傳輸圖像。而且，用戶 傳輸圖像的要求也已高速增長(zhǎng)。又由于CPU性能已得到改善，所以完全可以用軟件 來(lái)對(duì)視頻信號(hào)的解碼。然而，由于結(jié)構(gòu)上不同的個(gè)人計(jì)算機(jī)，例如CPU、總線寬度或加速器等方面不 同的個(gè)人計(jì)算機(jī)可以執(zhí)行相同的軟件，所以預(yù)先考慮必要性能的上限是困難的，因 此，產(chǎn)生了圖像不能在指定時(shí)間內(nèi)解碼的問(wèn)題。而且，當(dāng)發(fā)送長(zhǎng)度超過(guò)接收機(jī)通過(guò)量的視頻編碼數(shù)據(jù)，就不能在指定時(shí)間內(nèi)完 成編碼。課題(C1):減小在指定時(shí)間內(nèi)解碼圖像的延遲。當(dāng)把視頻信號(hào)輸入成本發(fā)明的權(quán)利要求C1的波形數(shù)據(jù)，或者把視頻信號(hào)輸出成 本發(fā)明的權(quán)利要求C7的波形數(shù)據(jù)作為解決問(wèn)題1的手段時(shí)，剩下的問(wèn)題是由于部分傳輸位流沒(méi)有利用，傳輸線路的實(shí)際工作效率降低。而且，存在一些根據(jù)最后的編 碼圖像(例如p圖像)，產(chǎn)生當(dāng)前解碼視頻的編碼系統(tǒng)。然而，由于最后的解碼圖像 通過(guò)解決問(wèn)題1的手段沒(méi)有完全恢復(fù)，所以存在著隨時(shí)間變化而使圖像質(zhì)量劣化的 嚴(yán)重的問(wèn)題。課題(C2):在解決問(wèn)題1的手段的情況下，傳輸線路的實(shí)際工作效率降低。而且，擴(kuò)大了圖像質(zhì)量的劣化。在用軟件安裝的情況下，圖像的幀速率是由一次編碼所需要的時(shí)間來(lái)指定的。 因此，當(dāng)用戶指定的幀速率超過(guò)計(jì)算機(jī)的通過(guò)量時(shí)，不可能符合這種指定。課題(C3):當(dāng)用戶指定的幀速率超過(guò)計(jì)算機(jī)的通過(guò)量時(shí)，不可能符合這種指定?？紤]第一種已有技術(shù)的課題(Al)至(A6)，本發(fā)明的目的在于提供一種音頻-視頻 發(fā)送機(jī)和音頻-視頻接收機(jī)以及數(shù)據(jù)處理設(shè)備和方法，以至少解決上述問(wèn)題之一。且，考慮第二種已有技術(shù)的課題(B1)至(B2)，本發(fā)明的另一目的在于提供一種 數(shù)據(jù)處理設(shè)備和方法，以至少解決上述問(wèn)題之一。再，考慮第三種已有技術(shù)的課題(C1)至(C3)，本發(fā)明的再一目的在于提供一種 波形數(shù)據(jù)接收方法和設(shè)備、波形數(shù)據(jù)發(fā)送方法和設(shè)備以及視頻發(fā)送方法和設(shè)備和視頻接收方法和設(shè)備，以至少解決上述問(wèn)題之一。 發(fā)明內(nèi)容本發(fā)明的第1方面是一種音頻-視頻發(fā)送設(shè)備，它包含發(fā)送裝置，通過(guò)與要發(fā)送 的數(shù)據(jù)的傳輸線路相同的傳輸線路或與該數(shù)據(jù)傳輸線路不同的傳輸線路發(fā)送涉及傳 輸方法的內(nèi)容和/或要發(fā)送的數(shù)據(jù)的結(jié)構(gòu)或?qū)?nèi)容作為發(fā)送格式信息表示的標(biāo)識(shí)符； 其中所述要發(fā)送的數(shù)據(jù)是視頻數(shù)據(jù)和/或音頻數(shù)據(jù)。在本發(fā)明的音頻-視頻發(fā)送設(shè)備中，所述發(fā)送格式信息至少包括在加到所述數(shù)據(jù) 上以控制所述數(shù)據(jù)的數(shù)據(jù)控制信息、加到所述數(shù)據(jù)上以發(fā)送所述數(shù)據(jù)的發(fā)送控制信 息和控制終端側(cè)的處理的信息三者之一中。在本發(fā)明的音頻-視頻發(fā)送設(shè)備中，至少所述數(shù)據(jù)控制信息、發(fā)送控制信息和控 制所述終端側(cè)處理的信息三者之一動(dòng)態(tài)地改變。在本發(fā)明的音頻-視頻發(fā)送設(shè)備中，所述數(shù)據(jù)被分成多個(gè)數(shù)據(jù)包，所述數(shù)據(jù)控制 信息或所述發(fā)送控制信息不僅加到所述分割數(shù)據(jù)包的首數(shù)據(jù)包，也加到中間數(shù)據(jù)包 中。在本發(fā)明的音頻-視頻發(fā)送設(shè)備中，將是否使用與所述數(shù)據(jù)有關(guān)的定時(shí)信息作為 表示所述數(shù)據(jù)的再現(xiàn)時(shí)間的信息表示的標(biāo)識(shí)符包括在所述發(fā)送格式信息中。在本發(fā)明的音頻-視頻發(fā)送設(shè)備中，所述發(fā)送格式信息是所述數(shù)據(jù)的結(jié)構(gòu)信息， 接收所述數(shù)據(jù)的發(fā)送結(jié)構(gòu)信息的接收設(shè)備輸出的信號(hào)確認(rèn)該結(jié)構(gòu)信息可以接收后， 所述發(fā)送裝置向所述接收設(shè)備發(fā)送相應(yīng)的數(shù)據(jù)。在本發(fā)明的音頻-視頻發(fā)送設(shè)備中，所述發(fā)送格式信息包括(l)標(biāo)識(shí)接收設(shè)備以 后使用的節(jié)目或數(shù)據(jù)的標(biāo)識(shí)符和(2)作為獲知所述節(jié)目或數(shù)據(jù)使用的特定時(shí)間或使用 所述節(jié)目或數(shù)據(jù)的有效期的信息的標(biāo)記、計(jì)數(shù)和定時(shí)三者中至少一種。在本發(fā)明的音頻-視頻發(fā)送設(shè)備中，利用發(fā)送序列號(hào)把所述節(jié)目或數(shù)據(jù)使用的所 述特定時(shí)間作為發(fā)送控制信息來(lái)發(fā)送，以識(shí)別傳輸序列，或者作為與控制終端側(cè)處 理的數(shù)據(jù)不同的數(shù)據(jù)包要發(fā)送的信息來(lái)。在本發(fā)明的音頻-視頻發(fā)送設(shè)備中，還包括存儲(chǔ)裝置，用于存儲(chǔ)多項(xiàng)涉及所述傳 輸方法的內(nèi)容和/或所述要發(fā)送的數(shù)據(jù)的結(jié)構(gòu)及其多個(gè)標(biāo)識(shí)符，所述標(biāo)識(shí)符至少包括 在所述數(shù)據(jù)控制信息、發(fā)送控制信息和控制終端側(cè)處理的作為所述發(fā)送格式信息的 信息三者之一中。在本發(fā)明的音頻-視頻發(fā)送設(shè)備中，還包括存儲(chǔ)裝置，用于存儲(chǔ)多項(xiàng)涉及所述傳 輸方法的內(nèi)容和/或所述要發(fā)送的數(shù)據(jù)的結(jié)構(gòu)，所述內(nèi)容至少包括在所述數(shù)據(jù)控制信 息、發(fā)送控制信息和控制終端側(cè)處理的作為所述傳輸格式信息的信息三者之一中。在本發(fā)明的音頻-視頻發(fā)送設(shè)備中，增加了缺省標(biāo)識(shí)符，以表示是否改變涉及所 述傳輸方法的內(nèi)容和或要發(fā)送的數(shù)據(jù)的結(jié)構(gòu)。在本發(fā)明的音頻-視頻發(fā)送設(shè)備中，把所述標(biāo)識(shí)符或所述缺省標(biāo)識(shí)符加到待發(fā)送 信息的的長(zhǎng)度固定的預(yù)定區(qū)域中或所述預(yù)定位置上。本發(fā)明的音頻-視頻接收設(shè)備，包含接收裝置，接收上述任一個(gè)音頻-視頻發(fā) 送設(shè)備發(fā)送的所述發(fā)送格式信息；發(fā)送信息解釋裝置，解釋所述接收的發(fā)送格式信 息。在本發(fā)明的音頻-視頻接收設(shè)備中還包括存儲(chǔ)裝置，用于存儲(chǔ)多項(xiàng)涉及傳輸方法 的內(nèi)容和/或所述要傳輸?shù)臄?shù)據(jù)的結(jié)構(gòu)及其多個(gè)標(biāo)識(shí)符；把存儲(chǔ)在所述存儲(chǔ)裝置中的 內(nèi)容用于解釋所述發(fā)送格式信息。本發(fā)明的音頻-視頻發(fā)送設(shè)備，它包含信息多路復(fù)用裝置，用于控制多路復(fù)用 傳輸數(shù)據(jù)和/或控制信息的；多條邏輯傳輸線的信息的開(kāi)始和結(jié)束；其中，不僅把所 述信息多路復(fù)用裝置多路復(fù)用的所述數(shù)據(jù)和/或控制信息作為多路復(fù)用控制信息發(fā) 送，也把與所述信息多路復(fù)用裝置的所述多路復(fù)用開(kāi)始和結(jié)束有關(guān)的控制內(nèi)容作為 多路復(fù)用控制信息發(fā)送，所述數(shù)據(jù)包括視頻數(shù)據(jù)和/或音頻數(shù)據(jù)。在本發(fā)明的音頻-視頻發(fā)送設(shè)備中可以選擇安排所述多路復(fù)用控制信息不進(jìn)行多 路復(fù)用，從而在所述數(shù)據(jù)和/或控制信息之前發(fā)送所述多路復(fù)用控制信息，或者通過(guò) 與傳輸所述數(shù)據(jù)和/或控制信息的傳輸線路不同的傳輸線路發(fā)送所述多路復(fù)用控制信 息不進(jìn)行多路復(fù)用。本發(fā)明的音頻-視頻接收設(shè)備，包含接收裝置，接收權(quán)利要求15的音頻-視頻 傳輸裝置發(fā)送的所述多路復(fù)用控制信息和所述多路復(fù)用數(shù)據(jù)和/或控制信息；分離裝 置，根據(jù)所述多路復(fù)用控制信息分離所述多路復(fù)用數(shù)據(jù)和/或控制信息。本發(fā)明的音頻-視頻接收設(shè)備，包含主視聽(tīng)裝置，用于觀看和收聽(tīng)廣播節(jié)目； 輔助視聽(tīng)裝置，用于周期性地檢測(cè)與通過(guò)所述主視聽(tīng)裝置觀看和收聽(tīng)的廣播節(jié)目不 同廣播節(jié)目的狀態(tài)；其中進(jìn)行所述檢測(cè)以便在通過(guò)所述主視聽(tīng)裝置觀看和收聽(tīng)的所 述廣播節(jié)目被轉(zhuǎn)換到其它廣播節(jié)目時(shí)，可以平滑地處理所需的節(jié)目和/或數(shù)據(jù)，所述數(shù)據(jù)包括視頻數(shù)據(jù)和/或音頻數(shù)據(jù)。在本發(fā)明的音頻-視頻發(fā)送設(shè)備中優(yōu)先值可以根據(jù)情況，通過(guò)發(fā)送表示處理所述8數(shù)據(jù)的優(yōu)先級(jí)的信息的偏移值來(lái)改變。本發(fā)明的音頻-視頻接收設(shè)備，包含接收裝置，接收預(yù)加到與在過(guò)載狀態(tài)下處 理的優(yōu)先級(jí)有關(guān)的信息的編碼信息；優(yōu)先級(jí)確定裝置，用確定閾值，作為選擇是否 處理所述接收裝置接收到的所述信息內(nèi)的對(duì)象的標(biāo)準(zhǔn)；其中把輸出所述接收信息的時(shí)間與在開(kāi)始處理后經(jīng)過(guò)的時(shí)間比較，或者把解碼所述 接收信息的時(shí)間與開(kāi)始處理后經(jīng)過(guò)的時(shí)間比較，以根據(jù)比較結(jié)果改變所述閾值，并 包括視頻數(shù)據(jù)和/或音頻數(shù)據(jù)，作為編碼對(duì)象。在本發(fā)明的音頻-視頻接收設(shè)備中包括重發(fā)請(qǐng)求優(yōu)先級(jí)確定裝置，用于需要重發(fā)所述信息時(shí)，確定閾值，作為選擇是否請(qǐng)求重發(fā)一些在發(fā)送中丟失而沒(méi)有接收到的 所述信息的標(biāo)準(zhǔn)，并且所述確定閾值是至少根據(jù)所述優(yōu)先級(jí)確定裝置控制的優(yōu)先 級(jí)、重發(fā)次數(shù)、信息丟失因數(shù)、幀內(nèi)編碼幀之間的插入間隔以及優(yōu)先級(jí)劃分之一確 定的。本發(fā)明的音頻-視頻發(fā)送設(shè)備，包含重發(fā)優(yōu)先級(jí)確定裝置，用于請(qǐng)求重發(fā)所述 未接收信息時(shí)，確定閾值，作為選擇是否請(qǐng)求重發(fā)一些因發(fā)送時(shí)丟失而沒(méi)有接收到 的所述信息的標(biāo)準(zhǔn)，其中，所述確定閾值是至少根據(jù)權(quán)利要求20的所述音頻-視頻 接收設(shè)備的優(yōu)先級(jí)確定裝置控制的優(yōu)先級(jí)、重發(fā)次數(shù)、信息丟失因數(shù)、幀內(nèi)編碼幀 之間的插入間隔以及優(yōu)先級(jí)劃分之一確定的。本發(fā)明的音頻-視頻發(fā)送設(shè)備，利用加到所述編碼信息中的優(yōu)先級(jí)傳輸所述編碼 信息，從而若(1)實(shí)際傳輸速率超過(guò)視頻或音頻信息目標(biāo)傳輸速率或(2)把開(kāi)始傳輸 后經(jīng)過(guò)的時(shí)間與加到所述編碼信息的解碼或輸出周期相比結(jié)果判定把所述編碼信息 寫(xiě)入到發(fā)送緩存器延遲，則使發(fā)送信息減少。本發(fā)明的數(shù)據(jù)處理設(shè)備，它包含.*接收裝置，接收數(shù)據(jù)序列，該數(shù)據(jù)序列包括 (l)音頻或視頻時(shí)間序列數(shù)據(jù)，(2)表示所述時(shí)間序列數(shù)據(jù)值之間處理的優(yōu)先級(jí)的時(shí) 間序列數(shù)據(jù)間優(yōu)先級(jí)，以及(3)多個(gè)時(shí)間序列數(shù)據(jù)內(nèi)優(yōu)先級(jí)，后者用于劃分所述時(shí)間 序列數(shù)據(jù)值，以表示所劃分?jǐn)?shù)據(jù)值之間的處理優(yōu)先級(jí)；數(shù)據(jù)處理裝置，當(dāng)同時(shí)出現(xiàn)多個(gè)所述時(shí)間序列數(shù)據(jù)值時(shí)，同時(shí)利用所述互時(shí)間序列數(shù)據(jù)間優(yōu)先級(jí)和所述時(shí)間序 列數(shù)據(jù)內(nèi)優(yōu)先級(jí)進(jìn)行處理。本發(fā)明的數(shù)據(jù)處理設(shè)備，包含接收裝置，接收數(shù)據(jù)系列，該數(shù)據(jù)系列包括 (l)音頻或視頻時(shí)間序列數(shù)據(jù)，(2)表示所述時(shí)間序列數(shù)據(jù)值之間處理的優(yōu)先級(jí)的時(shí) 間序列數(shù)據(jù)間優(yōu)先級(jí)，以及(3)多個(gè)內(nèi)時(shí)間序列數(shù)據(jù)內(nèi)優(yōu)先級(jí)，后者用于劃分所述時(shí) 間序列數(shù)據(jù)值，以表示所劃分?jǐn)?shù)據(jù)值之間的處理優(yōu)先級(jí)；數(shù)據(jù)處理裝置，根據(jù)所述時(shí)間序列數(shù)據(jù)間優(yōu)先級(jí)為每個(gè)所述時(shí)間序列數(shù)據(jù)值分配通過(guò)量，而且，根據(jù)所述時(shí) 間序列數(shù)據(jù)內(nèi)優(yōu)先級(jí)自適應(yīng)地降低所述時(shí)間序列數(shù)據(jù)內(nèi)所劃分?jǐn)?shù)據(jù)的處理質(zhì)量，以 把每個(gè)所述時(shí)間序列數(shù)據(jù)保持在所述分配的通過(guò)量?jī)?nèi)。本發(fā)明的數(shù)據(jù)處理設(shè)備，其特征在于，當(dāng)每幀所述視頻數(shù)據(jù)提升視頻的時(shí)間序 列數(shù)據(jù)內(nèi)優(yōu)先級(jí)，并且把每幀的所述視頻數(shù)據(jù)分割成多個(gè)數(shù)據(jù)包時(shí)，僅把所述時(shí)間 序列數(shù)據(jù)內(nèi)優(yōu)先級(jí)加到數(shù)據(jù)包的首部，以把可訪問(wèn)的一幀所述視頻數(shù)據(jù)的首部作為 獨(dú)立的信息傳輸。根據(jù)上述任-的數(shù)據(jù)處理設(shè)備，其中所述時(shí)間序列數(shù)據(jù)內(nèi)優(yōu)先級(jí)在數(shù)據(jù)包的首 部描述，以進(jìn)行優(yōu)先級(jí)處理。根據(jù)上述任一的數(shù)據(jù)處理設(shè)備，其中，能表示所述時(shí)間序列數(shù)據(jù)內(nèi)優(yōu)先級(jí)的值 的范圍是可變的，以進(jìn)行優(yōu)先級(jí)處理。本發(fā)明的數(shù)據(jù)處理方法，它包含下列步驟輸入數(shù)據(jù)序列，該數(shù)據(jù)序列包括-音頻或視頻時(shí)間序列數(shù)據(jù)和表示所述時(shí)間序列數(shù)據(jù)值之間處理的優(yōu)先級(jí)的時(shí)間序列 數(shù)據(jù)間優(yōu)先級(jí)；以及利用所述時(shí)間序列數(shù)據(jù)間優(yōu)先級(jí)把優(yōu)先級(jí)處理成相對(duì)或絕對(duì)優(yōu) 先級(jí)值。本發(fā)明的數(shù)據(jù)處理方法，它包含下列步驟對(duì)音頻或視頻時(shí)間序列數(shù)據(jù)進(jìn)行分 類(lèi)；輸入數(shù)據(jù)系列，該數(shù)據(jù)系列包括所述時(shí)間序列數(shù)據(jù)和表示所述分類(lèi)數(shù)據(jù)值之間 處理優(yōu)先級(jí)的多個(gè)時(shí)間序列數(shù)據(jù)內(nèi)優(yōu)先級(jí)；利用所述時(shí)間序列數(shù)據(jù)內(nèi)優(yōu)先級(jí)把優(yōu)先 級(jí)處理成相對(duì)或絕對(duì)優(yōu)先級(jí)值。而且，為了解決課題(C1)，本發(fā)明的特征在于根據(jù)上述的波形數(shù)據(jù)發(fā)送方 法，輸入例如視頻信號(hào)作為波形數(shù)據(jù)；或上述的波形數(shù)據(jù)接收方法，輸出例如視頻 信號(hào)作為波形數(shù)據(jù)。而且，為了解決課題(C2)，本發(fā)明的特征在于(d)根據(jù)上述的波形數(shù)據(jù)接收方法，輸出通過(guò)估計(jì)獲得的每組執(zhí)行時(shí)間；或(d) 輸入由每組執(zhí)行時(shí)間構(gòu)成的數(shù)據(jù)串；(e) 根據(jù)上述的波形數(shù)據(jù)發(fā)送方法，按照接收裝置的每一執(zhí)行時(shí)間，對(duì)每組執(zhí)行 次數(shù)計(jì)數(shù)，以在發(fā)送由速率控制器等的標(biāo)示所確定的碼長(zhǎng)所需要的時(shí)間內(nèi)完成解碼。而且，為了解決課題(C3)，本發(fā)明的特征在于(d)根據(jù)對(duì)視頻信號(hào)編碼所需要的時(shí)間和計(jì)數(shù)裝置輸出的各執(zhí)行次數(shù)，估計(jì)每組 執(zhí)行時(shí)間；(e)根據(jù)上述的波形數(shù)據(jù)發(fā)送方法，利用上述執(zhí)行時(shí)間估計(jì)對(duì)視頻信號(hào)編碼所需要的處理時(shí)間，并計(jì)算處理時(shí)間不超過(guò)由用戶指定的幀速率確定的可用于處理一張 圖像的時(shí)間的每組執(zhí)行次數(shù)。本發(fā)明具有上述結(jié)構(gòu)，以獲得必要處理的執(zhí)行次數(shù)和非必要處理的執(zhí)行次數(shù) 后，向接收側(cè)發(fā)送執(zhí)行次數(shù)，并根據(jù)執(zhí)行次數(shù)和解碼時(shí)間估計(jì)每個(gè)處理所需要的時(shí)間。根據(jù)對(duì)每個(gè)處理的估計(jì)時(shí)間，減少非必要處理的執(zhí)行次數(shù)，使解碼所需要的時(shí) 間比指定時(shí)間短，這樣可以把解碼時(shí)間控制到指定時(shí)間或更短，以保持延遲小。而且，通過(guò)向發(fā)送側(cè)發(fā)送接收側(cè)估計(jì)的必要處理的執(zhí)行時(shí)間和非必要處理的執(zhí) 行時(shí)間，并在發(fā)送側(cè)根據(jù)每個(gè)執(zhí)行時(shí)間確定每個(gè)執(zhí)行次數(shù)可以把解碼執(zhí)行時(shí)間設(shè)置 成等于或小于指定時(shí)間的值。而且，通過(guò)估計(jì)必要處理的執(zhí)行時(shí)間和非必要處理的執(zhí)行時(shí)間，并根據(jù)每個(gè)執(zhí) 行時(shí)間和由用戶指定的幀速率決定的用戶指定時(shí)間確定每個(gè)執(zhí)行次數(shù)，可以把編碼 估計(jì)時(shí)間設(shè)置成等于或小于用戶的指定時(shí)間的值。本發(fā)明的一種發(fā)送設(shè)備，其特征在于，具有將傳輸格式信息發(fā)送到接收設(shè)備的 發(fā)送部分，所述傳輸格式信息包含識(shí)別在所述接收設(shè)備使用的程序或者數(shù)據(jù)的標(biāo)識(shí) 符，和與所述標(biāo)識(shí)符相關(guān)聯(lián)、表示在所述接收設(shè)備自動(dòng)啟動(dòng)所述程序或者所述數(shù)據(jù) 的開(kāi)始時(shí)間的開(kāi)始時(shí)間信息。本發(fā)明的一種發(fā)送設(shè)備，其特征在于，具有將傳輸格式信息發(fā)送到接收設(shè)備的 發(fā)送部分，所述傳輸格式信息包含識(shí)別在所述接收設(shè)備使用的程序或者數(shù)據(jù)的標(biāo)識(shí) 符，和與所述標(biāo)識(shí)符相關(guān)聯(lián)、表示在所述接收設(shè)備處理所述程序或者所述數(shù)據(jù)的期 間的處理期間信息。本發(fā)明的一種接收設(shè)備，其特征在于，具備接收傳輸格式信息的接收部分， 所述傳輸格式信息包含識(shí)別程序或者數(shù)據(jù)的標(biāo)識(shí)符，和與所述標(biāo)識(shí)符相關(guān)聯(lián)、表示自動(dòng)啟動(dòng)所述程序或者所述數(shù)據(jù)的開(kāi)始時(shí)間的開(kāi)始時(shí)間信息；以及根據(jù)所述標(biāo)識(shí)符和所述開(kāi)始時(shí)間信息，自動(dòng)啟動(dòng)所述程序或者所述數(shù)據(jù)的控制部分。本發(fā)明的一種接收設(shè)備，其特征在于，具備接收傳輸格式信息的接收部分， 所述傳輸格式信息包含識(shí)別程序或者數(shù)據(jù)的標(biāo)識(shí)符，和與所述標(biāo)識(shí)符相關(guān)聯(lián)、表示 處理所述程序或者所述數(shù)據(jù)的期間的處理期間信息；以及根據(jù)所述標(biāo)識(shí)符和所述處理期間信息，自動(dòng)啟動(dòng)所述程序或者所述數(shù)據(jù)的控制部分。本發(fā)明的一種通信系統(tǒng)，所述通信系統(tǒng)具有發(fā)送設(shè)備和接收設(shè)備，其特征在于，所述發(fā)送設(shè)備具有發(fā)送傳輸格式信息的發(fā)送部分，所述傳輸格式信息包含識(shí)別 在所述接收設(shè)備使用的程序或者數(shù)據(jù)的標(biāo)識(shí)符，和與所述標(biāo)識(shí)符相關(guān)聯(lián)、表示在所 述接收設(shè)備自動(dòng)啟動(dòng)所述程序或者所述數(shù)據(jù)的開(kāi)始時(shí)間的開(kāi)始時(shí)間信息，所述接收 設(shè)備具有從發(fā)送設(shè)備接收所述傳輸格式信息的接收部分；以及根據(jù)所述標(biāo)識(shí)符和 所述開(kāi)始時(shí)間信息，自動(dòng)啟動(dòng)所述程序或者所述數(shù)據(jù)的控制部分。本發(fā)明的一種通信系統(tǒng)，所述通信系統(tǒng)具有發(fā)送設(shè)備和接收設(shè)備，其特征在 于，所述發(fā)送設(shè)備具有發(fā)送傳輸格式信息的發(fā)送部分，所述傳輸格式信息包含識(shí)別 在所述接收設(shè)備使用的程序或者數(shù)據(jù)的標(biāo)識(shí)符，和與所述標(biāo)識(shí)符相關(guān)聯(lián)、表示在所 述接收設(shè)備處理所述程序或者所述數(shù)據(jù)的處理期間的處理期間信息，所述接收設(shè)備 具有從發(fā)送設(shè)備接收所述傳輸格式信息的接收部分；以及根據(jù)所述標(biāo)識(shí)符和所述 處理期間信息，自動(dòng)啟動(dòng)所述程序或者所述數(shù)據(jù)的控制部分。本發(fā)明的一種發(fā)送方法，其特征在于，具有將傳輸格式信息發(fā)送到接收設(shè)備的 步驟，所述傳輸格式信息包含識(shí)別在所述接收設(shè)備使用的程序或者數(shù)據(jù)的標(biāo)識(shí)符， 和與所述標(biāo)識(shí)符相關(guān)聯(lián)、表示在所述接收設(shè)備自動(dòng)啟動(dòng)所述程序或者所述數(shù)據(jù)的開(kāi) 始時(shí)間的開(kāi)始時(shí)間信息。本發(fā)明的一種發(fā)送方法，其特征在于，具有將傳輸格式信息發(fā)送到接收設(shè)備的 步驟，所述傳輸格式信息包含在所述接收設(shè)備使用的識(shí)別程序或者數(shù)據(jù)的標(biāo)識(shí)符， 和與所述標(biāo)識(shí)符相關(guān)聯(lián)、表示在所述接收設(shè)備處理所述程序或者所述數(shù)據(jù)的期間的 處理期間信息。本發(fā)明的一種接收方法，其特征在于，具備接收傳輸格式信息的步驟，所述 傳輸格式信息包含識(shí)別程序或者數(shù)據(jù)的標(biāo)識(shí)符，和與所述標(biāo)識(shí)符相關(guān)聯(lián)、表示自動(dòng)起動(dòng)所述程序或者所述數(shù)據(jù)的開(kāi)始時(shí)間的開(kāi)始時(shí)間信息；以及根據(jù)所述標(biāo)識(shí)符和所述開(kāi)始時(shí)間信息，自動(dòng)啟動(dòng)所述程序或者所述數(shù)據(jù)的步驟。本發(fā)明的一種接收方法，其特征在于，具備接收傳輸格式信息的步驟，所述 傳輸格式信息包含識(shí)別程序或者數(shù)據(jù)的標(biāo)識(shí)符，和與所述標(biāo)識(shí)符相關(guān)聯(lián)、表示處理 所述程序或者所述數(shù)據(jù)的期間的處理期間信息；以及根據(jù)所述標(biāo)識(shí)符和所述處理期間信息，自動(dòng)啟動(dòng)所述程序或者所述數(shù)據(jù)的步驟。本發(fā)明的一種通信方法，其特征在于，具備發(fā)送傳輸格式信息的步驟，所述 傳輸格式信息包含在所述接收設(shè)備使用的識(shí)別程序或者數(shù)據(jù)的標(biāo)識(shí)符，和與所述標(biāo) 識(shí)符相關(guān)聯(lián)、表示在所述接收設(shè)備自動(dòng)啟動(dòng)所述程序或者所述數(shù)據(jù)的開(kāi)始時(shí)間的開(kāi) 始時(shí)間信息；接收所述傳輸格式信息的步驟；以及根據(jù)所述標(biāo)識(shí)符和所述開(kāi)始時(shí)間信息，自 動(dòng)啟動(dòng)所述程序或者所述數(shù)據(jù)的步驟。本發(fā)明的一種通信方法，其特征在于，具備發(fā)送傳輸格式信息的步驟，所述 傳輸格式信息包含在所述接收設(shè)備使用的識(shí)別程序或者數(shù)據(jù)的標(biāo)識(shí)符，和與所述標(biāo) 識(shí)符相關(guān)聯(lián)、表示在所述接收設(shè)備處理所述程序或者所述數(shù)據(jù)的處理期間的處理期 間信息；接收所述傳輸格式信息的步驟；以及根據(jù)所述標(biāo)識(shí)符和所述處理期間信 息，自動(dòng)啟動(dòng)所述程序或者所述數(shù)據(jù)的步驟。附圖概述

圖1是本發(fā)明一個(gè)實(shí)施例的音頻-視頻收發(fā)裝置的示意性框圖； 圖2是接收控制部分和分離部分的示意圖；圖3是利用多個(gè)邏輯傳輸線路發(fā)送和控制視頻和音頻的方法的示意圖；圖4是動(dòng)態(tài)地改變加到要的視頻或音頻數(shù)據(jù)中的首部信息的方法的示意圖；圖5 (a)和5 (b)是增加AL信息的方法的示意圖；圖6 (a)至6 (d)是增加AL信息的方法的例子的示意圖；圖7是通過(guò)動(dòng)態(tài)動(dòng)多路復(fù)用和分離多個(gè)邏輯傳輸線路傳輸信息的方法的示意圖；圖8是傳輸廣播節(jié)目過(guò)程的示意圖；圖9(a)示出了當(dāng)在接收端出現(xiàn)節(jié)目或數(shù)據(jù)時(shí)，考慮了程序或數(shù)據(jù)的讀取和啟動(dòng) 時(shí)間的圖像或聲音發(fā)送方法；圖9(b)示出了當(dāng)傳輸節(jié)目或數(shù)據(jù)時(shí)，考慮了程序或數(shù)據(jù)讀取或啟動(dòng)時(shí)間傳輸視 頻或音頻的方法；圖10(a)是對(duì)應(yīng)于快速切換的方法的示意圖；圖10(b)是對(duì)應(yīng)于快速切換的方法的示意圖；圖ll(a)示出了在終端之間實(shí)際傳輸?shù)膮f(xié)議的具體例子；圖ll(b)示出了在終端之間實(shí)際傳輸?shù)膮f(xié)議的具體例子；圖12示出了在終端之間實(shí)際傳輸?shù)膮f(xié)議的具體例子；圖13(a)示出了在終端之間實(shí)際傳輸?shù)膮f(xié)議的具體例子；圖13(b)示出了在終端之間實(shí)際傳輸?shù)膮f(xié)議的具體例子；圖13(c)示出了在終端之間實(shí)際傳輸?shù)膮f(xié)議的具體例子；圖14示出了在終端之間實(shí)際傳輸?shù)膮f(xié)議的具體例子；圖15示出了在終端之間實(shí)際傳輸?shù)膮f(xié)議的具體例子；圖16(a)示出了在終端之間實(shí)際傳輸?shù)膮f(xié)議的具體例子；圖16(b)示出了在終端之間實(shí)際傳輸?shù)膮f(xié)議的具體例子； 圖17示出了在終端之間實(shí)際傳輸?shù)膮f(xié)議的具體例子； 圖18示出了在終端之間實(shí)際傳輸?shù)膮f(xié)議的具體例子；圖19(a)示出了在終端之間實(shí)際傳輸?shù)膮f(xié)議的具體例子；圖19(b)示出了在終端之間實(shí)際傳輸?shù)膮f(xié)議的具體例子；圖20(a)至20(c)是本發(fā)明CGD的示范系統(tǒng)的框圖；圖21示出了編碼器過(guò)載時(shí)附加優(yōu)先級(jí)的方法；圖22示出了過(guò)載時(shí)，在接收終端決定優(yōu)先級(jí)的方法；圖23示出了臨時(shí)改變優(yōu)先級(jí)；圖24示出了數(shù)據(jù)流優(yōu)先級(jí)和對(duì)象優(yōu)先級(jí)；圖25是本發(fā)明一個(gè)實(shí)施例的視頻編碼器和視頻解碼器的示意性框圖； 圖26是本發(fā)明一個(gè)實(shí)施例的音頻編碼器和音頻解碼器的示意性框圖； 圖27(a)和27(b)示出了過(guò)載時(shí)控制優(yōu)先級(jí)處理的優(yōu)先級(jí)附加部分和優(yōu)先級(jí)決定部分；圖28 (a)和28 (b)示出了附加優(yōu)先等級(jí)； 圖29示出了向多分辨率視頻數(shù)據(jù)分配優(yōu)先級(jí)的方法； 圖30示出了構(gòu)成通信有效負(fù)載的方法； 圖31示出對(duì)應(yīng)于通信有效負(fù)載產(chǎn)生數(shù)據(jù)的方法；圖32示出了對(duì)象優(yōu)先級(jí)、數(shù)據(jù)流優(yōu)先級(jí)和通信數(shù)據(jù)包優(yōu)先級(jí)之間的關(guān)系；圖33是本發(fā)明第一實(shí)施例的發(fā)送機(jī)的框圖；圖34是第一實(shí)施例的示意圖；圖35是本發(fā)明第三實(shí)施例的接收機(jī)的框圖；圖36是本發(fā)明第五實(shí)施例的接收機(jī)的框圖；圖37是第五實(shí)施例的示意圖；圖38是本發(fā)明第六實(shí)施例的發(fā)送機(jī)的框圖；圖39是本發(fā)明第八實(shí)施例的發(fā)送機(jī)的框圖；圖40是本發(fā)明第二實(shí)施例的發(fā)送方法的流程圖；圖41是本發(fā)明第四實(shí)施例的接收方法的流程圖；圖42是本發(fā)明第七實(shí)施例的發(fā)送方法的流程圖；圖43是本發(fā)明第九實(shí)施例的發(fā)送方法的流程圖； 圖44是本發(fā)明音頻-視頻發(fā)送裝置的框圖； 圖45是本發(fā)明音頻-視頻接收裝置的框圖；圖46示出了向本發(fā)明的音頻-視頻發(fā)送裝置的視頻和音頻數(shù)據(jù)增加優(yōu)先級(jí)的優(yōu) 先級(jí)附加裝置的解釋圖；圖47示出了通過(guò)解釋加到本發(fā)明的音頻-視頻接收裝置的視頻和音頻數(shù)據(jù)中的 優(yōu)先級(jí)決定是否進(jìn)行解碼的優(yōu)先級(jí)確定裝置的解釋圖。符號(hào)說(shuō)明11接收控制部分 12分離部分 13發(fā)送部分14視頻擴(kuò)展部分(圖像擴(kuò)展部分)15視頻擴(kuò)展控制部分(圖像擴(kuò)展控制部分)16視頻合成部分(圖像合成部分)17輸出部分18終端控制部分4011發(fā)送控制部分4012視頻編碼部分(圖像編碼部分)4013接收控制部分4014視頻解碼部分(圖像解碼部分)4015視頻合成部分(圖像合成部分)4016輸出部分4101視頻編碼器(圖像編碼器)4102視頻解碼器(圖像解碼器)301接收裝置302估計(jì)裝置303視頻解碼器(即運(yùn)動(dòng)圖像解碼器) 304次數(shù)削減裝置306 輸出端307 輸入端3031可變長(zhǎng)解碼裝置3032反正交變換裝置 3033切換器 3034運(yùn)動(dòng)補(bǔ)償裝置 3035執(zhí)行時(shí)間測(cè)量裝置本發(fā)明的實(shí)施方式 下面參照附圖描述本發(fā)明的實(shí)施例。下面描述的實(shí)施例主要解決上述課題(Al)至(A6)中的任一項(xiàng)。 本發(fā)明所用的"圖像"包括靜止圖像和運(yùn)動(dòng)圖像。而且，作為對(duì)象的圖像可以 是象計(jì)算機(jī)圖形(CG)的兩維圖像或由線框模型構(gòu)成的三維圖像數(shù)據(jù)。 圖1是本發(fā)明一個(gè)實(shí)施例的音頻-視頻收發(fā)機(jī)的示意性框圖。 在圖1中，接收信息的接收控制部分11和發(fā)送信息的發(fā)送部分13是諸如同軸 電纜、CATV、 LAN和調(diào)制解調(diào)器等的信息傳輸裝置。通信環(huán)境可以是能用多條邏輯傳 輸線路而不用考慮多路復(fù)用裝置的環(huán)境，例如互聯(lián)網(wǎng)，或者可以是必須考慮多路復(fù) 用裝置的環(huán)境，例如模擬電話或衛(wèi)星廣播。而且，作為終端連接系統(tǒng)，可列舉在諸如視頻電話或電話會(huì)議系統(tǒng)等終端之間 進(jìn)行雙向傳送視頻或音頻數(shù)據(jù)的系統(tǒng)，或通過(guò)衛(wèi)星廣播、CATV或互聯(lián)網(wǎng)播發(fā)廣播型 視頻或音頻數(shù)據(jù)的系統(tǒng)。本發(fā)明考慮了這些終端連接系統(tǒng)。圖1所示的分離部分12是用于分析接收到的信息并把數(shù)據(jù)與控制信息分離的裝 置。具體地說(shuō)，分離部分12將發(fā)送用的附加到數(shù)據(jù)中的發(fā)送首部信息和數(shù)據(jù)進(jìn)行分 解，或者附加到數(shù)據(jù)自身中的數(shù)據(jù)控制首部和數(shù)據(jù)內(nèi)容進(jìn)行分解。圖像擴(kuò)展部分14 是擴(kuò)展接收到的圖像的裝置。例如，要擴(kuò)展的圖像可以是標(biāo)準(zhǔn)化的運(yùn)動(dòng)(動(dòng)態(tài))或靜 止圖像的壓縮圖像，例如H.261, H.263, MPEG 1/2或JPEG等，也可以不是上述 的壓縮圖像。圖1所示的圖像擴(kuò)展控制部分15是用于監(jiān)視圖像擴(kuò)展?fàn)顟B(tài)的裝置。例如，通過(guò) 監(jiān)視圖像的擴(kuò)展?fàn)顟B(tài)，當(dāng)接收緩存器幾乎要溢出時(shí)，可以空讀接收緩存器，而不擴(kuò) 展圖像，并在處于可以進(jìn)行圖像的擴(kuò)展?fàn)顟B(tài)時(shí)，可以重新開(kāi)始擴(kuò)展圖像。在圖1中，圖像合成部分16是用于合成擴(kuò)展圖像的裝置。圖像合成方法可以通 過(guò)用諸如JAVA、 VRML或MHEG等腳本語(yǔ)言，描述圖像及其結(jié)構(gòu)信息來(lái)(顯示位置和顯 示時(shí)間(而且，還可以包括顯示周期))、對(duì)圖像分組的方法、圖像顯示層(深度)、對(duì) 象ID(以后描述的SSRC)以及它們的屬性之間的關(guān)系來(lái)定義。描述合成方法的腳本通過(guò)網(wǎng)絡(luò)或本地存儲(chǔ)器輸入或輸出。輸出部分17是顯示器或打印機(jī)，用于輸出圖像合成結(jié)果。終端控制部分18是 用于控制每個(gè)部分的裝置。此外，可以采用擴(kuò)展聲音而不是圖像的結(jié)構(gòu)(可以通過(guò)把 圖像擴(kuò)展部分改成聲音擴(kuò)展部分，把圖像擴(kuò)展控制部分改成聲音擴(kuò)展控制部分，把 圖像合成部分改成聲音合成部分來(lái)構(gòu)成這種結(jié)構(gòu))，或者采用擴(kuò)展圖像和聲音的雙 方，在保持時(shí)間上的同步的同時(shí)，進(jìn)行合成和顯示的結(jié)構(gòu)。也可以利用壓縮圖像的圖像壓縮部分?？刂茍D像壓縮部分的圖像壓縮控制部 分、壓縮聲音的聲音壓縮部分和控制聲音壓縮部分的聲音壓縮控制部分來(lái)發(fā)送圖像 和聲音。圖2示出了接收控制部分和分離部分。圖1的接收控制部分11由接收數(shù)據(jù)的數(shù)據(jù)接收部分101和接收控制數(shù)據(jù)的控制 信息的控制信息接收部分102構(gòu)成，分離部分12由存儲(chǔ)解釋傳送內(nèi)容的傳送結(jié)構(gòu) (后面詳述)的傳送格式存儲(chǔ)部分103和根據(jù)存儲(chǔ)在格式存儲(chǔ)部分103內(nèi)的傳送結(jié)構(gòu) 解釋傳送內(nèi)容的傳送信息解釋部分104構(gòu)成，通過(guò)這種結(jié)構(gòu)可以獨(dú)立地接收數(shù)據(jù)和 控制信息。因此，例如，可以使在接收視頻或音頻數(shù)據(jù)的同時(shí)刪除或移動(dòng)該數(shù)據(jù)變 得容易。如上所述，作為接收控制部分11的對(duì)象的通信環(huán)境可以利用能使用多條邏輯傳 輸線路而不用考慮多路復(fù)用裝置的環(huán)境(互聯(lián)網(wǎng)類(lèi)環(huán)境)，如互聯(lián)網(wǎng)，也可以利用必 須考慮多路復(fù)用裝置的環(huán)境(原類(lèi)環(huán)境)的，如模擬電話或衛(wèi)星廣播等。然而，從用 戶的角度來(lái)看，以備有多條邏輯傳輸線路(邏輯通道)(例如，在可以使用TCP/IP的 通信環(huán)境的情況下，通常使用稱(chēng)為"通信端口"的表述)的通信環(huán)境為前提。如圖2所示，假設(shè)接收控制部分11接收一種或多種類(lèi)型的數(shù)據(jù)傳輸線路和一種 或多種類(lèi)型的控制邏輯傳輸線路，以控制要傳輸?shù)臄?shù)據(jù)。也可以準(zhǔn)備多條傳輸線路 傳輸數(shù)據(jù)，也可以?xún)H準(zhǔn)備一條傳輸線路控制數(shù)據(jù)。還可以準(zhǔn)備一條傳輸線路在每次 數(shù)據(jù)傳輸時(shí)控制數(shù)據(jù)，如在H.323也使用的RTP/RTCP。當(dāng)考慮利用UDP的廣播時(shí)， 可以使用利用單個(gè)通信端口(多播地址)的通信系統(tǒng)。圖3的示意圖用于解釋利用多條邏輯傳輸線路傳輸和控制視頻和音頻數(shù)據(jù)的方 法。將要發(fā)送的數(shù)據(jù)本身稱(chēng)為ES(基本數(shù)據(jù)流)，如果是圖像的話，它可以是一幀的 圖像信息或小于一幀的G0B單位、或者宏塊單位的圖像信息。如果是音頻數(shù)據(jù)的話，可以使用用戶決定的固定長(zhǎng)度。而且，把要附加到要發(fā) 送的數(shù)據(jù)中的數(shù)據(jù)控制首部信息稱(chēng)為AL(自適應(yīng)層信息)。作為AL信息，可以舉出表示是否為能處理數(shù)據(jù)的開(kāi)始位置的信息、表示數(shù)據(jù)再現(xiàn)時(shí)刻的信息和表示數(shù)據(jù)處理 的優(yōu)先級(jí)的信息等。本發(fā)明的數(shù)據(jù)控制信息對(duì)應(yīng)于AL信息。而且，本發(fā)明所用的ES 和AL不一定必須與MPEG 1/2所定義的內(nèi)容一致。表示是否為可以處理數(shù)據(jù)的開(kāi)始位置的信息具體包括兩種類(lèi)型的信息。第一種 是隨機(jī)訪問(wèn)標(biāo)記，g卩，如果是圖像的話，是表示如幀內(nèi)(I圖像)那樣的可以個(gè)別讀取 和獨(dú)立再現(xiàn)前后數(shù)據(jù)的信息。第二種是表示作為可以個(gè)別讀取的標(biāo)記，可以定義成 訪問(wèn)標(biāo)記，gP，如果是圖像的話，表示其為G0B單位的圖像的開(kāi)始位置，或者為圖 像宏塊開(kāi)始位置的信息。因此，如果沒(méi)有訪問(wèn)標(biāo)記那就表示其為數(shù)據(jù)的途中部分。 這兩種隨機(jī)訪問(wèn)標(biāo)記和隨機(jī)標(biāo)記作為表示能處理數(shù)據(jù)的開(kāi)始位置的信息，并非總是 需要的。有時(shí)候在諸如視頻會(huì)議等的實(shí)時(shí)通信的情況下，不附加這兩種標(biāo)記，也不會(huì)產(chǎn) 生問(wèn)題。然而，為了簡(jiǎn)化編輯工作，隨機(jī)訪問(wèn)標(biāo)記是必需的。也可以在傳送數(shù)據(jù)之 前，通過(guò)通信通道決定標(biāo)記是否需要，或者需要何種標(biāo)記。指示數(shù)據(jù)再現(xiàn)時(shí)刻的信息表示再現(xiàn)圖像和聲音時(shí)的時(shí)間同步的信息，在MPEG 1/2的情況下，它稱(chēng)為PTS(展現(xiàn)時(shí)間標(biāo)志)。由于在諸如視頻會(huì)議等實(shí)時(shí)通信的情況 下， 一般不考慮時(shí)間同步，所以表示再現(xiàn)時(shí)間的信息并不一定是必需的。編碼幀之 間的時(shí)間間隔可以是必需的信息。通過(guò)在接收側(cè)調(diào)整時(shí)間間隔，可以防止幀間隔有較大波動(dòng)。然而，接收側(cè)由于 調(diào)整再現(xiàn)間隔而發(fā)生延遲。因此，有時(shí)可以判定表示編碼幀之間幀間隔的時(shí)間信息 是不必要的。為了確定表示數(shù)據(jù)再現(xiàn)時(shí)間的信息是表示PTS還是表示幀間隔，也可以決定在 傳輸數(shù)據(jù)之前，通過(guò)通信通道傳送數(shù)據(jù)再現(xiàn)吋間不附加到數(shù)據(jù)本身中，并把該決定 通知接收終端，也可以與所決定的數(shù)據(jù)控制信息一起傳送數(shù)據(jù)。當(dāng)由于接收終端的負(fù)載或網(wǎng)絡(luò)的負(fù)載的原因而不能處理或發(fā)送表示處理數(shù)據(jù)的 優(yōu)先級(jí)的信息時(shí)，可以停止處理或發(fā)送數(shù)據(jù)，也可以減小接收終端或網(wǎng)絡(luò)的負(fù)載。接收終端可以用圖像擴(kuò)展控制部分15處理數(shù)據(jù)，在網(wǎng)絡(luò)的情況下可以用中繼終 端或路由器進(jìn)行處理?？梢杂脭?shù)值或標(biāo)記表示優(yōu)先級(jí)。而且，在接收終端或網(wǎng)絡(luò)的 負(fù)載有突然的波動(dòng)吋，把表示數(shù)據(jù)處理優(yōu)先級(jí)的信息的偏移值作為控制信息或數(shù)據(jù) 控制信息(AL信息)與數(shù)據(jù)一起發(fā)送，并將該偏移值與預(yù)先分配給視頻或音頻數(shù)據(jù)的 優(yōu)先級(jí)值相加，由此，可以對(duì)應(yīng)于系統(tǒng)的操作狀態(tài)設(shè)置動(dòng)態(tài)優(yōu)先級(jí)。而且，通過(guò)把識(shí)別是否有加密編碼、是否有版權(quán)、以及是原件還是復(fù)制件等的1信息作為控制信息與和數(shù)據(jù)分開(kāi)的數(shù)據(jù)標(biāo)識(shí)符(SSRC)—起發(fā)送，可以容易地去除在中繼節(jié)點(diǎn)的加擾。表示數(shù)據(jù)處理優(yōu)先級(jí)的信息可以由多個(gè)圖像或聲音的幀集合構(gòu)成的流單位附 加，也可以視頻或音頻數(shù)據(jù)的幀單位附加。為發(fā)送終端單元提供優(yōu)先級(jí)附加裝置，該裝置為利用諸如H.263或G.723等編 碼方法，按照事先規(guī)定的基準(zhǔn)決定在編碼信息過(guò)載情況下的處理優(yōu)先級(jí)，并使編碼 信息對(duì)應(yīng)于確定的優(yōu)先級(jí)的裝置(見(jiàn)圖46)。圖46是用于解釋把優(yōu)先級(jí)加到圖像或聲音中的優(yōu)先級(jí)附加裝置5201的示意圖。艮P，如圖46所示，根據(jù)事先規(guī)定的規(guī)則，對(duì)編碼視頻數(shù)據(jù)(由視頻編碼裝置 5202處理)和編碼音頻數(shù)據(jù)(由音頻編碼裝置5203處理)附加優(yōu)先級(jí)。附加優(yōu)先級(jí)的 規(guī)則存儲(chǔ)在優(yōu)先級(jí)附加規(guī)則5204中。這些規(guī)則包括把比P幀(幀間編碼圖像幀)的優(yōu) 先級(jí)高的優(yōu)先級(jí)附加給I幀(幀內(nèi)編碼圖像幀)的規(guī)則、或者把比音頻數(shù)據(jù)的優(yōu)先級(jí) 低的優(yōu)先級(jí)附加給圖像的規(guī)則。而且，根據(jù)用戶的指定可以改變這些規(guī)則。優(yōu)先級(jí)附加對(duì)象，在圖像的情況下，為場(chǎng)景變化、編輯者或用戶指定的圖像幀 或流、在聲音的情況下，則為有聲區(qū)和無(wú)聲區(qū)。定義在過(guò)載時(shí)的處理的優(yōu)先級(jí)的圖像幀或音頻幀單位的優(yōu)先級(jí)的附加方法把 優(yōu)先級(jí)附加到通信首部的方法和在進(jìn)行編碼時(shí)把優(yōu)先級(jí)嵌入到已對(duì)視頻或音頻數(shù)據(jù) 編碼的位流的首部中的方法，前一方法可以在不進(jìn)行解碼的情況下獲得優(yōu)先級(jí)信 息，而后一方法可以與系統(tǒng)無(wú)關(guān)的地獨(dú)立地處理單一位流。把優(yōu)先級(jí)附加到通信首部的情況，當(dāng)把一圖像幀(例如幀內(nèi)編碼的I幀或幀間編 碼的P或B幀)分成多個(gè)傳輸數(shù)據(jù)包吋，在圖像的情況下，作為獨(dú)立的信息僅在傳送 可訪問(wèn)的圖像幀的首部附加優(yōu)先級(jí)(當(dāng)優(yōu)先級(jí)在相同圖像幀中一樣時(shí)，可以認(rèn)為在下 一個(gè)可訪問(wèn)圖像幀出現(xiàn)之前優(yōu)先級(jí)沒(méi)有改變)。而且，使能表示優(yōu)先級(jí)的值的范圍為可變(例如，可以根據(jù)用途，用16位或32 位表示時(shí)間信息)，也可以用控制信息使其可配置。解碼器具有，根據(jù)所接收各種編碼信息過(guò)載時(shí)的優(yōu)先級(jí)決定處理方法的優(yōu)先級(jí) 決定裝置的接收終端裝置(見(jiàn)圖47)。圖47是用于解釋附加到圖像或聲音中的優(yōu)先級(jí)和決定可否進(jìn)行解碼的優(yōu)先級(jí)確 定裝置5301示意圖。艮口，如圖47所示，優(yōu)先級(jí)包括加到每一圖像或聲音的每一數(shù)據(jù)流的優(yōu)先級(jí)和附19加到每幀圖像或聲音數(shù)據(jù)中的優(yōu)先級(jí)?？梢愿髯元?dú)立地利用這些優(yōu)先級(jí)，或者使幀 優(yōu)先級(jí)對(duì)應(yīng)于數(shù)據(jù)流優(yōu)先級(jí)。優(yōu)先級(jí)確定裝置5301根據(jù)這些優(yōu)先級(jí)確定要解碼的數(shù)據(jù)流或幀。解碼是利用決定終端過(guò)載時(shí)的處理的優(yōu)先級(jí)的兩種類(lèi)型的優(yōu)先級(jí)進(jìn)行的。艮P，定義了用于規(guī)定諸如圖像和聲音的位流之間的相對(duì)優(yōu)先級(jí)的數(shù)據(jù)流優(yōu)先 級(jí)(Stream Priority,時(shí)間序列間優(yōu)先級(jí))；用于規(guī)定諸如相同數(shù)據(jù)流中的圖像幀等 解碼單元之間的相對(duì)優(yōu)先級(jí)(Frajne Priority,時(shí)間序列內(nèi)優(yōu)先級(jí))(圖24)。前一種數(shù)據(jù)流優(yōu)先級(jí)可以處理多個(gè)視頻或音頻數(shù)據(jù)。后一種幀優(yōu)先級(jí)可根據(jù)圖 像的場(chǎng)景的變化、或者編輯者的意圖，即使是同一幀內(nèi)編碼圖像幀(I幀)也可以附加 不同的優(yōu)先級(jí)。通過(guò)使數(shù)據(jù)流優(yōu)先級(jí)對(duì)應(yīng)于分配給對(duì)圖像或聲音進(jìn)行編碼或解碼時(shí)的操作系統(tǒng) (0S)的時(shí)間、或處理的優(yōu)先級(jí)，并進(jìn)行管理，可以在0S層上管理處理時(shí)間。例如， 在微軟公司的Windows 95/NT的情況下，可以在五個(gè)0S層上定義優(yōu)先級(jí)。用軟件以 線程單位實(shí)現(xiàn)編碼或解碼功能時(shí)，可以在分配給各線程的OS層上根據(jù)處理對(duì)象的數(shù) 據(jù)流的數(shù)據(jù)流優(yōu)先級(jí)決定優(yōu)先級(jí)。上述的幀優(yōu)先級(jí)和數(shù)據(jù)流優(yōu)先級(jí)可以應(yīng)用到傳輸媒體或數(shù)據(jù)記錄媒體上。例 如，把要發(fā)送的數(shù)據(jù)包優(yōu)先級(jí)定義為訪問(wèn)單元優(yōu)先級(jí)，可以根據(jù)Access Unit Priority二Stream Priority-Frame Priorit的幀優(yōu)先級(jí)與數(shù)據(jù)流優(yōu)先級(jí)之間的關(guān) 系，決定與數(shù)據(jù)包發(fā)送有關(guān)的優(yōu)先級(jí)和在過(guò)載時(shí)終端的處理優(yōu)先級(jí)。而且，可以把軟盤(pán)或光盤(pán)用作數(shù)據(jù)記錄媒體。再者，記錄媒體不僅限于這些， 而且還可以是諸如IC卡或R0M盒等，只要能記錄程序的物體同樣可實(shí)施。而且，可 以以進(jìn)行數(shù)據(jù)中繼的諸如路由器或網(wǎng)關(guān)等圖像或聲音的中繼裝置為對(duì)象。作為利用優(yōu)先級(jí)的具體方法，當(dāng)接收終端過(guò)載時(shí)，把決定要處理的編碼信息的 優(yōu)先級(jí)閾值的優(yōu)先級(jí)確定裝置設(shè)置于圖像擴(kuò)展控制部分或聲音擴(kuò)展控制部分，把要 顯示的時(shí)間(PTS)與開(kāi)始處理后經(jīng)過(guò)的時(shí)間進(jìn)行比較，或者把要解碼的時(shí)間(DTS)與 開(kāi)始處理后經(jīng)過(guò)的時(shí)間比較，根據(jù)比較結(jié)果改變要處理的編碼信息的優(yōu)先級(jí)閾值(也 可以參照幀的插入間隔或優(yōu)先級(jí)等作為改變閾值的信息)。圖20(a)所示的例子中，在編碼時(shí)，用編碼器饑263)對(duì)具有捕獲的《3(:1 或(:1 尺寸的圖像進(jìn)行編碼，與編碼信息一起輸出表示解碼時(shí)間(DTS)或顯示圖像的時(shí)間的 時(shí)間標(biāo)志(PTS)、表示過(guò)載時(shí)的處理順序的優(yōu)先級(jí)信息(CGD，計(jì)算適度弱化)、幀類(lèi) 型和序列號(hào)(SN)。而且，在圖20(b)所示的例子中，還通過(guò)話筒進(jìn)行錄音，通過(guò)編碼器(G.721)進(jìn) 行編碼，與編碼信息一起輸出解碼時(shí)間(DTS)或表示再現(xiàn)聲音的時(shí)間的時(shí)間標(biāo)志 (PTS)、優(yōu)先級(jí)信息(CGD)和序列號(hào)(SN)。如圖20(c)所示，在解碼時(shí)，把圖像和聲音各自分別提供給緩存器，把它們各 自的DTS(解碼時(shí)間)與開(kāi)始處理后經(jīng)過(guò)的時(shí)間進(jìn)行比較。如果DTS不滯后，則把該圖 像和聲音分別提供給它們相應(yīng)的解碼器(H. 263和G. 721)。圖21的例子描述了一種在編碼器過(guò)載時(shí)附加優(yōu)先級(jí)的方法。對(duì)于圖像，把高優(yōu) 先級(jí)的"0"和"1"分配給I幀(幀內(nèi)編碼圖像幀)(數(shù)字越小，優(yōu)先級(jí)越低)。P幀的 優(yōu)先級(jí)"2"低于I幀。由于把兩種級(jí)別的優(yōu)先級(jí)分配給I幀，所以當(dāng)解碼終端的負(fù) 載較大時(shí)，可以?xún)H再現(xiàn)優(yōu)先級(jí)為"0"的I幀。而且，必須根據(jù)優(yōu)先級(jí)附加方法調(diào)整 I幀的插入間隔。圖22的例子示出了在過(guò)載時(shí)，在接收終端確定優(yōu)先級(jí)的方法。把要廢棄的幀的 優(yōu)先級(jí)設(shè)置成比cutOffPriority大的值。即，把所有的圖像幀都作為處理的對(duì)象。 通過(guò)把附加到圖像幀的優(yōu)先級(jí)最大值從發(fā)送側(cè)通知給接收側(cè)(步驟IOI)可以事先得知 該值。當(dāng)把DTS與開(kāi)始處理之后經(jīng)過(guò)的時(shí)間相比較，并且其結(jié)果是經(jīng)過(guò)的時(shí)間長(zhǎng)于 DTS(當(dāng)解碼處理來(lái)不及時(shí))，則降低要處理的圖像或聲音的優(yōu)先級(jí)闡值，以減少處理 (步驟102)。然而，若開(kāi)始處理之后經(jīng)過(guò)的時(shí)間短于DTS(解碼處理來(lái)得及時(shí))，則增 大優(yōu)先級(jí)的閾值，以增加可以處理的圖像或聲音的數(shù)量(步驟103)。如果該幀之前的圖像跳過(guò)了 P幀，則不進(jìn)行處理。否則把優(yōu)先級(jí)偏移值附加到 圖像幀(或音頻數(shù)據(jù)幀)的優(yōu)先級(jí)上，把該優(yōu)先級(jí)偏移值與優(yōu)先級(jí)閾值比較。當(dāng)該偏 移值不超過(guò)該閾值時(shí)，把要解碼的數(shù)據(jù)提供給解碼器(步驟104)。優(yōu)先級(jí)偏移可用于事先檢査機(jī)器的性能，并把該偏移值傳送給接收終端(用戶也 可以在接收終端進(jìn)行指示)，還可用于改變數(shù)據(jù)流中的多個(gè)視頻和音頻數(shù)據(jù)流的優(yōu)先 級(jí)(例如，通過(guò)增加最后面背景的偏移值來(lái)減少處理)。當(dāng)以多數(shù)據(jù)流為對(duì)象時(shí)，也可以對(duì)每個(gè)數(shù)據(jù)流附加優(yōu)先級(jí)，并判定跳過(guò)對(duì)圖像 或聲音的解碼。而且，在實(shí)時(shí)通信的情況下，通過(guò)處理H.263的TR(臨時(shí)基準(zhǔn))與 DTS同樣的處理，可以判定解碼是超前還是滯后，并且實(shí)現(xiàn)如上面所述的跳過(guò)。圖23示出了利用上述算法進(jìn)行的優(yōu)先級(jí)的時(shí)間的變化。圖23示出了要附加到圖像幀中的優(yōu)先級(jí)的變化。該優(yōu)先級(jí)是在終端過(guò)載時(shí)決定 可否進(jìn)行解碼的優(yōu)先級(jí)，它附加于每一幀中。優(yōu)先級(jí)值越小，優(yōu)先級(jí)越高。在圖23的例子中，0的優(yōu)先級(jí)最高。當(dāng)優(yōu)先級(jí)的閾值為3時(shí)，附加了值大于3的優(yōu)先級(jí)的幀 不進(jìn)行解碼而廢棄，對(duì)附加了值為3或小于3的優(yōu)先級(jí)的幀進(jìn)行解碼。根據(jù)優(yōu)先級(jí)有選擇地廢棄這些幀，可以控制終端的負(fù)載。也可以根據(jù)當(dāng)前處理時(shí)間和附加到各幀的解碼時(shí)間(DTS)之間關(guān)系，動(dòng)態(tài)地決定優(yōu)先級(jí)閾值。根據(jù)同樣的過(guò)程，這種技術(shù) 不僅可以應(yīng)用于圖像幀，也可以應(yīng)用于聲音?？紤]到在傳輸線路為互聯(lián)網(wǎng)等的情況下，在傳送途中丟失的編碼信息需要重發(fā) 示，在接收控制部分設(shè)置決定要重發(fā)的編碼信息的優(yōu)先級(jí)的閾值的重發(fā)請(qǐng)求優(yōu)先級(jí) 確定部分，根據(jù)重發(fā)請(qǐng)求優(yōu)先級(jí)確定部的優(yōu)先級(jí)信息、重發(fā)次數(shù)、信息丟失率、幀 內(nèi)編碼幀的插入間隔、受優(yōu)先級(jí)確定部分控制的優(yōu)先級(jí)的級(jí)別(例如五級(jí)優(yōu)先)，對(duì) 接收控制部分確定要重發(fā)的編碼信息的優(yōu)先級(jí)閾值，并決定附加給需要請(qǐng)求重發(fā)的 編碼信息的優(yōu)先級(jí)閾值，這樣，當(dāng)必須重發(fā)傳輸時(shí)丟失的編碼信息時(shí)，可以?xún)H重發(fā) 接收側(cè)所要求的圖像或音頻數(shù)據(jù)。如果重發(fā)次數(shù)很多或信息丟失率很高，則有必要 提高要重發(fā)信息的優(yōu)先級(jí)，減少重發(fā)次數(shù)或降低丟失率。而且，通過(guò)了解優(yōu)先級(jí)確 定部分使用的優(yōu)先級(jí)，可以防止發(fā)送處理對(duì)象外的信息。在發(fā)送終端，當(dāng)實(shí)際傳送速率超過(guò)發(fā)送端的信息的目標(biāo)傳送速率時(shí)，或者當(dāng)開(kāi) 始傳送處理后經(jīng)過(guò)的時(shí)間與附加到要解碼或顯示的編碼信息的時(shí)間比較，把編碼信 息寫(xiě)入到發(fā)送緩存器的過(guò)程滯后吋，可用附加到編碼信息中的、在接收終端的優(yōu)先 級(jí)決定部分所利用的過(guò)載時(shí)的優(yōu)先級(jí)，通過(guò)減少信息的發(fā)送，使其能夠與目標(biāo)速率 一致地發(fā)送圖像或聲音數(shù)據(jù)。在發(fā)送終端也可以通過(guò)將在接收所進(jìn)行的過(guò)載時(shí)處理 跳過(guò)功能引入到發(fā)送終端，可以控制發(fā)送終端過(guò)載引起的故障。通過(guò)根據(jù)需要僅發(fā)送上述AL信息中必要的信息，可以調(diào)整要發(fā)送到諸如模擬電 話線等窄帶通信通道上的信息量。在發(fā)送數(shù)據(jù)之前決定在發(fā)送終端上要附加到數(shù)據(jù) 自身中的數(shù)據(jù)控制信息，把要使用的數(shù)據(jù)控制信息作為控制信息(例如僅使用隨機(jī)訪 問(wèn)標(biāo)記)傳送給接收終端，并根據(jù)在接收終端獲得的控制信息，通過(guò)重寫(xiě)與存儲(chǔ)在發(fā) 送格式存儲(chǔ)部分103內(nèi)的發(fā)送結(jié)構(gòu)(見(jiàn)圖16)有關(guān)的信息，可以重組在發(fā)送終端所使 用的AL信息(數(shù)據(jù)控制信息)。圖4是一示意圖，用于解釋動(dòng)態(tài)改變要附加到待發(fā)送的視頻或音頻數(shù)據(jù)中的首 部信息的方法。在圖4的例子中，把要發(fā)送的數(shù)據(jù)(ES)分解成數(shù)據(jù)片并以通信首部 的形式在這些數(shù)據(jù)片附加表示數(shù)據(jù)順序關(guān)系的識(shí)別信息(序列號(hào))、表示能處理數(shù)據(jù) 片的開(kāi)始位置的信息(標(biāo)記位)和與數(shù)據(jù)片的傳送有關(guān)的時(shí)間信息(時(shí)間標(biāo)記)，其中 假設(shè)上述各信息對(duì)應(yīng)于本發(fā)明的傳輸控制信息。具體地說(shuō)，RTP(實(shí)時(shí)傳送協(xié)議，RFC1889)利用上述序列號(hào)的信息、標(biāo)記位、時(shí) 間標(biāo)志、對(duì)象ID(稱(chēng)為SSRC)和版本號(hào)作為通信首部。雖然可以擴(kuò)充首部信息項(xiàng)，但 上述各項(xiàng)總是作為固定項(xiàng)附加。然而，當(dāng)諸如視頻電話等實(shí)時(shí)通信和諸如影視點(diǎn)播 等累積媒體的傳輸一起出現(xiàn)在要同時(shí)傳輸多個(gè)不同的編碼圖像或聲音的環(huán)境下時(shí)， 由于通信首部的含義彼此不同，所以必需有識(shí)別手段。例如，在MPEG 1/2情況下，如上所述，時(shí)間標(biāo)記信息表示PTS為再現(xiàn)時(shí)間。然 而，在H.261或H.263中，時(shí)間標(biāo)記信息表示對(duì)信息編碼時(shí)的間隔時(shí)間。但是，當(dāng) 要進(jìn)行使H.263與音頻數(shù)據(jù)同步的處理時(shí)，必須表示時(shí)間標(biāo)記為PTS信息。這是因 為在H. 263的情況下，RTP定義時(shí)間標(biāo)記信息表示編碼幀之間的時(shí)間間隔，第一幀 的時(shí)間標(biāo)記是隨機(jī)的。因此，必須附加(a)表示時(shí)間標(biāo)志是否為PTS的標(biāo)記作為通信首部信息(必須擴(kuò) 充通信首部)、或(b)H.263或H.261的有效負(fù)荷的首部信息(即，AL信息)(在這種 情況下，必須擴(kuò)充有效負(fù)荷信息)。用作表示是否為能處理數(shù)據(jù)片的開(kāi)始位置的信息的標(biāo)記位作為RTP首部信息附 加。而且，作為AL信息，如上所述，往往希望使其具有表示是能訪問(wèn)數(shù)據(jù)的開(kāi)始位 置的訪問(wèn)標(biāo)記和表示可以隨機(jī)訪問(wèn)數(shù)據(jù)以獲得AL信息的隨機(jī)訪問(wèn)標(biāo)記。由于使其雙 重具有通信首部的標(biāo)記而降低了效率，所以也可以考慮由通信首部準(zhǔn)備的標(biāo)記替代 AL標(biāo)記的方法。(c)在通信首部新設(shè)表示不附加AL標(biāo)記將在通信首部所附加的AL標(biāo)記替代，或 定義通信首部的標(biāo)記位與AL相同，(與提供AL標(biāo)記的情況相比，預(yù)期解釋可以更快 地進(jìn)行)，由此，解決上述問(wèn)題。即，采用一種標(biāo)記，表示標(biāo)記位是否具有與AL標(biāo) 記相同的含義。在這種情況下，認(rèn)為可以是通信首部的改良或在擴(kuò)充的范圍內(nèi)描述首部。然而，(d)也可以將通信首部的標(biāo)記位的含義，解釋表示為在AL中至少存在隨 機(jī)訪問(wèn)標(biāo)記和訪問(wèn)標(biāo)記之一。在這種情況下，要知道其含義與原來(lái)的不同，可以由 通信首部的版本號(hào)來(lái)對(duì)應(yīng)。而且，只要通過(guò)在通信首部或AL首部設(shè)置訪問(wèn)標(biāo)記或隨 機(jī)訪問(wèn)標(biāo)記處理是很簡(jiǎn)單的(對(duì)于前者，考慮兩個(gè)首部都設(shè)置標(biāo)記的情況，但必須重 新擴(kuò)充通信首部)。已經(jīng)描述了附加表示數(shù)據(jù)處理優(yōu)先級(jí)的信息，作為AL信息。通過(guò)把數(shù)據(jù)處理優(yōu) 先級(jí)附加到通信首部，可以使數(shù)據(jù)處理優(yōu)先級(jí)的處理的判定，即使在網(wǎng)絡(luò)上也可以 不進(jìn)行數(shù)據(jù)內(nèi)容的解釋而得到處理。而且，在IPv6的情況下，可以在比RTP級(jí)更低的層上附加該優(yōu)先級(jí)。通過(guò)向RTP通信首部附加表示數(shù)據(jù)處理的有效期間的計(jì)時(shí)器或計(jì)數(shù)器，可以判 斷所傳送的數(shù)據(jù)包的狀態(tài)是怎樣變化的。例如，當(dāng)需要的解碼軟件存儲(chǔ)在低訪問(wèn)速 率的存儲(chǔ)器時(shí)，可以由計(jì)數(shù)器或定時(shí)器判斷解碼器所需要的信息以及什么時(shí)候需要 信息。在這種情況下，根據(jù)用途，對(duì)于AL信息來(lái)說(shuō)，計(jì)時(shí)器或計(jì)數(shù)器的優(yōu)先級(jí)信息或數(shù)據(jù)處理的優(yōu)先級(jí)信息不是必需的。圖5 (a)和5 (b)以及圖6 (a)至6 (d)是解釋附加AL信息的方法的示意圖。 通過(guò)向接收終端發(fā)送控制信息，可以選擇處理發(fā)送信息的等級(jí)。所述控制信息 為是如圖5(a)所示，把AL僅加到要發(fā)送的數(shù)據(jù)的首部，還是如圖5(b)所示，在把 要發(fā)送的數(shù)據(jù)(ES)分解成一個(gè)以上的數(shù)據(jù)片之后的各數(shù)據(jù)片中附加把AL。當(dāng)訪問(wèn)滯 后成問(wèn)題時(shí)，通過(guò)把AL附加到細(xì)分割數(shù)據(jù)中是有效的。如上所述，為了事先把在接收側(cè)數(shù)據(jù)控制信息的重組合或把數(shù)據(jù)控制信息配置 到數(shù)據(jù)中的方法的變化傳送給接收終端，接收終端可以利用標(biāo)記、計(jì)數(shù)器或定時(shí)器 的表達(dá)方法，將表述準(zhǔn)備成AL信息或通信首部通知接收終端，使接收終端能順利地 進(jìn)行對(duì)應(yīng)。在上述例子中，描述了避免用AL信息復(fù)制RTP首部(或通信首部)的方法和擴(kuò)充 RTP或AL信息通信首部的方法。然而，對(duì)于本發(fā)明來(lái)說(shuō)，并不總是必須使用RTP。 例如，也可以利用UDP或TCP重新定義獨(dú)立的通信首部或AL信息。雖然互聯(lián)網(wǎng)類(lèi)環(huán) 境有時(shí)利用了 RTP，但在原類(lèi)環(huán)境中并沒(méi)有定義諸如RTP等多功能首部。關(guān)于對(duì)AL 信息和通信首部的思考方法有下面四種類(lèi)型(參見(jiàn)圖6 (a)至6 (d))。(1) 對(duì)RTP或AL信息的首部信息進(jìn)行校正和擴(kuò)充，以使己分配給RTP的首部信 息和已分配給AL的首部信息不重疊(特別是，時(shí)間標(biāo)記的信息重疊，計(jì)時(shí)器、計(jì)數(shù) 器或數(shù)據(jù)處理的優(yōu)先級(jí)信息變成擴(kuò)充信息)?；蛘撸梢岳貌粩U(kuò)充RTP首部和即使 AL信息與RTP重復(fù)也不考慮的方法。它們對(duì)應(yīng)于至此已說(shuō)明的內(nèi)容。由于RTP的一 部分，已實(shí)際上在H. 323被使用化，所以擴(kuò)充具有兼容性的RTP是有效的。(參見(jiàn)圖 6(a)。)(2) 不拘泥于RTP，簡(jiǎn)化通信首部(例如，僅使用序列號(hào)等)，把剩余的內(nèi)容，作 為多功能控制信息提供給AL信息。而且，通過(guò)使得在通信前可變地設(shè)置AL信息使 用的項(xiàng)目，這樣可以靈活地指定發(fā)送格式。(參見(jiàn)圖6(b)。)(3) 不管RTP如何，簡(jiǎn)化AL信息(極端的例子是對(duì)AL不附加信息)，并把控制信 息全部提供給通信首部。將可頻繁地經(jīng)常被參照的通信首部的序列號(hào)、時(shí)間標(biāo)記、24標(biāo)記位、有效負(fù)荷類(lèi)型和對(duì)象ID作為固定信息，并將向數(shù)據(jù)處理優(yōu)先級(jí)信息和定時(shí) 器信息作為擴(kuò)充信息，設(shè)置表示擴(kuò)展信息是否存在的標(biāo)識(shí)符，只要擴(kuò)充信息被定 義，則參考該信息(參見(jiàn)圖6(c)。)(4)與RTP無(wú)關(guān)，簡(jiǎn)化通信首部和AL信息，把通信首部或AL信息作為分開(kāi)的數(shù) 據(jù)包定義其格式并發(fā)送。例如，對(duì)AL信息僅定義標(biāo)記位、時(shí)間標(biāo)記和對(duì)象ID，對(duì)通 信首部也僅定義序列號(hào)，作為與這些信息不同的數(shù)據(jù)包(第二數(shù)據(jù)包)，定義有效負(fù) 載信息、數(shù)據(jù)處理優(yōu)先級(jí)信息和計(jì)時(shí)器信息等并發(fā)送(參見(jiàn)圖6(d)。)如上所述，當(dāng)考慮用途和已附加到圖像或聲音數(shù)據(jù)中的首部信息時(shí)，優(yōu)選根據(jù) 該用途，能自由地定義(定制)與通信首部、AL信息以及數(shù)據(jù)是分開(kāi)發(fā)送的數(shù)據(jù)包(第 二數(shù)據(jù)包)。圖7的示意圖用于解釋通過(guò)動(dòng)態(tài)多路復(fù)用和分離多條邏輯傳輸線路來(lái)傳輸信息 的方法。其通過(guò)在傳輸部分設(shè)置信息多路復(fù)用部分和在接收控制部分設(shè)置信息分離 部分來(lái)實(shí)現(xiàn)。所述信息多路復(fù)用部分為減少邏輯傳輸線路的數(shù)量，根據(jù)用戶的指定 或者所用邏輯傳輸線路的數(shù)量，可以使傳送多個(gè)數(shù)據(jù)或控制信息的邏輯傳輸線路信 息的多路復(fù)用開(kāi)始或者結(jié)束的信息多路復(fù)用部分，該分離部分離所接收的多路復(fù)用 信息。在圖7中，信息多路復(fù)用部分稱(chēng)為"Gto叩MUX"，具體地說(shuō)，它可以使用諸如 H.223的多路復(fù)用系統(tǒng)。可以設(shè)置于傳輸/接收終端Group MUX。通過(guò)將其設(shè)置于中 繼路由器或終端，可以進(jìn)行窄帶通信通道的對(duì)應(yīng)。而且，如果Group MUX在H.223 中實(shí)現(xiàn)，則可以使H. 223和H.324互連。為了快速地取得信息多路復(fù)用部分的控制信息(多路復(fù)用控制信息)，通過(guò)另一 邏輯傳輸線路發(fā)送信息多路復(fù)用部分內(nèi)的控制信息，而在信息多路復(fù)用部分中的控 制信息不與信息多路復(fù)用部分內(nèi)的數(shù)據(jù)進(jìn)行多路復(fù)用，可以減少因多路復(fù)用引起的 延遲。因而，通過(guò)通知是將與信息多路復(fù)用部分有關(guān)的控制信息與數(shù)據(jù)多路復(fù)用后 傳送，還是控制信息不與數(shù)據(jù)進(jìn)行多路復(fù)用，不進(jìn)行多路復(fù)用，而是通過(guò)另一邏輯 傳輸線路傳送，并進(jìn)行傳送，用戶可以選擇是保持與傳統(tǒng)多路復(fù)用的一致性，還是 減少由于多路復(fù)用引起的延遲。在此，關(guān)于信息多路復(fù)用部分的多路復(fù)用控制信息 是例如表示信息多路復(fù)用部分對(duì)每片數(shù)據(jù)進(jìn)行什么樣的多路復(fù)用的、表示多路復(fù)用 的內(nèi)容的信息。同樣，如上所述，根據(jù)表述方法，例如根據(jù)標(biāo)記、計(jì)數(shù)器或計(jì)時(shí)器，可以傳送 發(fā)送方法的通知，該方法至少發(fā)送傳達(dá)多路復(fù)用開(kāi)始和結(jié)束的信息、傳達(dá)多路復(fù)用25邏輯傳輸線路的組合的信息和與多路復(fù)用有關(guān)的控制信息(多路復(fù)用控制信息)的傳 送方法，作為控制信息傳送，或者作為數(shù)據(jù)控制信息與數(shù)據(jù)一起發(fā)送給接收終端， 從而減少在接收側(cè)的設(shè)置時(shí)間。而且，如上所述，可以在傳輸RTP首部設(shè)置表示標(biāo) 記、計(jì)數(shù)器或計(jì)時(shí)器的項(xiàng)目。
當(dāng)存在多個(gè)信息多路復(fù)用部分或多個(gè)信息分離部分時(shí)，只需與標(biāo)識(shí)符一起傳送 用于識(shí)別信息多路復(fù)用部分或信息分離部分控制信息(多路復(fù)用控制信息)，就可以 識(shí)別控制信息屬于哪個(gè)信息多路復(fù)用部分?？刂菩畔?多路復(fù)用控制信息)包括多路 復(fù)用模式等。而且，對(duì)于信息多路復(fù)用部分或信息分離部分的識(shí)別符，可以通過(guò)利 用隨機(jī)數(shù)表在終端之間決定，以產(chǎn)生信息多路復(fù)用部分的標(biāo)識(shí)符。例如，可以在發(fā) 送和接收終端之間規(guī)定的范圍內(nèi)產(chǎn)生隨機(jī)數(shù)，并采用其最大值為信息多路復(fù)用部分 的標(biāo)識(shí)符(識(shí)別號(hào))。
由于信息多路復(fù)用部分多路復(fù)用的數(shù)據(jù)在以前與RTP中定義的多媒體類(lèi)型不 同，所以需要對(duì)RTP有效負(fù)載類(lèi)型定義表示在信息多路復(fù)用部分(定義新媒體類(lèi)型 H. 223)多路復(fù)用的信息。
作為提高對(duì)多路復(fù)用數(shù)據(jù)的訪問(wèn)速度的方法，通過(guò)將信息多路復(fù)用部分傳送或 記錄的信息以控制信息和數(shù)據(jù)信息的順序配置，謀求快速地分析出多路復(fù)用信息。 而且，將根據(jù)附加到控制信息中的數(shù)據(jù)控制信息描述的項(xiàng)目固定，并附加和多路復(fù) 用與數(shù)據(jù)不同的標(biāo)識(shí)符(唯一的模式)，可以快速分析出首部信息。
圖8的示意圖用于解釋廣播節(jié)目的傳輸過(guò)程。通過(guò)把邏輯傳輸線路的標(biāo)識(shí)符與 廣播節(jié)目的標(biāo)識(shí)符之間的對(duì)應(yīng)關(guān)系作為廣播節(jié)目的信息進(jìn)行傳送，或者發(fā)送控制信 息或者使增加將廣播節(jié)目的標(biāo)識(shí)符作為數(shù)據(jù)控制信息(AL信息)附加到數(shù)據(jù)并傳送， 可以辨別出在多條傳輸線路傳輸?shù)臄?shù)據(jù)是為哪個(gè)節(jié)目廣播而廣播的。而且，將數(shù)據(jù) 標(biāo)識(shí)符(在RTP的情況下為SSRC)和邏輯傳輸線路的標(biāo)識(shí)符(例如LAN端口號(hào))之間的 關(guān)系，作為控制信息向接收終端傳送，并在確認(rèn)了接收終端可以接收控制信息之后 (Ack/Reject)，通過(guò)發(fā)送相應(yīng)數(shù)據(jù)，即使控制信息和數(shù)據(jù)都分別通過(guò)獨(dú)立的傳輸線 路傳輸，也可以形成數(shù)據(jù)之間的對(duì)應(yīng)關(guān)系。
將表示對(duì)廣播節(jié)目或數(shù)據(jù)的傳輸順序的標(biāo)識(shí)符和具有表示廣播節(jié)目或數(shù)據(jù)可以 用作信息的有效期限的計(jì)數(shù)器或計(jì)時(shí)器的信息組合起來(lái)。并通過(guò)將其附加到廣播節(jié) 目或數(shù)據(jù)加以發(fā)送，可以實(shí)現(xiàn)無(wú)返回信道的廣播(當(dāng)有效期限幾乎要失效時(shí)，即使信 息不夠，也開(kāi)始再現(xiàn)廣播節(jié)目的信息或數(shù)據(jù))。而且，可以考慮這樣一種方法，即使 用單個(gè)通信端口 (多播地址)，不分離控制信息和數(shù)據(jù)進(jìn)行廣播的方法。在沒(méi)有返回信道的通信中，必須在發(fā)送數(shù)據(jù)之前充分地發(fā)送比數(shù)據(jù)足夠多的控 制信息，以使接收終端能得知數(shù)據(jù)結(jié)構(gòu)。而且，控制信息一般應(yīng)當(dāng)通過(guò)不會(huì)產(chǎn)生數(shù) 據(jù)包丟失的、可靠性高的傳輸信道發(fā)送。然而，當(dāng)利用可靠性低的傳輸信道時(shí)，必 須周期性地發(fā)送具有相同傳輸序列號(hào)的控制信息。然而，這不限于發(fā)送與設(shè)置時(shí)間 有關(guān)的控制信息的情況。
而且，通過(guò)選擇可以作為數(shù)據(jù)信息附加的項(xiàng)目(例如訪問(wèn)標(biāo)記、隨機(jī)訪問(wèn)標(biāo)記、 數(shù)據(jù)再現(xiàn)時(shí)間(PTS)，或數(shù)據(jù)處理優(yōu)先級(jí)信息等)，在發(fā)送數(shù)據(jù)之前并在發(fā)送側(cè)決定
是作為控制信息與數(shù)據(jù)的標(biāo)識(shí)符(SSRC)—起通過(guò)與數(shù)據(jù)的傳輸線路不同邏輯傳輸線 路進(jìn)行傳送，還是把數(shù)據(jù)控制信息作為數(shù)據(jù)控制信息(AL信息)傳送，在接收側(cè)作為 控制信息通知并傳送，可以靈活地控制和傳送數(shù)據(jù)。
因而，可以不向AL附加信息而傳送數(shù)據(jù)信息。因此，在使用RTP傳送圖像或聲 音數(shù)據(jù)時(shí)，就不必?cái)U(kuò)大對(duì)以前己定義的有效負(fù)載的定義。
圖9(a)和9(b)為考慮了程序或數(shù)據(jù)的讀取和啟動(dòng)時(shí)間的圖像或聲音的發(fā)送方法 的示意圖。具體地說(shuō)，當(dāng)如沒(méi)有返回信道的單向的如衛(wèi)星廣播或便攜終端那樣，終 端資源為有限時(shí)，或程序或數(shù)據(jù)存在于接收側(cè)終端并使用，以及所需的程序(例如 H.263， MPEG 1/2，或音頻解碼器軟件等)或數(shù)據(jù)(例如視頻數(shù)據(jù)或音頻數(shù)據(jù))存儲(chǔ)在 需要較長(zhǎng)讀取時(shí)間的存儲(chǔ)器(例如DVD、硬盤(pán)或網(wǎng)絡(luò)上的文件服務(wù)器)時(shí)，可以根據(jù)諸 如為事先需要的識(shí)別程序或數(shù)據(jù)的標(biāo)識(shí)符、傳送的數(shù)據(jù)流的標(biāo)識(shí)符(例如SSRC或邏 輯信道號(hào)(logical Channel Number))或估計(jì)在接收端所需要的特定的時(shí)間點(diǎn)標(biāo)記、 計(jì)數(shù)器(升/降計(jì)數(shù))或計(jì)時(shí)器等表述方法，通過(guò)作為控制信息接收，或作為數(shù)據(jù)控 制信息與數(shù)據(jù)一起接收，來(lái)減少所需的程序或數(shù)據(jù)的設(shè)置時(shí)間(圖18)。
當(dāng)發(fā)送程序或數(shù)據(jù)時(shí)，通過(guò)從發(fā)送側(cè)將表示程序或數(shù)據(jù)的接收終端的存儲(chǔ)器地 (例如硬盤(pán)或存儲(chǔ)器)的信息、開(kāi)始或讀取所需的時(shí)間、終端的類(lèi)型或存儲(chǔ)地與開(kāi)始 或讀取所需的時(shí)間之間的對(duì)應(yīng)關(guān)系(例如CPU功率、存儲(chǔ)設(shè)備和平均響應(yīng)時(shí)間之間的 關(guān)系)和與表示利用的順序的程序或數(shù)據(jù)一起發(fā)送，這樣在接收終端實(shí)際上需要程序 或數(shù)據(jù)時(shí)，則可以計(jì)劃安排程序或數(shù)據(jù)的存儲(chǔ)地和讀取時(shí)間。
圖10 (a)和10(b)的示意圖用于解釋對(duì)應(yīng)于快速切換(切換電視頻道)的方法。
與傳統(tǒng)的衛(wèi)星廣播僅接收?qǐng)D像的情況不同，當(dāng)必須在接收終端執(zhí)行程序時(shí)，讀 取程序并到啟動(dòng)的設(shè)置時(shí)間是一個(gè)大問(wèn)題。這對(duì)于可用的資源有限的便攜終端的情 況也存在同樣問(wèn)題。
作為一個(gè)解決方案，可以通過(guò)以下方式減少在接收側(cè)終端的設(shè)置時(shí)間(a)具備利用用戶進(jìn)行觀看和收聽(tīng)的主視聽(tīng)部分和接收終端周期性地視聽(tīng)的輔視聽(tīng)部分，所 述輔視聽(tīng)部分為用于在用戶正在視聽(tīng)的節(jié)目以外的節(jié)目，并所需的程序和數(shù)據(jù)存在 于讀取數(shù)據(jù)需要時(shí)間的存儲(chǔ)裝置中，而接收用戶正在視聽(tīng)的節(jié)目以外的節(jié)目的接收 終端進(jìn)行周期性地視聽(tīng)，并對(duì)事先需要的識(shí)別程序或數(shù)據(jù)的標(biāo)識(shí)符、用于估計(jì)接收 終端所需的特定時(shí)間的標(biāo)記、計(jì)數(shù)器或定時(shí)器的信息以及與節(jié)目之間的對(duì)應(yīng)關(guān)系作 為控制信息(由與數(shù)據(jù)的數(shù)據(jù)包不同的數(shù)據(jù)包發(fā)送給控制終端處理的信息)接收，或 作為數(shù)據(jù)控制信息(AL信息)與數(shù)據(jù)一起接收，并事先準(zhǔn)備讀取程序或數(shù)據(jù)。
作為第二種解決措施，設(shè)置僅廣播通過(guò)多頻信道廣播的圖像的標(biāo)題圖像的廣播 頻道，并由用戶切換節(jié)目，通過(guò)如下方法可以防止屏幕在設(shè)置時(shí)停止顯示。即，當(dāng) 在需要較長(zhǎng)讀取時(shí)間的存儲(chǔ)器中存在所需的程序或數(shù)據(jù)時(shí)， 一旦選擇用戶想視聽(tīng)的 節(jié)目的標(biāo)題圖像，并把它向用戶顯示，或者顯示當(dāng)前正在讀取中，于此同時(shí)由存儲(chǔ) 器讀取所需的程序或數(shù)據(jù)后，重新啟動(dòng)用戶想視聽(tīng)的節(jié)目。在此所述的標(biāo)題圖像包 括對(duì)通過(guò)多頻道廣播的節(jié)目進(jìn)行周期性取樣獲得的廣播圖像。
而且，定時(shí)器體現(xiàn)時(shí)間，例如表示要解碼從發(fā)送側(cè)發(fā)送的數(shù)據(jù)流所需的程序從 現(xiàn)在起到何時(shí)需要。計(jì)數(shù)器是發(fā)送和接收終端之間決定的基本時(shí)間單位，它只要是 表示第幾次的信息即可。標(biāo)記與在設(shè)置所必需的時(shí)間之前發(fā)送的數(shù)據(jù)或控制信息(通 過(guò)與控制終端處理的數(shù)據(jù)的數(shù)據(jù)包不同的數(shù)據(jù)包發(fā)送的信息)一起發(fā)送并通知?？砂?定時(shí)器、計(jì)數(shù)器嵌入到數(shù)據(jù)中發(fā)送，也可以把它們作為控制信息發(fā)送。
而且，作為確定設(shè)置時(shí)間的方法，例如在利用諸如工作在時(shí)基上的ISDN等傳輸 線路時(shí)，把識(shí)別傳輸序列的傳輸序列號(hào)用作控制信息，以通知從發(fā)送終端向接收終 端需要程序或數(shù)據(jù)的時(shí)刻，作為數(shù)據(jù)控制信息與數(shù)據(jù)一起或作為控制信息通知給接 收終端，由此，可以預(yù)測(cè)進(jìn)行設(shè)置的時(shí)間。而且，當(dāng)傳輸時(shí)間由于如互聯(lián)網(wǎng)的跳動(dòng) 或延遲而波動(dòng)時(shí)，則考慮到傳輸?shù)膫鞑r(shí)延，只需根據(jù)已在RTCP(互聯(lián)網(wǎng)使用的媒體 傳輸協(xié)議)實(shí)現(xiàn)的手段，由跳動(dòng)或時(shí)延把傳輸時(shí)間加到設(shè)置時(shí)間中。
圖ll(a)至19(b)示出了終端之間實(shí)際傳送的協(xié)議的具體例子。
在ASN. 1中描述了發(fā)送格式和傳輸過(guò)程。而且，發(fā)送格式根據(jù)ITU的H.245擴(kuò) 展。如圖ll(a)所示，圖像和聲音的對(duì)象可以具有分層結(jié)構(gòu)。在該例子的情況下，每 個(gè)目標(biāo)ID具有廣播節(jié)目標(biāo)識(shí)符(Program ID)和對(duì)象ID(S SRC)的屬性和圖像之間的 結(jié)構(gòu)信息、合成方法用諸如Java或VRML等腳本語(yǔ)言描述。
圖ll(a)示出了對(duì)象之間關(guān)系的例子。
在圖11 (a)中，對(duì)象是諸如聲音、圖像、CG和文本等媒體。在圖ll(a)的例子中，對(duì)象構(gòu)成分層結(jié)構(gòu)。每個(gè)對(duì)象具有節(jié)目號(hào)("Program ID"相當(dāng)于TV頻道)，用 于識(shí)別對(duì)象的"Object ID"對(duì)象標(biāo)識(shí)符。當(dāng)根據(jù)RTP(互聯(lián)網(wǎng)使用的傳輸媒體的媒體 傳輸協(xié)議，實(shí)吋傳輸協(xié)議)傳輸每個(gè)對(duì)象時(shí)，使對(duì)象標(biāo)識(shí)符通過(guò)使其與SSRC(同步源 標(biāo)識(shí)符)對(duì)應(yīng)可以容易地識(shí)別對(duì)象。而且，可以利用諸如JAVA或VRML等描述語(yǔ)言描 述對(duì)象之間的結(jié)構(gòu)。
傳輸對(duì)象的方法可以由兩種類(lèi)型。 一種是廣播型，把對(duì)象單方面從發(fā)送側(cè)終端 發(fā)送。另一種是在發(fā)送和接收終端(終端A和B)之間傳送對(duì)象的類(lèi)型(通信型)。
例如，作為傳輸方法在互聯(lián)網(wǎng)的情況下，可以用RTP。在視頻電話標(biāo)準(zhǔn)的情況 下，利用稱(chēng)作LCNO的傳輸通道，傳輸控制信息。在圖ll(a)的例子中，用多個(gè)傳輸 通道來(lái)傳輸。把相同的節(jié)目通道(Program ID)分配給這些通道。
圖ll(b)的示意圖用于解釋如何實(shí)現(xiàn)這種實(shí)現(xiàn)了本發(fā)明描述的功能的協(xié)議。下 面描述視頻電話標(biāo)準(zhǔn)(H.324和H.323)所用的傳輸協(xié)議(H.245)。本發(fā)明描述的功能 通過(guò)擴(kuò)展H,245來(lái)實(shí)現(xiàn)。
圖ll(b)中的例子示出的描述方法是稱(chēng)為ASN. 1的協(xié)議描述方法。"終端性能 集("Terminal Capabilityset")表述終端的性能。在圖ll(b)的例子中，描述成 "mpeg 4 Capability"的功能是對(duì)傳統(tǒng)H. 245的擴(kuò)展。
在圖12中，"mpeg 4性能"("MPEG4 Capability")描述了可以同時(shí)在終端 處理的最大圖像數(shù)據(jù)("Max Namber of Video")和最大聲音信號(hào)數(shù)("Max Numbe of Sounds")，還描述終端可以實(shí)現(xiàn)的最大多路復(fù)用功能數(shù)("Max Number of Mux，，)。
在圖12中，表示成可以處理的最大對(duì)象量("Number of Process Object ")。而且，描述了表示是否可以改變通信首部(在圖12中表示成AL)的標(biāo) 記。當(dāng)標(biāo)記的值為真時(shí)，可以改變通信首部。為了利用"MPEG 4性能確認(rèn)("MEG 4 Capbility ACK")彼此傳達(dá)在終端之間可以處理的對(duì)象數(shù)，如果被傳達(dá)側(cè)可以接受 (處理)這些對(duì)象，被傳達(dá)側(cè)把"MPEG 4 Capbility ACK"送回給發(fā)送"MPEG 4 Capbility "的終端，如果不能，則向該終端回送"MEPG 4性能拒絕"("MPEG4 Capbility Reject")。
圖13(a)示出了如何描述利用上述Group MUX把多個(gè)邏輯信通道多路復(fù)用成一 個(gè)傳輸通道(在本例中為L(zhǎng)AN傳輸通道)的協(xié)議，以便邏輯通道共用傳輸通道。在圖 13(a)的例子中，使多路復(fù)用裝置(Group MUX)對(duì)應(yīng)于LAN(局域網(wǎng))傳輸通道(LAN端 口號(hào)，"LAN Poxt Number" )。
"Group Mux ID" ( "Group Max ID")是用于鑒別多路復(fù)用裝置的標(biāo)識(shí)符。為了 "創(chuàng)建組Max" ( "Create group Mux")，使終端共 用多路復(fù)用裝置，并在終端之間相互傳送，如果被傳送側(cè)可以接受(使用)該多路復(fù) 用裝置，就向發(fā)送"Greate Group Mux"的終端回送"Greate Gro叩Mux Ack"， 如果不能接受，就向該終端回送"Greate Group Mux Reject"。可以用相同的方法 實(shí)現(xiàn)分離裝置，用作進(jìn)行與多路復(fù)用手段相反的操作的手段。
在圖13(b),描述了刪除已產(chǎn)生的多路復(fù)用手段的情況("Destory Gro叩 Mux":"破壞組Mux")。
在圖13(c)中，描述了 L認(rèn)傳輸通道與多個(gè)邏輯通道之間的關(guān)系。
根據(jù)"LAN Port Numbef"描述LAN的傳輸通道，根據(jù)"邏輯端口號(hào)" ("Logical Port Number")描述了邏輯通道。
在圖13(c)的情況下，可以使一個(gè)LAN的傳輸通道對(duì)應(yīng)多達(dá)15個(gè)邏輯通道。
在圖13中，當(dāng)可以使用的MUX的數(shù)量?jī)H為一個(gè)時(shí)，Gro叩Mux ID就不需要。 而且，為了使用多個(gè)Mux,對(duì)于H. 223的每個(gè)命令都必須有Group Mux ID。可以使 用標(biāo)記，以通知多路復(fù)用裝置與分離裝置之間使用的端口之間關(guān)系。還可以使用命 令使其可以選擇是對(duì)控制信息進(jìn)行多路復(fù)用，還是通過(guò)另一邏輯傳輸線傳輸信息。
圖13(a)至圖13(c)所示的解釋例中，傳輸通道利用LAN。然而，也可使用利用 例如H. 223或MPEG 2等的互聯(lián)網(wǎng)協(xié)議的系統(tǒng)。
在圖14中，"開(kāi)邏輯通道"("Open Logical Channel")顯示定義傳輸通道屬 性的協(xié)議描述。在圖14的例子中，"MPEG 4邏輯通道參數(shù)"("MPEG4 Logical Channel Parameters")根據(jù)H. 245協(xié)議擴(kuò)展和定義。
圖15示出了對(duì)于L認(rèn)傳輸通道，表示節(jié)目號(hào)(相當(dāng)于TV頻道)，與節(jié)目的名稱(chēng) 對(duì)應(yīng)("MPEG 4 Logical Cannel Parameters")。
而且，在圖15中"廣播通道節(jié)目"("Broadcesting Channel Program")表示 根據(jù)廣播型發(fā)送LAN傳輸通道與節(jié)目號(hào)之間對(duì)應(yīng)關(guān)系的描述方法。圖15的例子使得 可以發(fā)送多達(dá)1023個(gè)傳輸通道與節(jié)目號(hào)之間對(duì)應(yīng)關(guān)系。由于在廣播的情況下，發(fā)送 側(cè)單方面向接收側(cè)發(fā)送，所以考慮到在傳輸期間的丟失現(xiàn)象，有必要周期性地發(fā)送 這些信息。
在圖16(a)中，描述了作為節(jié)目傳輸?shù)膶?duì)象(例如圖像或聲音)的屬性("MPEG4 對(duì)象類(lèi)別定義")("MPEG4 Object Calssdefinition")。把對(duì)象信息("對(duì)象結(jié)構(gòu) 單元")("Object Structure Element")對(duì)應(yīng)于節(jié)目標(biāo)識(shí)符("Progr柳ID")?？?以使多達(dá)1023個(gè)對(duì)象對(duì)應(yīng)于節(jié)目標(biāo)識(shí)符。對(duì)于對(duì)象信息，描述了 LAN傳輸通道
30("LAN port Number")、表示是否使用加擾的標(biāo)記("加擾標(biāo)記")(Scramble Flag)、終端過(guò)載時(shí)定義改變處理優(yōu)先級(jí)的偏移值的字段("CGD偏移")("CGD Offset")以及識(shí)別要傳輸?shù)拿襟w類(lèi)型(圖像或聲音)的標(biāo)識(shí)符("媒體類(lèi)型")("Media type" )o
在圖16(b)所示的例子中，增加了AL(在本例中，定義成一幀解碼圖像所需的附 加信息)以控制對(duì)ES(在本例中，定義成對(duì)應(yīng)于一幀的圖像的數(shù)據(jù)串)的解碼。對(duì)于 AL信息，定義如下。
(1) 隨機(jī)訪問(wèn)標(biāo)記(表示是否可獨(dú)立再現(xiàn)的標(biāo)記，真表示幀內(nèi)編碼的圖像幀)
(2) 展現(xiàn)時(shí)間標(biāo)志"Presentation Time Stamp"(幀顯示的時(shí)間)
(3) CGD Priority(決定當(dāng)終端過(guò)載時(shí)的處理優(yōu)先級(jí)的優(yōu)先級(jí)的值) 該例子示出了利用RTP(通過(guò)互聯(lián)網(wǎng)傳送連續(xù)的媒體的協(xié)議，即實(shí)時(shí)傳送協(xié)議)
傳送一幀的數(shù)據(jù)串的情況。"AL Reconfiguration"是改變可以用上述的AL表示的 最大值的傳輸表述。
圖16(b)的例子使得可以把多達(dá)2位表示成"隨機(jī)訪問(wèn)標(biāo)記最大位數(shù)" ("Random Access Flag Max Bit")。例如，當(dāng)"0"時(shí)，不使用隨機(jī)訪問(wèn)標(biāo)記 ("Random Access Flag")。當(dāng)有兩位時(shí)，最大值等于3。
而且，可以用實(shí)數(shù)部分和尾數(shù)部分表示(例如3A6)。當(dāng)不設(shè)置數(shù)據(jù)時(shí)，也可以 在缺省確定狀態(tài)下工作。
在圖17中，"設(shè)置請(qǐng)求"("Set叩Request")表示傳輸設(shè)置時(shí)間的傳輸表 述。"Set卯Request"在傳輸節(jié)目之前發(fā)送，使要傳輸?shù)膫鬏斖ǖ捞?hào)("Logical Channel Number")、要執(zhí)行的程序ID("執(zhí)行程序號(hào)")("excutive Program Number")要使用的數(shù)據(jù)ID( "data Number")和要執(zhí)行的命令I(lǐng)D("執(zhí)行命令 號(hào)")("excutive Command Number")成彼此對(duì)應(yīng)，并傳輸給接收終端。而且，作 為另外的表述方法，可以采用執(zhí)行授權(quán)標(biāo)記("flag")、描述在接收"Set叩 Request"多少次時(shí)開(kāi)始執(zhí)行的計(jì)數(shù)器("counter")和表示在經(jīng)過(guò)多少時(shí)間后開(kāi)始 執(zhí)行的定時(shí)器值("timer")，并使它們對(duì)應(yīng)于傳輸通道號(hào)。
作為要提出的請(qǐng)求的例子，可列舉重寫(xiě)AL信息和確保Gro叩Mux的啟動(dòng)時(shí)間。
圖18的示意圖用于解釋傳輸表述，是否利用圖16(b)描述的AL從發(fā)送終端向 接收終端傳送AL("控制AL定義")("Control AL Definstion")。
在圖18中，如果"隨機(jī)訪問(wèn)標(biāo)記使用"("Random Access Flag Use")為真， 則使用隨機(jī)訪問(wèn)標(biāo)記。否則就不使用。可以把AL變化通知作為控制信息通過(guò)與數(shù)據(jù)傳輸通道分開(kāi)的通道進(jìn)行傳輸，或通過(guò)與數(shù)據(jù)相同的傳輸通道，與數(shù)據(jù)一起傳輸。
作為執(zhí)行用的程序，可列出解碼程序。可以把設(shè)置請(qǐng)求用于廣播和通信。根據(jù) 上述請(qǐng)求，對(duì)接收終端指示作為控制信息，使用作為AL信息的哪一項(xiàng)。而且，可以 同樣地對(duì)接收終端指示作通信首部用哪一項(xiàng)，作為AL信息用哪一項(xiàng)，作為控制信息 用哪一項(xiàng)。
圖19(a)示出了傳輸表述的例子，它使用信息幀標(biāo)識(shí)符("首部ID" ) ( "header ID")，在發(fā)送和接收終端之間，根據(jù)用途改變首部信息的結(jié)構(gòu)(數(shù)據(jù)控制信息、傳 輸控制信息和控制信息)。
在圖19(a)中，"類(lèi)別ES首部"("class ES—header")根據(jù)信息幀標(biāo)識(shí)符， 在發(fā)送和接收終端之間區(qū)分通過(guò)與數(shù)據(jù)傳輸通道相同的通道傳輸?shù)臄?shù)據(jù)控制信息的 結(jié)構(gòu)或者與傳輸控制信息所傳輸?shù)男畔⒌慕Y(jié)構(gòu)。
例如，當(dāng)"header ID"值為0時(shí)，僅使用"緩存器規(guī)模的ES" ( "buffer Size ES")項(xiàng)，而當(dāng)"header ID"值為1時(shí)，增加("reserved")項(xiàng)并使用。
而且，通過(guò)使用缺省標(biāo)識(shí)符("使用首部擴(kuò)展")("use Header Extension"),判定是否使用缺省形式的信息幀。當(dāng)"use Header Extension"是 真時(shí)，使用if語(yǔ)句中的項(xiàng)。假設(shè)事先在發(fā)送和接收終端之間決定了這些結(jié)構(gòu)信息。 而且，可以使用信息幀標(biāo)識(shí)符和缺省標(biāo)識(shí)符之任意一方。
在圖19(b)的例子中，"AL配置"("AL Configuration")表示這樣一個(gè)例 了-，在發(fā)送和接收終端之間，根據(jù)用途改變通過(guò)與傳輸?shù)臄?shù)據(jù)不同的傳輸通道發(fā)送 的控制信息的結(jié)構(gòu)。信息幀標(biāo)識(shí)符和缺省標(biāo)識(shí)符的使用方法與圖19(a)的情況相同。
在本發(fā)明的情況下，從下面的觀點(diǎn)具體描述實(shí)現(xiàn)同時(shí)合成和顯示多個(gè)運(yùn)動(dòng)圖像 和多個(gè)聲音的方法。
(1) 通過(guò)多條邏輯傳輸線路傳輸圖像和聲音(通信和廣播)并控制它們的方法。尤 其是，描述了通過(guò)使將控制信息和數(shù)據(jù)分別進(jìn)行傳輸?shù)倪壿媯鬏斁€路獨(dú)立并傳輸?shù)姆椒ā?br> (2) 動(dòng)態(tài)改變附加到要傳輸?shù)膱D像或聲音的數(shù)據(jù)中的首部信息(AL信息)的方法。
(3) 動(dòng)態(tài)改變?yōu)閭鬏敹郊拥耐ㄐ攀撞啃畔⒌姆椒ā?br> 具體地說(shuō)，對(duì)于第(2)和(3)項(xiàng)，描述了綜合在AL信息和通信首部重復(fù)的信息并 進(jìn)行控制方法和把AL信息作為控制信息傳輸?shù)姆椒ā?br> (4) 對(duì)多條邏輯傳輸線路進(jìn)行動(dòng)態(tài)地多路復(fù)用和分離和傳輸信息的方法。描述了節(jié)省傳輸線路的通道數(shù)的方法和實(shí)現(xiàn)有效多路復(fù)用的方法。
(5) 考慮了程序或數(shù)據(jù)的讀取、啟動(dòng)時(shí)間的圖像和聲音的傳輸方法。而且，描述 了從各種功能和用途的方面縮短表面上的設(shè)置時(shí)間的方法。
(6) 針對(duì)頻道快速切換的圖像或聲音的傳輸方法。
本發(fā)明并不僅限于合成兩維圖像。也可以使用把兩維圖像與三維圖像組合的表 述方法，或者可以包括合成如寬視野圖像(全景圖像)那樣彼此相鄰接多幅圖像的圖 像合成方法。
而且，作為本發(fā)明的對(duì)象的通信形式并不僅限于諸如有線的雙向CATV和B-ISDN。例如，可以使用從中央終端向家用終端傳輸圖像和聲音的無(wú)線電波(例如VHF 頻帶或UHF頻帶)，或者衛(wèi)星廣播以及從家用終端向中央終端傳送信息的模擬電話線 路或N-ISDN (圖像、聲音或數(shù)據(jù)也不一定是被多路復(fù)用的)。
而且，可以使用無(wú)線電通信系統(tǒng)，諸如IrDA、 raS(個(gè)人手持電話)，或者無(wú)線 LAN的通信形式。而且，對(duì)象終端可以是例如便攜式信息終端的便攜式終端或例如設(shè) 置盒或個(gè)人計(jì)算機(jī)等桌面終端。而且，作為應(yīng)用領(lǐng)域，還可以包含視頻電話、多點(diǎn) 監(jiān)視系統(tǒng)、多媒體系統(tǒng)、多媒體數(shù)據(jù)庫(kù)檢索系統(tǒng)和游戲機(jī)。本發(fā)明不僅包括接收終 端，而且還包括連接到接收終端的服務(wù)器和轉(zhuǎn)發(fā)器。
在上述例子中，描述了避免RTP(通信)首部與AL信息重復(fù)的方法和擴(kuò)充RTP通 信首部或AL信息的方法。然而，本發(fā)明并不一定必須使用RTP。例如，也可以利用 UDP或TCP重新定義獨(dú)立的通信首部或AL信息。雖然互聯(lián)網(wǎng)類(lèi)環(huán)境有時(shí)使用RTP， 但對(duì)于原類(lèi)環(huán)境并未定義諸如RTP等多功能首部。如上所述，關(guān)于AL信息和通信首 部的概念有四種。
因此，通過(guò)動(dòng)態(tài)確定在發(fā)送和接收終端使用的數(shù)據(jù)控制信息的信息、傳輸控制
信息或控制信息的各種信息的幀(例如包括首先把隨機(jī)訪問(wèn)標(biāo)記作為1位標(biāo)記信息 分配，其后信息序列作為16位標(biāo)記信息分配的、附加信息的順序和伴隨位數(shù)的信息 的幀)，可以進(jìn)行對(duì)應(yīng)于狀況的信息幀的改變，也可以根據(jù)用途或傳輸線路進(jìn)行改變。
各信息的幀可以是如圖6(a)至6(d)所示出的任一種，在RTP的情況下，數(shù)據(jù)控 制信息(AL)可以是每種媒體的首部信息(例如，在H.263的情況下，可以是H,263固 有的視頻首部信息或有效負(fù)載的首部信息)，傳輸控制信息可以是RTP首部信息， 控制信息可以是控制諸如RTCP等RTP的信息。
而且，在發(fā)送和接收終端之間預(yù)先設(shè)置了公知的信息幀的情況下，通過(guò)將表示
33是否進(jìn)行發(fā)送或接收的缺省的標(biāo)識(shí)符設(shè)置于數(shù)據(jù)控制信息、傳輸控制信息和控制信 息(通過(guò)與數(shù)據(jù)不同的數(shù)據(jù)包傳輸?shù)?、控制終端處理的信息)，可以了解信息幀是否 已改變。通過(guò)僅當(dāng)進(jìn)行了改變時(shí)，設(shè)置缺省標(biāo)識(shí)符并根據(jù)圖16所示的方法，通知已 改變內(nèi)容(例如時(shí)間標(biāo)志信息從32位改變成16位)，這能防止信息的幀信息沒(méi)有改
變時(shí)傳輸不必要的配置信息。
例如，要改變數(shù)據(jù)控制信息的信息幀可以有下面的兩種方法。首先，在描述對(duì) 數(shù)據(jù)本身進(jìn)行數(shù)據(jù)控制信息的信息幀的改變方法時(shí)，設(shè)置數(shù)據(jù)控制信息的信息幀描 述的數(shù)據(jù)中存在的信息的缺省標(biāo)識(shí)符(要寫(xiě)入到固定區(qū)域或位置)，然后描述信息幀 的變化內(nèi)容。
作為另一種方法是描述變控制信息(信息幀控制信息)為數(shù)據(jù)的信息幀的方法 時(shí)，改變數(shù)據(jù)控制信息中的信息幀時(shí)，設(shè)置控制信息提供的缺省標(biāo)識(shí)，描述要改變
的數(shù)據(jù)控制信息的信息幀的內(nèi)容，并根據(jù)ACK/Reject向接收終端通知并確認(rèn)數(shù)據(jù)控 制信息的信息幀己改變后，傳輸信息幀已改變的數(shù)據(jù)。改變傳輸控制信息和控制信 息本身的信息幀時(shí)，也可以由上述兩種方法實(shí)現(xiàn)(圖19)。
更具體地說(shuō)，雖然MPEG2的首部信息是固定的，通過(guò)對(duì)MPEG2-TS的視頻數(shù)據(jù)流 (傳送數(shù)據(jù)流)與音頻數(shù)據(jù)流相關(guān)聯(lián)的程序映射表設(shè)置缺省標(biāo)識(shí)符(由PSI定義)，并 定義描述了視頻數(shù)據(jù)流和音頻數(shù)據(jù)流信息的幀的改變方法的配置數(shù)據(jù)流，只要缺省 標(biāo)識(shí)符一設(shè)置就可以首先解釋配置數(shù)據(jù)流，然后根據(jù)配置數(shù)據(jù)流的內(nèi)容解釋視頻和 音頻數(shù)據(jù)流的首部。配置數(shù)據(jù)流可以是圖19所示的內(nèi)容。
與傳輸方法和/或要傳輸?shù)臄?shù)據(jù)的結(jié)構(gòu)有關(guān)的本發(fā)明的內(nèi)容(傳送格式信息)在上 述實(shí)施例中，例如對(duì)應(yīng)于信息幀。
上述實(shí)施例，主要描述了與傳輸方法和/或要傳輸?shù)臄?shù)據(jù)的結(jié)構(gòu)有關(guān)的、要改變 的內(nèi)容。然而，并不限于此，也可以是使用僅傳輸內(nèi)容標(biāo)識(shí)符的結(jié)構(gòu)。在這種情況 下，作為發(fā)送裝置，例如，如圖44所示，可以是音頻-視頻發(fā)送裝置包括(l)發(fā)送 裝置5001，將發(fā)送與傳輸方法和/或要發(fā)送的數(shù)據(jù)的結(jié)構(gòu)有關(guān)的內(nèi)容或表示內(nèi)容的標(biāo) 識(shí)符，作為發(fā)送格式內(nèi)容，使用與傳送數(shù)據(jù)相同的傳輸線路或與所述傳輸線路不同 的傳輸線路進(jìn)行傳送；(2)存儲(chǔ)裝置5002，用于存儲(chǔ)多種類(lèi)型的與傳輸方法和/或要發(fā) 送的數(shù)據(jù)的內(nèi)容有關(guān)的內(nèi)容及其標(biāo)識(shí)符，所述標(biāo)識(shí)符為在數(shù)據(jù)控制信息、傳輸控制 信息和控制終端側(cè)處理的至少一個(gè)信息。而且，作為接收裝置，例如，如圖45所 示，可以是音頻-視頻接收裝置，包括用于接收從音頻-視頻發(fā)送裝置發(fā)送的傳輸 格式信息的接收裝置5101和用于解釋接收到的發(fā)送格式信息的發(fā)送格式信息解釋裝置5102。而且，音頻-視頻接收裝置還可以具有存儲(chǔ)裝置5103，其用于存儲(chǔ)多種類(lèi) 型的與傳輸方法和/或要發(fā)送的數(shù)據(jù)的結(jié)構(gòu)有關(guān)的內(nèi)容和這些內(nèi)容的標(biāo)識(shí)符，當(dāng)作為 發(fā)送格式信息接收標(biāo)識(shí)符時(shí)，可以用存儲(chǔ)在存儲(chǔ)裝置中的內(nèi)容解釋標(biāo)識(shí)符的內(nèi)容。
更具體地說(shuō)，在發(fā)送和接收終端預(yù)先決定并準(zhǔn)備多種類(lèi)型的信息幀，通過(guò)與數(shù) 據(jù)一起傳輸用于進(jìn)行上述多種類(lèi)型的信息幀的識(shí)別和數(shù)據(jù)控制信息、傳輸控制信息 和控制信息(傳輸幀控制信息)的信息幀標(biāo)識(shí)符，或者作為控制信息進(jìn)行傳送，這 樣，可以可以識(shí)別多種類(lèi)型的數(shù)據(jù)控制信息、多種類(lèi)型的傳輸控制信息和多種類(lèi)型 的控制信息，可以根據(jù)要傳輸?shù)拿襟w類(lèi)型或傳輸線路的容量自由地選擇各種類(lèi)型信 息的信息幀。本發(fā)明的標(biāo)識(shí)符對(duì)應(yīng)于上述信息幀標(biāo)識(shí)符。
通過(guò)把標(biāo)識(shí)符附加到要傳輸?shù)男畔⒌念A(yù)定的固定長(zhǎng)度區(qū)域中或預(yù)定位置上，即 使在接收側(cè)終端即使信息幀被改變，也可以讀取和解釋這些信息標(biāo)識(shí)符和缺省標(biāo)識(shí) 符。
而且，除了上述實(shí)施例描述的結(jié)構(gòu)之外，也可以使用這樣一種結(jié)構(gòu)，在多個(gè)通 道中設(shè)置僅廣播通過(guò)由多頻道廣播的圖像的標(biāo)題圖像的廣播通道，用戶通過(guò)切換要 視聽(tīng)的節(jié)目，當(dāng)程序或數(shù)據(jù)的設(shè)置需要花費(fèi)很多時(shí)間時(shí)，可以一旦選擇要觀看和收 聽(tīng)的節(jié)目的標(biāo)題圖像，并向用戶提示。
如上所述，本發(fā)明可以動(dòng)態(tài)地決定在發(fā)送和接收終端使用的數(shù)據(jù)控制信息的 幀、傳輸控制信息或控制信息，可以對(duì)應(yīng)于狀態(tài)改變信息的幀，并也根據(jù)用途或傳 輸線路改變。
而且，可以通過(guò)在發(fā)送和接收終端之間使用預(yù)先設(shè)置的公知信息，對(duì)數(shù)據(jù)控制 信息、傳輸控制信息和控制信息各自設(shè)置表示是否發(fā)送或接收并處理信息的缺省標(biāo) 識(shí)符，可以得知信息幀是否已改變，并且僅當(dāng)進(jìn)行了改變時(shí)通過(guò)設(shè)置缺省標(biāo)識(shí)符并 通知改變內(nèi)容，可以在沒(méi)有改變信息幀時(shí)防止傳輸不必要的配置信息。
再者，通過(guò)在發(fā)送和接收終端預(yù)先決定并準(zhǔn)備多種信息幀，通過(guò)與數(shù)據(jù)一起傳 輸用于識(shí)別多種類(lèi)型的數(shù)據(jù)控制信息、傳輸控制信息和控制信息的信息幀標(biāo)識(shí)符， 或者作為控制信息進(jìn)行傳送可以分別識(shí)別多種類(lèi)型的數(shù)據(jù)控制信息、傳輸控制信息 和控制信息，并且可以根據(jù)要傳輸?shù)拿襟w的類(lèi)型或傳輸線路的容量自由地選擇各種 類(lèi)型的信息幀。
通過(guò)把標(biāo)識(shí)符附加到要傳輸?shù)男畔⒌念A(yù)定的固定長(zhǎng)度區(qū)域中或預(yù)定的位置，即 使在接收側(cè)終端即使信息幀被改變，也可以讀取和解釋這些信息標(biāo)識(shí)符和缺省標(biāo)識(shí)符。
35下面參照附圖描述本發(fā)明的實(shí)施例。
在本例中，解釋了上述課題(B1)至(B3)中的一個(gè)問(wèn)題。
本發(fā)明所用的"圖像"包括靜止圖像或運(yùn)動(dòng)圖像。而且，提出的圖像可以是二 維圖像，例如計(jì)算機(jī)圖形(CG)圖像，或者可以是用線框型構(gòu)成的三維圖像數(shù)據(jù)。 圖25是本發(fā)明的實(shí)施例的圖像編碼器或圖像解碼器的示意性框圖。 發(fā)送或記錄各種編碼信息發(fā)送控制部分4011是用于傳送同軸電纜、CATV、 LAN 或調(diào)制解調(diào)器等的信息的裝置。圖像編碼器4101具有圖像編碼部分4012，用于對(duì)諸 如H. 263、 MPEG1/2、 JPEG圖像信息進(jìn)行編碼或進(jìn)行Huffman編碼，還具有發(fā)送控制 部分4011。而且，圖像編碼器4102的輸出部分4016由下列部分構(gòu)成接收各種編 碼信息的接收控制部分4013、解碼各種接收到的圖像信息的圖像解碼部分4014、合 成一幅或多幅解碼圖像的圖像合成部分4015和由輸出圖像的顯示器和打印機(jī)構(gòu)成的 輸出部分的4016。
圖26是本發(fā)明一個(gè)實(shí)施例的音頻編碼器和音頻解碼器的示意性框圖。 音頻編碼器(聲音編碼器4021)包括發(fā)送或記錄各種編碼信息的發(fā)送控制部分 4021和對(duì)諸如G. 721或MPEG1音頻信號(hào)的音頻信息進(jìn)行編碼的音頻編碼部分4022。 音頻解碼器(聲音解碼器)4202包括接收各種編碼信息的接收控制部分4023、解碼 上述音頻信息的音頻解碼部分4024、合成一個(gè)或多個(gè)解碼音頻信號(hào)的音頻合成部分 (聲音合成部分)4025和輸出音頻信號(hào)的輸出裝置4026。
上述編碼器或解碼器各自對(duì)聲音或運(yùn)動(dòng)圖像的時(shí)間序列數(shù)據(jù)進(jìn)行具體的編碼或 解碼。
圖25和26的通信環(huán)境可以是能使用多條邏輯傳輸線路而不用考慮多路復(fù)用裝 置的環(huán)境，如互聯(lián)網(wǎng)的情況，也可以是必需考慮多路復(fù)用裝置的環(huán)境，如模擬電話 或衛(wèi)星廣播的情況。作為終端連接系統(tǒng)，可列舉諸如在視頻電話或視頻電話會(huì)議系 統(tǒng)等終端之間雙方向傳輸圖像或聲音的系統(tǒng)，或在衛(wèi)星廣播、CATV或互聯(lián)網(wǎng)上廣播 的廣播型圖像或聲音的系統(tǒng)。
同樣，合成圖像或聲音的方法，可以用諸如JAVA、 VRML或MHEG等腳本語(yǔ)，描 述圖像和聲音、圖像和聲音的結(jié)構(gòu)信息(顯示位置和顯示時(shí)間)、音頻-視頻分組方 法、通過(guò)描述圖像顯示的層(深度)和對(duì)象ID(識(shí)別諸如圖像或聲音等各種對(duì)象的ID) 和與它們的屬性之間的關(guān)系，可以定義合成圖像或聲音的方法。描述合成方法的腳 本可以從網(wǎng)絡(luò)或本地存儲(chǔ)器獲得。
而且，可以任意組合任意個(gè)數(shù)的圖像編碼器、圖像解碼器、音頻編碼器和音頻解碼器，構(gòu)成發(fā)送或接收終端。
圖27(a)的示意圖用于解釋控制過(guò)載處理時(shí)的優(yōu)先級(jí)的優(yōu)先級(jí)附加部分和優(yōu)先 級(jí)決定部分。利用諸如H.263或G.723的編碼方法，根據(jù)預(yù)定的標(biāo)準(zhǔn)決定過(guò)載時(shí)的 處理的編碼信息的優(yōu)先級(jí)，并設(shè)置使編碼信息與確定的優(yōu)先級(jí)相關(guān)聯(lián)的優(yōu)先級(jí)附加 部分31于圖像編碼器4101和音頻編碼器4201中。
優(yōu)先級(jí)的附加基準(zhǔn)是在圖像的情況下為場(chǎng)景變化，編輯者或用戶指定的圖像 幀、數(shù)據(jù)流，在聲音的情況下為有聲區(qū)和無(wú)聲區(qū)。
定義過(guò)載時(shí)的優(yōu)先級(jí)的優(yōu)先級(jí)附加方法可以有兩種。向通信首部附加優(yōu)先級(jí)的 附加方法和在編碼時(shí)把優(yōu)先級(jí)嵌入到要編碼的視頻或音頻的位流的首部?jī)?nèi)的方法。 前一種方法可以不用解碼信息而獲得與優(yōu)先級(jí)有關(guān)的信息，后一種方法可以獨(dú)立地 處理一個(gè)位流，而與系統(tǒng)無(wú)關(guān)。
如圖27(b)所示，當(dāng)把優(yōu)先級(jí)信息附加到通信首部時(shí)，把一圖像幀(例如幀內(nèi)編 碼的I幀或幀間編碼的P或B幀)分割成多個(gè)傳輸數(shù)據(jù)包時(shí)，在圖像的情況下，作為 單獨(dú)的信息僅在傳輸可訪問(wèn)的圖像幀的首部附加優(yōu)先級(jí)(當(dāng)在同一圖像中優(yōu)先級(jí)相同 時(shí)，可以假設(shè)一直到下一個(gè)可訪問(wèn)圖像幀出現(xiàn)為止，優(yōu)先級(jí)都不變化)。
又，在解碼器中，根據(jù)在接收到的各種編碼信息的過(guò)載時(shí)的優(yōu)先級(jí)決定處理方 法的優(yōu)先級(jí)處理部分32設(shè)置于圖像解碼器4102和音頻解碼器4202。
圖28(a)至28(c)的示意圖用于解釋附加優(yōu)先級(jí)的等級(jí)。解碼利用決定終端過(guò)載 時(shí)的處理的優(yōu)先級(jí)的兩種類(lèi)型的優(yōu)先級(jí)進(jìn)行。
即，定義了用于規(guī)定以位流(諸如圖像和聲音的位流)單位過(guò)載時(shí)的處理的優(yōu) 先級(jí)的數(shù)據(jù)流優(yōu)先級(jí)(數(shù)據(jù)流優(yōu)先級(jí)"Stream Priority";時(shí)間序列數(shù)據(jù)間優(yōu)先 級(jí))；用于規(guī)定同一數(shù)據(jù)流中以幀(例如圖像幀)單位過(guò)載時(shí)的處理的優(yōu)先級(jí)的幀優(yōu)先 級(jí)(幀優(yōu)先級(jí)"Fram Priority";時(shí)間序列數(shù)據(jù)內(nèi)優(yōu)先級(jí))(參見(jiàn)圖28(a))。
前一種數(shù)據(jù)流優(yōu)先級(jí)可以處理多個(gè)視頻或音頻數(shù)據(jù)。后一種幀優(yōu)先級(jí)可以根據(jù) 編輯者的意向，向圖像場(chǎng)景變化或同一幀內(nèi)編碼的圖像幀(I幀)附加不同的優(yōu)先級(jí)。
數(shù)據(jù)流優(yōu)先級(jí)表示的值的意義可以考慮到作為相對(duì)值處理的情況和作為絕對(duì)值 處理的情況(參見(jiàn)圖28(b)和28(c))。
數(shù)據(jù)流優(yōu)先級(jí)和幀優(yōu)先級(jí)的處理在網(wǎng)絡(luò)上時(shí)，可以由諸如路由器或網(wǎng)關(guān)等轉(zhuǎn)發(fā) 終端；若為終端，則有發(fā)送和接收終端。
考慮用兩種方法表示絕對(duì)值或相對(duì)值。 一種是圖28(b)所示的方法，另一種是 圖28(c)所示的方法。在圖28(b)中，絕對(duì)值優(yōu)先級(jí)是表示被編輯者或機(jī)械性附加的圖像數(shù)據(jù)流(視頻 流)或音頻流過(guò)載時(shí)的處理(或要處理)的順序的值(但不是考慮了實(shí)際網(wǎng)絡(luò)或終端的 負(fù)荷變化的值)。相對(duì)值優(yōu)先級(jí)是根據(jù)終端或網(wǎng)絡(luò)的負(fù)荷改變絕對(duì)優(yōu)先級(jí)值的值。
通過(guò)把優(yōu)先級(jí)分成相對(duì)值和絕對(duì)值進(jìn)行控制，根據(jù)網(wǎng)絡(luò)的負(fù)荷波動(dòng)等，通過(guò)在 發(fā)送側(cè)或由轉(zhuǎn)發(fā)器只改變相對(duì)值，可以保留附加在視頻或音頻數(shù)據(jù)流中的絕對(duì)優(yōu)先 級(jí)，同時(shí)將其記錄到硬盤(pán)上或VTR上。因此，只要記錄了絕對(duì)優(yōu)先級(jí)的值，就可以
不受網(wǎng)絡(luò)的負(fù)荷波動(dòng)等影響的而再現(xiàn)圖像或聲音。而且，可以獨(dú)立于數(shù)據(jù)通過(guò)控制 通道傳輸相對(duì)或絕對(duì)優(yōu)先級(jí)。
在圖28(b)中，可以使其的等級(jí)比數(shù)據(jù)流優(yōu)先級(jí)更細(xì)，把定義過(guò)載時(shí)的幀的處 理的優(yōu)先級(jí)的幀優(yōu)先級(jí)作為相對(duì)優(yōu)先級(jí)的值，或者把作為絕對(duì)優(yōu)先級(jí)的值處理。例 如，通過(guò)在編碼圖像中描述絕對(duì)幀優(yōu)先級(jí)、和為反映網(wǎng)絡(luò)或終端的負(fù)荷波動(dòng)，將對(duì) 于附加到前面的圖像幀中的絕對(duì)優(yōu)先級(jí)的相對(duì)幀優(yōu)先級(jí)描述在傳輸編碼信息的通信 數(shù)據(jù)包的首部，這樣，即使在幀一級(jí)的情況下，也可以在保留原始優(yōu)先級(jí)的同時(shí)， 并根據(jù)網(wǎng)絡(luò)或終端的負(fù)荷附加優(yōu)先級(jí)。
還可以不是通信首部，而是獨(dú)立于數(shù)據(jù)，在控制通道中描述與幀的關(guān)系，來(lái)傳 送相對(duì)優(yōu)先級(jí)。這樣，可保留原來(lái)附加到圖像或聲音數(shù)據(jù)流的絕對(duì)優(yōu)先級(jí)，同時(shí)把 數(shù)據(jù)記錄到硬盤(pán)或VTR上。
而且，在圖28(b)中，不在接收終端上記錄數(shù)據(jù)，通在過(guò)網(wǎng)絡(luò)傳輸數(shù)據(jù)的同時(shí) 在接收終端再現(xiàn)數(shù)據(jù)，由于不必在接收終端分離絕對(duì)值和相對(duì)值進(jìn)行控制，可以在 發(fā)送側(cè)對(duì)幀和數(shù)據(jù)流雙方的級(jí)，在發(fā)送前事先計(jì)算絕對(duì)優(yōu)先級(jí)的值和相對(duì)優(yōu)先級(jí)， 僅傳送絕對(duì)值。
在圖28(c)中，絕對(duì)值優(yōu)先級(jí)是從Stream Priority和Fram Priority之間的 關(guān)系獲得的幀之間唯一確定的值。相對(duì)值優(yōu)先級(jí)是表示編輯者或機(jī)械地附加的圖像 數(shù)據(jù)流或音頻數(shù)據(jù)流在過(guò)載時(shí)處理(或要處理)的順序的值。在圖28(c)的例子中，圖 像或聲音的各數(shù)據(jù)流的幀優(yōu)先級(jí)(relative;相對(duì)值)或?qū)γ總€(gè)數(shù)據(jù)流附加數(shù)據(jù)流優(yōu) 先級(jí)。
絕對(duì)幀優(yōu)先級(jí)(absolute;絕對(duì)值)由相對(duì)幀優(yōu)先級(jí)和數(shù)據(jù)流優(yōu)先級(jí)之和求得 (即，絕對(duì)幀優(yōu)先級(jí)=相對(duì)幀優(yōu)先級(jí)+數(shù)據(jù)流優(yōu)先級(jí))。也可以使用減法或乘以常數(shù) 的方法獲得絕對(duì)優(yōu)先級(jí)。
絕對(duì)幀優(yōu)先級(jí)主要用于網(wǎng)絡(luò)。這是因?yàn)槔媒^對(duì)值的表述不需要確定通過(guò)諸如 路由器或網(wǎng)關(guān)等轉(zhuǎn)發(fā)器考慮Stream Priority和Fram Priority,來(lái)確定每幀的優(yōu)先級(jí)。通過(guò)使用絕對(duì)幀優(yōu)先級(jí)，可以使在轉(zhuǎn)發(fā)器的幀廢棄的處理得到簡(jiǎn)化。
另一方面，可以期望把相對(duì)幀優(yōu)先級(jí)主要應(yīng)用于進(jìn)行記錄或編輯累積系統(tǒng)。在 編輯操作的情況下，可以同時(shí)處理多個(gè)圖像和聲音數(shù)據(jù)流。在這種情況下，因終端 或M絡(luò)的負(fù)荷情況，能再現(xiàn)圖像數(shù)據(jù)流的數(shù)量和幀的數(shù)量有可能達(dá)到極限。
在上述情況下，與僅通過(guò)把Stream Priority與Fram Priority分離并控制， 例如，僅通過(guò)改變編輯者想優(yōu)先顯示或用戶要看的數(shù)據(jù)流的Stream Priority表述 絕對(duì)值的情況不同，不必重新計(jì)算每個(gè)Fram Priority。因此，必須根據(jù)用途分別使 用絕對(duì)表述或相對(duì)表述。
通過(guò)描述是把數(shù)據(jù)流優(yōu)先級(jí)用作相對(duì)值還是用作絕對(duì)值，可以有效地表示在傳 輸?shù)那闆r和在累積的情況下的優(yōu)先級(jí)。
在圖28(b)的情況下，附隨數(shù)據(jù)流優(yōu)先級(jí)，通過(guò)設(shè)置數(shù)據(jù)流優(yōu)先級(jí)表述的值是 絕對(duì)值還是相對(duì)值的標(biāo)記或標(biāo)識(shí)符進(jìn)行區(qū)別。在幀優(yōu)先級(jí)的情況下，不需要標(biāo)記或 標(biāo)識(shí)符，這是因?yàn)樵谕ㄐ攀撞棵枋隽讼鄬?duì)值，在編碼幀內(nèi)描述了絕對(duì)值。在圖28(c) 的例子中，設(shè)置了識(shí)別幀優(yōu)先級(jí)是絕對(duì)值還是相對(duì)值的標(biāo)記或標(biāo)識(shí)符。在絕對(duì)值的 情況下，幀優(yōu)先級(jí)是根據(jù)數(shù)據(jù)流優(yōu)先級(jí)和相對(duì)幀優(yōu)先級(jí)計(jì)算得到的優(yōu)先級(jí)，因此， 轉(zhuǎn)發(fā)器或終端并不進(jìn)行這種計(jì)算。而且，當(dāng)終端已知計(jì)算公式時(shí)，可以根據(jù)絕對(duì)幀 優(yōu)先級(jí)和數(shù)據(jù)流優(yōu)先級(jí)反向計(jì)算相對(duì)幀優(yōu)先級(jí)。例如，還可以從下面的相對(duì)表述獲 得要傳輸?shù)臄?shù)據(jù)包的絕對(duì)優(yōu)先級(jí)(Access Unit Priority): "Access Unit Priority-數(shù)據(jù)流優(yōu)先級(jí)-幀優(yōu)先級(jí)"
在這種情況下，由于幀優(yōu)先級(jí)是在從數(shù)據(jù)流優(yōu)先級(jí)中減去了之后獲得的，所以 它也可以表示為劣后優(yōu)先級(jí)。
也可以使一個(gè)或多個(gè)數(shù)據(jù)流優(yōu)先級(jí)與通過(guò)TCP/IP邏輯通道(LAN的端口號(hào))的數(shù) 據(jù)處理的優(yōu)先級(jí)相關(guān)聯(lián)，控制數(shù)據(jù)處理。
再者，通過(guò)把比字符或控制信息低的數(shù)據(jù)流優(yōu)先級(jí)或幀優(yōu)先級(jí)分配給圖像或聲 音，預(yù)期可以減少重發(fā)。這是因?yàn)榧词共糠謭D像或聲音丟失，在大多數(shù)情況下也不 會(huì)產(chǎn)生問(wèn)題。
圖29的示意圖用于解釋把優(yōu)先級(jí)分配給多分辨率視頻數(shù)據(jù)的方法。 當(dāng)一個(gè)數(shù)據(jù)流由多個(gè)子數(shù)據(jù)流構(gòu)成時(shí)，可以通過(guò)把數(shù)據(jù)流優(yōu)先級(jí)附加到子數(shù)據(jù)
流中，并描述累積或傳輸時(shí)的邏輯和或邏輯積，定義子數(shù)據(jù)流處理方法。
在子波的情況下，可以把一圖像幀分解成多個(gè)不同分辨率的圖像幀。而且，即
使在DCT基編碼的方式中，通過(guò)把圖像幀分割成高頻分量和低頻分量，并對(duì)它們進(jìn)行編碼，也可以把一圖像幀分解成多個(gè)不同分辨率的圖像幀。
除了附加到由一系列分解的圖像幀構(gòu)成的多個(gè)圖像數(shù)據(jù)流中的數(shù)據(jù)流優(yōu)先級(jí)之 外，描述圖像數(shù)據(jù)流之間的關(guān)系用"與"(邏輯積)以及"或"(邏輯和)來(lái)定義。具 體地說(shuō)，當(dāng)數(shù)據(jù)流A的數(shù)據(jù)流優(yōu)先級(jí)為5，數(shù)據(jù)流B的數(shù)據(jù)流優(yōu)先級(jí)為10時(shí)(數(shù)值越
小，優(yōu)先級(jí)越高)，圖像數(shù)據(jù)流之間的關(guān)系可以定義成根據(jù)優(yōu)先級(jí)廢棄數(shù)據(jù)流數(shù)據(jù)的
情況下，廢棄數(shù)據(jù)流B，但通過(guò)描述數(shù)據(jù)流之間的關(guān)系，在"與"的情況下，即使數(shù) 據(jù)流B的優(yōu)先級(jí)低于閾值優(yōu)先級(jí)，也可以傳輸和處理數(shù)據(jù)流B，而不廢棄。
因而，可以使有關(guān)聯(lián)的數(shù)據(jù)流而不被廢棄而的到處理。在"或"的情況下，則 定義成可以廢棄相關(guān)數(shù)據(jù)流。可以與前面的同樣，廢棄處理在發(fā)送或接收終端都可 進(jìn)行，甚至在轉(zhuǎn)發(fā)終端也可進(jìn)行。
而且，作為描述關(guān)系的運(yùn)算符，當(dāng)把同一視頻剪輯分別編碼成24Kbps和 48Kbps時(shí)，存在是再現(xiàn)24還是再現(xiàn)48Kbps的情況(用異邏輯和"異或"描述關(guān) 系)。
當(dāng)前者的優(yōu)先級(jí)被設(shè)置成10后者的優(yōu)先級(jí)被設(shè)置成5時(shí)，用戶可以根據(jù)優(yōu)先級(jí) 再現(xiàn)后者，或者不遵循優(yōu)先級(jí)，選擇后者。
圖30的示意圖用于解釋通信有效負(fù)載的構(gòu)成方法。
當(dāng)由多個(gè)子數(shù)據(jù)流構(gòu)成時(shí)，例如根據(jù)附加到子數(shù)據(jù)流中的數(shù)據(jù)流優(yōu)先級(jí)，通過(guò) 從具有最高優(yōu)先級(jí)的子數(shù)據(jù)流開(kāi)始，依次構(gòu)成發(fā)送數(shù)據(jù)包，可以使在傳輸數(shù)據(jù)包一 級(jí)上廢棄變得容易。而且，提高精度，將具有高幀優(yōu)先級(jí)的對(duì)象的信息匯總到一起 構(gòu)成通信數(shù)據(jù)包，可以使在通信數(shù)據(jù)包一級(jí)的廢棄變得容易。
通過(guò)使圖像的切片結(jié)構(gòu)與通信數(shù)據(jù)包相關(guān)聯(lián)，可以使回送遺漏的數(shù)據(jù)包變得容 易。即，通過(guò)使運(yùn)動(dòng)圖像的切片結(jié)構(gòu)與數(shù)據(jù)包結(jié)構(gòu)相關(guān)聯(lián)，不需用于再同步的再同 歩標(biāo)記。如果與通信數(shù)據(jù)包結(jié)構(gòu)一致的切片結(jié)構(gòu)不一致，則當(dāng)發(fā)生遺漏數(shù)據(jù)包使信 息受損時(shí)，必須附加再同步標(biāo)記(告知回送位置的標(biāo)記)，以便進(jìn)行再同步。
根據(jù)上文所述，可認(rèn)為把高防錯(cuò)措施應(yīng)用于具有高優(yōu)先級(jí)的通信數(shù)據(jù)包。而 且，圖像的切片結(jié)構(gòu)表示諸如G0B或MB等的集合圖像信息的單元。
圖31的示意圖用于解釋使數(shù)據(jù)與通信有效負(fù)載相關(guān)聯(lián)的方法。通過(guò)把數(shù)據(jù)流或 對(duì)象與通信數(shù)據(jù)包相關(guān)聯(lián)的方法與控制信息或數(shù)據(jù)一起傳送，可以根據(jù)通信狀態(tài)或 用途產(chǎn)生任意的數(shù)據(jù)格式。例如在RTP(實(shí)時(shí)傳送協(xié)議)的情況下，對(duì)要處理的每次編 碼定義RTP的有效負(fù)載。已有的RTP格式是固定。在H.263的情況下，如圖31所 示，定義了 Mode A至Mode C的三種數(shù)據(jù)格式。在H.263的情況下，沒(méi)有定義以多
40分辨率圖像格式為對(duì)象的通信有效負(fù)載。
在圖31的例子中，把層號(hào)"Layer No."和上述關(guān)系描述("與"，"或")加 到Mode A的數(shù)據(jù)格式中，并加以定義。
圖32的示意圖用于解釋幀優(yōu)先級(jí)、數(shù)據(jù)流優(yōu)先級(jí)和通信數(shù)據(jù)包優(yōu)先級(jí)之間的關(guān)系。
而且，圖32示出了把在傳輸線路上附加到通信數(shù)據(jù)包中的優(yōu)先級(jí)作為通信數(shù)據(jù) 包優(yōu)先級(jí)，并使數(shù)據(jù)流優(yōu)先級(jí)和幀優(yōu)先級(jí)與通信數(shù)據(jù)包優(yōu)先級(jí)相對(duì)應(yīng)的例子。
通常，在利用IP進(jìn)行通信的情況下，必須使附加到圖像或聲音數(shù)據(jù)中的幀優(yōu)先 級(jí)或數(shù)據(jù)流優(yōu)先級(jí)與下位的IP數(shù)據(jù)包的優(yōu)先級(jí)相對(duì)應(yīng)來(lái)傳輸數(shù)據(jù)。由于圖像或聲音 數(shù)據(jù)被分割成IP數(shù)據(jù)包來(lái)傳輸，所以必須使這些優(yōu)先級(jí)彼此相對(duì)應(yīng)。在圖32的例 子中，由于數(shù)據(jù)流優(yōu)先級(jí)的值為0至3，幀優(yōu)先級(jí)的值從0至5，所以上位的數(shù)據(jù)的 優(yōu)先級(jí)可以取從0至15。
在IPv6的情況下，保留了優(yōu)先級(jí)(4位)中的0至7是為擁擠控制業(yè)務(wù)而預(yù)約 的。優(yōu)先級(jí)中的8至15是為實(shí)時(shí)通信業(yè)務(wù)或非擁擠控制業(yè)務(wù)而預(yù)約的。優(yōu)先級(jí)15 是最高優(yōu)先級(jí)，優(yōu)先級(jí)8是最低優(yōu)先級(jí)。這表示在IP數(shù)據(jù)包一級(jí)的優(yōu)先級(jí)。
在利用IP的數(shù)據(jù)傳輸?shù)那闆r下，必須使上位的0至15的優(yōu)先級(jí)與下位的IP優(yōu) 先級(jí)8至15相對(duì)應(yīng)。為了使這些優(yōu)先級(jí)彼此相對(duì)應(yīng)，可以削除一部分上位優(yōu)先級(jí)的 方法，或者也可以設(shè)置評(píng)價(jià)函數(shù)使這些優(yōu)先級(jí)彼此相對(duì)應(yīng)。建立上位數(shù)據(jù)與下位IP 優(yōu)先級(jí)的對(duì)應(yīng)關(guān)系在中繼節(jié)點(diǎn)(路由器或網(wǎng)關(guān))或發(fā)送和接收終端進(jìn)行。
傳送手段并不僅限于IP?？梢砸跃哂邢驛TM或MPEG2的TS(傳送數(shù)據(jù)流)那樣 的、具有表示是否可廢棄的標(biāo)記的數(shù)據(jù)包為對(duì)象。
至此己描述的幀優(yōu)先級(jí)和數(shù)據(jù)流優(yōu)先級(jí)可以應(yīng)用于傳輸媒體或數(shù)據(jù)記錄媒體。 可以使用軟盤(pán)或光盤(pán)作為數(shù)據(jù)記錄媒體。
不僅可以使用軟盤(pán)或光盤(pán)，也可以使用諸如IC卡或ROM盒等媒體，只要在這種 媒體上可以記錄程序都可以。再者，也可以以音頻-視頻轉(zhuǎn)發(fā)器(例如，路由器或網(wǎng) 關(guān))的中繼裝置為對(duì)象。
而且，根據(jù)Stream Priority (時(shí)間序列數(shù)據(jù)間優(yōu)先級(jí))或Fram Priority (時(shí) 間序列數(shù)據(jù)內(nèi)優(yōu)先級(jí))的信息，確定要重發(fā)的時(shí)間序列數(shù)據(jù)，從而實(shí)現(xiàn)優(yōu)先重發(fā)。例 如，可以防止根據(jù)優(yōu)先級(jí)信息在接收端進(jìn)行解碼時(shí)，將非處理對(duì)象的數(shù)據(jù)流或幀重 發(fā)。
還可與目前要處理的優(yōu)先極分開(kāi)，根據(jù)重發(fā)次數(shù)和成功發(fā)送次數(shù)之間的關(guān)系確定具有應(yīng)重要優(yōu)先級(jí)的數(shù)據(jù)流或幀。
此外，在發(fā)送側(cè)終端的情況下，根據(jù)Stream Priority (時(shí)間序列數(shù)據(jù)間優(yōu)先 級(jí))或Fram Priority(時(shí)間序列數(shù)據(jù)內(nèi)優(yōu)先級(jí))的信息確定要發(fā)送的時(shí)間序列數(shù)據(jù)， 從而實(shí)現(xiàn)優(yōu)先發(fā)送。例如，根據(jù)平均傳送速率或重發(fā)次數(shù)，確定要發(fā)送的幀或數(shù)據(jù) 流的優(yōu)先級(jí)，即使網(wǎng)絡(luò)過(guò)載時(shí)也可以發(fā)送自適應(yīng)圖像或聲音。
上述實(shí)施例并不限于二維圖像合成。也可以用的把二維圖像與三維圖像組合而 獲得的表述方法，或者包括如寬視野圖像(全景圖像)那樣的、各圖像彼此鄰接的圖 像的合成的圖像合成方法。而且，作為本發(fā)明的通信系統(tǒng)的對(duì)象并不限于雙向CATV 或B-ISDN。例如，把圖像和聲音從中央側(cè)終端傳輸給家庭終端可以使用無(wú)線電波(例 如VHF或UHF波段)，或者使用衛(wèi)星廣播，把從家庭側(cè)終端的信息發(fā)送到中央側(cè)終端 可以使用模擬電話線路或N-ISDN(圖像、聲音或數(shù)據(jù)不一定多路復(fù)用)。還可以使用 利用無(wú)線電的通信系統(tǒng)，例如IrDA、 PHS(個(gè)人手持電話)或無(wú)線LAN。
而且，對(duì)象終端可以是便攜終端(例如便攜信息終端)或桌面終端(例如頂置盒或 個(gè)人計(jì)算機(jī))。
如上所述，本發(fā)明可以容易地處理多個(gè)視頻數(shù)據(jù)流和多個(gè)音頻數(shù)據(jù)流，并有重 點(diǎn)地與聲音同步再現(xiàn)主要場(chǎng)景片段，以反映編輯者的意圖。 下面參照附圖描述本發(fā)明的實(shí)施例。 下述的實(shí)施例解決了上述課題(CI)至(C3)之一。
圖33示出了第一實(shí)施例的發(fā)送機(jī)的結(jié)構(gòu)。符號(hào)2101表示圖像輸入端子， 一張 圖像的大小為縱144像素X橫176像素。符號(hào)2102表示運(yùn)動(dòng)圖像編碼器，由四個(gè)部 分1021、 1022、 1023和1024構(gòu)成(參見(jiàn)Recommendation H. 261)。
符號(hào)1021表示切換器，把輸入圖像分割成宏塊(16像素X16像素的正方形區(qū) 域)，并決定對(duì)這些塊是進(jìn)行幀內(nèi)編碼還是進(jìn)行幀間編碼，1022表示運(yùn)動(dòng)補(bǔ)償裝置， 根據(jù)可以根據(jù)上次編碼結(jié)果計(jì)算得到的本機(jī)解碼圖像，產(chǎn)生運(yùn)動(dòng)補(bǔ)償圖像，計(jì)算運(yùn) 動(dòng)補(bǔ)償圖像與輸入圖像之間的差分，并以宏塊單位輸出結(jié)果。運(yùn)動(dòng)補(bǔ)償包括具有長(zhǎng) 處理時(shí)間的半像素運(yùn)動(dòng)補(bǔ)償和具有短處理時(shí)間的全像素運(yùn)動(dòng)補(bǔ)償。符號(hào)1023表示正 交變換裝置，對(duì)每個(gè)宏塊進(jìn)行DCT變換，1024表示可變長(zhǎng)編碼裝置，對(duì)DCT變換結(jié) 果和其它編碼信息進(jìn)行熵編碼。
符號(hào)2103表示計(jì)數(shù)裝置，對(duì)視頻編碼器2102的四個(gè)部件的執(zhí)行次數(shù)進(jìn)行計(jì) 數(shù)，并向變換裝置輸出每個(gè)輸入圖像的計(jì)數(shù)結(jié)果。在這種情況下，從運(yùn)動(dòng)補(bǔ)償裝置 1022對(duì)半像素運(yùn)動(dòng)補(bǔ)償?shù)膱?zhí)行次數(shù)和全像素運(yùn)動(dòng)補(bǔ)償?shù)膱?zhí)行次數(shù)進(jìn)行計(jì)數(shù)。符號(hào)2104表示變換裝置，輸出如圖34所示的數(shù)據(jù)串。符號(hào)2105表示發(fā)送裝 置，把視頻編碼器2102的可變長(zhǎng)碼與變換裝置2104的數(shù)據(jù)串多路復(fù)用成一個(gè)數(shù)據(jù) 串，并向數(shù)據(jù)輸出端2109輸出該數(shù)據(jù)。
根據(jù)上述結(jié)構(gòu)，可以向接收裝置發(fā)送必須處理(切換器1021、正交變換裝置 1023和長(zhǎng)度可變編碼裝置1024)和非必須處理(運(yùn)動(dòng)補(bǔ)償裝置1022)的執(zhí)行次數(shù)。
第一實(shí)施例的發(fā)送裝置對(duì)應(yīng)于權(quán)利要求68。
圖40是第二實(shí)施例的發(fā)送方法的流程圖。
由于本實(shí)施例的操作與第一實(shí)施例相似，所以附注了相應(yīng)的單元。在步驟 801 (圖像輸入端2101)輸入圖像，并在步驟802把圖像分割成宏塊。此后，重復(fù)步驟 803至步驟806的處理，直到根據(jù)步驟807內(nèi)的條件分支完成了對(duì)于每個(gè)宏塊的處 理。而且，為使從步驟803至步驟806的處理的次數(shù)能記錄為特定的變量，當(dāng)執(zhí)行 了各自的處理時(shí)，就把相應(yīng)變量增l。
首先，在步驟803(切換器1021)判定對(duì)要處理的宏塊是進(jìn)行塊內(nèi)編碼還是塊間 編碼。當(dāng)為對(duì)宏塊進(jìn)行塊間編碼時(shí)，在步驟804(運(yùn)動(dòng)補(bǔ)償裝置1022)進(jìn)行運(yùn)動(dòng)補(bǔ) 償。此后，在步驟805和步驟806(正交變換裝置1023和可變長(zhǎng)編碼裝置1024)進(jìn)行 DCT變換和可變長(zhǎng)編碼。當(dāng)完成了對(duì)全部的宏塊的處理時(shí)(在步驟807為"是"的情 況下)，在步驟808讀取表示對(duì)應(yīng)于每次處理的執(zhí)行次數(shù)的變量，產(chǎn)生如圖2所示的 數(shù)據(jù)串，并多路復(fù)用和輸出該數(shù)據(jù)串和代碼。只要繼續(xù)有輸入圖像，就重復(fù)執(zhí)行步 驟801至步驟808的處理。上述結(jié)構(gòu)可以傳送每次處理的執(zhí)行次數(shù)。
第二實(shí)施例的發(fā)送方法對(duì)應(yīng)于權(quán)利要求67。
圖35示出了第三實(shí)施例的接收裝置的結(jié)構(gòu)。
在圖35中，符號(hào)307表示輸入端，輸入第一實(shí)施例的發(fā)送機(jī)的輸出，302表示 接收裝置，根據(jù)第一實(shí)施例的發(fā)送裝置的輸出，通過(guò)去多路復(fù)用，取得可變長(zhǎng)碼和 數(shù)據(jù)串，并輸出。在這種情況下，假設(shè)事先測(cè)量并輸出了接收一頁(yè)數(shù)據(jù)所需要的時(shí)間。
符號(hào)303表示把可變長(zhǎng)碼用作輸入的視頻解碼器，它由五個(gè)部分構(gòu)成。符號(hào) 3031表示可變長(zhǎng)解碼裝置，從可變長(zhǎng)碼取得DCT系數(shù)和其它編碼信息，3032表示反 正交變換裝置，對(duì)DCT系數(shù)進(jìn)行反DCT變換，3033表示切換器，根據(jù)表示宏塊是幀 內(nèi)編碼還是幀間編碼的編碼信息向上或向下對(duì)每個(gè)宏塊的輸出進(jìn)行切換。符號(hào)3034 表示運(yùn)動(dòng)補(bǔ)償裝置，利用上次解碼圖像和運(yùn)動(dòng)編碼信息，產(chǎn)生運(yùn)動(dòng)補(bǔ)償圖像，并與 反正交變換裝置3032的輸出相加后輸出。符號(hào)3035表示執(zhí)行時(shí)間測(cè)量裝置，測(cè)量從把可變長(zhǎng)碼輸入到解碼器303后到完成解碼和輸出圖像的執(zhí)行時(shí)間并輸出。
符號(hào)302表示估計(jì)裝置，從來(lái)自接收裝置301的數(shù)據(jù)串，接收各單元(可變長(zhǎng)解 碼裝置3031、反正交變換裝置3032、切換器3033或運(yùn)動(dòng)補(bǔ)償裝置3034)的執(zhí)行次數(shù) 和執(zhí)行時(shí)間測(cè)量裝置305的執(zhí)行時(shí)間，以估計(jì)每個(gè)單元的執(zhí)行時(shí)間。
估計(jì)方法，例如可以使用線性回歸法，把估計(jì)的執(zhí)行時(shí)間設(shè)為目的變量y，把 每個(gè)部件的執(zhí)行次數(shù)設(shè)為解釋變量xj。在這種情況下，可以把回歸參數(shù)a一i視為是 每個(gè)單元的執(zhí)行時(shí)間。而且，在線性回歸的情況下，必須積累足夠多的以前的數(shù) 據(jù)，結(jié)果浪費(fèi)了許多存儲(chǔ)器。然而，為了防止浪費(fèi)許多存儲(chǔ)器，也可以使用卡爾曼 濾波器估計(jì)內(nèi)狀態(tài)變量?？梢哉J(rèn)為把觀察值設(shè)為執(zhí)行吋間，把每個(gè)單元的執(zhí)行時(shí) 間設(shè)為內(nèi)狀態(tài)變量，則觀測(cè)矩陣C則為以各單元執(zhí)行次數(shù)按各步驟變化時(shí)。符號(hào)304 表示次數(shù)削減裝置，改變每個(gè)單元的執(zhí)行次數(shù)，以削減全像素運(yùn)動(dòng)補(bǔ)償?shù)膱?zhí)行次 數(shù)，只增加相當(dāng)數(shù)的半像素運(yùn)動(dòng)補(bǔ)償?shù)膱?zhí)行次數(shù)。下面示出了計(jì)算相當(dāng)數(shù)的方法。
首先，從估計(jì)裝置302接收每個(gè)單元的執(zhí)行次數(shù)和估計(jì)的執(zhí)行時(shí)間，以估計(jì)執(zhí) 行時(shí)間。當(dāng)執(zhí)行時(shí)間超過(guò)從接收裝置301接收數(shù)據(jù)所需的時(shí)間時(shí)，增加全像素運(yùn)動(dòng) 補(bǔ)償?shù)膱?zhí)行次數(shù)，減少半像素運(yùn)動(dòng)補(bǔ)償?shù)膱?zhí)行次數(shù)，直到前一時(shí)間不超過(guò)后一時(shí) 間。符號(hào)306表示解碼圖像的輸出端。
有這樣一種情況，即指定運(yùn)動(dòng)補(bǔ)償裝置3034，以根據(jù)編碼信息進(jìn)行半像素運(yùn)動(dòng) 補(bǔ)償。在這種情況下，當(dāng)超過(guò)半像素運(yùn)動(dòng)補(bǔ)償?shù)念A(yù)定執(zhí)行次數(shù)時(shí)，把半像素運(yùn)動(dòng)舍 入全像素運(yùn)動(dòng)，以執(zhí)行全像素運(yùn)動(dòng)補(bǔ)償。
根據(jù)上述第一和第三實(shí)施例，按照每個(gè)單元的估計(jì)執(zhí)行時(shí)間來(lái)估計(jì)解碼的執(zhí)行 時(shí)間，當(dāng)解碼執(zhí)行時(shí)間可能超過(guò)接收一頁(yè)數(shù)據(jù)所需要的時(shí)間(指定時(shí)間)時(shí)，用全像 素運(yùn)動(dòng)補(bǔ)償代替執(zhí)行時(shí)間長(zhǎng)的半像素運(yùn)動(dòng)補(bǔ)償。從而，可以防止執(zhí)行時(shí)間超過(guò)指定 時(shí)間，解決課題(Cl)(對(duì)應(yīng)于權(quán)利要求68和74)。
而且，把必須和非必須處理部分視為兩組的例子對(duì)應(yīng)于權(quán)利要求66和72，把 視頻部分視為波形數(shù)據(jù)的例子對(duì)應(yīng)于權(quán)利要求64和70。
通過(guò)使接收裝置在IDCT計(jì)算中不利用高頻分量，可以減少I(mǎi)DCT計(jì)算的處理時(shí) 間。即，把低頻分量的計(jì)算視為必須的處理，把高頻分量的計(jì)算視為是IDCT計(jì)算中 的非必須處理，也可以減少I(mǎi)DCT計(jì)算中高頻分量的計(jì)算次數(shù)。
圖41是第四實(shí)施例的接收方法的流程圖。
由于本實(shí)施例的操作與第三實(shí)施例類(lèi)似，所以附注相應(yīng)的單元。在步驟901 中，初始化表示每個(gè)單元的執(zhí)行時(shí)間的變量a一i(估計(jì)裝置302)。在步驟902，輸入多路復(fù)用數(shù)據(jù)，并測(cè)量多路復(fù)用該數(shù)據(jù)所需的時(shí)間(接收裝置301)。在步驟903中， 把多路復(fù)用數(shù)據(jù)分割成可變長(zhǎng)碼和數(shù)據(jù)串，并輸出(接收裝置301)。在步驟904中， 從數(shù)據(jù)串(圖2)取得各執(zhí)行次數(shù)，并設(shè)置成xj。在步驟905中，根據(jù)每個(gè)單元的執(zhí) 行時(shí)間a一i和各執(zhí)行次數(shù)x_i計(jì)算實(shí)際執(zhí)行次數(shù)(次數(shù)削減裝置304)。在步驟906 中，開(kāi)始測(cè)量解碼執(zhí)行時(shí)間。在步驟907，開(kāi)始進(jìn)行下述的解碼子程序。此后，在步 驟908，結(jié)束測(cè)量解碼執(zhí)行時(shí)間(運(yùn)動(dòng)圖像解碼器303和執(zhí)行時(shí)間測(cè)量裝置3035)。 在步驟908，根據(jù)步驟908的解碼執(zhí)行時(shí)間和步驟906的每個(gè)單元的實(shí)際執(zhí)行時(shí)間估 計(jì)每個(gè)單元的執(zhí)行時(shí)間，以更新a—i(估計(jì)裝置302)。對(duì)每個(gè)輸入的多路復(fù)用數(shù)據(jù)進(jìn) 行上述的處理。
而且，步驟907的解碼子程序中，在步驟910進(jìn)行可變長(zhǎng)解碼(可變長(zhǎng)解碼裝置 3031)，在步驟911進(jìn)行反正交變換(反正交變換裝置3032)后，處理在步驟912根據(jù) 通過(guò)步驟910的處理取得的塊內(nèi)/塊間編碼處理的信息，進(jìn)行分叉(切換器3033)。在 塊幀間編碼處理的情況下，步驟913中進(jìn)行運(yùn)動(dòng)補(bǔ)償(運(yùn)動(dòng)補(bǔ)償裝置3034)。在步驟 913中，對(duì)半像素運(yùn)動(dòng)補(bǔ)償?shù)膱?zhí)行時(shí)間進(jìn)行計(jì)數(shù)。當(dāng)計(jì)數(shù)的執(zhí)行時(shí)間超過(guò)步驟905中 獲得的實(shí)際執(zhí)行次數(shù)時(shí)，用全像素運(yùn)動(dòng)補(bǔ)償代替半像素運(yùn)動(dòng)補(bǔ)償執(zhí)行。在完成了上 述對(duì)于每個(gè)宏塊(步驟9M〉處理后，結(jié)束該子程序。
根據(jù)上述第二和第四實(shí)施例，按照每個(gè)單元的估計(jì)執(zhí)行時(shí)間來(lái)估計(jì)解碼的執(zhí)行 時(shí)間，當(dāng)執(zhí)行時(shí)間可能超過(guò)接收一頁(yè)數(shù)據(jù)所需要的時(shí)間(指定時(shí)間)時(shí)，用全像素運(yùn) 動(dòng)補(bǔ)償代替執(zhí)行時(shí)間長(zhǎng)的半像素運(yùn)動(dòng)補(bǔ)償。由此，可以防止執(zhí)行時(shí)間超過(guò)指定時(shí) 間，解決課題(Cl)(對(duì)應(yīng)于權(quán)利要求67和73)。
而且，非必須和必須處理部分視為兩組的例子對(duì)應(yīng)于權(quán)利要求65和71，把運(yùn) 動(dòng)圖像部分視為波形數(shù)據(jù)的例子對(duì)應(yīng)于權(quán)利要求63和69。
圖36示出了第五實(shí)施例的接收裝置的結(jié)構(gòu)。
該實(shí)施例的大多數(shù)構(gòu)成部分與第二實(shí)施例所述的構(gòu)成部分相同。然而，下面描 述兩個(gè)增加了的構(gòu)成部分和一個(gè)有改動(dòng)的構(gòu)成部分。
符號(hào)402表示估計(jì)裝置，它是通過(guò)將實(shí)施例2描述的估計(jì)裝置302的估計(jì)結(jié)果 而得到的各構(gòu)成部分的執(zhí)行時(shí)間修改為不是輸出到次數(shù)削減裝置304而是輸出到與 其獨(dú)立的裝置而得到的。符號(hào)408表示發(fā)送裝置，根據(jù)每個(gè)單元的執(zhí)行時(shí)間產(chǎn)生圖 37所示的數(shù)據(jù)串，并輸出。當(dāng)把微秒為單位用16位表示執(zhí)行時(shí)間時(shí)，可以表示多達(dá) 約65毫秒。因此，這約65亳秒將是足夠的。符號(hào)409表示把數(shù)據(jù)串傳送給發(fā)送裝 置的輸出端。而且，可以?xún)H緊接在圖40的符號(hào)808后增加產(chǎn)生圖37所示的數(shù)據(jù)串的步驟就 可以獲得對(duì)應(yīng)于第五實(shí)施例的接收方法。
圖38示出了第六實(shí)施例的發(fā)送機(jī)的結(jié)構(gòu)。
該實(shí)施例的大部分構(gòu)成部分與第一實(shí)施例所述的相同。然而，下面描述兩個(gè)增 加的部件。符號(hào)606表示輸入端，接收第三實(shí)施例607的接收裝置輸出的數(shù)據(jù)串， 607表示接收裝置，接收數(shù)據(jù)串，并輸出每個(gè)單元的執(zhí)行時(shí)間。符號(hào)608表示決定裝 置，求出各單元的執(zhí)行時(shí)間，下面描述其過(guò)程。首先，切換器1021處理圖像的每個(gè) 宏塊，并求出切換器1021在此特定時(shí)間的執(zhí)行次數(shù)。進(jìn)而，可以根據(jù)處理結(jié)果，唯 一地確定在此特定時(shí)間的運(yùn)動(dòng)補(bǔ)償裝置1022、正交變換裝置1023和可變長(zhǎng)編碼裝置 1024的執(zhí)行次數(shù)。因此，利用這些執(zhí)行次數(shù)和接收裝置607發(fā)送的執(zhí)行時(shí)間，估計(jì) 在接收裝置側(cè)解碼所需的執(zhí)行時(shí)間。獲得的估計(jì)解碼時(shí)間作為執(zhí)行時(shí)間和執(zhí)行次數(shù) 之間乘積的、按各構(gòu)成部分的總和求出。若估計(jì)的解碼時(shí)間等于或大于傳送通過(guò)速 率控制器等指定的該圖像產(chǎn)生的碼數(shù)(例如16Kbit)所需的時(shí)間(例如在傳輸速率為 64Kbits/s時(shí)，為250毫秒)，則增加全像素運(yùn)動(dòng)補(bǔ)償?shù)膱?zhí)行次數(shù)，減少半像素運(yùn)動(dòng) 補(bǔ)償?shù)膱?zhí)行次數(shù)，以使估計(jì)的解碼執(zhí)行時(shí)間不超過(guò)傳送所需的時(shí)間。(由于全像素運(yùn) 動(dòng)補(bǔ)償?shù)膱?zhí)行時(shí)間短，所以減少全像素運(yùn)動(dòng)補(bǔ)償?shù)拇螖?shù)可以減少全預(yù)測(cè)的執(zhí)行時(shí) 間。)
此外，運(yùn)動(dòng)圖像編碼器2102根據(jù)決定裝置608指定的執(zhí)行次數(shù)進(jìn)行各種處理。 例如，在運(yùn)動(dòng)補(bǔ)償裝置1022以半像素運(yùn)動(dòng)補(bǔ)償?shù)念A(yù)定執(zhí)行次數(shù)執(zhí)行了半像素運(yùn)動(dòng)補(bǔ) 償之后，僅進(jìn)行全像素運(yùn)動(dòng)補(bǔ)償。
可以改善選擇方法，使半像素運(yùn)動(dòng)補(bǔ)償在圖像中分布均勻。例如，可以使用下 列方法首先求得需要進(jìn)行半像素運(yùn)動(dòng)補(bǔ)償?shù)娜康暮陦K，求得上述宏塊的數(shù)(例如 12)除以半像素運(yùn)動(dòng)補(bǔ)償?shù)膱?zhí)行次數(shù)(例如4)得到的商(3)，然后將從需要進(jìn)行半像素 運(yùn)動(dòng)補(bǔ)償?shù)暮陦K開(kāi)始的順序號(hào)用上述商除得盡的宏塊(O， 3， 6或9)進(jìn)行半像素運(yùn)動(dòng) 補(bǔ)償。
根據(jù)上述第五和第六實(shí)施例，把每個(gè)估計(jì)的單元執(zhí)行吋間傳送給發(fā)送側(cè)，在發(fā) 送側(cè)估計(jì)解碼的執(zhí)行時(shí)間，并用全像素運(yùn)動(dòng)補(bǔ)償代替執(zhí)行時(shí)間較長(zhǎng)的半像素運(yùn)動(dòng)補(bǔ) 償，并使估計(jì)的解碼執(zhí)行時(shí)間不超過(guò)接收一頁(yè)數(shù)據(jù)可能需要的時(shí)間(指定時(shí)間)。由 此，發(fā)送的編碼信息中，就可以不用廢棄半像素運(yùn)動(dòng)補(bǔ)償信息，而且可以防止執(zhí)行 時(shí)間超過(guò)指定時(shí)間，解決課題(C2)(對(duì)應(yīng)于權(quán)利要求76和78)。
此外，在非必須處理的情況下，可以把宏塊間編碼分成三種運(yùn)動(dòng)補(bǔ)償正常運(yùn)動(dòng)補(bǔ)償；8X8運(yùn)動(dòng)補(bǔ)償和重疊運(yùn)動(dòng)補(bǔ)償。
圖42是第七實(shí)施例的發(fā)送方法的流程圖。
因?yàn)楸緦?shí)施例的操作與第六實(shí)施例相似，所以附注相應(yīng)的單元。在步驟1001， 對(duì)每個(gè)處理的執(zhí)行時(shí)間設(shè)置初始值。在步驟801輸入圖像(輸入端2101)，并在步驟 802把它分割成宏塊。在步驟1002，對(duì)全部的宏塊進(jìn)行是塊內(nèi)編碼還是塊間編碼的 判定(切換器1021)。結(jié)果由于從步驟1005至步驟806的每個(gè)處理的執(zhí)行次數(shù)是可知 的。因此，在步驟1003，根據(jù)上述每個(gè)處理的執(zhí)行次數(shù)和執(zhí)行時(shí)間計(jì)算實(shí)際執(zhí)行次 數(shù)(確定裝置608)。
此后，重復(fù)步驟1005至步驟806的處理，直到根據(jù)步驟807的條件分支完成了 對(duì)全部宏塊的處理。
而且，當(dāng)執(zhí)行各處理時(shí)，為使步驟1005至步驟806的處理次數(shù)可以記錄在特定 的變量中，把相應(yīng)的變量加1。首先在步驟1005，根據(jù)步驟1002的判定結(jié)果進(jìn)行分 叉(切換器1021)。在塊間編碼的情況下，在步驟804進(jìn)行運(yùn)動(dòng)補(bǔ)償(運(yùn)動(dòng)補(bǔ)償裝置 1022)。在這種情況下，對(duì)半像素運(yùn)動(dòng)補(bǔ)償?shù)拇螖?shù)進(jìn)行計(jì)數(shù)。當(dāng)所計(jì)次數(shù)超過(guò)在步驟 1003獲得的實(shí)際次數(shù)時(shí)，執(zhí)行全像素運(yùn)動(dòng)補(bǔ)償代替執(zhí)行半像素運(yùn)動(dòng)補(bǔ)償。此后，在 步驟805和806，進(jìn)行DCT變換和可變長(zhǎng)編碼(正交變換裝置1023和可變長(zhǎng)編碼裝置 1024)。當(dāng)完成對(duì)全部宏塊的處理時(shí)，(在步驟807為是的情況下)，在步驟808中讀 取表示對(duì)應(yīng)于每個(gè)處理的執(zhí)行次數(shù)的變量，產(chǎn)生圖2所示的數(shù)據(jù)串，并多路復(fù)用和 輸出數(shù)據(jù)串和代碼。在步驟1004中，接收數(shù)據(jù)串，并從該數(shù)據(jù)串取出各處理的執(zhí)行 時(shí)間并進(jìn)行設(shè)置。
只要有圖像輸入就重復(fù)執(zhí)行步驟801至1004的處理。
根據(jù)第五實(shí)施例和第七實(shí)施例描述部分的最后一個(gè)"而且"開(kāi)始的段落，把每 個(gè)單元的估計(jì)的執(zhí)行時(shí)間傳送給發(fā)送側(cè)，在發(fā)送側(cè)估計(jì)解碼執(zhí)行時(shí)間，用全像素運(yùn)
動(dòng)補(bǔ)償代替執(zhí)行時(shí)間長(zhǎng)的半像素運(yùn)動(dòng)補(bǔ)償，使估計(jì)的解碼執(zhí)行時(shí)間不超過(guò)接收一頁(yè) 數(shù)據(jù)所需要的可能時(shí)間(指定時(shí)間)。由此，發(fā)送的編碼信息中，不會(huì)廢棄半像素運(yùn) 動(dòng)補(bǔ)償?shù)男畔?，而且可以防止?zhí)行時(shí)間超過(guò)指定時(shí)間，解決了課題(C2)(對(duì)應(yīng)于權(quán)利 要求75和77)。
圖39示出了本發(fā)明第八實(shí)施例的發(fā)送設(shè)備的結(jié)構(gòu)。
該實(shí)施例的大部分構(gòu)成部分與第一實(shí)施例描述的相同。因此，下面描述增加的 四個(gè)構(gòu)成部分。
符號(hào)7010表示執(zhí)行時(shí)間測(cè)量裝置，用于測(cè)量圖像向編碼器2102輸入圖像之后到完成編碼和輸出圖像的執(zhí)行時(shí)間，并輸出測(cè)得的執(zhí)行時(shí)間。符號(hào)706表示估計(jì)裝 置，用于從計(jì)數(shù)裝置2103的數(shù)據(jù)串接收各單元(切換器1021、運(yùn)動(dòng)補(bǔ)償裝置1022、 正交變換裝置1023和來(lái)自可變長(zhǎng)解碼裝置1024)的執(zhí)行次數(shù)，從執(zhí)行時(shí)間測(cè)量裝置 7010接收?qǐng)?zhí)行時(shí)間，并估計(jì)各構(gòu)成部分的執(zhí)行時(shí)間?？梢岳门c第二實(shí)施例的估計(jì) 裝置302描述的相同的估計(jì)方法。符號(hào)707表示輸入用戶發(fā)送的幀速率值的輸入 端，708表示確定裝置，用于獲得每個(gè)單元的執(zhí)行時(shí)間。獲得的過(guò)程描述如下。
首先，切換器1021處理圖像中的全部宏塊，求得切換器1021在此特定時(shí)間的 執(zhí)行次數(shù)。此后，可以根據(jù)至該特定時(shí)間的處理結(jié)果，唯一地確定運(yùn)動(dòng)補(bǔ)償裝置 1022、正交變換裝置1023和可變長(zhǎng)編碼裝置1024的執(zhí)行次數(shù)。然后，對(duì)各構(gòu)成部 分求得執(zhí)行次數(shù)和由估計(jì)裝置706發(fā)送的各構(gòu)成部分的估計(jì)時(shí)間之間的乘積的總 和。當(dāng)預(yù)測(cè)編碼時(shí)間等于或大于從符號(hào)707所傳送幀速率的倒數(shù)求得的、可用于一 頁(yè)圖像編碼的時(shí)間時(shí)，增加全像素運(yùn)動(dòng)補(bǔ)償?shù)膱?zhí)行次數(shù)，減少半像素的執(zhí)行次數(shù)。
重復(fù)進(jìn)行上述執(zhí)行次數(shù)的增減變化，并計(jì)算預(yù)測(cè)編碼時(shí)間，直到預(yù)測(cè)編碼時(shí)間 等于或短于可用的時(shí)間，從而確定各執(zhí)行次數(shù)。
而且，運(yùn)動(dòng)圖像編碼器2102根據(jù)確定裝置608指定的執(zhí)行次數(shù)進(jìn)行各種處理。 例如，運(yùn)動(dòng)補(bǔ)償裝置1022以半像素運(yùn)動(dòng)補(bǔ)償?shù)念A(yù)定執(zhí)行次數(shù)進(jìn)行了半像素運(yùn)動(dòng)補(bǔ)償 后，僅執(zhí)行全像素運(yùn)動(dòng)補(bǔ)償。
而且，為使半像素運(yùn)動(dòng)補(bǔ)償在圖像內(nèi)均勻分布也可以改進(jìn)選擇方法。例如，可 以使用下列方法首先求得需要進(jìn)行半像素運(yùn)動(dòng)補(bǔ)償?shù)娜亢陦K，將該需要進(jìn)行半 像素運(yùn)動(dòng)補(bǔ)償?shù)暮陦K數(shù)(例如12)除以半像素運(yùn)動(dòng)補(bǔ)償?shù)膱?zhí)行次數(shù)(例如4)得到商 (3)，然后將從需要進(jìn)行半像素運(yùn)動(dòng)補(bǔ)償?shù)暮陦K開(kāi)始的順序號(hào)用上述商除得盡的宏塊 (0， 3， 6或9)進(jìn)行半像素運(yùn)動(dòng)補(bǔ)償。
上面的第八實(shí)施例可以解決課題(C3)，它估計(jì)每個(gè)處理的執(zhí)行時(shí)間，根據(jù)估計(jì) 的執(zhí)行時(shí)間預(yù)測(cè)編碼所需的執(zhí)行時(shí)間，并確定執(zhí)行次數(shù)，使預(yù)測(cè)編碼時(shí)間等于或短 于對(duì)根據(jù)幀速率決定的圖像進(jìn)行編碼可用的時(shí)間(對(duì)應(yīng)于權(quán)利要求80)。
而且，運(yùn)動(dòng)補(bǔ)償裝置1022為檢測(cè)運(yùn)動(dòng)矢量，存在全搜索運(yùn)動(dòng)矢量檢測(cè)方法， 即，在15個(gè)水平和垂直像素范圍內(nèi)的矢量中，檢測(cè)使SAD(每個(gè)像素的絕對(duì)差值之和) 最小的矢量。還有一種三步運(yùn)動(dòng)矢量檢測(cè)方法(在H.261的annex內(nèi)有描述)。三步 運(yùn)動(dòng)矢量檢測(cè)方法在上述檢索范圍內(nèi)選擇均勻分布的九個(gè)點(diǎn)，選擇具有最小SAD的 點(diǎn)，再在接近上述點(diǎn)的窄小范圍內(nèi)選擇九個(gè)點(diǎn)，以再次選擇一個(gè)具有最小SAD的 點(diǎn)。也可以適當(dāng)?shù)販p少全搜索運(yùn)動(dòng)矢量檢測(cè)方法的執(zhí)行時(shí)間，代之適當(dāng)?shù)卦黾尤?驟運(yùn)動(dòng)矢量檢測(cè)方法的執(zhí)行次數(shù)，把這兩種方法視為非必須處理方法，并估計(jì)這兩 個(gè)方法中每個(gè)方法的執(zhí)行時(shí)間，根據(jù)估計(jì)的執(zhí)行時(shí)間預(yù)測(cè)編碼所需要的執(zhí)行時(shí)間， 以使預(yù)測(cè)執(zhí)行時(shí)間等于或短于用戶指定的時(shí)間。
而且，除三步驟運(yùn)動(dòng)矢量檢測(cè)方法之外，還可以使用進(jìn)一步簡(jiǎn)化了處理的檢索 次數(shù)的固定運(yùn)動(dòng)矢量檢測(cè)方法，，或者可以與僅返回運(yùn)動(dòng)矢量(O， O)作為結(jié)果的運(yùn) 動(dòng)矢量檢測(cè)方法并用。
圖43是第九實(shí)施例的發(fā)送方法的流程圖。
由于本實(shí)施例的操作與第八實(shí)施例相似，所以附注相應(yīng)的單元。對(duì)每個(gè)流程的 詳細(xì)描述參照相應(yīng)單元的描述。
而且，由于本實(shí)施例幾乎與第二實(shí)施例相同，所以下面僅解釋不同點(diǎn)。
在步驟1101，把每個(gè)處理的執(zhí)行時(shí)間的初始值設(shè)置到變量a一i。在步驟1102， 輸入幀速率(輸入端707)。在步驟1103，根據(jù)步驟1102的每個(gè)處理的幀速率和執(zhí)行 時(shí)間a—i以及從1002的塊內(nèi)/塊音編碼處理確定結(jié)果獲得的各處理的執(zhí)行次數(shù)確定 實(shí)際執(zhí)行次數(shù)(確定裝置708)。在步驟1105和1106中，測(cè)量編碼的執(zhí)行時(shí)間。在步 驟1104中，根據(jù)步驟1106中獲得的執(zhí)行時(shí)間和每個(gè)處理的實(shí)際執(zhí)行次數(shù)估計(jì)每個(gè) 處理的執(zhí)行時(shí)間，更新變量a一i (估計(jì)裝置706)。
根據(jù)上述第九實(shí)施例，先估計(jì)每個(gè)處理的執(zhí)行時(shí)間，可按照所估計(jì)的執(zhí)行時(shí)間 運(yùn)動(dòng)補(bǔ)償編碼所需的執(zhí)行時(shí)間。因此，確定執(zhí)行次數(shù)，使預(yù)測(cè)編碼時(shí)間等于或短于 對(duì)根據(jù)幀速率確定的圖像進(jìn)行編碼可用的時(shí)間(對(duì)應(yīng)于權(quán)利要求79)，從而能解決課 題(C3)。
在第二實(shí)施例的情況下，當(dāng)在步驟808中產(chǎn)生數(shù)據(jù)串時(shí)，也可以在圖2所示的 開(kāi)始碼之后增加兩字節(jié)的區(qū)域，向該區(qū)域增加碼長(zhǎng)度的二進(jìn)制的碼。
而且，在第四實(shí)施例中，當(dāng)在步驟902輸入多路復(fù)用數(shù)據(jù)時(shí)，也可以從兩字節(jié) 區(qū)域中取出碼長(zhǎng)度，并將從該碼長(zhǎng)度和碼傳輸速率獲得的碼傳輸時(shí)間用于步驟905 的執(zhí)行次數(shù)計(jì)算(減少半像素運(yùn)動(dòng)補(bǔ)償?shù)膱?zhí)行次數(shù)，以不超過(guò)碼傳輸時(shí)間)。這對(duì)應(yīng) 于權(quán)利要求81和83。
而且，在第一實(shí)施例中，當(dāng)在步驟2104產(chǎn)生數(shù)據(jù)串時(shí)，也可以在圖2所示的開(kāi) 始碼后增加兩字節(jié)的區(qū)域，在該區(qū)域內(nèi)增加碼長(zhǎng)度的二進(jìn)制碼。
而且，在第三實(shí)施例中，當(dāng)在步驟301輸入多路復(fù)用數(shù)據(jù)時(shí)，也可以從該兩字 節(jié)區(qū)域中取出碼長(zhǎng)度，并將從該碼長(zhǎng)度和碼傳輸速度獲得的碼傳輸時(shí)間用于步驟304的執(zhí)行次數(shù)計(jì)算(減少半像素運(yùn)動(dòng)補(bǔ)償?shù)膱?zhí)行次數(shù)，以不超過(guò)碼傳輸時(shí)間)。這對(duì)應(yīng) 于權(quán)利要求82和84。
而且，在第四實(shí)施例中，緊接在步驟909后記錄半像素運(yùn)動(dòng)補(bǔ)償?shù)膶?shí)際執(zhí)行次 數(shù)，計(jì)算出最大值。當(dāng)最大值等于或小于足夠小的值(例如2或3)時(shí)，也可以產(chǎn)生數(shù) 據(jù)串(包含具體位模式的數(shù)據(jù)串)，表示不使用半像素運(yùn)動(dòng)補(bǔ)償，并發(fā)送產(chǎn)生的數(shù)據(jù) 串。而且，在第二實(shí)施例中，確認(rèn)是否緊接在步驟808后接收到該數(shù)據(jù)串，當(dāng)接收 到表示沒(méi)有使用半像素運(yùn)動(dòng)補(bǔ)償?shù)臄?shù)據(jù)串時(shí)，也可以使運(yùn)動(dòng)補(bǔ)償處理在步驟808總 是作為全像素運(yùn)動(dòng)補(bǔ)償。這對(duì)應(yīng)于權(quán)利要求93和91。
而且，上述原理也可以應(yīng)用于不是運(yùn)動(dòng)補(bǔ)償?shù)那闆r。例如DCT計(jì)算通過(guò)不用高 頻分量，減少DCT的計(jì)算時(shí)間。即，在接收方法的情況下，當(dāng)IDCT計(jì)算執(zhí)行時(shí)間對(duì) 整個(gè)計(jì)算時(shí)間的比率超過(guò)某一值時(shí)，向發(fā)送側(cè)傳送表示該比率超過(guò)某一值的數(shù)據(jù) 串。當(dāng)發(fā)送側(cè)接收到該數(shù)據(jù)串時(shí)，也可以通過(guò)DCT計(jì)算僅計(jì)算低頻分量，并把所有 高頻分量減少到零。這對(duì)應(yīng)于權(quán)利要求89。
而且，雖然利用圖像描述了本實(shí)施例，但也可以把每種方法應(yīng)用于音頻而不是 頻視。這對(duì)應(yīng)于權(quán)利要求85和87。
而且，在第三實(shí)施例中，在步驟3034中記錄了半像素運(yùn)動(dòng)補(bǔ)償?shù)膶?shí)際執(zhí)行次 數(shù)，計(jì)算最大執(zhí)行次數(shù)最大值。然后，當(dāng)該最大值是足夠小值或更小時(shí)(例如2或 3)，可以產(chǎn)生并發(fā)送表示不使用半像素運(yùn)動(dòng)補(bǔ)償?shù)臄?shù)據(jù)串(包含具體位模式的數(shù)據(jù) 串)。而且，在第一實(shí)施例中，當(dāng)接收到表示沒(méi)有使用半像素運(yùn)動(dòng)補(bǔ)償?shù)臄?shù)據(jù)串時(shí)， 可以使步驟1022的運(yùn)動(dòng)補(bǔ)償處理總是作為全像素運(yùn)動(dòng)補(bǔ)償。這對(duì)應(yīng)于權(quán)利要求94 和92。
而且，上述原理可以應(yīng)用于不是運(yùn)動(dòng)補(bǔ)償?shù)那闆r。例如DCT計(jì)算通過(guò)不使用高 頻分量可以減少DCT計(jì)算的處理時(shí)間。g卩，在接收方法中，當(dāng)IDCT計(jì)算執(zhí)行時(shí)間對(duì) 整個(gè)執(zhí)行時(shí)間的比率超過(guò)某一值時(shí)，向發(fā)送側(cè)傳送表示該比率超過(guò)某一值的數(shù)據(jù)串。
當(dāng)發(fā)送側(cè)接收到該數(shù)據(jù)串時(shí)，可以通過(guò)DCT計(jì)算僅計(jì)算低頻分量，把所有高頻 分量減少為零。這對(duì)應(yīng)于權(quán)利要求90。
而且，雖然上面利用圖像描述了實(shí)施例，但也可以把上述方法應(yīng)用于聲音而不 是圖像。這對(duì)應(yīng)于權(quán)利要求86和88。
如上所述，根據(jù)權(quán)利要求68和74(如第一和第三實(shí)施例)，按照每個(gè)單元的估 計(jì)執(zhí)行時(shí)間估計(jì)解碼的執(zhí)行時(shí)間，并且，當(dāng)估計(jì)的解碼執(zhí)行時(shí)間可能超過(guò)接收一頁(yè)數(shù)據(jù)所需的時(shí)間(指定時(shí)間)時(shí)，用全像素運(yùn)動(dòng)補(bǔ)償代替執(zhí)行時(shí)間較長(zhǎng)的半像素運(yùn)動(dòng) 補(bǔ)償。由此，可以防止執(zhí)行時(shí)間超過(guò)指定時(shí)間，解決課題(C1)。
而且，根據(jù)權(quán)利要求75和77(例如第五和第七實(shí)施例)，把每個(gè)單元的估計(jì)執(zhí)
行時(shí)間傳送給發(fā)送側(cè)，在發(fā)送側(cè)估計(jì)解碼執(zhí)行時(shí)間，并用全像素運(yùn)動(dòng)補(bǔ)償代替執(zhí)行 時(shí)間較長(zhǎng)的半像素運(yùn)動(dòng)補(bǔ)償，以使估計(jì)的解碼時(shí)間不超過(guò)適于接收一頁(yè)數(shù)據(jù)所需要 的時(shí)間(指定時(shí)間)。由此，在發(fā)送的編碼信息中沒(méi)有廢棄半像素運(yùn)動(dòng)補(bǔ)償?shù)男畔ⅲ?br> 并可以防止執(zhí)行時(shí)間超過(guò)指定時(shí)間，解決課題(C2)。
而且，根據(jù)權(quán)利要求79(例如第九實(shí)施例)，可以解決課題(C3)，其方法是估計(jì) 每個(gè)處理的執(zhí)行時(shí)間，按照所估計(jì)的執(zhí)行時(shí)間預(yù)測(cè)編碼所需要的執(zhí)行時(shí)間，并確定 執(zhí)行次數(shù)，使預(yù)測(cè)編碼時(shí)間等于或小于可用對(duì)根據(jù)幀速率決定的圖像進(jìn)行編碼可使 用的時(shí)間。
因此，本發(fā)明可以實(shí)現(xiàn)即使計(jì)算負(fù)荷增加也減慢質(zhì)量劣化的功能(CGD:計(jì)算適 度弱化)，由實(shí)施獲得很大的利益。
而且，計(jì)算機(jī)利用諸如磁記錄媒體或光記錄媒體可以實(shí)現(xiàn)上述的操作，其中使 計(jì)算機(jī)的程序?qū)崿F(xiàn)上述實(shí)施例中任一實(shí)施例中描述的每個(gè)步驟(或每個(gè)裝置)(或者 每個(gè)裝置的操作)的全部或部分。
工業(yè)應(yīng)用性
如h所述，本發(fā)明可以對(duì)應(yīng)于狀態(tài)、用途或傳輸線路改變信息幀，動(dòng)態(tài)地確定 數(shù)據(jù)控制信息、傳輸控制信息和用于發(fā)送和接收終端的控制信息的幀。而且，易于 處理多個(gè)視頻數(shù)據(jù)流或多個(gè)音頻數(shù)據(jù)流，并且有重點(diǎn)地與聲音同步地再現(xiàn)主要的場(chǎng) 面片段，反映編輯者的意圖。此外，根據(jù)每一估計(jì)的元件的執(zhí)行時(shí)間，當(dāng)估計(jì)的解 碼執(zhí)行時(shí)間可能超過(guò)接收一頁(yè)數(shù)據(jù)所需的時(shí)間(指定時(shí)間)時(shí)，用全像素運(yùn)動(dòng)補(bǔ)償代 替執(zhí)行時(shí)間較長(zhǎng)的半像素運(yùn)動(dòng)補(bǔ)償，可以防止執(zhí)行時(shí)間超過(guò)指定的時(shí)間。
權(quán)利要求
1.一種發(fā)送設(shè)備，具有將傳輸格式信息發(fā)送到接收設(shè)備的發(fā)送部分，所述傳輸格式信息包含識(shí)別在所述接收設(shè)備使用的程序或者數(shù)據(jù)的標(biāo)識(shí)符，和與所述標(biāo)識(shí)符相關(guān)聯(lián)、表示在所述接收設(shè)備處理所述程序或者所述數(shù)據(jù)的期間的處理期間信息。
2. 如權(quán)利要求1所述的發(fā)送設(shè)備，所述處理期間信息包含標(biāo)記、次數(shù)以及計(jì)時(shí) 器值中的至少一個(gè)。
3. —種接收設(shè)備，具備接收傳輸格式信息的接收部分，所述傳輸格式信息包含識(shí)別程序或者數(shù)據(jù)的標(biāo) 識(shí)符，和與所述標(biāo)識(shí)符相關(guān)聯(lián)、表示處理所述程序或者所述數(shù)據(jù)的期間的處理期間信息；以及根據(jù)所述標(biāo)識(shí)符和所述處理期間信息，自動(dòng)啟動(dòng)所述程序或者所述數(shù)據(jù)的控制部分。
4. 如權(quán)利要求3所述的發(fā)送設(shè)備，所述處理期間信息包含標(biāo)記、次數(shù)以及計(jì)時(shí) 器值中的至少一個(gè)。
5. —種通信系統(tǒng)，所述通信系統(tǒng)具有發(fā)送設(shè)備和接收設(shè)備， 所述發(fā)送設(shè)備具有發(fā)送傳輸格式信息的發(fā)送部分，所述傳輸格式信息包含在所述接收設(shè)備使用的識(shí)別程序或者數(shù)據(jù)的標(biāo)識(shí)符，和與所述標(biāo)識(shí)符相關(guān)聯(lián)、表示在所 述接收設(shè)備處理所述程序或者所述數(shù)據(jù)的處理期間的處理期間信息，所述接收設(shè)備具有從發(fā)送設(shè)備接收所述傳輸格式信息的接收部分；以及根據(jù) 所述標(biāo)識(shí)符和所述處理期間信息，自動(dòng)啟動(dòng)所述程序或者所述數(shù)據(jù)的控制部分。
6. —種發(fā)送方法，具有將傳輸格式信息發(fā)送到接收設(shè)備的步驟， 所述傳輸格式信息包含在所述接收設(shè)備使用的識(shí)別程序或者數(shù)據(jù)的標(biāo)識(shí)符，和與所述標(biāo)識(shí)符相關(guān)聯(lián)、表示在所述接收設(shè)備處理所述程序或者所述數(shù)據(jù)的期間的處理期間信息。
7. —種接收方法，具備接收傳輸格式信息的步驟，所述傳輸格式信息包含識(shí)別程序或者數(shù)據(jù)的標(biāo)識(shí) 符，和與所述標(biāo)識(shí)符相關(guān)聯(lián)、表示處理所述程序或者所述數(shù)據(jù)的期間的處理期間信 息；以及根據(jù)所述標(biāo)識(shí)符和所述處理期間信息，自動(dòng)啟動(dòng)所述程序或者所述數(shù)據(jù)的步驟。
8. —種通信方法，具備.-發(fā)送傳輸格式信息的步驟，所述傳輸格式信息包含在所述接收設(shè)備使用的識(shí)別 程序或者數(shù)據(jù)的標(biāo)識(shí)符，和與所述標(biāo)識(shí)符相關(guān)聯(lián)、表示在所述接收設(shè)備處理所述程 序或者所述數(shù)據(jù)的處理期間的處理期間信息；接收所述傳輸格式信息的步驟；以及根據(jù)所述標(biāo)識(shí)符和所述處理期間信息，自動(dòng)啟動(dòng)所述程序或者所述數(shù)據(jù)的步
全文摘要
本發(fā)明涉及發(fā)送和接收運(yùn)動(dòng)圖像數(shù)據(jù)的方法及其設(shè)備。具體地，本發(fā)明包括接收控制部分(11)，從存儲(chǔ)器或通信通道接收包括數(shù)據(jù)及其發(fā)送格式信息的信息；分析和分離接收到的信息的分離部分(12)；把信息發(fā)送給存儲(chǔ)器或傳輸通道的發(fā)送部分(13)；擴(kuò)展圖像的圖像擴(kuò)展部分(14)；圖像擴(kuò)展控制部分(15)，控制所述視頻擴(kuò)展部分(14)的處理狀態(tài)，以至少擴(kuò)展一個(gè)或多個(gè)圖像；由圖像合成部分(16)構(gòu)成的圖像合成設(shè)備，根據(jù)擴(kuò)展信息合成圖像；輸出合成結(jié)果的輸出部分(17)；終端控制部分(18)，控制上述裝置，使得可以對(duì)應(yīng)于發(fā)送格式信息的動(dòng)態(tài)范圍同時(shí)合成多個(gè)圖像。
文檔編號(hào)H04N7/24GK101616317SQ20091014880
公開(kāi)日2009年12月30日 申請(qǐng)日期1998年3月13日 優(yōu)先權(quán)日1997年3月17日
發(fā)明者山口孝雄, 栄藤稔, 荒川博 申請(qǐng)人:松下電器產(chǎn)業(yè)株式會(huì)社