專利名稱：發(fā)送設(shè)備和方法以及接收設(shè)備和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及發(fā)送設(shè)備和方法以及接收設(shè)備和方法。更具體地，本發(fā)明涉及不論網(wǎng) 絡(luò)狀況如何都能夠以更穩(wěn)定的方式提供具有減小的不必要的延遲時段的低延遲數(shù)據(jù)傳輸 的發(fā)送設(shè)備和方法以及接收設(shè)備和方法。
背景技術(shù)：
近年來，對經(jīng)由互聯(lián)網(wǎng)或任意其它傳輸路徑來進(jìn)行多媒體數(shù)據(jù)的低延遲傳輸?shù)男?求已經(jīng)增大了。例如，可以使用這樣的應(yīng)用，該應(yīng)用使得遠(yuǎn)程的手術(shù)人員可以在觀察從手術(shù) 室發(fā)送的運動圖像的手術(shù)室現(xiàn)場的同時，操作手術(shù)室中的外科手術(shù)工具，這稱為遠(yuǎn)程外科 手術(shù)應(yīng)用。在這樣的應(yīng)用中，希望以比若干幀間隔更少的延遲來傳輸運動圖像以提高遠(yuǎn)程 的外科手術(shù)工具的操作性。在現(xiàn)有的流方法中，發(fā)送設(shè)備例如通過將緩沖時段或計算緩沖時段所需要的參數(shù) 值寫入傳輸格式或信令消息中來將其通知給接收終端，并且接收終端根據(jù)獲得的信息來設(shè) 置緩沖時段。此外，已經(jīng)提出了一種類型的虛擬標(biāo)準(zhǔn)解碼器，其使用所謂的漏桶模型來說明編 碼率和緩沖參數(shù)的特征，并且將它們用作一組參數(shù)(R，B, F)，其中，R表示傳輸率，B表示 緩沖器大小并且F表示初始緩沖器蓄積度(F/R是開始或初始緩沖延遲)(例如，參見 Jordi Ribas-Corbera, Member, IEEE, Philip A. Chou, Senior Member, IEEE, and Shankar L. Regunathan, " A Generalized Hypothetical Reference Decoder for H. 264/ AVC" IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDE0TECHN0L0GY, VOL. 13, No. 7，JULY 2003)。初始緩沖器延遲F/R等同于緩沖時段。當(dāng)發(fā)送設(shè)備將數(shù)據(jù)率平滑至與編碼率不同 的傳輸率并且通過寫入多組參數(shù)(R，B，F(xiàn))來發(fā)送結(jié)果數(shù)據(jù)時，接收設(shè)備可以通過指定與傳 輸率對應(yīng)的緩沖器大小來以不引起緩沖失敗的穩(wěn)定方式解碼和再現(xiàn)數(shù)據(jù)。

發(fā)明內(nèi)容
在以上方法中，當(dāng)用作傳輸路徑的網(wǎng)絡(luò)的狀況穩(wěn)定時沒有問題。然而，如果網(wǎng)絡(luò)環(huán) 境不穩(wěn)定并且由于傳輸率、網(wǎng)絡(luò)抖動、分組丟失等引起的變化而出現(xiàn)每分組的傳輸延遲，則 根據(jù)在編碼時寫入傳輸格式的緩沖時段進(jìn)行緩沖和解碼再現(xiàn)會由于再現(xiàn)時缺少必要數(shù)據(jù) 而引起緩沖失敗。因此，希望通過傳輸視頻等的流數(shù)據(jù)來提供這樣的同步再現(xiàn)，其中，緩沖時段被劃 分成分別被寫入傳輸格式中的編碼時緩沖時段和傳輸時緩沖時段，然后，執(zhí)行傳輸，以在保 持CODEC單元和傳輸單元的獨立性的同時確?？紤]了網(wǎng)絡(luò)狀況的具有最小緩沖時段(延 遲)的同步再現(xiàn)。根據(jù)本發(fā)明一個實施例，一種發(fā)送設(shè)備，包括編碼裝置，該編碼裝置用于編碼圖 像數(shù)據(jù)來生成編碼數(shù)據(jù)；編碼時緩沖時段添加裝置，該編碼時緩沖時段添加裝置用于將編碼時緩沖時段作為編碼報頭信息添加到所述編碼數(shù)據(jù)，所述編碼時緩沖時段是防止同步再 現(xiàn)由于所述編碼裝置對所述圖像數(shù)據(jù)進(jìn)行編碼所引起的延遲而失敗所需要的最小緩沖時 段，其中在所述同步再現(xiàn)中，所述編碼數(shù)據(jù)被與添加到所述編碼數(shù)據(jù)的時間戳同步地解碼 和再現(xiàn)；傳輸時緩沖時段添加裝置，該傳輸時緩沖時段添加裝置用于將傳輸時緩沖時段作 為與所述編碼報頭信息不同的傳輸報頭信息添加到所述編碼數(shù)據(jù)，所述傳輸時緩沖時段是 防止所述同步再現(xiàn)由于所述圖像數(shù)據(jù)的編碼和所述編碼數(shù)據(jù)的傳輸所引起的延遲而失敗 所需要的最小緩沖時段；以及發(fā)送裝置，該發(fā)送裝置用于經(jīng)由網(wǎng)絡(luò)向執(zhí)行所述同步再現(xiàn)的 另一設(shè)備發(fā)送所述編碼數(shù)據(jù)，在所述編碼數(shù)據(jù)中，已被所述編碼時緩沖時段添加裝置添加 了包括所述編碼時緩沖時段的所述編碼報頭信息并且已被所述傳輸時緩沖時段添加裝置 添加了包括所述傳輸時緩沖時段的所述傳輸報頭信息。該發(fā)送設(shè)備還可以包括網(wǎng)絡(luò)狀況信息收集裝置，該網(wǎng)絡(luò)狀況信息收集裝置用于 收集網(wǎng)絡(luò)狀況信息，所述網(wǎng)絡(luò)狀況信息是有關(guān)經(jīng)由所述網(wǎng)絡(luò)的通信的狀況信息，所述網(wǎng)絡(luò) 狀況信息至少包括傳輸率、網(wǎng)絡(luò)抖動、分組丟失率和傳輸延遲；網(wǎng)絡(luò)響應(yīng)緩沖時段計算裝 置，該網(wǎng)絡(luò)響應(yīng)緩沖時段計算裝置用于使用由所述網(wǎng)絡(luò)狀況信息收集裝置收集的網(wǎng)絡(luò)狀況 信息來計算網(wǎng)絡(luò)響應(yīng)緩沖時段，所述網(wǎng)絡(luò)響應(yīng)緩沖時段是防止所述同步再現(xiàn)由于所述編碼 數(shù)據(jù)的傳輸所引起的延遲而失敗所需要的最小緩沖時段；以及傳輸時緩沖時段計算裝置， 該傳輸時緩沖時段計算裝置用于使用所述編碼時緩沖時段和由所述網(wǎng)絡(luò)響應(yīng)緩沖時段計 算裝置所計算出的網(wǎng)絡(luò)響應(yīng)緩沖時段來計算所述傳輸時緩沖時段。該傳輸時緩沖時段計算裝置可以將所述編碼時緩沖時段和所述網(wǎng)絡(luò)響應(yīng)緩沖時 段之和設(shè)置為所述傳輸時緩沖時段。該傳輸時緩沖時段計算裝置可以選擇所述編碼時緩沖時段和所述網(wǎng)絡(luò)響應(yīng)緩沖 時段中較大的一者。該網(wǎng)絡(luò)響應(yīng)緩沖時段計算裝置可以將網(wǎng)絡(luò)抖動響應(yīng)緩沖時段設(shè)置為所述網(wǎng)絡(luò)響 應(yīng)緩沖時段，所述網(wǎng)絡(luò)抖動響應(yīng)緩沖時段是防止所述同步再現(xiàn)由于所述網(wǎng)絡(luò)的網(wǎng)絡(luò)抖動所 引起的增大的延遲而失敗所需要的最小緩沖時段。該發(fā)送設(shè)備還可以包括用于計算速率比響應(yīng)緩沖時段的速率比響應(yīng)緩沖時段計 算裝置，所述速率比響應(yīng)緩沖時段是防止所述同步再現(xiàn)由于所述傳輸率與所述編碼設(shè)備編 碼所述圖像數(shù)據(jù)的編碼率之比而失敗所需要的最小緩沖時段。所述網(wǎng)絡(luò)響應(yīng)緩沖時段計算 裝置將由所述速率比響應(yīng)緩沖時段計算裝置所計算出的所述速率比響應(yīng)緩沖時段設(shè)置為 所述網(wǎng)絡(luò)響應(yīng)緩沖時段。該網(wǎng)絡(luò)響應(yīng)緩沖時段計算裝置可以將重傳響應(yīng)緩沖時段設(shè)置為所述網(wǎng)絡(luò)響應(yīng)緩 沖時段，所述重傳響應(yīng)緩沖時段是防止所述同步再現(xiàn)由于重傳處理所引起的延遲而失敗所 需要的最小緩沖時段。該網(wǎng)絡(luò)響應(yīng)緩沖時段計算裝置可以將網(wǎng)絡(luò)抖動響應(yīng)緩沖時段、速率比響應(yīng)緩沖時 段和重傳響應(yīng)緩沖時段的和設(shè)置為所述網(wǎng)絡(luò)響應(yīng)緩沖時段，所述網(wǎng)絡(luò)抖動響應(yīng)緩沖時段是 防止所述同步再現(xiàn)由于所述網(wǎng)絡(luò)的網(wǎng)絡(luò)抖動所引起的增大的延遲而失敗所需要的最小緩 沖時段，所述速率比響應(yīng)緩沖時段是防止所述同步再現(xiàn)由于所述傳輸率與所述編碼裝置編 碼所述圖像數(shù)據(jù)的編碼率之比而失敗所需要的最小緩沖時段，所述重傳響應(yīng)緩沖時段是防 止所述同步再現(xiàn)由于重傳處理所引起的延遲而失敗所需要的最小緩沖時段。
該網(wǎng)絡(luò)響應(yīng)緩沖時段計算裝置可以將網(wǎng)絡(luò)抖動響應(yīng)緩沖時段和重傳響應(yīng)緩沖時 段和速率比響應(yīng)緩沖時段中較大的一者設(shè)置為所述網(wǎng)絡(luò)響應(yīng)緩沖時段，所述網(wǎng)絡(luò)抖動響應(yīng) 緩沖時段是防止所述同步再現(xiàn)由于所述網(wǎng)絡(luò)的網(wǎng)絡(luò)抖動所引起的增大的延遲而失敗所需 要的最小緩沖時段，所述重傳響應(yīng)緩沖時段是防止所述同步再現(xiàn)由于重傳處理所引起的延 遲而失敗所需要的最小緩沖時段，所述速率比響應(yīng)緩沖時段是防止所述同步再現(xiàn)由于所述 傳輸率與所述編碼裝置編碼所述圖像數(shù)據(jù)的編碼率之比而失敗所需要的最小緩沖時段。 該網(wǎng)絡(luò)響應(yīng)緩沖時段計算裝置可以將網(wǎng)絡(luò)抖動響應(yīng)緩沖時段和重傳響應(yīng)緩沖時 段中的較大者與速率比響應(yīng)緩沖時段之和設(shè)置為所述網(wǎng)絡(luò)響應(yīng)緩沖時段，所述網(wǎng)絡(luò)抖動響 應(yīng)緩沖時段是防止所述同步再現(xiàn)由于所述網(wǎng)絡(luò)的網(wǎng)絡(luò)抖動所引起的延遲的增大而失敗所 需要的最小緩沖時段，所述速率比響應(yīng)緩沖時段是防止所述同步再現(xiàn)由于所述傳輸率與所 述編碼裝置編碼所述圖像數(shù)據(jù)的編碼率之比而失敗所需要的最小緩沖時段，所述重傳響應(yīng) 緩沖時段是防止所述同步再現(xiàn)由于重傳處理所引起的延遲而失敗所需要的最小緩沖時段。該發(fā)送設(shè)備還可以包括用于計算所述編碼時緩沖時段的編碼時緩沖時段裝置。所 述編碼時緩沖時段添加裝置可以將由所述編碼時緩沖時段計算裝置計算出的所述編碼時 緩沖時段作為所述編碼報頭信息添加到所述編碼數(shù)據(jù)。該編碼時緩沖時段計算裝置可以將通過將所述圖像數(shù)據(jù)被編碼的編碼率除以用 來編碼所述圖像數(shù)據(jù)的緩沖器大小所產(chǎn)生的值設(shè)置為所述編碼時緩沖時段。根據(jù)本發(fā)明的另一實施例，一種發(fā)送方法，包括以下步驟通過發(fā)送設(shè)備的編碼裝 置，編碼圖像數(shù)據(jù)來生成編碼數(shù)據(jù)；通過所述發(fā)送設(shè)備的編碼時緩沖時段添加裝置，將編碼 時緩沖時段作為編碼報頭信息添加到所述編碼數(shù)據(jù)，所述編碼時緩沖時段是防止同步再現(xiàn) 由于所述編碼裝置對所述圖像數(shù)據(jù)進(jìn)行編碼所引起的延遲而失敗所需要的最小緩沖時段， 其中在所述同步再現(xiàn)中，所述編碼數(shù)據(jù)被與添加到所述編碼數(shù)據(jù)的時間戳同步地解碼和再 現(xiàn)；通過所述發(fā)送設(shè)備的傳輸時緩沖時段添加裝置，將傳輸時緩沖時段作為與所述編碼報 頭信息不同的傳輸報頭信息添加到所述編碼數(shù)據(jù)，所述傳輸時緩沖時段是防止所述同步再 現(xiàn)由于所述圖像數(shù)據(jù)的編碼和所述編碼數(shù)據(jù)的傳輸所引起的延遲而失敗所需要的最小緩 沖時段；以及通過所述發(fā)送設(shè)備的發(fā)送裝置，經(jīng)由網(wǎng)絡(luò)向執(zhí)行所述同步再現(xiàn)的另一設(shè)備發(fā) 送所述編碼數(shù)據(jù)，在所述編碼數(shù)據(jù)中，已添加了包括所述編碼時緩沖時段的所述編碼報頭 信息并且已添加了包括所述傳輸時緩沖時段的所述傳輸報頭信息。根據(jù)本發(fā)明的又一實施例，一種接收設(shè)備，包括接收裝置，該接收裝置用于接收 經(jīng)由網(wǎng)絡(luò)傳輸?shù)木幋a數(shù)據(jù)，所述編碼數(shù)據(jù)是由另一設(shè)備通過編碼圖像數(shù)據(jù)生成的；編碼時 緩沖時段獲取裝置，該編碼時緩沖時段獲取裝置用于通過從由所述接收裝置接收的編碼數(shù) 據(jù)中提取編碼時緩沖時段來獲得所述編碼時緩沖時段，所述編碼時緩沖時段是防止同步再 現(xiàn)由于所述圖像數(shù)據(jù)的編碼所引起的延遲而失敗所需要的最小緩沖時段，其中在所述同步 再現(xiàn)中，所述編碼數(shù)據(jù)被與添加到所述編碼數(shù)據(jù)的時間戳同步地解碼和再現(xiàn)；傳輸時緩沖 時段獲取裝置，該傳輸時緩沖時段獲取裝置用于通過從由所述接收裝置接收的編碼數(shù)據(jù)中 提取傳輸時緩沖時段來獲得所述傳輸時緩沖時段，所述傳輸時緩沖時段是防止所述編碼數(shù) 據(jù)的同步再現(xiàn)由于所述圖像數(shù)據(jù)的編碼和所述編碼數(shù)據(jù)的傳輸所引起的延遲而失敗所需 要的最小緩沖時段；初始緩沖延遲計算裝置，該初始緩沖延遲計算裝置用于使用由所述編 碼時緩沖時段獲取裝置獲得的編碼時緩沖時段和由所述傳輸時緩沖時段獲取裝置獲得的傳輸時緩沖時段來計算初始緩沖延遲，所述初始緩沖延遲是防止所述同步再現(xiàn)失敗所需要 的緩沖時段的初始值；存儲裝置，該存儲裝置用于存儲由所述接收裝置接收的編碼數(shù)據(jù)； 同步控制裝置，該同步控制裝置用于通過控制被存儲在所述存儲裝置中的編碼數(shù)據(jù)的讀出 定時來控制所述同步再現(xiàn)；以及解碼裝置，該解碼裝置用于根據(jù)所述同步控制裝置的控制 來解碼從所述存儲裝置讀出的編碼數(shù)據(jù)。
該初始緩沖延遲計算裝置，可以在被添加到所述編碼數(shù)據(jù)的傳輸時緩沖時段為有 效時將所述傳輸時緩沖時段設(shè)置為所述初始緩沖延遲，并且可以在所述傳輸時緩沖時段為 無效時將被添加到所述編碼數(shù)據(jù)的編碼時緩沖時段設(shè)置為所述初始緩沖延遲。根據(jù)本發(fā)明的又一實施例，一種接收方法，包括以下步驟通過接收設(shè)備的接收裝 置，接收經(jīng)由網(wǎng)絡(luò)傳輸?shù)木幋a數(shù)據(jù)，所述編碼數(shù)據(jù)是由另一設(shè)備通過編碼圖像數(shù)據(jù)生成的； 通過所述接收設(shè)備的編碼時緩沖時段獲取裝置，通過從接收的編碼數(shù)據(jù)中提取編碼時緩沖 時段來獲得所述編碼時緩沖時段，所述編碼時緩沖時段是防止同步再現(xiàn)由于所述圖像數(shù)據(jù) 的編碼所引起的延遲而失敗所需要的最小緩沖時段，其中在所述同步再現(xiàn)中，所述編碼數(shù) 據(jù)被與添加到所述編碼數(shù)據(jù)的時間戳同步地解碼和再現(xiàn)；通過所述接收設(shè)備的傳輸時緩沖 時段獲取裝置，通過從由接收的編碼數(shù)據(jù)中提取傳輸時緩沖時段來獲得所述傳輸時緩沖時 段，所述傳輸時緩沖時段是防止所述編碼數(shù)據(jù)的同步再現(xiàn)由于所述圖像數(shù)據(jù)的編碼和所述 編碼數(shù)據(jù)的傳輸所引起的延遲而失敗所需要的最小緩沖時段；通過所述接收設(shè)備的初始緩 沖延遲計算裝置，使用獲得的編碼時緩沖時段和獲得的傳輸時緩沖時段來計算初始緩沖延 遲，所述初始緩沖延遲是防止所述同步再現(xiàn)失敗所需要的緩沖時段的初始值；通過所述接 收設(shè)備的存儲裝置，存儲所述接收的編碼數(shù)據(jù)；通過所述接收設(shè)備的同步控制裝置，通過控 制所存儲的編碼數(shù)據(jù)的讀出定時來控制所述同步再現(xiàn)；通過所述接收設(shè)備的解碼裝置，根 據(jù)所述控制來解碼所讀出的編碼數(shù)據(jù)。根據(jù)本發(fā)明的一個實施例，一種發(fā)送設(shè)備，圖像數(shù)據(jù)被編碼；編碼數(shù)據(jù)被生成；編 碼時緩沖時段作為編碼報頭信息被添加到所述編碼數(shù)據(jù)，所述編碼時緩沖時段是防止同步 再現(xiàn)由于所述圖像數(shù)據(jù)的編碼所引起的延遲而失敗所需要的最小緩沖時段，其中在所述同 步再現(xiàn)中，所述編碼數(shù)據(jù)被與添加到所述編碼數(shù)據(jù)的時間戳同步地解碼和再現(xiàn)；傳輸時緩 沖時段作為與所述編碼報頭信息不同的傳輸報頭信息被添加到所述編碼數(shù)據(jù)，所述傳輸時 緩沖時段是防止所述同步再現(xiàn)由于所述圖像數(shù)據(jù)的編碼和所述編碼數(shù)據(jù)的傳輸所引起的 延遲而失敗所需要的最小緩沖時段；以及以添加包括所述編碼時緩沖時段的所述編碼報頭 信息和包括所述傳輸時緩沖時段的所述傳輸報頭信息的編碼數(shù)據(jù)被經(jīng)由網(wǎng)絡(luò)發(fā)送給執(zhí)行 所述同步再現(xiàn)的另一設(shè)備。根據(jù)本發(fā)明另一實施例，由另一設(shè)備通過編碼圖像數(shù)據(jù)生成的并經(jīng)由網(wǎng)絡(luò)傳輸?shù)?編碼數(shù)據(jù)被接收；編碼時緩沖時段被從接收的編碼數(shù)據(jù)中提取并被獲得，所述編碼時緩沖 時段是防止同步再現(xiàn)由于所述圖像數(shù)據(jù)的編碼所引起的延遲而失敗所需要的最小緩沖時 段，其中在所述同步再現(xiàn)中，所述編碼數(shù)據(jù)被與添加到所述編碼數(shù)據(jù)的時間戳同步地解碼 和再現(xiàn)；傳輸時緩沖時段被從接收的編碼數(shù)據(jù)中提取并被獲得，所述傳輸時緩沖時段是防 止所述編碼數(shù)據(jù)的同步再現(xiàn)由于所述圖像數(shù)據(jù)的編碼和所述編碼數(shù)據(jù)的傳輸所引起的延 遲而失敗所需要的最小緩沖時段；初始緩沖延遲被使用所獲得的編碼時緩沖時段和所獲得 的傳輸時緩沖時段計算出，所述初始緩沖延遲是防止所述同步再現(xiàn)失敗所需要的緩沖時段的初始值；所 接收的編碼數(shù)據(jù)被存儲；所述同步再現(xiàn)通過控制所存儲的編碼數(shù)據(jù)的讀出定 時來控制；以及讀出的編碼數(shù)據(jù)根據(jù)所述控制被解碼。根據(jù)本發(fā)明的實施例，數(shù)據(jù)可以被傳輸。具體地，不論網(wǎng)絡(luò)狀況如何，都可以以更 穩(wěn)定的方式執(zhí)行具有減小的不必要的延遲時段的低延遲數(shù)據(jù)傳輸。


圖1是圖示出根據(jù)本發(fā)明一個實施例的發(fā)送/接收系統(tǒng)的主要元件的示例配置的 框圖；圖2是圖示出編碼單元的詳細(xì)示例配置的框圖；圖3是圖示出子帶的示例的示圖；圖4是圖示出行塊的示圖；圖5是圖示出5X3濾波器的示圖；圖6是圖示出提升計算的示例的示圖；圖7是圖示出穩(wěn)定狀態(tài)中系數(shù)數(shù)據(jù)的輸出順序的示圖；圖8是圖示出系數(shù)的重新排列的示圖；圖9是圖示出編碼時緩沖時段的示圖；圖10是圖示出格式修改單元的詳細(xì)示例配置的框圖。圖IlA至圖IlC是圖示出傳輸數(shù)據(jù)的示例配置的示圖。圖12是圖示出傳輸時緩沖時段的示圖；圖13是圖示出格式分析單元的詳細(xì)示例配置的框圖；圖14是圖示出解碼單元的詳細(xì)示例配置的框圖；圖15是圖示出發(fā)送處理的流程的示例的流程圖；圖16是圖示出編碼處理的流程的示例的流程圖；圖17是圖示出格式修改處理的流程的示例的流程圖；圖18是圖示出接收處理的流程的示例的流程圖；圖19是圖示出同步控制設(shè)置處理的流程的示例的流程圖；圖20是圖示出解碼處理的流程的示例的流程圖；圖21是圖示出根據(jù)本發(fā)明第二實施例的發(fā)送/接收系統(tǒng)的示例配置的框圖；圖22是圖示出根據(jù)第二實施例的傳輸時緩沖時段的示例的示圖；圖23是圖示出根據(jù)第二實施例的發(fā)送處理的流程的示例的流程圖；圖24是圖示出根據(jù)本發(fā)明第三實施例的發(fā)送/接收系統(tǒng)的示例的流程圖；圖25是圖示出根據(jù)本發(fā)明一個實施例的計算機的主要元件的示例配置的框圖。
具體實施例方式以下將說明本發(fā)明的實施例。將以如下順序來進(jìn)行說明1.第一實施例(第一發(fā)送/接收系統(tǒng))2.第二實施例(第二發(fā)送/接收系統(tǒng))3.第三實施例(第三發(fā)送/接收系統(tǒng))4.第四實施例(個人計算機)
1.第一實施例裝置配置首先，將說明根據(jù)本發(fā)明一個實施例的包括發(fā)送設(shè)備和接收設(shè)備的發(fā)送/接收系 統(tǒng)的配置。圖1是圖示出根據(jù)本發(fā)明一個實施例的發(fā)送/接收系統(tǒng)100的示例配置的框圖。如圖1中所示，發(fā)送/接收系統(tǒng)100可以是對圖像數(shù)據(jù)進(jìn)行編碼并且發(fā)送編碼后 的圖像數(shù)據(jù)的系統(tǒng)，并且包括發(fā)送設(shè)備101和接收設(shè)備102。發(fā)送設(shè)備101和接收設(shè)備102 經(jīng)由網(wǎng)絡(luò)103相互連接并且相互通信。由發(fā)送設(shè)備101捕獲的視頻數(shù)據(jù)被編碼，并且編碼后的視頻數(shù)據(jù)經(jīng)由諸如互聯(lián)網(wǎng) 之類的網(wǎng)絡(luò)103被發(fā)送至接收設(shè)備102，并且被同步地再現(xiàn)。在發(fā)送/接收系統(tǒng)100中，例如可以使用互聯(lián)網(wǎng)工程任務(wù)組(IETF)請求注解 (RFC) 3550中所規(guī)定的實時傳輸協(xié)議(RTP)/實時傳輸控制協(xié)議(RTCP)來發(fā)送和接收數(shù)據(jù) 或者收集網(wǎng)絡(luò)狀況信息。如圖1中所示，發(fā)送設(shè)備101包括捕獲單元111、編碼單元112和傳輸單元113。捕獲單元111捕獲輸入圖像(視頻IN)來獲得或生成圖像數(shù)據(jù)。捕獲單元111將 所獲得的(或所生成的)圖像數(shù)據(jù)提供給編碼單元112。編碼單元112對圖像數(shù)據(jù)進(jìn)行編 碼來生成編碼數(shù)據(jù)。編碼單元112對所生成的編碼數(shù)據(jù)進(jìn)行平滑，并且將結(jié)果數(shù)據(jù)提供給 傳輸單元113。傳輸單元113將編碼數(shù)據(jù)經(jīng)由網(wǎng)絡(luò)103傳輸至接收設(shè)備102。傳輸單元113包括傳輸平滑單元121、格式修改單元122、RTP發(fā)送單元123和RTCP 單元124。傳輸平滑單元121臨時地保存編碼數(shù)據(jù)并且調(diào)節(jié)輸出定時來平滑編碼數(shù)據(jù)的比 特率以與向接收設(shè)備102傳輸編碼數(shù)據(jù)的傳輸率相匹配。傳輸平滑單元121將輸出的編碼數(shù)據(jù)提供給格式修改單元122。格式修改單元122確定傳輸時緩沖時段，并且將結(jié)果值設(shè)置在傳輸格式中的指 定字段中，傳輸時緩沖時段是根據(jù)網(wǎng)絡(luò)103的狀況由數(shù)據(jù)傳輸引起的延遲時段，并且是從 RTCP單元124獲得的。格式修改單元122在必要時以這種方式修改格式，然后將格式已被修改的編碼數(shù) 據(jù)提供給RTP發(fā)送單元123。 RTP發(fā)送單元123根據(jù)RTP將編碼數(shù)據(jù)轉(zhuǎn)換成分組，并且將獲得的RTP分組發(fā)送至 網(wǎng)絡(luò)103以尋址至接收設(shè)備102。從RTP發(fā)送單元123發(fā)送的RTP分組經(jīng)由網(wǎng)絡(luò)103傳輸 至接收設(shè)備102。RTCP單元124根據(jù)RTCP經(jīng)由網(wǎng)絡(luò)103與接收設(shè)備102中的RTCP單元136通信， 并且收集網(wǎng)絡(luò)狀況信息，網(wǎng)絡(luò)狀況信息可以是有關(guān)網(wǎng)絡(luò)103的狀況等的信息，包括發(fā)送設(shè) 備101和接收設(shè)備102之間的數(shù)據(jù)傳輸路徑中的抖動、可以執(zhí)行的傳輸率以及分組丟失率。網(wǎng)絡(luò)抖動例如可以通過多次發(fā)送和接收分組來測量。依賴于網(wǎng)絡(luò)，可以確保最大 抖動值。當(dāng)這樣的網(wǎng)絡(luò)用作傳輸路徑時，可以利用最大抖動值。RTCP單元124將所收集的信息提供給格式修改單元122。如上所述，格式修改單 元122根據(jù)從RTCP單元124提供的信息來計算傳輸時緩沖時段。如圖1中所示，接收設(shè)備102包括RTP接收單元131、格式分析單元132、同步控制單元133、緩沖器134、解碼單元135和RTCP單元136。RTP接收單元131接收從發(fā)送設(shè)備101經(jīng)由網(wǎng)絡(luò)103傳輸?shù)腞TP分組。RTP接收單元131從接收到的RTP分組中提取編碼數(shù)據(jù)，并且將編碼數(shù)據(jù)提供給格式分析單元132。格式分析單元132提取添加到編碼數(shù)據(jù)的編碼時緩沖時段和傳輸時緩沖時段，并 且將所提取出的時段提供給同步控制單元133。格式分析單元132進(jìn)一步提供處理后的編 碼數(shù)據(jù)以將編碼數(shù)據(jù)累積在緩沖器134中。同步控制單元133控制緩沖器134的數(shù)據(jù)輸出定時。同步控制單元133使用每 個編碼數(shù)據(jù)中所包括的時間戳值、編碼時緩沖時段和傳輸時緩沖時段來確定合適的緩沖時 段，并且基于所確定的信息來控制緩沖器134輸出編碼數(shù)據(jù)的定時。緩沖器134存儲從格式分析單元132提供的編碼數(shù)據(jù)。緩沖器134受同步控制單 元133控制來在預(yù)定定時將所存儲的編碼數(shù)據(jù)提供給解碼單元135。解碼單元135解碼從緩沖器134提供的編碼數(shù)據(jù)，并且輸出所獲得的編碼圖像數(shù) 據(jù)以使得圖像數(shù)據(jù)可以被同步地再現(xiàn)(視頻OUT)。接著，將說明每個設(shè)備的細(xì)節(jié)。首先，將說明發(fā)送設(shè)備101。編碼單元圖2是圖示出圖1中所圖示的編碼單元112的詳細(xì)示例配置的框圖。在圖2中，編碼單元112包括圖像行輸入單元151、行緩沖單元152、小波變換單元 153、系數(shù)行重新排列單元154、熵編碼單元155、編碼器內(nèi)置平滑單元156和格式轉(zhuǎn)換單元 157。圖像行輸入單元151將輸入的圖像數(shù)據(jù)逐行地輸入行緩沖單元152來將圖像數(shù)據(jù) 累積在行緩沖單元152中。行緩沖單元152保存從圖像行輸入單元151提供的圖像數(shù)據(jù)或 從小波變換單元153提供的系數(shù)數(shù)據(jù)，并且在預(yù)定定時將圖像數(shù)據(jù)或系數(shù)數(shù)據(jù)提供給小波 變換單元153。小波變換單元153對從行緩沖單元152提供的圖像數(shù)據(jù)或系數(shù)數(shù)據(jù)執(zhí)行小波變 換，并且生成下一層級中的低頻分量和高頻分量的系數(shù)數(shù)據(jù)。小波變換單元153將所生成的系數(shù)數(shù)據(jù)的垂直和水平的低頻分量提供給行緩沖 單元152以將分量保存在那兒，并且將其他分量提供給系數(shù)行重新排列單元154。如果所生 成的系數(shù)數(shù)據(jù)對應(yīng)于頂層，則小波變換單元153還將垂直和水平的低頻分量提供給系數(shù)行 重新排列單元154。此外，當(dāng)執(zhí)行如下所述的提升計算時，小波變換單元153保存正被計算的數(shù)據(jù)，并 且將這些數(shù)據(jù)用于下一分析濾波。小波變換單元153執(zhí)行小波變換直到達(dá)到預(yù)定數(shù)目的劃 分級別(division level)為止。系數(shù)行重新排列單元154從小波變換單元153接收系數(shù)數(shù)據(jù)(系數(shù)行)。系數(shù)行 重新排列單元154按照小波逆變換處理的順序重新排列系數(shù)數(shù)據(jù)(系數(shù)行)。系數(shù)行重新排列單元154將從小波變換單元153提供的系數(shù)行保存到內(nèi)置存儲單 元中，并且還讀取所保存的系數(shù)行。在該情況中，系數(shù)行重新排列單元154按照小波逆變換 處理的順序來讀取所保存的系數(shù)行，以重新排列系數(shù)行。以下將說明重新排列操作的細(xì)節(jié)。系數(shù)行重新排列單元154將重新排列的系數(shù)數(shù)據(jù)提供給熵編碼單元155。熵編碼單元155使用諸如哈夫曼編碼或算術(shù)編碼之類的預(yù)定熵編碼方案來對從系數(shù)行重新排列單元154提供的系數(shù)數(shù)據(jù)進(jìn)行編碼。熵編碼單元155將所生成的編碼數(shù)據(jù) 提供給編碼器內(nèi)置平滑單元156。編碼器內(nèi)置平滑單元156平滑所提供的編碼數(shù)據(jù)的比特率，以通過臨時地保存編 碼數(shù)據(jù)來匹配預(yù)定編碼率。編碼器內(nèi)置平滑單元156通過在預(yù)定定時讀取所累積的編碼數(shù) 據(jù)來將平滑后的編碼數(shù)據(jù)提供給格式轉(zhuǎn)換單元157。在該情況中，編碼器內(nèi)置平滑單元156計算編碼時緩沖時段，并且將有關(guān)所計算 出的編碼時緩沖時段的信息提供給格式轉(zhuǎn)換單元157，其中編碼時緩沖時段是由編碼單元 112的編碼處理引起的延遲時段。

格式轉(zhuǎn)換單元157將包括從編碼器內(nèi)置平滑單元156提供的編碼時緩沖時段的編 碼信息作為報頭信息(編碼報頭信息)添加到從編碼器內(nèi)置平滑單元156提供的編碼數(shù) 據(jù)。因此，編碼數(shù)據(jù)的格式被轉(zhuǎn)換成傳輸格式。在轉(zhuǎn)換編碼數(shù)據(jù)的格式之后，格式轉(zhuǎn)換單元157將產(chǎn)生的編碼數(shù)據(jù)提供給傳輸單 元113的傳輸平滑單元121 (圖1)。子帶接著，將說明小波變換。小波變換是這樣的處理，其通過對所生成的低頻分量進(jìn)行 遞歸迭代分析濾波來將圖像數(shù)據(jù)劃分成高空頻率分量(高頻分量)和低空頻率分量(低頻 分量)，以將圖像數(shù)據(jù)變換為每個頻率分量的分層系數(shù)數(shù)據(jù)。在以下說明中，假定劃分級別 對于高頻分量層級是低的，對于低頻分量層級是高的。在一個層級(劃分級別)中，在水平和垂直兩個方向上都執(zhí)行分析濾波。因此，一 個層級的系數(shù)數(shù)據(jù)(圖像數(shù)據(jù))通過使用一個層級的分析濾波被劃分成四種分量。這四種 分量是水平和垂直的高頻分量(HH)、水平高頻分量和垂直低頻分量(HL)、水平低頻分量和 垂直高頻分量(LH)和水平和垂直的低頻分量(LL)。這各個分量集稱為“子帶”(LL、LH、HL和HH)。然后，對所生成的四個子帶中的水平和垂直的低頻分量(LL)執(zhí)行下一層級的分 析濾波。這種方式的分析濾波遞歸迭代使得低空頻帶中的系數(shù)數(shù)據(jù)可以劃分成更小的區(qū) 域(低頻分量)。因此，可以通過對這樣經(jīng)小波變換后的系數(shù)數(shù)據(jù)進(jìn)行編碼來執(zhí)行有效的編碼。圖3圖示出通過迭代分析濾波四次被劃分成13個子帶(1LH、1HL、1HH、2LH、2HL、 2HH、3LH、3HL、3HH、4LL、4LH、4HL和4HH)直到劃分級別4的系數(shù)數(shù)據(jù)的配置。行塊接著，將說明行塊。圖4是圖示出行塊的示圖。小波變換中的分析濾波從所要處 理的兩行圖像數(shù)據(jù)或系數(shù)數(shù)據(jù)逐行生成更上層級中4個子帶的系數(shù)數(shù)據(jù)。例如，當(dāng)劃分級別數(shù)為4時，如圖4中的陰影線部分所示，為了逐行生成與頂部層 級相對應(yīng)的劃分級別4的子帶的系數(shù)數(shù)據(jù)，對于子帶3LL需要2行，對于子帶2LL需要4行， 對于子帶ILL需要8行。即，需要16行子帶圖像數(shù)據(jù)。生成低頻分量的子帶的一行系數(shù)數(shù)據(jù)所需要行數(shù)的圖像數(shù)據(jù)稱為“行塊”(或“選 區(qū)，，(precinct))。例如，當(dāng)劃分級別數(shù)為N時，行數(shù)等于2的N次冥的子帶圖像數(shù)據(jù)被用來生成最低頻率分量的子帶的一行系數(shù)數(shù)據(jù)。這是行塊的行數(shù)。行塊也表示通過對該行塊的圖像數(shù)據(jù)進(jìn)行小波變換而獲得的每個子帶的系數(shù)數(shù) 據(jù)集。并且，術(shù)語“行”是指幀圖像(圖片)的一行的水平方向上的像素序列，或子帶的 一行的水平方向上的系數(shù)序列。一行系數(shù)數(shù)據(jù)也稱為“系數(shù)行”。在以下說明中，用適當(dāng)?shù)?表述來進(jìn)行更詳細(xì)的區(qū)分。對一個系數(shù)行(一行系數(shù)數(shù)據(jù))進(jìn)行編碼得到的一行編碼數(shù)據(jù)也稱為“代碼行”。在由小波變換單元153執(zhí)行的小波變換處理中，對每兩行圖像數(shù)據(jù)(或系數(shù)數(shù)據(jù)) 執(zhí)行分析濾波。在該情況中，按照使得處理可以以盡可能慢的延遲被執(zhí)行的順序來選擇兩 行。更具體而言，按照使得盡可能優(yōu)先地生成較高階(較低頻)子帶的系數(shù)數(shù)據(jù)的順 序來選擇每兩行圖像數(shù)據(jù)(系數(shù)數(shù)據(jù))，并進(jìn)行分析濾波。5X3濾波器接著，將說明分析濾波。小波變換處理可以使用一般由低通濾波器和高通濾波器組成的濾波器組來執(zhí)行。將在使用5X3濾波器的方法的上下文中說明小波變換的具體示例。5X3濾波器的脈沖響應(yīng)(Z變換表示)用以下等式(1)和(2)中給出的低通濾波 器Htl(Z)和高通濾波器H1 (Ζ)表示。從等式⑴和⑵中可知，低通濾波器H。(ζ)具有5個 抽頭而高通濾波器H1 (ζ)具有3個抽頭。H0(Z) = (-1+2Ζ_1+6Ζ"2+2Ζ"3-Ζ"4) /8 (1)H1(Z) = (-1+2Ζ_1-Ζ"2)/2(2)根據(jù)等式(1)和(2)，可以直接計算低頻分量和高頻分量的系數(shù)。這里，使用提升 技術(shù)可以導(dǎo)致濾波處理中的計算量降低。圖5是圖示出5X3濾波器的提升表示的示圖。圖5頂部的一個序列是一個輸入 信號序列。數(shù)據(jù)處理在屏幕上從上向下進(jìn)行，并使用以下等式(3)和(4)來輸出高頻分量 的系數(shù)(高頻系數(shù))和低頻分量的系數(shù)(低頻系數(shù))d/ = (1^-1/2 (Si°+Si+10)(3)Si1 = si°+l/4(di_11+di1)(4)提升計算接著，將說明提升計算。圖6是圖示出使用5X3分析濾波器對軸向上的行執(zhí)行的 濾波的提升表示的示圖。在橫向上，圖示出計算步驟以及各個步驟中所生成的低頻和高頻系數(shù)。與圖5相 比較，可見，計算方法是相似的，只是水平方向變成了垂直方向。在圖像的上端，如箭頭161所示，最高階行對稱地從行1擴展到虛線指示的部分， 并且插補一行。如幀162所示，提升計算是使用插補行和行0和1(即總共3行)來執(zhí)行的， 并且系數(shù)“a”是通過步驟1的計算來生成的。這就是高頻系數(shù)(H0)。當(dāng)行1、2和3被輸入時，根據(jù)等式(3)使用這3行來計算下一高頻系數(shù)“a”。這是 高頻系數(shù)(HI)。然后，根據(jù)等式(4)使用第一高頻系數(shù)“3”010)、第二高頻系數(shù)“3”011)和 行1的系數(shù)(即，總共3個系數(shù))的計算產(chǎn)生系數(shù)“b”。這是低頻系數(shù)(Li)。S卩，如幀163所示，低頻系數(shù)(Li)和高頻系數(shù)(Hl)是使用3行(即，行1、2和3)并使用高頻系數(shù)(HO) 生成的。以下，每次兩行被輸入時，以類似的方式對隨后的行執(zhí)行以上提升計算，并且輸出 低頻系數(shù)和高頻系數(shù)。然后，如幀164所示，當(dāng)?shù)皖l系數(shù)(L(N-I))和高頻系數(shù)(H(N-I))被 生成時，以箭頭165所示的方式對稱地擴展高頻系數(shù)(H(N-I))，并且以箭頭166所示的方式 執(zhí)行計算。然后，生成低頻分量(L(N))。盡管圖6圖示出對垂直方向上的行執(zhí)行濾波的示例，但是應(yīng)當(dāng)理解，可以以類似 的方式執(zhí)行水平方向上的濾波。以上提升計算在每個層級上被執(zhí)行。就這一點而言，如上所述，分析濾波是按照使 得更優(yōu)先地生成低頻分量的方式來執(zhí)行的。參考圖6說明的順序表示要經(jīng)歷分析濾波的數(shù) 據(jù)項之間的依存關(guān)系，其與處理被實際執(zhí)行的順序不同。一個行塊的處理接著，將說明分析濾波的執(zhí)行過程。要處理的圖像數(shù)據(jù)(系數(shù)數(shù)據(jù))按照從圖片(子帶)中上面的行開始的順序來 處理。每次要處理的兩行圖像數(shù)據(jù)(系數(shù)數(shù)據(jù))準(zhǔn)備好時(即，當(dāng)提升計算變得可以執(zhí)行 時)，執(zhí)行分析濾波的提升計算。應(yīng)當(dāng)注意，低頻子帶被更優(yōu)先地處理。如下所述，對每個行塊使用相同的過程來重復(fù)執(zhí)行分析濾波。將說明每次兩行準(zhǔn) 備好時針對要經(jīng)歷分析濾波的行塊(穩(wěn)定狀態(tài)行塊)的分析濾波的過程。在包括初始狀態(tài)中的圖片或子帶的上端的行塊(初始狀態(tài)行塊)中，分析濾波需 要的行數(shù)與其他行塊(穩(wěn)定狀態(tài)行塊)需要的行數(shù)不同。然而，在初始狀態(tài)行塊的情況中， 分析濾波的處理過程與其他行塊的處理過程基本相似，因此省略對其的說明。圖7是圖示出穩(wěn)定狀態(tài)中的系數(shù)數(shù)據(jù)的輸出順序的示圖。在圖7中，小波變換后 的系數(shù)數(shù)據(jù)在圖7中從上到下的方向上按時間順序排列。在穩(wěn)定狀態(tài)行塊中，首先，行塊中的頂部兩行基帶圖像數(shù)據(jù)經(jīng)歷分析濾波，并且生 成劃分級別1的行L(從頂部開始的第L個系數(shù)行)。由于對于分析濾波而言一行系數(shù)數(shù) 據(jù)是不夠的，所以接下來兩行基帶圖像數(shù)據(jù)在下一定時經(jīng)歷分析濾波，并且生成劃分級別1 的行(L+1)(從頂部開始的第(L+1)個系數(shù)行)。此時，劃分級別1的兩行系數(shù)數(shù)據(jù)已準(zhǔn)備好。然后，對劃分級別1的兩行系數(shù)數(shù)據(jù) 執(zhí)行劃分級別1的分析濾波，并且生成劃分級別2的行M(從頂部開始第M個系數(shù)行)。然 而，因為一行的原因，劃分級別2的分析濾波還沒有準(zhǔn)備好來執(zhí)行。另外，由于此時劃分級 別1的系數(shù)數(shù)據(jù)還未準(zhǔn)備好，所以級別1的分析濾波是不可執(zhí)行的。因此，子帶圖像數(shù)據(jù)的接下來兩行經(jīng)歷分析濾波，并且生成劃分級別1的行(L+2) (從頂部開始第(L+2)個系數(shù)行)。由于對于分析濾波一行系數(shù)數(shù)據(jù)是不夠的，因此，子帶 圖像數(shù)據(jù)的接下來兩行經(jīng)歷分析濾波，并生成劃分級別1的行(L+3)(從頂部開始第(L+3) 個系數(shù)行)。由于劃分級別1的兩行系數(shù)數(shù)據(jù)已準(zhǔn)備好，所以之后，對劃分級別1的兩行系數(shù)數(shù) 據(jù)執(zhí)行劃分級別1的分析濾波，并且生成劃分級別2的行(M+1)(從頂部開始第(M+1)個系 數(shù)行)。因此，劃分級別2的兩行系數(shù)數(shù)據(jù)已準(zhǔn)備好。然后，對劃分級別2的兩行系數(shù)數(shù)據(jù)執(zhí)行劃分級別2的分析濾波，并且生成劃分級別3的行N(從頂部開始第N個系數(shù)行)。隨后，類似地，順次生成劃分級別1的行(L+4)(從頂部開始第(L+4)個系數(shù)行) 和行(L+5)(從頂部開始第(L+5)個系數(shù)行)、劃分級別2的行(M+2)(從頂部開始第(M+2) 個系數(shù)行)、劃分級別1的行(L+6)(從頂部開始第(L+6)個系數(shù)行)和行(L+7)(從頂部開 始第(L+7)個系數(shù)行)、劃分級別2的行(M+3)(從頂部開始第(M+3)個系數(shù)行)和劃分級 別3的行(N+1)(從頂部開始第(N+1)個系數(shù)行)。由于劃分級別3的兩行系數(shù)數(shù)據(jù)已準(zhǔn)備好，因此，對劃分級別3的兩行系數(shù)數(shù)據(jù)執(zhí) 行劃分級別3的分析濾波，并且生成劃分級別4的行P (從頂部開始第P個系數(shù)行)。以以上方式，執(zhí)行針對一個行塊的分析濾波。S卩，以上過程針對每個行塊被重復(fù)執(zhí) 行。系數(shù)重新排列接著，將參考圖8來說明系數(shù)行重新排列單元154的系數(shù)數(shù)據(jù)重新排列。在圖8中，系數(shù)行按照要處理的順序排列。時間在圖8中從上向下進(jìn)行。即，圖8 中所圖示的系數(shù)行按照從圖8的頂部開始的順序來處理。系數(shù)數(shù)據(jù)按照如圖8左側(cè)所示的順序(小波變換輸出順序)從小波變換單元153 輸出。系數(shù)行重新排列單元154按照如圖8的右側(cè)所示從低頻分量至高頻分量的順序重 新排列系數(shù)數(shù)據(jù)。更具體而言，系數(shù)行重新排列單元154讀取劃分級別4的行P的系數(shù)行、劃分級別 3的行N的系數(shù)行、劃分級別2的行M的系數(shù)行和劃分級別1的行L和(L+1)的系數(shù)行，并 且將所讀出的系數(shù)行按照讀出順序提供給熵編碼單元155。然后，系數(shù)行重新排列單元154還讀取劃分級別2的行(M+1)的系數(shù)行和劃分級 別1的行(L+2)和(L+3)的系數(shù)行，并且將讀取的系數(shù)行按照讀取的順序提供給熵編碼單 元 155。系數(shù)行重新排列單元154還讀取劃分級別3的行(N+1)的系數(shù)行，劃分級別2的 行(M+2)的系數(shù)行和劃分級別1的行(L+4)和(L+5)的系數(shù)行，并將所讀取的系數(shù)行按照 讀取的順序提供給熵編碼單元155。然后，系數(shù)行重新排列單元154還讀取劃分級別2的行(M+3)的系數(shù)行和劃分級 別1的行(L+6)和(L+7)的系數(shù)行，并且將所讀取的系數(shù)行按照讀取的順序提供給熵編碼 單元155。熵編碼單元155按照提供的順序處理系數(shù)行。即，如圖8的右側(cè)所示，系數(shù)行按照 要經(jīng)歷小波逆變換處理的順序被傳輸給接收設(shè)備102。接收設(shè)備102的解碼單元135該順序來組合系數(shù)行，如下所述。這使得接收設(shè)備 102的解碼單元135可以以不增加不必要的等待時間的低延遲來解碼接收的編碼數(shù)據(jù)。編碼時緩沖時段發(fā)送設(shè)備101的捕獲操作中捕獲的單位可以是基于同步再現(xiàn)的，在同步再現(xiàn)中， 接收設(shè)備102以與捕獲時間間隔相同的間隔來執(zhí)行再現(xiàn)。例如，捕獲的單位可以是視頻幀 或視頻幀被劃分成的片段。然而，在編碼處理中，捕獲的單位中編碼后的數(shù)據(jù)大小一般是不均勻的。如果在傳輸之前執(zhí)行至恒定傳輸率的平滑，則由于數(shù)據(jù)大小的不均勻，由平滑處理引起的延遲會依 賴于捕獲的單位而不同。因此，在開始流的再現(xiàn)時，接收設(shè)備102在根據(jù)被設(shè)置為最大延遲的初始緩沖延 遲執(zhí)行緩沖之后，開始再現(xiàn)。因此，接收設(shè)備102也可以在不耗盡緩沖器134的情況下從初 始數(shù)據(jù)再現(xiàn)時刻開始同步地再現(xiàn)隨后的數(shù)據(jù)(或者能夠在不引起失敗的情況下執(zhí)行同步 再現(xiàn))。首先，將關(guān)注編碼時緩沖時段。圖9是圖示出編碼時緩沖時段的示圖。在圖9中， 如箭頭所示，時間從圖9的左邊向右邊進(jìn)行。如圖9的頂部中所示，來自熵編碼單元155的代碼生成輸出(CODEC代碼生成)在 被添加與捕獲時間同步的時間戳之后被輸出。捕獲單位的輸出數(shù)據(jù)大小是不均勻的，并且 通過RTP分組產(chǎn)生的分組的編號是不均勻的。因此，如在從圖9的頂部開始的第二部分中 所示，編碼器內(nèi)置平滑單元156執(zhí)行平滑處理(CODEC內(nèi)平滑后的輸出)。為了不引起同步再現(xiàn)的失敗，希望接收設(shè)備102對編碼數(shù)據(jù)執(zhí)行可至少與由該編 碼處理引起的延遲時段對應(yīng)的時段的緩沖。S卩，接收設(shè)備102考慮編碼時緩沖時段來確定同步再現(xiàn)所需要的初始緩沖延遲， 其中編碼時緩沖時段是由編碼單元112的編碼處理引起的延遲時段。例如，熵編碼單元155可以控制編碼率以不會使得存儲桶(bucket)上溢，其中國 際電信聯(lián)盟電信標(biāo)準(zhǔn)化部門(ITU-T)建議Y. 1221中所規(guī)定的令牌存儲桶行為中的存儲桶 大小被設(shè)置為編碼器的預(yù)期緩沖大小B (字節(jié))，并且存儲桶速率R(bps)被設(shè)置為編碼率。 此外，編碼器內(nèi)置平滑單元156還執(zhí)行與令牌存儲桶行為類似的操作。在該情況中，編碼時緩沖時段Bt_COdeC(SeC)例如可以根據(jù)如下等式(5)來確 定Bt_codec = BX8/R (5)S卩，編碼時緩沖時段可以通過將緩沖器大小除以編碼率來確定。格式修改單元接著，將說明圖1中所圖示出的格式修改單元122。圖10是圖示出格式修改單元 122的功能的功能框圖。如圖10中所示，格式修改單元122包括編碼時緩沖時段獲取單元201、網(wǎng)絡(luò)狀況信 息獲取單元202、傳輸時緩沖時段計算單元203和傳輸時緩沖時段添加單元204作為功能框。編碼時緩沖時段獲取單元201獲取被添加到編碼數(shù)據(jù)的編碼時緩沖時段。網(wǎng)絡(luò)狀 況信息獲取單元202獲取由RTCP單元124收集的網(wǎng)絡(luò)狀況信息。傳輸時緩沖時段計算單元203從由網(wǎng)絡(luò)狀況信息獲取單元202獲得的網(wǎng)絡(luò)狀況信 息來計算傳輸時緩沖時段。傳輸時緩沖時段添加單元204將包括由傳輸時緩沖時段計算單 元203計算出的傳輸時緩沖時段的信息設(shè)置到編碼數(shù)據(jù)的報頭中的指定字段中。傳輸格式圖IlA和圖IlC圖示出傳輸格式的示例配置。如圖IlA中所示，從發(fā)送設(shè)備101 傳輸至接收設(shè)備102的編碼數(shù)據(jù)被配置為使得編碼信息報頭211和傳輸信息報頭212被添 加到原始代碼流213。
如圖IlB中所示，編碼信息報頭211可以是包括編碼時緩沖時段221的報頭信息， 其中寫入了有關(guān)編碼單元112所執(zhí)行的編碼處理的信息。編碼信息報頭211由編碼單元112的格式轉(zhuǎn)換單元157生成，并被添加到代碼流 213。如圖IlC中所示，傳輸信息報頭212可以是包括傳輸時緩沖時段222的報頭信息， 其中寫入了有關(guān)諸如網(wǎng)絡(luò)103之類的傳輸路徑的網(wǎng)絡(luò)狀況的信息。傳輸信息報頭212由格式修改單元122的傳輸時緩沖時段添加單元204生成，并 被添加到代碼流213。編碼信息報頭211的編碼時緩沖時段字段包含將通過對圖像數(shù)據(jù)執(zhí)行編碼處理 所生成的編碼數(shù)據(jù)平滑至編碼率并輸出編碼數(shù)據(jù)所涉及的并且預(yù)期是接收設(shè)備102所需 要的緩沖時段。此外，傳輸信息報頭212的傳輸時緩沖時段字段包含傳輸率(其可能與編碼率不 同)、網(wǎng)絡(luò)抖動、響應(yīng)于分組丟失的重傳延遲等涉及的并且預(yù)期是接收設(shè)備102所需要的緩 沖時段。如圖IlA至圖IlC所示，以上信息被劃分到不同兩條報頭信息中并且分別被記錄 (即，編碼時緩沖時段和傳輸時緩沖時段作為不同兩條報頭信息被添加到代碼流213)。因此，例如，即使要發(fā)送的編碼數(shù)據(jù)被臨時地存儲在中繼裝置等中并且之后被進(jìn) 一步發(fā)送至另一裝置(如果該處理被重復(fù))，最后接收到編碼數(shù)據(jù)并再現(xiàn)編碼數(shù)據(jù)的接收 設(shè)備102也能夠根據(jù)每個延遲時段來設(shè)置恰當(dāng)?shù)木彌_時段。傳輸時緩沖時段發(fā)送設(shè)備101的傳輸時緩沖時段Bt_tranS(SeC)由傳輸單元113確定。傳輸時緩 沖時段適于確定當(dāng)通過編碼處理或傳送處理來執(zhí)行同步再現(xiàn)時所需要的初始緩沖延遲。與 上述編碼時緩沖時段相對照，可以根據(jù)諸如網(wǎng)絡(luò)103之類的傳輸路徑的狀況考慮同步再現(xiàn) 所需要的緩沖時段(稱為網(wǎng)絡(luò)響應(yīng)緩沖時段Bt_net (sec))，來確定傳輸時緩沖時段。例如，如從圖12頂部開始第三部分中所示，即使RTP發(fā)送單元123以預(yù)定恒定發(fā) 送率(目標(biāo)傳輸率)發(fā)送編碼數(shù)據(jù)的分組，實際的傳輸率仍然可能依賴于諸如網(wǎng)絡(luò)103之 類的傳輸路徑的狀況而波動。因此，如在從圖12的頂部開始第四部分所示，當(dāng)接收設(shè)備102接收分組時的編碼 數(shù)據(jù)接收率可能依賴于網(wǎng)絡(luò)狀況而波動，并且可能變得不穩(wěn)定。因此，希望不僅考慮編碼時緩沖時段還考慮由網(wǎng)絡(luò)狀況中這樣的波動引起的傳輸 時緩沖時段來設(shè)置初始緩沖延遲。當(dāng)編碼時緩沖時段Bt_codec和網(wǎng)絡(luò)響應(yīng)緩沖時段Bt_net(sec)相互獨立時，可以 根據(jù)以下等式(6)來確定傳輸時緩沖時段Btjrans Bt_trans = Bt_codec+Bt_net(6)當(dāng)網(wǎng)絡(luò)響應(yīng)緩沖時段Bt_net(SeC)具有包括編碼時緩沖時段Bt_CodeC的值時，可 以根據(jù)以下等式⑵來傳輸時緩沖時段Btjrans Bt_trans = max (Bt_codec, Bt_net) (7)例如，鑒于對網(wǎng)絡(luò)抖動的響應(yīng)性，可以根據(jù)以下等式(8)使用網(wǎng)絡(luò)抖動響應(yīng)緩沖 時段BtJitter (sec)來確定網(wǎng)絡(luò)響應(yīng)緩沖時段Bt_net (sec)
Bt_net = BtJitter(8)可以使用被添加到分組的時間戳值以及在相對于該分組的到達(dá)時間的某一時間 段內(nèi)到達(dá)的分組的方差來計算網(wǎng)絡(luò)抖動響應(yīng)緩沖時段Bt_jitter。某一時間段的方差的最大值或移動平均值可以設(shè)置為網(wǎng)絡(luò)抖動響應(yīng)緩沖時段Bt_ jitter。網(wǎng)絡(luò)抖動可以使用例如RTCP接收報告(RTCP ReceiverReport)分組中所包括的 抖動值。在該情況中，網(wǎng)絡(luò)抖動響應(yīng)緩沖時段Bt_jitter包括編碼時緩沖時段Bt_codec，并 且因此可以根據(jù)以上等式(7)來計算傳輸時緩沖時段Btjrans。以以上方式確定的編碼時緩沖時段Bt_CodeC和傳輸時緩沖時段Bt_tranS被添加 作為例如如上所述傳輸格式中流的開始處的流信息，并且被傳輸。同步控制單元 接著，將說明接收設(shè)備102。由接收設(shè)備102接收到的編碼數(shù)據(jù)被格式分析單元 132分析，并且編碼時緩沖時段221和傳輸時緩沖時段222分別從編碼信息報頭211和傳輸 信息報頭212被提取出。提取出的信息被提供給同步控制單元133。圖13是圖示出同步控制單元133的功能的功能框圖。如圖13中所示，同步控制單元133包括編碼時緩沖時段獲取單元301、傳輸時緩 沖時段獲取單元302、初始緩沖延遲計算單元303、再現(xiàn)時刻設(shè)置單元304和同步處理單元 305。編碼時緩沖時段獲取單元301獲得由格式分析單元132提取的編碼時緩沖時段。 傳輸時緩沖時段獲取單元302獲得由格式分析單元132提取的傳輸時緩沖時段。初始緩沖延遲計算單元303根據(jù)由編碼時緩沖時段獲取單元301獲得的編碼時緩 沖時段和由傳輸時緩沖時段獲取單元302獲得的傳輸時緩沖時段來計算同步再現(xiàn)必要的 初始緩沖延遲。再現(xiàn)時刻設(shè)置單元304根據(jù)由初始緩沖延遲計算單元303計算出的初始緩沖延遲 來設(shè)置再現(xiàn)時刻，再現(xiàn)時刻是用于再現(xiàn)通過對編碼數(shù)據(jù)進(jìn)行解碼所獲得的解碼圖像的處理 的開始時刻。同步處理單元305控制從緩沖器134讀出編碼數(shù)據(jù)的定時，并且執(zhí)行同步控制以 使得基于由再現(xiàn)時刻設(shè)置單元304設(shè)置的再現(xiàn)時刻的同步再現(xiàn)可以被執(zhí)行。接收設(shè)備102參考被寫入從發(fā)送設(shè)備101傳輸?shù)木幋a數(shù)據(jù)中的傳輸格式中的編碼 時緩沖時段Bt_CodeC和傳輸時緩沖時段Btjrans，并且確定同步再現(xiàn)所需要的初始緩沖 延遲 Bt_init。初始緩沖延遲Bt_init例如可以根據(jù)以下等式(9)和(10)來確定Bt_init = Bt_codec(當(dāng)Btjrans是無效值時)(9)Bt_init = Bt_trans(當(dāng)Bt trans 是有效值時)(10)S卩，如果在傳輸時緩沖時段Btjrans中設(shè)置無效值，如等式(9)所示，則初始緩沖 延遲計算單元303將編碼時緩沖時段Bt_codec的值設(shè)置為初始緩沖延遲Bt_init。如果傳 輸時緩沖時段Btjrans中設(shè)置有效值，如等式(10)中所示，則初始緩沖延遲計算單元303 將傳輸時緩沖時段Btjrans的值設(shè)置為初始緩沖延遲Bt_init。
再現(xiàn)時刻設(shè)置單元304例如將流的第一分組設(shè)置為定時限定分組，并且將被從該 分組的到達(dá)時刻延遲了等于初始緩沖延遲Bt_init的時間的時刻設(shè)置為與添加到第一分 組的時間戳值相對應(yīng)的再現(xiàn)時刻。同步處理單元305使用所設(shè)置的再現(xiàn)時刻作為隨后分組 的基準(zhǔn)，并且執(zhí)行控制以在與所添加的時間戳值相同步的時刻執(zhí)行再現(xiàn)。通過以以上方式控制同步再現(xiàn)，發(fā)送/接收系統(tǒng)100 (發(fā)送設(shè)備101和接收設(shè)備 102)能夠根/據(jù)網(wǎng)絡(luò)狀況以最小延遲來執(zhí)行不引起同步失敗的低延遲傳輸。解碼單元接著，將說明解碼單元135。圖14是圖示出解碼單元135的示例配置的框圖。如圖14中所示，解碼單元135可以是與編碼單元112對應(yīng)的處理單元，并且可以 被配置為使用與編碼單元112中的方法對應(yīng)的方法來解碼由編碼單元112生成的編碼數(shù) 據(jù)。如圖14中所示，解碼單元135包括熵解碼單元351、系數(shù)緩沖單元352和小波逆變 換單元353。熵解碼單元351使用與由熵編碼單元155使用的編碼方法對應(yīng)的解碼方法，在同 步控制單元133的控制下來解碼從緩沖器134讀出的編碼數(shù)據(jù)，并且獲得系數(shù)數(shù)據(jù)。系數(shù) 數(shù)據(jù)被提供給系數(shù)緩沖單元352并被存儲在其中。小波逆變換單元353獲得被存儲在系數(shù)緩沖單元352中的系數(shù)數(shù)據(jù)，并且使用系 數(shù)數(shù)據(jù)基于合成濾波器來執(zhí)行合成濾波處理。小波逆變換單元353又將合成濾波處理的結(jié) 果提供給系數(shù)緩沖單元352來將其存儲在系數(shù)緩沖單元352中。小波逆變換單元353遞歸迭代以上處理來獲得解碼后的圖像數(shù)據(jù)(輸出圖像數(shù) 據(jù))。然后，小波逆變換單元353將所獲得的節(jié)目圖像數(shù)據(jù)輸出至外部。因此，解碼單元135可以以低延遲來解碼編碼數(shù)據(jù)。處理流程接著，將說明上述處理的流程。首先，將參考圖15的流程圖來說明由發(fā)送設(shè)備101執(zhí)行的發(fā)送處理的流程的示 例。當(dāng)發(fā)送處理開始時，在步驟SlOl中時，發(fā)送設(shè)備101的RTCP單元124經(jīng)由網(wǎng)絡(luò) 103執(zhí)行與接收設(shè)備102的RTCP單元136的RTCP通信，并且收集網(wǎng)絡(luò)狀況信息。在步驟S102中，捕獲單元111捕獲輸入圖像，并且獲得圖像數(shù)據(jù)。在步驟S103中，編碼單元112編碼在步驟S102中獲得的圖像數(shù)據(jù)。以下，將說明 編碼處理的細(xì)節(jié)。在步驟S104中，傳輸單元113的傳輸平滑單元121根據(jù)傳輸率來平滑編碼數(shù)據(jù)的 比特率。在步驟S105中，格式修改單元122判斷要處理的編碼數(shù)據(jù)是否是在代碼流的開頭 處的報頭部分。如果判定編碼數(shù)據(jù)是在代碼流的開頭處，則處理進(jìn)行到步驟S106。在步驟S106中，格式修改單元122向編碼數(shù)據(jù)添加傳輸信息報頭，并且修改格式。 以下，將說明格式修改處理的細(xì)節(jié)。當(dāng)步驟S106的處理完成時，處理繼續(xù)進(jìn)行到步驟S107。 如果在步驟S105中判定編碼數(shù)據(jù)不在代碼流的開頭處，則處理繼續(xù)進(jìn)行到步驟S107。在步驟S107中，RTP發(fā)送單元123將編碼數(shù)據(jù)轉(zhuǎn)換成RTP分組，并且將RTP分組發(fā)送至網(wǎng)絡(luò)103以被尋址到接收設(shè)備102。在步驟S108中，發(fā)送設(shè)備101判斷發(fā)送處理是否結(jié)束，例如，如果輸入圖像的所有 部分都已被處理并且判定發(fā)送處理未結(jié)束，則處理返回步驟S102，并且重復(fù)隨后的處理。如果在步驟S108中判定發(fā)送處理結(jié)束，則發(fā)送處理結(jié)束。接著，將參考圖16的流程圖來說明在圖15的步驟S103中執(zhí)行的編碼處理的流程 的示例。當(dāng)編碼處理開始時，在步驟S121中，在圖像行輸入單元151輸入一行時，小波變換 單元153使用行緩沖單元152來執(zhí)行小波變換。在步驟S122中，小波變換單元153判斷是否已執(zhí)行了針對一個行塊的變換處理。 如果判定已經(jīng)執(zhí)行了針對一個行塊的變換處理，則處理返回步驟S121，并且重復(fù)隨后的處理。如果在步驟S122中判定已經(jīng)執(zhí)行了針對一個行塊的變換處理，則處理繼續(xù)進(jìn)行 到步驟S123。在步驟S123中，系數(shù)行重新排列單元154將通過小波變換獲得的系數(shù)數(shù)據(jù)的順序 從小波變換處理順序改為小波逆變換處理的順序。在步驟是S124中，熵編碼單元155執(zhí)行熵編碼。在步驟S125中，編碼器內(nèi)建平滑 單元156根據(jù)編碼率來執(zhí)行平滑。在步驟S126中，編碼器內(nèi)置平滑單元156以上述方式計 算編碼時緩沖時段。在步驟S 127中，格式轉(zhuǎn)換單元157向編碼數(shù)據(jù)添加編碼時緩沖時段。當(dāng)步驟S127的處理完成時，編碼處理結(jié)束。然后，處理返回圖15的步驟S103，并 且重復(fù)步驟S104之后的處理。接著，將參考圖17的流程圖來說明圖15的步驟S106中所執(zhí)行的格式修改處理的 流程的示例。當(dāng)格式修改處理開始時，在步驟S141中，格式修改單元122的編碼時緩沖時段獲 取單元201參考被添加到編碼數(shù)據(jù)的編碼時緩沖時段，并且獲得編碼時緩沖時段。在步驟S142中，網(wǎng)絡(luò)狀況信息獲取單元202獲得由RTCP單元124收集的網(wǎng)絡(luò)狀
況fe息。在步驟S143中，傳輸時緩沖時段計算單元203根據(jù)在步驟S141中獲得的編碼時 緩沖時段和在步驟S 142中獲得的網(wǎng)絡(luò)狀況信息來計算傳輸時緩沖時段。在步驟S144中，傳輸時緩沖時段添加單元204向編碼數(shù)據(jù)添加在步驟S143中計 算出的傳輸時緩沖時段。當(dāng)步驟S144的處理完成時，格式修改處理結(jié)束。然后，處理返回圖15的步驟S106， 并且執(zhí)行步驟S107之后的處理。通過以上述方式執(zhí)行處理，發(fā)送設(shè)備101可以單獨地生成編碼時緩沖時段和傳輸 時緩沖時段，將編碼時緩沖時段和傳輸時緩沖時段作為不同的兩條報頭信息添加到編碼數(shù) 據(jù)，并且將產(chǎn)生的編碼數(shù)據(jù)提供給接收設(shè)備102。這允許發(fā)送設(shè)備101以更穩(wěn)定的方式提供具有減少的不必要的延遲時段的低延 遲數(shù)據(jù)傳輸，而不論網(wǎng)絡(luò)狀況如何。接著，將參考圖18來說明由接收設(shè)備102執(zhí)行的接收處理的流程的示例。
當(dāng)接收處理開始時，在步驟S201中，RTCP單元136與發(fā)送設(shè)備101的RTCP單元 124通信，并且與收集網(wǎng)絡(luò)狀況信息的RTCP單元124協(xié)作。可替換地，RTCP單元136可以 收集網(wǎng)絡(luò)狀況信息，如果必要的話。在步驟S202，RTP接收單元131接收從發(fā)送設(shè)備101傳輸?shù)腞TP分組。在步驟S203中，格式分析單元132判斷從RTP分組中提取出的編碼數(shù)據(jù)是否包括 報頭。如果判定編碼數(shù)據(jù)包括報頭，則處理繼續(xù)進(jìn)行到步驟S204。在步驟S204中，格式分析單元132從編碼數(shù)據(jù)中提取出編碼時緩沖時段和傳輸時 緩沖時段。在步驟S205中，同步控制單元133執(zhí)行同步控制設(shè)置處理。以下，將說明同步 控制設(shè)置處理的細(xì)節(jié)。當(dāng)步驟S205的處理完成時，處理繼續(xù)進(jìn)行到步驟S206。此外，如果在步驟S203中 判定編碼數(shù)據(jù)沒有包括報頭，則處理進(jìn)行進(jìn)行到步驟S206。在步驟S206中，緩沖器134保存編碼數(shù)據(jù)。在步驟S207中，同步控制單元133判斷是否到達(dá)同步控制定時。如果判定還未到 達(dá)同步控制定時，則處理返回步驟S202，并且重復(fù)隨后的處理。如果在步驟S207中判定已經(jīng)到達(dá)同步控制定時，則處理繼續(xù)進(jìn)行到步驟S208。在步驟S208中，同步控制單元133控制緩沖器134來根據(jù)同步控制定時來讀出編 碼數(shù)據(jù)并且將編碼數(shù)據(jù)提供給解碼單元135。在步驟S209中，解碼單元135解碼編碼數(shù)據(jù)。以下，將說明解碼處理的細(xì)節(jié)。在步驟S210中，解碼單元135輸出所生成的圖像數(shù)據(jù)。在步驟S211中，接收設(shè)備102判斷接收處理是否結(jié)束。如果還有還未被處理的任 何編碼數(shù)據(jù)并且判定接收處理不結(jié)束，則處理返回步驟S202，并且重復(fù)步驟S203之后的處理。如果在步驟S211中判定接收處理結(jié)束，則接收處理結(jié)束。接著，將參考圖19來說明圖18的步驟S205中由同步控制單元133執(zhí)行的同步控 制設(shè)置處理的流程的示例。當(dāng)同步控制設(shè)置處理啟動時，在步驟S231中，同步控制單元133的編碼時緩沖時 段獲取單元301獲得由格式分析單元132提取的編碼時緩沖時段。在步驟S232中，同步控制單元133的傳輸時緩沖時段獲取單元302獲得由格式分 析單元132提取的傳輸時緩沖時段。在步驟S233中，同步控制單元133的初始緩沖延遲計算單元303根據(jù)在步驟S231 中獲得的編碼時緩沖時段和在步驟S232中獲得的傳輸時緩沖時段來計算初始緩沖延遲。在步驟S234中，同步控制單元133的再現(xiàn)時刻設(shè)置單元304根據(jù)在步驟S233中 計算出的初始緩沖延遲來確定再現(xiàn)時刻，并且設(shè)置再現(xiàn)時刻。當(dāng)步驟S234的處理完成時，處理返回圖18的步驟S205，并且執(zhí)行步驟S206之后 的處理。接著，將參考圖20的流程圖來說明圖18的步驟S209中由解碼單元135執(zhí)行的解 碼處理的流程的示例。當(dāng)解碼處理啟動時，在步驟S251中，熵解碼單元351對編碼數(shù)據(jù)進(jìn)行熵解碼。在步驟S252中，系數(shù)緩沖單元352保存通過在步驟S251的處理中對編碼數(shù)據(jù)進(jìn)行熵解碼生成的系數(shù)數(shù)據(jù)。在步驟S253中，小波逆變換單元353恰當(dāng)?shù)貜南禂?shù)緩沖單元352讀出系數(shù)數(shù)據(jù)， 并且執(zhí)行用于生成圖像數(shù)據(jù)的小波逆變換。當(dāng)圖像數(shù)據(jù)被生成時，解碼處理結(jié)束。然后，處理返回圖18的步驟S209，并且執(zhí)行 隨后的處理。通過以上述方式執(zhí)行處理，接收設(shè)備102可以獲得作為不同的兩條報頭信息被添 加到編碼數(shù)據(jù)的編碼時緩沖時段和傳輸時緩沖時段，并且可以根據(jù)獲得的緩沖時段來計算 初始緩沖延遲。這允許接收設(shè)備102以更穩(wěn)定的方式提供具有減小的不必要的延遲時段的低延 遲數(shù)據(jù)傳輸，而不論網(wǎng)絡(luò)狀況如何。2.第二實施例裝置配置在第一實施例中，如上所述，在發(fā)送設(shè)備101中，圖像數(shù)據(jù)被編碼并且作為編碼數(shù) 據(jù)被傳輸。編碼處理中的編碼率和傳輸處理中的傳輸率可以相互不同。圖21是圖示出根據(jù)本發(fā)明另一實施例的發(fā)送/接收系統(tǒng)400的示例配置的框圖。圖21中所圖示的發(fā)送/接收系統(tǒng)400可以是與圖1中圖示出的發(fā)送/接收系統(tǒng) 100基本相似的系統(tǒng)，并且可以具有相似的配置，除了用發(fā)送設(shè)備401取代發(fā)送設(shè)備101以 外。發(fā)送設(shè)備401可以是與圖1圖示出的發(fā)送設(shè)備101基本相似的設(shè)備，并且可以具 有相似的結(jié)構(gòu)。然而，與發(fā)送設(shè)備101不同，發(fā)送設(shè)備401還包括在編碼單元112和傳輸單 元113之間的存儲單元411。其它配置與發(fā)送設(shè)備101的配置相似。發(fā)送設(shè)備401基于這樣的假設(shè)由編碼單元112執(zhí)行的編碼處理中的編碼率和由 傳輸單元113執(zhí)行的數(shù)據(jù)傳輸中的傳輸率相互不同。存儲單元411可以是用于處理編碼率和傳輸率之間的差異的緩沖器。存儲單元 411以與編碼率對應(yīng)的定時(速率)順次存儲從編碼單元112輸出的編碼數(shù)據(jù)。此外，存儲單元411還以與傳輸率對應(yīng)的定時(速率)順次讀出所存儲的編碼數(shù) 據(jù)。這里，假定網(wǎng)絡(luò)103是穩(wěn)定的并且接收設(shè)備102的初始緩沖延遲Bt_init等于編 碼時指定的編碼時緩沖時段Bt_codec。在該情況中，例如，如果傳輸率是編碼率的N倍(N > 1)，則可以根據(jù)以下等式(11)和(12)使用速率比響應(yīng)緩沖時段Bt_rate來確定網(wǎng)絡(luò)響 應(yīng)緩沖時段Bt_net(sec)Bt_rate = Bt_codec/N (11)Bt_net = Bt_rate(12)另外，也可以反映網(wǎng)絡(luò)抖動響應(yīng)緩沖時段Bt_jitter。在該情況中，可以通過將網(wǎng) 絡(luò)抖動響應(yīng)緩沖時段Bt_jitter(sec)與將編碼時緩沖時段Bt_codec除以傳輸率與編碼率 之比N產(chǎn)生的值相加來確定網(wǎng)絡(luò)響應(yīng)緩沖時段Bt_net。傳輸時緩沖時段在該情況中，在圖22的底部圖示出傳輸時緩沖時段。即，如從圖22的頂部開始的 第二或第三個部分中所示，如果傳輸率是編碼率的N倍(在圖22中的示例中，為兩倍)，則傳輸時緩沖時段可以是1/N(在圖22的示例中，為1/2)。以這種方式，通過根據(jù)傳輸率與編碼率之比來調(diào)節(jié)傳輸時緩沖時段，發(fā)送設(shè)備401 可以以更穩(wěn)定的方式提供具有減小的不必要的延遲時段的低延遲數(shù)據(jù)傳輸，而不論網(wǎng)絡(luò)狀 況如何。處理流程還是在發(fā)送/接收系統(tǒng)400中，處理的流程與發(fā)送/接收系統(tǒng)100中的處理流程 基本相似。然而，發(fā)送設(shè)備401將編碼處理中生成的編碼數(shù)據(jù)臨時地保存在存儲單元411 中，并且之后執(zhí)行數(shù)據(jù)傳輸。即，編碼處理在執(zhí)行發(fā)送處理之前被執(zhí)行。因此，在例如參考圖23的流程圖說明的流程中執(zhí)行該情況中的發(fā)送處理。S卩，取代圖15中用于獲得圖像數(shù)據(jù)的步驟S102的處理和用于編碼圖像數(shù)據(jù)的步 驟S103的處理，執(zhí)行用于從存儲單元411獲得編碼數(shù)據(jù)的步驟S302的處理。其它處理與圖15中的處理類似。通過以上述方式執(zhí)行處理，發(fā)送設(shè)備401和接收設(shè)備102可以執(zhí)行同步再現(xiàn)，以使 得在即使編碼率和傳輸率相互不同時也不引起的同步失敗的情況下，減小不必要的延遲時 段。3.第三實施例裝置配置發(fā)送設(shè)備可以具有分組丟失恢復(fù)功能。例如，自動重傳請求(ARQ)功能可以允許 接收設(shè)備使用RTCP分組請求發(fā)送設(shè)備重傳丟失的分組。圖24是圖示出該情況中發(fā)送/接收系統(tǒng)的示例配置的框圖。圖24中圖示出的發(fā) 送/接收系統(tǒng)500可以是與發(fā)送/接收系統(tǒng)100基本相似的系統(tǒng)，除了發(fā)送/接收系統(tǒng)500 具有ARQ功能以外，并且可以具有與發(fā)送/接收系統(tǒng)100的結(jié)構(gòu)基本相似的結(jié)構(gòu)。發(fā)送/接收系統(tǒng)500包括發(fā)送設(shè)備501和接收設(shè)備502。發(fā)送設(shè)備501可以是與圖1中所圖示的發(fā)送設(shè)備101基本相似的設(shè)備，并且可以 具有相似的配置。然而，除了發(fā)送設(shè)備101的配置以外，發(fā)送設(shè)備501還包括ARQ單元525。接收設(shè)備502可以是與圖1中所圖示出的接收設(shè)備102基本相似的設(shè)備，并且可 以具有相似的配置。然而，除了接收設(shè)備102的配置以外，接收設(shè)備502還包括ARQ單元 537。接收設(shè)備502的ARQ單元537在分組丟失發(fā)生時，使用RTCP分組向發(fā)送設(shè)備501
發(fā)布重傳請求。在經(jīng)由RTCP單元124從接收設(shè)備502接收到重傳請求之后，發(fā)送設(shè)備501的ARQ 單元525控制RTP發(fā)送單元123來重傳被請求的分組。在該系統(tǒng)中，希望在初始緩沖延遲Bt_init中反映ARQ響應(yīng)緩沖時段Bt_arq，其是 用于等待重傳分組的到達(dá)的緩沖時段。更具體而言，例如，網(wǎng)絡(luò)響應(yīng)緩沖時段Bt_net(sec) 可以根據(jù)以下等式(13)來確定Bt_net = Bt_arq (13)此外，在第一和第二實施例中所說明的抖動、傳輸率與編碼率之比等也可以與初 始緩沖延遲Bt_init相關(guān)聯(lián)。即，當(dāng)網(wǎng)絡(luò)抖動響應(yīng)緩沖時段Bt_jitter、速率比響應(yīng)緩沖時段Bt_rate和ARQ響應(yīng)緩沖時段Bt_arq被提供時，可以根據(jù)等式(14)使用它們的組合來確定網(wǎng)絡(luò)響應(yīng)緩沖時 段Bt_net。Bt_net = Bt_jitter+Bt_rate+Bt_arq (14)網(wǎng)絡(luò)響應(yīng)緩沖時段Bt_net(SeC)也可以根據(jù)以下等式(15)來確定Bt_net = Bt_rate+max(Bt_jitter, Bt_arq) (15)另外，網(wǎng)絡(luò)響應(yīng)緩沖時段Bt_net(SeC)也可以根據(jù)以下等式(16)來確定Bt_net = max(Bt_jitter, Bt_rate, Bt_arq) (16)這允許發(fā)送設(shè)備501和接收設(shè)備502通過使用抖動吸收功能、分組丟失恢復(fù)功能 或任意其它合適的功能并根據(jù)網(wǎng)絡(luò)103的狀況，以更穩(wěn)定的方式提供具有減小的不必要的 延遲時段的低延遲數(shù)據(jù)傳輸，而不論網(wǎng)絡(luò)狀況如何。應(yīng)當(dāng)理解，在初始緩沖延遲中也可以反映除了上述網(wǎng)絡(luò)響應(yīng)緩沖時段以外的其它 網(wǎng)絡(luò)響應(yīng)緩沖時段。在本發(fā)明一個實施例中，在視頻等的流數(shù)據(jù)的傳輸和同步再現(xiàn)的情況中，編碼時 緩沖時段和傳輸時緩沖時段被分別寫入，并且與編碼版本的流數(shù)據(jù)一起被傳輸。這在維持 編碼單元和傳輸單元的獨立性的同時確?？紤]了網(wǎng)絡(luò)狀況的具有最小緩沖時段(延遲)的 同步再現(xiàn)。在編碼時緩沖時段中，寫入預(yù)期當(dāng)編碼數(shù)據(jù)輸出被平滑成編碼率并且在編碼處理 中被輸出時接收設(shè)備102需要的緩沖時段。在傳輸時緩沖時段中，寫入考慮了傳輸率、網(wǎng)絡(luò) 抖動、響應(yīng)于分組丟失的重傳延遲等的緩沖時段。此外，由于編碼時緩沖時段和傳輸時緩沖時段被分別記錄，所以，即使重復(fù)將由接 收在這種102獲得的數(shù)據(jù)臨時保存在文件中并將數(shù)據(jù)發(fā)送至另一設(shè)備的處理，最后接收到 數(shù)據(jù)的接收設(shè)備也可以設(shè)置最佳的緩沖時段。在以上說明中，編碼時緩沖時段和傳輸時緩沖時段由發(fā)送設(shè)備計算并被提供給接 收設(shè)備。這僅僅是一個示例，并且可以使用任意其它方法。例如，發(fā)送設(shè)備可以向接收設(shè)備 傳輸有關(guān)編碼的信息、網(wǎng)絡(luò)狀況信息等。然后，接收設(shè)備可以根據(jù)所傳輸?shù)男畔碛嬎憔幋a 時緩沖時段和傳輸時緩沖時段，并且還確定初始緩沖延遲。在該情況中，整個系統(tǒng)中所執(zhí)行 的處理與以上說明的處理基本相似，盡管在設(shè)備之間傳輸?shù)男畔⒁约皥?zhí)行計算的設(shè)備不相 同。4.第四實施例個人計算機上述處理序列可以通過硬件或軟件來執(zhí)行。在該情況中，例如，可以提供圖25中 所示的個人計算機。在圖25中，個人計算機600的中央處理單元(CPU) 601根據(jù)只讀存儲器(ROM) 602 中所存儲的程序或從存儲單元613加載到隨機訪問存儲器(RAM)603中的程序來執(zhí)行各種 處理。RAM 603也可以存儲CPU 601執(zhí)行各種處理所必要的數(shù)據(jù)等。CPU 60UROM 602和RAM 603經(jīng)由總線604來相互連接。輸入/輸出接口 610也 連接到總線604。輸入/輸出接口 610連接到包括鍵盤和鼠標(biāo)的輸入單元611、包括諸如陰極射線管 (CRT)顯示器或液晶顯示器(LCD)之類的顯示器和揚聲器的輸出單元612、可由硬盤等形成的存儲單元613和可由調(diào)制解調(diào)器等形成的通信單元614。通信單元614可以經(jīng)由包括互 聯(lián)網(wǎng)的網(wǎng)絡(luò)來執(zhí)行通信處理。輸入/輸出接口 610也連接到驅(qū)動器615，必要時，驅(qū)動器615附接諸如磁盤、光 盤、磁光盤或半導(dǎo)體存儲器之類的可移除介質(zhì)621。必要時，從可移除介質(zhì)621讀出的計算 機程序被安裝到存儲單元613中。當(dāng)上述處理序列通過軟件來執(zhí)行時，從網(wǎng)絡(luò)或記錄介質(zhì)安裝配置軟件的程序。記錄介質(zhì)可以例如使用圖25中所示的下列設(shè)備來實現(xiàn)被與設(shè)備主體相分離地 分發(fā)以向用戶遞送程序的記錄了程序的可移除介質(zhì)621，例如磁盤(包括軟盤)、光盤(包 括致密盤只讀存儲器(⑶-ROM)和數(shù)字通用盤(DVD))、磁光盤(包括迷你盤(MD))或半導(dǎo)體 存儲器；或以結(jié)合在設(shè)備主體中的形式分發(fā)給用戶并記錄了程序的ROM 602或被包括在存 儲單元613中的硬盤；或者任意其它合適的設(shè)備。由計算機執(zhí)行的程序可以是處理根據(jù)該程序按照這里所說明的順序以時序方式 執(zhí)行這樣的程序，或者可以是處理根據(jù)該程序并列執(zhí)行或者在必要的定時(例如，被調(diào)用 時)執(zhí)行這樣的程序。此外，在該說明書中，限定記錄在記錄介質(zhì)上的程序的步驟可以包括并列地或單 獨地執(zhí)行的處理以及按照這里所說明的順序以時序方式執(zhí)行的處理。在該說明書中，術(shù)語“系統(tǒng)”是指包括多個裝置(設(shè)備)的整個設(shè)備。此外，以上在單個設(shè)備(或處理單元)的上下文中說明的配置可以劃分成多個部 分，并且這些部分可以配置為多個設(shè)備(或處理單元)。相反，以上在多個設(shè)備(或處理單 元)的上下文中說明的配置可以添加到每個設(shè)備(或每個處理單元)的配置。另外，某一 設(shè)備(或處理單元)的配置的一部分可以包括在另一設(shè)備(或另一處理單元)的配置中， 如果要實現(xiàn)整個系統(tǒng)基本相同的結(jié)構(gòu)或操作的話。即，本發(fā)明的實施例不限于上述實施例， 并且可以在不偏離本發(fā)明的范圍的情況下進(jìn)行各種修改。本申請包含與2009年12月16日于日本專利局提交的日本在先專利申請JP 2009-285039中所公開的主題有關(guān)的主題，該申請的全部內(nèi)容通過引用結(jié)合于此。本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，根據(jù)設(shè)計要求和其它因素可以進(jìn)行各種修改、組合、子 組合和更改，只要它們在所附權(quán)利要求及其等同物的范圍內(nèi)即可。
權(quán)利要求
1.一種發(fā)送設(shè)備，包括編碼裝置，所述編碼裝置用于編碼圖像數(shù)據(jù)來生成編碼數(shù)據(jù)；編碼時緩沖時段添加裝置，所述編碼時緩沖時段添加裝置用于將編碼時緩沖時段作為 編碼報頭信息添加到所述編碼數(shù)據(jù)，所述編碼時緩沖時段是防止同步再現(xiàn)由于所述編碼裝 置對所述圖像數(shù)據(jù)進(jìn)行編碼所引起的延遲而失敗所需要的最小緩沖時段，其中在所述同步 再現(xiàn)中，所述編碼數(shù)據(jù)被與添加到所述編碼數(shù)據(jù)的時間戳同步地解碼和再現(xiàn)；傳輸時緩沖時段添加裝置，所述傳輸時緩沖時段添加裝置用于將傳輸時緩沖時段作為 與所述編碼報頭信息不同的傳輸報頭信息添加到所述編碼數(shù)據(jù)，所述傳輸時緩沖時段是防 止所述同步再現(xiàn)由于所述圖像數(shù)據(jù)的編碼和所述編碼數(shù)據(jù)的傳輸所引起的延遲而失敗所 需要的最小緩沖時段；以及發(fā)送裝置，所述發(fā)送裝置用于經(jīng)由網(wǎng)絡(luò)向執(zhí)行所述同步再現(xiàn)的另一設(shè)備發(fā)送所述編碼 數(shù)據(jù)，在所述編碼數(shù)據(jù)中，已被所述編碼時緩沖時段添加裝置添加了包括所述編碼時緩沖 時段的所述編碼報頭信息，并且已被所述傳輸時緩沖時段添加裝置添加了包括所述傳輸時 緩沖時段的所述傳輸報頭信息。
2.根據(jù)權(quán)利要求1所述的發(fā)送設(shè)備，還包括網(wǎng)絡(luò)狀況信息收集裝置，所述網(wǎng)絡(luò)狀況信息收集裝置用于收集網(wǎng)絡(luò)狀況信息，所述網(wǎng) 絡(luò)狀況信息是有關(guān)經(jīng)由所述網(wǎng)絡(luò)的通信的狀況信息，所述網(wǎng)絡(luò)狀況信息至少包括傳輸率、 網(wǎng)絡(luò)抖動、分組丟失率和傳輸延遲；網(wǎng)絡(luò)響應(yīng)緩沖時段計算裝置，所述網(wǎng)絡(luò)響應(yīng)緩沖時段計算裝置用于使用由所述網(wǎng)絡(luò)狀 況信息收集裝置收集的網(wǎng)絡(luò)狀況信息來計算網(wǎng)絡(luò)響應(yīng)緩沖時段，所述網(wǎng)絡(luò)響應(yīng)緩沖時段是 防止所述同步再現(xiàn)由于所述編碼數(shù)據(jù)的傳輸所引起的延遲而失敗所需要的最小緩沖時段； 以及傳輸時緩沖時段計算裝置，所述傳輸時緩沖時段計算裝置用于使用所述編碼時緩沖時 段和由所述網(wǎng)絡(luò)響應(yīng)緩沖時段計算裝置所計算出的網(wǎng)絡(luò)響應(yīng)緩沖時段來計算所述傳輸時 緩沖時段。
3.根據(jù)權(quán)利要求2所述的發(fā)送設(shè)備，其中所述傳輸時緩沖時段計算裝置將所述編碼時 緩沖時段和所述網(wǎng)絡(luò)響應(yīng)緩沖時段的和設(shè)置為所述傳輸時緩沖時段。
4.根據(jù)權(quán)利要求2所述的發(fā)送設(shè)備，其中所述傳輸時緩沖時段計算裝置選擇所述編碼 時緩沖時段和所述網(wǎng)絡(luò)響應(yīng)緩沖時段中較大的一者。
5.根據(jù)權(quán)利要求2所述的發(fā)送設(shè)備，其中所述網(wǎng)絡(luò)響應(yīng)緩沖時段計算裝置將網(wǎng)絡(luò)抖動 響應(yīng)緩沖時段設(shè)置為所述網(wǎng)絡(luò)響應(yīng)緩沖時段，所述網(wǎng)絡(luò)抖動響應(yīng)緩沖時段是防止所述同步 再現(xiàn) 由于所述網(wǎng)絡(luò)的網(wǎng)絡(luò)抖動所引起的延遲的增大而失敗所需要的最小緩沖時段。
6.根據(jù)權(quán)利要求2所述的發(fā)送設(shè)備，還包括用于計算速率比響應(yīng)緩沖時段的速率比響 應(yīng)緩沖時段計算裝置，所述速率比響應(yīng)緩沖時段是防止所述同步再現(xiàn)由于所述傳輸率與所 述編碼設(shè)備編碼所述圖像數(shù)據(jù)的編碼率之比而失敗所需要的最小緩沖時段，其中，所述網(wǎng)絡(luò)響應(yīng)緩沖時段計算裝置將由所述速率比響應(yīng)緩沖時段計算裝置所計算 出的所述速率比響應(yīng)緩沖時段設(shè)置為所述網(wǎng)絡(luò)響應(yīng)緩沖時段。
7.根據(jù)權(quán)利要求2所述的發(fā)送設(shè)備，其中所述網(wǎng)絡(luò)響應(yīng)緩沖時段計算裝置將重傳響應(yīng) 緩沖時段設(shè)置為所述網(wǎng)絡(luò)響應(yīng)緩沖時段，所述重傳響應(yīng)緩沖時段是防止所述同步再現(xiàn)由于重傳處理所引起的延遲而失敗所需要的最小緩沖時段。
8.根據(jù)權(quán)利要求2所述的發(fā)送設(shè)備，其中所述網(wǎng)絡(luò)響應(yīng)緩沖時段計算裝置將網(wǎng)絡(luò)抖動 響應(yīng)緩沖時段、速率比響應(yīng)緩沖時段和重傳響應(yīng)緩沖時段的和設(shè)置為所述網(wǎng)絡(luò)響應(yīng)緩沖時 段，所述網(wǎng)絡(luò)抖動響應(yīng)緩沖時段是防止所述同步再現(xiàn)由于所述網(wǎng)絡(luò)的網(wǎng)絡(luò)抖動所引起的增 大的延遲而失敗所需要的最小緩沖時段，所述速率比響應(yīng)緩沖時段是防止所述同步再現(xiàn)由 于所述傳輸率與所述編碼裝置編碼所述圖像數(shù)據(jù)的編碼率之比而失敗所需要的最小緩沖 時段，所述重傳響應(yīng)緩沖時段是防止所述同步再現(xiàn)由于重傳處理所引起的延遲而失敗所需 要的最小緩沖時段。
9.根據(jù)權(quán)利要求2所述的發(fā)送設(shè)備，其中所述網(wǎng)絡(luò)響應(yīng)緩沖時段計算裝置將網(wǎng)絡(luò)抖動 響應(yīng)緩沖時段和重傳響應(yīng)緩沖時段中的較大者與速率比響應(yīng)緩沖時段之和設(shè)置為所述網(wǎng) 絡(luò)響應(yīng)緩沖時段，所述網(wǎng)絡(luò)抖動響應(yīng)緩沖時段是防止所述同步再現(xiàn)由于所述網(wǎng)絡(luò)的網(wǎng)絡(luò)抖 動所引起的增大的延遲而失敗所需要的最小緩沖時段，所述重傳響應(yīng)緩沖時段是防止所述 同步再現(xiàn)由于重傳處理所引起的延遲而失敗所需要的最小緩沖時段，所述速率比響應(yīng)緩沖 時段是防止所述同步再現(xiàn)由于所述傳輸率與所述編碼裝置編碼所述圖像數(shù)據(jù)的編碼率之 比而失敗所需要的最小緩沖時段。
10.根據(jù)權(quán)利要求2所述的發(fā)送設(shè)備，其中所述網(wǎng)絡(luò)響應(yīng)緩沖時段計算裝置將網(wǎng)絡(luò)抖 動響應(yīng)緩沖時段、速率比響應(yīng)緩沖時段和重傳響應(yīng)緩沖時段中最大的一者設(shè)置為所述網(wǎng)絡(luò) 響應(yīng)緩沖時段，所述網(wǎng)絡(luò)抖動響應(yīng)緩沖時段是防止所述同步再現(xiàn)由于所述網(wǎng)絡(luò)的網(wǎng)絡(luò)抖動 所引起的增大的延遲而失敗所需要的最小緩沖時段，所述速率比響應(yīng)緩沖時段是防止所述 同步再現(xiàn)由于所述傳輸率與所述編碼裝置編碼所述圖像數(shù)據(jù)的編碼率之比而失敗所需要 的最小緩沖時段，所述重傳響應(yīng)緩沖時段是防止所述同步再現(xiàn)由于重傳處理所引起的延遲 而失敗所需要的最小緩沖時段。
11.根據(jù)權(quán)利要求1所述的發(fā)送設(shè)備，還包括用于計算所述編碼時緩沖時段的編碼時 緩沖時段裝置，其中，所述編碼時緩沖時段添加裝置將由所述編碼時緩沖時段計算裝置計算出的所述 編碼時緩沖時段作為所述編碼報頭信息添加到所述編碼數(shù)據(jù)。
12.根據(jù)權(quán)利要求11所述的發(fā)送設(shè)備，其中所述編碼時緩沖時段計算裝置將通過將所 述圖像數(shù)據(jù)被編碼的編碼率除以用來編碼所述圖像數(shù)據(jù)的緩沖器大小所產(chǎn)生的值設(shè)置為 所述編碼時緩沖時段。
13.一種發(fā)送方法，包括以下步驟通過發(fā)送設(shè)備的編碼裝置，編碼圖像數(shù)據(jù)來生成編碼數(shù)據(jù)；通過所述發(fā)送設(shè)備的編碼時緩沖時段添加裝置，將編碼時緩沖時段作為編碼報頭信息 添加到所述編碼數(shù)據(jù)，所述編碼時緩沖時段是防止同步再現(xiàn)由于所述編碼裝置對所述圖像 數(shù)據(jù)進(jìn)行編碼所引起的延遲而失敗所需要的最小緩沖時段，其中在所述同步再現(xiàn)中，所述 編碼數(shù)據(jù)被與添加到所述編碼數(shù)據(jù)的時間戳同步地解碼和再現(xiàn)；通過所述發(fā)送設(shè)備的傳輸時緩沖時段添加裝置，將傳輸時緩沖時段作為與所述編碼報 頭信息不同的傳輸報頭信息添加到所述編碼數(shù)據(jù)，所述傳輸時緩沖時段是防止所述同步再 現(xiàn)由于所述圖像數(shù)據(jù)的編碼和所述編碼數(shù)據(jù)的傳輸所引起的延遲而失敗所需要的最小緩 沖時段；以及通過所述發(fā)送設(shè)備的發(fā)送裝置，經(jīng)由網(wǎng)絡(luò)向執(zhí)行所述同步再現(xiàn)的另一設(shè)備發(fā)送所述編 碼數(shù)據(jù)，在所述編碼數(shù)據(jù)中，已添加了包括所述編碼時緩沖時段的所述編碼報頭信息并且 已添加了包括所述傳輸時緩沖時段的所述傳輸報頭信息。
14.一種接收設(shè)備，包括接收裝置，所述接收裝置用于接收經(jīng)由網(wǎng)絡(luò)傳輸?shù)木幋a數(shù)據(jù)，所述編碼數(shù)據(jù)是由另一 設(shè)備通過編碼圖像數(shù)據(jù)生成的；編碼時緩沖時段獲取裝置，所述編碼時緩沖時段獲取裝置用于通過從由所述接收裝 置接收的編碼數(shù)據(jù)中提取編碼時緩沖時段來獲得所述編碼時緩沖時段，所述編碼時緩沖時 段是防止同步再現(xiàn)由于所述圖像數(shù)據(jù)的編碼所引起的延遲而失敗所需要的最小緩沖時段， 其中在所述同步再現(xiàn)中，所述編碼數(shù)據(jù)被與添加到所述編碼數(shù)據(jù)的時間戳同步地解碼和再 現(xiàn)；傳輸時緩沖時段獲取裝置，所述傳輸時緩沖時段獲取裝置用于通過從由所述接收裝置 接收的編碼數(shù)據(jù)中提取傳輸時緩沖時段來獲得所述傳輸時緩沖時段，所述傳輸時緩沖時段 是防止所述編碼數(shù)據(jù)的同步再現(xiàn)由于所述圖像數(shù)據(jù)的編碼和所述編碼數(shù)據(jù)的傳輸所引起 的延遲而失敗所需要的最小緩沖時段；初始緩沖延遲計算裝置，所述初始緩沖延遲計算裝置用于使用由所述編碼時緩沖時段 獲取裝置獲得的編碼時緩沖時段和由所述傳輸時緩沖時段獲取裝置獲得的傳輸時緩沖時 段來計算初始緩沖延遲，所述初始緩沖延遲是防止所述同步再現(xiàn)失敗所需要的緩沖時段的 初始值；存儲裝置，所述存儲裝置用于存儲由所述接收裝置接收的編碼數(shù)據(jù)；同步控制裝置，所述同步控制裝置用于通過控制被存儲在所述存儲裝置中的編碼數(shù)據(jù) 的讀出定時來控制所述同步再現(xiàn)；以及解碼裝置，所述解碼裝置用于根據(jù)所述同步控制裝置的控制來解碼從所述存儲裝置讀 出的編碼數(shù)據(jù)。
15.根據(jù)權(quán)利要求14所述的接收設(shè)備，其中所述初始緩沖延遲計算裝置，在被添加到 所述編碼數(shù)據(jù)的傳輸時緩沖時段為有效時將所述傳輸時緩沖時段設(shè)置為所述初始緩沖延 遲，并且在所述傳輸時緩沖時段為無效時將被添加到所述編碼數(shù)據(jù)的編碼時緩沖時段設(shè)置 為所述初始緩沖延遲。
16.一種接收方法，包括以下步驟通過解碼設(shè)備的接收裝置，接收經(jīng)由網(wǎng)絡(luò)傳輸?shù)木幋a數(shù)據(jù)，所述編碼數(shù)據(jù)是由另一設(shè) 備通過編碼圖像數(shù)據(jù)生成的；通過所述解碼設(shè)備的編碼時緩沖時段獲取裝置，通過從接收的編碼數(shù)據(jù)中提取編碼時 緩沖時段來獲得所述編碼時緩沖時段，所述編碼時緩沖時段是防止同步再現(xiàn)由于所述圖像 數(shù)據(jù)的編碼所引起的延遲而失敗所需要的最小緩沖時段，其中在所述同步再現(xiàn)中，所述編 碼數(shù)據(jù)被與添加到所述編碼數(shù)據(jù)的時間戳同步地解碼和再現(xiàn)；通過所述解碼設(shè)備的傳輸時緩沖時段獲取裝置，通過從由接收的編碼數(shù)據(jù)中提取傳輸 時緩沖時段來獲得所述傳輸時緩沖時段，所述傳輸時緩沖時段是防止所述編碼數(shù)據(jù)的同步 再現(xiàn)由于所述圖像數(shù)據(jù)的編碼和所述編碼數(shù)據(jù)的傳輸所引起的延遲而失敗所需要的最小 緩沖時段；通過所述解碼設(shè)備的初始緩沖延遲計算裝置，使用獲得的編碼時緩沖時段和獲得的傳 輸時緩沖時段來計算初始緩沖延遲，所述初始緩沖延遲是防止所述同步再現(xiàn)失敗所需要的 緩沖時段的初始值；通過所述解碼設(shè)備的存儲裝置，存儲所述接收的編碼數(shù)據(jù)；通過所述解碼設(shè)備的同步控制裝置，通過控制所存儲的編碼數(shù)據(jù)的讀出定時來控制所 述同步再現(xiàn)；通過所述解碼設(shè)備的解碼裝置，根據(jù)所述控制來解碼所讀出的編碼數(shù)據(jù)。
17.—種發(fā)送設(shè)備，包括編碼單元，所述編碼單元被配置為用于編碼圖像數(shù)據(jù)來生成編碼數(shù)據(jù)； 編碼時緩沖時段添加單元，所述編碼時緩沖時段添加單元被配置為將編碼時緩沖時段 作為編碼報頭信息添加到所述編碼數(shù)據(jù)，所述編碼時緩沖時段是防止同步再現(xiàn)由于所述編 碼單元對所述圖像數(shù)據(jù)進(jìn)行編碼所引起的延遲而失敗所需要的最小緩沖時段，其中在所述 同步再現(xiàn)中，所述編碼數(shù)據(jù)被與添加到所述編碼數(shù)據(jù)的時間戳同步地解碼和再現(xiàn)；傳輸時緩沖時段添加單元，所述傳輸時緩沖時段添加單元被配置為將傳輸時緩沖時段 作為與所述編碼報頭信息不同的傳輸報頭信息添加到所述編碼數(shù)據(jù)，所述傳輸時緩沖時段 是防止所述同步再現(xiàn)由于所述圖像數(shù)據(jù)的編碼和所述編碼數(shù)據(jù)的傳輸所引起的延遲而失 敗所需要的最小緩沖時段；以及發(fā)送單元，所述發(fā)送單元被配置為經(jīng)由網(wǎng)絡(luò)向執(zhí)行所述同步再現(xiàn)的另一設(shè)備發(fā)送所述 編碼數(shù)據(jù)，在所述編碼數(shù)據(jù)中，已被所述編碼時緩沖時段添加單元添加了包括所述編碼時 緩沖時段的所述編碼報頭信息并且已被所述傳輸時緩沖時段添加單元添加了包括所述傳 輸時緩沖時段的所述傳輸報頭信息。
18.一種接收設(shè)備，包括接收單元，所述接收單元被配置為接收經(jīng)由網(wǎng)絡(luò)傳輸?shù)木幋a數(shù)據(jù)，所述編碼數(shù)據(jù)是由 另一設(shè)備通過編碼圖像數(shù)據(jù)生成的；編碼時緩沖時段獲取單元，所述編碼時緩沖時段獲取單元被配置為通過從由所述接收 單元接收的編碼數(shù)據(jù)中提取編碼時緩沖時段來獲得所述編碼時緩沖時段，所述編碼時緩沖 時段是防止同步再現(xiàn)由于所述圖像數(shù)據(jù)的編碼所引起的延遲而失敗所需要的最小緩沖時 段，其中在所述同步再現(xiàn)中，所述編碼數(shù)據(jù)被與添加到所述編碼數(shù)據(jù)的時間戳同步地解碼 和再現(xiàn)；傳輸時緩沖時段獲取單元，所述傳輸時緩沖時段獲取單元被配置為通過從由所述接收 單元接收的編碼數(shù)據(jù)中提取傳輸時緩沖時段來獲得所述傳輸時緩沖時段，所述傳輸時緩沖 時段是防止所述編碼數(shù)據(jù)的同步再現(xiàn)由于所述圖像數(shù)據(jù)的編碼和所述編碼數(shù)據(jù)的傳輸所 引起的延遲而失敗所需要的最小緩沖時段；初始緩沖延遲計算單元，所述初始緩沖延遲計算單元被配置為使用由所述編碼時緩沖 時段獲取單元獲得的編碼時緩沖時段和由所述傳輸時緩沖時段獲取單元獲得的傳輸時緩 沖時段來計算初始緩沖延遲，所述初始緩沖延遲是防止所述同步再現(xiàn)失敗所需要的緩沖時 段的初始值；存儲單元，所述存儲單元被配置為存儲由所述接收單元接收的編碼數(shù)據(jù)； 同步控制單元，所述同步控制單元被配置為通過控制被存儲在所述存儲單元中的編碼數(shù)據(jù)的讀出定時來控制所述同步再現(xiàn)；以及解碼單元，所述解碼單元被配置為根據(jù)所述同步控制單元的控制來解碼由所述存儲單 元讀出的編碼數(shù)據(jù)。
全文摘要
本發(fā)明公開了發(fā)送設(shè)備和方法以及接收設(shè)備和方法。圖像數(shù)據(jù)被編碼成編碼數(shù)據(jù)。編碼時緩沖時段被添加到編碼數(shù)據(jù)作為編碼報頭信息，編碼時緩沖時段是用于防止其中編碼數(shù)據(jù)被與添加到編碼數(shù)據(jù)的時間戳同步地解碼和再現(xiàn)的同步再現(xiàn)由于圖像數(shù)據(jù)的編碼所引起的延遲而失敗所需要的最小緩沖時段。傳輸時緩沖時段被添加到編碼數(shù)據(jù)作為與編碼報頭信息不同的傳輸時緩沖時段，傳輸時緩沖時段是防止同步再現(xiàn)由于圖像數(shù)據(jù)的編碼和編碼數(shù)據(jù)的傳輸所引起的延遲而失敗所需要的最小緩沖時段。被添加了編碼時緩沖時段和傳輸時緩沖時段的編碼數(shù)據(jù)經(jīng)由網(wǎng)絡(luò)被傳輸至執(zhí)行同步再現(xiàn)的另一設(shè)備。
文檔編號H04N7/30GK102104780SQ201010591878
公開日2011年6月22日 申請日期2010年12月9日 優(yōu)先權(quán)日2009年12月16日
發(fā)明者久禮嘉伸 申請人:索尼公司