專利名稱：信息處理裝置和方法、以及程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及信息處理裝置和方法、以及程序，特別涉及能夠抑制內(nèi)容的質(zhì)量的劣化的信息處理裝置和方法、以及程序。
背景技術(shù)：
近年來(lái),經(jīng)由因特網(wǎng)、LAN (Local Area Network,局域網(wǎng))或其他的傳輸路徑而進(jìn)行媒體基準(zhǔn)信號(hào)同步(所謂GENLOCK同步)且低延遲地傳輸多媒體數(shù)據(jù)的需要變高。
例如，在廣播臺(tái)中存在如下的系統(tǒng)通過(guò)HD-SDI (High Definition Serial Digital Interface,高清晰串行數(shù)字接口)電纜連接攝像頭和其控制單元(所謂(XU (Camera Control Unit))，進(jìn)行非壓縮同步傳輸。近年來(lái)，將該系統(tǒng)的HD-SDI電纜替換為以太網(wǎng)(注冊(cè)商標(biāo))電纜，在以太網(wǎng)(注冊(cè)商標(biāo))上進(jìn)行基于IP分組的GENLOCK同步并且進(jìn)行傳輸。
以如此的目的進(jìn)行多媒體數(shù)據(jù)的IP傳輸?shù)那闆r下，要求與經(jīng)由HD-SDI電纜的傳輸相同的使用方便性，因此例如要求高精度的GENLOCK同步和視頻幀間隔以下的低延遲傳輸。
從如此的要求出發(fā)，提出了如下的方式將動(dòng)圖像的各圖像的多個(gè)線的每個(gè)線作為一個(gè)編碼塊(線塊)而進(jìn)行基于小波變換的編碼(例如參照專利文獻(xiàn)I)。
在該方式中，能夠無(wú)需等待至輸入圖像內(nèi)的全部的數(shù)據(jù)而開(kāi)始進(jìn)行編碼。因此，對(duì)所生成的編碼數(shù)據(jù)進(jìn)行網(wǎng)絡(luò)傳輸，在接收側(cè)進(jìn)行解碼的情況下，也能夠在接收到圖像內(nèi)的全部數(shù)據(jù)之前開(kāi)始進(jìn)行解碼處理。即，如果網(wǎng)絡(luò)傳播延遲足夠小，則能夠進(jìn)行幀間隔以下的延遲下的實(shí)時(shí)(即時(shí)的)的動(dòng)圖像傳輸。
在如此的數(shù)據(jù)傳輸中，接收裝置為了應(yīng)對(duì)編碼處理、數(shù)據(jù)傳輸處理和QoS控制處理等的延遲，需要對(duì)接收到的數(shù)據(jù)進(jìn)行緩存(臨時(shí)保持)。換言之，根據(jù)該接收側(cè)的緩存時(shí)間 (使得不溢出)，進(jìn)行編碼處理、QoS控制處理等的設(shè)定。即，解碼圖像的畫質(zhì)和傳輸質(zhì)量依賴于緩存時(shí)間。
但是，在通過(guò)如此的數(shù)據(jù)傳輸而從多個(gè)發(fā)送裝置對(duì)一個(gè)接收裝置傳輸數(shù)據(jù)的情況下，在以往的方式中，將各發(fā)送裝置的接收緩存時(shí)間互相獨(dú)立地設(shè)定或者設(shè)定為預(yù)先決定的規(guī)定的時(shí)間(使用共同的接收緩存時(shí)間)。
現(xiàn)有技術(shù)文獻(xiàn)
專利文獻(xiàn)
專利文獻(xiàn)1:日本特許4371120號(hào)發(fā)明內(nèi)容
發(fā)明要解決的課題
但是，一般，與從各發(fā)送裝置的數(shù)據(jù)傳輸有關(guān)的延遲(傳輸延遲)由于該數(shù)據(jù)傳輸?shù)穆窂胶蛶挼然ハ嗖煌?，因此按每個(gè)發(fā)送裝置不同的情況較多。但是，在以往方式的情況下，不考慮該傳輸延遲的不同而進(jìn)行接收緩存時(shí)間的設(shè)定(互相獨(dú)立地設(shè)定或者共同設(shè)定)。
如上所述，基于該接收緩存時(shí)間來(lái)進(jìn)行編碼、QoS控制等的設(shè)定，因此在實(shí)際上，接收數(shù)據(jù)比該接收緩存時(shí)間長(zhǎng)地保持的情況下，也存在無(wú)法提高解碼圖像的畫質(zhì)和傳輸質(zhì)量的顧慮。換而言之，存在通過(guò)數(shù)據(jù)傳輸而沒(méi)有必要地劣化內(nèi)容的質(zhì)量的顧慮。
本發(fā)明鑒于如上的情況而完成，其目的在于，將各處理的時(shí)間富余利用于畫質(zhì)和傳輸質(zhì)量的提高，降低延遲時(shí)間上的多余。
用于解決課題的手段
本發(fā)明的一個(gè)側(cè)面是一種信息處理裝置，具備調(diào)整部件，在從多個(gè)發(fā)送裝置對(duì)一個(gè)接收裝置傳輸互相取得同步的數(shù)據(jù)的數(shù)據(jù)傳輸中，使用各數(shù)據(jù)傳輸?shù)脑趥鬏斅窂缴袭a(chǎn)生的延遲時(shí)間即傳輸延遲的差，調(diào)整對(duì)各數(shù)據(jù)傳輸設(shè)定的用于在所述接收裝置中取得各數(shù)據(jù)的同步的緩存時(shí)間即接收緩存時(shí)間；以及設(shè)定部件，使用由所述調(diào)整部件調(diào)整后的所述接收緩存時(shí)間，設(shè)定關(guān)于各數(shù)據(jù)傳輸?shù)奶幚淼膮?shù)。
所述調(diào)整部件能夠求所述傳輸延遲的最大值，將對(duì)預(yù)先決定的規(guī)定的接收緩存時(shí)間即規(guī)定接收緩存時(shí)間加上各數(shù)據(jù)的所述傳輸延遲與所述最大值的差后的時(shí)間，設(shè)為所述接收緩存時(shí)間。
關(guān)于所述數(shù)據(jù)傳輸?shù)奶幚硎撬鰯?shù)據(jù)傳輸?shù)腝oS控制處理，所述設(shè)定部件能夠作為所述QoS控制處理的參數(shù)，設(shè)定接收冗余編碼塊的開(kāi)頭分組起至末尾的分組為止的時(shí)間即冗余編碼塊接收等待時(shí)間、等待重發(fā)分組的時(shí)間即重發(fā)分組等待時(shí)間、以及用于吸收網(wǎng)絡(luò)抖動(dòng)的網(wǎng)絡(luò)抖動(dòng)應(yīng)對(duì)緩存時(shí)間。
在傳輸源中對(duì)所述數(shù)據(jù)進(jìn)行編碼，傳輸所得到的編碼數(shù)據(jù)，在傳輸目的地中對(duì)所述編碼數(shù)據(jù)進(jìn)行解碼，所述設(shè)定部件能夠作為所述處理的參數(shù)，設(shè)定對(duì)在所述編碼中進(jìn)行速率控制而生成的所述編碼數(shù)據(jù)進(jìn)行平滑傳輸時(shí)所需的可變壓縮編碼延遲要求時(shí)間。
還具備用于接受關(guān)于所述數(shù)據(jù)的畫質(zhì)的要求即圖像質(zhì)量要求、以及關(guān)于所述數(shù)據(jù)傳輸中的傳輸質(zhì)量的要求即傳輸質(zhì)量要求的接受部件，所述調(diào)整部件能夠基于由所述接受部件接受的所述圖像質(zhì)量要求和所述傳輸質(zhì)量要求，調(diào)整所述接收緩存時(shí)間。
所述調(diào)整部件能夠基于由所述接受部件接受的所述圖像質(zhì)量要求和所述傳輸質(zhì)量要求來(lái)設(shè)定臨時(shí)的所述接收緩存時(shí)間，并使用所述臨時(shí)的接收緩存時(shí)間來(lái)調(diào)整所述接收緩存時(shí)間。
還能夠具備用于顯示⑶I，其中該⑶I用于輔助輸入由所述接受部件接受的所述圖像質(zhì)量要求和所述傳輸質(zhì)量要求的輸出部件。
此外，本發(fā)明的一個(gè)側(cè)面是一種信息處理裝置的信息處理方法，其中，所述信息處理裝置的調(diào)整部件在從多個(gè)發(fā)送裝置對(duì)一個(gè)接收裝置傳輸互相取得同步的數(shù)據(jù)的數(shù)據(jù)傳輸中，使用各數(shù)據(jù)傳輸?shù)脑趥鬏斅窂缴袭a(chǎn)生的延遲時(shí)間即傳輸延遲的差，調(diào)整對(duì)各數(shù)據(jù)傳輸設(shè)定的用于在所述接收裝置中取得各數(shù)據(jù)的同步的緩存時(shí)間即接收緩存時(shí)間，所述信息處理裝置的設(shè)定部件使用調(diào)整后的所述接收緩存時(shí)間，設(shè)定關(guān)于各數(shù)據(jù)傳輸?shù)奶幚淼膮?shù)。
進(jìn)而，本發(fā)明的一個(gè)側(cè)面是一種用于使進(jìn)行數(shù)據(jù)傳輸?shù)挠?jì)算機(jī)作為如下部件發(fā)揮作用的程序調(diào)整部件，在從多個(gè)發(fā)送裝置對(duì)一個(gè)接收裝置傳輸互相取得同步的數(shù)據(jù)的數(shù)據(jù)傳輸中，使用各數(shù)據(jù)傳輸?shù)脑趥鬏斅窂缴袭a(chǎn)生的延遲時(shí)間即傳輸延遲的差，調(diào)整對(duì)各數(shù)據(jù)傳輸設(shè)定的用于在所述接收裝置中取得各數(shù)據(jù)的同步的緩存時(shí)間即接收緩存時(shí)間；以及設(shè)定部件，使用由所述調(diào)整部件調(diào)整后的所述接收緩存時(shí)間，設(shè)定關(guān)于各數(shù)據(jù)傳輸?shù)奶幚淼膮?shù)。
在本發(fā)明的一個(gè)側(cè)面中，在從多個(gè)發(fā)送裝置對(duì)一個(gè)接收裝置傳輸互相取得同步的數(shù)據(jù)的數(shù)據(jù)傳輸中，使用各數(shù)據(jù)傳輸?shù)脑趥鬏斅窂缴袭a(chǎn)生的延遲時(shí)間即傳輸延遲的差，調(diào)整對(duì)各數(shù)據(jù)傳輸設(shè)定的用于在接收裝置中取得各數(shù)據(jù)的同步的緩存時(shí)間即接收緩存時(shí)間， 并使用調(diào)整后的所述接收緩存時(shí)間，設(shè)定關(guān)于各數(shù)據(jù)傳輸?shù)奶幚淼膮?shù)。
發(fā)明的效果
根據(jù)本發(fā)明，能夠傳輸數(shù)據(jù)。尤其,能夠抑制內(nèi)容的質(zhì)量的劣化。


圖1是表示應(yīng)用了本發(fā)明的傳輸系統(tǒng)的主要的結(jié)構(gòu)例的方框圖。
圖2是表示發(fā)送裝置的主要的結(jié)構(gòu)例的方框圖。
圖3是表示編碼部的主要的結(jié)構(gòu)例的方框圖。
圖4是說(shuō)明分析濾波的概要的圖。
圖5是說(shuō)明分析濾波的概要的、接著圖3的圖。
圖6是說(shuō)明線塊的圖。
圖7是表示接收部的主要的結(jié)構(gòu)例的方框圖。
圖8是表示解碼部的主要的結(jié)構(gòu)例的方框圖。
圖9是說(shuō)明數(shù)據(jù)傳輸整體處理的流程的例子的流程圖。
圖10是說(shuō)明接收緩存時(shí)間決定處理的流程的例子的流程圖。
圖11是表示接收緩存時(shí)間的設(shè)定情況的例子的圖。
圖12是說(shuō)明接收緩存時(shí)間、處理參數(shù)設(shè)定處理的流程的例子的流程圖。
圖13是表示應(yīng)用了本發(fā)明的傳輸系統(tǒng)的主要的結(jié)構(gòu)例的方框圖。
圖14是要求接受畫面的顯示例的圖。
圖15是說(shuō)明數(shù)據(jù)傳輸處理的流程的其他的例子的流程圖。
圖16是說(shuō)明接收緩存時(shí)間決定處理的流程的例子的流程圖。
圖17是說(shuō)明接收緩存時(shí)間決定處理的流程的例子的、接著圖16的流程圖。
圖18是說(shuō)明接收緩存動(dòng)態(tài)變更傳輸處理的流程的例子的流程圖。
圖19是表示應(yīng)用了本發(fā)明的個(gè)人計(jì)算機(jī)的主要的結(jié)構(gòu)例的方框圖。
具體實(shí)施方式
以下，說(shuō)明用于實(shí)施發(fā)明的方式(以下稱為實(shí)施方式)。其中，按以下的順序進(jìn)行說(shuō)明。
1、第一實(shí)施方式(傳輸系統(tǒng))
2、第二實(shí)施方式(傳輸系統(tǒng))
3、第三實(shí)施方式(個(gè)人 計(jì)算機(jī))
〈1、第一實(shí)施方式〉
[傳輸系統(tǒng)的概要]
圖1是表示應(yīng)用了本發(fā)明的傳輸系統(tǒng)的主要的結(jié)構(gòu)例的方框圖。傳輸系統(tǒng)100是， 將圖像數(shù)據(jù)從多個(gè)發(fā)送裝置(發(fā)送裝置101-1至發(fā)送裝置101-N (N是2以上的整數(shù)))經(jīng)由因特網(wǎng)、LAN等通用的傳輸路徑即網(wǎng)絡(luò)102傳輸?shù)浇邮昭b置103的系統(tǒng)。以下，在無(wú)需互相區(qū)分各發(fā)送裝置而進(jìn)行說(shuō)明的情況下，簡(jiǎn)單稱為發(fā)送裝置101。其中，網(wǎng)絡(luò)102不僅包括電纜等，還包括路由器或集線器等設(shè)備。
輸入到各發(fā)送裝置101的圖像數(shù)據(jù)(視頻數(shù)據(jù))實(shí)時(shí)地(即時(shí)地)經(jīng)由網(wǎng)絡(luò)102傳輸?shù)浇邮昭b置103，并通過(guò)該接收裝置103輸出。S卩，以規(guī)定的(例如為通常再生時(shí)的)幀速率輸入到各發(fā)送裝置的視頻數(shù)據(jù)在發(fā)送裝置101中編碼，并作為編碼數(shù)據(jù)傳輸?shù)浇邮昭b置 103，在接收裝置103中解碼，延遲規(guī)定的延遲時(shí)間量而從接收裝置103以規(guī)定的(例如為通常再生時(shí)的)幀速率輸出。
接收裝置103將來(lái)自各發(fā)送裝置101的數(shù)據(jù)互相取得同步，并進(jìn)行合成和輸出(再生)。即，進(jìn)行來(lái)自各發(fā)送裝置101的數(shù)據(jù)傳輸，使得如此的同步再生不會(huì)被破壞。
近年來(lái)，經(jīng)由因特網(wǎng)、LAN的通用的傳輸路徑而進(jìn)行媒體基準(zhǔn)信號(hào)同步(所謂 GENLOCK同步)且低延遲地傳輸多媒體數(shù)據(jù)的需要變高。
例如，以往，在廣播臺(tái)中通過(guò)HD-SDI電纜連接攝像頭和其控制單元(所謂(XU)，在之間進(jìn)行非壓縮同步傳輸。近年來(lái)，將該HD-SDI電纜替換為以太網(wǎng)(注冊(cè)商標(biāo))電纜，在以太網(wǎng)(注冊(cè)商標(biāo))上進(jìn)行基于IP分組的GENLOCK同步并且進(jìn)行傳輸。
以如此的目的進(jìn)行多媒體數(shù)據(jù)的IP傳輸?shù)那闆r下，要求與經(jīng)由HD-SDI電纜的傳輸相同的使用方便性。因此要求高精度的GENLOCK同步和視頻幀間隔以下的低延遲傳輸。
從如此的要求出發(fā)，在專利文獻(xiàn)I中，提出了將動(dòng)圖像的各圖像的多個(gè)線的每個(gè)線作為一個(gè)編碼塊(線塊)而進(jìn)行編碼的方式。在該方式的情況下，發(fā)送裝置101能夠無(wú)需等待至輸入圖像內(nèi)的全部的數(shù)據(jù)而開(kāi)始進(jìn)行編碼。此外，發(fā)送裝置101能夠?qū)⑼ㄟ^(guò)該編碼得到的編碼數(shù)據(jù)依次經(jīng)由網(wǎng)絡(luò)102傳輸?shù)浇邮昭b置103。
進(jìn)而，接收裝置103能夠在接收到圖像內(nèi)的全部的數(shù)據(jù)之前開(kāi)始進(jìn)行解碼。如果網(wǎng)絡(luò)102的傳輸延遲(從發(fā)送裝置101至接收裝置103的數(shù)據(jù)傳輸?shù)?、在網(wǎng)絡(luò)102中產(chǎn)生的延遲)充分小，則能夠進(jìn)行在幀間隔以下的延遲下的實(shí)時(shí)動(dòng)圖像傳輸(能夠以在發(fā)送裝置 101輸入時(shí)的幀速率 從接收裝置103輸出的數(shù)據(jù)傳輸)。
以往，從多個(gè)發(fā)送裝置傳輸流數(shù)據(jù)，在接收裝置中進(jìn)行同步處理的情況下，為了該同步處理，在與各發(fā)送裝置對(duì)應(yīng)的接收裝置內(nèi)的接收部中設(shè)置接收緩存，通過(guò)設(shè)定不同的接收緩存時(shí)間從而實(shí)現(xiàn)了同步處理。
但是，在以往的方式中，無(wú)法根據(jù)接收緩存時(shí)間和與多個(gè)發(fā)送裝置對(duì)應(yīng)的各個(gè)接收部的接收緩存時(shí)間的差異，變更編碼處理和QoS控制處理中的參數(shù)。
因此，盡管通過(guò)調(diào)整編碼處理和QoS控制處理中的參數(shù)而傳輸延遲不會(huì)增加，卻沒(méi)有調(diào)整這些參數(shù)，產(chǎn)生了延遲時(shí)間上的多余。
如上所述，在傳輸系統(tǒng)100中，通過(guò)根據(jù)傳輸延遲的長(zhǎng)度的不同而調(diào)整各數(shù)據(jù)傳輸中的編碼處理和QoS控制處理等的參數(shù)，從而能夠提高圖像質(zhì)量和影像質(zhì)量而不會(huì)增大延遲時(shí)間。
如圖1所示，接收裝置103具有傳輸部111、基準(zhǔn)信號(hào)同步部112、接收部113_1至接收部113-N、綜合接收緩存時(shí)間調(diào)整部114、以及合成部115。
傳輸部111與各發(fā)送裝置101進(jìn)行通信，發(fā)送從基準(zhǔn)信號(hào)同步部112和接收部 113-1至接收部113-N提供的信息，并且接收從各發(fā)送裝置101提供的信息并提供給基準(zhǔn)信號(hào)同步部112和接收部113-1至接收部113-N。
基準(zhǔn)信號(hào)同步部112經(jīng)由傳輸部111與發(fā)送裝置101進(jìn)行通信，與發(fā)送裝置101 之間取得基準(zhǔn)信號(hào)的同步。基準(zhǔn)信號(hào)是用于在發(fā)送裝置101與接收裝置103之間取得處理的同步的信號(hào)。取得了同步的基準(zhǔn)信號(hào)提供給接收部113-1至接收部113-N。
S卩，接收裝置103 (的基準(zhǔn)信號(hào)同步部112)成為主裝置，全部的發(fā)送裝置101與接收裝置103取得同步，從而其結(jié)果能夠取得全部的發(fā)送裝置101和接收裝置103的同步。
接收部113-1至接收部113-N分別對(duì)應(yīng)于發(fā)送裝置101_1至發(fā)送裝置101-N，接收從對(duì)應(yīng)的發(fā)送裝置101提供的RTP分組，進(jìn)行解碼而輸出視頻數(shù)據(jù)。以下，在無(wú)需相互區(qū)分接收部113-1至接收部113-N而進(jìn)行說(shuō)明的情況下，簡(jiǎn)單稱為接收部113。即，預(yù)先準(zhǔn)備發(fā)送裝置101以上的數(shù)目的接收部113。換而言之，接收裝置103能夠接收從內(nèi)置的接收部 113的數(shù)目以下的發(fā)送裝置101發(fā)送的分組。
綜合接收緩存時(shí)間調(diào)整部114調(diào)整各接收部113的接收緩存時(shí)間。合成部115合成從各接收部113輸出的視頻數(shù)據(jù)，將合成后的視頻數(shù)據(jù)從接收裝置103的視頻輸出端子 “視頻OUT”輸出。各接收部113的視頻數(shù)據(jù)輸出定時(shí)互相取得了同步。合成部115例如基于用戶指示燈，適當(dāng)?shù)睾铣刹⑤敵鲞@些視頻數(shù)據(jù)。
[發(fā)送裝置的結(jié)構(gòu)]
如圖2 所示，發(fā)送裝置 101 具有編碼部 131、FEC (Forward Error Correction, 前向糾錯(cuò))部132、RTP (Real-time Transport Protocol,實(shí)時(shí)傳輸協(xié)議)部133、平滑部 134、基準(zhǔn)信號(hào)同步部135、媒體同步部136、RTCP (RTP Control Protocol，RTP控制協(xié)議) 部137、ARQ (Auto Repeat Request,自動(dòng)重復(fù)請(qǐng)求)部138、和接收緩存時(shí)間、處理參數(shù)設(shè)定部139。
經(jīng)由攝影機(jī)等從視頻輸入IF “視頻IN”輸入的視頻數(shù)據(jù)(動(dòng)圖像數(shù)據(jù))提供給編碼部131。編碼部131以規(guī)定的編碼方式進(jìn)行動(dòng)圖像數(shù)據(jù)的編碼處理。該編碼方式是任意的，但期望是更低延遲的方式。在后面敘述編碼方式的例子。
編碼部131具有速率控制部141。速率控制部141控制在編碼部131中生成的編碼數(shù)據(jù)的比特速率。編碼部131對(duì)所生成的編碼數(shù)據(jù)進(jìn)行RTP分組化，將其提供給FEC部 132。
FEC部生成從編碼部131提供的RTP 分組的冗余分組。RTP部133對(duì)從FEC部提供的編碼數(shù)據(jù)的冗余分組進(jìn)行RTP分組化。
平滑部134臨時(shí)保持從RTP部133提供的RTP分組，并平滑為規(guī)定的數(shù)據(jù)速率并發(fā)送。
基準(zhǔn)信號(hào)同步部135經(jīng)由網(wǎng)絡(luò)102與傳輸目的地即接收裝置103的基準(zhǔn)信號(hào)同步部112進(jìn)行通信，取得基準(zhǔn)信號(hào)時(shí)鐘的同步。基準(zhǔn)信號(hào)同步部135將在與接收裝置103之間取得了同步的基準(zhǔn)信號(hào)提供給媒體同步部136。
媒體同步部136將從基準(zhǔn)信號(hào)同步部135提供的時(shí)刻作為基準(zhǔn)，將與輸入到視頻 IN的數(shù)據(jù)的采樣時(shí)刻同步的時(shí)刻提供給編碼部131(編碼部131內(nèi)的RTP部)和RTP部133。該時(shí)刻作為RTP時(shí)間標(biāo)記附加到RTP分組。
RTCP部137與傳輸目的地的接收裝置103發(fā)送接收RTCP消息，并且發(fā)送接收用于 QoS (Quality of Service，服務(wù)質(zhì)量)控制處理的控制消息(QoS控制消息)。RTCP部137 將所取得的控制消息提供給ARQ部138、接收緩存時(shí)間、處理參數(shù)設(shè)定部139。
ARQ部138根據(jù)從RTCP部137提供的重發(fā)請(qǐng)求消息，控制平滑部134，進(jìn)行所請(qǐng)求的RTP分組的重發(fā)。
接收緩存時(shí)間、處理參數(shù)設(shè)定部139根據(jù)從RTCP部137提供的各種延遲時(shí)間等的設(shè)定，進(jìn)行編碼部131和FEC部132的參數(shù)設(shè)定。
[編碼部的結(jié)構(gòu)例]
下面，說(shuō)明發(fā)送裝置101的編碼部131的例子。圖3是表示發(fā)送裝置101的編碼部 131的結(jié)構(gòu)例的方框圖。編碼部131將圖像數(shù)據(jù)從關(guān)于分辨率重要度高的數(shù)據(jù)起按順序進(jìn)行分層，進(jìn)行按每層進(jìn)行編碼的層編碼。例如，編碼部131生成從關(guān)于空間分辨率重要度高的數(shù)據(jù)起按順序分層的分層數(shù)據(jù)。此外，例如，編碼部131生成從關(guān)于時(shí)間方向的分辨率重要度高的數(shù)據(jù)起按順序分層的分層數(shù)據(jù)。進(jìn)而，例如，編碼部131生成從關(guān)于SNR (Signal to Noise Ratio，信號(hào)噪聲比)重要度高的數(shù)據(jù)起按順序分層的分層數(shù)據(jù)。編碼部131對(duì)如此生成的分層數(shù)據(jù)按每層進(jìn)行編碼。
作為如此的層編碼，例如存在JPEG( Joint Photographic Experts Group,聯(lián)合圖像專家組)2000方式，其對(duì)動(dòng)圖像數(shù)據(jù)的各圖像進(jìn)行小波變換，并進(jìn)行熵編碼。層編碼方法是任意的，但在以下，說(shuō)明編碼部131對(duì)動(dòng)圖像數(shù)據(jù)按多個(gè)線的每個(gè)線進(jìn)行小波變換，并進(jìn)行熵編碼的情況。
如圖3所示，編碼部131具有小波變換部161、量化部162、熵編碼部163、速率控制部141和RTP部164。小波變換部161對(duì)動(dòng)圖像的各圖像按多個(gè)線的每個(gè)線進(jìn)行小波變換。
小波變換是，對(duì)畫面水平方向和畫面垂直方向的雙方進(jìn)行將輸入數(shù)據(jù)分割為低頻分量和高頻分量的分析濾波處理的處理。即，通過(guò)小波變換處理，輸入數(shù)據(jù)被分割為在水平方向和垂直方向上低頻的分量(LL分量)、在水平方向上高頻且在垂直方向上低頻的分量 (HL分量)、在水平方向上低頻且在垂直方向上高頻的分量(LH分量)、以及在水平方向和垂直方向上聞?lì)l的分量(HH)分量的四個(gè)分量(子帶)。
小波變換部161將如此的小波變換處理對(duì)通過(guò)分析濾波處理得到的在水平方向和垂直方向上低頻的分量(LL分量)遞歸性地重復(fù)進(jìn)行規(guī)定次數(shù)。即，通過(guò)小波變換處理， 動(dòng)圖像數(shù)據(jù)的各圖像被分割為分層的多個(gè)子帶(頻率分量)(生成分層數(shù)據(jù))。熵編碼部163 按該每個(gè)子帶進(jìn)行編碼。
動(dòng)圖像的各圖像的圖像數(shù)據(jù)按照從圖像的上至下的順序一個(gè)線一個(gè)線地輸入到小波變換部161。此外，各線的圖像數(shù)據(jù)按照從圖像的左至右的順序一個(gè)樣本(一列)一個(gè)樣本地輸入。
小波變換部161對(duì) 如此輸入的圖像數(shù)據(jù)，在每取得能夠執(zhí)行分析濾波的樣本數(shù)目的數(shù)據(jù)時(shí)(取得之后立即)，執(zhí)行圖像水平方向的分析濾波(水平分析濾波)。例如，小波變換部161對(duì)圖4的左所示的基帶的圖像數(shù)據(jù)181，在每輸入M列時(shí)進(jìn)行水平分析濾波，按每個(gè)線在水平方向上分割為低頻的分量(L)和高頻的分量(H)。圖4的右所示的水平分析濾波處理結(jié)果182表示，由小波變換部161分割的N線量的水平方向上低頻的分量(L)和高頻的分量(H)。
下面，小波變換部161對(duì)該水平分析濾波處理結(jié)果182的各分量，在垂直方向上進(jìn)行分析濾波(垂直分析濾波)。小波變換部161如果通過(guò)水平分析濾波而生成了垂直分析濾波所需的垂直線量的系數(shù)，則對(duì)該垂直分析濾波所需的垂直線量的系數(shù)按每個(gè)列進(jìn)行垂直分析濾波。
其結(jié)果，如圖5的左所示那樣，水平分析濾波處理結(jié)果182被分割為在水平方向和垂直方向的雙方低頻的分量(LL分量)、在水平方向上高頻且在垂直方向上低頻的分量(HL 分量)、在水平方向上低頻且在垂直方向上高頻的分量(LH分量)、以及在水平方向和垂直方向的雙方高頻的分量(HH)的四個(gè)分量的小波變換系數(shù)(以下，稱為系數(shù))(分層數(shù)據(jù)183)。
在得到規(guī)定的層(分割級(jí)別)的系數(shù)為止，所得到的分析濾波的結(jié)果中的HL分量、 LH分量、HH分量被輸出到外部。剩余的LL分量通過(guò)小波變換部161再次進(jìn)行分析濾波。 即，例如，圖5的左所示的分層數(shù)據(jù)183變換為圖5的右所示的分層數(shù)據(jù)184。在分層數(shù)據(jù) 184中，從LL分量生成LLLL分量、LLHL分量、LLLH分量和LLHH分量的四個(gè)分量。
小波變換部161將如此的分析濾波遞歸地進(jìn)行規(guī)定次數(shù)，生成將動(dòng)圖像數(shù)據(jù)分層至期望的分割級(jí)別的分層數(shù)據(jù)。圖6表示分層至分割級(jí)別3 (3層)的分層數(shù)據(jù)的例子。在圖6中，分割至分割級(jí)別3的分層數(shù)據(jù)185由以下的各子帶構(gòu)成分割級(jí)別I (層號(hào)3)的 3HL分量、3LH分量和3HH分量、分割級(jí)別2 (層號(hào)2)的2HL分量、2LH分量和2HH分量、以及分割級(jí)別3 (層號(hào)I)的ILL分量、IHL分量、ILH分量和IHH分量。
在小波變換處理中，在每重復(fù)進(jìn)行濾波處理(每當(dāng)層下降I位時(shí))，所生成的線數(shù)減少2的冪乘的I量。為了將最終分割級(jí)別(層號(hào)I)的系數(shù)生成I個(gè)線所需的基帶的線數(shù)， 根據(jù)重復(fù)進(jìn)行多少次該濾波處理(最終分割級(jí)別的層數(shù))而決定。通常，預(yù)先決定該層數(shù)。
該為了將最終分割級(jí)別的系數(shù)生成I個(gè)線所需的基帶的圖像數(shù)據(jù)(多個(gè)線量的圖像數(shù)據(jù))、或者各層的系數(shù)匯總而被稱為線塊(或者范圍)。
在圖6中以斜線表示的部分為構(gòu)成I個(gè)線塊的系數(shù)。如圖6所示，線塊由層號(hào)I 的各分量的I個(gè)線塊量的系數(shù)、層號(hào)2的各分量的2個(gè)線塊量的系數(shù)、以及層號(hào)3的各分量的4個(gè)線塊量的系數(shù)構(gòu)成。另外，與此相當(dāng)?shù)姆治鰹V波前的圖像數(shù)據(jù)即在該例子中為8個(gè)線量的圖像數(shù)據(jù)也稱為線塊(或者范圍)。
返回到圖3,量化部162將由小波變換部161生成的各分量的系數(shù)例如以量化步長(zhǎng)進(jìn)行除算，從而進(jìn)行量化，生成量化系數(shù)。這時(shí)，量化部162能夠?qū)γ總€(gè)線塊(區(qū)域)設(shè)定量化步長(zhǎng)。該線塊包含某一圖像區(qū)域的所有的頻率分量(在圖6的情況下為ILL至3HH為止的10個(gè)頻率分量)的系數(shù)，因此按每個(gè)線塊進(jìn)行量化，則能夠利用小波變換的特征即多重分辨率分析的優(yōu)點(diǎn)。此外，在整個(gè)畫面僅 決定線塊數(shù)目即可，因此量化的載荷也小。
進(jìn)而，圖像信號(hào)的能量一般集中在低頻分量，此外存在從人的視覺(jué)上低頻分量的劣化容易發(fā)現(xiàn)的特性，因此在量化時(shí)，加權(quán)成低頻分量的子帶中的量化步長(zhǎng)結(jié)果成為小的值是有效的。通過(guò)該加權(quán)，低頻分量分配有相對(duì)多的信息量，整體的主觀的畫質(zhì)提高。
熵編碼部163對(duì)由量化部162生成的量化系數(shù)信源編碼，生成壓縮后的編碼數(shù)據(jù)， 將其提供給速率控制部141。作為信源編碼，例如能夠使用在JPEG和MPEG(Moving Picture Experts Group,運(yùn)動(dòng)圖像專家組)中使用的哈夫曼編碼、在JPEG2000方式中使用的更高精度的算術(shù)編碼。
這里，對(duì)哪個(gè)范圍的系數(shù)進(jìn)行熵編碼是，直接與壓縮效率相關(guān)的非常重要的要素。 例如，在JPEG方式和MPEG方式中，對(duì)8X8的塊實(shí)施DCT(Discrete Cosine Transform，離散余弦變換)變換，并對(duì)所生成的64個(gè)DCT變換系數(shù)進(jìn)行哈夫曼編碼，從而壓縮信息。即， 64個(gè)DCT變換系數(shù)成為熵編碼的范圍。
在小波變換部161中，與對(duì)于8X8塊的DCT變換不同，以線單位實(shí)施小波變換，因此在熵編碼部163中，按每個(gè)頻域(子帶)獨(dú)立地并且在各頻域內(nèi)按每P線進(jìn)行信源編碼。
P最低為I個(gè)線，在線數(shù)少的情況下參考信號(hào)少即可，能夠減少存儲(chǔ)器容量。相反， 在線數(shù)多的情況下，信息量增加相應(yīng)的量，因此能夠提高編碼效率。但是，如果P超過(guò)各頻域內(nèi)的線塊的線數(shù)，則還需要下一線塊的線。因此，需要等待至通過(guò)小波變換和量化生成該線塊的量化系數(shù)數(shù)據(jù)，該時(shí)間成為延遲時(shí)間。
但是，為了低延遲，P必須是線塊的線數(shù)以下。例如，在圖6的例子中，關(guān)于ILL、 1HL、1LH、1HH的頻域，由于線塊的線數(shù)=1個(gè)線，因此P=I。此外，關(guān)于2HL、2LH、2HH的子帶， 由于線塊的線數(shù)=2個(gè)線，因此P=I或2。
速率控制部141進(jìn)行用于最終與目標(biāo)的比特速率或壓縮率匹配的控制，將速率控制后的編碼數(shù)據(jù)提供給RTP部164。例如，該速率控制部141將從熵編碼部163輸出的編碼數(shù)據(jù)的比特速率(壓縮率)與目標(biāo)值進(jìn)行比較，并對(duì)量化部162發(fā)送控制信號(hào)，使得在提高比特速率的情況下減小量化步長(zhǎng)，在減小比特速率的情況下增大量化步長(zhǎng)。
RTP部164對(duì)從速率控制部141提供的編碼數(shù)據(jù)進(jìn)行RTP分組化，并提供給FEC部 132。
[接收裝置的結(jié)構(gòu)]
下面，說(shuō)明圖1的接收裝置103的各接收部113的內(nèi)部的結(jié)構(gòu)例。圖7是表示接收部113的主要的結(jié)構(gòu)例的方框圖。如圖7所示，接收部113具有接收部201、接收緩存202、 RTP部203、FEC部204、解碼部205、ARQ部206、RTCP部207、接收緩存時(shí)間設(shè)定部208和媒體同步部210。
接收部201接收經(jīng)由網(wǎng)絡(luò)102從與自身對(duì)應(yīng)的發(fā)送裝置101傳輸且經(jīng)由傳輸部 111提供的RTP分組，并將其提供給接收緩存202。接收緩存202例如為了與其他接收部 113的數(shù)據(jù)傳輸取得同步，臨時(shí)保持從接收部201提供的RTP分組之后，在基于來(lái)自接收緩存時(shí)間設(shè)定部208和媒體同步部210的信息決定的時(shí)刻 提供給RTP部203。
RTP部203重新構(gòu)成RTP分組，生成包含冗余分組的編碼數(shù)據(jù)即FEC冗余編碼數(shù)據(jù)，并將其提供給FEC部204。FEC部204進(jìn)行分組的損失的檢測(cè)，根據(jù)需要通過(guò)冗余編碼解碼處理而恢復(fù)損失分組數(shù)據(jù)。FEC部204將處理后的編碼數(shù)據(jù)提供給解碼部205。
解碼部205通過(guò)與編碼部131的編碼處理的方式對(duì)應(yīng)的解碼方式，對(duì)編碼數(shù)據(jù)進(jìn)行解碼。解碼后的視頻數(shù)據(jù)(動(dòng)圖像數(shù)據(jù))從接收裝置103的視頻輸出IF “視頻OUT”例如輸出到顯示器等影像顯示裝置(未圖示)。
ARQ部206進(jìn)行接收部201中的損失分組(未能接收的分組)的檢測(cè)，在檢測(cè)到損失分組的情況下，控制RTCP部207對(duì)發(fā)送裝置101的ARQ部138發(fā)送重發(fā)請(qǐng)求消息。RTCP 部207將從ARQ部206請(qǐng)求的重發(fā)請(qǐng)求消息和從接收緩存時(shí)間設(shè)定部208提供的各種設(shè)定信息作為RTCP消息提供給發(fā)送裝置101的RTCP部137。
接收緩存時(shí)間設(shè)定部208基于綜合接收緩存時(shí)間調(diào)整部114的控制等，進(jìn)行接收緩存時(shí)間的設(shè)定和調(diào)整。
媒體同步部210基于通過(guò)基準(zhǔn)信號(hào)同步部112在各接收部113(和各發(fā)送裝置101) 中取得了同步的基準(zhǔn)信號(hào)，控制接收緩存202的RTP分組輸出定時(shí)、解碼部205的解碼處理開(kāi)始定時(shí)等。
[解碼部的結(jié)構(gòu)例]
下面，說(shuō)明與上述的編碼部131的例子對(duì)應(yīng)的解碼部205的例子。圖8是表示接收部113的解碼部205的結(jié)構(gòu)例的方框圖。在圖8中，解碼部205具有RTP部230、熵解碼部231、逆量化部232、和小波逆變換部233。
RTP部230將從FEC部提供的RTP分組變換為編碼數(shù)據(jù)，將其提供給熵解碼部231。 熵解碼部231通過(guò)與熵編碼部163的編碼方法對(duì)應(yīng)的方法對(duì)編碼數(shù)據(jù)進(jìn)行解碼，生成量化系數(shù)數(shù)據(jù)。例如，能夠使用哈夫曼解碼、高效率的算術(shù)解碼等。其中，在熵編碼部163中按每P線編碼的情況下，熵解碼部231獨(dú)立地解碼各自帶，并且在各子帶內(nèi)按每個(gè)P線進(jìn)行解碼。
逆量化部232通過(guò)對(duì)量化系數(shù)數(shù)據(jù)乘上量化步長(zhǎng)來(lái)進(jìn)行逆量化，從而生成系數(shù)數(shù)據(jù)。該量化步長(zhǎng)通常記述在從發(fā)送裝置101提供的編碼數(shù)據(jù)的報(bào)頭。其中，在量化部中按每個(gè)線塊設(shè)定了量化步長(zhǎng)的情況下，在逆量化部232中同樣地按每個(gè)線塊設(shè)定逆量化步長(zhǎng)， 進(jìn)行逆量化。
小波逆變換部233進(jìn)行小波變換部161的逆處理。即，小波逆變換部233對(duì)通過(guò)小波變換部161分割為多個(gè)頻域的系數(shù)數(shù)據(jù)，在水平方向和垂直方向的雙方上進(jìn)行合成低頻分量和高頻分量的濾波處理(合成濾波處理)。小波逆變換部233通過(guò)如此的小波逆變換處理，復(fù)原基帶的視頻數(shù)據(jù)，從視頻OUT輸出到接收裝置103的外部。
當(dāng)然，上述的編碼部131和解碼部205只是一例，也可以使用除此之外的編碼、解碼方式。
[傳輸處理]
下面，說(shuō)明在傳輸系統(tǒng)100 (圖1)中進(jìn)行的各處理。首先，說(shuō)明將視頻數(shù)據(jù)從各發(fā)送裝置101經(jīng)由網(wǎng)絡(luò)102傳輸?shù)浇邮昭b置103的傳輸處理。
發(fā)送裝置101將經(jīng)由攝影機(jī)等從視頻輸入IF“視頻IN”輸入的視頻數(shù)據(jù)輸入到用于進(jìn)行動(dòng)圖像數(shù)據(jù)的壓縮編碼處理的編碼部131 (圖2)，進(jìn)行編碼。
通過(guò)該編碼生成的編碼數(shù)據(jù)通過(guò)編碼部131內(nèi)部的RTP部164 (圖3)實(shí)施RTP分組化處理，作為RTP分組提供給FEC部132 (圖2)。FEC部132對(duì)所提供的RTP分組實(shí)施 FEC冗余編碼處理，生成冗余分組。FEC部132將所生成的冗余分組與原數(shù)據(jù)的RTP分組一起提供給RTP部133。
RTP部133對(duì)從FEC部132提供的冗余分組進(jìn)行RTP分組化。平滑部134對(duì)從 RTP133提供的RTP分組平滑速率，并發(fā)送到網(wǎng)絡(luò)102。在RTP部164 (圖3)或RTP部133 (圖2)中，對(duì)各RTP分組設(shè)置了由媒體同步部136指定的同步用RTP時(shí)間標(biāo)記。
在圖1中，在接收裝置10 3中，由傳輸部111暫且接收由多個(gè)發(fā)送裝置101發(fā)送的RTP分組，并分配給與各個(gè)發(fā)送裝置101對(duì)應(yīng)的接收部113。例如，從發(fā)送裝置101-K (K=I, 2，...,N)發(fā)送的RTP分組分配給接收部113-K。
接收部113經(jīng)由接收部201 (圖7)將RTP分組提供給接收緩存202，并保存。這時(shí)，在檢測(cè)出損失分組的情況下，該意旨被通知到ARQ部206。如果接受該通知，ARQ部206 進(jìn)行重發(fā)請(qǐng)求處理。
接收緩存202根據(jù)由接收緩存時(shí)間設(shè)定部208決定的接收緩存時(shí)間、從媒體同步部210通知的時(shí)刻信息和在各RTP分組中設(shè)置的RTP時(shí)間標(biāo)記值，決定從接收緩存202輸出RTP分組的時(shí)刻即接收緩存輸出時(shí)刻，在該時(shí)刻將各RTP分組輸出到RTP部203。
RTP部203重新構(gòu)成RTP分組，將所得到的FEC冗余編碼數(shù)據(jù)提供給FEC部204。 FEC部204在檢測(cè)出數(shù)據(jù)傳輸時(shí)損失的分組即損失分組的情況下，通過(guò)冗余編碼解碼處理恢復(fù)損失分組數(shù)據(jù)。FEC部204將處理后的RTP分組輸出到解碼部205。解碼部205從RTP 分組提取編碼數(shù)據(jù)，并對(duì)該編碼數(shù)據(jù)進(jìn)行解碼處理，生成基帶的視頻數(shù)據(jù)。解碼后的視頻數(shù)據(jù)提供給合成部115 (圖1)。
合成部115合成來(lái)自多個(gè)接收部113的視頻數(shù)據(jù)圖像，并通過(guò)視頻輸出IF “視頻 OUT”輸出到例如顯示器等的影像顯示裝置。
[基準(zhǔn)信號(hào)同步處理]
下面，說(shuō)明使基準(zhǔn)信號(hào)同步的基準(zhǔn)信號(hào)同步處理?；鶞?zhǔn)信號(hào)同步部112 (圖1)使用IEEE1588PTP (Precision Time Protocol，精確時(shí)間協(xié)議)，進(jìn)行發(fā)送裝置101和接收裝置103之間的基準(zhǔn)信號(hào)時(shí)鐘的同步。其中，作為基準(zhǔn)信號(hào)時(shí)鐘的頻率，例如可以使用輸入視頻圖像的像素采樣頻率。這時(shí)，還能夠進(jìn)行與從“視頻IN”輸入的視頻輸出裝置的同步。
其中，接收裝置也可以不具備基準(zhǔn)信號(hào)同步部112，在發(fā)送裝置101與接收裝置 103之間不進(jìn)行同步。
如圖1所示，在具有多個(gè)發(fā)送裝置101的情況下，也可以是，接收裝置103成為主裝置，將所有的發(fā)送裝置101與接收裝置103同步。這時(shí)，接收裝置 103通過(guò)與所有的發(fā)送裝置101取得同步，其結(jié)果能夠在所有的發(fā)送裝置101和接收裝置103之間取得同步。
[媒體同步處理]
發(fā)送裝置101的媒體同步部136 (圖2)以由基準(zhǔn)信號(hào)同步部135通知的時(shí)刻為基礎(chǔ)，將與通過(guò)“視頻IN”輸入的數(shù)據(jù)的采樣時(shí)刻同步的時(shí)刻變換為RTP時(shí)間標(biāo)記的頻率，在編碼部131內(nèi)的RTP部164 (圖3)和RTP部(圖2)中作為RTP時(shí)間標(biāo)記附加到各RTP分組。
接收裝置103的媒體同步部210 (圖7)將從基準(zhǔn)信號(hào)同步部112 (圖1)通知的基準(zhǔn)時(shí)鐘時(shí)刻信息作為變換為RTP時(shí)間標(biāo)記頻率的系統(tǒng)時(shí)刻保持。接收裝置103的接收緩存 202 (圖7)如果記錄了 RTP分組，則根據(jù)從接收緩存時(shí)間設(shè)定部208通知的接收緩存時(shí)間、 從媒體同步部210提供的RTP時(shí)間標(biāo)記頻率時(shí)刻，決定各RTP分組的接收緩存輸出時(shí)刻。在該接收緩存輸出時(shí)刻，接收緩存202將所保持的RTP分組提供給RTP部203。
RTP分組的接收緩存輸出時(shí)刻如下設(shè)定。例如，編碼數(shù)據(jù)的開(kāi)頭分組設(shè)為從接收到的時(shí)刻起經(jīng)過(guò)了接收緩存時(shí)間TSHME_BUF之后的時(shí)刻之后從接收緩存輸出，后續(xù)分組設(shè)為在根據(jù)開(kāi)頭分組的RTP時(shí)間標(biāo)記值與該分組的RTP時(shí)間分組值的差分值計(jì)算出的時(shí)刻同步輸出。
RTP分組η的接收緩存輸出時(shí)刻TSSYS_B0_n例如通過(guò)以下的式(I)計(jì)算。將編碼數(shù)據(jù)的開(kāi)頭分組的RTP時(shí)間標(biāo)記值設(shè)為TSPKT_init，將接收時(shí)刻(系統(tǒng)時(shí)刻換算頻率為RTP時(shí)間標(biāo)記頻率)設(shè)為TSSYS_initJf RTP分組η的RTP時(shí)間標(biāo)記值設(shè)為TSPKT_n。
TSSYS_B0_n=(TSPKT_n_SPKT_init)+TSSYS_init+TSTIME_BUF-. (I)
[編解碼處理]
編碼部131例如為在專利文獻(xiàn)I中提出的將動(dòng)圖像的各圖像的多個(gè)線的每個(gè)線作為一個(gè)壓縮編碼塊進(jìn)行小波變換的層編碼方式，并且使用對(duì)各個(gè)層關(guān)聯(lián)的輸入數(shù)據(jù)范圍不同的編碼方式。
發(fā)送裝置101的編碼部131 (圖2)進(jìn)行編碼處理，接收裝置103中的解碼部205 (圖7)使用解碼處理。
發(fā)送裝置101的編碼部131 (圖2)作為內(nèi)部處理部具有速率控制部141。速率控制部141例如將ITU-T Y. 1221記載的令牌桶動(dòng)作中的桶大小設(shè)為編碼器假定緩存大小B (byte)，將桶速率R (bps)設(shè)為編碼速率，進(jìn)行控制編碼速率使得桶不會(huì)溢出的速率控制。 將在對(duì)此進(jìn)行平滑并傳輸時(shí)接收裝置103所需的緩存時(shí)間定義為可變壓縮編碼延遲時(shí)間。
可變壓縮編碼延遲時(shí)間Bt_COdeC(SeC)例如能夠通過(guò)以下的式(2)表示。
Bt_codec=BX8/R... (2)
根據(jù)由用戶等指定的圖像質(zhì)量要求來(lái)決定編碼器假定緩存大小B。在基于VBR方式的壓縮編碼的情況下，通過(guò)增大編碼器假定緩存大小B，能夠在復(fù)雜度高的圖像部分使用更多的數(shù)據(jù)量，能夠提高畫質(zhì)。即，在圖像質(zhì)量要求高的情況下，通過(guò)增大該編碼器假定緩存大小B，能夠應(yīng)對(duì)該高的要求。
但是，如果增大編碼器假定緩存大小B，則可變壓縮編碼延遲要求時(shí)間Bt_CodeC_ req(sec)變大，因此存在延遲增加的顧慮。
[RTCP 處理]
下面，說(shuō)明在各發(fā)送裝置101與接收裝置103之間進(jìn)行的QoS控制處理的RTCP處理。RTCP部137 (圖2)和RTCP部207 (圖7)使用IETF RFC3550記載的RTCP，在發(fā)送裝置 101與接收裝置103之間發(fā)送接收RTCP消息，并且進(jìn)行分組損失率、往返傳播延遲(RTT)和網(wǎng)絡(luò)抖動(dòng)等的信息收集、以及用于QoS控制處理的控制消息的發(fā)送接收。作為QoS控制消息,例如由ARQ處理中的重發(fā)請(qǐng)求消息等。
[FEC 處理]
下面，說(shuō)明QoS控制處理的FEC處理。FEC部132 (圖2)以從編碼部131提供的編碼數(shù)據(jù)的RTP分組作為單位進(jìn)行FEC冗余編碼。例如，F(xiàn)EC部132使用Reed-Solomon碼等的消失糾錯(cuò)碼字，進(jìn)行冗余編碼。
FEC冗余編碼中的冗余度例如根據(jù)由用戶等指定的傳輸質(zhì)量要求而決定。冗余度以(原數(shù)據(jù)分組數(shù)、冗余分組數(shù))的形式指定。此外，用戶還指定網(wǎng)絡(luò)的假定分組損失率P。
以下，將(原數(shù)據(jù)分組數(shù)、冗余分組數(shù))的組設(shè)為I個(gè)冗余編碼單位(所謂FEC塊)。 例如，在指定為(原數(shù)據(jù)分組數(shù)、冗余分組數(shù))=(10、5)的情況下，發(fā)送裝置101的FEC部132 對(duì)10個(gè)原數(shù)據(jù)分組生成5個(gè)冗余分組。S卩，在該FEC塊中合計(jì)發(fā)送15個(gè)分組。
這時(shí)，接收裝置103 的FEC部204 (圖7)如果接收該FEC塊分組中的任意的10個(gè)分組，則能夠通過(guò)FEC解碼處理來(lái)解碼出原數(shù)據(jù)。例如，將由用戶指定的分組損失率設(shè)為p， 將FEC塊內(nèi)的分組數(shù)設(shè)為n，將原數(shù)據(jù)分組數(shù)設(shè)為k，將冗余分組數(shù)設(shè)為n-k，將由用戶作為傳輸質(zhì)量要求而指定的目標(biāo)FEC塊損失率設(shè)為Pt，則目標(biāo)FEC塊損失率Pt如以下的式(3)所示。
權(quán)利要求
1.一種信息處理裝置，具備調(diào)整部件，在從多個(gè)發(fā)送裝置對(duì)一個(gè)接收裝置傳輸互相取得同步的數(shù)據(jù)的數(shù)據(jù)傳輸中，使用各數(shù)據(jù)傳輸?shù)脑趥鬏斅窂缴袭a(chǎn)生的延遲時(shí)間即傳輸延遲的差，調(diào)整對(duì)各數(shù)據(jù)傳輸設(shè)定的用于在所述接收裝置中取得各數(shù)據(jù)的同步的緩存時(shí)間即接收緩存時(shí)間；以及設(shè)定部件，使用由所述調(diào)整部件調(diào)整后的所述接收緩存時(shí)間，設(shè)定關(guān)于各數(shù)據(jù)傳輸?shù)奶幚淼膮?shù)。
2.如權(quán)利要求1所述的信息處理裝置，其中，所述調(diào)整部件求所述傳輸延遲的最大值，將對(duì)預(yù)先決定的規(guī)定的接收緩存時(shí)間即規(guī)定接收緩存時(shí)間加上各數(shù)據(jù)的所述傳輸延遲與所述最大值之差后的時(shí)間，設(shè)為所述接收緩存時(shí)間。
3.如權(quán)利要求1所述的信息處理裝置，其中，關(guān)于所述數(shù)據(jù)傳輸?shù)奶幚硎撬鰯?shù)據(jù)傳輸?shù)腝oS控制處理，所述設(shè)定部件作為所述QoS控制處理的參數(shù)，設(shè)定接收冗余編碼塊的開(kāi)頭分組起至末尾的分組為止的時(shí)間即冗余編碼塊接收等待時(shí)間、等待重發(fā)分組的時(shí)間即重發(fā)分組等待時(shí)間、以及用于吸收網(wǎng)絡(luò)抖動(dòng)的網(wǎng)絡(luò)抖動(dòng)應(yīng)對(duì)緩存時(shí)間。
4.如權(quán)利要求1所述的信息處理裝置，其中，在傳輸源中對(duì)所述數(shù)據(jù)進(jìn)行編碼，傳輸所得到的編碼數(shù)據(jù)，在傳輸目的地中對(duì)所述編碼數(shù)據(jù)進(jìn)行解碼，所述設(shè)定部件作為所述處理的參數(shù)，設(shè)定對(duì)在所述編碼中進(jìn)行速率控制而生成的所述編碼數(shù)據(jù)進(jìn)行平滑傳輸時(shí)所需的可變壓縮編碼延遲要求時(shí)間。
5.如權(quán)利要求1所述的信息處理裝置，還具備接受部件，接受關(guān)于所述數(shù)據(jù)的畫質(zhì)的要求即圖像質(zhì)量要求、以及關(guān)于所述數(shù)據(jù)傳輸中的傳輸質(zhì)量的要求即傳輸質(zhì)量要求，所述調(diào)整部件基于由所述接受部件接受的所述圖像質(zhì)量要求和所述傳輸質(zhì)量要求，調(diào)整所述接收緩存時(shí)間。
6.如權(quán)利要求5所述的信息處理裝置，其中，所述調(diào)整部件基于由所述接受部件接受的所述圖像質(zhì)量要求和所述傳輸質(zhì)量要求來(lái)設(shè)定臨時(shí)的所述接收緩存時(shí)間，并使用所述臨時(shí)的接收緩存時(shí)間來(lái)調(diào)整所述接收緩存時(shí)間。
7.如權(quán)利要求5所述的信息處理裝置，還具備輸出部件，用于顯示GUI，其中該GUI用于輔助輸入由所述接受部件接受的所述圖像質(zhì)量要求和所述傳輸質(zhì)量要求。
8.一種信息處理裝置的信息處理方法，其中，所述信息處理裝置的調(diào)整部件在從多個(gè)發(fā)送裝置對(duì)一個(gè)接收裝置傳輸互相取得同步的數(shù)據(jù)的數(shù)據(jù)傳輸中，使用各數(shù)據(jù)傳輸?shù)脑趥鬏斅窂缴袭a(chǎn)生的延遲時(shí)間即傳輸延遲的差， 調(diào)整對(duì)各數(shù)據(jù)傳輸設(shè)定的用于在所述接收裝置中取得各數(shù)據(jù)的同步的緩存時(shí)間即接收緩存時(shí)間，所述信息處理裝置的設(shè)定部件使用調(diào)整后的所述接收緩存時(shí)間，設(shè)定關(guān)于各數(shù)據(jù)傳輸?shù)奶幚淼膮?shù)。
9.一種程序，用于使進(jìn)行數(shù)據(jù)傳輸?shù)挠?jì)算機(jī)作為如下部件發(fā)揮作用調(diào)整部件，在從多個(gè)發(fā)送裝置對(duì)一個(gè)接收裝置傳輸互相取得同步的數(shù)據(jù)的數(shù)據(jù)傳輸中，使用各數(shù)據(jù)傳輸?shù)脑趥鬏斅窂缴袭a(chǎn)生的延遲時(shí)間即傳輸延遲的差，調(diào)整對(duì)各數(shù)據(jù)傳輸設(shè)定的用于在所述接收裝置中取得各數(shù)據(jù)的同步的緩存時(shí)間即接收緩存時(shí)間；以及設(shè)定部件，使用由所述調(diào)整部件調(diào)整后的所述接收緩存時(shí)間，設(shè)定關(guān)于各數(shù)據(jù)傳輸?shù)奶幚淼膮?shù)。
全文摘要
本發(fā)明涉及能夠抑制內(nèi)容的質(zhì)量的劣化的信息處理裝置和方法、以及程序。綜合接收緩存時(shí)間調(diào)整部(114)求出在各接收部(113)進(jìn)行的數(shù)據(jù)傳輸?shù)膫鬏斞舆t中最長(zhǎng)的延遲時(shí)間即最大傳輸延遲時(shí)間。接收緩存時(shí)間設(shè)定部(208)使用最大傳輸延遲時(shí)間、該接收部(113)的數(shù)據(jù)傳輸?shù)膫鬏斞舆t時(shí)間和規(guī)定接收緩存時(shí)間來(lái)計(jì)算接收緩存時(shí)間。接收緩存時(shí)間設(shè)定部(208)根據(jù)該接收緩存時(shí)間，設(shè)定可變壓縮編碼延遲時(shí)間、冗余編碼塊接收等待時(shí)間、ARQ重發(fā)分組等待時(shí)間和網(wǎng)絡(luò)抖動(dòng)應(yīng)對(duì)緩存時(shí)間等各種延遲時(shí)間和等待時(shí)間。本發(fā)明例如能夠應(yīng)用于信息處理裝置。
文檔編號(hào)H04N21/238GK103069835SQ20118003850
公開(kāi)日2013年4月24日 申請(qǐng)日期2011年8月3日 優(yōu)先權(quán)日2010年8月12日
發(fā)明者久禮嘉伸, 村山秀明, 宗像保, 藤田千裕, 吉村司 申請(qǐng)人:索尼公司