專利名稱：發(fā)送裝置、接收裝置、發(fā)送方法、接收方法以及傳輸系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及發(fā)送裝置、接收裝置、發(fā)送方法、接收方法以及傳輸系統(tǒng)，特別涉及將與由接收裝置側(cè)所指定的任意的視聽區(qū)域?qū)?yīng)的視頻從發(fā)送裝置發(fā)布到接收裝置的技術(shù)、 以及根據(jù)所發(fā)布的視頻來生成顯示用的圖像的技術(shù)。
背景技術(shù)：
近年來，隨著數(shù)字化技術(shù)的發(fā)展，正在推進視頻的高精細化。此外，通過MPEG (運動圖像專家組)-2和MPEG-4等動態(tài)圖像編碼技術(shù)和網(wǎng)絡(luò)通信技術(shù)的發(fā)展，還能夠?qū)⑦@些高精細視頻傳輸?shù)奖銛y式電話終端等的客戶機終端。在經(jīng)由網(wǎng)絡(luò)將高精細視頻傳輸?shù)娇蛻魴C終端時，需要生成具有適合網(wǎng)絡(luò)的傳輸頻帶的比特率的視頻編碼比特流。比特流是指具有被壓縮的信息空間(壓縮信號空間)的信息序列。視頻編碼比特流的生成可以通過在發(fā)布服務(wù)器等中，以非壓縮信號空間將高精細的原始視頻縮小為適合傳輸頻帶的視頻大小，并對縮小后的信號進行視頻編碼而生成。另一方面，也會采用以下方式，即不以非壓縮信號空間縮小高精細的原始視頻，生成以與原始視頻相同的分辨率質(zhì)量進行了編碼的視頻編碼比特流，并根據(jù)需要而變換為適合傳輸頻帶的低分辨率的視頻編碼比特流。向低分辨率的視頻編碼比特流的變換是使用作為視頻碼變換技術(shù)的代碼轉(zhuǎn)換技術(shù)而進行。關(guān)于使用這樣的代碼轉(zhuǎn)換技術(shù)而變換為低分辨率的、具有適合傳輸頻帶的比特率的視頻整體的發(fā)布，例如記載在專利文獻1、專利文獻2中。這時，在客戶機終端，使用從發(fā)布服務(wù)器接收到的低分辨率視頻編碼比特流而進行視頻放大處理，從而能夠生成與特定的區(qū)域?qū)?yīng)的視頻編碼比特流。但是，該視頻放大處理意味著視頻信號的插補，結(jié)果只是放大所顯示的視頻的大小。由此，客戶機終端上顯示的視頻的分辨率降低，因此存在用戶不易掌握視聽區(qū)域上顯示的視頻的細節(jié)的問題。為了解決這樣的問題，還進行以下處理，即讓客戶機終端能夠以原始視頻的分辨率質(zhì)量對想要視聽的視聽區(qū)域的視頻進行視聽。這時，首先，使客戶機終端對發(fā)布服務(wù)器發(fā)送用于指定用戶想要視聽的區(qū)域的信息。然后，在發(fā)布服務(wù)器中，從作為非壓縮信號的原始的高精細視頻中提取與視聽區(qū)域?qū)?yīng)的視頻信號，然后，通過進行視頻編碼處理從而生成與視聽區(qū)域?qū)?yīng)的視頻編碼比特流(以下，稱為視聽區(qū)域視頻編碼比特流)。這時，通過將分辨率質(zhì)量設(shè)為與原來的原始視頻相同，從而較高地保證從發(fā)布服務(wù)器發(fā)送到客戶機終端的視頻的質(zhì)量。此外，也采用以下方式，即并非從作為非壓縮信號的原始的視頻信號生成視聽區(qū)域視頻編碼比特流，而是從預(yù)先生成的視頻編碼比特流生成視聽區(qū)域視頻編碼比特流。這時，需要預(yù)先生成具有與原始的高精細視頻相同的分辨率質(zhì)量的視頻編碼比特流的步驟。 這里生成的視頻編碼比特流并非與特定的區(qū)域?qū)?yīng)，而是與整體區(qū)域?qū)?yīng)。
并且，在從客戶機終端發(fā)送了指定視聽區(qū)域的信息(以下，稱為視聽區(qū)域指定信息)的定時，暫時將視頻編碼比特流解碼為非壓縮信號，并從解碼后的視頻信號提取與視聽區(qū)域?qū)?yīng)的視頻信號從而再次進行視頻編碼。由此，在發(fā)布服務(wù)器中生成與視聽區(qū)域?qū)?yīng)的高分辨率質(zhì)量的視頻編碼比特流。例如在專利文獻3中記載了以下結(jié)構(gòu)從客戶機終端發(fā)送的不是視聽區(qū)域指定信息，而是與希望發(fā)布的視頻有關(guān)的編碼參數(shù)等的設(shè)定值。并且，記載了在從用戶發(fā)送了設(shè)定值的階段，在發(fā)布側(cè)的裝置中暫時對預(yù)先以MPEG-2的文件形式壓縮了的視頻進行解碼，并基于所指定的設(shè)定值以MPEG-4的文件形式進行再編碼的方法。在先技術(shù)文獻專利文獻專利文獻1 美國專利第5307167號說明書專利文獻2 特開平2-135880號公報專利文獻3 特開2004-266690號公報

發(fā)明內(nèi)容
發(fā)明要解決的課題但是，在以高精細視頻的分辨率質(zhì)量對與作為視聽區(qū)域而指定的區(qū)域?qū)?yīng)的視頻信號進行編碼時，當(dāng)希望視聽視頻的用戶有多名的情況下，需要對每個用戶請求進行視頻編碼處理。此外，從用戶發(fā)送的視聽區(qū)域指定信息在每個時間都在改變的情況下，需要在每次視聽區(qū)域指定信息發(fā)生變化時進行視頻編碼處理。即，發(fā)布服務(wù)器內(nèi)的處理負擔(dān)會增加。 進而，由于需要對每個用戶進行視頻編碼處理，因此發(fā)布服務(wù)器中對于視頻編碼處理的處理負擔(dān)也會與用戶的數(shù)目成比例地增加。進而，若考慮發(fā)布對象視頻的累積的觀點，則在提取與作為視聽區(qū)域而指定的區(qū)域?qū)?yīng)的視頻信號并進行編碼的方式中，原始的高精細視頻需要以非壓縮信號的方式來累積。由此，在用于容納原始的視頻信號的存儲裝置中，要求非常大的累積容量。因此，在進行視頻的發(fā)布的企業(yè)和運營商等中，存在與發(fā)布服務(wù)器的構(gòu)筑和維持有關(guān)的費用會增大的問題。另一方面，在預(yù)先對視頻進行編碼，并暫時對通過編碼生成的視頻編碼比特流進行解碼后再次進行編碼的方法中，發(fā)布到客戶機終端的視頻成為都進行了再次編碼的視頻。因此，存在在發(fā)送到客戶機終端的視頻編碼比特流中，無法避免因再次編碼處理而產(chǎn)生的質(zhì)量劣化的問題。本發(fā)明鑒于這一點而完成，其目的在于實現(xiàn)與用戶希望視聽的區(qū)域?qū)?yīng)的高精細的視頻的發(fā)布而不增大服務(wù)器等發(fā)送裝置中的處理負擔(dān)。用于解決課題的方案為了解決上述課題，本發(fā)明包括視頻區(qū)域分割處理部，將輸入視頻信號的視頻區(qū)域分割為規(guī)定數(shù)目的區(qū)域，從而生成與分割后的各個區(qū)域?qū)?yīng)的多個區(qū)域分割視頻信號； 以及編碼處理部，對多個區(qū)域分割視頻信號進行編碼從而生成多個視頻比特流。此外，包括視頻比特流組累積部，累積通過編碼處理部生成的多個視頻比特流；以及視點信息接收部，接收從通過網(wǎng)絡(luò)與該發(fā)送裝置連接的接收裝置發(fā)送的視點信息，該視點信息包括在視頻區(qū)域中通過接收裝置的用戶指定為希望視聽的區(qū)域的視聽位置的信息。并且，基于由視點信息接收部接收到的視點信息，從視頻比特流組累積部提取對應(yīng)于第1區(qū)域的視頻比特流以及對應(yīng)于第2區(qū)域的視頻比特流，從而生成傳輸用的視頻比特流且發(fā)送到接收裝置，其中，第1區(qū)域通過視聽位置而確定，第2區(qū)域是通過視聽位置確定的區(qū)域的周邊區(qū)域。通過這樣構(gòu)成，原始的輸入視頻信號的視頻被分割為多個區(qū)域，構(gòu)成分割后的各個區(qū)域的視頻信號進行編碼而生成視頻比特流后累積在發(fā)送裝置內(nèi)。并且，基于從接收裝置發(fā)送的視點信息，提取與通過視聽位置確定的區(qū)域?qū)?yīng)的視頻比特流，并發(fā)送到接收裝置。由此，在發(fā)送裝置側(cè)不需要在每次從接收裝置發(fā)送視聽位置的信息時，進行與視聽位置對應(yīng)的視頻信號的編碼處理。此外，不僅是通過視聽位置確定的區(qū)域(第1區(qū)域)的視頻比特流，將其周邊的區(qū)域(第2區(qū)域)的視頻比特流也一并發(fā)送到接收裝置。因此，即使在接收裝置側(cè)視聽位置移動的情況下，只要移動目的地的區(qū)域為上述周邊區(qū)域，則不需要重新從發(fā)送裝置取得對應(yīng)的視頻比特流。發(fā)明效果根據(jù)本發(fā)明，能夠減輕發(fā)送裝置中的處理負擔(dān)，并且能夠以延遲少的形式來進行與用戶想要視聽的位置對應(yīng)的視頻比特流的發(fā)布。此外，根據(jù)本發(fā)明，即使在接收裝置側(cè)視聽位置移動的情況下，也能夠利用與已經(jīng)從發(fā)送裝置發(fā)送來的第2區(qū)域?qū)?yīng)的視頻比特流，迅速地生成顯示視頻。


圖1是表示本發(fā)明的第1實施方式的傳輸系統(tǒng)的概要的概要圖。圖2是表示本發(fā)明的第1實施方式的傳輸區(qū)域的構(gòu)成例的說明圖。圖3是表示與本發(fā)明的第1實施方式的視聽位置的移動速度相應(yīng)的編碼質(zhì)量控制的例子的說明圖。圖4是表示本發(fā)明的第1實施方式的服務(wù)器的構(gòu)成例的方框圖。圖5是說明構(gòu)成本發(fā)明的第1實施方式的多流信息和視點信息的元素的說明圖。圖6是表示本發(fā)明的第1實施方式的服務(wù)器中的客戶機狀態(tài)管理部的內(nèi)部構(gòu)成例的方框圖。圖7是表示本發(fā)明的第1實施方式的服務(wù)器中的聲音比特流提取/混合處理部的處理的例子的說明圖。圖8是表示本發(fā)明的第1實施方式的服務(wù)器中的單流生成部的內(nèi)部構(gòu)成例的方框圖。圖9是表示本發(fā)明的第1實施方式的服務(wù)器中的單流構(gòu)成部的內(nèi)部構(gòu)成例的方框圖。圖10是表示本發(fā)明的第1實施方式的服務(wù)器中的單流再構(gòu)成處理控制部的內(nèi)部構(gòu)成例的方框圖。圖11是表示本發(fā)明的第1實施方式的客戶機的內(nèi)部構(gòu)成例的方框圖。圖12是表示本發(fā)明的第1實施方式的傳輸系統(tǒng)的動作的例子的流程圖。
圖13是表示本發(fā)明的第2實施方式的服務(wù)器的構(gòu)成例的概要圖。
具體實施例方式以下，說明具體實施方式
。另外，按照以下順序進行說明。1.第1實施方式(將從拍攝裝置提供的視頻信號發(fā)布到客戶機的例子)2.第2實施方式(將從多個視頻發(fā)布服務(wù)器提供的視頻信號發(fā)布到客戶機的例子)<1.第1實施方式>在本實施方式(以下，也稱為本例)中，說明將本發(fā)明的發(fā)送裝置應(yīng)用于服務(wù)器， 將本發(fā)明的接收裝置應(yīng)用于便攜式電話終端的例子。但是，本發(fā)明的接收裝置不限于便攜式電話終端，例如可以應(yīng)用于PDA(個人數(shù)字助理)或個人計算機、聲音再現(xiàn)裝置或游戲機終端等具有通信功能以及在顯示部顯示視頻的功能的各種裝置。另外，按照以下順序進行說明。(1)傳輸系統(tǒng)的概要(2)服務(wù)器的構(gòu)成例(3)客戶機的構(gòu)成例(4)傳輸系統(tǒng)的動作例[傳輸系統(tǒng)的概要]首先，參照圖1 圖3說明本例的傳輸系統(tǒng)的概要。圖1是表示本實施方式的傳輸系統(tǒng)的概要的圖。圖1所示的傳輸系統(tǒng)由進行視頻的發(fā)布的服務(wù)器1和客戶機2構(gòu)成。服務(wù)器1和客戶機2經(jīng)由網(wǎng)絡(luò)3連接。另外，在圖1 中僅顯示一個客戶機2，但實際上，多個客戶機2通過網(wǎng)絡(luò)3能夠訪問服務(wù)器1。服務(wù)器1上連接了由未圖示的拍攝裝置構(gòu)成的視頻信號輸入部，通過視頻信號輸入部獲得的高精細的視頻輸入到服務(wù)器1。作為這里所說的高精細的視頻，在本例中，例如假定具有3600像素XMOO像素等的分辨率的視頻。另外，分辨率不限于此，也可以處理具有7680像素X4320像素等的其他分辨率的視頻信號。在客戶機2中，進行從服務(wù)器1具有的高精細的原始視頻中指定希望視聽的特定的區(qū)域(以下，稱為視聽希望區(qū)域)的操作。具體地說，在客戶機2的顯示部213的畫面上顯示小框213a，通過改變該框213a的位置和大小，從而用戶能夠確定視聽希望區(qū)域。進而，還能夠進行將該視聽希望區(qū)域放大或者縮小的操作。這是為了使用戶能夠以更高分辨率來視聽畫面內(nèi)的特定的區(qū)域的視頻，或者以更低分辨率鳥瞰原始的高精細視頻的整體圖像。這樣的、視聽希望區(qū)域的大小和位置、視聽希望區(qū)域的放大或者縮小的操作的信息(即，希望視聽的分辨率的信息；以下稱為“要求分辨率”)作為“視點信息”從客戶機2 連續(xù)發(fā)送到服務(wù)器1。假設(shè)要求分辨率的參數(shù)能夠以將原始的高精細視頻的分辨率作為1 時的比率(例如1，2，10等)來設(shè)定。對服務(wù)器1的視點信息的發(fā)送在每當(dāng)視點信息發(fā)生變化時進行。為了實現(xiàn)這樣的功能，在服務(wù)器1中，首先，進行根據(jù)從視頻信號輸入部提供的原始的非壓縮的高精細視頻而生成視頻編碼比特流(以下，也簡稱為比特流)的處理。該視頻編碼比特流是按照將原始的高精細視頻的視頻區(qū)域分割為多個區(qū)域所得到的、各個分割區(qū)域單位而生成。在以下的說明中，將按每個分割區(qū)域而生成的比特流稱為分割區(qū)域視頻比特流。服務(wù)器1預(yù)先生成這樣的分割區(qū)域視頻比特流，并將其累積到由HDD(硬盤驅(qū)動) 等構(gòu)成的視頻比特流組累積部40。并且，在從客戶機2發(fā)送了視點信息的定時，提取與通過視點信息所確定的區(qū)域?qū)?yīng)的比特流后發(fā)送到客戶機2。由此，即使在從多個客戶機2發(fā)送了其位置不同的各種視點信息的情況下，服務(wù)器1也只要提取與通過視點信息所確定的區(qū)域?qū)?yīng)的比特流后發(fā)送到客戶機2即可。進而，在服務(wù)器1中，對應(yīng)于多個分辨率而生成該分割區(qū)域視頻比特流。在本例中，舉出按照“低分辨率”、“中分辨率”、“高分辨率，，的三個分辨率級別的每一個，分別生成分割區(qū)域視頻比特流的例子。并且，將這樣生成的與各個分辨率對應(yīng)的分割區(qū)域視頻比特流累積到視頻比特流組累積部40內(nèi)。另外，在本例中舉出了設(shè)置三個分辨率級別的例子，但不限于此。例如，4個或5個等，可以以更細致的階段進行分辨率的分類，也可以以2階段等更粗糙的階段來設(shè)定。在圖1所示的視頻比特流組累積部40內(nèi)的“低分辨率流”中，累積與“低分辨率” 對應(yīng)的分割區(qū)域視頻比特流。作為“低分辨率”的分辨率，設(shè)定與客戶機2的顯示部213的畫面分辨率相同程度的低分辨率。具體地說，例如設(shè)定QVGA(360像素X240像素)等的分辨率。該低分辨率的比特流40a是對原始高精細視頻的一個畫面生成一個。該低分辨率的比特流40a被發(fā)送到客戶機2，且顯示在客戶機2的顯示部213的畫面上，從而客戶機2的用戶能夠在畫面上掌握原始的高精細視頻的整體圖像。在“高分辨率比特流組” 40c中，累積具有與原始的高精細視頻中的分辨率質(zhì)量相同的分辨率質(zhì)量的分割區(qū)域視頻比特流。該“高分辨率比特流組10(是以能夠按照與原始的視頻相同程度的高分辨率質(zhì)量來發(fā)布對應(yīng)于用戶選擇的視聽希望區(qū)域的圖像為目的而生成。在“中分辨率比特流組”40b中，累積具有“中分辨率”的分辨率的分割區(qū)域視頻比特流。作為“中分辨率”的分辨率，設(shè)定上述的“低分辨率”的分辨率和“高分辨率”的分辨率的中間的分辨率。即，在“低分辨率”的分辨率為360像素X240像素，“高分辨率”的分辨率為3600像素XMOO像素時，在“中分辨率比特流組”中累積具有1620像素X 1080像素等的分辨率的分割區(qū)域視頻比特流。通過切換部83的連接目的地被選擇性地切換，作為“低分辨率的比特流”40a、“中分辨率比特流組”40b、“高分辨率比特流組”40c而累積的比特流(組)的其中一個被選擇而發(fā)送到客戶機2。切換部83的切換控制是基于從客戶機2發(fā)送的視點信息21 的內(nèi)容而進行。即，從視頻比特流組累積部40提取與通過視點信息21 確定的區(qū)域?qū)?yīng)的多個比特流而發(fā)送到客戶機2。例如，假設(shè)在視點信息21 中包含的位置信息(視聽希望區(qū)域的位置信息)表示高精細的原始視頻的左上端，要求分辨率為“10”(分辨率質(zhì)量=1/10)的情況。這時，提取低分辨率比特流40a而發(fā)送到客戶機2。即，選擇通過將原始的高精細的整體視頻變換為能夠滿足客戶機2的顯示部213的畫面大小(例如QVGA)的低分辨率而生成的低分辨率比特流40a，并發(fā)送到客戶機2。另一方面，即使在視點信息中包含的位置信息同樣是表示高精細的原始視頻的左上端，但在要求分辨率為“1”的情況下，從高分辨率比特流組40c中提取與視聽希望區(qū)域?qū)?yīng)的多個比特流。即，從原始視頻的左上端提取與客戶機2的顯示部213的分辨率對應(yīng)的 360像素X 240像素的區(qū)域量的比特流，并作為與視聽希望區(qū)域?qū)?yīng)的視頻而發(fā)送到客戶機2。同樣地，在要求分辨率為“5”(分辨率質(zhì)量=1/5)的情況下，從中分辨率比特流組 40b中，從原始視頻的左上端起提取與720像素X480像素的區(qū)域?qū)?yīng)的多個比特流，并發(fā)送到客戶機2。通過這樣構(gòu)成，即使在從客戶機2對服務(wù)器1發(fā)送了各種值的要求分辨率的情況下，服務(wù)器1也能夠立即提取對應(yīng)的比特流而發(fā)送到客戶機2。進而，本例的服務(wù)器1不僅是將與通過視點信息確定的視聽希望區(qū)域?qū)?yīng)的比特流發(fā)送到客戶機2，還將構(gòu)成視聽希望區(qū)域的周圍的區(qū)域的比特流也發(fā)送到客戶機2。在視聽希望區(qū)域的位置(有用戶的視點的位置；以下，也稱為視點位置)有移動的情況下，也能夠立即將視線的移動目的地的區(qū)域中的視頻顯示到客戶機2的顯示畫面上。圖2是表示了服務(wù)器1提取比特流的對象區(qū)域的例子的圖。圖2的最外側(cè)的框表示原始視頻的1畫面(整體區(qū)域Aw)，粗線所示的最小的框表示通過從客戶機2發(fā)送的視聽希望區(qū)域所確定的區(qū)域Ad。該區(qū)域Ad中的圖像在發(fā)送到客戶機2之后會顯示在其顯示部 213的畫面上，因此在以后的說明中，將該區(qū)域Ad稱為顯示區(qū)域Ad(第1區(qū)域)。作為顯示區(qū)域Ad的周圍的區(qū)域的、單點劃線所示的大框所包圍的區(qū)域是由從服務(wù)器1實際傳輸?shù)娇蛻魴C2的比特流構(gòu)成的區(qū)域。在以后的說明中，將該區(qū)域稱為傳輸區(qū)域At (第2區(qū)域)。即，在本例的傳輸系統(tǒng)中，不僅是構(gòu)成與視聽希望區(qū)域?qū)?yīng)的顯示區(qū)域 Ad的比特流，將構(gòu)成其周圍的區(qū)域的比特流也一并發(fā)送到客戶機2。但是，在本例的傳輸系統(tǒng)中，設(shè)想基于固定比特率的發(fā)布或者網(wǎng)絡(luò)頻帶不富裕的情況下的發(fā)布。因此，設(shè)想通過不僅發(fā)布構(gòu)成顯示區(qū)域Ad的比特流，還發(fā)布構(gòu)成其周邊的區(qū)域的比特流，從而會壓迫網(wǎng)絡(luò)的頻帶。為了解決這一問題，在服務(wù)器1中，在傳輸區(qū)域At中的顯示區(qū)域Ad和其周邊的區(qū)域之間設(shè)置基于編碼的質(zhì)量的優(yōu)先級，從而生成比特流。具體地說，與構(gòu)成顯示區(qū)域Ad的比特流相比，對顯示區(qū)域Ad的周邊的區(qū)域分配低質(zhì)量(碼量少)比特流，從而減少網(wǎng)絡(luò)上流動的數(shù)據(jù)量。在圖2所示的例子中，對傳輸區(qū)域At中用虛線包圍的區(qū)域分配了高質(zhì)量的(編碼量多)比特流(高質(zhì)量編碼區(qū)域Ah;第3區(qū)域)。另一方面，對傳輸區(qū)域At中的高質(zhì)量編碼區(qū)域Ah以外的區(qū)域，分配了比對高質(zhì)量編碼區(qū)域Ah分配的比特流更低質(zhì)量的比特流 (低質(zhì)量編碼區(qū)域Al ；第4區(qū)域)。但是，在用戶的視點位置迅速變化的情況等，顯示區(qū)域Ad的移動速度快的情況下，對周邊區(qū)域的訪問的可能性也增加。在這樣的情況下，將對周邊區(qū)域分配的比特流的質(zhì)量相比于顯示區(qū)域Ad不移動的情況提高一些(中質(zhì)量)。另一方面，將對顯示區(qū)域Ad分配的比特流的質(zhì)量相比于顯示區(qū)域Ad不移動的情況降低一些。這樣，通過根據(jù)視點位置(顯示區(qū)域Ad)的移動速度而動態(tài)地改變分配高質(zhì)量的比特流的優(yōu)先級，從而即使在基于固定比特率進行發(fā)布的情況下，也能夠給應(yīng)優(yōu)先發(fā)送的數(shù)據(jù)分配較多頻帶。另一方面，即使在客戶機側(cè)視線位置的移動速度快的情況下，也能夠使用構(gòu)成從服務(wù)器1已經(jīng)作為傳輸區(qū)域At而發(fā)送的顯示區(qū)域Ad以外的區(qū)域的比特流，迅速地生成顯示視頻。圖3是表示了隨著時刻變化的視點位置(顯示區(qū)域Ad)的移動速度和對構(gòu)成傳輸區(qū)域At的各個區(qū)域分配的碼量的對應(yīng)例的圖。在圖3中，X軸和Y軸對應(yīng)于原始視頻的整體區(qū)域Aw的X軸和Y軸，Z軸表示時間方向。此外，分別通過不同的圖案區(qū)分示出了對各個區(qū)域分配的質(zhì)量的高低。另外，在圖3中對于與圖2對應(yīng)的地方附加了相同的標號。時間方向中的時刻TO到時刻Tl為止的期間，顯示區(qū)域Ad的位置沒有大幅變化。 艮口，可知用戶的視點位置停留在大致相同的位置。這樣的情況認為是視點位置移動到顯示區(qū)域Ad以外的周邊的區(qū)域的可能性低。因此，對于包含與視點位置對應(yīng)的顯示區(qū)域Ad的高質(zhì)量編碼區(qū)域Ah分配高質(zhì)量的比特流，對于傳輸區(qū)域At中的除此以外的區(qū)域分配低質(zhì)量的比特流。時刻Tl 時刻T3為止的期間，示出了顯示區(qū)域Ad的位置大幅變化，其移動速度也較快。這樣的情況認為是視點位置移動到顯示區(qū)域Ad以外的區(qū)域的可能性高。因此，將對顯示區(qū)域Ad分配的比特流的質(zhì)量與在時刻TO 時刻Tl中分配的質(zhì)量(高質(zhì)量)相比降低一些。此外，對不包含顯示區(qū)域Ad的傳輸區(qū)域At分配的比特流的質(zhì)量與在時刻TO 時刻Tl中分配的質(zhì)量(低質(zhì)量)相比提高一些。另外，在視點位置高速移動的情況下，設(shè)想人的視覺能力降低，對于視頻的質(zhì)量劣化也變得不敏感。因此，認為即使降低對顯示區(qū)域 Ad分配的比特流的質(zhì)量，這一情況原樣作為視頻質(zhì)量的劣化而被用戶捕捉到的可能性也較低。[服務(wù)器的構(gòu)成例]下面，參照圖4 圖10說明服務(wù)器1的構(gòu)成例。圖4是表示了服務(wù)器1的內(nèi)部構(gòu)成例的方框圖。服務(wù)器1上連接了視頻信號輸入部10。此外，服務(wù)器1包括視頻區(qū)域分割處理部20、部分區(qū)域編碼處理部30、視頻比特流組累積部40、多流信息累積部50。視頻信號輸入部10輸出前述那樣的3600像素XMOO像素等的高精細的視頻信號10a，例如由播放用的攝像機、監(jiān)視攝像機、用于電視會議等的攝像機等構(gòu)成。視頻區(qū)域分割處理部20將由從視頻信號輸入部10輸入的視頻信號IOa構(gòu)成的視頻區(qū)域分割為多個區(qū)域。這里進行的分割是根據(jù)由未圖示的控制部等輸入的用于指示分辨率級別的參數(shù)(分辨率級別信息20a)，對高分辨率、中分辨率、低分辨率的每個級別進行。并且，生成區(qū)域分割視頻信號20b、即高分辨率的區(qū)域分割視頻信號(第1區(qū)域分割視頻信號)、中分辨率的區(qū)域分割視頻信號(第2(中分辨率)區(qū)域分割視頻信號)、低分辨率的區(qū)域分割視頻信號(第 2 (低分辨率)區(qū)域分割視頻信號)。部分區(qū)域編碼處理部30對通過視頻區(qū)域分割處理部20生成的各個分辨率級別中的各個分割區(qū)域的視頻信號進行編碼，從而生成分割區(qū)域視頻比特流30a。這里進行的編碼是以在各個分割區(qū)域之間不具有動作向量或量化系數(shù)、量化參數(shù)等的預(yù)測關(guān)系的形式進行。作為編碼方式，假設(shè)例如使用MPEG-2、MPEG-4SP、H. 263, H. 264等。視頻比特流組累積部40將通過部分區(qū)域編碼處理部30生成的多個分割區(qū)域視頻比特流按照分辨率的每個級別進行分類累積。即，如圖1所示，將通過部分區(qū)域編碼處理部 30生成的各個分割區(qū)域視頻比特流作為低分辨率比特流4 0a、中分辨率比特流組40b、高分辨率比特流組40c而累積。
多流信息累積部50管理與通過部分區(qū)域編碼處理部30生成的各個分割區(qū)域視頻比特流的編碼質(zhì)量有關(guān)的信息、以及表示各個分割區(qū)域?qū)儆谡w區(qū)域Aw中的哪個位置的位置信息。具體地說，將從視頻區(qū)域分割處理部20提供的每個分辨率級別的編碼比特率的信息20c、以及從部分區(qū)域編碼處理部30提供的、構(gòu)成各個分割區(qū)域的各個宏塊(以下，稱為MB)的位置信息30b作為多流信息來累積。這里，參照圖5，說明由多流信息累積部50管理的多流信息和從客戶機2發(fā)送的視點信息的細節(jié)。該圖5表示傳輸區(qū)域以及顯示區(qū)域相對于原始的高精細視頻的整體區(qū)域的定位或者關(guān)系的例子，在其下方表示各個分割區(qū)域的構(gòu)成例，進一步在其下方表示多流的構(gòu)成例。圖5表示了整體區(qū)域Aw例如被分割為48個分割區(qū)域Ap的狀態(tài)。假設(shè)在各個分割區(qū)域Ap中，例如水平方向上包含X個MB，且在垂直方向上包含Y個MB。并且，分割區(qū)域 Ap的1行的長度對應(yīng)于編碼單位中的1片段(slice)量51的長度。這樣構(gòu)成的各個分割區(qū)域Ap內(nèi)的視頻信號52通過部分區(qū)域編碼處理部30 (參照圖4)進行編碼，從而生成分割區(qū)域視頻比特流S。在多流信息累積部50中，將與由N個(N 為自然數(shù))分割區(qū)域視頻比特流& Sn構(gòu)成的多流有關(guān)的信息作為多流信息53來管理。多流信息由以下的信息構(gòu)成?！し指顓^(qū)域視頻比特流& (0彡k彡N)·分割區(qū)域視頻比特流&中包含的各個MB的坐標(X，y) 編碼比特率即，在多流信息中，各個分割區(qū)域在整體區(qū)域Aw中的位置信息按照每個MB編入索
引而管理。下面，參照圖5說明從客戶機2發(fā)送的視點信息。視點信息中包含以下信息。·客戶機2的顯示部213的分辨率信息·要求分辨率信息·與顯示部213的原點坐標(X，y = 0,0)對應(yīng)的整體區(qū)域Aw中的MB位置與顯示部213的原點坐標對應(yīng)的整體區(qū)域Aw中的MB位置通過坐標位置(MB_d(x， y))來管理。再次返回到圖4繼續(xù)說明，在服務(wù)器1中包含視點信息接收部60、客戶機狀態(tài)管理部70、單流生成部80、單流發(fā)送部90。視點信息接收部60接收經(jīng)由網(wǎng)絡(luò)3從客戶機2發(fā)送的視點信息21北，從而提供給客戶機狀態(tài)管理部70?？蛻魴C狀態(tài)管理部70進行視點信息接收部60接收到的視點信息21 的管理、在對聲音或動態(tài)圖像等進行射流發(fā)布時與客戶機2之間交換的控制數(shù)據(jù)(射流協(xié)議遵循消息)的發(fā)送接收等。圖6表示客戶機狀態(tài)管理部70的內(nèi)部構(gòu)成例?？蛻魴C狀態(tài)管理部70中包含視點區(qū)域管理部71、視點信息發(fā)送部72、射流服務(wù)器處理部73。視點區(qū)域管理部71進行視點信息接收部60接收到的視點信息21 的累積、視點信息發(fā)送部72的管理。具體地說，進行將視點信息21 輸出到單流生成部80，或者基于由視點信息接收部60接收到的視點信息21 和從多流信息累積部50讀出的各個比特流的 MB位置信息而生成“發(fā)送狀態(tài)信息”，且將生成的發(fā)送狀態(tài)信息7 發(fā)送到客戶機2的發(fā)送狀態(tài)信息接收部208的處理。發(fā)送狀態(tài)信息7 是傳輸區(qū)域At相對于整體區(qū)域Aw的相對位置信息。傳輸區(qū)域 At相對于整體區(qū)域Aw的相對位置信息是基于從單流生成部80提供給視點區(qū)域管理部71 的“區(qū)域信息”80a而生成。在整體區(qū)域Aw的MB位置映射(map)中包含用于表示在整體區(qū)域Aw中何處是傳輸區(qū)域At的信息。關(guān)于“區(qū)域信息”的細節(jié)將在后面敘述。射流服務(wù)器處理部73在與客戶機2的射流客戶機處理部203之間，交換遵循射流協(xié)議的消息73a。作為遵循射流協(xié)議的消息，例如交換用于請求視頻信號的發(fā)送或暫時停止、停止等的控制消息、用于維持對話的消息等。另外，在本例中例舉了設(shè)置用于發(fā)送發(fā)送狀態(tài)信息的視點信息發(fā)送部72的結(jié)構(gòu)， 但也可以應(yīng)用于不設(shè)置視點信息發(fā)送部72，將發(fā)送狀態(tài)信息保存到視頻比特流的分組的報頭部分而發(fā)送到客戶機2的方式。再次返回到圖4繼續(xù)說明。單流生成部80從視頻比特流組累積部40讀出構(gòu)成通過視點信息接收部60接收到的視點信息所確定的顯示區(qū)域Ad以及其周邊區(qū)域的多個比特流。并且，將讀出的多個比特流作為單流80b再次構(gòu)成后輸出。此外，在被單流化的多個比特流中，對于構(gòu)成低質(zhì)量編碼區(qū)域Al (圖幻的比特流， 還進行以較少的碼量再次編碼的處理。即，單流生成部80還進行以下判斷，即將進行單流化的各個比特流分配給高質(zhì)量編碼區(qū)域Ah還是分配給低質(zhì)量編碼區(qū)域Al。另外，關(guān)于單流生成部80的細節(jié)，參照圖8 圖10在后面敘述。單流發(fā)送部90將通過單流生成部80生成的單流分組化，并將分組化的單流90a 發(fā)送到客戶機2。進而，服務(wù)器1上連接了聲音信號輸入部100-1 聲音信號輸入部100-n(n為自然數(shù))和元信息輸入部120。并且，服務(wù)器1中包括對從這些輸入的數(shù)據(jù)進行處理的聲音編碼處理部110、聲音比特流/元信息累積部130、聲音比特流提取/混合處理部140、聲音比特流發(fā)送部150。聲音信號輸入部100-1 聲音信號輸入部100-n例如由話筒等構(gòu)成。S卩，收集周圍的聲音而變換為聲音信號，并將所得到的聲音信號100-la 100-na輸出到聲音編碼處理部110。聲音編碼處理部110將從聲音信號輸入部100-1 聲音信號輸入部100-n輸出的多個聲音信號例如通過PCM (脈沖編碼調(diào)制)編碼方式或AAC (高級語音編碼)編碼方式等進行編碼。并且，將編碼所得的聲音比特流輸出到聲音比特流/元信息累積部130。元信息輸入部120例如將聲音信號輸入部100-1 聲音信號輸入部100-n的配置位置信息等的、與聲音信號有關(guān)的元(屬性)信息120a輸出到聲音比特流/元信息累積部 130。聲音比特流/元信息累積部130累積從聲音編碼處理部110輸出的聲音比特流、 從元信息輸入部120輸出的元信息。聲音比特流提取/混合處理部140基于分辨率模式信息140a和從客戶機狀態(tài)管理部70得到的視點信息213b，從聲音比特流/元信息累積部130提取適合的聲音比特流。 進而，還進行將提取出的多個聲音比特流基于其元信息等而混合的處理。從聲音比特流提取/混合處理部140輸出的聲音比特流140a提供給聲音比特流發(fā)送部150，聲音比特流發(fā)送部150將聲音比特流150a發(fā)送到客戶機2。圖7是表示了聲音比特流提取/混合處理部140的處理的例子的說明圖。在圖7 中，用黑點表示配置了聲音信號輸入部100的點(point) 141。聲音比特流提取/混合處理部140考慮各個配置點之間的距離等而進行加權(quán)，并對進行了加權(quán)的聲音信號之間進行混合(參照箭頭標記142)。通過進行這樣的處理，與由用戶指定的視聽希望區(qū)域的視頻相對應(yīng)地，該區(qū)域中的聲音也能夠較大地輸出，因此會對正在視聽射流的用戶提供高的臨場感覺。下面，參照圖8說明單流生成部80的內(nèi)部構(gòu)成例。單流生成部80中包括視聽區(qū)域流決定處理部81、編碼流提取部82、切換部83、單流構(gòu)成部84、再編碼處理部86、單流再構(gòu)成處理控制部85。視聽區(qū)域流決定處理部81決定應(yīng)將整體區(qū)域Aw的哪個MB位置的比特流作為與傳輸區(qū)域At對應(yīng)的比特流來提取，并將該比特流作為流索引&而輸出到編碼流提取部82、 單流再構(gòu)成處理控制部85。與顯示區(qū)域Ad對應(yīng)的比特流的決定是基于從客戶機狀態(tài)管理部70發(fā)送的顯示區(qū)域Ad的MB位置MB_d和從多流信息累積部50讀出的多流信息53而進行。此外，視聽區(qū)域流決定處理部81還決定在作為與傳輸區(qū)域At對應(yīng)的比特流而提取的比特流中，將哪個比特流分配給高質(zhì)量編碼區(qū)域Ah或者低質(zhì)量編碼區(qū)域Al。并且，將傳輸區(qū)域At或高質(zhì)量編碼區(qū)域Ah、低質(zhì)量編碼區(qū)域Al在整體區(qū)域Aw中的MB位置作為“區(qū)域信息” 81a輸出到客戶機狀態(tài)管理部70和單流再構(gòu)成處理控制部85。進而，視聽區(qū)域流決定處理部81基于顯示區(qū)域Ad的MB位置MB_d和多流信息53， 生成表示整體區(qū)域Aw的畫面中的各個比特流的配置位置信息的“整體流構(gòu)成映射”81b，并提供給單流構(gòu)成部84。編碼流提取部82基于從視聽區(qū)域流決定處理部81發(fā)送的流索引\和從客戶機狀態(tài)管理部70提供的要求分辨率信息70b，從視頻比特流組累積部40提取適合的比特流。 并且，將提取后的多個比特流8 輸出到切換部83。切換部83將從編碼流提取部82輸出的各個比特流的輸出目的地切換到單流構(gòu)成部84和反量化處理部861中的一個。切換的控制是基于從單流再構(gòu)成處理控制部85提供的流提取控制信息8 進行。單流構(gòu)成部84通過將由編碼流提取部82提取的多個比特流接在一起，從而生成傳輸用的單流80b。圖9中表示單流構(gòu)成部84中的處理的例子。在圖9所示的例子中，單流構(gòu)成部84首先從分割區(qū)域視頻比特流M取出從MB (0， 0)開始的1行量的比特流。接著，在與分割區(qū)域視頻比特流M的右側(cè)對應(yīng)的區(qū)域所包含的分割區(qū)域視頻比特流sk+1中，取出從ΜΒ(0，0)開始的1行量的比特流。然后，在從分割區(qū)域視頻比特流M取出的1行量的比特流的右端，連接從分割區(qū)域視頻比特流取出的1行量的比特流的左端。將該處理持續(xù)至到達傳輸區(qū)域At的水平方向的右端為止，在到達右端后向下移動一行而進行同樣的處理。通過重復(fù)這樣的處理，根據(jù)多個分割區(qū)域視頻比特流S構(gòu)成傳輸用的單流80b。再次返回到圖8繼續(xù)說明，則單流再構(gòu)成處理控制部85決定由再編碼處理部86進行的再量化處理時的量化的粗糙度。該決定是基于從多流信息累積部50提供的多流信息53、從視聽區(qū)域流決定處理部81提供的流索引Sk、從客戶機狀態(tài)管理部70提供的顯示區(qū)域Ad的移動速度信息70a進行。再編碼處理部86對于從單流再構(gòu)成處理控制部85指示了再編碼的比特流進行再編碼處理。再編碼處理部86中包含反量化處理部861、量化處理部862、編碼模式變更部 863。反量化處理部861在進行再編碼處理時，對通過編碼流提取部82提取的比特流進行解碼(反量化)。這時，提取在進行解碼前的比特流所具有的編碼參數(shù)MQold，并將提取的編碼參數(shù)MQold提供給單流再構(gòu)成處理控制部85。量化處理部862使用從單流再構(gòu)成處理控制部85提供的再編碼用的再量化系數(shù) MQnew，對通過反量化處理部861解碼的視頻信號861a再次進行量化。編碼模式變更部863根據(jù)伴隨量化處理部862中的再量化處理而產(chǎn)生的變更內(nèi)容，對量化后的再編碼比特流86 中的編碼模式進行變更。例如，通過在量化處理部862中進行粗糙的量化從而再編碼之前的比特流所持有的編碼系數(shù)被刪除的情況下，進行將量化后的再編碼比特流中的宏塊類型變更為“跳躍宏塊”的處理等。并且，將進行了編碼模式的變更的再編碼比特流提供給單流構(gòu)成部84。此外，編碼模式變更部863將編碼比特量86a 提供給單流再構(gòu)成處理控制部85。另外，在圖8所示的例子中，僅提及了再編碼處理部86進行的再量化處理，但處理不限于此。例如，假設(shè)根據(jù)宏塊的種類，還進行在將解碼進行至像素的級別之后進行再編碼的處理。圖10表示單流再構(gòu)成處理控制部85的細節(jié)。在單流再構(gòu)成處理控制部85中包含再量化判斷部851、再量化系數(shù)決定部852、編碼率控制部853、流提取控制信息生成部854。再量化判斷部851判斷對于通過編碼流提取部82(參照圖8)提取的各個比特流是否需要再編碼，并將判斷結(jié)果輸出到再量化系數(shù)決定部852和流提取控制信息生成部 854。具體地說，當(dāng)顯示區(qū)域Ad的移動速度小于預(yù)先設(shè)定的閾值，并且所提取的比特流屬于高質(zhì)量編碼區(qū)域Ah的情況下，將不需要再編碼的判斷結(jié)果輸出到流提取控制信息生成部854。另一方面，當(dāng)顯示區(qū)域Ad的移動速度為預(yù)先設(shè)定的閾值以上的情況，或者，顯示區(qū)域Ad的移動速度小于預(yù)先設(shè)定的閾值并且所提取的比特流屬于低質(zhì)量編碼區(qū)域Al的情況下，將需要再編碼的判斷結(jié)果輸出到再量化系數(shù)決定部852和流提取控制信息生成部 854。所提取的比特流屬于傳輸區(qū)域At內(nèi)的哪個區(qū)域的判斷是基于從多流信息累積部 50發(fā)送的多流信息53和從視聽區(qū)域流決定處理部81發(fā)送的區(qū)域信息80a而進行。顯示區(qū)域Ad的移動速度的大小是基于從客戶機狀態(tài)管理部70發(fā)送的顯示區(qū)域移動速度信息70a 來判斷。再量化系數(shù)決定部852基于從多流信息累積部50提取的多流信息53、從客戶機狀態(tài)管理部70提供的顯示區(qū)域移動速度信息70a、從視聽區(qū)域流決定處理部81提供的流索引 Sk以及區(qū)域信息80a，決定用于再量化的再量化系數(shù)MQnew。編碼率控制部853基于從編碼模式變更部863輸出的編碼比特量86a的信息，決定下面要進行編碼的對象的MB的編碼率。并且，將決定的編碼率提供給再量化系數(shù)決定部 852。流提取控制信息生成部邪4基于從再量化判斷部851發(fā)送的判斷結(jié)果，生成用于控制切換部83中的連接目的地的流提取控制信息，從而將生成的流提取控制信息8 提供給切換部83。具體地說，從再量化判斷部851輸入了 “不需要再量化”的判斷結(jié)果的情況下， 生成用于將切換部83 (參照圖8)的連接目的地切換到單流構(gòu)成部84側(cè)的控制信息。從再量化判斷部851輸入了“需要再量化”的判斷結(jié)果的情況下，生成用于將切換部83 (參照圖 8)的連接目的地切換到再編碼處理部86側(cè)的控制信息。[客戶機的構(gòu)成例]下面，參照圖11的方框圖說明客戶機2的內(nèi)部構(gòu)成例。客戶機2中包含視頻流接收部201、視頻解碼部202、射流客戶機處理部203、客戶機管理部204、聲音流接收部205、聲音解碼部206、聲音輸出部207。視頻流接收部201接收從服務(wù)器1發(fā)送的單流90a，從而將接收到的單流201a提供給視頻解碼部202。通過視頻流接收部201接收的單流是由構(gòu)成傳輸區(qū)域At的多個比特流所構(gòu)成的單流。視頻解碼部202對從視頻流接收部201提供的單流201a進行解碼，從而生成傳輸區(qū)域解碼信號20加。并且，將生成的傳輸區(qū)域解碼信號提供給顯示控制部212。射流客戶機處理部203在與服務(wù)器1之間，對遵循射流協(xié)議的消息73a進行發(fā)送接收?？蛻魴C管理部204管理與射流有關(guān)的狀態(tài)，對于視頻解碼部202和聲音解碼部206 進行射流再現(xiàn)的開始等的控制。此外，生成遵循射流協(xié)議的消息73a，從而提供給射流客戶機處理部203。聲音流接收部205接收從服務(wù)器1發(fā)送的聲音比特流150a，從而將接收到的聲音比特流20 提供給聲音解碼部206。聲音解碼部206對從聲音流接收部205提供的聲音比特流進行解碼，從而將解碼后的聲音比特流206a提供給聲音輸出部207。聲音輸出部207 例如由揚聲器等構(gòu)成，將從聲音解碼部206提供的聲音比特流作為聲音來輸出。此外，客戶機2中包含發(fā)送狀態(tài)信息接收部208、視點區(qū)域管理部209、視點信息發(fā)送部210、作為操作輸入部的用戶界面部211、顯示控制部212、顯示部213。發(fā)送狀態(tài)信息接收部208接收從服務(wù)器1發(fā)送的發(fā)送狀態(tài)信息72a、即傳輸區(qū)域 At相對于顯示區(qū)域Ad的相對位置信息，從而輸出到視點區(qū)域管理部209。視點區(qū)域管理部 209基于發(fā)送狀態(tài)信息接收部208接收到的發(fā)送狀態(tài)信息208a、從用戶界面部211輸入的用戶的操作信息211a、從客戶機管理部204提供的控制信號20 ，生成視點信息21北。并且，將生成的視點信息輸出到視點信息發(fā)送部210。視點信息發(fā)送部210將從視點區(qū)域管理部209輸出的視點信息21 發(fā)送到服務(wù)器1。用戶界面部211由上下左右鍵和各種按鈕等構(gòu)成，進行對用于選擇在顯示部213顯示的視聽希望區(qū)域的框(參照圖1)的位置和大小進行變更的控制。另外，在本例中，為了選擇視聽希望區(qū)域，例舉了在畫面上顯示框的方式，但不限于此。例如，也可以由觸摸面板或加速度傳感器來構(gòu)成用戶界面部211，并基于用戶敲擊畫面的動作或傾斜畫面的動作等來決定視聽希望區(qū)域。用戶界面部211還將由用戶輸入的操作的內(nèi)容作為操作信息而提供給視點區(qū)域管理部209、顯示控制部212、顯示部213。進而，還進行以下處理基于從視點區(qū)域管理部 209提供的發(fā)送狀態(tài)信息209a，生成表示用戶當(dāng)前正在視聽的畫面位置相當(dāng)于整體區(qū)域Aw 的何處等的信息，并將該信息顯示到顯示部213的畫面上。顯示控制部212在從視頻解碼部202發(fā)送的傳輸區(qū)域解碼信號中，提取實際在顯示部213上顯示的顯示區(qū)域Ad部分的信號從而生成顯示區(qū)域解碼信號212a。并且，將生成的顯示區(qū)域解碼信號21 提供給顯示部213。顯示部213例如由IXD (液晶顯示器)或有機EL(電致發(fā)光)面板等構(gòu)成，將從顯示控制部212提供的顯示區(qū)域解碼信號作為圖像顯示在顯示畫面上。[傳輸系統(tǒng)的動作例]下面，參照圖12的流程圖說明本例的傳輸系統(tǒng)的服務(wù)器1和客戶機2的處理的例子。首先，服務(wù)器1取得從視頻信號輸入部10輸出的高精細視頻信號(步驟Si)。接著， 視頻區(qū)域分割處理部20將在步驟Sl中取得的高精細視頻分割為多個區(qū)域(步驟S2)。并且，部分區(qū)域編碼處理部30根據(jù)構(gòu)成所分割的各個區(qū)域的視頻信號，生成分辨率不同的多個比特流，并累積到視頻比特流組累積部40 (步驟S3)。在本例中，這里生成低分辨率流、中分辨率流組、高分辨率流組。接著，客戶機2對服務(wù)器1發(fā)送發(fā)送請求以使其發(fā)送與視頻的整體區(qū)域Aw對應(yīng)的比特流(步驟S4)。服務(wù)器1的視點信息接收部60若接收發(fā)送請求(步驟S5)，則單流生成部80從視頻比特流組累積部40提取低分辨率比特流，并由單流發(fā)送部90將提取出的低分辨率比特流發(fā)送到客戶機2 (步驟S6)。在客戶機2中，視頻流接收部201接收低分辨率比特流，視頻解碼部202對低分辨率比特流進行解碼，顯示控制部212將解碼所得的顯示區(qū)域解碼信號作為圖像顯示到顯示部213 (步驟S7)。接著，通過對用戶界面部211的操作輸入，判斷是否選擇了視聽希望區(qū)域 (步驟S8)，在沒有接受選擇操作的情況下，重復(fù)步驟S8的判斷。在接受了選擇操作的情況下，視點區(qū)域管理部209生成視點信息，且視點信息發(fā)送部210將生成的視點信息發(fā)送到服務(wù)器1 (步驟S9)。若服務(wù)器1的視點信息接收部60中接收視點信息，則由視點信息所確定的多個比特流會從視頻比特流組累積部40通過單流生成部80的編碼流提取部82而被提取(步驟 S10)。并且，基于視點信息中包含的視點移動速度的大小等，單流生成部80的單流再構(gòu)成處理控制部85判斷與各個分割區(qū)域?qū)?yīng)的比特流是否需要再編碼(步驟Sll)。在判斷為不需要再編碼的情況下(步驟S12)，使用從視頻比特流組累積部40提取的多個比特流，單流生成部80的單流構(gòu)成部84構(gòu)成單流(步驟S13)。在判斷為需要再編碼的情況下(步驟S12)，單流再構(gòu)成處理控制部85決定構(gòu)成分割區(qū)域的各個比特流的再量化參數(shù)(步驟S14)。并且，再編碼處理部86使用再量化參數(shù)對多個比特流再次進行編碼(步驟S15)。進而，單流再構(gòu)成處理控制部85使用再編碼后的比特流而再次構(gòu)成單流(步驟 S16)。并且，單流發(fā)送部90將通過單流構(gòu)成部84或者單流再構(gòu)成處理控制部85再次構(gòu)成的單流發(fā)送到客戶機2 (步驟S17)。在客戶機2中，由視頻解碼部202對視頻流接收部201接收到的單流進行解碼， 并且顯示控制部212將解碼得到的顯示區(qū)域解碼信號作為圖像而顯示到顯示部213 (步驟S18)。接著，判斷用戶的視點位置(視聽希望區(qū)域的位置)是否有變更(步驟S19)，在視點位置有變更時，返回到步驟S9而繼續(xù)處理。在視點位置沒有變化時，繼續(xù)步驟S19的判斷。 該判斷在用戶的視聽結(jié)束為止的期間持續(xù)進行。[第1實施方式的效果]根據(jù)上述的第1實施方式，在服務(wù)器1中預(yù)先生成和累積分割區(qū)域視頻比特流，因此不用在每次從客戶機2發(fā)送視點信息時進行視頻信號的編碼處理。此外，這時，對于與各個分割區(qū)域?qū)?yīng)的比特流，使區(qū)域之間不具有動作向量或量化系數(shù)、量化參數(shù)等的預(yù)測關(guān)系而獨立進行，因此不需要在服務(wù)器1中進行動作向量的檢測或動作補償、系數(shù)變換等的處理。由此，即使在服務(wù)器1上連接的客戶機2的數(shù)目增加了的情況下，也能夠?qū)⒎?wù)器 1中的處理量的增大抑制為最小限度。此外，根據(jù)上述的第1實施方式，分割區(qū)域視頻比特流對應(yīng)于不同的分辨率而準備多個種類。由此，在用戶中，即使重復(fù)進行用于掌握視頻的整體圖像的視聽和用于確認詳細的部分的視聽的情況下，也會從服務(wù)器1對客戶機2迅速提供用戶所希望的分辨率的視頻。此外，由于生成具有與原始的高精細視頻的分辨率質(zhì)量相同級別的分辨率質(zhì)量的分割區(qū)域視頻比特流，因此不需要在客戶機2中進行視頻的插補處理。從而，用戶能夠以原有的質(zhì)量來視聽高精細的視頻。此外，根據(jù)上述的第1實施方式，不僅是與由客戶機2希望作為視聽希望區(qū)域的區(qū)域?qū)?yīng)的比特流，還將構(gòu)成其周邊區(qū)域的比特流也從服務(wù)器1發(fā)送到客戶機2。由此，即使在視聽希望區(qū)域(用戶的視點位置)移動了的情況下，也能夠?qū)ψ鳛閭鬏攨^(qū)域At而發(fā)送的周邊區(qū)域的比特流進行解碼，從而顯示在客戶機2的顯示部213上。S卩，由于能夠減少在服務(wù)器1和客戶機2之間進行的通信的次數(shù)，因此能夠避免由于該通信而產(chǎn)生的延遲。此外，根據(jù)上述的第1實施方式，根據(jù)用戶的視點位置的移動速度的大小，動態(tài)控制分配給與視聽希望區(qū)域?qū)?yīng)的顯示區(qū)域Ad的比特流的質(zhì)量和分配給其周邊的區(qū)域的比特流的質(zhì)量。由此，能夠有效利用有限的網(wǎng)絡(luò)頻帶進行視頻的發(fā)布，而不會降低需要高質(zhì)量地傳輸?shù)谋忍亓鞯馁|(zhì)量。此外，當(dāng)視點位置大幅移動了的情況下，也能夠迅速地將對應(yīng)于視聽希望區(qū)域的視頻顯示到客戶機2的顯示部213的畫面上。此外，根據(jù)上述的第1實施方式，多個分割區(qū)域視頻比特流作為單流傳輸?shù)娇蛻魴C2。因此，在客戶機2中，只要對經(jīng)由網(wǎng)絡(luò)3取得的單流進行解碼就能夠得到作為視聽希望區(qū)域而指定的區(qū)域的視頻。即，能夠減少客戶機2中的處理負擔(dān)。[變形例]另外，在上述的第1實施方式中，也可以進行根據(jù)視點位置的移動速度的大小而流動性地改變傳輸區(qū)域At的尺寸的控制。此外，在上述的第1實施方式中，也可以具備追隨視頻內(nèi)的特定的對象的功能，且能夠自動追蹤由用戶所確定的對象。<2.第2實施方式〉下面，說明本發(fā)明的第2實施方式。在本實施方式中，說明將從多個外部的視頻發(fā)布服務(wù)器發(fā)布的多個視頻比特流作為視頻顯示在將顯示畫面分割為多個的各個分割區(qū)域上，且用戶能夠從該顯示中選擇想要視聽的視頻的例子。[服務(wù)器的構(gòu)成例]圖13是表示構(gòu)成本例的傳輸系統(tǒng)的服務(wù)器1’的內(nèi)部構(gòu)成例的方框圖。圖13所示的服務(wù)器1’經(jīng)由網(wǎng)絡(luò)3與客戶機2連接。在圖13中，與圖4對應(yīng)的部分附加相同的標號，并省略詳細的說明。服務(wù)器1’上連接了進行視頻發(fā)布的多個外部視頻發(fā)布服務(wù)器5-1 外部視頻發(fā)布服務(wù)器5-m(m是自然數(shù))。并且，服務(wù)器1’中包括多個視頻比特流取得部310、多個視頻比特流組累積部40’、多個視頻顯示位置決定部320、多流信息累積部50、視點信息接收部 60、客戶機狀態(tài)管理部70、單流生成部80、單流發(fā)送部90。多個視頻比特流取得部310接收從多個外部視頻發(fā)布服務(wù)器5-1 外部視頻發(fā)布服務(wù)器5-m發(fā)布的多個視頻比特流5-la 5-ma，從而將接收到的各個視頻比特流提供給多個視頻比特流組累積部40’。多個視頻比特流組累積部40’累積從多個視頻比特流取得部 310提供的視頻比特流。此外，多個視頻比特流取得部310將流索引310a輸出到多個視頻顯示位置決定部320。多個視頻顯示位置決定部320決定將多個視頻比特流取得部310取得的各個視頻比特流配置在整體視頻Aw’中的哪個位置，其中，整體視頻Aw’是通過將從外部視頻發(fā)布服務(wù)器5-1發(fā)布的多個視頻在空間上排列配置而生成。這里所說的整體視頻Aw’，其大小根據(jù)從外部視頻發(fā)布服務(wù)器5-1發(fā)布的視頻比特流的數(shù)目而流動性地改變，在視頻比特流的數(shù)目多時，其大小變得非常巨大。并且，將構(gòu)成各個視頻比特流的各個MB在整體區(qū)域Aw’中的位置信息和編碼比特率輸出到多流信息累積部50和后述的多個聲音比特流取得部330。多流信息累積部50’將從多個視頻顯示位置決定部320提供的、各個視頻比特流在整體區(qū)域Aw’中的MB位置信息作為多流信息53來管理。并且，將多流信息發(fā)送到單流生成部80’和客戶機狀態(tài)管理部70。視點信息接收部60以及客戶機狀態(tài)管理部70進行與第1實施方式中的處理相同的處理。單流生成部80’基于從客戶機狀態(tài)管理部70提供的視點信息21北，從多個視頻比特流組累積部40’提取構(gòu)成由視點信息確定的視頻的視頻比特流。并且，利用提取出的多個視頻比特流來構(gòu)成單流，并將生成的單流提供給單流發(fā)送部90。單流發(fā)送部90將從單流生成部80’提供的單流90a發(fā)送到客戶機2。此外，在服務(wù)器1 ’中包括多個聲音比特流取得部330、聲音比特流累積部340、聲音比特流提取部350、聲音比特流發(fā)送部150。多個聲音比特流取得部330接收從多個外部視頻發(fā)布服務(wù)器5-1 外部視頻發(fā)布服務(wù)器5-m發(fā)布的多個聲音比特流5-lb 5-mb，從而將接收到的各個聲音比特流提供給聲音比特流累積部340。聲音比特流累積部340累積從多個聲音比特流取得部330提供的聲音比特流。聲音比特流提取部350基于從客戶機狀態(tài)管理部70提供的視點信息21 ，從聲音比特流累積部340提取與通過視點信息確定的視頻對應(yīng)的聲音比特流。并且，將提取出的聲音比特流發(fā)送到聲音比特流發(fā)送部150。聲音比特流發(fā)送部150將從聲音比特流提取部 350發(fā)送的聲音比特流150a發(fā)送到客戶機2。
[第2實施方式的效果]根據(jù)上述的第2實施方式，基于從多個視頻發(fā)布服務(wù)器5發(fā)送的各種比特流的視頻在客戶機2的顯示部213的畫面上排列顯示。并且，在這些視頻中由客戶機2的用戶所指定的特定的視頻通過服務(wù)器1被提取后發(fā)送到客戶機2。由此，例如，在使用多通道發(fā)布的所有的節(jié)目程序或者視頻內(nèi)容中，用戶能夠容易選擇感興趣的內(nèi)容來視聽。該情況下，也與第1實施方式同樣地，從多個視頻發(fā)布服務(wù)器5發(fā)布的比特流會再次構(gòu)成為單流而發(fā)送到客戶機2，因此能夠減輕客戶機2中的處理負擔(dān)。[變形例]另外，在本實施方式中例舉了由服務(wù)器1’和客戶機2構(gòu)成傳輸系統(tǒng)的情況，但不限于此。例如，也可以使客戶機2具備圖13所示的服務(wù)器1’的功能。作為具體的例子，也可以在除了接收通過多個通道發(fā)布的節(jié)目程序之外還進行其顯示的電視接收器等裝置中構(gòu)成本實施方式的傳輸系統(tǒng)。標號說明1，1’…服務(wù)器、2…客戶機、3…網(wǎng)絡(luò)、5…視頻發(fā)布服務(wù)器、10···視頻信號輸入部、 20…視頻區(qū)域分割處理部、30···部分區(qū)域編碼處理部、40···視頻比特流組累積部、40’…多個視頻比特流組累積部、50，50’…多流信息累積部、60···視點信息接收部、70···客戶機狀態(tài)管理部、71···視點區(qū)域管理部、72···視點信息發(fā)送部、73···射流服務(wù)器處理部、80，80，…單流生成部、81···視聽區(qū)域流決定處理部、82···編碼流提取部、83···切換部、84···單流構(gòu)成部、 85…單流再構(gòu)成處理控制部、86···再編碼處理部、90···單流發(fā)送部、100…聲音信號輸入部、 110…聲音編碼處理部、120…元信息輸入部、130…聲音比特流/元信息累積部、140…聲音比特流提取/混合處理部、150…聲音比特流發(fā)送部、201…視頻流接收部、202…視頻解碼部、203…射流客戶機處理部、204…客戶機管理部、205…聲音流接收部、206…聲音解碼部、207…聲音輸出部、208…發(fā)送狀態(tài)信息接收部、209…視點區(qū)域管理部、210…視點信息發(fā)送部、211…用戶界面部、212…顯示控制部、213…顯示部、310…多個視頻比特流取得部、 320…多個視頻顯示位置決定部、330…多個聲音比特流取得部、340…聲音比特流累積部、 350…聲音比特流提取部、851…再編碼判斷部、852…再量化系數(shù)決定部、853…編碼率控制部、邪4…流提取控制信息生成部、861…反量化處理部、862…量化處理部、863…編碼模式變更部、Ad···顯示區(qū)域、Ah…高質(zhì)量編碼區(qū)域、Ap…分割區(qū)域、At···傳輸區(qū)域、Aw…整體區(qū)域
權(quán)利要求
1.一種發(fā)送裝置，其包括視頻區(qū)域分割處理部，將輸入視頻信號的視頻區(qū)域分割為規(guī)定數(shù)目的區(qū)域，從而生成與所述分割后的各個區(qū)域?qū)?yīng)的多個區(qū)域分割視頻信號；編碼處理部，對所述多個區(qū)域分割視頻信號進行編碼從而生成多個視頻比特流； 視頻比特流組累積部，累積通過所述編碼處理部生成的多個視頻比特流； 視點信息接收部，接收從通過網(wǎng)絡(luò)與該發(fā)送裝置連接的接收裝置發(fā)送的視點信息，該視點信息包括在所述視頻區(qū)域中通過所述接收裝置的用戶指定為希望視聽的區(qū)域的視聽位置的信息；傳輸用比特流生成部，基于由所述視點信息接收部接收到的所述視點信息，從所述視頻比特流組累積部提取對應(yīng)于第1區(qū)域的所述視頻比特流以及對應(yīng)于第2區(qū)域的所述視頻比特流，從而生成傳輸用的視頻比特流，其中，所述第1區(qū)域通過所述視聽位置而確定，所述第2區(qū)域是所述第1區(qū)域的周邊區(qū)域；以及視頻比特流發(fā)送部，將通過所述傳輸用比特流生成部生成的所述傳輸用的視頻比特流發(fā)送到所述接收裝置。
2.如權(quán)利要求1所述的發(fā)送裝置，其中，所述視點信息中包含所述視聽位置的移動速度的信息， 所述傳輸用比特流生成部包括再編碼處理部，對所述視頻比特流進行反量化從而以較低的量化級別進行再編碼；以及傳輸用比特流再構(gòu)成處理部，根據(jù)所述視聽位置的移動速度的大小，將對應(yīng)于所述第 1區(qū)域的所述視頻比特流和對應(yīng)于所述第2區(qū)域的所述視頻比特流中的一個輸出到所述再編碼處理部。
3.如權(quán)利要求2所述的發(fā)送裝置，其中，所述傳輸用比特流再構(gòu)成處理部在所述視聽位置的移動速度不超過預(yù)先設(shè)定的規(guī)定的閾值且處理對象的所述視頻比特流對應(yīng)于所述第1區(qū)域或者第4區(qū)域的情況下，將對應(yīng)于所述第4區(qū)域的所述視頻比特流輸出到所述再編碼處理部，在所述視聽位置的移動速度超過了預(yù)先設(shè)定的規(guī)定的閾值的情況下，將對應(yīng)于所述第1 第4區(qū)域的所述視頻比特流輸出到所述再編碼處理部，其中，所述第4區(qū)域是所述第1區(qū)域的周邊區(qū)域且比所述第2區(qū)域的范圍窄的所述第3區(qū)域以外的區(qū)域。
4.如權(quán)利要求3所述的發(fā)送裝置，其中，所述視頻區(qū)域分割處理部生成與分割了所述輸入視頻信號的視頻區(qū)域的各個分割區(qū)域?qū)?yīng)的第1區(qū)域分割視頻信號和第2區(qū)域分割視頻信號，其中，所述第1區(qū)域分割視頻信號具有與所述輸入視頻信號具有的分辨率大致相同的分辨率，所述第2區(qū)域分割視頻信號是將所述輸入視頻信號的視頻區(qū)域的視頻變換為較低的分辨率，所述視頻比特流組累積部中累積根據(jù)所述第1視頻區(qū)域分割視頻信號而生成的第1視頻比特流和根據(jù)所述第2視頻區(qū)域分割視頻信號而生成的第2視頻比特流，所述視點信息中包含用于表示所述用戶要求的視聽區(qū)域的尺寸的要求分辨率信息， 所述傳輸用比特流生成部從所述視頻比特流組累積部提取具有與通過所述要求分辨率信息所確定的分辨率對應(yīng)的分辨率的視頻比特流。
5.如權(quán)利要求4所述的發(fā)送裝置，其中，在所述第2區(qū)域分割視頻信號中包含不對所述輸入視頻信號的視頻區(qū)域的視頻進行分割而變換為低的分辨率的低分辨率區(qū)域分割視頻信號、以及對所述輸入視頻信號的視頻區(qū)域的視頻進行分割而變換為比所述低分辨率區(qū)域分割視頻信號中的分辨率更高的分辨率的中分辨率區(qū)域分割視頻信號。
6.如權(quán)利要求5所述的發(fā)送裝置，其中，所述傳輸用比特流生成部將從所述視頻比特流組累積部提取的多個視頻比特流按照讀出的順序連接從而生成一條比特流即單流。
7.如權(quán)利要求1所述的發(fā)送裝置，其中，所述編碼處理部將所述多個區(qū)域分割視頻信號以區(qū)域之間不具備預(yù)測關(guān)系的方式獨立編碼。
8.如權(quán)利要求7所述的發(fā)送裝置，還包括聲音編碼處理部，對輸入聲音信號進行編碼從而生成聲音比特流； 聲音比特流累積部，將通過所述聲音編碼處理部生成的聲音比特流與生成所述輸入聲音信號的位置的信息相關(guān)聯(lián)地累積；聲音比特流提取/混合處理部，基于所述視點信息，從所述聲音比特流累積部提取根據(jù)在與由所述視點信息確定的視頻區(qū)域?qū)?yīng)的位置上生成的聲音信號而生成的多個聲音比特流，從而混合提取出的所述多個聲音比特流；以及聲音比特流發(fā)送部，將通過所述聲音比特流提取/混合處理部所混合的聲音比特流發(fā)送到所述接收裝置。
9.一種發(fā)送裝置，其包括視頻比特流取得部，取得從多個視頻發(fā)布服務(wù)器發(fā)布的多個視頻比特流； 多個視頻比特流累積部，累積所述視頻比特流取得部取得的多個視頻比特流； 顯示位置決定部，決定將所述視頻比特流取得部取得的多個視頻比特流分別配置在整體區(qū)域中的哪個位置，其中，所述整體區(qū)域是通過在空間上排列配置基于所述多個視頻比特流的多個視頻而生成；視點信息接收部，接收從所述接收裝置發(fā)送的視點信息，該視點信息包含在顯示了基于所述多個視頻比特流的視頻的所述整體區(qū)域中通過所述接收裝置的用戶指定為希望視聽的區(qū)域的視聽位置的信息；傳輸用比特流生成部，從所述視頻比特流累積部提取構(gòu)成所述顯示區(qū)域的所述視頻比特流從而生成傳輸用的視頻比特流，其中，所述顯示區(qū)域?qū)?yīng)于通過所述視點信息接收部接收到的所述視點信息所確定的區(qū)域；以及視頻比特流發(fā)送部，將通過所述傳輸用比特流生成部生成的所述傳輸用的視頻比特流發(fā)送到所述接收裝置。
10.一種接收裝置，其包括視頻比特流接收部，接收從通過網(wǎng)絡(luò)連接的發(fā)送裝置發(fā)送的視頻比特流； 解碼處理部，對通過所述視頻比特流接收部接收到的所述視頻比特流進行解碼從而得到視頻信號；操作輸入部，接受用于從有圖像的區(qū)域中確定希望視聽的位置的操作，其中，所述圖像是基于通過所述解碼處理部解碼后的視頻信號的圖像；顯示控制部，在所述視頻比特流接收部接收到的所述視頻比特流中包含與確定為所述希望視聽的位置的視聽位置對應(yīng)的視頻比特流和與所述視聽位置的周邊區(qū)域?qū)?yīng)的視頻比特流的情況下，從通過所述解碼處理部解碼后的所述視頻信號中提取與所述視聽位置對應(yīng)的部分的視頻信號而顯示到所述顯示部；視點信息生成部，生成包含所述視聽位置的位置信息的視點信息；以及視點信息發(fā)送部，將所述視點信息發(fā)送到所述發(fā)送裝置。
11.如權(quán)利要求10所述的接收裝置，還包括顯示部，將通過所述解碼處理部解碼后的視頻信號作為圖像來顯示。
12.一種接收方法，其包括接收從通過網(wǎng)絡(luò)連接的發(fā)送裝置發(fā)送的視頻比特流的步驟；對所述接收到的所述視頻比特流進行解碼從而得到視頻信號的步驟；接受用于從有基于所述視頻信號的圖像的區(qū)域中確定希望視聽的位置的操作的步驟；生成包含確定為所述希望視聽的位置的視聽位置的位置信息的視點信息的步驟； 將所述視點信息發(fā)送到所述發(fā)送裝置的步驟；以及在所述解碼所得的視頻信號中包含與所述視聽位置對應(yīng)的視頻信號和與所述視聽位置的周邊區(qū)域?qū)?yīng)的視頻信號的情況下，在所述解碼后的所述視頻信號中提取與所述視聽位置對應(yīng)的部分的視頻信號而顯示到所述顯示部的步驟。
13.—種發(fā)送方法，用于發(fā)送裝置，該發(fā)送裝置對通過網(wǎng)絡(luò)連接的接收裝置發(fā)送數(shù)據(jù)， 所述發(fā)送方法包括將輸入視頻信號的視頻區(qū)域分割為規(guī)定數(shù)目的區(qū)域，從而生成與所述分割后的各個區(qū)域?qū)?yīng)的多個區(qū)域分割視頻信號的步驟；對所述多個區(qū)域分割視頻信號進行編碼從而生成多個視頻比特流的步驟； 累積通過所述編碼處理部生成的多個視頻比特流的步驟；接收從所述接收裝置發(fā)送的視點信息的步驟，其中所述視點信息包括在所述視頻區(qū)域中通過所述接收裝置的用戶指定為希望視聽的區(qū)域的視聽位置的信息；基于所述視點信息，從所述累積的視頻比特流組中提取對應(yīng)于第1區(qū)域的所述視頻比特流以及對應(yīng)于第2區(qū)域的所述視頻比特流，從而生成傳輸用的比特流的步驟，其中，所述第1區(qū)域通過所述視聽位置而確定，所述第2區(qū)域是所述第1區(qū)域的周邊區(qū)域；以及將所述傳輸用的比特流發(fā)送到所述接收裝置的步驟。
14.一種傳輸系統(tǒng)，其包括 發(fā)送裝置；以及接收裝置，其中，所述發(fā)送裝置包括視頻區(qū)域分割處理部，將輸入視頻信號的視頻區(qū)域分割為規(guī)定數(shù)目的區(qū)域，從而生成與所述分割后的各個區(qū)域?qū)?yīng)的多個區(qū)域分割視頻信號；編碼處理部，對所述多個區(qū)域分割視頻信號進行編碼從而生成多個視頻比特流； 視頻比特流組累積部，累積通過所述編碼處理部生成的多個視頻比特流；視點信息接收部，接收從通過網(wǎng)絡(luò)與該發(fā)送裝置連接的接收裝置發(fā)送的視點信息，該視點信息包括在所述視頻區(qū)域中通過所述接收裝置的用戶指定為希望視聽的區(qū)域的視聽位置的信息；傳輸用比特流生成部，基于由所述視點信息接收部接收到的所述視點信息，從所述視頻比特流組累積部提取對應(yīng)于第1區(qū)域的所述視頻比特流以及對應(yīng)于第2區(qū)域的所述視頻比特流，從而生成傳輸用的視頻比特流，其中，所述第1區(qū)域通過所述視聽位置而確定，所述第2區(qū)域是所述第1區(qū)域的周邊區(qū)域；以及發(fā)送部，將通過所述傳輸用比特流生成部生成的所述傳輸用的視頻比特流發(fā)送到所述接收裝置，所述接收裝置包括視頻比特流接收部，接收從所述發(fā)送裝置發(fā)送的視頻比特流； 解碼處理部，對通過所述視頻比特流接收部接收到的所述視頻比特流進行解碼從而得到視頻信號；操作輸入部，接受用于從有圖像的區(qū)域中確定希望視聽的位置的操作，其中，所述圖像是基于通過所述解碼處理部解碼后的視頻信號的圖像；顯示控制部，在通過所述視頻解碼處理部解碼后的所述視頻信號中包含與確定為所述希望視聽的位置的視聽位置對應(yīng)的視頻信號和與所述視聽位置的周邊區(qū)域?qū)?yīng)的視頻信號的情況下，從通過所述解碼處理部解碼后的所述視頻信號中提取與所述視聽位置對應(yīng)的部分的視頻信號而顯示到所述顯示部；視點信息生成部，生成包含所述視聽位置的位置信息的視點信息；以及視點信息發(fā)送部，將所述視點信息發(fā)送到所述發(fā)送裝置。
15. 一種接收裝置，其包括視頻比特流取得部，取得從多個視頻發(fā)布服務(wù)器發(fā)布的多個視頻比特流； 多個視頻比特流累積部，累積所述視頻比特流取得部取得的多個視頻比特流； 顯示位置決定部，決定將所述視頻比特流取得部取得的多個視頻比特流分別顯示在接收裝置的顯示畫面上的哪個分割區(qū)域，其中，所述接收裝置通過網(wǎng)絡(luò)與該發(fā)送裝置連接；視點信息生成部，生成視點信息，該視點信息包含在顯示了基于所述多個視頻比特流的視頻的所述多個分割區(qū)域中通過用戶指定為希望視聽的區(qū)域的視聽位置的信息；視頻比特流提取部，從所述視頻比特流累積部提取構(gòu)成所述顯示區(qū)域的所述視頻比特流，其中，所述顯示區(qū)域?qū)?yīng)于通過所述視點信息確定的區(qū)域；以及解碼處理部，對所述提取出的視頻比特流進行解碼而得到視頻信號； 顯示部，將通過所述解碼處理部解碼后的視頻信號作為圖像來顯示； 操作輸入部，接受用于從有圖像的區(qū)域中確定希望視聽的位置的操作，其中，該圖像是基于通過所述解碼處理部解碼后的視頻信號的圖像；以及顯示控制部，在所述解碼所得的視頻信號中包含與確定為所述希望視聽的位置的視聽位置對應(yīng)的視頻信號和與所述視聽位置的周邊區(qū)域?qū)?yīng)的視頻信號的情況下，從通過所述解碼處理部解碼后的所述視頻信號中提取與所述視聽位置對應(yīng)的部分的視頻信號而顯示到所述顯示部。
全文摘要
實現(xiàn)與用戶希望視聽的區(qū)域?qū)?yīng)的高精細的視頻信號的發(fā)布，而不增大發(fā)送裝置中的處理負擔(dān)。包括視頻區(qū)域分割處理部(20)，將輸入視頻信號的視頻區(qū)域分割為規(guī)定數(shù)目的區(qū)域而生成區(qū)域分割視頻信號；以及編碼處理部(30)，對區(qū)域分割視頻信號進行編碼而生成視頻比特流。此外，包括視頻比特流組累積部(40)，累積多個視頻比特流；以及視點信息接收部(60)，接收從接收裝置(2)發(fā)送的包含視聽位置的信息在內(nèi)的視點信息。并且，從視頻比特流組累積部(40)提取對應(yīng)于第1區(qū)域的視頻比特流及對應(yīng)于第2區(qū)域的視頻比特流，生成傳輸用的視頻比特流且發(fā)送到接收裝置(2)，其中，第1區(qū)域通過視聽位置而確定，第2區(qū)域是第1區(qū)域的周邊區(qū)域。
文檔編號H04N21/2668GK102474659SQ20108003179
公開日2012年5月23日 申請日期2010年7月7日 優(yōu)先權(quán)日2009年7月16日
發(fā)明者宇地原直史, 笠井裕之 申請人:株式會社Gnzo