通信裝置、通信系統(tǒng)、通信控制方法以及程序的制作方法
【專利摘要】一種終端(10)，配置為將通過可伸縮編碼獲得的已編碼數(shù)據(jù)發(fā)送到至少一個其他終端(10)，或從至少一個其他終端(10)接收已編碼數(shù)據(jù)，解碼從至少一個其他終端(10)接收的已編碼數(shù)據(jù)，并且再現(xiàn)和輸出數(shù)據(jù)。終端(10)包括通知單元(26)，配置為通知至少一個其他終端表示正被再現(xiàn)和輸出的數(shù)據(jù)的質(zhì)量的再現(xiàn)質(zhì)量信息，其中從至少一個其他終端發(fā)送正被再現(xiàn)和輸出的數(shù)據(jù)；以及編碼設(shè)置控制單元(27)，配置為基于從其他終端(10)通知的再現(xiàn)質(zhì)量信息，控制用于編碼要被發(fā)送到至少一個其他終端(10)的已編碼數(shù)據(jù)的設(shè)置，其中，從該至少一個其他終端(10)通知該再現(xiàn)質(zhì)量信息。
【專利說明】
通信裝置、通信系統(tǒng)、通信控制方法以及程序
技術(shù)領(lǐng)域
[0001]本發(fā)明涉及一種通信裝置、通信系統(tǒng)、通信控制方法以及程序。
【背景技術(shù)】
[0002]對于使用通信網(wǎng)絡(luò)實現(xiàn)遠(yuǎn)程會議的通信系統(tǒng)一一諸如TV會議系統(tǒng)，存在用于發(fā)送/接收已編碼數(shù)據(jù)的技術(shù)，該已編碼數(shù)據(jù)通過使用作為終端的通信裝置之間的可伸縮編碼(scalable coding)格式進行編碼來獲得。例如，專利文獻I公開了一種TV會議系統(tǒng)，其包括發(fā)送終端、接收終端和會議橋，該發(fā)送終端發(fā)送使用H.264/SVC格式通過可伸縮編碼獲得的已編碼數(shù)據(jù)，該接收終端接收并解碼已編碼數(shù)據(jù)，該會議橋連接該發(fā)送終端和該接收終端。在專利文獻I中描述的TV會議系統(tǒng)中，當(dāng)從發(fā)送終端傳遞已編碼數(shù)據(jù)并且將已編碼數(shù)據(jù)發(fā)送到接收終端時，會議橋確定接收終端的網(wǎng)絡(luò)狀態(tài)。然后會議橋從已編碼數(shù)據(jù)中選擇質(zhì)量上適合于接收終端的狀態(tài)的視頻流的已編碼數(shù)據(jù)，并且將所選擇的已編碼數(shù)據(jù)發(fā)送到接收終端，該已編碼數(shù)據(jù)通過發(fā)送終端中的可伸縮編碼來獲得然后被發(fā)送。

【發(fā)明內(nèi)容】

[0003]技術(shù)問題
[0004]然而，在傳統(tǒng)的技術(shù)中，相對于通過發(fā)送終端中的可伸縮編碼獲得的已編碼數(shù)據(jù)，確定接收終端的狀態(tài)以選擇實際上要被發(fā)送到接收終端的已編碼數(shù)據(jù)的權(quán)限存在在中繼裝置、諸如專利文獻I中描述的會議橋中。為此，不管接收終端的狀態(tài)，發(fā)送終端根據(jù)對中繼裝置的給定設(shè)置來發(fā)送通過可伸縮編碼獲得的已編程的數(shù)據(jù)，并且質(zhì)量上通常不必要的數(shù)據(jù)可以被發(fā)送到中繼裝置。在這種情況下，發(fā)送終端的網(wǎng)絡(luò)帶寬被使用得超過必要。
[0005]技術(shù)方案
[0006]為了解決上述問題，本發(fā)明的一個方面是通信裝置，該通信裝置配置為將通過可伸縮編碼獲得的已編碼數(shù)據(jù)發(fā)送到至少一個其他通信裝置，或從該至少一個其他通信裝置接收該已編碼數(shù)據(jù)，解碼接收的已編碼數(shù)據(jù)，并且再現(xiàn)和輸出該數(shù)據(jù)，該通信裝置包括:通知單元，配置為通知該至少一個其他通信裝置表示正被再現(xiàn)和輸出的數(shù)據(jù)的質(zhì)量的再現(xiàn)質(zhì)量信息，其中，從該至少一個其他通信裝置發(fā)送正被再現(xiàn)和輸出的數(shù)據(jù)；以及編碼設(shè)置控制單元，配置為基于從該至少一個其他通信裝置通知的再現(xiàn)質(zhì)量信息，控制用于編碼要被發(fā)送到該至少一個其他通信裝置的該已編碼數(shù)據(jù)的設(shè)置，其中，從該至少一個其他通信裝置通知該再現(xiàn)質(zhì)量信息。
[0007]有益效果
[0008]本發(fā)明提供了如下效果，根據(jù)接收終端的狀態(tài)，控制用于由發(fā)送終端進行的可伸縮編碼的設(shè)置，并且可以防止使用超過必要的發(fā)送終端的網(wǎng)絡(luò)帶寬。
【附圖說明】
[0009]圖1是根據(jù)實施例的TV會議系統(tǒng)的示意配置圖。
[0010]圖2是根據(jù)實施例的示出了 TV會議系統(tǒng)中的通信的概要的概念圖。
[0011 ]圖3是示出了編碼視頻圖像數(shù)據(jù)的方法的概念圖。
[0012]圖4是示意性地示出了中繼服務(wù)器傳遞視頻圖像數(shù)據(jù)和音頻數(shù)據(jù)的概念圖。
[0013]圖5是示出了終端的示范性硬件配置的框圖。
[0014]圖6是示出了中繼服務(wù)器的示范性硬件配置的框圖。
[0015]圖7是示出了終端的功能配置的示例的框圖。
[0016]圖8是示出了終端的質(zhì)量控制模塊的細(xì)節(jié)的框圖。
[0017]圖9是示出了由通知單元產(chǎn)生的具體示范性再現(xiàn)質(zhì)量信息的概念圖。
[0018]圖10是示出了在多個基座(base)處的終端之間的再現(xiàn)質(zhì)量信息的具體示范性通知的概念圖。
[0019]圖11是示出了由編碼設(shè)置控制單元對用于由編碼單元進行的編碼的設(shè)置進行的具體示范性控制的概念圖。
[0020]圖12是示出了由編碼設(shè)置控制單元進行的具體示范性處理過程的流程圖。
[0021]圖13是示出了在發(fā)送終端和接收終端之間發(fā)送/接收視頻圖像的處理的概要的序列圖。
[0022]圖14是示出了由通知單元產(chǎn)生的具體示范性再現(xiàn)質(zhì)量信息的概念圖。
[0023]圖15是示出了在多個基座(base)處的終端之間的再現(xiàn)質(zhì)量信息的具體示范性通知的概念圖。
[0024]圖16是示出了由編碼設(shè)置控制單元對用于由編碼單元進行的編碼的設(shè)置進行的具體示范性控制的概念圖。
[0025]圖17是示出了由設(shè)置控制單元對用于由編碼單元進行的編碼的設(shè)置進行的具體示范性控制的概念圖。
[0026]圖18是示出了由編碼設(shè)置控制單元進行的具體示范性處理過程的流程圖。
[0027]圖19是示出了由編碼設(shè)置控制單元對用于由編碼單元進行的編碼的設(shè)置進行的具體示范性控制的概念圖。
[0028]圖20是示出了由編碼設(shè)置控制單元對用于由編碼單元進行的編碼的設(shè)置進行的具體示范性控制的概念圖。
[0029]圖21是示出了由編碼設(shè)置控制單元進行的具體示范性處理過程的流程圖。
【具體實施方式】
[0030]參照附圖，將在下面詳細(xì)描述根據(jù)本發(fā)明的通信裝置、通信系統(tǒng)、通信控制方法以及程序的實施例。作為本發(fā)明被應(yīng)用到的示范性通信系統(tǒng)，將例示出TV會議系統(tǒng)(也被稱為“視頻會議系統(tǒng)”)，其為在多個TV會議終端(對應(yīng)于“通信裝置”)之間發(fā)送/接收視頻圖像數(shù)據(jù)和音頻數(shù)據(jù)以在多個基座處實現(xiàn)遠(yuǎn)程會議的TV會議系統(tǒng)。在TV會議系統(tǒng)中，在由TV會議終端捕獲的視頻圖像數(shù)據(jù)上進行可伸縮編碼，已編碼數(shù)據(jù)被發(fā)送到另一個TV會議終端，并且其他TV會議終端解碼已編碼數(shù)據(jù)并再現(xiàn)和輸出該數(shù)據(jù)。應(yīng)當(dāng)指出的是，本發(fā)明可以被應(yīng)用到的通信系統(tǒng)不限于該示例。本發(fā)明可以被廣泛地應(yīng)用到各種通信系統(tǒng)和各種通信終端，該通信系統(tǒng)通過可伸縮編碼在多個通信裝置之間發(fā)送/接收獲得的已編碼數(shù)據(jù)，在該通信系統(tǒng)中使用該通信終端。
[0031](第一實施例)
[0032]圖1是根據(jù)本實施例的TV會議系統(tǒng)I的示意配置圖。圖2是根據(jù)本實施例的示出了TV會議系統(tǒng)I中的通信的概要的概念圖。圖3是根據(jù)本實施例的示出了編碼視頻圖像數(shù)據(jù)的方法的概念圖。
[0033]如圖1所示，根據(jù)本實施例的TV會議系統(tǒng)I包括設(shè)置在各自的基座處的多個TV會議終端(下面簡稱為“終端”)10和多個顯示器11、多個中繼服務(wù)器30、管理服務(wù)器40、程序提供服務(wù)器50和維護服務(wù)器60。
[0034]顯示器11具有到終端10的有線連接或無線連接。顯示器11可以配置為與終端10集成。
[0035]終端10和中繼服務(wù)器30被連接到路由器作為例如局域網(wǎng)(LAN)的節(jié)點。路由器為網(wǎng)絡(luò)裝置，其選擇用于數(shù)據(jù)傳輸?shù)穆酚伞Ｔ趫D1所示的示例中，例示了LAN 2a中的路由器70a,LAN 2b中的路由器70b、LAN 2c中的路由器70c、LAN 2d中的路由器70d、通過專用線路2e連接到路由器70a和路由器70b并且連接到互聯(lián)網(wǎng)2i的路由器70e、通過專用線路2f連接到路由器70c和路由器70d并且連接到互聯(lián)網(wǎng)2i的路由器70f。
[0036]假設(shè)LAN 2a和LAN 2b被構(gòu)造在區(qū)域X中的不同位置處，并且LAN 2c和LAN 2d被構(gòu)造在區(qū)域Y中的不同位置處。例如，區(qū)域X是日本，區(qū)域Y是美國，LAN 2a被構(gòu)造在東京的辦公室中，LAN 2b被構(gòu)造在大阪的辦公室中，LAN 2c被構(gòu)造在紐約的辦公室中，LAN 2d被構(gòu)造在華盛頓的辦公室中。根據(jù)本實施例，LAN 2a,LAN 2b、專用線路2e、因特網(wǎng)21、專用線路2F、LAN 2c和LAN 2d構(gòu)成通信網(wǎng)絡(luò)2。通信網(wǎng)絡(luò)2可以包括區(qū)段(sect1n)，在該區(qū)段處不僅進行有線通信也進行根據(jù)WiFi (無線保真)或藍牙(商標(biāo))的無線通信。
[0037]在根據(jù)本實施例的TV會議系統(tǒng)I中，視頻圖像數(shù)據(jù)和音頻數(shù)據(jù)經(jīng)由中繼服務(wù)器30在多個終端10之間被發(fā)送和接收。如圖2所示，在多個終端10之間建立用于經(jīng)由管理服務(wù)器40發(fā)送/接收各種類型的管理信息的管理信息會話Sei。此外，在多個終端10之間建立用于經(jīng)由中繼服務(wù)器30發(fā)送/接收視頻圖像數(shù)據(jù)和音頻數(shù)據(jù)的數(shù)據(jù)會話Sed。特別是，經(jīng)由數(shù)據(jù)會話Sed發(fā)送和接收的視頻圖像數(shù)據(jù)是通過可伸縮編碼獲得的已編碼數(shù)據(jù)，并且，例如，分別在不同信道中發(fā)送和接收高質(zhì)量視頻圖像的已編碼數(shù)據(jù)、中間質(zhì)量視頻圖像的已編碼數(shù)據(jù)和低質(zhì)量視頻圖像的已編碼數(shù)據(jù)。因為在國際專利申請的日本國家公開N0.2012-138893中公開的技術(shù)可以用于在多個終端10之間建立管理信息會話Sei和數(shù)據(jù)會話Sed的處理，該處理的詳細(xì)描述在本文中將省略。
[0038]!1.264/3￥(:(!1.264/^￥(:附錄6)編碼格式被稱為對于視頻圖像數(shù)據(jù)的可伸縮編碼的標(biāo)準(zhǔn)編碼格式。通過H.264/SVC編碼格式，視頻圖像數(shù)據(jù)被轉(zhuǎn)換成具有分層結(jié)構(gòu)的數(shù)據(jù)，該分層結(jié)構(gòu)數(shù)據(jù)被編碼為多組質(zhì)量不同的視頻圖像數(shù)據(jù)的集合，并且可以在多個信道中發(fā)送和接收對應(yīng)于各自的組的視頻圖像數(shù)據(jù)的各組已編碼數(shù)據(jù)。根據(jù)本實施例，在多個終端10之間發(fā)送和接收通過使用264/SVC編碼格式編碼視頻圖像數(shù)據(jù)來獲得的已編碼數(shù)據(jù)。
[0039]具體地，如圖3所示，視頻圖像數(shù)據(jù)被轉(zhuǎn)換成具有基本層(baselayer)和擴展層(extens1n layer)(下層和上層)的分層結(jié)構(gòu)數(shù)據(jù)。僅包括基本層的視頻圖像數(shù)據(jù)用作低質(zhì)量視頻圖像數(shù)據(jù)，由基本層和為下層的擴展層組成的視頻圖像數(shù)據(jù)用作中間質(zhì)量視頻圖像數(shù)據(jù)，且由基本層、為下層的擴展層和為上層的擴展層組成的視頻圖像數(shù)據(jù)用作高質(zhì)量視頻圖像數(shù)據(jù)。具有各自的質(zhì)量的各組視頻圖像數(shù)據(jù)被編碼，然后在三個信道中被發(fā)送。
[0040]視頻圖像數(shù)據(jù)的質(zhì)量包括空間可伸縮性的分辨率和時間可伸縮性的幀速率。視頻圖像的分辨率是屏幕分辨率(也稱為屏幕模式)，其由垂直方向和水平方向上的像素的數(shù)量來表示。根據(jù)本實施例，分辨率和幀速率作為視頻圖像數(shù)據(jù)的質(zhì)量來處理。中間質(zhì)量視頻圖像數(shù)據(jù)的分辨率和幀速率的至少一個高于低質(zhì)量視頻圖像數(shù)據(jù)的分辨率和幀速率的至少一個。高質(zhì)量視頻圖像數(shù)據(jù)的分辨率和幀速率的至少一個高于中間質(zhì)量視頻圖像數(shù)據(jù)的分辨率和幀速率的至少一個。根據(jù)本實施例，視頻圖像數(shù)據(jù)的質(zhì)量被分為低、中、高三個階段?？商娲?，該質(zhì)量可以分為兩個階段，或者可以被精細(xì)地分為四個或更多階段。此外，根據(jù)本實施例，包含分辨率和幀速率的視頻圖像數(shù)據(jù)的質(zhì)量被處理?？商娲?，分辨率和幀速率可以被獨立地處理。此外，只有分辨率和幀速率的任何一個可以作為視頻圖像數(shù)據(jù)的質(zhì)量被處理，或涉及質(zhì)量的除了分辨率和幀速率的另一參數(shù)(例如，S/N比值)可以被加入。
[0041]中繼服務(wù)器30是在多個終端10之間傳遞(relay)視頻圖像數(shù)據(jù)和音頻數(shù)據(jù)的傳輸?shù)挠嬎銠C。如上所述，由中繼服務(wù)器30傳遞的視頻圖像數(shù)據(jù)是使用上述H.264/SVC格式的通過可伸縮編碼獲得的已編碼數(shù)據(jù)。如果常規(guī)技術(shù)應(yīng)用到中繼服務(wù)器30，中繼服務(wù)器30將從發(fā)送視頻圖像數(shù)據(jù)的終端10接收在多個信道中通過可伸縮編碼獲得的所有質(zhì)量的各組已編碼數(shù)據(jù)，并且根據(jù)接收終端10的網(wǎng)絡(luò)狀態(tài)和視頻圖像的顯示分辨率，選擇對應(yīng)于所需質(zhì)量的信道，并且僅將該信道中的已編碼數(shù)據(jù)發(fā)送到接收終端10。然而，在常規(guī)技術(shù)中，因為發(fā)送終端10發(fā)送通過可伸縮編碼獲得的所有質(zhì)量的各組已編碼數(shù)據(jù)，而不管接收終端10的狀態(tài)，所以在發(fā)送終端10和中繼服務(wù)器30之間的網(wǎng)絡(luò)帶寬比必要的使用得更多。
[0042]為此，根據(jù)本實施例，發(fā)送終端10能夠得知實際上由接收終端10再現(xiàn)和輸出的(SP，在顯示器11上顯示的)視頻圖像的質(zhì)量，并且發(fā)送終端10根據(jù)視頻圖像的質(zhì)量控制用于編碼要被發(fā)送到接收終端10的已編碼數(shù)據(jù)的設(shè)置，該視頻圖像的質(zhì)量實際上由接收終端10再現(xiàn)和輸出。因此，變?yōu)榭梢越?jīng)由中繼服務(wù)器30僅將接收終端10所需的質(zhì)量的已編碼數(shù)據(jù)從發(fā)送終端10發(fā)送到接收終端10，從而，可以有效地防止如下不便:發(fā)送終端10和中繼服務(wù)器30之間的網(wǎng)絡(luò)帶寬比必要的使用得更多。
[0043]圖4是示意性地示出了中繼服務(wù)器30傳遞視頻圖像數(shù)據(jù)和音頻數(shù)據(jù)的概念圖。圖4(a)示出了常規(guī)技術(shù)被使用的示例，并且圖4(b)示出了根據(jù)本實施例的示例。在圖4(a)和圖4(b)的示例中，視頻圖像數(shù)據(jù)和音頻數(shù)據(jù)經(jīng)由中繼服務(wù)器30從基座A處的終端10(未示出)被發(fā)送到基座B處的終端10，并且在基座B處，低質(zhì)量視頻圖像被再現(xiàn)和輸出(在顯示器11上表不)。
[0044]在常規(guī)技術(shù)中，如圖4(a)所示，用于高質(zhì)量視頻圖像、中間質(zhì)量視頻圖像和低質(zhì)量視頻圖像的三個信道中的視頻圖像的已編碼數(shù)據(jù)和聲音從用作發(fā)送終端的基座A處的終端10(未示出)被發(fā)送到中繼服務(wù)器30。中繼服務(wù)器30根據(jù)接收基座B的狀態(tài)從用于高質(zhì)量視頻圖像、中間質(zhì)量視頻圖像和低質(zhì)量視頻圖像的三個信道之間選擇用于低質(zhì)量視頻圖像的信道，并且將用于低質(zhì)量視頻圖像的信道和音頻信道中的已編碼數(shù)據(jù)發(fā)送到基座B處的終端10(未示出)。如上所述，在常規(guī)技術(shù)中，雖然在基座B處再現(xiàn)和輸出的視頻圖像是低質(zhì)量的，但是高質(zhì)量視頻圖像的數(shù)據(jù)和低質(zhì)量視頻圖像的數(shù)據(jù)從基座A發(fā)送到中繼服務(wù)器30，因此，基座A和中繼服務(wù)器30之間的網(wǎng)絡(luò)的帶寬比必要的使用得更多。
[0045]另一方面，根據(jù)本實施例，如圖4(b)所示，在用作接收終端的基座B處的終端10(未示出)通知在用作再現(xiàn)質(zhì)量信息的發(fā)送終端的基座A處的終端10，該再現(xiàn)質(zhì)量信息表示來自正被發(fā)送和輸出的基座A的視頻圖像的質(zhì)量(低質(zhì)量)?；趶幕鵅處的終端10通知的再現(xiàn)質(zhì)量信息，用作發(fā)送終端的基座A處的終端10(未示出)則改變用于視頻圖像數(shù)據(jù)的可伸縮編碼的編碼設(shè)置，使得不包含高質(zhì)量視頻圖像和中間質(zhì)量視頻圖像。結(jié)果，僅有低質(zhì)量視頻圖像信道和音頻信道中的已編碼數(shù)據(jù)從基座A處的終端10被發(fā)送到中繼服務(wù)器30，從而，可以有效地防止如下不便:基座A和中繼服務(wù)器30之間的網(wǎng)絡(luò)的帶寬比必要的使用得更多。
[0046]可以使用上述的管理信息會話Sei來進行從基座B處的終端1到基座A處的終端1的再現(xiàn)質(zhì)量信息的通知。可以經(jīng)由中繼服務(wù)器30(經(jīng)由與數(shù)據(jù)會話Sed不同的會話)完成從基座B處的終端1到基座A處的終端1的再現(xiàn)質(zhì)量信息的通知。
[0047]根據(jù)本實施例的上述特征處理可以通過例如將新的功能(諸如通知上述再現(xiàn)質(zhì)量信息的另一個終端的功能或者控制基于從另一個終端10通知的再現(xiàn)質(zhì)量信息的編碼設(shè)置的功能)加入到終端10來實現(xiàn)。包括這些功能的終端10的具體配置示例將在下面詳細(xì)描述。
[0048]管理服務(wù)器40是管理根據(jù)本實施例的整體TV會議系統(tǒng)I的計算機。例如，管理服務(wù)器40進行注冊的每個終端10的狀態(tài)的管理、中繼裝置30的狀態(tài)的管理、使用終端10的用戶的登錄的管理、在多個終端10之間建立的數(shù)據(jù)會話Sed的管理等。
[0049]此外，根據(jù)本實施例，如上所述，依賴于由接收終端10再現(xiàn)和輸出的視頻圖像是哪種質(zhì)量，發(fā)送終端10控制用于編碼視頻圖像數(shù)據(jù)的設(shè)置，以便于不發(fā)送比所需更高的質(zhì)量的視頻圖像數(shù)據(jù)。為此，發(fā)送終端10不能再現(xiàn)和輸出質(zhì)量上超過發(fā)送終端10編碼的視頻圖像數(shù)據(jù)的質(zhì)量的視頻圖像數(shù)據(jù);然而，當(dāng)發(fā)送終端10的網(wǎng)絡(luò)狀態(tài)改善時或當(dāng)顯示布局改變時，可以優(yōu)選地再現(xiàn)和輸出質(zhì)量上高于當(dāng)前正在輸出和再現(xiàn)的視頻圖像數(shù)據(jù)的質(zhì)量的視頻圖像數(shù)據(jù)。在這種情況下，優(yōu)選的是，管理服務(wù)器40使用上述管理信息會話Sei從接收終端10接受用于改善視頻圖像數(shù)據(jù)的質(zhì)量的請求，并通知請求的發(fā)送終端10，且根據(jù)來自接收終端10的請求，發(fā)送終端10改變編碼設(shè)置，以便于編碼具有更高質(zhì)量的視頻圖像數(shù)據(jù)。
[0050]程序供應(yīng)服務(wù)器50是將各種程序提供到終端10、中繼服務(wù)器30、管理服務(wù)器40和維護服務(wù)器60的計算機。例如，程序供應(yīng)服務(wù)器50存儲用于實現(xiàn)終端10中的各種功能的終端程序，并且能夠?qū)⒔K端程序發(fā)送到終端10。程序供應(yīng)服務(wù)器50存儲用于實現(xiàn)中繼服務(wù)器30中的各種功能的中繼服務(wù)器程序，并且能夠?qū)⒅欣^服務(wù)器程序發(fā)送到中繼服務(wù)器30。程序供應(yīng)服務(wù)器50還存儲用于實現(xiàn)管理服務(wù)器40中的各種功能的管理服務(wù)器程序，并且能夠?qū)⒐芾矸?wù)器程序發(fā)送到管理服務(wù)器40。程序供應(yīng)服務(wù)器50還存儲用于實現(xiàn)維護服務(wù)器60中的各種功能的維護服務(wù)器程序，并且能夠?qū)⒕S護服務(wù)器程序發(fā)送到維護服務(wù)器60。
[0051 ] 維護服務(wù)器60是進行終端10、中繼服務(wù)器30、管理服務(wù)器40和程序供應(yīng)服務(wù)器50的維護、管理和保護的計算機。例如，當(dāng)維護服務(wù)器60是國產(chǎn)設(shè)置并且終端10、中繼服務(wù)器30、管理服務(wù)器40、或程序供應(yīng)服務(wù)器60是國外設(shè)置時，維護服務(wù)器60遠(yuǎn)程地進行維護，諸如經(jīng)由通信網(wǎng)絡(luò)2維護、管理和保護終端10、中繼服務(wù)器30、管理服務(wù)器40、程序供應(yīng)服務(wù)器50中的至少一個。
[0052]將描述根據(jù)本實施例的TV會議系統(tǒng)I的終端10、中繼服務(wù)器30、管理服務(wù)器40和程序供應(yīng)服務(wù)器50的硬件配置。圖5示出了終端10的示范性硬件配置，圖6示出了中繼服務(wù)器
30的示范性硬件配置。因為管理服務(wù)器40、程序供應(yīng)服務(wù)器50和維護服務(wù)器60可以采用與中繼服務(wù)器30相同的硬件配置，圖示被省略。
[0053]如圖5所示，終端10包括CPU(中央處理單元)101，其控制終端10的整體操作；ROM(只讀存儲器)102，其存儲用于驅(qū)動CPU 101的程序，諸如IPL(初始程序加載程序)；RAM(隨機存取存儲器)103，用作CPU 101的工作區(qū)域；閃存104，其用于存儲各種類型的數(shù)據(jù)，諸如終端程序、圖像數(shù)據(jù)和音頻數(shù)據(jù);SSD(固態(tài)驅(qū)動器)105，其根據(jù)CPU 101的控制來控制從閃存104讀取各種類型的數(shù)據(jù)或?qū)⒏鞣N類型的數(shù)據(jù)寫入到閃存104;媒體驅(qū)動器107，其控制從記錄介質(zhì)106(諸如閃存)讀取數(shù)據(jù)(的存儲)或?qū)?shù)據(jù)(的存儲)寫入到記錄介質(zhì)106;操作按鈕108，其被操作例如以選擇要進行通信的另一個終端10;電源開關(guān)109，用于接通/關(guān)斷終端10;以及網(wǎng)絡(luò)I/F(接口)111，用于使用通信網(wǎng)絡(luò)2發(fā)送數(shù)據(jù)。
[0054]終端10還包括內(nèi)置照相機112，其根據(jù)CPU101的控制捕捉對象的圖像，以獲取圖像數(shù)據(jù);成像裝置I/F 113，其控制照相機112的驅(qū)動;輸入聲音的內(nèi)置麥克風(fēng)114;輸出聲音的內(nèi)置揚聲器115;音頻輸入/輸出I/F 116，其根據(jù)CPU 101的控制處理麥克風(fēng)114和揚聲器115之間的音頻信號的輸入和輸出；顯示器I/F 117，其根據(jù)CPU 101的控制將顯示圖像的數(shù)據(jù)發(fā)送到顯示器11;外部裝置連接I/F 118，用于連接各種外部裝置;報警燈119，其提醒關(guān)于終端10的各種功能的異常；以及總線110，諸如地址總線和數(shù)據(jù)總線，用于電連接上述組件。
[0055]照相機112、麥克風(fēng)114和揚聲器115不一定內(nèi)置于終端10中，并且可以被配置為外部組件。顯示器11可以配置為內(nèi)置于終端10中。假設(shè)顯示器11是顯示裝置，諸如液晶面板?？商娲?，顯示器11可以是投影裝置，諸如投影儀。在圖5中所示的終端10的硬件配置僅為示例，并且除了上述的硬件以外的硬件可以被加入。
[0056]從程序供應(yīng)服務(wù)器50提供的終端程序被存儲在例如閃存104中，并且根據(jù)CPU101的控制被加載到RAM 103并被執(zhí)行。如果用于存儲終端程序的存儲器是非易失性存儲器，這個足夠的，并且可以使用EEPROM(電可擦除可編程ROM)等替代閃存104?？梢酝ㄟ^以記錄介質(zhì)(諸如計算機可讀記錄介質(zhì)106)中的可安裝形式或可執(zhí)行形式來記錄文件中的終端程序來提供終端程序。終端程序可以被提供為先前存儲在例如ROM 102中的內(nèi)置程序。
[0057]如圖6所示，中繼服務(wù)器30包括CPU 201，其控制中繼服務(wù)器30的整體操作；ROM202，其存儲用于驅(qū)動的CPU 201的程序，諸如IPL;RAM 203，其用作CPU 201的工作區(qū)域;HD(硬盤)204，其存儲各種類型的數(shù)據(jù)，諸如中繼服務(wù)器程序;HDD(HD驅(qū)動器)205，其根據(jù)CPU201的控制來控制從HD 204讀取各種類型的數(shù)據(jù)或?qū)⒏鞣N類型的數(shù)據(jù)寫入到HD 204;介質(zhì)驅(qū)動器207，其控制從記錄介質(zhì)206(諸如閃存)讀取數(shù)據(jù)(的存儲)或?qū)?shù)據(jù)(的存儲)寫入到記錄介質(zhì)206;顯示器208，其顯示各種類型的信息；網(wǎng)絡(luò)I/F 209，用于使用通信網(wǎng)絡(luò)2發(fā)送數(shù)據(jù);鍵盤211 ；鼠標(biāo)212;⑶-ROM驅(qū)動器214，其控制從用作示范性可拆卸記錄介質(zhì)的⑶-ROM(光盤只讀存儲器)213讀取各種類型的數(shù)據(jù)或在CD-ROM 213中寫入各種類型的數(shù)據(jù)；以及總線210，諸如地址總線和數(shù)據(jù)總線，用于電連接上述組件。
[0058]從上述程序供應(yīng)服務(wù)器50提供的中繼服務(wù)器程序被存儲在例如HD204中，并且根據(jù)CPU 201的控制被加載到RAM 203并被執(zhí)行?？梢酝ㄟ^以計算機可讀記錄介質(zhì)(諸如記錄介質(zhì)206或CD-ROM 213)中的可安裝形式或可執(zhí)行形式來記錄文件中的終端程序來提供中繼服務(wù)器程序。中繼服務(wù)器程序可以被提供為先前存儲在例如ROM 102中的內(nèi)置程序。
[0059]管理服務(wù)器40可以采用與圖6所示的中繼服務(wù)器30相同的硬件配置。應(yīng)當(dāng)指出的是，HD 204記錄從程序供應(yīng)服務(wù)器50提供的管理服務(wù)器程序。另外，在這種情況下，可以通過以計算機可讀記錄介質(zhì)(諸如記錄介質(zhì)206或CD-ROM 213)中的可安裝形式或可執(zhí)行形式來記錄文件中的管理服務(wù)器程序來提供管理服務(wù)器程序。管理服務(wù)器程序可以被提供為先前存儲在例如ROM 202中的內(nèi)置程序。
[0060]程序供應(yīng)服務(wù)器50可以采用與圖6所示的中繼服務(wù)器30相同的硬件配置。應(yīng)當(dāng)指出的是，除了用于實現(xiàn)程序供應(yīng)服務(wù)器50中的程序供應(yīng)功能的程序，要被提供到終端10的終端程序、要被提供到中繼服務(wù)器30的中繼服務(wù)器程序和要被提供到管理服務(wù)器40的管理服務(wù)器程序被記錄在HD 204中。
[0061]維護服務(wù)器60可以采用與圖6所示的中繼服務(wù)器30相同的硬件配置。應(yīng)當(dāng)指出的是，從程序供應(yīng)服務(wù)器50提供的維護服務(wù)器程序被記錄在HD 204中。另外，在這種情況下，可以通過以計算機可讀記錄介質(zhì)(諸如記錄介質(zhì)206或⑶-ROM 213)中的可安裝形式或可執(zhí)行形式來記錄文件中的維護服務(wù)器程序來提供維護服務(wù)器程序。維護服務(wù)器程序可以被提供為先前存儲在例如ROM 202中的內(nèi)置程序。
[0062]作為另一示范性可拆卸記錄介質(zhì)，有計算機可讀記錄介質(zhì)，諸如⑶-R(可記錄光盤)、DVD(數(shù)字通用光盤)，和藍光光盤。上述各種程序可以被記錄在記錄介質(zhì)中并被提供。
[0063]將描述終端10的功能結(jié)構(gòu)。圖7是終端10的示范性功能配置的框圖，圖8是示出了終端10的質(zhì)量控制模塊25的細(xì)節(jié)的框圖。如圖7所示，終端10包括發(fā)送和接收單元12、操作輸入接受單元13、成像單元14、音頻輸入單元15、音頻輸出單元16、編碼單元17、解碼單元
18、顯示視頻圖像產(chǎn)生單元19、顯示控制單元20、存儲/讀取處理單元21、易失性存儲單元22、非易失性存儲單元23和質(zhì)量控制模塊25。
[0064]發(fā)送和接收單元12經(jīng)由通信網(wǎng)絡(luò)2向/從另一個終端10、中繼服務(wù)器30、管理服務(wù)器40等發(fā)送/接收各種類型的數(shù)據(jù)(或信息)。發(fā)送和接收單元12通過例如圖5所示的網(wǎng)絡(luò)I/F 111和CPU 101來實現(xiàn)。
[0065]操作輸入接受單元13接受由使用終端10的用戶進行的各種輸入操作。操作輸入接受單元13通過例如操作按鈕108、電源開關(guān)109和CPU 101來實現(xiàn)。
[0066]成像單元14捕獲基座的視頻圖像，其中，終端10被設(shè)置在該基座處，并且成像單元14輸出視頻圖像數(shù)據(jù)。成像單元14通過例如照相機112、成像裝置I /F 113和CPU 1I來實現(xiàn)。
[0067]音頻輸入單元15在基座處輸入聲音，其中，終端10被設(shè)置在該基座處，并且音頻輸入單元15輸出音頻數(shù)據(jù)。音頻輸入單元15通過例如圖5所示的麥克風(fēng)114、音頻輸入/輸出I /F 116和CPU 101來實現(xiàn)。
[0068]音頻輸出單元16再現(xiàn)和輸出的音頻數(shù)據(jù)。音頻輸出單元16通過例如圖5所示的揚聲器115、音頻輸入/輸出I/F 116和CPU 101來實現(xiàn)。
[0069]編碼單元17編碼從成像單元14輸出的視頻圖像數(shù)據(jù)和從音頻輸入單元輸出的音頻數(shù)據(jù)以產(chǎn)生已編碼數(shù)據(jù)。特別是相對于視頻圖像數(shù)據(jù)的編碼，編碼單元根據(jù)H.264/SVC編碼格式進行視頻圖像數(shù)據(jù)的可伸縮編碼。編碼單元17配置為根據(jù)來自質(zhì)量控制模塊25的設(shè)置信號，能夠改變將在下面描述的用于視頻圖像數(shù)據(jù)的可伸縮編碼的設(shè)置(例如，用于要被編碼的數(shù)據(jù)的層結(jié)構(gòu)的設(shè)置)。編碼單元17例如通過執(zhí)行上述終端程序中包含的編碼/解碼程序(視頻圖像/音頻解碼器)的圖5所示的CPU 101來實現(xiàn)。
[0070]解碼單元18解碼從另一個終端10經(jīng)由中繼服務(wù)器30發(fā)送的已編碼數(shù)據(jù)并輸出編碼前的視頻圖像數(shù)據(jù)或音頻數(shù)據(jù)。解碼單元18例如通過執(zhí)行上述終端程序中包含的編碼/解碼程序(視頻圖像/音頻解碼器)的CPU 101來實現(xiàn)。
[0071]顯示視頻圖像產(chǎn)生單元19使用由解碼單元18解碼的視頻圖像數(shù)據(jù)，以產(chǎn)生要被顯示(再現(xiàn)和輸出)在顯示器11上的顯示視頻圖像。例如，當(dāng)由解碼單元18解碼的視頻圖像數(shù)據(jù)包含從多個基座處的多個終端10發(fā)送的各組視頻圖像數(shù)據(jù)時，顯示視頻圖像產(chǎn)生單元19根據(jù)預(yù)定的布局設(shè)置或由用于指定的布局設(shè)置產(chǎn)生包含屏幕中的各組視頻圖像數(shù)據(jù)的每個的顯示視頻圖像。顯示視頻圖像產(chǎn)生單元19還具有將關(guān)于產(chǎn)生的顯示視頻圖像的布局的信息傳遞到質(zhì)量控制模塊25的功能，具體地，該關(guān)于產(chǎn)生的顯示視頻圖像的布局的信息表示視頻圖像來自哪個基座、以及在顯示視頻圖像中包含的視頻圖像為多大和多少幀速率的信息。顯示視頻圖像產(chǎn)生單元19例如通過執(zhí)行上述終端程序中包含的顯示視頻圖像產(chǎn)生程序的圖5所示的CPU 101來實現(xiàn)。
[0072]顯示控制單元20進行用于在顯示器11上顯示(再現(xiàn)和輸出)顯示視頻圖像的控制，該顯示視頻圖像由顯示視頻圖像產(chǎn)生單元19產(chǎn)生。顯示控制單元20通過例如圖5所示的顯示器I/F 117和CPU 101來實現(xiàn)。
[0073]存儲/讀取處理單元21進行在/從易失性存儲單元22或非易失性存儲單元23存儲/讀取各種類型的數(shù)據(jù)的處理。存儲/讀取處理單元21通過例如圖5所示的SSD 105和CPU 101來實現(xiàn)。易失性存儲單元22通過例如圖5所示的RAM 103來實現(xiàn)。非易失性存儲單元23通過例如圖5所示的閃存104來實現(xiàn)。
[0074]質(zhì)量控制模塊25是根據(jù)本實施例對終端10進行特征處理的模塊。質(zhì)量控制模塊25例如通過執(zhí)行上述終端程序中包含的質(zhì)量控制程序的圖5所示的CPU 101來實現(xiàn)。如圖8所示，質(zhì)量控制模塊25包括通知單元26和編碼設(shè)置控制單元27。
[0075]基于從顯示視頻圖像產(chǎn)生單元19傳遞的布局信息，通知單元26產(chǎn)生表示來自另一個基座的視頻圖像的質(zhì)量的再現(xiàn)質(zhì)量信息，該再現(xiàn)質(zhì)量信息由顯示器11顯示為顯示視頻圖像。然后通知單元26經(jīng)由發(fā)送和接收單元12通知另一個終端10，具有產(chǎn)生的再現(xiàn)質(zhì)量信息的視頻圖像從該另一個終端10發(fā)送。
[0076]圖9是通知單元產(chǎn)生的具體示范性再現(xiàn)質(zhì)量信息的概念圖。圖9表示視頻圖像在三個基座處的終端10之間發(fā)送和接收的情況下、由基座C處的終端10生成的具體示范性質(zhì)量信息，該三個基座為基座A、基座B和基座C。
[0077]在圖9(a)的示例中，基座C處的顯示器11上顯示的顯示視頻圖像僅包含來自基座A的視頻圖像，并且來自基座A的視頻圖像以640 X 360的分辨率(水平像素的數(shù)量X垂直像素的數(shù)量)和30fps的幀速率顯示。在這種情況下，基座C處的終端10的通知單元26產(chǎn)生包含以下項目的再現(xiàn)質(zhì)量信息，該項目諸如發(fā)送源:基座A，顯示類型:視頻圖像，分辨率:640 X360，和幀速率:30fps。
[0078]在圖9(b)的示例中，基座C處的顯示器11上顯示的顯示視頻圖像包含來自基座A的視頻圖像和來自基座B的視頻圖像，來自基座A的視頻圖像以320 X 180的分辨率和30f ps的幀速率顯示，并且來自基座B的視頻圖像以320 X 180的分辨率和15fps的幀速率顯示。在這種情況下，基座C處的終端10的通知單元26產(chǎn)生包含以下項目的再現(xiàn)質(zhì)量信息，該項目諸如發(fā)送源:基座A，顯示類型:視頻圖像，分辨率= 320X180，和幀速率:30fps，以及包含以下項目的再現(xiàn)質(zhì)量信息，該項目諸如發(fā)送源:基座B，顯示類型:視頻圖像，分辨率:320 X 180，和幀速率:15fps。
[0079]在圖9(c)的示例中，基座C處的顯示器11上顯示的顯示視頻圖像包含來自基座A的視頻圖像、來自基座B的視頻圖像、和與基座B共享的數(shù)據(jù)，來自基座A的視頻圖像以320 X180的分辨率和15fps的幀速率被顯示，來自基座B的視頻圖像以320 X 180的分辨率和15fps的幀速率被顯示，并且與基座B共享的數(shù)據(jù)以640 X 360的分辨率和5fps的幀速率被顯示。在這種情況下，基座C處的終端10的通知單元26產(chǎn)生包含以下項目的再現(xiàn)質(zhì)量信息，該項目諸如發(fā)送源:基座A，顯示類型:視頻圖像，分辨率:320 X 180，和幀速率:15fps，以及包含以下項目的再現(xiàn)質(zhì)量信息，該項目諸如發(fā)送源:基座B，顯示類型:視頻圖像，分辨率= 320X180，和幀速率:15fps，以及包含以下項目的再現(xiàn)質(zhì)量信息，該項目諸如發(fā)送源:基座B，顯示類型:數(shù)據(jù)，分辨率:640 X 360，和幀速率:5fps。對于與基座B共享的數(shù)據(jù)，例如，假設(shè)從諸如PC(個人計算機)的外部裝置輸入的數(shù)據(jù)，該外部裝置被連接到基極B處的終端10。在根據(jù)本實施例的TV會議系統(tǒng)I中，從外部裝置輸入到終端10的數(shù)據(jù)以與視頻圖像數(shù)據(jù)被處理的相同的方式被處理。
[0080]終端10的通知單元26可以產(chǎn)生通用形式(諸如XML(可擴展標(biāo)記語言)形式)或由終端10可解釋的獨特形式的上述的再現(xiàn)質(zhì)量信息。
[0081]圖10是示出了在多個基座處的終端10之間的再現(xiàn)質(zhì)量信息的具體示范性通知的概念圖。圖10示出了在三個基座處的終端之間發(fā)送和接收視頻圖像的情況下、由每個基座處的終端通知到其他基座處的再現(xiàn)質(zhì)量信息，該三個基座為基座A、基座B和基座C。
[0082]在圖10的示例中，基座A處的顯示器11上顯示的顯示視頻圖像包含來自基座B的視頻圖像和來自基座C的視頻圖像，來自基座B的視頻圖像以320 X 180的分辨率和30fps的幀速率被顯示，并且來自基座C的視頻圖像以320 X 180的分辨率和15fps的幀速率被顯示。在這種情況下，基座A處的終端10的通知單元26產(chǎn)生包含以下項目的再現(xiàn)質(zhì)量信息，該項目諸如發(fā)送源:基座B，顯示類型:視頻圖像，分辨率:320 X 180，和幀速率:30fps，并且通知再現(xiàn)質(zhì)量信息的基座B處的終端10。此外，基座A處的終端10的通知單元26產(chǎn)生包含以下項目的再現(xiàn)質(zhì)量信息，該項目諸如發(fā)送源:基座C，顯示類型:視頻圖像，分辨率:320 X 180，和幀速率:15fps，并且通知再現(xiàn)質(zhì)量信息的基座C處的終端10。
[0083]此外，在圖10的示例中，基座B處的顯示器11上顯示的顯示視頻圖像僅包含來自基座A的視頻圖像，并且來自基座A的視頻圖像以640 X 360的分辨率和30f ps的幀速率被顯示。在這種情況下，基座B處的終端10的通知單元26產(chǎn)生包含以下項目的再現(xiàn)質(zhì)量信息，該項目諸如發(fā)送源:基座A，顯示類型:視頻圖像，分辨率:640 X 360，和幀速率:30fps，并且通知再現(xiàn)質(zhì)量信息的基座A處的終端10。
[0084]此外，在圖10所示的示例中，基座C處的顯示器11上顯示的顯示視頻圖像包含來自基座A的視頻圖像、來自基座B的視頻圖像和與基座B共享的數(shù)據(jù)，來自基座A的視頻圖像以320 X 180的分辨率和15fps的幀速率被顯示，來自基座B的視頻圖像以320 X 180的分辨率和15fps的幀速率被顯示，并且與基座B共享的數(shù)據(jù)以640 X 360的分辨率和5fps的幀速率被顯示。在這種情況下，基座C處的終端10的通知單元26產(chǎn)生包含以下項目的再現(xiàn)質(zhì)量信息，該項目諸如發(fā)送源:基座A，顯示類型:視頻圖像，分辨率= 320X180，和幀速率:15fps，并且通知再現(xiàn)質(zhì)量信息的基座A處的終端10。此外，基座C處的終端10的通知單元26產(chǎn)生包含以下項目的再現(xiàn)質(zhì)量信息，該項目諸如發(fā)送源:基座B，顯示類型:視頻圖像，分辨率= 320X180，和幀速率:15fps，以及包含以下項目的再現(xiàn)質(zhì)量信息，該項目諸如發(fā)送源:基座B，顯示類型:數(shù)據(jù)，分辨率:640 X 360，和幀速率:5fps，并且通知這些組的再現(xiàn)質(zhì)量信息的基座B處的終端10。
[0085]這允許每個基座處的終端10知道被發(fā)送到另一個基座處的終端的哪種質(zhì)量的視頻圖像在另一個基座處再現(xiàn)和輸出?？梢允褂脠D2所示的管理信息會話Sei或可以經(jīng)由中繼服務(wù)器30(經(jīng)由與數(shù)據(jù)會話Sed不同的會話)完成再現(xiàn)質(zhì)量信息的通知。
[0086]編碼設(shè)置控制單元27基于從另一個基座處的終端10通知的再現(xiàn)質(zhì)量信息來控制由編碼單元17進行編碼的設(shè)置。例如，當(dāng)從另一個基座處的終端10通知的再現(xiàn)質(zhì)量信息表示的質(zhì)量(即，來自另一個基座處顯示的自己的基座的視頻圖像的質(zhì)量)低于經(jīng)由中繼服務(wù)器30發(fā)送到另一個基座處的終端10的已編碼數(shù)據(jù)的質(zhì)量(S卩，根據(jù)用于由編碼單元17進行的編碼的當(dāng)前設(shè)置所產(chǎn)生的已編碼數(shù)據(jù)的最大質(zhì)量)時，編碼設(shè)置控制單元27改變用于由編碼單元17進行的編碼的設(shè)置(例如，用于層結(jié)構(gòu)的設(shè)置)，使得不包含超過從另一個基座處的終端通知的再現(xiàn)質(zhì)量信息所表示的質(zhì)量的質(zhì)量。在存在視頻圖像正被發(fā)送到的多個其他基座、且共同已編碼數(shù)據(jù)被發(fā)送到各自的多個基座處的終端10的情況下，當(dāng)從各自基座處的終端10通知的多組再現(xiàn)質(zhì)量信息所表示的質(zhì)量之中的最高質(zhì)量低于經(jīng)由中繼服務(wù)器30被發(fā)送到各自基座處的終端10的共同已編碼數(shù)據(jù)的質(zhì)量時，編碼設(shè)置控制單元27改變用于由編碼單元17進行的編碼的設(shè)置，使得不包含超過多組再現(xiàn)質(zhì)量信息所表示的質(zhì)量之中的最高質(zhì)量的質(zhì)量。
[0087]圖11是示出了由編碼設(shè)置控制單元27對用于由編碼單元17進行的編碼的設(shè)置進行的具體示范性控制的概念圖。圖11示出了:在基座A、基座B和基座C這三個基座處的終端10之間發(fā)送和接收視頻圖像的情況下，基于基座B處的終端10通知的再現(xiàn)質(zhì)量信息和基座C處的終端10通知的再現(xiàn)質(zhì)量信息，在基座A處的終端的編碼設(shè)置控制單元27如何控制用于編碼單元17進行的編碼的設(shè)置。
[0088]在圖11的示例中，基座A處的終端10的編碼單元17具有用于編碼視頻圖像的設(shè)置，使得包含320 X 180的分辨率和30fps的幀速率的低質(zhì)量視頻圖像、640 X 360的分辨率和30fps的幀速率的中間質(zhì)量視頻圖像和1280 X 720的分辨率和30fps的幀速率的高質(zhì)量視頻圖像。在基座A處的終端10，具有該設(shè)置的編碼單元17對視頻圖像數(shù)據(jù)進行可伸縮編碼，并且已編碼數(shù)據(jù)從發(fā)送和接收單元12發(fā)送到中繼服務(wù)器30。
[0089]然后，包含以下項目的再現(xiàn)質(zhì)量信息從基座B處的終端10被通知到基座A處的終端
10,該項目為分辨率:640 X 360，和幀速率:30fps，并且包含以下項目的再現(xiàn)質(zhì)量信息從基座C處的終端10被通知到基座A處的終端10，該項目為分辨率:320 X 180，和幀速率:15fps?；鵄處的終端10的編碼設(shè)置控制單元27獲取從基座B處的終端10通知的再現(xiàn)質(zhì)量信息和從基座C處的終端10通知的再現(xiàn)質(zhì)量信息，從這些組的再現(xiàn)質(zhì)量信息，確定沒有其中顯示1280 X 720的分辨率和30fps的幀速率的高質(zhì)量視頻圖像的任何基座?；鵄處的終端10的編碼設(shè)置控制單元27改變例如在由編碼單元17進行的編碼中的用于層結(jié)構(gòu)的設(shè)置，使得不包含對應(yīng)于1280 X 720的分辨率和30fps的幀速率的高質(zhì)量視頻圖像的層。
[0090]因此，僅包含低質(zhì)量視頻圖像和中間質(zhì)量視頻圖像的已編碼數(shù)據(jù)此后從基座A處的終端10發(fā)送到中繼服務(wù)器30，這使得可以被有效防止如下不便:基座A和中繼服務(wù)器30之間的網(wǎng)絡(luò)的帶寬比必要的使用得更多。在圖11的示例中，改變由編碼單元17進行的編碼中的用于層結(jié)構(gòu)的設(shè)置，使得不包含對應(yīng)于高質(zhì)量視頻圖像的層?？商娲兀梢愿淖冇糜诰幋a的設(shè)置，以便于減少對應(yīng)于高質(zhì)量視頻圖像的層的分辨率和幀速率?？商娲?，可以改變用于編碼的設(shè)置，以將對應(yīng)于高質(zhì)量視頻圖像的層與較低層集成。
[0091 ]圖12是示出了由編碼設(shè)置控制單元27進行的處理過程的具體示例的流程圖。圖12的流程圖所表示的處理一旦開始，首先，在步驟SlOl中，編碼設(shè)置控制單元27從所有其他基座獲取再現(xiàn)質(zhì)量信息，在這些其他基座處正在顯示其自己的基座的視頻圖像。在步驟S102中，然后，編碼設(shè)置控制單元27從步驟SlOl獲取的再現(xiàn)質(zhì)量信息檢測自己的基座的視頻圖像的最大分辨率和最大幀速率，該視頻圖像正在哪些其他基座處顯示。
[0092]在步驟S103中，編碼設(shè)置控制單元27確定超過步驟S102中檢測到的最大分辨率的視頻圖像的已編碼數(shù)據(jù)是否被發(fā)送到中繼服務(wù)器30。例如，編碼設(shè)置控制單元27通過檢查用于對視頻圖像數(shù)據(jù)進行可伸縮編碼的編碼單元17的層結(jié)構(gòu)的當(dāng)前設(shè)置是否是其中包含超過在步驟S102中檢測到的最大分辨率的視頻圖像的層的設(shè)置，來做出該確定。當(dāng)超過最大分辨率的視頻圖像的已編碼數(shù)據(jù)正被發(fā)送到中繼服務(wù)器30時(步驟S103中的是)，編碼設(shè)置控制單元27移動到步驟S104，當(dāng)沒有超過最大分辨率的視頻圖像的已編碼數(shù)據(jù)正被發(fā)送到中繼服務(wù)器30時(步驟S103中的否)，編碼設(shè)置控制單元27移動到步驟S106。
[0093]在步驟S104中，編碼設(shè)置控制單元27確定是否可以刪除對應(yīng)于超過步驟S102中檢測到的最大分辨率的視頻圖像的層。當(dāng)可以刪除對應(yīng)于超過最大分辨率的視頻圖像的層時(步驟S104中的是)，編碼設(shè)置控制單元27移動到步驟S105。當(dāng)不可以刪除對應(yīng)于超過最大分辨率的視頻圖像的層時(步驟S104中的否)，編碼設(shè)置控制單元27移動到步驟S106?？梢詣h除對應(yīng)于超過最大分辨率的視頻圖像的層的情況為:例如，對應(yīng)于超過最大分辨率的視頻圖像的層是包含等于或小于最大分辨率(即，正在另一個基座處顯示的自己的基座的視頻圖像的分辨率)的分辨率的層的情況。
[0094]在步驟S105中，編碼設(shè)置控制單元27改變用于編碼單元17的層結(jié)構(gòu)的設(shè)置，使得不包含超過在步驟S102中檢測到的最大分辨率的層，然后移動到步驟S106。
[0095]在步驟S106中，編碼設(shè)置控制單元27確定超過步驟S102中檢測到的最大幀速率的視頻圖像的已編碼數(shù)據(jù)是否被發(fā)送到中繼服務(wù)器30。例如，編碼設(shè)置控制單元27通過檢查用于對視頻圖像數(shù)據(jù)進行可伸縮編碼的編碼單元17的層結(jié)構(gòu)的當(dāng)前設(shè)置是否是其中包含超過在步驟S102中檢測到的最大幀速率的視頻圖像的層的設(shè)置，來做出該確定。當(dāng)超過最大幀速率的視頻圖像的已編碼數(shù)據(jù)正被發(fā)送到中繼服務(wù)器30時(步驟S106中的是)，編碼設(shè)置控制單元27移動到步驟S107。當(dāng)沒有超過最大幀速率的視頻圖像的已編碼數(shù)據(jù)正被發(fā)送到中繼服務(wù)器30時(步驟S106中的否)，編碼設(shè)置控制單元27結(jié)束圖12的流程圖中表示的處理。
[0096]在步驟S107中，編碼設(shè)置控制單元27改變用于編碼單元17的層結(jié)構(gòu)的設(shè)置，使得不包含超過在步驟S102中檢測到的最大幀速率的層，然后結(jié)束圖12的流程圖中表示的處理。
[0097]圖13是示出了從發(fā)送終端發(fā)送視頻圖像10到接收終端10的處理的概要的序列圖。圖13示出了以下示例，因為在接收終端10上顯示的視頻圖像為中間質(zhì)量同時發(fā)送終端10發(fā)送低質(zhì)量視頻圖像、中間質(zhì)量視頻圖像和高質(zhì)量視頻圖像，改變用于編碼的設(shè)置，使得不發(fā)送高質(zhì)量視頻圖像。
[0098]首先，低質(zhì)量視頻圖像、中間質(zhì)量視頻圖像和高質(zhì)量視頻圖像的已編碼數(shù)據(jù)經(jīng)由中繼服務(wù)器30從發(fā)送終端10發(fā)送到接收終端10 (步驟S201) ο在發(fā)送終端10中，解碼單元18解碼已接收的已解碼數(shù)據(jù)，并且顯示視頻圖像產(chǎn)生單元19產(chǎn)生要在顯示器11上顯示的顯示圖像(步驟S202)。顯示視頻圖像產(chǎn)生單元19將產(chǎn)生的顯示視頻圖像上的布局信息傳遞到通知單元26。
[0099]基于從顯示視頻圖像產(chǎn)生單元19傳遞的布局信息，接收終端10的通知單元26產(chǎn)生再現(xiàn)質(zhì)量信息(步驟S203)，并且通知產(chǎn)生的再現(xiàn)質(zhì)量信息的發(fā)送終端10(步驟204)。在該示例中，通知到發(fā)送終端10的再現(xiàn)質(zhì)量信息表示正在由顯示器11上的接收終端10顯示的視頻圖像的質(zhì)量為中間質(zhì)量。
[0100]在發(fā)送終端10中，當(dāng)通過接收終端10將再現(xiàn)質(zhì)量信息通知發(fā)送終端10，編碼設(shè)置控制單元27基于再現(xiàn)質(zhì)量信息確定是否可以改變用于由編碼單元17進行的編碼的設(shè)置(步驟S205)。在該示例中，因為不會將高質(zhì)量視頻圖像發(fā)送到接收終端10，編碼設(shè)置控制單元27確定可以改變由編碼單元17進行的編碼的設(shè)置。然后，編碼設(shè)置控制單元27改變用于由編碼單元17進行的編碼的層結(jié)構(gòu)的設(shè)置，使得不包含對應(yīng)于高質(zhì)量視頻圖像的層(步驟S206)o
[0101]然后，通過由編碼單元17進行的編碼獲得的低質(zhì)量視頻圖像和中間質(zhì)量視頻圖像的已編碼數(shù)據(jù)從發(fā)送終端10經(jīng)由中繼服務(wù)器30被發(fā)送到接收終端10(步驟S207)，該由編碼單元17進行的編碼的設(shè)置被改變。由此，可以有效地防止如下不便:發(fā)送終端10和中繼服務(wù)器30之間的網(wǎng)絡(luò)的帶寬比必要的使用得更多。
[0102]如上通過給出具體的示例詳細(xì)所述的，在根據(jù)本實施例的TV會議系統(tǒng)I中，接收終端10通知發(fā)送終端10，再現(xiàn)質(zhì)量信息的視頻圖像從發(fā)送終端10被發(fā)送，該再現(xiàn)質(zhì)量信息表示實際上正在被再現(xiàn)和輸出的視頻圖像的質(zhì)量?；趶慕邮战K端10通知到發(fā)送終端10的再現(xiàn)質(zhì)量信息，發(fā)送終端10控制用于編碼要被發(fā)送到接收終端10的視頻圖像的設(shè)置。因此，發(fā)送終端10能夠僅編碼接收終端10所需要的質(zhì)量的視頻圖像，并且將視頻圖像發(fā)送到中繼服務(wù)器30，有效地防止如下不便:發(fā)送終端10和中繼服務(wù)器30之間的網(wǎng)絡(luò)帶寬比必要的使用得更多。
[0103]第二實施例
[0104]將在這里描述第二實施例。在本實施例中，終端10的通知單元26產(chǎn)生再現(xiàn)質(zhì)量信息，該再現(xiàn)質(zhì)量信息包含顯示視頻圖像的壓縮比，并且通知另一個終端10，再現(xiàn)質(zhì)量信息的視頻圖像從該終端10被發(fā)送。根據(jù)本實施例，當(dāng)使用由解碼單元18解碼的視頻圖像數(shù)據(jù)產(chǎn)生要在顯示器11上顯示的顯示圖像時，除了來自每個基座的視頻圖像的大小(分辨率)和幀速率，顯示視頻圖像產(chǎn)生單元19產(chǎn)生包含壓縮比的信息作為產(chǎn)生的顯示圖像的布局上的信息，并且將信息傳遞到質(zhì)量控制模塊25。基于從顯示視頻圖像產(chǎn)生單元19傳遞的布局信息，除了分辨率和幀速率，質(zhì)量控制模塊25的通知單元26產(chǎn)生包含壓縮比的再現(xiàn)質(zhì)量信息作為表示來自另一個基座的視頻圖像的質(zhì)量的再現(xiàn)質(zhì)量信息，該再現(xiàn)質(zhì)量信息通過顯示器11顯示為顯示視頻圖像，并且該通知單元26經(jīng)由發(fā)送和接收單元12通知另一個發(fā)送終端10，再現(xiàn)質(zhì)量信息的視頻圖像從該發(fā)送終端10被發(fā)送。再現(xiàn)質(zhì)量信息中的壓縮比表示在該比例的顯示視頻圖像所包含的來自每個基座的視頻圖像的視頻圖像數(shù)據(jù)被壓縮和發(fā)送，并且在顯示視頻圖像中包含要被壓縮為體量(volume)減半的視頻圖像的情況下，壓縮比為50%，在顯示視頻圖像中包含未壓縮的視頻圖像的情況下，壓縮比為100%。
[0105]圖14是示出了由本實施例的通知單元26產(chǎn)生的具體示范性再現(xiàn)質(zhì)量信息的概念圖。圖14示出了在基座A、基座B和基座C這三個基座之中發(fā)送和接收視頻圖像的情況下、在基座C處的終端1產(chǎn)生的再現(xiàn)質(zhì)量信息的具體示例，如圖9所示的示例的情況。
[0106]在圖14(a)的示例中，基座C處的顯示器11上顯示的顯示視頻圖像僅包含來自基座A的視頻圖像，并且壓縮比為100% (未壓縮)的來自基座A的視頻圖像以640 X 360的分辨率(垂直方向的像素的數(shù)量X水平方向的像素的數(shù)量)和30f ps的幀速率被顯示。在這種情況下，基座C處的終端10的通知單元26產(chǎn)生包含以下項目的再現(xiàn)質(zhì)量信息，該項目諸如發(fā)送源:基座A，顯示類型:視頻圖像，分辨率:640 X 360，幀速率:30fps，以及壓縮比:100 %。
[0107]在圖14(b)的示例中，基座C處的顯示器11上顯示的顯示視頻圖像包含來自基座A的視頻圖像和來自基座B的視頻圖像，壓縮比為80% (壓縮20%)的來自基座A的視頻圖像以320 X 180的分辨率和30fps的幀速率被顯示，并且壓縮比為80%的來自基座B的視頻圖像以320 X 180的分辨率和15fps的幀速率被顯示。在這種情況下，基座C處的終端10的通知單元26產(chǎn)生包含以下項目的再現(xiàn)質(zhì)量信息，該項目諸如發(fā)送源:基座A，顯示類型:視頻圖像，分辨率= 320X180，幀速率:30fps，和壓縮比:80 %，以及包含以下項目的再現(xiàn)質(zhì)量信息，該項目諸如發(fā)送源:基座B，顯示類型:視頻圖像，分辨率:320 X 180，幀速率:15fps，和壓縮比:80%。
[0108]在圖14(c)的示例中，基座C處的顯示器11上顯示的顯示視頻圖像包含來自基座A的視頻圖像、來自基座B的視頻圖像和與基座B共享的數(shù)據(jù)，壓縮比為50% (壓縮50%)的來自基座A的視頻圖像以320 X 180的分辨率和15f ps的幀速率被顯示，壓縮比為50 %的來自基座B的視頻圖像以320 X 180的分辨率和15fps的幀速率被顯示，并且壓縮比為100 %的與基座B共享的數(shù)據(jù)以640 X 360的分辨率和5fps的幀速率被顯示。在這種情況下，基座C處的終端10的通知單元26產(chǎn)生包含以下項目的再現(xiàn)質(zhì)量信息，該項目諸如發(fā)送源:基座A，顯示類型:視頻圖像，分辨率:320 X 180，幀速率:15fps，和壓縮比:50%，以及包含以下項目的再現(xiàn)質(zhì)量信息，該項目諸如發(fā)送源:基座B，顯示類型:視頻圖像，分辨率:320 X 180，幀速率:15fps，和壓縮比:50%，以及包含以下項目的再現(xiàn)質(zhì)量信息，該項目諸如發(fā)送源:基座B，顯示類型:數(shù)據(jù)，分辨率:640 X 360，幀速率:5fps，和壓縮比:100 %。
[0109]圖15是示出了在多個基座處的終端10之間的再現(xiàn)質(zhì)量信息的具體示范性通知的概念圖。圖15示出了在基座A、基座B和基座C這三個基座之中發(fā)送和接收視頻圖像的情況下，由每個基座處的終端通知到其他基座處的終端1的再現(xiàn)質(zhì)量信息，如圖1O所示的示例中。
[0110]在圖15所示的示例中，基座A處的顯示器11上顯示的顯示視頻圖像包含來自基座B的視頻圖像和來自基座C的視頻圖像，壓縮比為80%的來自基座B的視頻圖像以320 X 180的分辨率和30fps的幀速率被顯示，并且壓縮比為80%的來自基座C的視頻圖像以320 X 180的分辨率和15fps的幀速率被顯示。在這種情況下，基座A處的終端10的通知單元26產(chǎn)生包含以下項目的再現(xiàn)質(zhì)量信息，該項目諸如發(fā)送源:基座B，顯示類型:視頻圖像，分辨率:320X180，幀速率:30fps，和壓縮比:80 %，并且通知再現(xiàn)質(zhì)量信息的基座B處的終端10?；鵄處的終端10的通知單元26產(chǎn)生包含以下項目的再現(xiàn)質(zhì)量信息，該項目諸如發(fā)送源:基座C，顯示類型:視頻圖像，分辨率:320 X 180，幀速率:15fps，和壓縮比:80 %，并且通知再現(xiàn)質(zhì)量信息的基座C處的終端10。
[0111]此外，在圖15的示例中，基座B處的顯示器11上顯示的顯示視頻圖像僅包含來自基座A的視頻圖像，來自基座B的視頻圖像以640 X 360的分辨率和30fps的幀速率被顯示。在這種情況下，基座B處的終端10的通知單元26產(chǎn)生包含以下項目的再現(xiàn)質(zhì)量信息，該項目諸如發(fā)送源:基座A，顯示類型:視頻圖像，分辨率:640 X 360，幀速率:30fps，和壓縮比:100 %，并且通知再現(xiàn)質(zhì)量信息的基座A處的終端1。
[0112]在圖15的示例中，基座C處的顯示器11上顯示的顯示視頻圖像包含來自基座A的視頻圖像、來自基座B的視頻圖像和與基座B共享的數(shù)據(jù)，壓縮比為50 %的來自基座A的視頻圖像以320 X 180的分辨率和15fps的幀速率被顯示，壓縮比為50 %的來自基座B的視頻圖像以320 X 180的分辨率和15fps的幀速率被顯示，并且壓縮比為100%的與基座B共享的數(shù)據(jù)以640 X 360的分辨率和5fps的幀速率被顯示。在這種情況下，基座C處的終端10的通知單元26產(chǎn)生包含以下項目的再現(xiàn)質(zhì)量信息，該項目諸如發(fā)送源:基座A，顯示類型:視頻圖像，分辨率:320 X 180，幀速率:15fps，和壓縮比:50 %，并且通知再現(xiàn)質(zhì)量信息的基座A處的終端10。此外，基座C處的終端10的通知單元26產(chǎn)生包含以下項目的再現(xiàn)質(zhì)量信息，該項目諸如發(fā)送源:基座B，顯示類型:視頻圖像，分辨率:320 X 180，幀速率:15fps，和壓縮比:50 %，以及包含以下項目的再現(xiàn)質(zhì)量信息，該項目諸如發(fā)送源:基座B，顯示類型:數(shù)據(jù)，分辨率:640 X360，幀速率:5fps，和壓縮比:100%，并且通知這些組的再現(xiàn)質(zhì)量信息的基座B處的終端10。
[0113]圖16是示出了由編碼設(shè)置控制單元27對用于由編碼單元17進行的編碼的設(shè)置進行的具體示范性控制的概念圖。在基座A、基座B和基座C這三個基座處的終端10之間發(fā)送和接收視頻圖像的情況下，基于基座B處的終端10通知的再現(xiàn)質(zhì)量信息和基座C處的終端10通知的再現(xiàn)質(zhì)量信息，圖16示出了在基座A處的終端的編碼設(shè)置控制單元27如何控制用于編碼單元17進行的編碼的設(shè)置，如圖11所示的示例。
[0114]在圖16的示例中，基座A處的終端10的編碼單元17具有用于編碼視頻圖像的設(shè)置，使得包含320 X 180的分辨率、30fps的幀速率和壓縮比為100%的低質(zhì)量視頻圖像，640 X360的分辨率、30fPs的幀速率和壓縮比為100 %的中間質(zhì)量視頻圖像以及1280 X 720的分辨率、30fps的幀速率和和壓縮比為100%的高質(zhì)量視頻圖像。在基座A處的終端10，具有該設(shè)置的編碼單元17對視頻圖像數(shù)據(jù)進行可伸縮編碼，并且已編碼數(shù)據(jù)從發(fā)送和接收單元12發(fā)送到中繼服務(wù)器30。
[0115]然后，包含以下項目的再現(xiàn)質(zhì)量信息被從基座B處的終端10通知到基座A處的終端10，該項目為分辨率:640 X 360，幀速率:30fps，和壓縮比:100%，并且包含以下項目的再現(xiàn)質(zhì)量信息被從基座C處的終端10通知到基座A處的終端10，該項目為分辨率:320 X 180，幀速率:15fps，和壓縮比:50%?；鵄處的終端10的編碼設(shè)置控制單元27獲取從基座B處的終端10通知的再現(xiàn)質(zhì)量信息和從基座C處的終端10通知的再現(xiàn)質(zhì)量信息，從這些組的再現(xiàn)質(zhì)量信息，確定沒有其中顯示1280 X 720的分辨率、30fps的幀速率和壓縮比為100%的高質(zhì)量視頻圖像的任何基座。基座A處的終端10的編碼設(shè)置控制單元27改變例如在由編碼單元17進行的編碼中的用于層結(jié)構(gòu)的設(shè)置，使得不包含對應(yīng)于1280 X 720的分辨率、30fps的幀速率和壓縮比為100 %的高質(zhì)量視頻圖像的層。
[0116]因此，此后僅包含低質(zhì)量視頻圖像和中間質(zhì)量視頻圖像的已編碼數(shù)據(jù)從基座A處的終端10發(fā)送到中繼服務(wù)器30，這使得可以有效防止如下不便:基座A和中繼服務(wù)器30之間的網(wǎng)絡(luò)的帶寬比必要的使用得更多。
[0117]在圖16的示例中，改變由編碼單元17進行的編碼中的用于層結(jié)構(gòu)的設(shè)置，使得不包含對應(yīng)于高質(zhì)量視頻圖像的層?？商娲兀梢愿淖冇糜诰幋a的設(shè)置，以便于減少對應(yīng)于高質(zhì)量視頻圖像的層的分辨率和幀速率。圖17示出了示例，在該示例中用于編碼的設(shè)置被改變以減少最大分辨率，而不改變已編碼數(shù)據(jù)的層的數(shù)量。
[0118]在圖17的示例中，如圖16中的示例中，基座A處的終端10的編碼設(shè)置控制單元27獲取從基座B處的終端10通知的再現(xiàn)質(zhì)量信息和從基座C處的終端10通知的再現(xiàn)質(zhì)量信息，從這些組的再現(xiàn)質(zhì)量信息，確定沒有其中顯示1280 X 720的分辨率、30fps的幀速率和壓縮比為100%的高質(zhì)量視頻圖像的任何基座。為此，基座A處的終端10的編碼設(shè)置控制單元例如將高質(zhì)量視頻圖像的分辨率改變?yōu)?40 X 360，將中間質(zhì)量視頻圖像的分辨率改變?yōu)?20 X180，并且將低質(zhì)量視頻圖像的分辨率改變?yōu)?60X90，即改變用于編碼的設(shè)置，以便于減少最大分辨率，而不改變已編碼數(shù)據(jù)的層的數(shù)量。由此，可以有效地防止如下不便:基座A和中繼服務(wù)器30之間的網(wǎng)絡(luò)的帶寬比必要的使用得更多。
[0119]圖18是示出了根據(jù)本實施例的由編碼設(shè)置控制單元27進行的處理過程的具體示例的流程圖。因為圖18的流程圖中的步驟S301至步驟S307的處理與圖12的流程圖中的步驟SlOl至步驟S107的處理，其描述將省略。雖然基于圖12中的步驟S102中的來自另一個基座的再現(xiàn)質(zhì)量信息，正在另一個基座上顯示的自己的基座的視頻圖像的最大分辨率和最大幀速率被檢測到，但是基于圖18中的步驟S302中的來自另一個基座的再現(xiàn)質(zhì)量信息，除了最大分辨率和最大幀速率，檢測到正在另一個基座上顯示的自己的基座的視頻圖像的最大壓縮比。
[0120]根據(jù)本實施例，當(dāng)在圖18中的步驟S306中的確定的結(jié)果為否時，或者當(dāng)在步驟S306中的確定的結(jié)果為是時，則進行步驟S307中的處理，處理移動到步驟S308。
[0121]在步驟S308中，編碼設(shè)置控制單元27確定超過步驟S302中檢測到的最大壓縮比的視頻圖像的已編碼數(shù)據(jù)是否被發(fā)送到中繼服務(wù)器30。例如，編碼設(shè)置控制單元27通過檢查用于編碼單元17的層結(jié)構(gòu)的當(dāng)前設(shè)置是否設(shè)置為包含超過在步驟S302中檢測到的最大壓縮比的視頻圖像的層，來做出對視頻圖像數(shù)據(jù)進行可伸縮編碼的確定。當(dāng)超過最大壓縮比的視頻圖像的已編碼數(shù)據(jù)正被發(fā)送到中繼服務(wù)器30時(步驟S308中的是)，編碼設(shè)置控制單元27移動到步驟S309。當(dāng)沒有超過最大壓縮比的視頻圖像的已編碼數(shù)據(jù)正被發(fā)送到中繼服務(wù)器30時(步驟S308中的否)，由圖18的流程圖表示的處理結(jié)束。
[0122]在步驟S309中，編碼設(shè)置控制單元27改變用于編碼單元17的層結(jié)構(gòu)的設(shè)置，使得不包含對應(yīng)于超過在步驟S302中檢測到的最大壓縮比的視頻圖像的層，然后結(jié)束圖18的流程圖中表示的處理。
[0123]在上述的示例中，實際上正在顯示器11上顯示的視頻圖像以及來自外部裝置的輸入數(shù)據(jù)的分辨率、幀速率和壓縮比被處理為再現(xiàn)質(zhì)量信息?？商娲?，與被包含在實際上顯示在顯示器11上的顯示視頻圖像中的視頻圖像和數(shù)據(jù)的質(zhì)量不同的、但是對應(yīng)于如要在顯示視頻圖像上顯示的視頻圖像的質(zhì)量的用戶所需的再現(xiàn)質(zhì)量的分辨率、幀速率和壓縮比例如可以被處理為再現(xiàn)質(zhì)量信息。在這種情況下，例如，終端10的通知單元26接受指定要在顯示視頻圖像上顯示的視頻圖像的用戶的操作、數(shù)據(jù)的分辨率、幀速率或壓縮比，產(chǎn)生對應(yīng)于由用戶指定的質(zhì)量的再現(xiàn)質(zhì)量信息，并且通知該發(fā)送終端10該視頻圖像和數(shù)據(jù)。
[0124]在該示例中，從其發(fā)送視頻圖像和數(shù)據(jù)的終端10可以被通知再現(xiàn)質(zhì)量信息，該再現(xiàn)質(zhì)量信息指定超過正由終端10發(fā)送的已編碼數(shù)據(jù)中包含的高質(zhì)量視頻圖像的質(zhì)量。在這種情況下，終端10的編碼設(shè)置控制單元27改變用于由編碼單元17進行的編碼的設(shè)置，使得由從另一個終端10通知的再現(xiàn)質(zhì)量信息指定的質(zhì)量被包含在要從終端10發(fā)送到另一個終端10的已編碼數(shù)據(jù)中。
[0125]圖19是示出了由編碼設(shè)置控制單元27對由編碼單元17進行的編碼的設(shè)置進行的具體示范性控制的概念圖。在圖19的示例中，用于基座A處的終端10的編碼單元17的設(shè)置具有用于編碼視頻圖像的設(shè)置，使得包含320 X 180的分辨率、30fps的幀速率和壓縮比為100 %的低質(zhì)量視頻圖像，640 X 360的分辨率、30f ps和壓縮比為100 %的幀速率的中間質(zhì)量視頻圖像。在基座A處的終端10，具有該設(shè)置的編碼單元17對視頻圖像數(shù)據(jù)進行可伸縮編碼，并且已編碼數(shù)據(jù)從發(fā)送和接收單元12發(fā)送到中繼服務(wù)器30。
[0126]然后，包含以下項目的再現(xiàn)質(zhì)量信息被從基座B處的終端10通知到基座A處的終端10，該項目為分辨率:1280 X 720，幀速率:30fps，和壓縮比:100 %，并且包含以下項目的再現(xiàn)質(zhì)量信息被從基座C處的終端10通知到基座A處的終端10，該項目為分辨率:320 X 180，幀速率:15fps，和壓縮比:50%?；鵄處的終端10的編碼設(shè)置控制單元27獲取從基座B處的終端10通知的再現(xiàn)質(zhì)量信息和從基座C處的終端10通知的再現(xiàn)質(zhì)量信息，從這些組的再現(xiàn)質(zhì)量信息，確定存在在基座B處顯示1280 X 720的分辨率、30fps的幀速率和壓縮比為100%的高質(zhì)量視頻圖像的請求。在這種情況下，基座A處的終端10的編碼設(shè)置控制單元27改變例如在由編碼單元17進行的編碼中的用于層結(jié)構(gòu)的設(shè)置，使得加入對應(yīng)于1280X720的分辨率、30fps的幀速率和壓縮比為100%的高質(zhì)量視頻圖像的層。
[0127]如上述的情況中，當(dāng)對應(yīng)于用戶所需的再現(xiàn)質(zhì)量的分辨率、幀速率、壓縮比等被處理為再現(xiàn)質(zhì)量信息，所需的分辨率、幀速率和壓縮比可以由一范圍來指定。在這種情況下，終端10的通知單元26接受用于指定例如要在顯示器上顯示的視頻圖像的分辨率、幀速率和壓縮比以及數(shù)據(jù)的范圍的用戶的操作，產(chǎn)生包含由用戶指定的質(zhì)量范圍的再現(xiàn)質(zhì)量信息，并且通知從其發(fā)送視頻圖像和數(shù)據(jù)的終端10。
[0128]圖20是示出了由編碼設(shè)置控制單元27對用于由編碼單元17進行的編碼的設(shè)置進行的具體示范性控制的概念圖。在圖20的示例中，從基座B處的終端10通知到基座A處的終端的再現(xiàn)質(zhì)量信息的分辨率的項目被指定為1280 X 720至640 X 360的范圍。在這種情況下，基于從基座B通知的再現(xiàn)質(zhì)量信息，基座A處的終端10的編碼設(shè)置控制單元27確定存在用于顯示1280 X 720至640 X 360的分辨率范圍內(nèi)的視頻圖像的請求?；鵄處的終端1的編碼設(shè)置控制單元27改變用于在由編碼單元17進行的編碼中的層結(jié)構(gòu)的設(shè)置，使得層結(jié)構(gòu)盡可能多地覆蓋每個基座上的再現(xiàn)質(zhì)量信息。
[0129]圖21是示出了由編碼設(shè)置控制單元27進行的處理過程的具體示例的流程圖。圖21的流程圖所表示的處理一旦開始，首先，在步驟S401中，編碼設(shè)置控制單元27從所有其他基座獲取再現(xiàn)質(zhì)量信息，在這些其他基座處正在顯示其自己的基座的視頻圖像。在步驟S402中，然后，編碼設(shè)置控制單元27從步驟S401獲取的再現(xiàn)質(zhì)量信息檢測由那些其他基座請求的自己的基座的視頻圖像的最大分辨率和最大幀速率。
[0130]在步驟S403中，然后，編碼設(shè)置控制單元27確定覆蓋步驟S402中檢測到的最大分辨率的已編碼數(shù)據(jù)是否被發(fā)送到中繼服務(wù)器30。當(dāng)正被發(fā)送到中繼服務(wù)器30的已編碼數(shù)據(jù)沒有覆蓋步驟402中檢測到的最大分辨率時(步驟S403中的否)，編碼設(shè)置控制單元27移動到步驟S404。當(dāng)已編碼數(shù)據(jù)覆蓋最大分辨率時(步驟S403中的是)，編碼設(shè)置控制單元27移動到步驟S406。
[0131]在步驟S404中，編碼設(shè)置控制單元27確定是否可以加入對應(yīng)于步驟S402中檢測到的最大分辨率的層。當(dāng)可以加入對應(yīng)于最大分辨率的層時(步驟S404中的是)，編碼設(shè)置控制單元27移動到步驟S405。當(dāng)不會加入對應(yīng)于最大分辨率的層時(步驟S404中的否)，編碼設(shè)置控制單元27移動到步驟S406。
[0132]在步驟S405中，編碼設(shè)置控制單元27改變用于編碼單元17的層結(jié)構(gòu)的設(shè)置，以便于加入對應(yīng)于步驟S402中檢測到的最大分辨率的層，然后移動到步驟S406。
[0133]在步驟S406中，編碼設(shè)置控制單元27確定覆蓋步驟S402中檢測到的最大幀速率的已編碼數(shù)據(jù)是否被發(fā)送到中繼服務(wù)器30。當(dāng)正被發(fā)送到中繼服務(wù)器30的已編碼數(shù)據(jù)沒有覆蓋步驟402中檢測到的最大幀速率時(步驟S406中的否)，編碼設(shè)置控制單元27移動到步驟S407。當(dāng)已編碼數(shù)據(jù)覆蓋最大幀速率時(步驟S406中的是)，編碼設(shè)置控制單元27移動到步驟S409。
[0134]在步驟S407中，編碼設(shè)置控制單元27確定是否可以加入對應(yīng)于步驟S402中檢測到的最大幀速率的層。當(dāng)可以加入對應(yīng)于最大幀速率的層時(步驟S407中的是)，編碼設(shè)置控制單元27移動到步驟S408。當(dāng)不會加入對應(yīng)于最大幀速率的層時(步驟S407中的否)，編碼設(shè)置控制單元27移動到步驟S409。
[0135]在步驟S408中，編碼設(shè)置控制單元27改變用于編碼單元17的層結(jié)構(gòu)的設(shè)置，以便于加入對應(yīng)于步驟S402中檢測到的最大幀速率的層，然后移動到步驟S409。
[0136]在步驟S409中，編碼設(shè)置控制單元27確定覆蓋步驟S402中檢測到的最大壓縮比的已編碼數(shù)據(jù)是否被發(fā)送到中繼服務(wù)器30。當(dāng)正被發(fā)送到中繼服務(wù)器30的已編碼數(shù)據(jù)沒有覆蓋步驟402中檢測到的最大壓縮比時(步驟S409中的否)，編碼設(shè)置控制單元27移動到步驟S410。當(dāng)已編碼數(shù)據(jù)覆蓋最大壓縮比時(步驟S409中的是)，編碼設(shè)置控制單元27結(jié)束圖21的流程圖所表示的處理。
[0137]在步驟S410中，編碼設(shè)置控制單元27確定是否可以加入對應(yīng)于步驟S402中檢測到的最大壓縮比的層。當(dāng)可以加入對應(yīng)于最大壓縮比的層時(步驟S410中的是)，編碼設(shè)置控制單元27移動到步驟S411。當(dāng)不會加入對應(yīng)于最大壓縮比的層時(步驟S410中的否)，編碼設(shè)置控制單元27結(jié)束圖21的流程圖所表示的處理。
[0138]在步驟S411中，編碼設(shè)置控制單元27改變用于編碼單元17的層結(jié)構(gòu)的設(shè)置，以便于加入對應(yīng)于步驟S402中檢測到的最大壓縮比的層，然后結(jié)束圖21的流程圖所表示的處理。
[0139]本發(fā)明的具體實施例已經(jīng)在上面描述;然而，本發(fā)明不限于上述實施例，并且在實施時，可以通過加入本發(fā)明的范圍內(nèi)的各種修改和改變來體現(xiàn)。換言之，在上述實施例中描述的TV會議系統(tǒng)1、終端10等的具體配置和操作僅為示例，并且根據(jù)使用和目的可以做出各種修改。
[0140]例如，根據(jù)上述實施例，終端10包括質(zhì)量控制模塊25，該質(zhì)量控制模塊25包括通知單元26和編碼設(shè)置控制單元27?？商娲?，諸如管理服務(wù)器40的另一個裝置可以包括質(zhì)量控制模塊25的部分或全部功能。例如，關(guān)于其中管理服務(wù)器40包括通知單元26的配置，管理服務(wù)器40從接收終端10獲取布局信息，基于該布局信息產(chǎn)生再現(xiàn)質(zhì)量信息，并且通知發(fā)送終端10該再現(xiàn)質(zhì)量信息。此外，關(guān)于其中管理服務(wù)器40包括編碼設(shè)置控制單元27的配置，管理服務(wù)器40獲取從接收終端10通知的再現(xiàn)質(zhì)量信息，基于再現(xiàn)質(zhì)量信息產(chǎn)生控制用于發(fā)送終端10的編碼單元的設(shè)置的控制信息，并且將控制信號發(fā)送到發(fā)送終端10。
[0141]根據(jù)上述實施例，在視頻圖像上進行可伸縮編碼，并且已編碼視頻圖像數(shù)據(jù)在終端10之間發(fā)送和接收?？商娲?，可以對音頻數(shù)據(jù)和視頻數(shù)據(jù)一起進行可伸縮編碼，或者可以替代視頻數(shù)據(jù)，對音頻數(shù)據(jù)進行可伸縮編碼，并且可以在終端10之間發(fā)送和接收已編碼數(shù)據(jù)。在這種情況下，音頻數(shù)據(jù)的質(zhì)量可以包括例如聲音的采樣頻率和聲音的比特率。
[0142]此外，根據(jù)上述實施例，TV會議系統(tǒng)I例示為本發(fā)明被應(yīng)用到的示范性通信系統(tǒng)，然而這并不是限制。例如，本發(fā)明可有效應(yīng)用到各種通信系統(tǒng)，該通信系統(tǒng)為例如電話系統(tǒng)和汽車導(dǎo)航系統(tǒng)，該電話系統(tǒng)諸如IP(互聯(lián)網(wǎng)協(xié)議)電話，在終端之間雙向發(fā)送和接收該IP電話與音頻數(shù)據(jù)，在該汽車導(dǎo)航系統(tǒng)中，地理數(shù)據(jù)、路線信息等從管理中心處的終端被分配到安裝在車輛上的汽車導(dǎo)航裝置。
[0143]此外，根據(jù)上述實施例，TV會議終端(終端)10例示為本發(fā)明被應(yīng)用到的示范性通信系統(tǒng)，然而這并不是限制。本發(fā)明可有效應(yīng)用到各種通信裝置，諸如PC、平板終端、智能電話、電子黑板以及安裝在車輛上的汽車導(dǎo)航裝置，只要該通信裝置具有對各種類型的數(shù)據(jù)進行可伸縮編碼并發(fā)送已編碼數(shù)據(jù)的功能，并且具有解碼已編碼數(shù)據(jù)和再現(xiàn)數(shù)據(jù)的功能。
[0144][引用列表]
[0145]專利文獻
[0146]專利文獻1:日本專利第4921488號
【主權(quán)項】
1.一種通信裝置，所述通信裝置配置為將通過可伸縮編碼獲得的已編碼數(shù)據(jù)發(fā)送到至少一個其他通信裝置，或從所述至少一個其他通信裝置接收所述已編碼數(shù)據(jù)，解碼接收的已編碼數(shù)據(jù)，并且再現(xiàn)和輸出所述數(shù)據(jù)，所述通信裝置包括: 通知單元，配置為通知所述至少一個其他通信裝置表示正被再現(xiàn)和輸出的數(shù)據(jù)的質(zhì)量的再現(xiàn)質(zhì)量信息，其中，從所述至少一個其他通信裝置發(fā)送所述正被再現(xiàn)和輸出的數(shù)據(jù)；以及 編碼設(shè)置控制單元，配置為基于從所述至少一個其他通信裝置通知的再現(xiàn)質(zhì)量信息，控制用于編碼要被發(fā)送到所述至少一個其他通信裝置的所述已編碼數(shù)據(jù)的設(shè)置，其中，從所述至少一個其他通信裝置通知所述再現(xiàn)質(zhì)量信息。2.根據(jù)權(quán)利要求1所述的通信裝置，其中，所述編碼設(shè)置控制單元配置為，如果從所述至少一個其他通信裝置通知的所述再現(xiàn)質(zhì)量信息所表示的質(zhì)量低于被發(fā)送到所述至少一個其他通信裝置的所述已編碼數(shù)據(jù)的質(zhì)量，改變用于編碼要被發(fā)送到所述至少一個其他通信裝置的所述已編碼數(shù)據(jù)的設(shè)置，使得不包含超過從所述至少一個其他通信裝置通知的所述再現(xiàn)質(zhì)量信息所表示的質(zhì)量的質(zhì)量。3.根據(jù)權(quán)利要求1所述的通信裝置，其中，所述編碼設(shè)置控制單元配置為，在所述至少一個其他通信裝置包括多個其他通信裝置、且在所述多個其他通信裝置之中共同的所述已編碼數(shù)據(jù)被發(fā)送到所述多個其他通信裝置的情況下，以及如果從所述多個其他通信裝置通知的多組再現(xiàn)質(zhì)量信息所表示的質(zhì)量之中的最高質(zhì)量低于被發(fā)送到所述多個其他通信裝置的共同已編碼數(shù)據(jù)的質(zhì)量，改變用于編碼要被發(fā)送到所述多個其他通信裝置的所述共同已編碼數(shù)據(jù)的設(shè)置，使得不包含超過所述最高質(zhì)量的質(zhì)量。4.根據(jù)權(quán)利要求1至3的任一項所述的通信裝置，其中所述數(shù)據(jù)為視頻圖像數(shù)據(jù)，并且所述數(shù)據(jù)的質(zhì)量包含所述視頻圖像數(shù)據(jù)的分辨率和幀速率中的至少任何一個。5.根據(jù)權(quán)利要求4所述的通信裝置，其中所述已編碼數(shù)據(jù)為通過使用H.264/SVC編碼格式編碼獲得的數(shù)據(jù)。6.—種通信系統(tǒng)，在所述通信系統(tǒng)中，在多個通信裝置之中發(fā)送/接收通過可伸縮編碼獲得的已編碼數(shù)據(jù)，并且所述通信裝置中的至少一個通信裝置解碼由另一個通信裝置編碼的已編碼數(shù)據(jù)，所述通信系統(tǒng)包括: 通知單元，配置為通知通信裝置表示正由另一個通信裝置再現(xiàn)和輸出的數(shù)據(jù)的質(zhì)量的再現(xiàn)質(zhì)量信息；以及 編碼設(shè)置控制單元，配置為基于從所述另一個通信裝置通知到所述通信裝置的再現(xiàn)質(zhì)量信息，控制用于編碼要從所述通信裝置發(fā)送的所述已編碼數(shù)據(jù)的設(shè)置。7.一種通信控制方法，所述通信控制方法由通信裝置執(zhí)行，所述通信裝置配置為將通過可伸縮編碼獲得的已編碼數(shù)據(jù)發(fā)送到至少一個其他通信裝置，或從所述至少一個其他通信裝置接收所述已編碼數(shù)據(jù)，解碼接收的已編碼數(shù)據(jù)，并且再現(xiàn)和輸出所述數(shù)據(jù)，所述通信控制方法包括: 通知所述至少一個其他通信裝置表示正被再現(xiàn)和輸出的數(shù)據(jù)的質(zhì)量的再現(xiàn)質(zhì)量信息，其中，從所述至少一個其他通信裝置發(fā)送正被再現(xiàn)和輸出的數(shù)據(jù)；以及 基于從所述至少一個其他通信裝置通知的再現(xiàn)質(zhì)量信息，控制用于編碼要被發(fā)送到所述至少一個其他通信裝置的所述已編碼數(shù)據(jù)的設(shè)置，其中，從所述至少一個其他通信裝置通知所述再現(xiàn)質(zhì)量信息。8.—種程序，所述程序由通信裝置執(zhí)行，所述通信裝置配置為將通過可伸縮編碼獲得的已編碼數(shù)據(jù)發(fā)送到至少一個其他通信裝置，或從所述至少一個其他通信裝置接收所述已編碼數(shù)據(jù)，解碼接收的已編碼數(shù)據(jù)，并且再現(xiàn)和輸出所述數(shù)據(jù)，所述程序使得所述通信裝置實現(xiàn)以下功能: 通知所述至少一個其他通信裝置表示正被再現(xiàn)和輸出的數(shù)據(jù)的質(zhì)量的再現(xiàn)質(zhì)量信息的功能，正被再現(xiàn)和輸出的數(shù)據(jù)從所述至少一個其他通信裝置被發(fā)送;以及 基于從所述至少一個其他通信裝置通知的再現(xiàn)質(zhì)量信息，控制用于編碼要被發(fā)送到所述至少一個其他通信裝置的所述已編碼數(shù)據(jù)的設(shè)置的功能，從所述至少一個其他通信裝置通知所述再現(xiàn)質(zhì)量信息。
【文檔編號】H04N7/15GK106031164SQ201580010561
【公開日】2016年10月12日
【申請日】2015年1月15日
【發(fā)明人】永峰翔, 今井拓也, 森田健郎, 森田健一郎
【申請人】株式會社理光