專利名稱：圖像編碼數(shù)據(jù)的轉(zhuǎn)換方法以及裝置、系統(tǒng)和程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種圖像轉(zhuǎn)換方法及其裝置和程序，通過該方法及其裝置，當(dāng)在通過因特網(wǎng)連接的多個不同規(guī)格的客戶端之間進(jìn)行使用圖像的會議等的通信時，進(jìn)行圖像編碼數(shù)據(jù)的轉(zhuǎn)換，以便能夠以各自支持的編碼方式或編碼設(shè)定來進(jìn)行交互，同時，對于在圖像的顯示數(shù)量上受限的客戶端，將其他會議參加者的圖像在任意的定時實(shí)時重編碼為合成圖像，并進(jìn)行發(fā)送，其中合成圖像是組合了來自要切換的、且連接的客戶端的圖像數(shù)據(jù)中的幾個圖像而成的。
背景技術(shù)：
近年來，經(jīng)由因特網(wǎng)以分組來進(jìn)行圖像和語音的編碼數(shù)據(jù)的通信，即所謂的VoIP(Voice over IP，互聯(lián)網(wǎng)語音)和TVoIP(TV over IP，互聯(lián)網(wǎng)電視)的雙向通信系統(tǒng)以及會議系統(tǒng)迅速普及。這些通信系統(tǒng)所采用的編碼方式有幾種類型，例如作為運(yùn)動圖像的編碼方式，大多采用傳送基于幀間預(yù)測的高效壓縮的編碼數(shù)據(jù)的方法。在這些方式中，對從時間上相鄰的幀預(yù)測編碼圖像而得的預(yù)測參數(shù)和預(yù)測殘差圖像數(shù)據(jù)進(jìn)行編碼，從而削減在時間方向上相關(guān)度高的運(yùn)動圖像數(shù)據(jù)的信息量。而且，通過對預(yù)測殘差圖像數(shù)據(jù)進(jìn)行編碼轉(zhuǎn)換或量化來高效率地進(jìn)行壓縮編碼，能夠?qū)崿F(xiàn)窄傳送帶寬內(nèi)的通信。
作為其代表例，有使用MPEG(Moving Picture Experts Group，運(yùn)動圖像專家組)-1、MPEG-2、MPEG-4等壓縮編碼方式的方法。在這些壓縮編碼方式中，對輸入圖像幀以稱為宏塊的恒定大小的矩形區(qū)域單位進(jìn)行基于運(yùn)動補(bǔ)償?shù)膸g預(yù)測，并對所得的運(yùn)動矢量和預(yù)測殘差圖像數(shù)據(jù)實(shí)施二微離散余弦變換及量化來進(jìn)行壓縮，然后對壓縮的信號數(shù)據(jù)進(jìn)行可變長度編碼。
此外關(guān)于語音，有G.722、G.729、AMR-NB(Adaptive Multi Rate·Narrow Band，自適應(yīng)多速率窄帶)、AMR-WB(Adaptive Multi Rate·Wide Band，自適應(yīng)多速率寬帶)和MPEG-4AAC(Advanced AudioCodec，高級音頻編碼)等語音(音樂)編碼方式，從而可對各自預(yù)定的采樣容積進(jìn)行高效率的編碼，并能夠以窄的傳輸頻帶傳輸高語音品質(zhì)的語音數(shù)據(jù)。
有許多將這樣的圖像或語音編碼數(shù)據(jù)發(fā)布到利用分組交換方式的IP(Internet Protocol，互聯(lián)網(wǎng)協(xié)議)網(wǎng)絡(luò)上的方法。此外，第三代移動電話中有支持線路交換(CS)方式的TV電話的終端，而且還存在使這些移動電話和連接在IP網(wǎng)絡(luò)上的TVoIP客戶端相連接的網(wǎng)關(guān)。可以認(rèn)為，今后使分組在CS上通過，或者將移動電話以及經(jīng)由無線信道連接的無線基站共同全I(xiàn)P化，從而能夠更容易地連接IP網(wǎng)絡(luò)和移動電話。
非專利文獻(xiàn)1Handley，M.，Schulzrinne，H.，Schooler，E.，Rosenberg，J.，“SIPSession Initiation Protocol”，RFC 2543，March 1999，互聯(lián)網(wǎng)URL<由http//www.ietf.org/進(jìn)入的http//www.ietf.org/rfc/rfc2543.txt>；非專利文獻(xiàn)2Handley，M.，Jacobson，V.，“SDPSession DescriptionProtocol”，RFC 2327，April 1988，互聯(lián)網(wǎng)URL<由http//www.ietf.org/進(jìn)入的http//www.ietf.org/rfc/rfc2327.txt>。
非專利文獻(xiàn)3Schulzrinne，H.，Casner，S.，F(xiàn)rederick，R.，Jacobson，V.，“RTPA Transport Protocol for Real-Time Applications”，RFC 1889，January1996，互聯(lián)網(wǎng)URL<由http//www.ietf.org/進(jìn)入的http//www.ietf.org/rfc/rfc1889.txt>。
但是，在以往的TV會議系統(tǒng)等連接多個客戶端的服務(wù)中，當(dāng)所支持的編碼方式、編碼設(shè)定或編碼選項(xiàng)彼此不同時，無法相互進(jìn)行利用圖像的交互，因此大多只能在相同類型的客戶端構(gòu)筑會議系統(tǒng)。
此外，在由于顯示器的大小等而使圖像的顯示數(shù)量受限的情況下，需要在會議服務(wù)器或編碼數(shù)據(jù)轉(zhuǎn)換服務(wù)器進(jìn)行切換到用戶想看的影像的切換處理，但若用戶以任意的定時進(jìn)行切換定時，則在不是幀間預(yù)測編碼單位的GOP(Group Of Picture，圖片組)的界限時，由于切換了預(yù)測所用的幀，所以會發(fā)生圖像的錯亂，并一直持續(xù)到下一幀內(nèi)編碼數(shù)據(jù)到達(dá)。從而用戶不一定能在最期望的時刻切換到想看的圖像。
對此，為了縮短切換的待機(jī)時間，可以通過增加進(jìn)行幀內(nèi)編碼的幀數(shù)量來進(jìn)行應(yīng)對，但是，若增加原本進(jìn)行編碼效率不高的幀內(nèi)編碼的幀數(shù)量，則會導(dǎo)致編碼效率降低，從而圖像品質(zhì)降低。

發(fā)明內(nèi)容
因此，本發(fā)明是考慮上述情況而進(jìn)行的，其主要目的在于提供一種下述的方法、裝置、系統(tǒng)以及程序，即在使用圖像的會議等的多個客戶端互相交換編碼數(shù)據(jù)的系統(tǒng)中，對應(yīng)于參加的各客戶端所支持的編碼方式、編碼設(shè)定或編碼選項(xiàng)來轉(zhuǎn)換通信對方的客戶端的編碼數(shù)據(jù)。
此外，本發(fā)明的另一目的在于提供一種下述的方法、裝置、系統(tǒng)以及程序，即對于在圖像的顯示數(shù)量上受限的客戶端，從來自進(jìn)行通信的其他多個客戶端的圖像中選擇至少一個所述客戶端的用戶所希望的圖像，并使之在所述客戶端上顯示。
此外，本發(fā)明的另一目的在于提供一種下述的方法、裝置、系統(tǒng)以及程序，即對于在圖像的顯示數(shù)量上受限的客戶端，當(dāng)進(jìn)行從當(dāng)前的顯示圖像向其它圖像的切換時，用戶可以任意的定時迅速切換而無圖像錯亂。
此外，本發(fā)明的另一個目的在于提供一種下述的方法、裝置、系統(tǒng)以及程序，即對于在圖像的顯示數(shù)量上受限的客戶端，將用戶所希望的、來自多個客戶端的圖像數(shù)據(jù)進(jìn)行合成，并作為一個圖像而輸出。
此外，本發(fā)明另一個目的在于提供一種下述的方法、裝置、系統(tǒng)以及程序，即對于經(jīng)由無線等不穩(wěn)定的傳輸通路進(jìn)行圖像數(shù)據(jù)的交互的客戶端，以更加穩(wěn)定的品質(zhì)的圖像進(jìn)行通信。
解決至少一個所述課題的本發(fā)明的一個方面的方法包括至少一個接收M個圖像編碼數(shù)據(jù)的步驟；對接收的M個圖像編碼數(shù)據(jù)中的至少一個進(jìn)行解碼的步驟；改變接收的圖像編碼數(shù)據(jù)的(1)編碼方式、
(2)編碼比特率、(3)圖像大小、(4)幀率、(5)類型、(6)等級、(7)編碼選項(xiàng)、(8)視頻分組大小、(9)編碼幀類型構(gòu)成、(10)幀內(nèi)間隔、(11)幀內(nèi)宏塊數(shù)中的至少一個，從而對已解碼的數(shù)據(jù)進(jìn)行再編碼的至少一個步驟；至少一個輸出已再編碼的圖像編碼數(shù)據(jù)的步驟；以及根據(jù)來自外部的請求對輸出的圖像編碼數(shù)據(jù)中的至少一個進(jìn)行切換的步驟，其中M為2以上的任意整數(shù)。
本發(fā)明其它方面的裝置包括接收M個圖像編碼數(shù)據(jù)的單元；對接收的M個圖像編碼數(shù)據(jù)進(jìn)行解碼的M個單元；改變接收的圖像編碼數(shù)據(jù)的(1)編碼方式、(2)編碼比特率、(3)圖像大小、(4)幀率、(5)類型、(6)等級、(7)編碼選項(xiàng)、(8)視頻分組大小、(9)編碼幀類型構(gòu)成、(10)幀內(nèi)間隔、
(11)幀內(nèi)宏塊數(shù)中的至少一個，從而對已解碼的M個數(shù)據(jù)進(jìn)行再編碼或編碼數(shù)據(jù)的轉(zhuǎn)換的N個單元；以及輸出已再編碼的編碼數(shù)據(jù)的N個單元，其中M為2以上的整數(shù)，N為1以上的整數(shù)。還可進(jìn)一步包括對已解碼的多個編碼數(shù)據(jù)進(jìn)行組合來生成一個圖像的單元；和將至少一個輸出圖像與其它的輸入圖像進(jìn)行切換的單元，從而輸出對M個圖像編碼數(shù)據(jù)進(jìn)行轉(zhuǎn)換而生成的N個編碼數(shù)據(jù)。
本發(fā)明的其它方面的計(jì)算機(jī)程序使構(gòu)成進(jìn)行圖像編碼數(shù)據(jù)的切換的裝置的計(jì)算機(jī)執(zhí)行下述處理接收M個(其中M為2以上的任意整數(shù))圖像編碼數(shù)據(jù)的處理；對接收的M個圖像編碼數(shù)據(jù)中的至少一個進(jìn)行解碼的處理；改變接收的圖像編碼數(shù)據(jù)的(1)編碼方式、(2)編碼比特率、(3)圖像大小、(4)幀率、(5)類型、(6)等級、(7)編碼選項(xiàng)、(8)視頻分組大小、(9)編碼幀類型構(gòu)成、(10)幀內(nèi)間隔、(11)幀內(nèi)宏塊數(shù)中的至少一個，從而已解碼的數(shù)據(jù)進(jìn)行再編碼的處理；輸出已再編碼的編碼數(shù)據(jù)的處理；以及根據(jù)來自裝置外部的請求對輸出的編碼數(shù)據(jù)中的至少一個進(jìn)行切換的處理。
本發(fā)明的其它方面的服務(wù)器是經(jīng)由傳輸通路而與多個客戶端連接的轉(zhuǎn)換服務(wù)器，其中包括接收來自所述客戶端的圖像編碼數(shù)據(jù)的單元；下述的單元，即與客戶端可使用的編碼方式、編碼設(shè)定、編碼選項(xiàng)以及所述傳輸通路的狀態(tài)中的至少一個相對應(yīng)地轉(zhuǎn)換圖像編碼方式，從而發(fā)送接收的圖像編碼數(shù)據(jù)；以及下述的單元，即對于在圖像的顯示數(shù)量上受限的客戶端，將從所述圖像編碼數(shù)據(jù)中選擇的多個圖像編碼數(shù)據(jù)進(jìn)行解碼，然后合成一個圖像并再編碼，然后發(fā)送。本發(fā)明中的轉(zhuǎn)換服務(wù)器具有與連接客戶端的臺數(shù)相當(dāng)?shù)慕獯a處理部，用于將來自各客戶端的圖像編碼數(shù)據(jù)進(jìn)行解碼，此外還可以是包括下述單元的結(jié)構(gòu)，即所述單元在有來自所述客戶端的顯示圖像的切換請求時，在切換定時將切換目標(biāo)的圖像的解碼圖像數(shù)據(jù)進(jìn)行幀內(nèi)解碼并發(fā)送。
如以上說明的那樣，若使用本發(fā)明，則即使利用圖像的雙向通信客戶端有多個，且在參加的會議等的服務(wù)中各個客戶端所支持的編碼方式、編碼設(shè)定、編碼選項(xiàng)不同時，也可實(shí)現(xiàn)互相的交換。
此外，若使用本發(fā)明，則對于在圖像的顯示數(shù)量受限的客戶端，可以從來自進(jìn)行通信的其它多個客戶端的圖像中選擇至少一個所述客戶端的用戶所希望的圖像，并使之顯示在所述客戶端上。
此外，若使用本發(fā)明，則對于在圖像的顯示數(shù)量上受限的客戶端，當(dāng)從當(dāng)前的顯示圖像向其它圖像進(jìn)行切換時，用戶可以以任意的定時進(jìn)行無圖像錯亂的、迅速的切換。
此外，若使用本發(fā)明，則對于在圖像的顯示數(shù)量上受限的客戶端，將來自用戶所希望的多個客戶端的圖像數(shù)據(jù)進(jìn)行合成，從而作為一個圖像進(jìn)行顯示。
此外，若使用本發(fā)明，則對于經(jīng)由無線等不穩(wěn)定的傳輸通路進(jìn)行圖像數(shù)據(jù)的交互的客戶端，能夠以更加穩(wěn)定的圖像品質(zhì)進(jìn)行通信。


圖1是本發(fā)明的第一實(shí)施方式的系統(tǒng)結(jié)構(gòu)的示意圖；圖2是本發(fā)明的一個實(shí)施例的轉(zhuǎn)換服務(wù)器的結(jié)構(gòu)的示意圖；圖3是本發(fā)明的一個實(shí)施例的代碼轉(zhuǎn)換器的結(jié)構(gòu)的示意圖；
圖4是用于說明圖像編碼數(shù)據(jù)的切換的說明圖；圖5是用于說明本發(fā)明的一個實(shí)施例中的圖像切換的說明圖；圖6是用于說明本發(fā)明的一個實(shí)施例中其它的圖像切換的說明圖；圖7是本發(fā)明的其它實(shí)施例的系統(tǒng)結(jié)構(gòu)的示意圖；圖8是本發(fā)明的其它實(shí)施例的轉(zhuǎn)換服務(wù)器的結(jié)構(gòu)的示意圖。
具體實(shí)施例方式
針對本發(fā)明的優(yōu)選實(shí)施方式進(jìn)行說明。在本發(fā)明第一實(shí)施方式的進(jìn)行圖像轉(zhuǎn)換的系統(tǒng)中，包括接收M個圖像編碼數(shù)據(jù)的單元；對接收的編碼數(shù)據(jù)進(jìn)行解碼的M個單元；改變接收的編碼數(shù)據(jù)的(1)編碼方式、(2)編碼比特率、(3)圖像大小、(4)幀率、(5)類型(profile)、(6)等級(level)、(7)編碼選項(xiàng)、(8)視頻分組大小、(9)編碼幀類型構(gòu)成、(10)幀內(nèi)間隔、(11)幀內(nèi)宏塊數(shù)中的至少一個，從而對已解碼的M個數(shù)據(jù)進(jìn)行再編碼的N個單元；輸出已再編碼的編碼數(shù)據(jù)的N個單元，其中，M為2以上的整數(shù)，N為1以上的整數(shù)。還可進(jìn)一步包括將被解碼的多個編碼數(shù)據(jù)組合從而生成一個圖像的單元和將至少一個輸出圖像與其它的輸入圖像進(jìn)行切換的單元，從而對M個圖像編碼數(shù)據(jù)進(jìn)行轉(zhuǎn)換，并將生成的N個編碼數(shù)據(jù)進(jìn)行輸出。
下面參照附圖將本實(shí)施方式的實(shí)施例作為本發(fā)明的第一實(shí)施例來進(jìn)行說明。
圖1示出本發(fā)明的第一實(shí)施例。如圖1所示，包括會議服務(wù)器、轉(zhuǎn)換服務(wù)器、A客戶端、B客戶端以及傳輸通路。會議服務(wù)器和轉(zhuǎn)換服務(wù)器可以是一體化的同一服務(wù)器。
在本實(shí)施例中，會議服務(wù)器101、轉(zhuǎn)換服務(wù)器102、第一A客戶端103至第M的A客戶端105、以及第一B客戶端106至第N的B客戶端107連接到作為IP(Internet Protocol，互聯(lián)網(wǎng)協(xié)議)網(wǎng)的傳輸通路108上；各客戶端是通過分組交換來收發(fā)編碼數(shù)據(jù)和呼叫連接數(shù)據(jù)的終端；會議服務(wù)器101處理例如基于SIP(Session Initiation Protocol，對話初始協(xié)議)/SDP(Session Description Protocol，對話描述協(xié)議)的呼叫連接數(shù)據(jù)，從而建立各客戶端和會議服務(wù)器101之間的信道。
此外，在本實(shí)施例中，A客戶端能夠解碼、顯示多個圖像編碼數(shù)據(jù)，而B客戶端只能解碼、顯示一個圖像編碼數(shù)據(jù)。因此，A客戶端向會議服務(wù)器101發(fā)送一個自己的圖像編碼數(shù)據(jù)，并從會議服務(wù)器101接收其他客戶端的多個圖像編碼數(shù)據(jù)。
B客戶端向轉(zhuǎn)換服務(wù)器102發(fā)送一個自己的圖像數(shù)據(jù)，并從轉(zhuǎn)換服務(wù)器102選擇并接收其他客戶端的圖像編碼數(shù)據(jù)中的一個。
在這里，A客戶端和B客戶端是不同類型的客戶端，所支持的編碼方式、編碼設(shè)定、圖像大小或顯示圖像數(shù)量中至少有一項(xiàng)是不相同的。因此，在A客戶端之間以及B客戶端之間能夠經(jīng)由會議服務(wù)器101互相交換編碼數(shù)據(jù)，但是要在A客戶端與B客戶端之間交換圖像編碼數(shù)據(jù)，則需要通過轉(zhuǎn)換服務(wù)器102將一方的編碼數(shù)據(jù)轉(zhuǎn)換為另一方所支持的編碼數(shù)據(jù)。
轉(zhuǎn)換服務(wù)器102接收第一A客戶端103至第M的A客戶端105輸出的圖像編碼數(shù)據(jù)，并轉(zhuǎn)換為第一B客戶端106至第N的B客戶端107所支持的圖像編碼數(shù)據(jù)，再進(jìn)行輸出。
此外，還接收第一B客戶端106至第N的B客戶端107輸出的圖像編碼數(shù)據(jù)，并轉(zhuǎn)換為第一A客戶端103至第M的A客戶端105所支持的圖像編碼數(shù)據(jù)，再進(jìn)行輸出。
此時，例如在B客戶端的顯示器小，只能設(shè)置一個顯示畫面時，可以根據(jù)B客戶端的用戶的請求，從參加會議的其他A客戶端或B客戶端的圖像編碼數(shù)據(jù)中選擇一個并輸出給所述B客戶端。
或者也可以由會議服務(wù)器101來選擇向B客戶端輸出的圖像數(shù)據(jù)，例如可以請求將參加會議的客戶端中擔(dān)任會議主席職能的用戶的圖像發(fā)送給B客戶端，或者請求將參加會議的客戶端的用戶中的發(fā)言人的圖像發(fā)送給B客戶端。
利用圖2來說明轉(zhuǎn)換服務(wù)器201。轉(zhuǎn)換服務(wù)器201包括連接處理部202、第一接收部203至第M接收部205、代碼轉(zhuǎn)換器206、第一發(fā)送接收部207至第N發(fā)送接收部208、以及第一發(fā)送部209至第N發(fā)送部210。
連接處理部202獲取與會議服務(wù)器101及各A客戶端、各B客戶端之間對話建立以及各客戶端的能力信息的交換等與呼叫連接有關(guān)的信息，例如獲得基于SIP/SDP進(jìn)行的、參加會議的客戶端的信息(關(guān)于SIP/SDP的詳細(xì)情況，可參照例如上述的非專利文獻(xiàn)1和非專利文獻(xiàn)2)。
在這里，第一接收部203至第M接收部205基于用連接處理部202獲得的與對話有關(guān)的信息、或預(yù)先確定的設(shè)定，接收分別由第一A客戶端103至第M的A客戶端105發(fā)送并由會議服務(wù)器接收再送給轉(zhuǎn)換服務(wù)器201的編碼數(shù)據(jù)；第一發(fā)送接收部207至第N發(fā)送接收部208分別從第一B客戶端106至第N的B客戶端107接收編碼數(shù)據(jù)。
例如通過RTP(Real-Time Transport Protocol，實(shí)時傳輸協(xié)議)/UDP(User Datagram Protocol，用戶數(shù)據(jù)報(bào)協(xié)議)/IP進(jìn)行數(shù)據(jù)的收發(fā)，從而即使當(dāng)傳輸通路中發(fā)生了分組的順序交錯時，也能夠重排成正確的順序，或是當(dāng)進(jìn)行不僅有圖像，還有語音等圖像之外的媒體的編碼數(shù)據(jù)的轉(zhuǎn)換時，能夠使媒體間的同步一致(關(guān)于RTP的詳細(xì)情況，可參照例如上述的非專利文獻(xiàn)3)。
代碼轉(zhuǎn)換器206根據(jù)用連接處理部202獲取的各客戶端所支持的能力信息，即與編碼方式、編碼設(shè)定或編碼選項(xiàng)有關(guān)的信息、或是預(yù)先設(shè)定的信息，將所輸入的A客戶端的編碼數(shù)據(jù)轉(zhuǎn)換為B客戶端所支持的編碼方式、編碼設(shè)定或編碼選項(xiàng)的編碼數(shù)據(jù)，并進(jìn)行輸出。
此外，與之相反，輸入來自B客戶端的編碼數(shù)據(jù)，將其轉(zhuǎn)換為A客戶端所支持的編碼方式、編碼設(shè)定、編碼選項(xiàng)的編碼數(shù)據(jù)，并進(jìn)行輸出。
在這里，編碼方式是指例如MPEG-4或H.263、H.264等的編碼方式名，或是等級、類型等。
編碼設(shè)定是指比特率、圖像大小(分辨率)、幀率、幀內(nèi)間隔等。
編碼選項(xiàng)是指有無再同步標(biāo)記、視頻分組大小、有無數(shù)據(jù)分區(qū)、有無RVLC(Reversible VLC，可逆可變長編碼)、有無HEC(HeaderExtension Code，報(bào)頭擴(kuò)展碼)、有無插入數(shù)據(jù)等。
對應(yīng)于B客戶端而轉(zhuǎn)換的編碼數(shù)據(jù)被從第一發(fā)送接收部207至第N發(fā)送接收部208發(fā)送給第一B客戶端106至第N的B客戶端107；對應(yīng)于A客戶端而轉(zhuǎn)換的編碼數(shù)據(jù)被從第一發(fā)送部209至第N發(fā)送部210發(fā)送給會議服務(wù)器101。
在圖2中，第一接收部203至第M接收部205、及第一發(fā)送部209至第N發(fā)送部210分別獨(dú)立使用與會議服務(wù)器201的對話，但接收及發(fā)送的對話可分別是一個、或是M個以下的接收對話和N個以下的發(fā)送對話。
此時，需要進(jìn)行如下處理，即分離從接收對話接收的多個編碼數(shù)據(jù)，并將其傳送給代碼轉(zhuǎn)換器206的處理；以及對來自代碼轉(zhuǎn)換器206的轉(zhuǎn)換后的多個編碼數(shù)據(jù)進(jìn)行多路復(fù)用，并將其傳送給發(fā)送對話的處理。
作為多路復(fù)用/分離的方法，有利用包含在RTP報(bào)頭中的有效載荷類型、SSRC(Synchronization Source identifier，同步源標(biāo)識符)或CSRC(Contributing Source identifier，貢獻(xiàn)源標(biāo)識符)來識別各自的編碼數(shù)據(jù)的方法。當(dāng)根據(jù)這些標(biāo)識符來識別接收數(shù)據(jù)時，例如可以通過給每個以SDP接收的數(shù)據(jù)記載標(biāo)識符來將編碼數(shù)據(jù)的信息通知給通信對方。
參照圖3進(jìn)一步詳細(xì)說明代碼轉(zhuǎn)換器的動作。為簡化說明，在下面的說明中設(shè)M為4、N為2來說明，但M、N不限于這些數(shù)值。此外，雖然僅說明了接收一方的客戶端類型(這里為A客戶端)的編碼數(shù)據(jù)，并對應(yīng)于另一方的客戶端類型(這里為B客戶端)所支持的編碼方式進(jìn)行轉(zhuǎn)換、輸出這一個方向，但對于反方向，也可根據(jù)需要進(jìn)行同樣的處理來轉(zhuǎn)換。
如圖3所示，代碼轉(zhuǎn)換器301通過與各個接收部對應(yīng)的第一解碼處理部302至第四解碼處理部305來對所接收的編碼數(shù)據(jù)進(jìn)行解碼。
被解碼了的解碼圖像數(shù)據(jù)被分別送給第一至第四解碼數(shù)據(jù)緩沖器。另外，在這里，雖然解碼的圖像數(shù)據(jù)是作為獲取YUV解碼圖像數(shù)據(jù)來說明的，但其他的、例如RGB等形式也是同樣的。
第I圖像選擇、合成部310及第II圖像選擇、合成部311從第一解碼數(shù)據(jù)緩沖器306至第四解碼數(shù)據(jù)緩沖器309中的某一個讀入解碼圖像數(shù)據(jù)，并輸出給第I編碼處理部312及第II編碼處理部313。選擇哪一個解碼圖像數(shù)據(jù)，可聽從客戶端的請求或預(yù)先確定，其中所述客戶端通過連接處理部而輸出所通知的編碼數(shù)據(jù)。各客戶端具有用于與會議服務(wù)器101進(jìn)行呼叫連接的呼叫連接單元，并通過呼叫連接單元將圖像的切換請求發(fā)送給會議服務(wù)器101(圖1)。若會議服務(wù)器101收到圖像的切換請求，則將該請求發(fā)送給轉(zhuǎn)換服務(wù)器102的連接處理部202(圖2)，然后連接處理部202將來自客戶端的圖像切換請求通知給代碼轉(zhuǎn)換器206的第I圖像選擇、合成部310及第II圖像選擇、合成部311(圖3)。
第I編碼處理部312及第II編碼處理部313根據(jù)B客戶端所支持的編碼方式、編碼設(shè)定以及編碼選項(xiàng)對所選擇的解碼圖像數(shù)據(jù)進(jìn)行再編碼，并輸出。
并且，例如在用經(jīng)由無線傳輸通路等不穩(wěn)定的傳輸通路的對話來連接B客戶端時，通過在編碼時縮短幀內(nèi)間隔、減小視頻分組大小或增加幀內(nèi)所包含的幀內(nèi)宏塊數(shù)，針對傳輸通路上的數(shù)據(jù)錯誤或損失能夠以更穩(wěn)定的品質(zhì)的圖像進(jìn)行通信。
第I圖像選擇、合成部310至第II圖像選擇、合成部311也可同樣根據(jù)客戶端的請求或預(yù)先確定的設(shè)定來組合并合成多個解碼圖像并輸出。
在本實(shí)施例中，如果例如將第一解碼數(shù)據(jù)緩沖器306至第四解碼數(shù)據(jù)緩沖器309中所緩沖的解碼圖像分別縮小1/4并進(jìn)行排列，由此將四個圖像作為一個圖像輸出給編碼處理部，則即使例如在B客戶端顯示圖像數(shù)量受限，只能顯示一個圖像的情況下，也可同時確認(rèn)所有的四個圖像。
此外，當(dāng)合成了B客戶端所顯示的四個圖像而成的圖像中包含其它或自身B客戶端的圖像時，在圖像選擇、合成部310或311中，也可從第I解碼數(shù)據(jù)緩沖器316、第II解碼數(shù)據(jù)緩沖器317讀入并進(jìn)行同樣的處理，其中所述第I解碼數(shù)據(jù)緩沖器316、第II解碼數(shù)據(jù)緩沖器317分別存儲由第I解碼處理部314、第II解碼處理部315解碼的B客戶端的圖像數(shù)據(jù)。另外，當(dāng)B客戶端不包含其它或自身B客戶端的圖像時，不需要該部分(第I、第II解碼處理部314、315，第I、第II解碼數(shù)據(jù)緩沖器316、317)。
當(dāng)接收圖像編碼數(shù)據(jù)數(shù)量大于4(M＞4)時，可以根據(jù)來自B客戶端的請求，從接收圖像編碼數(shù)據(jù)中選擇任意四個圖像，或選擇每個客戶端預(yù)定的圖像來進(jìn)行組合，也可以組合四個以上的圖像來生成一個圖像。
接下來利用附圖來說明通過第I圖像選擇、合成部310及第II圖像選擇、合成部311切換所選擇的圖像的處理。
當(dāng)從某圖像編碼數(shù)據(jù)向其它圖像編碼數(shù)據(jù)切換時，以往是如圖4所示，會產(chǎn)生切換請求與實(shí)際切換之間的時間差。圖中的I表示幀內(nèi)，即I圖像，P表示P(Predictive，預(yù)測)圖像。這是由于當(dāng)從第一圖像編碼數(shù)據(jù)401向第二圖像編碼數(shù)據(jù)402切換時，若沒有在幀內(nèi)(I)編碼數(shù)據(jù)的開頭進(jìn)行切換，則就不能利用預(yù)測對編碼后的幀進(jìn)行正確解碼。
當(dāng)是為了提高編碼效率而將幀內(nèi)間隔取長的編碼數(shù)據(jù)時，可能會加大從切換請求到切換實(shí)施的時間差，從而當(dāng)向原本只是編碼數(shù)據(jù)的開頭存在幀內(nèi)編碼數(shù)據(jù)的編碼數(shù)據(jù)切換時，在切換時勢必會發(fā)生圖像的錯亂。
對此，根據(jù)本發(fā)明，由于將接收的圖像編碼數(shù)據(jù)進(jìn)行一次解碼后進(jìn)行再編碼來切換圖像，所以在切換定時可進(jìn)行幀內(nèi)編碼，從而相對于切換請求能夠以最少的時間來切換圖像。
如圖5所示，第一圖像編碼數(shù)據(jù)501和第二圖像編碼數(shù)據(jù)504分別被解碼成第一圖像解碼數(shù)據(jù)502和第二圖像解碼數(shù)據(jù)505。
在圖5中，與圖4一樣，I、P的幀分別表示I圖像、P圖像。根據(jù)輸出目的端的客戶端所支持的圖像編碼方式、圖像編碼設(shè)定以及圖像編碼選項(xiàng)對I圖像、P圖像如第一圖像再編碼數(shù)據(jù)503和第二圖像再編碼數(shù)據(jù)506那樣分別進(jìn)行再編碼。
在有從第一圖像再編碼數(shù)據(jù)503向第二圖像再編碼數(shù)據(jù)506的切換請求時，在從第二圖像解碼數(shù)據(jù)505再編碼作為切換目標(biāo)的圖像編碼數(shù)據(jù)的第二圖像再編碼數(shù)據(jù)506時，以請求定時對幀進(jìn)行幀內(nèi)編碼。由此，即使實(shí)時進(jìn)行向第二圖像再編碼數(shù)據(jù)506的切換，也可對以后的幀的預(yù)測編碼正確解碼，從而可進(jìn)行無圖像錯亂的切換。
此外，當(dāng)原本客戶端不轉(zhuǎn)換切換源的圖像編碼數(shù)據(jù)也可以解碼時，第一圖像編碼數(shù)據(jù)501不需要解碼和再編碼。
此外如圖6所示，當(dāng)對不僅包括I、P圖像，還包括進(jìn)行雙向預(yù)測的B(Bi-directionally predictive)圖像的圖像編碼數(shù)據(jù)進(jìn)行轉(zhuǎn)換時，在對切換源的圖像編碼數(shù)據(jù)進(jìn)行再編碼時，也進(jìn)行幀類型的改變。
第一圖像編碼數(shù)據(jù)601和第二圖像編碼數(shù)據(jù)604被分別解碼為第一圖像解碼數(shù)據(jù)602和第二圖像解碼數(shù)據(jù)605。根據(jù)輸出目的端的客戶端所支持的圖像編碼方式、圖像編碼設(shè)定以及圖像編碼選項(xiàng)，分別對第一圖像解碼數(shù)據(jù)602和第二圖像解碼數(shù)據(jù)605如第一圖像再編碼數(shù)據(jù)603和第二圖像再編碼數(shù)據(jù)606那樣進(jìn)行再編碼。
當(dāng)有從第一圖像再編碼數(shù)據(jù)603向第二圖像再編碼數(shù)據(jù)606的切換請求時，不僅在從第二圖像解碼數(shù)據(jù)605再編碼作為切換目標(biāo)的圖像編碼數(shù)據(jù)的第二圖像再編碼數(shù)據(jù)606時，以請求定時對幀進(jìn)行幀內(nèi)編碼，而且還在從第一圖像解碼數(shù)據(jù)602再編碼切換源的第一圖像再編碼數(shù)據(jù)603時，進(jìn)行編碼以使請求時刻緊挨的前面的幀為P圖像。由此，對第一圖像再編碼數(shù)據(jù)603的切換之間的最后的B圖像也可進(jìn)行正確解碼，從而可進(jìn)行無圖像錯亂的切換。
作為經(jīng)由所述無線傳輸通路等不穩(wěn)定的傳輸通路的會議服務(wù)器，不僅采用使用IEEE802.11a/b/g等無線LAN(Local Area Network，局域網(wǎng))的客戶端，還可采用通過圖7所示的系統(tǒng)結(jié)構(gòu)利用線路交換方式的移動電話。
當(dāng)采用圖7所示的結(jié)構(gòu)時，網(wǎng)關(guān)701進(jìn)行線路交換與分組交換的協(xié)議轉(zhuǎn)換(例如通過H.223對多路復(fù)用的數(shù)據(jù)分離和分組等)以及呼叫的建立處理(與H.245消息的SIP/SDP轉(zhuǎn)換)。第一C客戶端702至第N的C客戶端703為具有TV電話功能的移動電話。此時，可通過利用轉(zhuǎn)換服務(wù)器102的圖像的選擇和合成，通過轉(zhuǎn)換編碼方式(例如等級)、編碼設(shè)定(例如圖像大小或比特率)、編碼選項(xiàng)的差異，來參加C客戶端的會議。
此外，在本實(shí)施例中，例如A客戶端在能夠?qū)客戶端輸出的圖像編碼數(shù)據(jù)保持原樣地解碼時，不需要進(jìn)行反向的轉(zhuǎn)換處理。此時，可以構(gòu)成圖8所示的轉(zhuǎn)換服務(wù)器，并且，第一發(fā)送接收部803至第N發(fā)送接收部804在為了合成多個圖像來生成一個圖像而將來自第一B客戶端106至第N的B客戶端107的編碼數(shù)據(jù)輸出給代碼轉(zhuǎn)換器802的同時，還將其輸出給第一發(fā)送部209至第N發(fā)送部210。
此外，B客戶端可以顯示一個以上的圖像，例如當(dāng)圖像顯示數(shù)為2時，若準(zhǔn)備2N個圖2中的發(fā)送接收部以及圖3中的圖像選擇、合成部、編碼處理部，即與B客戶端的所有圖像顯示數(shù)相等的個數(shù)，則可得到相同的效果。
或者，當(dāng)請求多個B客戶端或C客戶端向相同的圖像數(shù)據(jù)進(jìn)行切換時，可將圖3中的同一編碼處理部的輸出發(fā)送這些客戶端，從而能夠削減編碼處理的處理量。此時，在這些客戶端的切換請求定時不是同時的情況下，若編碼處理部在各個客戶端的每個切換請求定時輸出進(jìn)行了幀內(nèi)編碼的數(shù)據(jù)，則任何客戶端都能夠進(jìn)行無圖像錯亂的、迅速的切換。
此外，在如圖7所示的結(jié)構(gòu)中進(jìn)一步增加圖1、2所示的B客戶端，從而成為有三種以上的客戶端參加會議中，也可通過轉(zhuǎn)換服務(wù)器進(jìn)行相同的處理，從而進(jìn)行相互的交換。
此外，對于轉(zhuǎn)換服務(wù)器201中的連接處理部202、第一至第M接收部203至205、代碼轉(zhuǎn)換器206、第一至第N發(fā)送接收部207至208，當(dāng)然也可以通過構(gòu)成轉(zhuǎn)換服務(wù)器201的計(jì)算機(jī)所執(zhí)行的程序控制來實(shí)現(xiàn)各自的功能、處理。作為實(shí)施例的變形，至少一個客戶端也可經(jīng)由轉(zhuǎn)換服務(wù)器交互圖像數(shù)據(jù)之外的聲音信號；轉(zhuǎn)換服務(wù)器也可通過來自客戶端的DTMF信號來進(jìn)行圖像的切換。
以上是根據(jù)上述實(shí)施例對本發(fā)明進(jìn)行的說明，但本發(fā)明并不僅限于上述實(shí)施例的結(jié)構(gòu)，當(dāng)然也包括本領(lǐng)域技術(shù)人員在本發(fā)明的權(quán)利要求范圍內(nèi)進(jìn)行的各種變形和修改。
權(quán)利要求
1.一種圖像切換方法，其特征在于，包括至少一個接收M個圖像編碼數(shù)據(jù)的步驟；對接收的M個圖像編碼數(shù)據(jù)中的至少一個進(jìn)行解碼的步驟；改變接收的圖像編碼數(shù)據(jù)的(1)編碼方式、(2)編碼比特率、(3)圖像大小、(4)幀率、(5)類型、(6)等級、(7)編碼選項(xiàng)、(8)視頻分組大小、(9)編碼幀類型構(gòu)成、(10)幀內(nèi)間隔、(11)幀內(nèi)宏塊數(shù)中的至少一個，從而對已解碼的數(shù)據(jù)進(jìn)行再編碼的至少一個步驟；至少一個輸出已再編碼的圖像編碼數(shù)據(jù)的步驟；以及根據(jù)來自外部的請求對輸出的圖像編碼數(shù)據(jù)中的至少一個進(jìn)行切換的步驟，其中M為2以上的任意整數(shù)。
2.一種圖像切換方法，其特征在于，包括接收M個圖像編碼數(shù)據(jù)的步驟；分別對接收的M個圖像編碼數(shù)據(jù)進(jìn)行解碼的M個步驟；改變接收的圖像編碼數(shù)據(jù)的(1)編碼方式、(2)編碼比特率、(3)圖像大小、(4)幀率、(5)類型、(6)等級、(7)編碼選項(xiàng)、(8)視頻分組大小、(9)編碼幀類型構(gòu)成、(10)幀內(nèi)間隔、(11)幀內(nèi)宏塊數(shù)中的至少一個，從而對已解碼的數(shù)據(jù)進(jìn)行再編碼的N個步驟；N個輸出已再編碼的圖像編碼數(shù)據(jù)的步驟；以及根據(jù)來自外部的請求對輸出的N個圖像編碼數(shù)據(jù)中的至少一個進(jìn)行切換的步驟，其中M為2以上，N為1以上的任意整數(shù)。
3.一種圖像切換方法，其特征在于，包括至少一個接收并分離經(jīng)多路復(fù)用的M個圖像編碼數(shù)據(jù)的步驟；對接收的M個圖像編碼數(shù)據(jù)中的至少一個進(jìn)行解碼的步驟；改變接收的圖像編碼數(shù)據(jù)的(1)編碼方式、(2)編碼比特率、(3)圖像大小、(4)幀率、(5)類型、(6)等級、(7)編碼選項(xiàng)、(8)視頻分組大小、(9)編碼幀類型構(gòu)成、(10)幀內(nèi)間隔、(11)幀內(nèi)宏塊數(shù)中的至少一個，從而對已解碼的數(shù)據(jù)進(jìn)行再編碼的至少一個步驟；至少一個對已再編碼的圖像編碼數(shù)據(jù)進(jìn)行多路復(fù)用并輸出的步驟；以及根據(jù)來自外部的請求對輸出的圖像編碼數(shù)據(jù)中的至少一個進(jìn)行切換的步驟，其中M為2以上的任意整數(shù)。
4.一種圖像切換方法，其特征在于，包括至少一個接收并分離經(jīng)多路復(fù)用的M個圖像編碼數(shù)據(jù)的步驟；分別對接收的M個圖像編碼數(shù)據(jù)進(jìn)行解碼的M個步驟；改變接收圖像編碼數(shù)據(jù)的(1)編碼方式、(2)編碼比特率、(3)圖像大小、(4)幀率、(5)類型、(6)等級、(7)編碼選項(xiàng)、(8)視頻分組大小、(9)編碼幀類型構(gòu)成、(10)幀內(nèi)間隔、(11)幀內(nèi)宏塊數(shù)中的至少一個，從而對已解碼的數(shù)據(jù)進(jìn)行再編碼的N個步驟；至少一個對已再編碼的N個圖像編碼數(shù)據(jù)進(jìn)行多路復(fù)用并輸出的步驟；以及根據(jù)來自外部的請求對輸出的N個圖像編碼數(shù)據(jù)中的至少一個進(jìn)行切換的步驟，其中M為2以上，N為1以上的任意整數(shù)。
5.如權(quán)利要求1所述的圖像切換方法，其特征在于，當(dāng)進(jìn)行所述再編碼時，對所述M個圖像編碼數(shù)據(jù)中的多個圖像編碼數(shù)據(jù)進(jìn)行解碼，并將得到的解碼圖像中的兩個以上進(jìn)行組合，從而生成一個以上M個以下的圖像并進(jìn)行再編碼。
6.如權(quán)利要求1所述的圖像切換方法，其特征在于，當(dāng)進(jìn)行所述再編碼時，進(jìn)行(1)幀內(nèi)間隔的縮短；(2)視頻分組大小的縮?。?3)幀內(nèi)宏塊數(shù)的增加中的至少一個。
7.如權(quán)利要求1所述的圖像切換方法，其特征在于，響應(yīng)來自收發(fā)所述圖像編碼數(shù)據(jù)的客戶端的請求，選擇所述M個圖像編碼數(shù)據(jù)中的至少一個圖像進(jìn)行所述改變，并輸出給通信對方的客戶端。
8.如權(quán)利要求7所述的圖像切換方法，其特征在于，響應(yīng)來自所述客戶端的請求，將所述客戶端接收的圖像中的至少一個切換為所述M個圖像編碼數(shù)據(jù)中的其它圖像。
9.如權(quán)利要求1所述的圖像切換方法，其特征在于，響應(yīng)來自對所述圖像編碼數(shù)據(jù)進(jìn)行中轉(zhuǎn)的會議服務(wù)器的請求，選擇所述M個圖像編碼數(shù)據(jù)中的至少一個圖像進(jìn)行所述改變，并輸出給參加會議的客戶端。
10.如權(quán)利要求1所述的圖像切換方法，其特征在于，響應(yīng)來自會議服務(wù)器的請求，將參加會議的客戶端所接收的圖像中的至少一個切換為所述M個圖像編碼數(shù)據(jù)中的其它圖像。
11.如權(quán)利要求8所述的圖像切換方法，其特征在于，當(dāng)根據(jù)所述請求進(jìn)行圖像編碼數(shù)據(jù)的切換時，將切換目標(biāo)的圖像的解碼圖像數(shù)據(jù)進(jìn)行幀內(nèi)編碼后再進(jìn)行切換。
12.如權(quán)利要求8所述的圖像切換方法，其特征在于，當(dāng)根據(jù)所述請求進(jìn)行圖像編碼數(shù)據(jù)的切換時，將切換源的圖像的解碼圖像數(shù)據(jù)以預(yù)定的幀類型進(jìn)行編碼后再進(jìn)行切換。
13.一種圖像切換裝置，用于進(jìn)行圖像編碼數(shù)據(jù)的切換，其特征在于，包括至少一個接收M個圖像編碼數(shù)據(jù)的單元，其中M為2以上的任意整數(shù)；對接收的M個圖像編碼數(shù)據(jù)中的至少一個進(jìn)行解碼的單元；改變接收的圖像編碼數(shù)據(jù)的(1)編碼方式、(2)編碼比特率、(3)圖像大小、(4)幀率、(5)類型、(6)等級、(7)編碼選項(xiàng)、(8)視頻分組大小、(9)編碼幀類型構(gòu)成、(10)幀內(nèi)間隔、(11)幀內(nèi)宏塊數(shù)中的至少一個，從而對已解碼的數(shù)據(jù)進(jìn)行再編碼的至少一個單元；至少一個輸出已再編碼的圖像編碼數(shù)據(jù)的單元；以及根據(jù)來自裝置外部的請求對輸出的圖像編碼數(shù)據(jù)中的至少一個進(jìn)行切換的單元。
14.一種圖像切換裝置，用于進(jìn)行圖像編碼數(shù)據(jù)的切換，其特征在于，包括接收M個圖像編碼數(shù)據(jù)的單元，其中M為2以上的任意整數(shù)；分別對接收的M個圖像編碼數(shù)據(jù)進(jìn)行解碼的M個單元；改變接收的圖像編碼數(shù)據(jù)的(1)編碼方式、(2)編碼比特率、(3)圖像大小、(4)幀率、(5)類型、(6)等級、(7)編碼選項(xiàng)、(8)視頻分組大小、(9)編碼幀類型構(gòu)成、(10)幀內(nèi)間隔、(11)幀內(nèi)宏塊數(shù)中的至少一個，從而對已解碼的數(shù)據(jù)進(jìn)行再編碼的N個單元，其中N為1以上的任意整數(shù)；分別輸出已再編碼的N個編碼數(shù)據(jù)的N個單元；以及根據(jù)來自裝置外部的請求將輸出的N個圖像編碼數(shù)據(jù)中的至少一個進(jìn)行切換的單元。
15.一種圖像切換裝置，用于進(jìn)行圖像編碼數(shù)據(jù)的切換，其特征在于，包括至少一個接收并分離經(jīng)多路復(fù)用的M個圖像編碼數(shù)據(jù)的單元，其中M為2以上的任意整數(shù)；對接收的M個圖像編碼數(shù)據(jù)中的至少一個進(jìn)行解碼的單元；改變接收的圖像編碼數(shù)據(jù)的(1)編碼方式、(2)編碼比特率、(3)圖像大小、(4)幀率、(5)類型、(6)等級、(7)編碼選項(xiàng)、(8)視頻分組大小、(9)編碼幀類型構(gòu)成、(10)幀內(nèi)間隔、(11)幀內(nèi)宏塊數(shù)中的至少一個，從而對已解碼的數(shù)據(jù)進(jìn)行再編碼的至少一個單元；至少一個對已再編碼的圖像編碼數(shù)據(jù)進(jìn)行多路復(fù)用并輸出的單元；以及根據(jù)來自裝置外部的請求對輸出的圖像編碼數(shù)據(jù)中的至少一個進(jìn)行切換的單元。
16.一種圖像切換裝置，用于進(jìn)行圖像編碼數(shù)據(jù)的切換，其特征在于，包括至少一個接收并分離經(jīng)多路復(fù)用的M個圖像編碼數(shù)據(jù)的單元，其中M為2以上的任意整數(shù)；分別對接收的M個圖像編碼數(shù)據(jù)進(jìn)行解碼的M個單元；改變接收的圖像編碼數(shù)據(jù)的(1)編碼方式、(2)編碼比特率、(3)圖像大小、(4)幀率、(5)類型、(6)等級、(7)編碼選項(xiàng)、(8)視頻分組大小、(9)編碼幀類型構(gòu)成、(10)幀內(nèi)間隔、(11)幀內(nèi)宏塊數(shù)中的至少一個，從而對已解碼的數(shù)據(jù)進(jìn)行再編碼的N個單元，其中N為1以上的任意整數(shù)；至少一個對已再編碼的N個編碼數(shù)據(jù)進(jìn)行多路復(fù)用并輸出的單元；以及根據(jù)來自裝置外部的請求對輸出的N個圖像編碼數(shù)據(jù)中的至少一個進(jìn)行切換的單元。
17.如權(quán)利要求13所述的圖像切換裝置，其特征在于，所述再編碼的單元在進(jìn)行再編碼時，對所述M個圖像編碼數(shù)據(jù)中的多個圖像編碼數(shù)據(jù)進(jìn)行解碼，并將得到的解碼圖像中的兩個以上進(jìn)行組合，從而生成一個以上M個以下的圖像并進(jìn)行再編碼。
18.如權(quán)利要求13所述的圖像切換裝置，其特征在于，所述再編碼的單元在進(jìn)行所述再編碼時，進(jìn)行(1)幀內(nèi)間隔的縮短；(2)視頻分組大小的縮??；(3)幀內(nèi)宏塊數(shù)的增加；中的至少一個。
19.如權(quán)利要求13所述的圖像切換裝置，其特征在于，響應(yīng)來自收發(fā)所述圖像編碼數(shù)據(jù)的客戶端的請求，選擇所述M個圖像編碼數(shù)據(jù)中的至少一個圖像進(jìn)行所述改變，并輸出給通信對方的客戶端。
20.如權(quán)利要求19所述的圖像切換裝置，其特征在于，響應(yīng)來自所述客戶端的請求，將所述客戶端接收的圖像中的至少一個切換為所述M個圖像編碼數(shù)據(jù)中的其它圖像。
21.如權(quán)利要求13所述的圖像切換裝置，其特征在于，響應(yīng)來自對所述圖像編碼數(shù)據(jù)進(jìn)行中轉(zhuǎn)的會議服務(wù)器的請求，選擇所述M個圖像編碼數(shù)據(jù)中的至少一個圖像進(jìn)行所述改變，并輸出給參加會議的客戶端。
22.如權(quán)利要求13所述的圖像切換裝置，其特征在于，響應(yīng)來自會議服務(wù)器的請求，將參加會議的客戶端所接收的圖像中的至少一個切換為所述M個圖像編碼數(shù)據(jù)中的其它圖像。
23.如權(quán)利要求20所述的圖像切換裝置，其特征在于，當(dāng)根據(jù)所述請求進(jìn)行圖像編碼數(shù)據(jù)的切換時，將切換目標(biāo)的圖像的解碼圖像數(shù)據(jù)進(jìn)行幀內(nèi)編碼后再進(jìn)行切換。
24.如權(quán)利要求20所述的圖像切換裝置，其特征在于，當(dāng)根據(jù)所述請求進(jìn)行圖像編碼數(shù)據(jù)的切換時，將切換源的圖像的解碼圖像數(shù)據(jù)以預(yù)定的幀類型進(jìn)行編碼后再進(jìn)行切換。
25.一種程序，使構(gòu)成進(jìn)行圖像編碼數(shù)據(jù)的切換的裝置的計(jì)算機(jī)執(zhí)行以下處理接收M個圖像編碼數(shù)據(jù)的處理，其中M為2以上的任意整數(shù)；對接收的M個圖像編碼數(shù)據(jù)中的至少一個進(jìn)行解碼的處理；改變接收的圖像編碼數(shù)據(jù)的(1)編碼方式、(2)編碼比特率、(3)圖像大小、(4)幀率、(5)類型、(6)等級、(7)編碼選項(xiàng)、(8)視頻分組大小、(9)編碼幀類型構(gòu)成、(10)幀內(nèi)間隔、(11)幀內(nèi)宏塊數(shù)中的至少一個，從而對已解碼的數(shù)據(jù)進(jìn)行在編碼的處理；輸出已再編碼的圖像編碼數(shù)據(jù)的處理；以及根據(jù)來自裝置外部的請求對輸出的圖像編碼數(shù)據(jù)中的至少一個進(jìn)行切換的處理。
26.一種程序，使構(gòu)成進(jìn)行圖像編碼數(shù)據(jù)的切換的裝置的計(jì)算機(jī)執(zhí)行以下處理接收并分離經(jīng)多路復(fù)用的M個圖像編碼數(shù)據(jù)的處理，其中M為2以上的任意整數(shù)；對接收的M個圖像編碼數(shù)據(jù)中的至少一個進(jìn)行解碼的處理；改變接收的圖像編碼數(shù)據(jù)的(1)編碼方式、(2)編碼比特率、(3)圖像大小、(4)幀率、(5)類型、(6)等級、(7)編碼選項(xiàng)、(8)視頻分組大小、(9)編碼幀類型構(gòu)成、(10)幀內(nèi)間隔、(11)幀內(nèi)宏塊數(shù)中的至少一個，從而對已解碼的數(shù)據(jù)進(jìn)行再編碼的處理；對已再編碼的圖像編碼數(shù)據(jù)進(jìn)行多路復(fù)用并輸出的處理；以及根據(jù)來自裝置外部的請求將輸出的圖像編碼數(shù)據(jù)中的至少一個進(jìn)行切換的處理。
27.如權(quán)利要求25所述的程序，其特征在于，所述再編碼處理是，對所述M個圖像編碼數(shù)據(jù)中的多個圖像編碼數(shù)據(jù)進(jìn)行解碼，并將得到的解碼圖像中的兩個以上進(jìn)行組合，從而生成一個以上M個以下的圖像并進(jìn)行再編碼。
28.如權(quán)利要求25所述的程序，其特征在于，所述再編碼的處理進(jìn)行(1)幀內(nèi)間隔的縮短；(2)視頻分組大小的縮小；(3)幀內(nèi)宏塊數(shù)的增加；中的至少一個。
29.如權(quán)利要求25所述的程序，使所述計(jì)算機(jī)執(zhí)行以下處理響應(yīng)來自收發(fā)所述圖像編碼數(shù)據(jù)的客戶端的請求，選擇所述M個圖像編碼數(shù)據(jù)中的至少一個圖像進(jìn)行所述改變，并輸出給通信對方的客戶端。
30.如權(quán)利要求29所述的程序，使所述計(jì)算機(jī)執(zhí)行以下處理響應(yīng)來自所述客戶端的請求，將所述客戶端接收的圖像中的至少一個切換為所述M個圖像編碼數(shù)據(jù)中的其它圖像。
31.如權(quán)利要求25所述的程序，使所述計(jì)算機(jī)執(zhí)行以下處理響應(yīng)來自對所述圖像編碼數(shù)據(jù)進(jìn)行中轉(zhuǎn)的會議服務(wù)器的請求，選擇所述M個圖像編碼數(shù)據(jù)中的至少一個圖像進(jìn)行所述改變，并輸出給參加會議的客戶端。
32.如權(quán)利要求25所述的程序，使所述計(jì)算機(jī)執(zhí)行以下處理響應(yīng)來自會議服務(wù)器的請求，將參加會議的客戶端所接收的圖像中的至少一個切換為所述M個圖像編碼數(shù)據(jù)中的其它圖像。
33.如權(quán)利要求30所述的程序，使所述計(jì)算機(jī)執(zhí)行以下處理當(dāng)根據(jù)所述請求進(jìn)行圖像編碼數(shù)據(jù)的切換時，將切換目標(biāo)的圖像的解碼圖像數(shù)據(jù)進(jìn)行幀內(nèi)編碼后再進(jìn)行切換。
34.如權(quán)利要求30所述的程序，使所述計(jì)算機(jī)執(zhí)行以下處理當(dāng)根據(jù)所述請求進(jìn)行圖像編碼數(shù)據(jù)的切換時，將切換源的圖像的解碼圖像數(shù)據(jù)以預(yù)定的幀類型進(jìn)行編碼后再進(jìn)行切換。
35.一種信息通信系統(tǒng)，用于將多個客戶端和轉(zhuǎn)換服務(wù)器連接到傳輸通路上，并至少傳輸圖像編碼數(shù)據(jù)，所述信息通信系統(tǒng)的特征在于，所述轉(zhuǎn)換服務(wù)器包括接收M個圖像編碼數(shù)據(jù)的單元，其中M為2以上的任意整數(shù)；對接收的M個圖像編碼數(shù)據(jù)中的至少一個進(jìn)行解碼的單元；改變接收的圖像編碼數(shù)據(jù)的(1)編碼方式、(2)編碼比特率、(3)圖像大小、(4)幀率、(5)類型、(6)等級、(7)編碼選項(xiàng)、(8)視頻分組大小、(9)編碼幀類型構(gòu)成、(10)幀內(nèi)間隔、(11)幀內(nèi)宏塊數(shù)中的至少一個，從而對已解碼的數(shù)據(jù)進(jìn)行再編碼的單元；輸出已再編碼的圖像編碼數(shù)據(jù)的單元；以及根據(jù)來自所述轉(zhuǎn)換服務(wù)器外部的請求對輸出的圖像編碼數(shù)據(jù)中的至少一個進(jìn)行切換的單元。
36.一種信息通信系統(tǒng)，用于將多個客戶端和轉(zhuǎn)換服務(wù)器連接到傳輸通路上，并至少傳輸圖像編碼數(shù)據(jù)，所述信息通信系統(tǒng)的特征在于，所述轉(zhuǎn)換服務(wù)器包括接收并分離經(jīng)多路復(fù)用的M個圖像編碼數(shù)據(jù)的單元，其中M為2以上的任意整數(shù)；對接收的M個圖像編碼數(shù)據(jù)中的至少一個進(jìn)行解碼的單元；改變接收的圖像編碼數(shù)據(jù)的(1)編碼方式、(2)編碼比特率、(3)圖像大小、(4)幀率、(5)類型、(6)等級、(7)編碼選項(xiàng)、(8)視頻分組大小、(9)編碼幀類型構(gòu)成、(10)幀內(nèi)間隔、(11)幀內(nèi)宏塊數(shù)中的至少一個，從而對已解碼的數(shù)據(jù)進(jìn)行再編碼的單元；對已再編碼的圖像編碼數(shù)據(jù)進(jìn)行多路復(fù)用并輸出的單元；以及根據(jù)來自所述轉(zhuǎn)換服務(wù)器外部的請求將輸出的圖像編碼數(shù)據(jù)中的至少一個進(jìn)行切換的單元。
37.如權(quán)利要求35所述的信息通信系統(tǒng)，其特征在于，所述再編碼單元對所述M個圖像編碼數(shù)據(jù)中的多個圖像編碼數(shù)據(jù)進(jìn)行解碼，并將得到的解碼圖像中的兩個以上進(jìn)行組合，從而生成一個以上M個以下的圖像并進(jìn)行再編碼。
38.如權(quán)利要求35所述的信息通信系統(tǒng)，其特征在于，所述再編碼的單元進(jìn)行(1)幀內(nèi)間隔的縮短；(2)視頻分組大小的縮?。?3)幀內(nèi)宏塊數(shù)的增加；中的至少一個。
39.如權(quán)利要求35所述的信息通信系統(tǒng)，其特征在于，所述轉(zhuǎn)換服務(wù)器具有下述單元，即響應(yīng)來自收發(fā)所述圖像編碼數(shù)據(jù)的客戶端的請求，選擇所述M個圖像編碼數(shù)據(jù)中的至少一個圖像進(jìn)行所述改變，并輸出給通信對方的客戶端。
40.如權(quán)利要求39所述的信息通信系統(tǒng)，其特征在于，所述轉(zhuǎn)換服務(wù)器具有下述單元，即響應(yīng)來自所述客戶端的請求，將所述客戶端接收的圖像中的至少一個切換為所述M個圖像編碼數(shù)據(jù)中的其它圖像。
41.如權(quán)利要求35所述的信息通信系統(tǒng)，其特征在于，具有連接到所述傳輸通路上的會議服務(wù)器，所述轉(zhuǎn)換服務(wù)器具有下述單元，即響應(yīng)來自對所述圖像編碼數(shù)據(jù)進(jìn)行中轉(zhuǎn)的所述會議服務(wù)器的請求，選擇所述M個圖像編碼數(shù)據(jù)中的至少一個圖像進(jìn)行所述改變，并輸出給參加會議的客戶端。
42.如權(quán)利要求35所述的信息通信系統(tǒng)，其特征在于，具有連接到所述傳輸通路上的會議服務(wù)器，所述轉(zhuǎn)換服務(wù)器具有下述單元，即響應(yīng)來自所述會議服務(wù)器的請求，將參加會議的客戶端所接收的圖像中的至少一個切換為所述M個圖像編碼數(shù)據(jù)中的其它圖像。
43.如權(quán)利要求40所述的信息通信系統(tǒng)，其特征在于，所述轉(zhuǎn)換服務(wù)器具有下述單元，即當(dāng)根據(jù)所述請求進(jìn)行圖像編碼數(shù)據(jù)的切換時，將切換目標(biāo)的圖像的解碼圖像數(shù)據(jù)進(jìn)行幀內(nèi)編碼后再進(jìn)行切換。
44.如權(quán)利要求40所述的信息通信系統(tǒng)，其特征在于，具有下述單元，即當(dāng)根據(jù)所述請求進(jìn)行圖像編碼數(shù)據(jù)的切換時，將切換源的圖像的解碼圖像數(shù)據(jù)以預(yù)定的幀類型進(jìn)行編碼后再進(jìn)行切換。
45.一種轉(zhuǎn)換服務(wù)器裝置，其經(jīng)由傳輸通路而與多個客戶端連接，其特征在于，包括接收來自客戶端的圖像編碼數(shù)據(jù)的單元；下述的單元，即與客戶端可使用的編碼方式、編碼設(shè)定、編碼選項(xiàng)以及所述傳輸通路的狀態(tài)中的至少一個相對應(yīng)地轉(zhuǎn)換圖像編碼方式，從而發(fā)送接收的圖像編碼數(shù)據(jù)；以及下述的單元，即對于在圖像的顯示數(shù)量上受限的客戶端，將從所述圖像編碼數(shù)據(jù)中選擇的多個圖像編碼數(shù)據(jù)進(jìn)行解碼，然后合成一個圖像并再編碼，然后發(fā)送。
46.如權(quán)利要求45所述的轉(zhuǎn)換服務(wù)器裝置，其特征在于，包括多個解碼處理部，所述解碼處理部分別對來自各個客戶端的的圖像編碼數(shù)據(jù)進(jìn)行解碼，還包括下述的單元，即當(dāng)有來自所述客戶端的顯示圖像的切換請求時，在切換定時將切換目標(biāo)的圖像的解碼圖像數(shù)據(jù)進(jìn)行幀內(nèi)編碼并發(fā)送。
47.如權(quán)利要求46所述的轉(zhuǎn)換服務(wù)器裝置，其特征在于，還包括下述的單元，即當(dāng)有來自所述客戶端的切換請求時，將切換源的圖像的解碼圖像數(shù)據(jù)以預(yù)定的幀類型進(jìn)行編碼并切換。
48.如權(quán)利要求46所述的轉(zhuǎn)換服務(wù)器裝置，其特征在于，將通過所述多個解碼處理部解碼的解碼圖像數(shù)據(jù)儲存在多個解碼數(shù)據(jù)緩沖器中；具有圖像選擇、合成單元，用于選擇所述多個解碼數(shù)據(jù)緩沖器中的任何的解碼圖像數(shù)據(jù)進(jìn)行讀入，并輸出給編碼處理部，所述編碼處理部按著客戶端所支持的編碼方式、編碼設(shè)定以及編碼選項(xiàng)對所選擇解碼圖像數(shù)據(jù)進(jìn)行再編碼并輸出。
49.如權(quán)利要求48所述的轉(zhuǎn)換服務(wù)器裝置，其特征在于，所述圖像選擇、合成單元根據(jù)客戶端的請求或預(yù)定的設(shè)定組合多個解碼圖像來進(jìn)行合成，并輸出。
50.如權(quán)利要求49所述的轉(zhuǎn)換服務(wù)器裝置，其特征在于，所述圖像選擇、合成單元將所述多個(K個)解碼數(shù)據(jù)緩沖器中所緩沖的解碼圖像分別縮小至1/K并排列，由此將K個圖像作為一個圖像輸出給所述編碼處理部。
51.如權(quán)利要求48所述的轉(zhuǎn)換服務(wù)器裝置，其特征在于，若合成了所述客戶端所顯示的多個圖像而成的圖像中包括自身或其它客戶端的圖像數(shù)據(jù)，則所述圖像選擇、合成單元從解碼數(shù)據(jù)緩沖器讀入解碼圖像，并組合所述解碼圖像來進(jìn)行合成并輸出，其中所述客戶端接收來自編碼處理部的再編碼輸出，所述解碼數(shù)據(jù)緩沖器存儲通過與所述自身或其它客戶端相對應(yīng)的解碼處理部所解碼的圖像數(shù)據(jù)。
全文摘要
本發(fā)明提供一種編碼數(shù)據(jù)的轉(zhuǎn)換方法、裝置及系統(tǒng)。轉(zhuǎn)換服務(wù)器及多個客戶端連接到傳輸通路上，接收了來自客戶端的圖像編碼數(shù)據(jù)的轉(zhuǎn)換服務(wù)器對應(yīng)于各客戶端可用的編碼方式、編碼設(shè)定、編碼選項(xiàng)及傳輸通路的狀態(tài)來轉(zhuǎn)換圖像編碼方式從而進(jìn)行發(fā)送，此時對圖像顯示數(shù)量受限的客戶端，對從圖像編碼數(shù)據(jù)中選擇的多個圖像編碼數(shù)據(jù)解碼，合成一個圖像并再編碼，然后發(fā)送。此外轉(zhuǎn)換服務(wù)器具有與連接客戶端臺數(shù)相當(dāng)?shù)慕獯a處理部，其對來自各客戶端的圖像編碼數(shù)據(jù)解碼，當(dāng)有來自所述客戶端的顯示圖像的切換請求時，在切換定時對切換目標(biāo)的圖像的解碼圖像數(shù)據(jù)進(jìn)行幀內(nèi)編碼并發(fā)送，由此可實(shí)現(xiàn)不受接收的切換目標(biāo)的圖像編碼數(shù)據(jù)的幀內(nèi)定時限制的、迅速的圖像切換。
文檔編號H04N7/15GK1741610SQ200510093099
公開日2006年3月1日 申請日期2005年8月25日 優(yōu)先權(quán)日2004年8月25日
發(fā)明者出井洋明, 小山和広, 小澤一范 申請人:日本電氣株式會社