專利名稱：多方視頻會議系統(tǒng)及方法
技術領域：
本發(fā)明涉及一種多方視頻會議系統(tǒng)，更詳細地涉及如下的多方視頻會議系統(tǒng)及方法通過在多方視頻會議系統(tǒng)對在互不相同的多個地區(qū)的參與者的影像數(shù)據(jù)進行多路復用，來不受地區(qū)限制地進行多方視頻會議，并且從投影儀向屏幕照射的影像不受視頻會議空間的光的影響。
背景技術：
近來，在遠程地區(qū)面對面進行會議的視頻會議系統(tǒng)迅速向公共機關、金融圈、教 育、通信社、醫(yī)院以及企業(yè)等供給，并且，近來，隨著對視頻會議的認識性變化、視頻會議技術的發(fā)展、解決方法的多樣化及高速互聯(lián)網(wǎng)等的支持，國內(nèi)視頻會議系統(tǒng)市場也快速增大。圖I是表示普通的視頻會議系統(tǒng)的結構的圖。參照圖1，普通的視頻會議系統(tǒng)由多方視頻會議服務器部20和能夠進行多方視頻會議的視頻會議終端部10構成。當進行視頻會議時，雖然也能夠傳輸參與者的音頻數(shù)據(jù)，但本發(fā)明涉及的是影像，因此在以下的說明中以影像數(shù)據(jù)為主進行說明。上述多方視頻會議服務器部20和視頻會議終端部10通過如廣域網(wǎng)(Wide AreaNetwork :WAN)、局域網(wǎng)(Local Area Network LAN)等互聯(lián)網(wǎng)等的網(wǎng)絡15相連接。視頻會議終端部10包括多個攝像機2、多個顯示裝置及視頻處理終端5，以使多數(shù)參與者參與并參加視頻會議。各個攝像機2將拍攝各參與者來輸出到視頻處理終端5。如圖I所示，顯示裝置可由屏幕I和投影儀3構成，也可由液晶顯示器(LiquidCrystal Display :IXD)和電視機等構成。如圖I所示,顯示裝置可在一個畫面僅顯示對于一個參與者的影像，也可在一個畫面顯示對于多數(shù)參與者全體的影像。視頻處理終端5可成為個人計算機、單獨的編解碼裝置等，通過網(wǎng)絡將以文件形式包括對于通過各個上述攝像機2拍攝的各個參與者的影像數(shù)據(jù)的視頻會議數(shù)據(jù)提供給多方視頻會議服務器部10，并從多方視頻會議服務器部10接收的對方的視頻會議數(shù)據(jù)分離出與各參與者對應的影像數(shù)據(jù)之后通過相應顯示裝置進行顯示。多方視頻會議服務器部20包括多方視頻會議單元(Multi Conference Unit MCU)服務器和/或者萬維網(wǎng)(Wed)服務器等，如圖I所述，形成一個地區(qū)的視頻會議終端部10-1與另一個地區(qū)的視頻會議終端部10-2的視頻會議信道，轉換從視頻會議終端部10-1及視頻會議終端部10-2發(fā)送的視頻會議數(shù)據(jù)后提供給對方視頻會議終端部。如上所述，現(xiàn)有的多方視頻會議系統(tǒng)具有如下問題由于多方視頻會議單元服務器僅限于在兩個地區(qū)之間形成的參與者之間收發(fā)視頻會議數(shù)據(jù)，因而只能進行兩個地區(qū)之間的視頻會議，而不能進行三個地區(qū)以上的參與者之間的視頻會議。并且，現(xiàn)有的多方視頻會議系統(tǒng)具有如下問題由于視頻會議終端部將兩個地區(qū)各自的參與者拍攝的影像數(shù)據(jù)以各自的文件形式通過多方視頻會議單元服務器來傳輸?shù)綄Ψ揭曨l會議終端部，因而向?qū)Ψ焦┙o的影像數(shù)據(jù)具有各自的背景畫面，并非統(tǒng)一的背景，因此使參與者覺得處在互不相同的場所，并且不能帶給參與者正在進行會議的感覺和投入感。

發(fā)明內(nèi)容
因此，本發(fā)明的一目的在于，提供不受地區(qū)限制地使互不相同的多地區(qū)的多數(shù)參與者進行多方會議的多方視頻會議系統(tǒng)及方法。本發(fā)明的再一目的在于，提供通過對顯示在任意參與者一側的多數(shù)參與者的背景畫面進行色度鑲迭(Chroma Key)來進行顯示，以使參與者覺得在同一場所進行會議的多方視頻會議系統(tǒng)及方法。本發(fā)明的另一目的在于，提供采用彎曲型屏幕，并能夠?qū)⒍喾揭曨l會議影像無失真地顯示在彎曲型屏幕的多方視頻會議系統(tǒng)及方法。
本發(fā)明的還一目的在于，提供通過將投影儀設置在與屏幕前方的視頻會議空間隔斷的屏幕的后方，以防止從投影儀向平面式或彎曲型屏幕照射的影像受到視頻會議空間的光的影響，來向屏幕的后表面照射影像的多方視頻會議系統(tǒng)及方法。用于達成上述目的的本發(fā)明的多方視頻會議系統(tǒng)，其特征在于，包括多個視頻會議終端部，拍攝一人以上的參與者來發(fā)送各參與者的影像數(shù)據(jù)，接收多方視頻會議影像數(shù)據(jù)來進行顯示；多方視頻會議服務器部，其通過用于進行多方視頻會議的互不相同的兩個地區(qū)以上的視頻會議終端部來決定多方視頻會議組，生成將從所決定的上述多方視頻會議組的視頻會議終端部接收的多個影像數(shù)據(jù)合成為一個畫面的多方視頻會議影像數(shù)據(jù)，來發(fā)送到上述視頻會議終端部。本發(fā)明的特征在于，包括一個以上的攝像機，其用于分別拍攝一人以上的參與者；屏幕；投影儀，其將上述多方視頻會議影像數(shù)據(jù)顯示在上述屏幕；視頻處理終端，其將在上述攝像機拍攝而輸入的影像數(shù)據(jù)發(fā)送給上述多方視頻會議服務器部，接收上述多方視頻會議影像數(shù)據(jù)，來通過上述投影儀顯示在上述屏幕。本發(fā)明的特征在于，上述屏幕為彎曲型屏幕。本發(fā)明的特征在于，具有兩個以上的上述投影儀；上述視頻處理終端在轉換上述多方視頻會議影像數(shù)據(jù)使其與上述屏幕的彎曲面相對應之后，根據(jù)預先設定的要顯示在上述屏幕上的影像的大小來分割上述多方視頻會議影像數(shù)據(jù)后，通過上述投影儀照射到上述屏幕。本發(fā)明的特征在于，上述視頻處理終端對上述多方視頻會議影像數(shù)據(jù)進行扭曲處理來轉換該多方視頻會議影像數(shù)據(jù)使其與上述屏幕的彎曲面相對應。本發(fā)明的特征在于，上述視頻處理終端為了使通過上述兩個以上的投影儀將轉換后的上述多方視頻會議影像數(shù)據(jù)投射到上述屏幕上時重疊的重疊區(qū)域顯得自然而對上述重疊區(qū)域進行調(diào)和處理來轉換該重疊區(qū)域。本發(fā)明的特征在于，上述視頻處理終端對上述多方視頻會議影像數(shù)據(jù)的背景進行色度鑲迭來將其轉換為統(tǒng)一的背景畫面。本發(fā)明的特征在于，上述投影儀設置在投影儀設置空間，向上述屏幕的后表面照射影像；上述屏幕為為半透射型屏幕，該半透射型屏幕設置在具有用于照射光的照明的視頻會議空間和上述投影儀設置空間之間，來隔斷上述光射向上述投影儀設置空間，并以上述視頻會議空間為基準使得向后表面投射的影像進行半透射而顯示在前表面。本發(fā)明的特征在于，上述視頻處理終端在對上述多方視頻會議影像數(shù)據(jù)進行左右對稱翻轉處理，以使多方視頻會議影像進行左右對稱翻轉之后，通過上述投影儀使上述多方視頻會議影像顯示在上述半透射型屏幕本發(fā)明的特征在于，上述半透射型屏幕為彎曲型屏幕。本發(fā)明的特征在于，具有兩個以上的上述投影儀；上述視頻處理終端在轉換上述多方視頻會議影像數(shù)據(jù)使其與上述屏幕的彎曲面相對應之后，根據(jù)預先設定的要顯示在上述屏幕上的影像的大小來分割上述多方視頻會議影像數(shù)據(jù)后通過上述投影儀照射到上述屏幕。本發(fā)明的特征在于，上述視頻處理終端對上述多方視頻會議影像數(shù)據(jù)進行扭曲處 理來轉換該多方視頻會議影像數(shù)據(jù)，以使其與上述屏幕的彎曲面相對應。本發(fā)明的特征在于，上述視頻處理終端為了使通過上述兩個以上的投影儀將轉換后的上述多方視頻會議影像數(shù)據(jù)投射到上述屏幕上時重疊的重疊區(qū)域顯得自然而對上述重疊區(qū)域進行調(diào)和處理來轉換該重疊區(qū)域。本發(fā)明的特征在于，上述視頻處理終端對上述多方視頻會議影像數(shù)據(jù)的背景進行色度鑲迭來將其轉換為統(tǒng)一的背景畫面。用于達成上述目的的本發(fā)明的多方視頻會議方法，其特征在于，包括如下過程供給多方視頻會議影像的過程，上述多方視頻會議服務器部將把從位于互不相同的兩個地區(qū)以上的多方視頻會議組的多個視頻會議終端部接收的影像數(shù)據(jù)合成為一個畫面的多方視頻會議影像數(shù)據(jù)發(fā)送到各個上述多方視頻會議組的多個視頻會議終端部；顯示過程，各個上述視頻終端部接收上述多方會議影像數(shù)據(jù)來進行顯示。本發(fā)明的特征在于，上述供給多方視頻會議影像的過程包括如下步驟決定多方視頻組的步驟，通過用于進行多方視頻會議的互不相同的兩個地區(qū)以上的視頻會議終端部來決定多方視頻會議組；接收影像數(shù)據(jù)的步驟，從決定了組的上述多方視頻會議組的視頻會議終端部接收影像數(shù)據(jù)；合成步驟,生成將所接收的上述影像數(shù)據(jù)合成為一個畫面的多方視頻會議影像數(shù)據(jù)；發(fā)送多方會議影像的步驟，將上述多方視頻會議影像數(shù)據(jù)發(fā)送到視頻會議終端部。本發(fā)明的特征在于，上述顯示過程包括如下步驟接收步驟，接收上述多方視頻會議影像數(shù)據(jù)；分割步驟，與預先設定的屏幕畫面的大小對應地、按照投影儀的數(shù)量來分割所接收的上述多方視頻會議影像數(shù)據(jù)；顯示步驟，通過相應投影儀將分割后的上述多方視頻會議影像數(shù)據(jù)分別投射到屏幕。本發(fā)明的特征在于，上述顯示過程還包括左右對稱翻轉步驟，在該左右對稱翻轉步驟中，對上述多方視頻會議影像數(shù)據(jù)進行左右對稱翻轉處理，以使多方視頻會議影像進行左右對稱翻轉；在上述顯示步驟中，在將分割后的上述多方視頻會議影像數(shù)據(jù)分別轉換為分割多方視頻會議影像之后，通過設置在投影儀設置空間的相應投影儀投射到半透射型屏幕的后表面來進行顯示，其中，上述投影儀設置空間為設置在視頻會議空間和投影儀設置空間之間的半透射型屏幕的后方空間。本發(fā)明的特征在于，上述接收步驟之后還包括扭曲步驟，在該扭曲步驟中，通過根據(jù)上述彎曲面對多方視頻會議影像數(shù)據(jù)進行扭曲處理來轉換該多方視頻會議影像數(shù)據(jù)，以能夠在彎曲型屏幕的彎曲面顯示為最佳視頻。本發(fā)明的特征在于，上述接收步驟之后還包括色度鑲迭步驟，在該色度鑲迭步驟中，對上述多方視頻會議影像數(shù)據(jù)的背景進行色度鑲迭來將其轉換為統(tǒng)一的背景畫面。本發(fā)明的特征在于，上述色度鑲迭步驟之后還包括扭曲步驟，在該扭曲步驟中，根據(jù)上述彎曲面，而對多方視頻會議影像數(shù)據(jù)進行扭曲處理來轉換該多方視頻會議影像數(shù)據(jù)，以能夠在彎曲型屏幕的彎曲面顯示為最佳視頻。本發(fā)明的特征在于，上述扭曲步驟及分離步驟之后還包括調(diào)和步驟，在該調(diào)和步驟中，為了使在將分離后的多方視頻會議影像數(shù)據(jù)顯示在彎曲型屏幕時產(chǎn)生的重疊區(qū)域顯得自然而對上述分離后的多方視頻會議影像數(shù)據(jù)的重疊區(qū)域進行調(diào)和處理來轉換該重疊區(qū)域。本發(fā)明的多方視頻會議單元將對于處在不同地區(qū)的多數(shù)參與者各自的影像合成起來后傳輸?shù)竭M行多方會議的對方，因此具有不受地區(qū)限制，且能夠與不同地區(qū)的多數(shù)參 與者進行視頻會議的效果。并且，本發(fā)明對背景畫面和參與者的影像進行色度鑲迭后進行顯示，因此具有使處在不同地區(qū)的參與者覺得在同一場所進行會議的效果。并且，本發(fā)明采用彎曲型屏幕，以參與者為中心彎曲地顯示多方視頻會議數(shù)據(jù)，因此具有使參與者對視頻會議更加集中的效果。并且，本發(fā)明將投影儀設置在與視頻會議空間隔斷的屏幕的背后空間，來向屏幕的后表面投射影像，因此具有不受有參與者的在視頻會議空間中存在的照明的光的影響，能夠通過屏幕看見更加清楚而清晰的影像的效果。并且，本發(fā)明將投影儀設置在屏幕的背后，因此具有無需為了視頻會議將投影儀設置在有參與者的視頻會議空間的天花板或桌子上，并且能夠?qū)⒁曨l會議空間構成為更加簡單而潔凈的效果。


圖I是表示普通的多方視頻會議系統(tǒng)結構的圖。圖2是表示本發(fā)明第一實施例的多方視頻會議系統(tǒng)的結構的圖。圖3是表示本發(fā)明第一實施例的多方視頻會議系統(tǒng)的視頻處理終端的詳細框結構的圖。圖4是用于說明本發(fā)明第一實施例的視頻會議影像數(shù)據(jù)的扭曲及調(diào)和的圖。圖5是表示本發(fā)明第一實施例的多方視頻會議系統(tǒng)中的多方視頻會議方法的步驟圖。圖6是表示本發(fā)明第一實施例的視頻會議終端部中的多方視頻會議方法的步驟圖。圖7是表示本發(fā)明第二實施例的多方視頻會議系統(tǒng)的結構的圖。圖8是用于說明光對從本發(fā)明第一實施例及第二實施例的視頻會議終端部的投影儀照射的影像造成的影響的圖。圖9是表示本發(fā)明第二實施例的多方視頻會議系統(tǒng)的多方視頻會議終端的詳細框結構的圖。
圖10是表示設置有本發(fā)明第二實施例的多方視頻會議系統(tǒng)的視頻會議終端部的視頻會議空間的俯視圖的圖。圖11是用于說明本發(fā)明第二實施例的視頻會議影像數(shù)據(jù)的扭曲及調(diào)和的圖。
圖12是表示本發(fā)明第二實施例的在多方視頻會議系統(tǒng)的視頻會議終端部中多方視頻會議的視頻影像顯示方法的流程圖。附圖標記的說明100 :視頻會議終端部 101、102:屏幕103:分離影像重疊區(qū)域110:視頻處理終端111 :影像獲取部112 :通信部113:影像分離部114:扭曲部115:調(diào)和部116:影像輸出部117:色度鑲迭處理部 118:左右對稱翻轉部120、121:投影儀130 :攝像機150:網(wǎng)絡160 :視頻會議空間170 :投影儀設置空間 200 :多方視頻會議服務器部
具體實施例方式下面，參照附圖對本發(fā)明第一實施例及第二實施例的多方視頻會議系統(tǒng)及其動作進行說明。(第一實施例)圖2是表示本發(fā)明第一實施例的多方視頻會議系統(tǒng)的結構的圖。本發(fā)明的多方視頻會議系統(tǒng)由多個視頻會議終端部100和多方視頻會議服務器部200構成。上述多個視頻會議終端部100和多方視頻會議服務器部200通過如廣域網(wǎng)(WideArea Network :WAN)、局域網(wǎng)(Local Area Network :LAN)等互聯(lián)網(wǎng)等的網(wǎng)絡15相連接，來根據(jù)傳輸控制協(xié)議/因特網(wǎng)互聯(lián)協(xié)議(TCP/IP協(xié)議)和/或用戶數(shù)據(jù)包協(xié)議(UDP協(xié)議)進行數(shù)據(jù)通信。視頻會議終端部100包括顯示裝置、攝像機130以及視頻處理終端110。圖2表示視頻會議終端部100的顯示裝置由彎曲型屏幕101及投影儀120構成的情況。視頻會議終端部100在連接上述多方視頻會議服務器部200并利用用戶名和密碼等登錄之后，參與多方視頻會議組，多方視頻會議一開始，便拍攝一人以上的參與者來將參與者的影像數(shù)據(jù)提供給多方視頻會議服務器部200。并且，視頻會議終端部100把要在其本身包括的顯示裝置中顯示的多方視頻會議影像的大小信息提供給多方視頻會議服務器部200。多方視頻會議服務器部200可由多方視頻會議單元(MCU)服務器及萬維網(wǎng)服務器構成，也可以使多方視頻會議單元服務器兼具萬維網(wǎng)服務器的功能。這種多方視頻會議服務器部200提供編組單元，以使多個視頻會議終端部100的要登錄及已登錄的兩個地區(qū)以上的位于互不相同的場所的多個視頻會議終端部100進行多方視頻會議，從經(jīng)編組后的各個視頻會議終端部100接收對于一人以上的參與者的影像數(shù)據(jù)，并生成對以與傳輸了所接收的上述影像數(shù)據(jù)的視頻會議終端部100的畫面大小相對應的方式接收的影像數(shù)據(jù)進行了合成的多方視頻會議影像數(shù)據(jù)，來發(fā)送到相應視頻會議終端部100。此時，要傳輸?shù)囊曨l會議終端部100的參與者的影像數(shù)據(jù)未合成到上述多方視頻會議影像數(shù)據(jù)中。圖3是表示本發(fā)明第一實施例的多方視頻會議系統(tǒng)的視頻處理終端的詳細框結構的圖，是表示由彎曲型屏幕和投影儀構成顯示裝置時的視頻處理終端的結構的圖，圖4是用于說明本發(fā)明第一實施例的視頻會議影像數(shù)據(jù)的扭曲及調(diào)和的圖。下面，參照圖2至圖4進行說明。視頻處理終端110包括影像獲取部111、通信部112、影像分離部113、扭曲部114、調(diào)和部115、影像輸出部116、色度鑲迭處理部117以及控制部118?？刂撇?18控制本發(fā)明視頻處理終端110的整體動作。特別是，控制部118在連接多方視頻會議服務器部200時，接收登錄信息之后通過通信部112將該登錄信息提供給多方視頻會議服務器部200，登錄時、多方視頻會議編組時或者視頻會議開始時把要通過影像輸出部116和投影儀120顯示在屏幕101的影像的大小信息提供給多方視頻會議服務器 部200。并且，控制部118具有彎曲型屏幕101的彎曲面的彎曲角度信息、連接在影像輸出部116的投影儀120的數(shù)量等信息。影像獲取部111生成對于通過攝像機120拍攝的影像的影像數(shù)據(jù)后進行輸出。通信部112連接網(wǎng)絡150來與上述多方視頻會議服務器部200進行數(shù)據(jù)通信。色度鑲迭處理部117在所接收的多方視頻會議影像中僅檢測出參與者，并且將所檢測出的參與者的影像和從控制部118輸入的新的背景影像合成起來后進行輸出。上述背景影像可成為會議室背景影像等。影像分離部113受到控制部118的控制來與投影儀120的數(shù)量相對應地分割經(jīng)色度鑲迭處理后的上述多方視頻會議影像數(shù)據(jù)，其中，上述投影儀120與影像輸出部116相連接。扭曲部114受到上述控制部118的控制來縮小或放大要在上述彎曲型屏幕101的彎曲面顯示的影像的一部分以防止該影像失真或歪斜，而后進行轉換影像的扭曲(Warping)處理以使該影像符合投影環(huán)境，即屏幕101的彎曲面的彎曲角度等的環(huán)境后進行輸出。為此，扭曲部114采用像素(Pixel)單位的畫面調(diào)整和部分影像的壓縮方式。圖3雖表示了在上述影像分離部113后端構成扭曲部114的情況，但也可以在影像分離部113的前端構成扭曲部114。即，扭曲處理也可以在分割多方視頻會議影像數(shù)據(jù)之前進行。調(diào)和部115為了消除因通過多個投影儀120向彎曲型屏幕101的彎曲面投射經(jīng)分割、扭曲后的上述多方視頻會議影像數(shù)據(jù)而產(chǎn)生的圖4的重疊區(qū)域103，對上述重疊區(qū)域103進行調(diào)和(Blending)處理后進行輸出。具體說明如下，在兩個以上的投影儀120向一個畫面投射的情況下會產(chǎn)生重疊區(qū)域103，這種重疊區(qū)域103由于兩個影像重疊，因而亮度增大，所以顯得突出。將調(diào)節(jié)像這樣變亮的重疊區(qū)域103的亮度(Brightness)和對比度(Contrast)來消除重疊區(qū)域103的突出部分的處理稱為調(diào)和。影像輸出部116通過相應投影儀120投射從上述調(diào)和部115輸出的分割后的多方視頻會議影像數(shù)據(jù)。上述圖2至圖4對硬件結構進行了說明。下面，將參照圖5對本發(fā)明的多方視頻會議方法進行說明。圖5是表示本發(fā)明多方視頻會議方法的步驟圖。首先，任意的視頻會議終端部100連接多方視頻會議服務器部200并登錄之后，請求多方視頻會議(步驟S511)。那么，多方視頻會議服務器部200根據(jù)僅將視頻會議終端部100-1所邀請的視頻會議終端部100-2及視頻會議終端部100-3編組成多方會議組的邀請方式或者上述多方視頻會議請求而生成視頻會議室(Room)，視頻會議終端部100-2及視頻會議終端部100-3分別進入上述視頻會議室，從而借助對視頻會議組進行編組的室方式等來編組多方會議組(步驟 S513)。如上所述，多方會議組的編組一結束，便根據(jù)視頻會議終端部100-1等的視頻會議開始請求而開始視頻會議(步驟S515)，那么，視頻會議終端部100開始將各自的影像數(shù)據(jù)發(fā)送給多方視頻會議服務器部200，那么，多方視頻會議服務器部200使從上述視頻會議終端部100接收的影像數(shù)據(jù)的大小一致之后進行合成，來生成多方視頻會議影像數(shù)據(jù)(步 驟S517)。此時，上述多方視頻會議影像數(shù)據(jù)中不包含要接收多方視頻會議影像數(shù)據(jù)的視頻會議終端部100的影像數(shù)據(jù)。舉例說明，向視頻會議終端部100-1傳輸?shù)亩喾揭曨l會議影像數(shù)據(jù)中不包含由上述視頻會議終端部100-1傳輸?shù)挠跋駭?shù)據(jù)。上述多方視頻會議影像數(shù)據(jù)一生成，多方視頻會議服務器部200便將所生成的多方視頻會議影像數(shù)據(jù)傳輸?shù)浇?jīng)編組的視頻會議終端部100 (步驟S519)。圖6是表示本發(fā)明第一實施例的在視頻會議終端部中的多方視頻會議方法步驟圖。如圖5的步驟S515，多方視頻會議一開始(步驟S711)，視頻處理終端110便通過影像獲取部111控制攝像機130，使其拍攝參與者來獲取影像數(shù)據(jù)，并開始通過通信部112來將所獲取的影像數(shù)據(jù)傳輸?shù)蕉喾揭曨l會議服務器部200 (步驟S713)。上述影像數(shù)據(jù)的發(fā)送一開始，視頻處理終端110便檢查是否從多方視頻會議服務器部200接收多方視頻會議影像數(shù)據(jù)(步驟S715)。如果開始接收多方視頻會議影像數(shù)據(jù)，視頻處理終端110便進行將上述多方視頻會議影像數(shù)據(jù)的背景合成為統(tǒng)一的背景畫面的色度鑲迭處理(步驟S716)。上述色度鑲迭處理一結束，視頻處理終端110便通過影像分離部113來與投影儀120的數(shù)量相對應地分割上述多方視頻會議影像數(shù)據(jù)(步驟S717)。并且，在扭曲部114對分割后的上述多方視頻會議影像數(shù)據(jù)分別進行扭曲處理(步驟S719)之后，在調(diào)和部115對從各投影儀120投射的影像重疊在一起的重疊區(qū)域102進行調(diào)和處理(步驟S721)。上述調(diào)和處理一結束，視頻處理終端110便通過影像輸出部116通過相應投影儀120將分割后的多方視頻會議影像數(shù)據(jù)投射到彎曲型屏幕101。(第二實施例)圖7是表示本發(fā)明第二實施例的視頻會議系統(tǒng)的結構的圖，圖8是用于說明光對從本發(fā)明第一實施例及第二實施例的視頻會議終端部的從投影儀照射的影像造成的影響的圖，圖8的(a)是表示投影儀設置在視頻會議空間部160的情況，圖8的(b)是表示投影儀設置在投影儀設置空間部170的情況。下面，將參照圖7及圖8進行說明。應當注意，參照以下的附圖進行說明時，對于與上述第一實施例相同的結構采用了相同的附圖標記。
本發(fā)明視頻會議系統(tǒng)由多個視頻會議終端裝置100和多方視頻會議服務器部200構成。上述多個視頻會議終端裝置100和多方視頻會議服務器部200通過如廣域網(wǎng)(Wide Area Network :WAN)、局域網(wǎng)(Local Area Network LAN)等互聯(lián)網(wǎng)等的網(wǎng)絡 150 相連接，來根據(jù)傳輸控制協(xié)議/因特網(wǎng)互聯(lián)協(xié)議(TCP/IP協(xié)議)和/或用戶數(shù)據(jù)包協(xié)議(UDP協(xié)議)進行數(shù)據(jù)通信。視頻會議終端裝置100包括屏幕102、投影儀121、攝像機130以及視頻處理終端110。如圖8所示，存在視頻會議終端裝置100的視頻會議空間部由視頻會議空間160和投影儀設置空間170構成。上述屏幕102設置在視頻會議空間160和投影儀設置空間170之間，并且，上述屏 幕102與墻壁形成一體，以最大限度地防止從照明6照射的光透射到投影儀設置空間170，并使得從后方投射的影像進行半透射而顯示在前表面。上述屏幕102由能夠使影像半透射以僅僅使得從后方的投影儀121投射的影像顯示在屏幕的前表面上的材質(zhì)形成。上述屏幕102的材質(zhì)可以利用聚碳酸酯(Polycarbonate PC)系列的塑料。上述屏幕102的形態(tài)可以采用平面型，也可以采用彎曲型(或稱為“曲面型”)。但是，優(yōu)選地，本發(fā)明采用彎曲型，以造成投入感。如圖8所示，在作為屏幕102的背后空間的投影儀設置空間170設置一個以上的投影儀121，來向屏幕102的后表面投射視頻會議影像。在上述屏幕102的上、下、左、右側具有一個以上攝像機130，來將拍攝視頻會議空間160的影像輸出到視頻處理終端110。如上所述，能夠通過設置屏幕102和投影儀121，來防止在像圖8的(a)那樣在視頻會議空間160同時設置屏幕102和投影儀121時可能發(fā)生照明6的光12對影像11造成影響的情況。并且，由于將投影儀121設置于在屏幕102的背后形成的投影儀設置空間170，因而視頻會議中無需關閉視頻會議空間160的照明6或減少亮度，由此能夠為在視頻會議空間160進行視頻會議的參與者營造更加舒適的環(huán)境，也能給攝像機130提供充分的光，因而也能給對方側提供視頻效果光亮而鮮明的視頻會議影像。視頻會議終端裝置100的視頻處理終端110通過參與者來連接上述多方視頻會議服務器部200，并利用上述參與者輸入的用戶名和密碼等登錄之后，參與多方視頻會議組，多方視頻會議一開始，便利用一個以上的攝像機130拍攝視頻會議空間之后將處在該視頻會議空間的參與者的影像數(shù)據(jù)提供給多方視頻會議服務器部200。并且，視頻會議終端裝置100把要顯示在其本身的屏幕102的多方視頻會議影像的大小信息提供給多方視頻會議服務器部200。并且，視頻處理終端110按照所設置的投影儀121的數(shù)量來分割從多方視頻會議服務器部200接收的多方視頻會議影像數(shù)據(jù)，并根據(jù)屏幕102的形態(tài)轉換該多方視頻會議影像數(shù)據(jù)之后輸出到各投影儀121。多方視頻會議服務器部200可由多方視頻會議單元(MCU)服務器及萬維網(wǎng)服務器構成，也可以使多方視頻會議單元服務器兼具萬維網(wǎng)服務器的功能。這種多方視頻會議服務器部200提供編組單元，以使多個視頻會議終端部100的要登錄及已登錄的兩個地區(qū)以上的位于互不相同的場所的多個視頻會議終端裝置100進行多方視頻會議，從經(jīng)編組后的各個視頻會議終端裝置100接收對于一人以上的參與者的影像數(shù)據(jù)，并生成對以與傳輸了所接收的上述影像數(shù)據(jù)的視頻會議終端部100的畫面大小相對應的方式接收的影像數(shù)據(jù)進行了合成的多方視頻會議影像數(shù)據(jù)，來發(fā)送到相應視頻會議終端裝置100。此時，要傳輸?shù)囊曨l會議終端裝置100的參與者的影像數(shù)據(jù)未合成到上述多方視頻會議影像數(shù)據(jù)中。圖9是表示本發(fā)明第二實施例的多方視頻會議系統(tǒng)的視頻處理終端的詳細框結構的圖，圖10是表示設置有本發(fā)明第二實施例的多方視頻會議系統(tǒng)的視頻會議終端部的視頻會議空間的俯視圖的圖，圖11是用于說明采用本發(fā)明的彎曲型屏幕的視頻會議影像的扭曲及調(diào)和的圖。下面，將參照圖7至圖11進行說明。視頻處理終端110包括影像獲取部111、通信部112、影像分離部1 13、左右對稱翻轉部118、扭曲部114、調(diào)和部115、影像輸出部116、色度鑲迭處理部117以及控制部119。控制部118控制本發(fā)明的視頻處理終端110的整體動作。特別是，控制部118在連接多方視頻會議服務器部200時，接收登錄信息之后通過通信部將該登錄信息提供給多方視頻會議服務器部200，登錄時、多方視頻會議編組時或者視頻會議開始時把要通過影像輸出部116和投影儀120顯示在屏幕101的影像的大小信息提供給多方視頻會議服務器部200。并且，控制部118具有彎曲型屏幕101的彎曲面的彎曲角度信息、連接在影像輸出部116的投影儀120的數(shù)量等信息。影像獲取部111生成對于通過攝像機120拍攝的影像的影像數(shù)據(jù)后進行輸出。通信部112連接網(wǎng)絡150來與上述多方視頻會議服務器部200進行數(shù)據(jù)通信。色度鑲迭處理部117在所接收的多方視頻會議影像中僅檢測出參與者，并將所檢測出的參與者的影像和從控制部118輸入的新的背景影像合成起來后進行輸出。上述背景影像可成為會議室背景影像等。左右對稱翻轉部118使從上述色度鑲迭處理部117輸入的多方視頻會議影像進行左右翻轉后進行輸出。這是因為，由于本發(fā)明的投影儀121從屏幕102的背后投射影像，因而為了防止在參與者的立場看影像時左右顛倒。影像分離部113受到控制部118的控制來與投影儀120的數(shù)量相對應地分割經(jīng)色度鑲迭處理、左右翻轉后的上述多方視頻會議影像數(shù)據(jù)后進行輸出，其中，上述投影儀120與影像輸出部116相連接。扭曲部114受到上述控制部118的控制來縮小或放大要根據(jù)上述屏幕102的形態(tài)在屏幕102顯示的影像的一部分以防止該影像失真或歪斜，而后進行轉換影像的扭曲(Warping)處理，以使該影像符合投影環(huán)境，即屏幕102的彎曲角度等的環(huán)境后進行輸出。為此，扭曲部114采用像素(Pixel)單位的畫面調(diào)整和部分影像的壓縮方式。例如，在采用彎曲型屏幕，并如本申請的發(fā)明一樣從屏幕102的背后投射影像的情況下，會向屏幕的凸出的一面投射影像。由此，扭曲部114采用像素(Pixel)單位的畫面調(diào)整和部分影像壓縮方式來進行扭曲處理，以使該影像與屏幕102的凸出的彎曲面的彎曲角度相對應。圖9表示在上述影像分離部113后端構成扭曲部114的情況，但也可以在影像分離部113的前端構成扭曲部114。即，扭曲處理也可以在分割多方視頻會議影像數(shù)據(jù)之前進行。調(diào)和部115為了消除因通過多個投影儀121向屏幕102投射經(jīng)分割、扭曲后的上述多方視頻會議影像數(shù)據(jù)而產(chǎn)生的圖10及圖11的重疊區(qū)域103，對上述重疊區(qū)域103進行調(diào)和(Blending)處理后進行輸出。具體說明如下，在兩個以上的投影儀120向一個畫面投射的情況下會產(chǎn)生重疊區(qū)域103，這種重疊區(qū)域103由于兩個影像重疊，因而亮度增大，所以顯得突出。將調(diào)節(jié)像這樣變亮的重疊區(qū)域103的亮度(Br ightnes s)和對比度(Contrast)來消除重疊區(qū)域103的突出部分的處理稱為調(diào)和。影像輸出部116通過相應投影儀120投射從上述調(diào)和部115輸出的分割后的多方視頻會議影像數(shù)據(jù)。上述圖I至圖11對硬件結構進行了說明。下面，將參照圖12對在視頻會議終端裝置100的影像顯示方法進行說明。圖12是表示本發(fā)明的在視頻會議終端部的根據(jù)多方視頻會議的視頻影像顯示方法的流程圖。
視頻會議一開始，視頻處理終端110便通過影像獲取部111控制攝像機130，使其拍攝參與者來獲取影像數(shù)據(jù)，并開始通過通信部112來將獲取的影像數(shù)據(jù)傳輸?shù)蕉喾揭曨l會議服務器部200。上述影像數(shù)據(jù)的發(fā)送一開始，視頻處理終端110便檢查是否從多方視頻會議服務器部200接收多方視頻會議影像數(shù)據(jù)(步驟S811)。如果開始接收多方視頻會議影像數(shù)據(jù)，視頻處理終端110便進行將上述多方視頻會議影像數(shù)據(jù)的背景合成為統(tǒng)一的背景畫面的色度鑲迭處理(步驟S813)。上述色度鑲迭處理一結束，視頻處理終端110便使經(jīng)色度鑲迭處理后的多方視頻會議影像數(shù)據(jù)進行左右翻轉后進行輸出(步驟S815)。上述多方視頻會議影像的左右翻轉一結束，視頻處理終端110便通過影像分離部113來與投影儀120的數(shù)量相對應地分割上述多方視頻會議影像數(shù)據(jù)后進行輸出(步驟S817)。并且，在扭曲部114對分割后的上述多方視頻會議影像數(shù)據(jù)分別進行扭曲處理(步驟S819)之后，在調(diào)和部115對從投影儀120投射的影像重疊在一起的重疊區(qū)域102進行調(diào)和處理(步驟S821)。上述調(diào)和處理一結束，視頻處理終端110便通過影像輸出部116通過相應投影儀120將分割后的多方視頻會議影像數(shù)據(jù)投射到屏幕101。由此，如圖8所示，由于從設置在視頻會議空間160的照明6照射的光不向投影儀設置空間170投射，因而不會對從投影儀121向屏幕102的背面投射的影像造成影響。由此，在屏幕102的前表面顯示的影像變得鮮明而清晰。并且，由于可以不關閉視頻會議空間160的照明6，因而攝像機能夠確保用于拍攝被拍攝體的充分的照明度，所以能夠給對方傳輸鮮明而清晰的影像。另一方面，本發(fā)明不局限于上述典型的優(yōu)選實施例，對于本發(fā)明所屬技術領域的普通技術人員來說，應當理解，在不脫離本發(fā)明的主旨的范圍內(nèi)，能夠?qū)嵤┒喾N改進、變更、替換或附加。只要根據(jù)改進、變更、替換或附加進行的實施屬于所附的權利要求書的范疇，就應視為其技術思想也屬于本發(fā)明。
權利要求
1.一種多方視頻會議系統(tǒng)，其特征在于，包括 多個視頻會議終端部，拍攝一人以上的參與者來發(fā)送各參與者的影像數(shù)據(jù)，接收多方視頻會議影像數(shù)據(jù)來進行顯示； 多方視頻會議服務器部，其通過用于進行多方視頻會議的互不相同的兩個地區(qū)以上的視頻會議終端部來決定多方視頻會議組，生成將從所決定的上述多方視頻會議組的視頻會議終端部接收的多個影像數(shù)據(jù)合成為一個畫面的多方視頻會議影像數(shù)據(jù)，來發(fā)送到上述視頻會議終端部。
2.根據(jù)權利要求I所述的多方視頻會議系統(tǒng)，其特征在于，包括 一個以上的攝像機，其用于分別拍攝一人以上的參與者； 屏眷; 投影儀，其將上述多方視頻會議影像數(shù)據(jù)顯示在上述屏幕； 視頻處理終端，其將在上述攝像機拍攝而輸入的影像數(shù)據(jù)發(fā)送給上述多方視頻會議服務器部，接收上述多方視頻會議影像數(shù)據(jù)，來通過上述投影儀顯示在上述屏幕。
3.根據(jù)權利要求2所述的多方視頻會議系統(tǒng)，其特征在于，上述屏幕為彎曲型屏幕。
4.根據(jù)權利要求3所述的多方視頻會議系統(tǒng)，其特征在于， 具有兩個以上的上述投影儀； 上述視頻處理終端在轉換上述多方視頻會議影像數(shù)據(jù)使其與上述屏幕的彎曲面相對應之后，根據(jù)預先設定的要顯示在上述屏幕上的影像的大小來分割上述多方視頻會議影像數(shù)據(jù)后通過上述投影儀照射到上述屏幕。
5.根據(jù)權利要求4所述的多方視頻會議系統(tǒng)，其特征在于，上述視頻處理終端對上述多方視頻會議影像數(shù)據(jù)進行扭曲處理來轉換該多方視頻會議影像數(shù)據(jù)使其與上述屏幕的彎曲面相對應。
6.根據(jù)權利要求4所述的多方視頻會議系統(tǒng)，其特征在于，上述視頻處理終端為了使通過上述兩個以上的投影儀將轉換后的上述多方視頻會議影像數(shù)據(jù)投射到上述屏幕上時重疊的重疊區(qū)域顯得自然而對上述重疊區(qū)域進行調(diào)和處理來轉換該重疊區(qū)域。
7.根據(jù)權利要求4所述的多方視頻會議系統(tǒng)，其特征在于，上述視頻處理終端對上述多方視頻會議影像數(shù)據(jù)的背景進行色度鑲迭來將其轉換為統(tǒng)一的背景畫面。
8.根據(jù)權利要求2所述的多方視頻會議系統(tǒng)，其特征在于， 上述投影儀設置在投影儀的設置空間，向上述屏幕的后表面照射影像； 上述屏幕為半透射型屏幕，該半透射型屏幕設置在具有用于照射光的照明的視頻會議空間和上述投影儀設置空間之間，來隔斷上述光射向上述投影儀設置空間，并以上述視頻會議空間為基準使得向后表面投射的影像進行半透射而顯示在前表面。
9.根據(jù)權利要求8所述的多方視頻會議系統(tǒng)，其特征在于，上述視頻處理終端在對上述多方視頻會議影像數(shù)據(jù)進行左右對稱翻轉處理以使多方視頻會議影像進行左右對稱翻轉之后，通過上述投影儀使上述多方視頻會議影像顯示在上述半透射型屏幕。
10.根據(jù)權利要求8或9所述的多方視頻會議系統(tǒng)，其特征在于，上述半透射型屏幕為彎曲型屏幕。
11.根據(jù)權利要求10所述的多方視頻會議系統(tǒng)，其特征在于， 具有兩個以上的上述投影儀；上述視頻處理終端在轉換上述多方視頻會議影像數(shù)據(jù)使其與上述屏幕的彎曲面相對應之后，根據(jù)預先設定的要顯示在上述屏幕上的影像的大小來分割上述多方視頻會議影像數(shù)據(jù)后通過上述投影儀照射到上述屏幕。
12.根據(jù)權利要求11所述的多方視頻會議系統(tǒng)，其特征在于，上述視頻處理終端對上述多方視頻會議影像數(shù)據(jù)進行扭曲處理來轉換該多方視頻會議影像數(shù)據(jù)，以使其與上述屏.的彎曲面相對應。
13.根據(jù)權利要求11或12所述的多方視頻會議系統(tǒng)，其特征在于，上述視頻處理終端為了使通過上述兩個以上的投影儀將轉換后的上述多方視頻會議影像數(shù)據(jù)投射到上述屏幕上時重疊的重疊區(qū)域顯得自然而對上述重疊區(qū)域進行調(diào)和處理來轉換該重疊區(qū)域。
14.根據(jù)權利要求11所述的多方視頻會議系統(tǒng)，其特征在于，上述視頻處理終端對上述多方視頻會議影像數(shù)據(jù)的背景進行色度鑲迭來將其轉換為統(tǒng)一的背景畫面。
15.一種多方視頻會議方法，其特征在于，包括如下過程 供給多方視頻會議影像的過程，上述多方視頻會議服務器部將把從位于互不相同的兩個地區(qū)以上的多方視頻會議組的多個視頻會議終端部接收的影像數(shù)據(jù)合成為一個畫面的多方視頻會議影像數(shù)據(jù)發(fā)送到各個上述多方視頻會議組的多個視頻會議終端部； 顯示過程，各個上述視頻終端部接收上述多方會議影像數(shù)據(jù)來進行顯示。
16.根據(jù)權利要求15所述的多方視頻會議方法，其特征在于，上述供給多方視頻會議影像的過程包括如下步驟 決定多方視頻組的步驟，通過用于進行多方視頻會議的互不相同的兩個地區(qū)以上的視頻會議終端部來決定多方視頻會議組； 接收影像數(shù)據(jù)的步驟，從決定了組的上述多方視頻會議組的視頻會議終端部接收影像數(shù)據(jù)； 合成步驟，生成將所接收的上述影像數(shù)據(jù)合成為一個畫面的多方視頻會議影像數(shù)據(jù)； 發(fā)送多方會議影像的步驟，將上述多方視頻會議影像數(shù)據(jù)發(fā)送到視頻會議終端部。
17.根據(jù)權利要求15所述的多方視頻會議方法，其特征在于，上述顯示過程包括如下步驟 接收步驟，接收上述多方視頻會議影像數(shù)據(jù)； 分割步驟，與預先設定的屏幕畫面的大小對應地、按照投影儀的數(shù)量來分割所接收的上述多方視頻會議影像數(shù)據(jù)； 顯示步驟，通過相應投影儀將分割后的上述多方視頻會議影像數(shù)據(jù)分別投射到屏幕。
18.根據(jù)權利要求17所述的多方視頻會議方法，其特征在于， 上述顯示過程還包括左右對稱翻轉步驟，在該左右對稱翻轉步驟中，對上述多方視頻會議影像數(shù)據(jù)進行左右對稱翻轉處理，以使多方視頻會議影像進行左右對稱翻轉； 在上述顯示步驟中，在將分割后的上述多方視頻會議影像數(shù)據(jù)分別轉換為分割多方視頻會議影像之后，通過設置在投影儀設置空間的相應投影儀投射到半透射型屏幕的后表面來進行顯示，其中，上述投影儀設置空間為設置在視頻會議空間和投影儀設置空間之間的半透射型屏幕的后方空間。
19.根據(jù)權利要求17或18所述的多方視頻會議方法，其特征在于，上述接收步驟之后還包括扭曲步驟，在該扭曲步驟中，通過根據(jù)上述彎曲面對多方視頻會議影像數(shù)據(jù)進行扭曲處理來轉換該多方視頻會議影像數(shù)據(jù)，以能夠在彎曲型屏幕的彎曲面顯示為最佳視頻。
20.根據(jù)權利要求19所述的多方視頻會議方法，其特征在于，上述扭曲步驟及分離步驟之后還包括調(diào)和步驟，在該調(diào)和步驟中，為了使在將分離后的多方視頻會議影像數(shù)據(jù)顯示在彎曲型屏幕時產(chǎn)生的重疊區(qū)域顯得自然而對上述分離后的多方視頻會議影像數(shù)據(jù)的重疊區(qū)域進行調(diào)和處理來轉換該重疊區(qū)域。
21.根據(jù)權利要求19所述的多方視頻會議方法，其特征在于，上述接收步驟之后還包括色度鑲迭步驟，在該色度鑲迭步驟中，對上述多方視頻會議影像數(shù)據(jù)的背景進行色度鑲迭來將其轉換為統(tǒng)一的背景畫面。
22.根據(jù)權利要求21所述的多方視頻會議方法，其特征在于，上述色度鑲迭步驟之后還包括扭曲步驟，在該扭曲步驟中，根據(jù)上述彎曲面，而對多方視頻會議影像數(shù)據(jù)進行扭曲處理來轉換該多方視頻會議影像數(shù)據(jù)，以能夠在彎曲型屏幕的彎曲面顯示為最佳視頻。
23.根據(jù)權利要求22所述的多方視頻會議方法，其特征在于，上述扭曲步驟及分離步驟之后還包括調(diào)和步驟，在該調(diào)和步驟中，為了使在將分離后的多方視頻會議影像數(shù)據(jù)顯示在彎曲型屏幕時產(chǎn)生的重疊區(qū)域顯得自然而對上述分離后的多方視頻會議影像數(shù)據(jù)的重疊區(qū)域進行調(diào)和處理來轉換該重疊區(qū)域。
全文摘要
本發(fā)明涉及一種多方視頻會議系統(tǒng)，更詳細地涉及如下的多方視頻會議系統(tǒng)及方法通過在多方視頻會議系統(tǒng)對互不相同的多數(shù)地區(qū)的參與者視頻會議數(shù)據(jù)進行多路復用技術，來不受地區(qū)限制地進行多方視頻會議，并且將投影儀設置在與屏幕前方的視頻會議空間隔斷的屏幕的后方，以防止從投影儀向屏幕照射的影像受到光的影響，來向屏幕的后表面照射影像。
文檔編號H04N7/15GK102685443SQ20121006489
公開日2012年9月19日 申請日期2012年3月13日 優(yōu)先權日2011年3月17日
發(fā)明者李澔錫 申請人:Pdk有限公司