專利名稱：遠程呈現(xiàn)會議系統(tǒng)、遠程呈現(xiàn)會議的錄制與回放方法
技術(shù)領(lǐng)域：
本發(fā)明涉及通信領(lǐng)域，具體而言，涉及一種遠程呈現(xiàn)會議系統(tǒng)、遠程呈現(xiàn)會議的錄制與回放方法。
背景技術(shù)：
相關(guān)技術(shù)中，傳統(tǒng)的視頻會議錄制與回放主要有以下方法一種是基于模擬方式的錄制與回放方法，具體可以參見圖1。如圖1所示，獨立于視頻會議系統(tǒng)(由MCUlOl，視頻終端主機103，攝像機106、麥克風(fēng)107、PC108、電視機109、 音箱110、顯示器111組成)之外，增加一套錄播系統(tǒng)，該錄播系統(tǒng)包括部署在中心機房的錄播服務(wù)器102和部署于會議室的編碼器104和解碼器105，具有采集、編碼、傳輸、存儲、解碼和回放功能。其缺點是采集/編碼/解碼等功能與視頻會議系統(tǒng)具有的功能重復(fù)，造成功能冗余，系統(tǒng)配置成本高；無法實時跟蹤主講會場(會議中被廣播會場，會議期間，每個會場都有可能成為被廣播會場)。另一種是基于數(shù)字方式的錄制與回放方法，具體可以參見圖2。如圖2所示，獨立于視頻會議系統(tǒng)之外(由MCU201，視頻終端主機203，攝像機206、麥克風(fēng)207、PC208、電視機209、音箱210、顯示器211組成)，增加一套錄播服務(wù)器202，該錄播服務(wù)器需要和MCU以及會場終端進行數(shù)字對接。錄制時，根據(jù)和多點控制單元(Multipoint Control Unit，簡稱為MCU)的交互信令，接收MCU送過來的多媒體信息，并將其儲存；回放時，根據(jù)和終端的交互信令，送出存儲的多媒體信息給終端，由終端進行回放。其優(yōu)點是與視頻會議系統(tǒng)進行功能互補，僅實現(xiàn)視頻會議系統(tǒng)沒有的多媒體信息儲存等功能；能實時跟蹤主講會場。由于應(yīng)用和技術(shù)上的局限，傳統(tǒng)視頻會議系統(tǒng)一般僅需要記錄視頻、音頻以及數(shù)據(jù)內(nèi)容，對除此外的其他信息不關(guān)注。下面詳細說明遠程呈現(xiàn)會議系統(tǒng)相比傳統(tǒng)視頻會議系統(tǒng)的特點遠程呈現(xiàn)會議系統(tǒng)是一種高級視頻會議系統(tǒng)，相比于傳統(tǒng)視頻會議系統(tǒng)而言，其特點在于會場存在多個視頻終端主機；與這些視頻終端主機直接或間接相連的多個音頻和視頻采集設(shè)備、一個專用的遠程呈現(xiàn)攝像頭、多個音視頻輸出設(shè)備、一個中控觸摸屏、多個桌面液晶顯示屏以及專用的會議桌椅。圖3顯示了一個典型三屏遠程呈現(xiàn)會場(圖3中未顯示終端主機)?，F(xiàn)有遠程呈現(xiàn)會議系統(tǒng)中的通訊實體一般由若干個遵從ITU-T H. 323協(xié)議的視頻終端組成(例如，對于三屏遠程呈現(xiàn)會場，一般包括三個視頻終端)，這些終端和遠程呈現(xiàn) MCU間根據(jù)ITU-T H. 323協(xié)議通訊。遠程呈現(xiàn)攝像機輸出的各路圖像存在空間排列關(guān)系，同時，多個麥克風(fēng)采集的聲音也具有位置屬性，且圖像和聲音在空間上有對應(yīng)關(guān)系。但是，在遠程呈現(xiàn)會議系統(tǒng)中，采用傳統(tǒng)視頻會議系統(tǒng)的錄制與回放方案，無法保證回放時圖像的自然拼接效果和聽聲辨位效果
發(fā)明內(nèi)容
針對相關(guān)技術(shù)中在遠程呈現(xiàn)會議系統(tǒng)中，采用傳統(tǒng)視頻會議系統(tǒng)的錄制與回放方案，無法保證回放時圖像的自然拼接效果和聽聲辨位效果的問題，本發(fā)明提供了一種遠程呈現(xiàn)會議系統(tǒng)、遠程呈現(xiàn)會議的錄制與回放方法，以解決上述問題至少之一。根據(jù)本發(fā)明的一個方面，提供了一種遠程呈現(xiàn)會議系統(tǒng)。根據(jù)本發(fā)明的遠程呈現(xiàn)會議系統(tǒng)包括MCU以及錄播服務(wù)器。其中，MCU包括配置模塊，用于將錄播服務(wù)器作為一個遠程呈現(xiàn)會場添加進會議中；第一連接建立模塊，用于向錄播服務(wù)器發(fā)起一個或多個呼叫以建立通信連接，其中，該呼叫的建立消息中攜帶有與需要建立的通信連接相關(guān)聯(lián)的視頻所在的方位的空間信息；錄播服務(wù)器包括接收模塊， 用于接收來自于MCU的媒體流；存儲記錄模塊，用于存儲媒體流，記錄各個媒體流之間的關(guān)聯(lián)關(guān)系。各個媒體流之間的關(guān)聯(lián)關(guān)系包括以下至少之一視頻流之間的空間關(guān)系；數(shù)據(jù)流和視頻流的對應(yīng)關(guān)系；音頻流和視頻流的對應(yīng)關(guān)系。上述MCU包括廣播模塊，用于通過召集會議的形式，根據(jù)各個媒體流之間的關(guān)聯(lián)關(guān)系廣播錄播服務(wù)器錄制的媒體流。上述遠程呈現(xiàn)會議系統(tǒng)還包括遠程呈現(xiàn)會場；遠程呈現(xiàn)會場包括第二連接建立模塊，用于與錄播服務(wù)器建立點對點連接；獲取呈現(xiàn)模塊，用于根據(jù)各個媒體流之間的關(guān)聯(lián)關(guān)系獲取錄播服務(wù)器錄制的媒體流并呈現(xiàn)。上述第二連接建立模塊包括發(fā)起單元，用于向錄播服務(wù)器發(fā)起一個或多個用于建立連接的呼叫，其中，該呼叫的建立消息中攜帶有與需要建立的通信連接相關(guān)聯(lián)的視頻所在的方位的空間信息。上述錄播服務(wù)器包括第一發(fā)送模塊，用于向視頻終端中的一個或多個發(fā)送錄制的媒體流所對應(yīng)的文件列表信息；第二發(fā)送模塊，用于響應(yīng)用戶根據(jù)文件列表信息進行的選擇操作，根據(jù)各個媒體流之間的關(guān)聯(lián)關(guān)系，向各個視頻終端發(fā)送媒體流。上述MCU與錄播服務(wù)器之間的通信信令、以及遠程呈現(xiàn)會場與錄播服務(wù)器之間的通信信令是基于H. 323協(xié)議規(guī)程或者IETF SIP協(xié)議規(guī)程進行擴展的信令。根據(jù)本發(fā)明的另一方面，提供了一種遠程呈現(xiàn)會議的錄制方法。根據(jù)本發(fā)明的遠程呈現(xiàn)會議的錄制方法包括在遠程呈現(xiàn)會議系統(tǒng)中的MCU將錄播服務(wù)器作為一個遠程呈現(xiàn)會場添加進會議之后，錄播服務(wù)器接收來自于MCU發(fā)起的一個或多個用于建立連接的呼叫，其中，呼叫的建立消息中攜帶有與需要建立的通信連接相關(guān)聯(lián)的視頻所在的方位的空間信息；錄播服務(wù)器接收來自于MCU的媒體流并存儲，記錄各個媒體流之間的關(guān)聯(lián)關(guān)系。上述MCU與錄播服務(wù)器建立連接后，還包括MCU對與錄播服務(wù)器相連接的端口進行以下處理禁止來自于錄播服務(wù)器的媒體流進入會議混音器；禁止將錄播服務(wù)器加入會場列表中；禁止將錄播服務(wù)器的上端和下端信息通知遠程呈現(xiàn)會議系統(tǒng)中的遠程呈現(xiàn)會場；使主會場、分會場或經(jīng)過混合處理后的媒體流傳送至錄播服務(wù)器。各個媒體流之間的關(guān)聯(lián)關(guān)系包括以下至少之一視頻流之間的空間關(guān)系；數(shù)據(jù)流和視頻流的對應(yīng)關(guān)系；音頻流和視頻流的對應(yīng)關(guān)系。當呼叫為多個時，呼叫的個數(shù)大于等于需要錄制的會議中具有最多屏幕的遠程呈現(xiàn)會場的屏幕數(shù)。
根據(jù)本發(fā)明的又一方面，提供了一種遠程呈現(xiàn)會議的回放方法。根據(jù)本發(fā)明的遠程呈現(xiàn)會議的回放方法包括遠程呈現(xiàn)會議系統(tǒng)中的MCU將通過召集會議的形式，根據(jù)各個錄制的媒體流之間的關(guān)聯(lián)關(guān)系廣播錄播服務(wù)器錄制的媒體流。根據(jù)本發(fā)明的又一方面，提供了一種遠程呈現(xiàn)會議的回放方法。根據(jù)本發(fā)明的遠程呈現(xiàn)會議的回放方法包括遠程呈現(xiàn)會議系統(tǒng)中的遠程呈現(xiàn)會場的視頻終端與錄播服務(wù)器建立點對點連接；遠程呈現(xiàn)會場根據(jù)錄制的媒體流之間的關(guān)聯(lián)關(guān)系，獲取錄播服務(wù)器錄制的媒體流并呈現(xiàn)。上述視頻終端與錄播服務(wù)器建立點對點連接包括視頻終端向錄播服務(wù)器發(fā)起一個或多個用于建立連接的呼叫，其中，呼叫的建立消息中攜帶有與需要建立的通信連接相關(guān)聯(lián)的視頻所在的方位的空間信息。上述遠程呈現(xiàn)會場獲取來自于錄播服務(wù)器的媒體流包括錄播服務(wù)器向視頻終端中的一個或多個發(fā)送錄制的媒體流所對應(yīng)的文件列表信息；錄播服務(wù)器響應(yīng)用戶根據(jù)文件列表信息進行的選擇操作，根據(jù)錄制的媒體流之間的關(guān)聯(lián)關(guān)系，向各個視頻終端發(fā)送錄制的媒體流。通過本發(fā)明，錄播服務(wù)器錄制媒體流時，記錄各個媒體流之間的關(guān)聯(lián)關(guān)系，解決了相關(guān)技術(shù)中在遠程呈現(xiàn)會議系統(tǒng)中，采用傳統(tǒng)視頻會議系統(tǒng)的錄制與回放方案，無法保證回放時圖像的自然拼接效果和聽聲辨位效果的問題，進而可以保證回放時圖像的自然拼接效果和聽聲辨位效果。


此處所說明的附圖用來提供對本發(fā)明的進一步理解，構(gòu)成本申請的一部分，本發(fā)明的示意性實施例及其說明用于解釋本發(fā)明，并不構(gòu)成對本發(fā)明的不當限定。在附圖中圖1是根據(jù)相關(guān)技術(shù)的基于模擬方式的視頻會議系統(tǒng)的示意圖；圖2是根據(jù)相關(guān)技術(shù)的基于數(shù)字方式的視頻會議系統(tǒng)的示意圖；圖3是根據(jù)相關(guān)技術(shù)的三屏遠程呈現(xiàn)會場的示意圖；圖4是根據(jù)本發(fā)明實施例的遠程呈現(xiàn)會議系統(tǒng)的結(jié)構(gòu)框圖；圖5是根據(jù)本發(fā)明優(yōu)選實施例的遠程呈現(xiàn)會議系統(tǒng)的結(jié)構(gòu)框圖；圖6是根據(jù)本發(fā)明實例的遠程呈現(xiàn)會議系統(tǒng)的示意圖；圖7是根據(jù)本發(fā)明實施例的遠程呈現(xiàn)會議的錄制方法的流程圖；圖8是根據(jù)本發(fā)明優(yōu)選實施例的遠程呈現(xiàn)會議的錄制方法的流程圖；圖9是根據(jù)本發(fā)明實施例的遠程呈現(xiàn)會議的回放方法的流程圖；圖10是根據(jù)本發(fā)明優(yōu)選實施例的遠程呈現(xiàn)會議的點播回放方法的流程圖。
具體實施例方式下文中將參考附圖并結(jié)合實施例來詳細說明本發(fā)明。需要說明的是，在不沖突的情況下，本申請中的實施例及實施例中的特征可以相互組合。圖4是根據(jù)本發(fā)明實施例的遠程呈現(xiàn)會議系統(tǒng)的結(jié)構(gòu)框圖。如圖4所示，該遠程呈現(xiàn)會議系統(tǒng)主要包括多點控制單元(MCU) 10以及錄播服務(wù)器20 ；上述MCU 10進一步包括配置模塊100，用于將錄播服務(wù)器作為一個遠程呈現(xiàn)會場添加進會議中；第一連接建立模塊102，用于向錄播服務(wù)器發(fā)起一個或多個呼叫以建立通信連接，其中，該呼叫的建立消息中攜帶有與需要建立的通信連接相關(guān)聯(lián)的視頻所在的方位的空間信息；錄播服務(wù)器20進一步包括接收模塊200，用于接收來自于MCU的媒體流；存儲記錄模塊202，用于存儲媒體流，記錄各個媒體流之間的關(guān)聯(lián)關(guān)系。其中，上述各個媒體流之間的關(guān)聯(lián)關(guān)系包括但不限于以下至少之一視頻流之間的空間關(guān)系；數(shù)據(jù)流和視頻流的對應(yīng)關(guān)系；音頻流和視頻流的對應(yīng)關(guān)系。在遠程呈現(xiàn)會議系統(tǒng)中，遠程呈現(xiàn)攝像機輸出的各路圖像存在空間排列關(guān)系，同時，多個麥克風(fēng)采集的聲音也具有位置屬性，且圖像和聲音在空間上有對應(yīng)關(guān)系。在遠程呈現(xiàn)會議系統(tǒng)中，采用傳統(tǒng)視頻會議系統(tǒng)的錄制與回放方案，無法保證回放時圖像的自然拼接效果和聽聲辨位效果。圖4所示的遠程呈現(xiàn)會議系統(tǒng)中，MCUlO在呼叫的建立消息中攜帶與需要建立的通信連接相關(guān)聯(lián)的視頻所在的方位的空間信息，發(fā)送給錄播服務(wù)器，錄播服務(wù)器不僅需要存儲媒體流，還需要記錄各個媒體流之間的關(guān)聯(lián)關(guān)系。從而可以保證回放時圖像的自然拼接效果和聽聲辨位效果。需要注意的是，可以將MCU 10看作是其上所開多個會議的集合。其中，每個會議包含多個遠程呈現(xiàn)會場，每個遠程呈現(xiàn)會場包含若干個視頻終端。會議中某個遠程呈現(xiàn)會場的上端過程，意味著在該會議里MCU和該遠程呈現(xiàn)會場的若干個視頻終端建立連接的過程。同時，可以將錄播服務(wù)器看作是若干個獨立的遠程呈現(xiàn)會場的集合。在每個需要錄制的會議中，錄播服務(wù)器被當作一個遠程呈現(xiàn)會場添加進會議。該遠程呈現(xiàn)會場包含若干個由錄播服務(wù)器虛擬出的視頻終端。該遠程呈現(xiàn)會場的上端過程，意味著MCU和錄播服務(wù)器虛擬出的若干個視頻終端之間建立連接的過程。會議開始后，MCU 10發(fā)起對錄播服務(wù)器20的多個呼叫，并將此多個呼叫所建立的通信連接綁定為一個通訊端口，用以表征這些連接同屬于一個遠程呈現(xiàn)會場。 錄播服務(wù)器以及各會場正常上端后，MCU可以對與錄播服務(wù)器相連接的端口進行以下處理(1)禁止來自于錄播服務(wù)器的媒體流進入會議混音器；(2)禁止將錄播服務(wù)器加入會場列表中；(3)禁止將錄播服務(wù)器的上端和下端信息通知遠程呈現(xiàn)會議系統(tǒng)中的遠程呈現(xiàn)會場；(4)使主會場、分會場或經(jīng)過混合處理后的媒體流傳送至錄播服務(wù)器。錄播服務(wù)器雖然作為一個遠程呈現(xiàn)會場添加進會議中，但其并不等同于遠程呈現(xiàn)會場。在會議召開過程中，應(yīng)當避免來自于錄播服務(wù)器的媒體流進入會議混音器，從而干擾會議的正常進行。當然，遠程呈現(xiàn)會議系統(tǒng)中，遠程呈現(xiàn)會場內(nèi)的多個視頻終端，物理上也可對應(yīng)一個設(shè)備。進一步說，此物理設(shè)備可以在通訊協(xié)議上有諸多變化，例如，此物理設(shè)備和MCU間的通信以及和錄播服務(wù)器的通信，不再表現(xiàn)為多個信令交互過程，而僅表現(xiàn)為一個信令。同樣的，本方案錄制與回放信令也可以采用一個信令的方式。當發(fā)起的呼叫為多個時(即錄制與回放信令并非采用一個信令的方式，各個呼叫均攜帶有與需要建立的通信連接相關(guān)聯(lián)的視頻所在的方位的空間信息)，則呼叫的個數(shù)應(yīng)當大于等于需要錄制的會議中具有最多屏幕的遠程呈現(xiàn)會場的屏幕數(shù)。只有滿足上述條件，才可以將與需要建立的通信連接相關(guān)聯(lián)的視頻所在的方位的空間信息完整地發(fā)送至錄播服務(wù)器。在回放時可以保證圖像的自然完整拼接效果。對于采用基于H. 323協(xié)議的遠程呈現(xiàn)會議系統(tǒng)而言，上述呼叫遵循H. 323協(xié)議規(guī)程。同理，某遠程呈現(xiàn)會場在需要回放錄播服務(wù)器所存儲內(nèi)容時，也是采用符合H. 323協(xié)議規(guī)程的通信方法與錄播服務(wù)器虛擬出的若干個視頻終端進行通信。當然，不僅限于H. 323 協(xié)議規(guī)程，也可以采用其他協(xié)議規(guī)程，例如，IETF SIP協(xié)議規(guī)程。對于回放的方式，可以分兩種情況。一種是通過MCU召集會議的形式，由MCU廣播錄播服務(wù)器，將錄播服務(wù)器所發(fā)送上的視音頻數(shù)據(jù)流切換給其他會場，可以理解，此過程相當于是錄制過程的逆過程；優(yōu)選地，如圖5所示，上述MCU 10還可以包括廣播模塊104，用于通過召集會議的形式，廣播錄播服務(wù)器錄制的媒體流。另一種是采用會場點播的方式，由遠程呈現(xiàn)會場的視頻終端與錄播服務(wù)器進行通訊建立點對點連接接收所錄制媒體并在電視/音箱/顯示器等多媒體輸出設(shè)備上呈現(xiàn)。優(yōu)選地，如圖5所示，遠程呈現(xiàn)會議系統(tǒng)還可以包括遠程呈現(xiàn)會場30 ；遠程呈現(xiàn)會場30包括第二連接建立模塊300，用于與錄播服務(wù)器建立點對點連接；獲取呈現(xiàn)模塊 302，用于獲取錄播服務(wù)器錄制的媒體流并呈現(xiàn)。優(yōu)選地，第二連接建立模塊300可以進一步包括發(fā)起單元3000 (圖5中未示出)， 用于向錄播服務(wù)器發(fā)起一個或多個用于建立連接的呼叫，其中，該呼叫的建立消息中攜帶有與需要建立的通信連接相關(guān)聯(lián)的視頻所在的方位的空間信息。優(yōu)選地，如圖5所示，上述錄播服務(wù)器20可以進一步包括第一發(fā)送模塊204，用于向視頻終端中的一個或多個發(fā)送錄制的媒體流所對應(yīng)的文件列表信息；第二發(fā)送模塊 206，用于響應(yīng)用戶根據(jù)文件列表信息進行的選擇操作，根據(jù)錄制的媒體流之間的關(guān)聯(lián)關(guān)系，向各個視頻終端發(fā)送錄制的媒體流?；胤胚M程中，錄播服務(wù)器還可接收并響應(yīng)從一個或多個視頻終端傳過來的快進快退等指令。在具體實施過程中，回放過程可以是直接利用遠程呈現(xiàn)會場中通信終端設(shè)備實現(xiàn)，也可以是采用其他方式，例如，采用PC軟件實現(xiàn)。優(yōu)選地，MCU 10與錄播服務(wù)器20之間的通信信令、以及遠程呈現(xiàn)會場30與錄播服務(wù)器20之間的通信信令可以是基于H. 323協(xié)議規(guī)程或者IETF SIP協(xié)議規(guī)程進行擴展的信令。當然，也可以是基于其他協(xié)議規(guī)程進行擴展的信令。以下結(jié)合圖6所示的示例進一步描述上述優(yōu)選實施方式。圖6是根據(jù)本發(fā)明實例的遠程呈現(xiàn)會議系統(tǒng)的示意圖。如圖6所示，該系統(tǒng)包括 多個遠程呈現(xiàn)會議會場、遠程呈現(xiàn)會議局端系統(tǒng)、以及錄播系統(tǒng)。其中，每個會場均包括(1)攝像機組606，包含3個攝像頭，用于拍攝本地會場與會者圖像；(2)麥克風(fēng)組607，包含4個麥克風(fēng)，用于采集本地會場的音頻信息；(3) PC組608，包含1 3臺PC，作為會議雙流數(shù)據(jù)源；(4)電視機組609，包含3個電視，用于顯示遠端圖像信息；
8
(5)音箱組610，包含2個音箱，用于輸出會議立體聲音頻信息；(6)桌面液晶顯示器組611，包含3個液晶顯示器，用于顯示雙流數(shù)據(jù)?？梢岳斫?，除上述設(shè)備外，還可以部署其他用以提供會議臨場感的其他設(shè)備或系統(tǒng)，如燈光、會場裝修裝飾等。其中，遠程呈現(xiàn)會議局端系統(tǒng)，包括M⑶601及其管理系統(tǒng)(圖6中未示出)(I)MCU 601，實現(xiàn)多點會議控制，各會場媒體流(視音頻以及數(shù)據(jù))的廣播、交換以及混合，是整套會議系統(tǒng)的核心設(shè)備；(2)管理系統(tǒng)，提供局端管理人員的人機界面。其中，錄播系統(tǒng)，包括錄播服務(wù)器602及其管理系統(tǒng)(圖6中未示出)。(1)錄播服務(wù)器602，與MCU401以及遠程呈現(xiàn)會場的視頻終端主機622 624的數(shù)字交互(接口 612、613)，實現(xiàn)多媒體內(nèi)容存儲與直播點播；(2)管理系統(tǒng)提供錄播服務(wù)器管理人員的人機界面，實現(xiàn)系統(tǒng)配置、節(jié)目編輯寸。下面以純?nèi)吝h程呈現(xiàn)會場參與的遠程呈現(xiàn)會議的錄制與回放為例，結(jié)合圖6對上述優(yōu)選實施方式進行具體說明。需要注意的是，其他非由純?nèi)吝h程呈現(xiàn)會場參會的會議組網(wǎng)情況可以參考下述方法實現(xiàn)錄制和回放。1、會議配置過程管理員在MCU 601的管理系統(tǒng)上先配置好錄播服務(wù)器地址，接著定義一個需要錄制的由純?nèi)吝h程呈現(xiàn)會場參與的遠程呈現(xiàn)會議，接著在向MCU 601下發(fā)這個配置后，下達開始會議命令。2、錄制過程(1)通信連接建立過程MCU 601在接收到管理者發(fā)出的開會通知后，向錄播服務(wù)器602先后發(fā)起三個符合H. 323協(xié)議規(guī)程定義的H. 225. 0 Q. 931呼叫。在呼叫的setup消息中，根據(jù)H. 225. 0 Q. 931 協(xié)議定義的消息擴充機制，在呼叫的建立消息(setup, sourcelnfo. nonStandardData. Data 消息)中增加反映該呼叫所要建立的通信連接所相關(guān)的視頻所在的左、中、右方位空間信肩、ο其后MCU 601按H. 323正常規(guī)程與錄播服務(wù)器建立通信連接。(2)會議控制過程錄播服務(wù)器以及各會場正常上端后，MCU 401需要對連接的錄播服務(wù)器602的端口做如下處理(2. 1)不允許錄播服務(wù)器傳過來的音頻信號進入會議混音器；(2. 2)不接收錄播服務(wù)器傳過來的視頻信號，也不允許其他會場或者管理員廣播 /選看/切換錄播服務(wù)器所發(fā)送過來的視頻信號；(2. 3)不將錄播服務(wù)器所代表的遠程呈現(xiàn)會場放入會場列表，也不通知其他會場此會場的上端和下端信息；(2. 4)MCU根據(jù)會議控制策略將某分會場或主會場或經(jīng)過混合處理后的音視頻數(shù)據(jù)媒體流按H. 323正常規(guī)程或其他規(guī)程發(fā)送給錄播服務(wù)器。(3)存儲過程
9
錄播服務(wù)器接收從三個連接上發(fā)送過來的媒體流并儲存，同時記錄各媒體流之間的相互關(guān)聯(lián)關(guān)系，例如，視頻流間的空間關(guān)系、數(shù)據(jù)流和視頻流的對應(yīng)關(guān)系以及音頻流和視頻流的對應(yīng)關(guān)系等。3、回放過程主要分兩種情況，一種是通過MCU召集會議的形式，由MCU廣播錄播服務(wù)器，將錄播服務(wù)器所發(fā)送的視音頻數(shù)據(jù)流切換給其他會場，可以理解，此過程相當于是錄制過程的逆過程；另一種是采用會場點播的方式，由遠程呈現(xiàn)會場的視頻終端與錄播服務(wù)器進行通訊建立點對點連接接收所錄制媒體并在電視/音箱/顯示器等多媒體輸出設(shè)備上呈現(xiàn)。下面詳細介紹后一種回放方式的通信連接建立過程。遠程呈現(xiàn)會場的三個視頻終端(622-624)在接收到管理者發(fā)出的開會通知后，分別向錄播服務(wù)器先后發(fā)起符合H. 323協(xié)議規(guī)程或其他協(xié)議規(guī)程定義的H. 225.0 Q. 931呼叫。在呼叫的setup消息中，根據(jù)H. 225.0 Q. 931協(xié)議定義的消息擴充機制，在呼叫的建立消息(setup, sourcelnfo. nonStandardData. Data消息)中增加反映該呼叫所要建立的通信連接所相關(guān)視頻所在的左、中和右空間信息。錄播服務(wù)器602在接收到所有呼叫后，根據(jù)系統(tǒng)預(yù)先約定，向一個或多個預(yù)定視頻終端(例如，對三屏遠程呈現(xiàn)會場，約定中間的視頻終端62 發(fā)送所儲存內(nèi)容的文件列表視頻，并接收用戶選擇。在判定用戶所選文件內(nèi)容同樣是一個三屏遠程呈現(xiàn)會場會議錄制內(nèi)容后，根據(jù)所存儲的媒體流相互間的關(guān)聯(lián)關(guān)系記錄，向不同視頻終端送出不同媒體流。回放進程中，錄播服務(wù)器還可接受并響應(yīng)從該特定視頻終端傳過來的快進快退等指令。根據(jù)本發(fā)明的實施例，基于上述遠程呈現(xiàn)會議系統(tǒng)，還提供了一種遠程呈現(xiàn)會議的錄制方法。圖7是根據(jù)本發(fā)明實施例的遠程呈現(xiàn)會議的錄制方法的流程圖。如圖7所示，該遠程呈現(xiàn)會議的錄制方法包括以下處理步驟S702 在遠程呈現(xiàn)會議系統(tǒng)中的MCU將錄播服務(wù)器作為一個遠程呈現(xiàn)會場添加進會議之后，錄播服務(wù)器接收來自于MCU發(fā)起的一個或多個用于建立連接的呼叫，其中， 呼叫的建立消息中攜帶有與需要建立的通信連接相關(guān)聯(lián)的視頻所在的方位的空間信息；步驟S704 錄播服務(wù)器接收來自于MCU的媒體流并存儲，記錄各個媒體流之間的關(guān)聯(lián)關(guān)系。其中，各個媒體流之間的關(guān)聯(lián)關(guān)系包括但不限于以下至少之一視頻流之間的空間關(guān)系；數(shù)據(jù)流和視頻流的對應(yīng)關(guān)系；音頻流和視頻流的對應(yīng)關(guān)系。圖7所示的遠程呈現(xiàn)會議方法中，MCU在呼叫的建立消息中攜帶與需要建立的通信連接相關(guān)聯(lián)的視頻所在的方位的空間信息，發(fā)送給錄播服務(wù)器，錄播服務(wù)器不僅需要存儲媒體流，還需要記錄各個媒體流之間的關(guān)聯(lián)關(guān)系。從而可以保證回放時圖像的自然拼接效果和聽聲辨位效果。優(yōu)選地，MCU與錄播服務(wù)器建立連接后，MCU對與錄播服務(wù)器相連接的端口進行處理，具體處理如下(1)禁止來自于錄播服務(wù)器的媒體流進入會議混音器；(2)禁止將錄播服務(wù)器加入會場列表中；
10
(3)禁止將錄播服務(wù)器的上端和下端信息通知遠程呈現(xiàn)會議系統(tǒng)中的遠程呈現(xiàn)會場；(4)使主會場、分會場或經(jīng)過混合處理后的媒體流傳送至錄播服務(wù)器。當發(fā)起的呼叫為多個時(即錄制與回放信令并非采用一個信令的方式，各個呼叫均攜帶有與需要建立的通信連接相關(guān)聯(lián)的視頻所在的方位的空間信息)，則呼叫的個數(shù)應(yīng)當大于等于需要錄制的會議中具有最多屏幕的遠程呈現(xiàn)會場的屏幕數(shù)。只有滿足上述條件，才可以將與需要建立的通信連接相關(guān)聯(lián)的視頻所在的方位的空間信息完整地發(fā)送至錄播服務(wù)器。在回放時可以保證圖像的自然完整拼接效果。當然，遠程呈現(xiàn)會議系統(tǒng)中，遠程呈現(xiàn)會場內(nèi)的多個視頻終端，物理上也可對應(yīng)一個設(shè)備。進一步說，此物理設(shè)備可以在通訊協(xié)議上有諸多變化，例如，此物理設(shè)備和MCU間的通信以及和錄播服務(wù)器的通信，不再表現(xiàn)為多個信令交互過程，而僅表現(xiàn)為一個信令。同樣的，本方案錄制與回放信令也可以采用一個信令的方式。對于采用基于H. 323協(xié)議的遠程呈現(xiàn)會議系統(tǒng)而言，上述呼叫遵循H. 323協(xié)議規(guī)程。同理，某遠程呈現(xiàn)會場在需要回放錄播服務(wù)器所存儲內(nèi)容時，也是采用符合H. 323協(xié)議規(guī)程的通信方法與錄播服務(wù)器虛擬出的若干個視頻通訊終端進行通信。上述錄制和回放中，MCU和錄播服務(wù)器、錄播服務(wù)器和遠程呈現(xiàn)會場間的通信信令，可以采用H. 323協(xié)議規(guī)程規(guī)定的消息擴充機制對標準交互信令進行擴展。當然，也不僅限于上述H. 323協(xié)議規(guī)程， 還可以采用其他協(xié)議規(guī)程，例如，IETF SIP協(xié)議規(guī)程。以下結(jié)合圖8進一步描述上述優(yōu)選實施過程。圖8是根據(jù)本發(fā)明優(yōu)選實施例的遠程呈現(xiàn)會議的錄制方法的流程圖。如圖8所示， 該遠程呈現(xiàn)會議的錄制方法主要包括以下處理步驟S802 =MCU將錄播服務(wù)器作為一個遠程呈現(xiàn)會場添加進會議中；步驟S804 =MCU呼叫各個會場，并錄播服務(wù)器作為一個特殊的遠程呈現(xiàn)會場，向錄播服務(wù)器發(fā)起一個或多個呼叫以建立通信連接；步驟S806 呼叫成功后，將當前廣播會場媒體流發(fā)送至錄播服務(wù)器，并指示各個媒體流之間的關(guān)聯(lián)關(guān)系；步驟S808 錄播服務(wù)器根據(jù)上述指示存儲媒體流，并記錄各個媒體流之間的關(guān)聯(lián)關(guān)系。步驟S810 會議結(jié)束，錄播服務(wù)器響應(yīng)管理員操作指令，對錄制的媒體流進行編輯和發(fā)布，等待用戶點播。根據(jù)本發(fā)明的實施例，基于上述遠程呈現(xiàn)會議系統(tǒng)，還提供了一種遠程呈現(xiàn)會議的回放方法。該方法主要包括上述遠程呈現(xiàn)會議系統(tǒng)中的MCU將通過召集會議的形式，根據(jù)錄制的媒體流之間的關(guān)聯(lián)關(guān)系廣播錄播服務(wù)器錄制的媒體流。需要注意的是，此回放過程相當于是上述錄制過程的逆過程，由于回放時，根據(jù)上面提到的各個媒體流之間的關(guān)聯(lián)關(guān)系廣播錄播服務(wù)器錄制的媒體流，可以保證回放時圖像的自然拼接效果和聽聲辨位效果。根據(jù)本發(fā)明的實施例，基于上述遠程呈現(xiàn)會議系統(tǒng)，還提供了另一種遠程呈現(xiàn)會議的回放方法。圖9是根據(jù)本發(fā)明實施例的遠程呈現(xiàn)會議的回放方法的流程圖。如圖9所示，該
11遠程呈現(xiàn)會議的回放方法主要包括以下處理步驟S902 遠程呈現(xiàn)會議系統(tǒng)中的遠程呈現(xiàn)會場的視頻終端與錄播服務(wù)器建立點對點連接；步驟S904 遠程呈現(xiàn)會場根據(jù)錄制的媒體流之間的關(guān)聯(lián)關(guān)系獲取錄播服務(wù)器錄制的媒體流并呈現(xiàn)。由于回放時，遠程呈現(xiàn)會場根據(jù)錄制的媒體流之間的關(guān)聯(lián)關(guān)系獲取錄播服務(wù)器錄制的媒體流，可以保證回放時圖像的自然拼接效果和聽聲辨位效果。優(yōu)選地，上述步驟S902可以進一步包括以下處理視頻終端向錄播服務(wù)器發(fā)起一個或多個用于建立連接的呼叫，其中，呼叫的建立消息中攜帶有與需要建立的通信連接相關(guān)聯(lián)的視頻所在的方位的空間信息。優(yōu)選地，上述步驟S904可以進一步包括以下處理(1)錄播服務(wù)器向視頻終端中的一個或多個發(fā)送錄制的媒體流所對應(yīng)的文件列表 fn息；(2)錄播服務(wù)器響應(yīng)用戶根據(jù)文件列表信息進行的選擇操作，根據(jù)錄制的媒體流之間的關(guān)聯(lián)關(guān)系，向各個視頻終端發(fā)送錄制的媒體流。以下結(jié)合圖10進一步描述遠程呈現(xiàn)會議的點播回放方法。圖10是根據(jù)本發(fā)明優(yōu)選實施例的遠程呈現(xiàn)會議的點播回放方法的流程圖。如圖 10所示，該遠程呈現(xiàn)會議的點播回放方法主要包括以下處理步驟1002 遠程呈現(xiàn)會場響應(yīng)管理員操作指令，需要向錄播服務(wù)器發(fā)起呼叫；步驟1004 遠程呈現(xiàn)會場各個視頻終端發(fā)起對錄播服務(wù)器的呼叫，并在呼叫的建立消息中攜帶有與需要建立的通信連接相關(guān)聯(lián)的視頻所在的方位的空間信息(例如，方位標識)；步驟1006 錄播服務(wù)器接收呼叫，并根據(jù)呼叫參數(shù)判斷呼叫方會場類型，根據(jù)錄制的媒體流之間的關(guān)聯(lián)關(guān)系向各個視頻終端發(fā)出相應(yīng)的媒體流；步驟1008 遠程呈現(xiàn)會場視頻終端將媒體流按照時間與空間的要求呈現(xiàn)在多媒體設(shè)備上。綜上所述，借助本發(fā)明提供的上述實施例，可以實現(xiàn)對遠程呈現(xiàn)會議的錄制和回放。錄制內(nèi)容不僅包含會議室內(nèi)的多媒體內(nèi)容(媒體流)，而且還能記錄它們之間的關(guān)聯(lián)關(guān)系(例如，時空關(guān)系)，從而保證了回放時會議場景的真實還原可能性。此外，現(xiàn)有視頻會議錄播服務(wù)器僅通過簡單的軟件升級，即可錄制遠程呈現(xiàn)會議，可以有效節(jié)省和保護用戶投資。顯然，本領(lǐng)域的技術(shù)人員應(yīng)該明白，上述的本發(fā)明的各模塊或各步驟可以用通用的計算裝置來實現(xiàn)，它們可以集中在單個的計算裝置上，或者分布在多個計算裝置所組成的網(wǎng)絡(luò)上，可選地，它們可以用計算裝置可執(zhí)行的程序代碼來實現(xiàn)，從而可以將它們存儲在存儲裝置中由計算裝置來執(zhí)行，或者將它們分別制作成各個集成電路模塊，或者將它們中的多個模塊或步驟制作成單個集成電路模塊來實現(xiàn)。這樣，本發(fā)明不限制于任何特定的硬件和軟件結(jié)合。以上僅為本發(fā)明的優(yōu)選實施例而已，并不用于限制本發(fā)明，對于本領(lǐng)域的技術(shù)人員來說，本發(fā)明可以有各種更改和變化。凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、
12等同替換、改進等，均應(yīng)包含在本發(fā)明的保護范圍之內(nèi)。
權(quán)利要求
1.一種遠程呈現(xiàn)會議系統(tǒng)，其特征在于，包括多點控制單元MCU以及錄播服務(wù)器；所述MCU包括配置模塊，用于將所述錄播服務(wù)器作為一個遠程呈現(xiàn)會場添加進會議中；第一連接建立模塊，用于向所述錄播服務(wù)器發(fā)起一個或多個呼叫以建立通信連接，其中，該呼叫的建立消息中攜帶有與需要建立的通信連接相關(guān)聯(lián)的視頻所在的方位的空間信息；所述錄播服務(wù)器包括接收模塊，用于接收來自于所述MCU的媒體流；存儲記錄模塊，用于存儲所述媒體流，記錄各個所述媒體流之間的關(guān)聯(lián)關(guān)系。
2.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于，各個所述媒體流之間的關(guān)聯(lián)關(guān)系包括以下至少之一視頻流之間的空間關(guān)系；數(shù)據(jù)流和視頻流的對應(yīng)關(guān)系；音頻流和視頻流的對應(yīng)關(guān)系。
3.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于，所述MCU包括廣播模塊，用于通過召集會議的形式，根據(jù)各個所述媒體流之間的關(guān)聯(lián)關(guān)系廣播所述錄播服務(wù)器錄制的媒體流。
4.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于，所述遠程呈現(xiàn)會議系統(tǒng)還包括遠程呈現(xiàn)會場；所述遠程呈現(xiàn)會場包括第二連接建立模塊，用于與所述錄播服務(wù)器建立點對點連接；獲取呈現(xiàn)模塊，用于根據(jù)各個所述媒體流之間的關(guān)聯(lián)關(guān)系獲取所述錄播服務(wù)器錄制的媒體流并呈現(xiàn)。
5.根據(jù)權(quán)利要求4所述的系統(tǒng)，其特征在于，所述第二連接建立模塊包括發(fā)起單元，用于向所述錄播服務(wù)器發(fā)起一個或多個用于建立連接的呼叫，其中，該呼叫的建立消息中攜帶有與需要建立的通信連接相關(guān)聯(lián)的視頻所在的方位的空間信息。
6.根據(jù)權(quán)利要求4所述的系統(tǒng)，其特征在于，所述錄播服務(wù)器包括第一發(fā)送模塊，用于向所述視頻終端中的一個或多個發(fā)送所述錄制的媒體流所對應(yīng)的文件列表信息；第二發(fā)送模塊，用于響應(yīng)用戶根據(jù)所述文件列表信息進行的選擇操作，根據(jù)各個所述媒體流之間的關(guān)聯(lián)關(guān)系，向各個所述視頻終端發(fā)送所述媒體流。
7.根據(jù)權(quán)利要求4所述的系統(tǒng)，其特征在于，所述MCU與所述錄播服務(wù)器之間的通信信令、以及所述遠程呈現(xiàn)會場與所述錄播服務(wù)器之間的通信信令是基于H. 323協(xié)議規(guī)程或者 IETF SIP協(xié)議規(guī)程進行擴展的信令。
8.一種遠程呈現(xiàn)會議的錄制方法，應(yīng)用于如權(quán)利要求1至7中任一項所述的遠程呈現(xiàn)會議系統(tǒng)，其特征在于，包括在所述遠程呈現(xiàn)會議系統(tǒng)中的多點控制單元MCU將錄播服務(wù)器作為一個遠程呈現(xiàn)會場添加進會議之后，所述錄播服務(wù)器接收來自于所述MCU發(fā)起的一個或多個用于建立連接的呼叫，其中，所述呼叫的建立消息中攜帶有與需要建立的通信連接相關(guān)聯(lián)的視頻所在的方位的空間信息；所述錄播服務(wù)器接收來自于所述MCU的媒體流并存儲，記錄各個所述媒體流之間的關(guān)聯(lián)關(guān)系。
9.根據(jù)權(quán)利要求8所述的方法，其特征在于，所述MCU與所述錄播服務(wù)器建立連接后， 還包括所述MCU對與所述錄播服務(wù)器相連接的端口進行以下處理禁止來自于所述錄播服務(wù)器的媒體流進入會議混音器；禁止將所述錄播服務(wù)器加入會場列表中；禁止將所述錄播服務(wù)器的上端和下端信息通知所述遠程呈現(xiàn)會議系統(tǒng)中的遠程呈現(xiàn)會場；使主會場、分會場或經(jīng)過混合處理后的媒體流傳送至所述錄播服務(wù)器。
10.根據(jù)權(quán)利要求8所述的方法，其特征在于，各個所述媒體流之間的關(guān)聯(lián)關(guān)系包括以下至少之一視頻流之間的空間關(guān)系；數(shù)據(jù)流和視頻流的對應(yīng)關(guān)系；音頻流和視頻流的對應(yīng)關(guān)系。
11.根據(jù)權(quán)利要求8所述的方法，其特征在于，當所述呼叫為多個時，所述呼叫的個數(shù)大于等于需要錄制的會議中具有最多屏幕的遠程呈現(xiàn)會場的屏幕數(shù)。
12.—種遠程呈現(xiàn)會議的回放方法，應(yīng)用于如權(quán)利要求1至7中任一項所述的遠程呈現(xiàn)會議系統(tǒng)，其特征在于，包括所述遠程呈現(xiàn)會議系統(tǒng)中的多點控制單元MCU將通過召集會議的形式，根據(jù)各個錄制的媒體流之間的關(guān)聯(lián)關(guān)系廣播錄播服務(wù)器錄制的媒體流。
13.一種遠程呈現(xiàn)會議的回放方法，應(yīng)用于如權(quán)利要求1至7中任一項所述的遠程呈現(xiàn)會議系統(tǒng)，其特征在于，包括所述遠程呈現(xiàn)會議系統(tǒng)中的遠程呈現(xiàn)會場的視頻終端與錄播服務(wù)器建立點對點連接；所述遠程呈現(xiàn)會場根據(jù)錄制的媒體流之間的關(guān)聯(lián)關(guān)系，獲取所述錄播服務(wù)器錄制的媒體流并呈現(xiàn)。
14.根據(jù)權(quán)利要求13所述的方法，其特征在于，所述視頻終端與錄播服務(wù)器建立點對點連接包括所述視頻終端向所述錄播服務(wù)器發(fā)起一個或多個用于建立連接的呼叫，其中，所述呼叫的建立消息中攜帶有與需要建立的通信連接相關(guān)聯(lián)的視頻所在的方位的空間信息。
15.根據(jù)權(quán)利要求13所述的方法，其特征在于，所述遠程呈現(xiàn)會場獲取來自于所述錄播服務(wù)器的媒體流包括所述錄播服務(wù)器向所述視頻終端中的一個或多個發(fā)送所述錄制的媒體流所對應(yīng)的文件列表信息；所述錄播服務(wù)器響應(yīng)用戶根據(jù)所述文件列表信息進行的選擇操作，根據(jù)所述錄制的媒體流之間的關(guān)聯(lián)關(guān)系，向各個所述視頻終端發(fā)送所述錄制的媒體流。
全文摘要
本發(fā)明提供了一種遠程呈現(xiàn)會議系統(tǒng)、遠程呈現(xiàn)會議的錄制與回放方法。上述遠程呈現(xiàn)會議系統(tǒng)包括MCU以及錄播服務(wù)器；其中，MCU包括配置模塊，用于將錄播服務(wù)器作為一個遠程呈現(xiàn)會場添加進會議中；第一連接建立模塊，用于向錄播服務(wù)器發(fā)起一個或多個呼叫以建立通信連接，其中，該呼叫的建立消息中攜帶有與需要建立的通信連接相關(guān)聯(lián)的視頻所在的方位的空間信息；錄播服務(wù)器包括接收模塊，用于接收來自于MCU的媒體流；存儲記錄模塊，用于存儲媒體流，記錄各個媒體流之間的關(guān)聯(lián)關(guān)系。根據(jù)本發(fā)明提供的技術(shù)方案，可以保證回放時圖像的自然拼接效果和聽聲辨位效果。
文檔編號H04N7/15GK102223515SQ20111016814
公開日2011年10月19日 申請日期2011年6月21日 優(yōu)先權(quán)日2011年6月21日
發(fā)明者吳衍平 申請人:中興通訊股份有限公司