專利名稱：多屏視頻會(huì)議中對(duì)與會(huì)者圖像顯示進(jìn)行調(diào)整的方法及裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及通信技術(shù)領(lǐng)域，特別涉及一種多屏視頻會(huì)議中對(duì)與會(huì)者圖像顯示進(jìn)行調(diào)整的方法及裝置。
背景技術(shù)：
視訊會(huì)議業(yè)務(wù)是一種多媒體通信業(yè)務(wù)，其利用視訊終端和通信網(wǎng)絡(luò)召開會(huì)議，可以同時(shí)實(shí)現(xiàn)兩地或多個(gè)地點(diǎn)之間的圖像、語音、數(shù)據(jù)的交互。會(huì)場中的終端將本地?cái)z像機(jī)拍攝的圖像信號(hào)、與會(huì)者區(qū)域中的麥克風(fēng)拾取的與會(huì)者的聲音信號(hào)進(jìn)行壓縮編碼，經(jīng)過傳輸網(wǎng)絡(luò)傳至遠(yuǎn)方會(huì)場。同時(shí)，通過傳輸網(wǎng)絡(luò)接收遠(yuǎn)方會(huì)場傳來的數(shù)字信號(hào)，對(duì)數(shù)字信號(hào)進(jìn)行解碼得到遠(yuǎn)方會(huì)場與會(huì)者的圖像和信號(hào)。隨著視頻會(huì)議的發(fā)展，會(huì)場已經(jīng)由以前的一個(gè)攝像機(jī)、一個(gè)顯示器、一個(gè)與會(huì)者區(qū)域發(fā)展到多個(gè)攝像機(jī)、多個(gè)顯示器、多個(gè)與會(huì)者區(qū)域，這些在同一會(huì)場的多個(gè)攝像機(jī)、多個(gè)顯示器、多個(gè)與會(huì)者區(qū)域通過物理的或者邏輯的關(guān)系進(jìn)行關(guān)聯(lián)?，F(xiàn)有技術(shù)提供一種按會(huì)場的聲控切換方法，通信網(wǎng)絡(luò)中的多點(diǎn)控制服務(wù)器(以 MCU, Multipoint Control Unit，即多點(diǎn)控制單元為例)識(shí)別當(dāng)前聲音最大的發(fā)言者，將當(dāng)前聲音最大的發(fā)言者所在會(huì)場的各與會(huì)者的圖像都切換到目標(biāo)會(huì)場中，其中目標(biāo)會(huì)場是會(huì)議中除最大發(fā)言者所在會(huì)場以外的各會(huì)場。現(xiàn)有技術(shù)具有如下缺點(diǎn)現(xiàn)有技術(shù)中目標(biāo)會(huì)場只能顯示同一會(huì)場的各與會(huì)者圖像，即只能顯示聲音最大的與會(huì)者所在會(huì)場的各與會(huì)者圖像，這樣，如果當(dāng)前參與討論的與會(huì)者是不同會(huì)場的與會(huì)者時(shí)，目標(biāo)會(huì)場中的與會(huì)者就不能看到當(dāng)前參與討論的與會(huì)者圖像。

發(fā)明內(nèi)容
本發(fā)明實(shí)施例提供一種多屏視頻會(huì)議中對(duì)與會(huì)者圖像顯示進(jìn)行調(diào)整的方法及裝置，能夠靈活的進(jìn)行按屏幕聲控切換，提高與會(huì)者的體驗(yàn)。有鑒于此，本發(fā)明實(shí)施例提供一種多屏視頻會(huì)議中對(duì)與會(huì)者圖像顯示進(jìn)行調(diào)整的方法，包括按照當(dāng)前會(huì)議中與會(huì)者音量從大到小的順序，從音量最大的與會(huì)者開始，依次確定預(yù)定個(gè)數(shù)的待顯示的與會(huì)者；確定第一會(huì)場中預(yù)定個(gè)數(shù)的當(dāng)前顯示的與會(huì)者對(duì)應(yīng)的屏幕作為需要切換圖像的屏幕；控制所述需要切換圖像的屏幕所顯示的圖像切換為所述預(yù)定個(gè)數(shù)的待顯示與會(huì)者的圖像。一種網(wǎng)絡(luò)側(cè)媒體處理設(shè)備，包括與會(huì)者選擇單元，用于按照當(dāng)前會(huì)議中與會(huì)者音量從大到小的順序，從音量最大的與會(huì)者開始，依次確定預(yù)定個(gè)數(shù)的待顯示的與會(huì)者；
屏幕選擇單元，用于確定第一會(huì)場中預(yù)定個(gè)數(shù)的當(dāng)前顯示的與會(huì)者對(duì)應(yīng)的屏幕作為需要切換圖像的屏幕；第一控制切換單元，用于控制所述需要切換圖像的屏幕所顯示的圖像切換為所述預(yù)定個(gè)數(shù)的待顯示與會(huì)者的圖像。本發(fā)明實(shí)施例確定第一會(huì)場中預(yù)定個(gè)數(shù)的當(dāng)前顯示的與會(huì)者對(duì)應(yīng)的屏幕作為需要切換圖像的屏幕，然后將需要切換圖像的屏幕中的圖像切換為根據(jù)會(huì)議中各與會(huì)者音量從大到小的順序而確定的待顯示與會(huì)者的圖像。由于所選擇的待顯示的與會(huì)者是按照當(dāng)前會(huì)議中與會(huì)者音量從大到小的順序而確定的，所以可以顯示當(dāng)前參與討論、且位于不同會(huì)場的與會(huì)者，能夠使第一會(huì)場中的與會(huì)者看到參與討論的與會(huì)者圖像，提高與會(huì)者的體驗(yàn)。


為了更清楚地說明本發(fā)明實(shí)施例的技術(shù)方案，下面將對(duì)實(shí)施例中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖獲得其他的附圖。圖1是多屏?xí)龅慕Y(jié)構(gòu)示意圖；圖2A是本發(fā)明一實(shí)施例提供的多屏視頻會(huì)議中對(duì)與會(huì)者圖像顯示進(jìn)行調(diào)整的方法流程圖；圖2B是本發(fā)明另一實(shí)施例提供的多屏視頻會(huì)議中對(duì)與會(huì)者圖像顯示進(jìn)行調(diào)整的方法流程圖；圖2C是本發(fā)明又一實(shí)施例提供的多屏視頻會(huì)議中對(duì)與會(huì)者圖像顯示進(jìn)行調(diào)整的方法流程圖；圖2D是本發(fā)明又一實(shí)施例提供的多屏視頻會(huì)議中對(duì)與會(huì)者圖像顯示進(jìn)行調(diào)整的方法流程圖；圖3是本發(fā)明實(shí)施例提供的一種基于最近發(fā)言者列表對(duì)與會(huì)者圖像顯示進(jìn)行調(diào)整的方法流程圖；圖4是本發(fā)明實(shí)施例提供的另一種基于最近發(fā)言者列表對(duì)與會(huì)者圖像顯示進(jìn)行調(diào)整的方法流程圖；圖5是本發(fā)明實(shí)施例提供的又一種基于最近發(fā)言者列表對(duì)與會(huì)者圖像顯示進(jìn)行調(diào)整的方法流程圖；圖6A是本發(fā)明實(shí)施例提供的采用圖3、4或者5的方法切換三屏?xí)銎聊坏膱D像的示意圖；圖6B是本發(fā)明實(shí)施例提供的采用圖3、4或者5的方法切換兩屏?xí)銎聊坏膱D像的示意圖；圖6C是本發(fā)明實(shí)施例提供的采用指定顯示最大發(fā)言者圖像的屏幕的方法切換三屏?xí)銎聊坏膱D像的示意圖；圖6D是本發(fā)明實(shí)施例提供的采用指定顯示最大發(fā)言者圖像的屏幕的方法切換兩屏?xí)銎聊坏膱D像的示意圖；圖7是本發(fā)明實(shí)施例提供的一種考慮會(huì)場中屏幕的位置對(duì)與會(huì)者圖像顯示進(jìn)行調(diào)整的方法流程圖8是本發(fā)明實(shí)施例提供的會(huì)場將多畫面圖像疊加顯示在聲音最大的發(fā)言者圖像上的示意圖；圖9是本發(fā)明實(shí)施例提供的會(huì)場中的放音設(shè)備播放混音(遠(yuǎn)端會(huì)場的多個(gè)與會(huì)者聲音)的示意圖；圖10是本發(fā)明實(shí)施例提供的顯示聲音最大的與會(huì)者圖像的同時(shí)顯示多畫面的示意圖；圖11是本發(fā)明實(shí)施例提供的一種網(wǎng)絡(luò)側(cè)媒體處理設(shè)備結(jié)構(gòu)圖；圖12、圖13分別為屏幕選擇單元結(jié)構(gòu)圖；圖14為視頻源控制單元結(jié)構(gòu)圖。
具體實(shí)施例方式為使本發(fā)明實(shí)施例的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例。基于本發(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有作出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。參閱圖2A，本發(fā)明實(shí)施例提供一種多屏視頻會(huì)議中對(duì)與會(huì)者圖像顯示進(jìn)行調(diào)整的方法，該方法具體包括201A、按照當(dāng)前會(huì)議中與會(huì)者音量從大到小的順序，從音量最大的與會(huì)者開始，依次確定預(yù)定個(gè)數(shù)的待顯示的與會(huì)者。其中，與會(huì)者的音量從大到小的順序，在需要對(duì)與會(huì)者的圖像顯示進(jìn)行調(diào)整時(shí)，對(duì)與會(huì)者的一段時(shí)間講話的音量能量值進(jìn)行統(tǒng)計(jì)，所述的一段時(shí)間可以為需要對(duì)與會(huì)者的圖像進(jìn)行調(diào)整的時(shí)刻之前的一段時(shí)間，該一段時(shí)間的時(shí)長可以由用戶設(shè)定；其中，預(yù)定個(gè)數(shù)可以是一個(gè)，此時(shí)所確定的與會(huì)者為聲音最大的與會(huì)者；或者，預(yù)定個(gè)數(shù)為多個(gè)，具體可以由網(wǎng)絡(luò)側(cè)媒體處理設(shè)備設(shè)置的，也可以是網(wǎng)絡(luò)側(cè)業(yè)務(wù)管理平臺(tái)或者網(wǎng)絡(luò)側(cè)設(shè)備管理平臺(tái)設(shè)置的，還可以是由終端設(shè)置并發(fā)送給網(wǎng)絡(luò)側(cè)媒體處理設(shè)備，比如，主席會(huì)場的終端設(shè)置后發(fā)送給網(wǎng)絡(luò)側(cè)媒體處理設(shè)備。202A、確定第一會(huì)場中預(yù)定個(gè)數(shù)的當(dāng)前顯示的與會(huì)者對(duì)應(yīng)的屏幕作為需要切換圖
像的屏幕。具體的，可以根據(jù)用戶的自定義選擇，也可以根據(jù)會(huì)議過程中管理員的指定，還可以根據(jù)第一會(huì)場的屏幕當(dāng)前顯示的與會(huì)者的排序結(jié)果，來確定第一會(huì)場中預(yù)定個(gè)數(shù)的當(dāng)前顯示的與會(huì)者對(duì)應(yīng)的屏幕作為需要切換圖像的屏幕。其中，第一會(huì)場的屏幕當(dāng)前顯示的與會(huì)者的排序結(jié)果是按照如下排序條件進(jìn)行的，所述排序條件包括如下條件之一當(dāng)前顯示的與會(huì)者的聲音大小、當(dāng)前顯示的與會(huì)者的發(fā)言時(shí)間點(diǎn)遠(yuǎn)近、當(dāng)前顯示的與會(huì)者的發(fā)言時(shí)長、第一會(huì)場的屏幕當(dāng)前顯示的與會(huì)者的發(fā)言次數(shù)和第一會(huì)場的屏幕當(dāng)前顯示的與會(huì)者所對(duì)應(yīng)的屏幕是否為主屏。其中，排序結(jié)果可以是按照如下方式之一進(jìn)行排序當(dāng)前顯示的與會(huì)者按照聲音從大到小的順序；當(dāng)前顯示的與會(huì)者的發(fā)言時(shí)間點(diǎn)按照從近到遠(yuǎn)的順序；當(dāng)前顯示的與會(huì)者的發(fā)言時(shí)長按照從長到短的順序；第一會(huì)場的屏幕當(dāng)前顯示的與會(huì)者的發(fā)言次數(shù)按照從多到少的順序；此外，第一會(huì)場的屏幕當(dāng)前顯示的與會(huì)者所對(duì)應(yīng)的屏幕是否為主屏可以作為附加的排序條件，屏幕為主屏的第一會(huì)場的當(dāng)前顯示的與會(huì)者的排序順序位于屏幕為非主屏的第一會(huì)場的當(dāng)前顯示的與會(huì)者的排序順序之前。在視訊會(huì)議中，一般聲音最小的與會(huì)者是沒有參與討論的與會(huì)者，聲音較大的與會(huì)者是參與討論的與會(huì)者，所以為了能選擇到?jīng)]有參與討論的與會(huì)者所在屏幕作為待切換的屏幕，所以將當(dāng)前顯示的與會(huì)者的聲音大小作為排序條件之一；在視訊會(huì)議中，一般發(fā)言時(shí)間點(diǎn)較近的與會(huì)者再次發(fā)言的概率比較大，發(fā)言時(shí)間點(diǎn)較遠(yuǎn)的與會(huì)者再次發(fā)言的概率比較小，所以將當(dāng)前顯示的與會(huì)者的發(fā)言時(shí)間點(diǎn)遠(yuǎn)近作為排序條件之一；在視訊會(huì)議中，一般發(fā)言時(shí)間長的與會(huì)者再次發(fā)言的概率比較大，發(fā)言時(shí)長短的與會(huì)者再次發(fā)言的概率比較小，所以將當(dāng)前顯示的與會(huì)者的發(fā)言時(shí)長作為排序條件之一；在視訊會(huì)議中，一般經(jīng)常發(fā)言的人其再次發(fā)言的概率就會(huì)更高，為了更好的統(tǒng)計(jì)與會(huì)者發(fā)言的概率，所以可以將與會(huì)者的發(fā)言次數(shù)作為排序條件之一；另外，在視訊會(huì)議中，對(duì)于奇數(shù)個(gè)顯示屏幕的會(huì)場，中間的屏幕對(duì)應(yīng)的主屏；對(duì)于偶數(shù)個(gè)顯示屏幕的會(huì)場，中軸線相鄰的兩個(gè)屏幕對(duì)應(yīng)的是主屏，而主屏一般呈現(xiàn)會(huì)議主席等會(huì)議主要參與者的圖像，因此，為了更好的統(tǒng)計(jì)主屏呈現(xiàn)的與會(huì)者， 所以可以將第一會(huì)場的屏幕當(dāng)前顯示的與會(huì)者所對(duì)應(yīng)的屏幕是否為主屏主屏作為排序條件。對(duì)于不同的排序條件可以按照相應(yīng)的重要性設(shè)定對(duì)應(yīng)的權(quán)重(作為舉例所有的排序條件分配的權(quán)重之和歸一化為1，當(dāng)然，也可以設(shè)計(jì)權(quán)重之和不為1的情況)，并對(duì)各個(gè)排序條件的因素按照其特征定義取值范圍，然后通過計(jì)算這些因素的加權(quán)和作為排序參考值；如下舉例說明假定與會(huì)者聲音大小的權(quán)重為0. 1、發(fā)言時(shí)間點(diǎn)遠(yuǎn)近的權(quán)重為 0. 4、發(fā)言時(shí)長的權(quán)重為0. 2、發(fā)言次數(shù)多少的權(quán)重為0. 2、與會(huì)者所在屏幕是否為主屏的權(quán)重為0. 1，所有這些因素的權(quán)重之和為1。而且，所有這些因素都有自己的值，比如，與會(huì)者聲音大小的取值范圍為1 10，其中，聲音越大，取值越大，聲音越小，取值越小，其中，各與會(huì)者聲音的大小為最近發(fā)言時(shí)間點(diǎn)的各與會(huì)者聲音的大??；發(fā)言時(shí)間點(diǎn)的取值范圍為1 1000，各與會(huì)者發(fā)言時(shí)間點(diǎn)為各與會(huì)者最近一次發(fā)言的時(shí)間點(diǎn)，其中，可以假定會(huì)議開始時(shí)記為1，然后過1分鐘，就加1 ；發(fā)言時(shí)長取值范圍1 500，以分鐘為單位，其可以是與會(huì)者最近一次發(fā)言的時(shí)長，也可以是與會(huì)者特定時(shí)間段內(nèi)發(fā)言時(shí)長的累加值，比如與會(huì)者在 1小時(shí)之內(nèi)發(fā)言的總時(shí)長；發(fā)言次數(shù)取值范圍為1 100，其可以為特定時(shí)間段內(nèi)的發(fā)言次數(shù)，比如1小時(shí)之內(nèi)的發(fā)言次數(shù)，也可以是從會(huì)議開始算起得到的總發(fā)言次數(shù)；與會(huì)者所在屏幕取值為0或者1，即與會(huì)者所在屏幕為主屏?xí)r，則取值為1，否則取值為0，對(duì)于三屏或者五屏?xí)?，中間的屏幕為主屏，對(duì)于四屏?xí)?，可以認(rèn)為中間的兩個(gè)為主屏。然后按照以下公式計(jì)算各與會(huì)者的排序參考值與會(huì)者的排序參考值=與會(huì)者的聲音X與會(huì)者聲音大小權(quán)重+與會(huì)者的發(fā)言時(shí)間點(diǎn)X發(fā)言時(shí)間點(diǎn)權(quán)重+與會(huì)者的發(fā)言時(shí)長X發(fā)言時(shí)長權(quán)重+與會(huì)者的發(fā)言次數(shù)X發(fā)言次數(shù)權(quán)重+與會(huì)者的與會(huì)者所在屏幕X與會(huì)者所在屏幕權(quán)重。然后，按照排序參考值從大到小的順序?qū)Ω髋c會(huì)者進(jìn)行排序，選擇排序結(jié)果靠后的預(yù)定個(gè)數(shù)的與會(huì)者所對(duì)應(yīng)的屏幕作為需要切換圖像的屏幕。其中，需要說明的是，在對(duì)第一會(huì)場的屏幕當(dāng)前顯示的與會(huì)者進(jìn)行排序時(shí)，可以僅考慮各與會(huì)者聲音的大小，此時(shí)按照與會(huì)者的聲音從大到小的順序進(jìn)行排序；也可以僅考慮各與會(huì)者發(fā)言時(shí)間點(diǎn)的遠(yuǎn)近，此時(shí)按照與會(huì)者的發(fā)言時(shí)間點(diǎn)從近到遠(yuǎn)的順序進(jìn)行排序；也可以僅考慮各與會(huì)者的發(fā)言時(shí)長，此時(shí)按照與會(huì)者的發(fā)言時(shí)長從長到短的順序進(jìn)行排序；也可以僅考慮各與會(huì)者聲音的大小和各與會(huì)者發(fā)言時(shí)間點(diǎn)的遠(yuǎn)近，而不考慮其他條件， 假定與會(huì)者聲音的權(quán)重為0. 4、發(fā)言時(shí)間點(diǎn)的權(quán)重為0. 6，可以假定與會(huì)者聲音大小的取值范圍為1 10，其中，聲音越大，取值越大，聲音越小，取值越小，其中，各與會(huì)者聲音的大小為最近發(fā)言時(shí)間點(diǎn)的各與會(huì)者聲音的大小，發(fā)言時(shí)間點(diǎn)的取值范圍為1 1000，各與會(huì)者發(fā)言時(shí)間點(diǎn)為各與會(huì)者最近一次發(fā)言的時(shí)間點(diǎn)，此時(shí)，按照以下公式計(jì)算各與會(huì)者的排序參考值與會(huì)者的排序參考值=與會(huì)者的聲音X與會(huì)者聲音大小權(quán)重+與會(huì)者的發(fā)言時(shí)間點(diǎn)X發(fā)言時(shí)間點(diǎn)權(quán)重，然后，按照排序參考值從大到小的順序?qū)Ω髋c會(huì)者進(jìn)行排序；或者， 也可以僅考慮各與會(huì)者的發(fā)言時(shí)長和各與會(huì)者發(fā)言時(shí)間點(diǎn)的遠(yuǎn)近，而不考慮其他條件，不影響本發(fā)明的實(shí)現(xiàn)。203A、控制所述需要切換圖像的屏幕所顯示的圖像切換為所述預(yù)定個(gè)數(shù)的待顯示與會(huì)者的圖像。假定預(yù)定個(gè)數(shù)為兩個(gè)，而排序條件為按照聲音從大到小的方式進(jìn)行排序，則該步驟是選擇聲音最大的與會(huì)者和聲音次大的與會(huì)者，確定聲音最大的與會(huì)者和聲音次大的與會(huì)者對(duì)應(yīng)的屏幕作為需要切換圖像的屏幕。需要說明的，上述步驟201A、與步驟202A沒有執(zhí)行上的先后順序，可以先執(zhí)行步驟20IA再執(zhí)行步驟202A，也可以先執(zhí)行步驟202A再執(zhí)行步驟201A，也可以同時(shí)執(zhí)行。其中，所述預(yù)定個(gè)數(shù)可以為第一會(huì)場的與會(huì)者提前指定，可以為會(huì)議管理臺(tái)的管理員提前指定，還可以為會(huì)議的主席終端的與會(huì)者提前指定，還可以由多媒體控制服務(wù)器預(yù)先設(shè)定。需要說明的是，上述預(yù)定個(gè)數(shù)可以為一個(gè)，也可以為多個(gè)，當(dāng)預(yù)定個(gè)數(shù)為一個(gè)時(shí)， 步驟201A中就選擇了當(dāng)前聲音最大的與會(huì)者，此時(shí)，步驟203A可以采用如下方式實(shí)現(xiàn)根據(jù)第一會(huì)場的屏幕當(dāng)前顯示的與會(huì)者的排序結(jié)果，選擇排在最后的當(dāng)前顯示的與會(huì)者，判斷所述排在最后的當(dāng)前顯示的與會(huì)者所在的屏幕是否是第一特定屏幕，如果否，確定需要切換圖像的屏幕為所述排在最后的當(dāng)前顯示的與會(huì)者所在的屏幕；如果是，選擇所述排在最后的當(dāng)前顯示的與會(huì)者的前一個(gè)當(dāng)前顯示的與會(huì)者，確定需要切換圖像的屏幕為所述排在最后的當(dāng)前顯示的與會(huì)者的前一個(gè)當(dāng)前顯示的與會(huì)者所在的屏幕；其中，所述第一特定屏幕與第二特定屏幕關(guān)于屏幕中心線對(duì)稱，所述第二特定屏幕是能和聲音最大的發(fā)言者圖像達(dá)到眼對(duì)眼效果的第一會(huì)場的屏幕，屏幕中心線為所述第一會(huì)場中各屏幕依次連接所形成的屏幕組的幾何中心線。其中，由于第二特定屏幕是能和聲音最大的發(fā)言者圖像達(dá)到眼對(duì)眼效果的第一會(huì)場的屏幕，而第一特定屏幕與第二特定屏幕關(guān)于屏幕中心線對(duì)稱的屏幕，這樣，如果聲音最大的發(fā)言者圖像在第一特定屏幕上顯示，則該聲音最大的發(fā)言者與第一會(huì)場中的與會(huì)者達(dá)不到較好的眼對(duì)眼效果，因此，當(dāng)排在最后的與會(huì)者所在的屏幕是第一特定屏幕時(shí)，就選擇所述排在最后的與會(huì)者的前一個(gè)與會(huì)者所在的屏幕作為需要切換圖像的屏幕。為了使上述描述更加清楚，如下以三屏?xí)鰹槔M(jìn)行詳細(xì)說明，假定有兩個(gè)三屏?xí)?，一個(gè)會(huì)場中攝像機(jī)1拍攝的區(qū)域1的與會(huì)者圖像缺省在另一會(huì)場中的屏幕1或者3 呈現(xiàn)(如果對(duì)圖像未采用鏡像處理技術(shù)，則一會(huì)場區(qū)域1的與會(huì)者圖像缺省在另一會(huì)場的屏幕3呈現(xiàn)；如果對(duì)拍攝圖像采用鏡像處理技術(shù)，則區(qū)域1的與會(huì)者圖像缺省在另一會(huì)場的屏幕1呈現(xiàn))；一個(gè)會(huì)場中的攝像機(jī)2拍攝的區(qū)域2的與會(huì)者圖像缺省在另一會(huì)場的屏幕2呈現(xiàn)，一個(gè)會(huì)場中的攝像機(jī)3拍攝的區(qū)域3的與會(huì)者圖像缺省在另一會(huì)場的屏幕1或者3 呈現(xiàn)(同一會(huì)場的區(qū)域1的與會(huì)者圖像在另一會(huì)場的呈現(xiàn)方式類似)。上述一個(gè)會(huì)場的與會(huì)者圖像缺省在另一會(huì)場的屏幕上呈現(xiàn)時(shí)，能夠使該與會(huì)者圖像在另一會(huì)場中顯示時(shí)，該與會(huì)者與另一會(huì)場中的與會(huì)者達(dá)到眼對(duì)眼的效果。圖1示出了未采用鏡像處理技術(shù)時(shí)，會(huì)場1中的與會(huì)者在會(huì)場2中的缺省呈現(xiàn)的方式，假定兩個(gè)會(huì)場中區(qū)域1中的與會(huì)者為與會(huì)者1，區(qū)域2中的與會(huì)者為與會(huì)者2，區(qū)域3中的與會(huì)者為與會(huì)者3。利用本發(fā)明實(shí)施例提供的技術(shù)方案，假定會(huì)場1中的與會(huì)者1是當(dāng)前聲音最大的與會(huì)者，則第二特定屏幕為會(huì)場2 中的屏幕3，會(huì)場2中的屏幕3關(guān)于屏幕中心線對(duì)稱的屏幕為會(huì)場2中的屏幕1，此時(shí)會(huì)場2 中的屏幕1為第一特定屏幕，即會(huì)場1中的與會(huì)者1的圖像不能在會(huì)場2中的屏幕1顯示。 當(dāng)采用鏡像處理技術(shù)時(shí)，假定會(huì)場1中的與會(huì)者1是當(dāng)前聲音最大的與會(huì)者，則第二特定屏幕為會(huì)場2中的屏幕1，會(huì)場2中的屏幕1關(guān)于屏幕中心線對(duì)稱的屏幕為會(huì)場2中的屏幕 3，此時(shí)會(huì)場2中的屏幕3為第一特定屏幕，即會(huì)場1中的與會(huì)者1的圖像不能在會(huì)場2中的屏幕3顯示。其中，需要說明的是，屏幕數(shù)目為奇數(shù)的會(huì)場，如果聲音最大的發(fā)言者圖像所對(duì)應(yīng)的屏幕為中間屏幕時(shí)，則不會(huì)存在第一特定屏幕了，可以直接確定需要切換圖像的屏幕為排在最后的與會(huì)者所在的屏幕。需要說明的是，當(dāng)預(yù)定個(gè)數(shù)為1個(gè)時(shí)，則步驟201A確定的與會(huì)者為聲音最大的與會(huì)者，當(dāng)該聲音最大的與會(huì)者已經(jīng)在第一會(huì)場的屏幕上顯示時(shí)，則不再執(zhí)行步驟202A和步驟 203A。其中，上述方法實(shí)施例中的第一會(huì)場的屏幕為第一會(huì)場中能進(jìn)行圖像切換的屏幕，第一會(huì)場中能切換圖像的屏幕為第一會(huì)場中所有的屏幕或者除預(yù)定屏幕以外的屏幕。 所述預(yù)定屏幕為預(yù)定的不能切換圖像的屏幕，比如顯示會(huì)議數(shù)據(jù)資料的屏幕(即輔流屏幕)，或者指定顯示會(huì)議主席的屏幕，或者指定顯示多畫面的屏幕。需要說明的，上述各步驟可以由網(wǎng)絡(luò)側(cè)媒體處理設(shè)備執(zhí)行，網(wǎng)絡(luò)側(cè)媒體處理設(shè)備可以是多點(diǎn)控制服務(wù)器(以MCU為例)，也可以是具有上述媒體控制功能的終端設(shè)備(譬如集成媒體控制功能的視訊會(huì)議終端)，還可以是其他網(wǎng)絡(luò)設(shè)備；或者，步驟201A由網(wǎng)絡(luò)側(cè)媒體處理設(shè)備執(zhí)行，而步驟202A由第一會(huì)場的終端執(zhí)行，具體的第一會(huì)場的終端根據(jù)第一會(huì)場的屏幕當(dāng)前顯示的與會(huì)者的排序結(jié)果，選擇預(yù)定個(gè)數(shù)的與會(huì)者，確定所選擇的與會(huì)者所對(duì)應(yīng)的屏幕作為需要切換圖像的屏幕，然后將所選擇的預(yù)定個(gè)數(shù)的屏幕的編號(hào)通知網(wǎng)絡(luò)側(cè)媒體處理設(shè)備，此時(shí)，預(yù)定個(gè)數(shù)可以為第一會(huì)場的與會(huì)者提前指定。需要說明的是，該實(shí)施例是以假定預(yù)定個(gè)數(shù)小于或者等于第一會(huì)場能切換圖像的屏幕個(gè)數(shù)，如果預(yù)定個(gè)數(shù)大于第一會(huì)場能切換圖像的屏幕個(gè)數(shù)，則按照當(dāng)前會(huì)議中與會(huì)者音量從大到小的順序，從音量最大的與會(huì)者開始，選擇與第一會(huì)場能切換圖像的屏幕數(shù)目相同的待顯示的與會(huì)者，控制第一會(huì)場能切換圖像的屏幕所顯示的圖像切換為所選擇的待顯示與會(huì)者的圖像。另外，如果會(huì)議中規(guī)定某一會(huì)場的一個(gè)特定與會(huì)者在第一會(huì)場的某一特定屏幕上顯示時(shí)，則步驟201A需要對(duì)除所述特定與會(huì)者以外的與會(huì)者按照音量從大到小的順序，從音量最大的與會(huì)者開始，依次確定預(yù)定個(gè)數(shù)的待顯示的與會(huì)者，且在步驟202A中需要在除上述特定屏幕以外的第一會(huì)場能切換圖像的的屏幕中確定需要切換圖像的屏幕。本發(fā)明實(shí)施例確定第一會(huì)場中預(yù)定個(gè)數(shù)的當(dāng)前顯示的與會(huì)者對(duì)應(yīng)的屏幕作為需要切換圖像的屏幕，然后將需要切換圖像的屏幕切換為根據(jù)會(huì)議中各與會(huì)者音量從大到小的順序而確定的待顯示與會(huì)者的圖像，由于所選擇的待顯示的與會(huì)者是按照當(dāng)前會(huì)議中與會(huì)者音量從大到小的順序而確定的，所以可以顯示當(dāng)前參與討論、且位于不同會(huì)場的與會(huì)者，能夠使第一會(huì)場中的與會(huì)者看到參與討論的與會(huì)者圖像，提高與會(huì)者的體驗(yàn)。參閱圖2B，本發(fā)明實(shí)施例提供一種多屏視頻會(huì)議中對(duì)與會(huì)者圖像顯示進(jìn)行調(diào)整的方法，該方法中網(wǎng)絡(luò)側(cè)媒體處理設(shè)備具體為MCU，MCU先選擇當(dāng)前會(huì)議中聲音較大的與會(huì)者，再選擇第一會(huì)場中需要切換圖像的屏幕，然后控制需要切換圖像的屏幕所顯示的圖像切換為聲音較大的待顯示的與會(huì)者的圖像，該方法具體包括201B、各個(gè)會(huì)場將采集到的與會(huì)者的聲音和拍攝得到的與會(huì)者的圖像都發(fā)給MCU。202B、MCU啟動(dòng)聲控切換。其中，該步驟中MCU啟動(dòng)聲控切換是指MCU可以進(jìn)行聲控切換了。203B、MCU按照當(dāng)前會(huì)議中與會(huì)者音量從大到小的順序，從音量最大的與會(huì)者開始，依次選擇預(yù)定個(gè)數(shù)的待顯示的與會(huì)者。該步驟中MCU選擇預(yù)定個(gè)數(shù)的待顯示的與會(huì)者表示MCU要開始聲控切換了。其中，預(yù)定個(gè)數(shù)可以為1個(gè)或者為多個(gè)，當(dāng)預(yù)定個(gè)數(shù)為多個(gè)，具體可以是由MCU設(shè)置的，也可以是網(wǎng)絡(luò)側(cè)業(yè)務(wù)管理平臺(tái)或者網(wǎng)絡(luò)側(cè)設(shè)備管理平臺(tái)設(shè)置的，還可以是由終端設(shè)置并發(fā)送給MCU的，比如，主席會(huì)場的終端設(shè)置后發(fā)送給網(wǎng)絡(luò)側(cè)媒體處理設(shè)備。204B、MCU按照排序條件對(duì)第一會(huì)場的屏幕當(dāng)前顯示的與會(huì)者進(jìn)行排序，得到第一會(huì)場的屏幕當(dāng)前顯示的與會(huì)者的排序結(jié)果。具體的，可以是在周期時(shí)間到達(dá)時(shí)進(jìn)行排序，或者隨機(jī)進(jìn)行排序，或者按需進(jìn)行排序，其中，按需進(jìn)行排序可以是在MCU要開始進(jìn)行聲控切換的時(shí)候進(jìn)行排序。其中，具體的排序方式與步驟202A中的相應(yīng)描述相同，在此不再贅述。205B、MCU根據(jù)第一會(huì)場的屏幕當(dāng)前顯示的與會(huì)者的排序結(jié)果，選擇預(yù)定個(gè)數(shù)的當(dāng)前顯示的與會(huì)者，確定所選擇的當(dāng)前顯示的與會(huì)者所對(duì)應(yīng)的屏幕作為需要切換圖像的屏眷ο206B、MCU控制所述需要切換圖像的屏幕所顯示的圖像切換為所述預(yù)定個(gè)數(shù)的待顯示與會(huì)者的圖像。其中，當(dāng)所述預(yù)定個(gè)數(shù)的待顯示的與會(huì)者的圖像中存在至少兩個(gè)待顯示的與會(huì)者的圖像來自于同一會(huì)場(假定為第二會(huì)場)時(shí)，控制所述需要切換圖像的屏幕中至少兩個(gè)屏幕所顯示的圖像切換為所述至少兩個(gè)待顯示的與會(huì)者的圖像，使得在所述第一會(huì)場中顯示的所述至少兩個(gè)待顯示的與會(huì)者的圖像的方向順序與所述至少兩個(gè)待顯示的與會(huì)者在所述第二會(huì)場中的物理位置的順序相同。其中，第一會(huì)場中顯示第二會(huì)場的區(qū)域1對(duì)應(yīng)的與會(huì)者的圖像、區(qū)域2對(duì)應(yīng)的與會(huì)者的圖像的方向順序?yàn)樵摃?huì)場中顯示第二會(huì)場的區(qū)域1 與會(huì)者圖像的屏幕、區(qū)域2與會(huì)者圖像的屏幕的方向順序。采用這種圖像切換方式，使得切換后的至少兩個(gè)待顯示的與會(huì)者的圖像，能夠保持該至少兩個(gè)待顯示的與會(huì)者在原會(huì)場的物理位置的順序相同，使得在第一會(huì)場顯示的至少兩個(gè)待顯示的與會(huì)者能夠更好的保持在原會(huì)場的物理位置不變。如下舉實(shí)例說明假定2個(gè)五屏?xí)?會(huì)場A、會(huì)場B)，會(huì)場A中區(qū)域1的與會(huì)者缺省對(duì)應(yīng)的屏幕為屏幕1，區(qū)域2/3/4/5的與會(huì)者缺省對(duì)應(yīng)的屏幕分別為屏幕2/3/4/5，如果A會(huì)場的區(qū)域1、區(qū)域2的與會(huì)者圖像都在B會(huì)場中顯示，則MCU可以調(diào)整第一會(huì)場中屏幕顯示的圖像，使第一會(huì)場中的屏幕的顯示包括但不限于如下幾種方式1)、顯示A會(huì)場的區(qū)域1的與會(huì)者圖像、區(qū)域2的與會(huì)者圖像的屏幕分別為B會(huì)場
的屏幕1、屏幕2。2)、顯示A會(huì)場的區(qū)域1的與會(huì)者圖像、區(qū)域2的與會(huì)者圖像的屏幕分別為B會(huì)場
的屏幕2、屏幕3。3)、顯示A會(huì)場的區(qū)域1的與會(huì)者圖像、區(qū)域2的與會(huì)者圖像的屏幕分別為B會(huì)場
的屏幕1、屏幕3。也就是說顯示A會(huì)場區(qū)域1、2的與會(huì)者圖像的屏幕的方向順序是按照1/2/3/4/5 這個(gè)方向排序的(即如果以上面描述的缺省對(duì)應(yīng)的方式，那么顯示區(qū)域1與會(huì)者圖像的屏幕編號(hào)一定比顯示區(qū)域2與會(huì)者圖像的屏幕編號(hào)小)。本發(fā)明實(shí)施例中MCU根據(jù)第一會(huì)場中屏幕顯示的與會(huì)者的排序結(jié)果，選擇需要切換圖像的屏幕，然后將需要切換圖像的屏幕切換為根據(jù)會(huì)議中各與會(huì)者音量從大到小的順序而選擇的與會(huì)者的圖像，由于排序結(jié)果是根據(jù)第一會(huì)場中屏幕顯示的與會(huì)者聲音大小、 發(fā)言時(shí)間點(diǎn)遠(yuǎn)近、發(fā)言時(shí)長中至少一個(gè)條件進(jìn)行排序的排序結(jié)果，所以能夠保證當(dāng)前不斷講話的與會(huì)者的圖像都可能在第一會(huì)場的屏幕中顯示，能夠使第一會(huì)場中的與會(huì)者看到當(dāng)前參與討論的與會(huì)者圖像，提高與會(huì)者的體驗(yàn)。參閱圖2C，本發(fā)明實(shí)施例提供一種多屏視頻會(huì)議中對(duì)與會(huì)者圖像顯示進(jìn)行調(diào)整的方法，該方法中網(wǎng)絡(luò)側(cè)媒體處理設(shè)備為MCU，MCU先選擇第一會(huì)場中需要切換圖像的屏幕， 再選擇當(dāng)前會(huì)議中聲音較大的待顯示的與會(huì)者，然后控制需要切換圖像的屏幕所顯示的圖像切換為聲音較大的待顯示的與會(huì)者的圖像，該方法具體包括201C、各個(gè)會(huì)場將采集到的與會(huì)者的聲音和拍攝得到的與會(huì)者的圖像都發(fā)給MCU。202C、MCU啟動(dòng)聲控切換。其中，該步驟中MCU啟動(dòng)聲控切換是指MCU可以進(jìn)行聲控切換了。203C、MCU按照排序條件對(duì)第一會(huì)場的屏幕當(dāng)前顯示的與會(huì)者進(jìn)行排序，得到第一會(huì)場的屏幕當(dāng)前顯示的與會(huì)者的排序結(jié)果。其中，具體的排序方式和排序時(shí)間可以參考步驟204B的相應(yīng)描述，在此不再贅述。204C、MCU根據(jù)第一會(huì)場的屏幕當(dāng)前顯示的與會(huì)者的排序結(jié)果，選擇預(yù)定個(gè)數(shù)的當(dāng)前顯示的與會(huì)者，確定所選擇的預(yù)定個(gè)數(shù)的當(dāng)前顯示的與會(huì)者所對(duì)應(yīng)的屏幕作為需要切換圖像的屏幕。205C、MCU按照當(dāng)前會(huì)議中與會(huì)者音量從大到小的順序，從音量最大的與會(huì)者開始，依次選擇預(yù)定個(gè)數(shù)的待顯示的與會(huì)者。該步驟中MCU選擇預(yù)定個(gè)數(shù)的待顯示的與會(huì)者表示MCU要開始進(jìn)行聲控切換了。 其中，預(yù)定個(gè)數(shù)可以為1個(gè)或者為多個(gè)，當(dāng)預(yù)定個(gè)數(shù)為多個(gè)，具體可以是有由MCU設(shè)置的，也可以是網(wǎng)絡(luò)側(cè)業(yè)務(wù)管理平臺(tái)或者網(wǎng)絡(luò)側(cè)設(shè)備管理平臺(tái)設(shè)置的，還可以是由終端設(shè)置并發(fā)送給MCU的，比如，主席會(huì)場的終端設(shè)置后發(fā)送給網(wǎng)絡(luò)側(cè)媒體處理設(shè)備。206C、MCU控制所述需要切換圖像的屏幕所顯示的圖像切換為所述預(yù)定個(gè)數(shù)的待顯示的與會(huì)者的圖像。
本發(fā)明實(shí)施例中MCU根據(jù)第一會(huì)場中屏幕當(dāng)前顯示的與會(huì)者的排序結(jié)果，選擇需要切換圖像的屏幕，然后將需要切換圖像的屏幕切換為根據(jù)會(huì)議中各與會(huì)者音量從大到小的順序而選擇的當(dāng)前顯示的與會(huì)者的圖像，由于排序結(jié)果是根據(jù)第一會(huì)場中屏幕顯示的與會(huì)者聲音大小、發(fā)言時(shí)間點(diǎn)遠(yuǎn)近、發(fā)言時(shí)長中至少一個(gè)條件進(jìn)行排序的排序結(jié)果，所以能夠保證當(dāng)前不斷講話的與會(huì)者的圖像都可能在第一會(huì)場的屏幕中顯示，能夠使第一會(huì)場中的與會(huì)者看到當(dāng)前參與討論的與會(huì)者圖像，提高與會(huì)者的體驗(yàn)。參閱圖2D，本發(fā)明實(shí)施例提供一種多屏視頻會(huì)議中對(duì)與會(huì)者圖像顯示進(jìn)行調(diào)整的方法，該方法與上述兩個(gè)實(shí)施例的區(qū)別在于第一會(huì)場的終端根據(jù)第一會(huì)場的屏幕當(dāng)前顯示的與會(huì)者的排序結(jié)果，選擇需要切換圖像的屏幕然后通知MCU，由MCU控制第一會(huì)場中屏幕顯示圖像的切換，該方法具體包括201D、各個(gè)會(huì)場將采集到的與會(huì)者的聲音和拍攝得到的與會(huì)者的圖像都發(fā)給MCU。202D、MCU啟動(dòng)聲控切換。203D、第一會(huì)場的終端按照排序條件對(duì)第一會(huì)場的屏幕當(dāng)前顯示的與會(huì)者進(jìn)行排序，得到第一會(huì)場的屏幕當(dāng)前顯示的與會(huì)者的排序結(jié)果。其中，具體的排序方式和排序時(shí)間可以參考步驟204B的相應(yīng)描述，在此不再贅述。204D、第一會(huì)場的終端根據(jù)第一會(huì)場的屏幕當(dāng)前顯示的與會(huì)者的排序結(jié)果，選擇預(yù)定個(gè)數(shù)的當(dāng)前顯示的與會(huì)者，確定所選擇的與會(huì)者所對(duì)應(yīng)的屏幕作為需要切換圖像的屏
眷ο205D、第一會(huì)場的終端向MCU發(fā)送第一會(huì)場中需要切換圖像的屏幕的編號(hào)。206D、MCU按照當(dāng)前會(huì)議中與會(huì)者音量從大到小的順序，從音量最大的與會(huì)者開始，依次確定預(yù)定個(gè)數(shù)的待顯示的與會(huì)者。其中，預(yù)定個(gè)數(shù)可以為1個(gè)或者為多個(gè)，當(dāng)預(yù)定個(gè)數(shù)為多個(gè)，具體可以是由終端設(shè)置并發(fā)送給MCU。207D、MCU控制所述需要切換圖像的屏幕所顯示的圖像切換為預(yù)定個(gè)數(shù)的待顯示的與會(huì)者的圖像。本發(fā)明實(shí)施例中第一會(huì)場的終端根據(jù)第一會(huì)場中屏幕顯示的與會(huì)者的排序結(jié)果， 選擇需要切換圖像的屏幕，然后由MCU控制需要切換圖像的屏幕切換為根據(jù)會(huì)議中各與會(huì)者音量從大到小的順序而選擇出的與會(huì)者圖像，由于排序結(jié)果是根據(jù)第一會(huì)場中屏幕顯示的與會(huì)者聲音大小、發(fā)言時(shí)間點(diǎn)遠(yuǎn)近、發(fā)言時(shí)長中至少一個(gè)條件進(jìn)行排序的排序結(jié)果，所以能夠保證當(dāng)前不斷講話的與會(huì)者的圖像都可能在第一會(huì)場的屏幕中顯示，能夠使第一會(huì)場中的與會(huì)者看到參與討論的與會(huì)者圖像，提高與會(huì)者的體驗(yàn)。參閱圖3，本發(fā)明實(shí)施例提供一種多屏視頻會(huì)議中對(duì)與會(huì)者圖像顯示進(jìn)行調(diào)整的方法，該方法中網(wǎng)絡(luò)側(cè)媒體處理設(shè)備為MCU，MCU先選擇當(dāng)前聲音最大的與會(huì)者對(duì)應(yīng)的圖像作為待顯示的圖像，然后根據(jù)第一會(huì)場中屏幕顯示的與會(huì)者的聲音大小，選擇需要切換圖像的屏幕，該方法具體包括301、各個(gè)會(huì)場將采集到的與會(huì)者的聲音和拍攝得到的與會(huì)者的圖像都發(fā)給MCU。302、MCU啟動(dòng)聲控切換。303、MCU確定當(dāng)前聲音最大的與會(huì)者，該聲音最大的與會(huì)者為待顯示的與會(huì)者。
304、MCU判斷是否滿足切換條件，如果是，執(zhí)行305，如果否，結(jié)束本流程。具體的，可以是判斷當(dāng)前聲音最大的與會(huì)者的聲音是否持續(xù)一個(gè)預(yù)設(shè)時(shí)間段，如果是，則滿足切換條件，否則不具備切換條件。305、MCU判斷第一會(huì)場中能切換圖像的屏幕當(dāng)前顯示的與會(huì)者是否有最近發(fā)言者列表中的與會(huì)者，如果否，則執(zhí)行306，如果是，則執(zhí)行307。306、MCU根據(jù)第一會(huì)場的能切換圖像的屏幕當(dāng)前顯示的與會(huì)者的聲音大小，確定聲音最小的與會(huì)者的圖像所在的屏幕為需要切換圖像的屏幕，控制該屏幕顯示的圖像從聲音最小的與會(huì)者圖像切換為當(dāng)前聲音最大的與會(huì)者的圖像，結(jié)束本流程。其中，第一會(huì)場中能切換圖像的屏幕為第一會(huì)場中所有的屏幕或者除預(yù)定屏幕以外的屏幕，所述預(yù)定屏幕為預(yù)置的不能進(jìn)行圖像切換的屏幕。所述預(yù)定屏幕為預(yù)定的不能切換圖像的屏幕，比如顯示會(huì)議數(shù)據(jù)資料的屏幕，或者指定顯示會(huì)議主席的屏幕，或者指定顯示多畫面的屏幕。需要說明的是，本實(shí)施例及后續(xù)各實(shí)施例中，可以將多畫面圖像作為聲音最小的與會(huì)者圖像，這樣在聲控切換啟動(dòng)后，第一次進(jìn)行圖像切換時(shí)就可以將該多畫面圖像切換為當(dāng)前聲音最大的與會(huì)者圖像。307、MCU判斷第一會(huì)場能切換圖像的屏幕當(dāng)前顯示的與會(huì)者是否都屬于最近發(fā)言者列表，如果是，執(zhí)行308，如果否，則執(zhí)行309。308、MCU按照最近發(fā)言者列表中與會(huì)者的排序結(jié)果，選擇排序結(jié)果靠后的與會(huì)者所在的屏幕為需要切換圖像的屏幕，則控制該屏幕顯示的圖像切換為聲音最大的與會(huì)者的圖像，結(jié)束本流程。其中，最近發(fā)言者列表中與會(huì)者的排序方式和排序時(shí)間與上述實(shí)施例中所描述的第一會(huì)場的屏幕當(dāng)前顯示的與會(huì)者的排序方式相同，在此不再贅述。其中，最近發(fā)言者列表也可以是圖像列表，即近期發(fā)言的與會(huì)者的圖像的列表。309、MCU從不屬于最近發(fā)言者列表的當(dāng)前顯示的與會(huì)者中選擇聲音最小的與會(huì)者，將所選擇的與會(huì)者所在的屏幕作為需要切換圖像的屏幕，MCU控制將該屏幕顯示的圖像切換為聲音最大的與會(huì)者的圖像。具體的，可以從不屬于最近發(fā)言者列表的當(dāng)前顯示的與會(huì)者中選擇聲音最小的與會(huì)者，則該聲音最小的與會(huì)者所在的屏幕為需要切換圖像的屏幕，控制該屏幕顯示的圖像切換為聲音最大的與會(huì)者的圖像。本發(fā)明實(shí)施例在考慮最近發(fā)言列表時(shí)，從不屬于最近發(fā)言者列表的與會(huì)者中選擇待切換的與會(huì)者，或者，根據(jù)最近發(fā)言者列表中與會(huì)者的排序結(jié)果，選擇排序結(jié)果靠后的與會(huì)者作為待切換圖像，這種聲控切換方法，能夠避免最近經(jīng)常發(fā)言的與會(huì)者被切換掉，使會(huì)場中的用戶能夠看到參與討論的與會(huì)者圖像，提高與會(huì)者的體驗(yàn)；進(jìn)一步，只要聲音最大的發(fā)言者的聲音滿足切換條件，則可以將聲音最大的發(fā)言者的圖像切換到會(huì)場中，使會(huì)場中的用戶即時(shí)看到聲音最大的與會(huì)者的圖像，提高與會(huì)者的體驗(yàn)。參閱圖4，本發(fā)明實(shí)施例提供一種多屏視頻會(huì)議中對(duì)與會(huì)者圖像顯示進(jìn)行調(diào)整的方法，該方法中與圖3所示實(shí)施例的區(qū)別在于MCU先根據(jù)第一會(huì)場中屏幕顯示的與會(huì)者的聲音大小，選擇需要切換圖像的屏幕，然后再選擇當(dāng)前聲音最大的與會(huì)者，該方法具體包括
401、各個(gè)會(huì)場將采集得到的與會(huì)者的聲音和獲取得到的與會(huì)者的圖像都發(fā)給 MCU。402、MCU啟動(dòng)聲控切換。403、周期時(shí)間到達(dá)時(shí)，MCU判斷第一會(huì)場中能切換圖像的屏幕當(dāng)前顯示的與會(huì)者是否有最近發(fā)言者列表中的與會(huì)者，如果否，則執(zhí)行404，如果是，則執(zhí)行405。具體的，可以預(yù)先設(shè)定周期時(shí)間，比如一個(gè)周期為2s，這樣每隔兩秒就會(huì)執(zhí)行步驟 403。404、MCU根據(jù)第一會(huì)場的能切換圖像的屏幕當(dāng)前顯示的與會(huì)者的聲音大小，選擇聲音最小的與會(huì)者的圖像所在的屏幕作為需要切換圖像的屏幕。其中，第一會(huì)場中能切換圖像的屏幕的定義與圖3所示實(shí)施例相應(yīng)部分的描述相同，在此不再贅述。405、MCU判斷第一會(huì)場能切換圖像的屏幕當(dāng)前顯示的與會(huì)者是否都屬于最近發(fā)言者列表，如果是，執(zhí)行406，如果否，則執(zhí)行407。406、MCU按照最近發(fā)言者列表中與會(huì)者的排序結(jié)果，選擇排序結(jié)果靠后的與會(huì)者所在的屏幕為需要切換圖像的屏幕。其中，最近發(fā)言者列表中與會(huì)者的排序方式和排序時(shí)間與上述實(shí)施例中所描述的第一會(huì)場的屏幕當(dāng)前顯示的與會(huì)者的排序方式相同，在此不再贅述。其中，最近發(fā)言者列表也可以是圖像列表，即近期發(fā)言的與會(huì)者的圖像的列表。407、MCU從不屬于最近發(fā)言者列表的當(dāng)前顯示的與會(huì)者中選擇聲音最小的與會(huì)者，將所選擇的與會(huì)者所在的屏幕作為需要切換圖像的屏幕。408、MCU確定當(dāng)前聲音最大的發(fā)言者，該聲音最大的與會(huì)者為待顯示的與會(huì)者。409、MCU判斷是否具備切換條件，如果是，執(zhí)行410，如果否，不進(jìn)行處理，返回執(zhí)行步驟403。410、MCU控制需要切換圖像的屏幕顯示的圖像切換為聲音最大的與會(huì)者的圖像。本發(fā)明實(shí)施例在考慮最近發(fā)言列表時(shí)，在不屬于最近發(fā)言者列表的當(dāng)前顯示的與會(huì)者中選擇待切換的與會(huì)者，或者，根據(jù)最近發(fā)言者列表中與會(huì)者的排序結(jié)果，選擇排序結(jié)果靠后的與會(huì)者作為待切換的與會(huì)者，這種聲控切換方法，能夠避免最近經(jīng)常發(fā)言的與會(huì)者圖像被切換掉，使會(huì)場中的用戶能夠看到參與討論的與會(huì)者圖像，提高與會(huì)者的體驗(yàn)。參閱圖5，本發(fā)明實(shí)施例提供一種多屏視頻會(huì)議中對(duì)與會(huì)者圖像顯示進(jìn)行調(diào)整的方法，該方法中與圖3、圖4所示實(shí)施例的區(qū)別在于第一會(huì)場的終端根據(jù)第一會(huì)場中屏幕顯示的與會(huì)者的聲音大小，選擇需要切換圖像的屏幕然后通知MCU，該方法具體包括501、各個(gè)會(huì)場將與會(huì)者的聲音和與會(huì)者的圖像都發(fā)給MCU。502、MCU啟動(dòng)聲控切換。503、周期時(shí)間到達(dá)時(shí)，第一會(huì)場的終端判斷第一會(huì)場中能切換圖像的屏幕當(dāng)前顯示的與會(huì)者是否有最近發(fā)言者列表中的與會(huì)者，如果否，則執(zhí)行504，如果是，則執(zhí)行505。具體的，可以預(yù)先設(shè)定周期時(shí)間，比如一個(gè)周期為2s，這樣每隔兩秒就會(huì)執(zhí)行步驟 503。504、第一會(huì)場的終端根據(jù)第一會(huì)場能切換圖像的屏幕當(dāng)前顯示的與會(huì)者的聲音大小，選擇聲音最小的與會(huì)者的圖像所在的屏幕作為需要切換圖像的屏幕。
其中，第一會(huì)場中能切換圖像的屏幕的定義與圖3所示實(shí)施例相應(yīng)部分的描述相同，在此不再贅述。505、第一會(huì)場的終端判斷第一會(huì)場能切換圖像的屏幕當(dāng)前顯示的與會(huì)者是否都屬于最近發(fā)言者列表，如果是，執(zhí)行506，如果否，則執(zhí)行507。506、第一會(huì)場的終端按照最近發(fā)言者列表中與會(huì)者的排序結(jié)果，選擇排序結(jié)果靠后的與會(huì)者所在的屏幕為需要切換圖像的屏幕。其中，最近發(fā)言者列表中與會(huì)者的排序方式和排序時(shí)間與上述實(shí)施例中所描述的第一會(huì)場的屏幕當(dāng)前顯示的與會(huì)者的排序方式相同，在此不再贅述。其中，最近發(fā)言者列表也可以是圖像列表，即近期發(fā)言的與會(huì)者的圖像的列表。507、第一會(huì)場的終端從不屬于最近發(fā)言者列表的當(dāng)前顯示的與會(huì)者中選擇聲音最小的與會(huì)者，將所選擇的與會(huì)者所在的屏幕作為需要切換圖像的屏幕。508、第一會(huì)場的終端向MCU發(fā)送需要切換圖像的屏幕的編號(hào)。509、MCU確定當(dāng)前聲音最大的發(fā)言者，該聲音最大的發(fā)言者為待顯示的與會(huì)者。510、MCU判斷是否具備切換條件，如果是，執(zhí)行511，如果否，不進(jìn)行處理，結(jié)束本流程。511、MCU控制需要切換圖像的屏幕顯示的圖像切換為聲音最大的與會(huì)者的圖像。本發(fā)明實(shí)施例在考慮最近發(fā)言列表時(shí)，在不屬于最近發(fā)言者列表的與會(huì)者中選擇待切換的與會(huì)者，或者，根據(jù)最近發(fā)言者列表中與會(huì)者的排序結(jié)果，選擇排序結(jié)果靠后的與會(huì)者作為待切換的與會(huì)者，這種聲控切換方法，能夠避免最近經(jīng)常發(fā)言的與會(huì)者圖像被切換掉，使會(huì)場中的用戶能夠看到參與討論的與會(huì)者圖像，提高與會(huì)者的體驗(yàn)。進(jìn)一步，由第一會(huì)場的終端選擇需要切換圖像的屏幕，減少了 MCU的工作，降低了對(duì)MCU的要求。如下對(duì)最近發(fā)言者列表進(jìn)行詳細(xì)介紹1、關(guān)于與會(huì)者的排序方式參見步驟202A的詳細(xì)描述，在此不再贅述。2、當(dāng)最近發(fā)言者列表為圖像列表時(shí)，可以控制會(huì)議主席圖像一直位于發(fā)言者圖像列表中，多畫面圖像一直位于發(fā)言者圖像列表中。其中，會(huì)議主席圖像可以在會(huì)議一開始就進(jìn)入最近發(fā)言者列表，也可以在會(huì)議主席講話后切入最近發(fā)言者列表中，具體的，若當(dāng)前聲音最大的發(fā)言者為會(huì)議主席時(shí)，將該會(huì)議主席圖像放入最近發(fā)言者列表中。3、關(guān)于最近發(fā)言者列表的更新，有如下幾種更新方式1)、可以將當(dāng)前聲音最大的發(fā)言者放入最近發(fā)言者列表中，具體的，可以在將當(dāng)前聲音最大的發(fā)言者圖像切換到屏幕上顯示之后，將當(dāng)前聲音最大的發(fā)言者放入最近發(fā)言者列表，也可以在切換之前，將當(dāng)前聲音最大的發(fā)言者放入最近發(fā)言者列表。2)、在啟動(dòng)聲控切換時(shí)，將會(huì)場中當(dāng)前各屏幕顯示的與會(huì)者放入最近發(fā)言者列表中。3)、當(dāng)最近發(fā)言者列表中與會(huì)者的個(gè)數(shù)大于會(huì)場中屏幕的個(gè)數(shù)時(shí)，根據(jù)最近發(fā)言者列表的排序結(jié)果，將在最近發(fā)言者列表中的排序位數(shù)超過會(huì)場中屏幕的個(gè)數(shù)的與會(huì)者刪除；或者，當(dāng)最近發(fā)言者列表中與會(huì)者的個(gè)數(shù)大于會(huì)場中屏幕的個(gè)數(shù)時(shí)，清空最近發(fā)言者列表。4)、當(dāng)最近發(fā)言者列表中有預(yù)定時(shí)間段內(nèi)沒有發(fā)言的與會(huì)者時(shí)，將所述預(yù)定時(shí)間段內(nèi)沒有發(fā)言的與會(huì)者從最近發(fā)言者列表中刪除。
5)、最近發(fā)言者列表中與會(huì)者的個(gè)數(shù)大于會(huì)場中除特定屏幕以外的屏幕個(gè)數(shù)時(shí)， 將在最近發(fā)言者列表中的排序位數(shù)超過除特定屏幕以外的屏幕個(gè)數(shù)的與會(huì)者刪除，或者， 將最近發(fā)言者列表清空，其中特定屏幕是不能進(jìn)行圖像切換的屏幕，比如專用于顯示會(huì)議輔助資料的屏幕等。4、當(dāng)已確定最近發(fā)言者列表中的與會(huì)者所在的屏幕需要進(jìn)行圖像切換時(shí)，也可以采用下面這幾種特殊策略第一、選擇能和當(dāng)前聲音最大的與會(huì)者達(dá)到眼對(duì)眼效果的屏幕顯示該當(dāng)前聲音最大的與會(huì)者的圖像，或者，選擇與能和當(dāng)前聲音最大的與會(huì)者達(dá)到眼對(duì)眼效果的屏幕相鄰的屏幕來顯示該聲音最大的與會(huì)者的圖像。例如，當(dāng)前聲音最大與會(huì)者為A會(huì)場左側(cè)的與會(huì)者，假定能和當(dāng)前聲音最大的與會(huì)者達(dá)到眼對(duì)眼效果的屏幕為B會(huì)場左側(cè)的屏幕，則選擇B會(huì)場左側(cè)的屏幕作為需要切換圖像的屏幕，或者，選擇B會(huì)場的中間屏幕作為需要切換圖像的屏幕。第二、如果當(dāng)前聲音最大與會(huì)者與最近發(fā)言者列表中的某個(gè)與會(huì)者為同一會(huì)場中的發(fā)言者時(shí)，選擇在同一會(huì)場的與會(huì)者圖像所在屏幕的附近屏幕顯示該當(dāng)前聲音最大的與會(huì)者圖像。第三、優(yōu)先切換主屏幕的圖像。第四、不切換本會(huì)場中的第一特定屏幕或者第一特定屏幕外側(cè)的屏幕的圖像，其中，對(duì)第一特定屏幕的描述請參見第一個(gè)實(shí)施例步驟202A中的相關(guān)描述，在此不再贅述。 第一特定屏幕外側(cè)的屏幕為第一特定屏幕背向幾何中心線一側(cè)的屏幕，比如一個(gè)五屏?xí)?，如果第一特定屏幕為屏?，則第一特定屏幕外例的屏幕為屏幕5，如果第一特定屏幕為屏幕2，則第一特定屏幕外側(cè)的屏幕為屏幕3。第五、將最近發(fā)言者列表中聲音最小的與會(huì)者的圖像切換掉。5、對(duì)于多屏?xí)觯總€(gè)攝像機(jī)拍攝一組與會(huì)者，這組與會(huì)者共享一個(gè)或者多個(gè) MIC (麥克風(fēng)，簡稱麥克)，這組MIC的聲音代表該會(huì)場聲音的一個(gè)方位(比如左、中、右中的左方位)，各會(huì)場把不同方位的MIC的聲音發(fā)送給MCU，MCU在聲控切換時(shí)，會(huì)把聲音最大的那組MIC(這組MIC對(duì)應(yīng)了一個(gè)會(huì)場中的一個(gè)方位)的對(duì)應(yīng)的圖像進(jìn)行顯示切換；或者多個(gè)攝像機(jī)拍攝一組與會(huì)者甚至整個(gè)會(huì)場的圖像，這組與會(huì)者共享一組MIC，這組MIC的聲音代表一個(gè)聲音方位或者整個(gè)會(huì)場的聲音(比如單聲音道語音協(xié)議的情況下，就是代表整個(gè)會(huì)場)，各會(huì)場把不同方位的MIC的聲音發(fā)送給MCU，MCU在聲控切換時(shí)，會(huì)把聲音最大的那組 MIC(這組MIC對(duì)應(yīng)了一個(gè)會(huì)場中的一個(gè)方位或者一個(gè)會(huì)場)對(duì)應(yīng)的圖像(多個(gè)攝像機(jī)所拍攝的一組與會(huì)者的圖像或者整個(gè)會(huì)場的圖像)進(jìn)行顯示切換；對(duì)于上述兩種情況，還可以有另外一種處理方式，即各會(huì)場從本會(huì)場各組MIC對(duì)應(yīng)的方位聲音中選出前幾大聲音，即選出幾組MIC的聲音，把選出的聲音發(fā)送MCU，MCU再從整個(gè)會(huì)議中選出聲音最大那組MIC， 把其對(duì)應(yīng)的圖像進(jìn)行顯示切換。為了使本發(fā)明上述實(shí)施例更加清楚明白，參閱圖6A，如下以三屏?xí)鰹槔?，詳?xì)說明本發(fā)明實(shí)施例提供的多屏視頻會(huì)議中對(duì)與會(huì)者圖像顯示進(jìn)行調(diào)整的方法，圖中，A會(huì)場、B 會(huì)場、C會(huì)場、D會(huì)場都為3屏?xí)?，E會(huì)場、F會(huì)場、G會(huì)場都為2屏?xí)觯琂會(huì)場、K會(huì)場都為單屏?xí)?，具體的，在啟動(dòng)聲控切換之前，A會(huì)場的屏幕1、2、3分別顯示E會(huì)場中攝像機(jī) El拍攝的圖像，J會(huì)場中攝像機(jī)Jl拍攝的圖像，G會(huì)場中攝像機(jī)G2拍攝的圖像；啟動(dòng)聲控切換之后，當(dāng)前與會(huì)者聲音不斷變化，則會(huì)場A的圖像切換過程包括1)當(dāng)前攝像機(jī)El拍攝的圖像中的與會(huì)者聲音最小，攝像機(jī)F2拍攝的圖像中的與會(huì)者聲音最大，則控制A會(huì)場的屏幕1顯示的圖像從攝像機(jī)El拍攝的圖像切換為攝像機(jī)F2 拍攝的圖像，將攝像機(jī)F2拍攝的與會(huì)者放入最近發(fā)言者列表中；2)、然后，攝像機(jī)F2拍攝的圖像中的與會(huì)者聲音最小，攝像機(jī)Jl拍攝的圖像中的與會(huì)者聲音次小，攝像機(jī)C2拍攝的圖像的與會(huì)者聲音最大，由于攝像機(jī)F2拍攝的與會(huì)者已經(jīng)在最近發(fā)言者列表中，所以選擇聲音次小的與會(huì)者的圖像進(jìn)行切換，此時(shí)，控制A會(huì)場的屏幕2顯示的圖像從攝像機(jī)Jl拍攝的圖像切換成攝像機(jī)C2拍攝的圖像，將攝像機(jī)C2拍攝的與會(huì)者放入最近發(fā)言者列表；3)、然后，攝像機(jī)G2拍攝的圖像中與會(huì)者聲音最小，攝像機(jī)Kl拍攝的圖像中與會(huì)者聲音最大，控制A會(huì)場的屏幕3顯示的圖像從攝像機(jī)G2拍攝的圖像切換成攝像機(jī)Kl拍攝的圖像，將攝像機(jī)Kl拍攝的與會(huì)者放入最近發(fā)言者列表中；4)、然后，攝像機(jī)F2拍攝的圖像中與會(huì)者聲音最小，攝像機(jī)Kl拍攝的圖像中與會(huì)者聲音最大，由于攝像機(jī)Kl拍攝的圖像已經(jīng)在屏幕3上顯示，所以不做處理；5)、然后，當(dāng)前攝像機(jī)Kl拍攝的圖像的與會(huì)者聲音最小，攝像機(jī)F2拍攝的圖像的與會(huì)者聲音次小，攝像機(jī)C3拍攝的圖像的與會(huì)者聲音最大，由于按照發(fā)言時(shí)間點(diǎn)從近到遠(yuǎn)的順序，攝像機(jī)F2拍攝的與會(huì)者在最近發(fā)言者列表的最后位置，因此，控制屏幕1顯示的圖像從攝像機(jī)F2拍攝的圖像切換為攝像機(jī)C3拍攝的圖像，由于攝像機(jī)C2和C3都屬于同一會(huì)場，調(diào)換攝像機(jī)C2和C3顯示的屏幕，控制屏幕1顯示攝像機(jī)C2拍攝的圖像，控制屏幕2 顯示攝像機(jī)C3拍攝的圖像。參閱圖6B，如下以兩屏?xí)鰹槔?，詳?xì)說明本發(fā)明實(shí)施例提供的多屏視頻會(huì)議中對(duì)與會(huì)者圖像顯示進(jìn)行調(diào)整的方法，圖中，A會(huì)場、B會(huì)場、C會(huì)場、D會(huì)場都為3屏?xí)?，E會(huì)場、F會(huì)場、G會(huì)場都為2屏?xí)?，J會(huì)場、K會(huì)場都為單屏?xí)觯唧w的，在啟動(dòng)聲控切換之前，E會(huì)場的屏幕1、2分別顯示E會(huì)場中攝像機(jī)E2拍攝的圖像，J會(huì)場中攝像機(jī)Jl拍攝的圖像，啟動(dòng)聲控切換之后，當(dāng)前與會(huì)者聲音不斷變化，則會(huì)場E的圖像切換過程包括1)、當(dāng)前攝像機(jī)Jl拍攝的圖像的與會(huì)者聲音最小，攝像機(jī)F2拍攝的圖像的與會(huì)者聲音最大，控制屏幕2顯示的圖像從攝像機(jī)Jl拍攝的圖像切換成攝像機(jī)F2拍攝的圖像，將攝像機(jī)F2拍攝的與會(huì)者放入最近發(fā)言者列表；幻然后，攝像機(jī)E2拍攝的圖像與會(huì)者聲音最小，攝像機(jī)C2拍攝的圖像與會(huì)者聲音最大，控制屏幕1顯示的圖像從攝像機(jī)E2拍攝的圖像切換成攝像機(jī)C2拍攝的圖像，將攝像機(jī)C2拍攝的與會(huì)者放入最近發(fā)言者列表；幻然后，攝像機(jī)C2拍攝的圖像與會(huì)者聲音最小，攝像機(jī)Kl拍攝的圖像與會(huì)者聲音最大，按照最近發(fā)言者列表中與會(huì)者聲音從大到小的順序，則攝像機(jī)C2拍攝的與會(huì)者位于最近發(fā)言者列表的最后位置，因此，控制屏幕1顯示的圖像從攝像機(jī)C2拍攝的圖像切換成攝像機(jī)Kl拍攝的圖像，將攝像機(jī)Kl拍攝的與會(huì)者放入最近發(fā)言者列表，同時(shí)從最近發(fā)言者列表中刪除攝像機(jī)C2拍攝的與會(huì)者；4)然后，攝像機(jī)F2拍攝的圖像中與會(huì)者聲音最小，攝像機(jī)Kl拍攝的圖像中與會(huì)者聲音最大，由于攝像機(jī)Kl拍攝的圖像已在屏幕中顯示，所以不做處理。5)、攝像機(jī)Kl拍攝的圖像中與會(huì)者聲音最小，攝像機(jī)C3拍攝的圖像中與會(huì)者聲音最大，控制屏幕1顯示的圖像從攝像機(jī)Kl拍攝的圖像切換成攝像機(jī)C3拍攝的圖像.對(duì)于一屏?xí)?，則控制該一屏?xí)鲋械钠聊伙@示的圖像從原來的圖像切換為當(dāng)前聲音最大的圖像。參閱圖7，本發(fā)明實(shí)施例提供一種多屏視頻會(huì)議中對(duì)與會(huì)者圖像顯示進(jìn)行調(diào)整的方法，該方法與上述圖3、4、5所示實(shí)施例的區(qū)別在于MCU在考慮第一會(huì)場中能切換圖像的屏幕當(dāng)前顯示的與會(huì)者的排序的同時(shí)，考慮了第一會(huì)場中屏幕的物理位置，該方法具體包括701、各個(gè)會(huì)場將與會(huì)者的聲音和與會(huì)者的圖像都發(fā)給MCU。702、MCU啟動(dòng)聲控切換。703、MCU確定當(dāng)前聲音最大的與會(huì)者，該聲音最大的與會(huì)者為待顯示的與會(huì)者。704、MCU判斷是否滿足切換條件，如果是，執(zhí)行705，如果否，結(jié)束本流程。具體的，可以是判斷當(dāng)前聲音最大的與會(huì)者的聲音是否持續(xù)一個(gè)預(yù)設(shè)時(shí)間段，如果是，則滿足切換條件，否則不具備切換條件。705、MCU根據(jù)第一會(huì)場的屏幕當(dāng)前顯示的與會(huì)者的排序結(jié)果，選擇排在最后的與石書。在該步驟之前，MCU會(huì)按照排序條件對(duì)第一會(huì)場的屏幕當(dāng)前顯示的與會(huì)者進(jìn)行排序，得到第一會(huì)場的屏幕當(dāng)前顯示的與會(huì)者的排序結(jié)果。其中，具體的排序方式和排序時(shí)間參見步驟204B和步驟202A的相應(yīng)描述，在此不再贅述。706、MCU判斷所述排在最后的與會(huì)者所在的屏幕是否是第一特定屏幕，如果否，執(zhí)行707 ；如果是，執(zhí)行708。其中，關(guān)于第一特定屏幕的描述請參見步驟202A中的相關(guān)描述，在此不再贅述。707、MCU確定需要切換圖像的屏幕為所述排在最后的與會(huì)者所在的屏幕。708、MCU選擇所述排在最后的與會(huì)者的前一個(gè)與會(huì)者，確定需要切換圖像的屏幕為所述排在最后的與會(huì)者的前一個(gè)與會(huì)者所在的屏幕。709、MCU控制需要切換圖像的屏幕切換為當(dāng)前聲音最大的與會(huì)者圖像。當(dāng)?shù)谝粫?huì)場中有三個(gè)以下屏幕(包括三個(gè)屏幕)時(shí)，則步驟706中是判斷排在最后的與會(huì)者所在的屏幕是否是第一特定屏幕，當(dāng)?shù)谝粫?huì)場中有四個(gè)屏幕、五個(gè)屏幕、或者更多個(gè)數(shù)的屏幕時(shí)，該步驟中是判斷所述排在最后的與會(huì)者所在的屏幕是否是第一特定屏幕或者第一特定屏幕外側(cè)的屏幕，第一特定屏幕外側(cè)的屏幕為第一特定屏幕背向屏幕中心線一側(cè)的屏幕。比如，一個(gè)五屏?xí)?，第一特定屏幕為屏?，則第一特定屏幕外側(cè)的屏幕為屏幕5 ；再如一個(gè)四屏幕，第一特定屏幕為屏幕3，則第一特定屏幕外側(cè)的屏幕為屏幕4。且， 當(dāng)?shù)谝粫?huì)場中有五個(gè)屏幕時(shí)，在步驟708中查找到所述排在最后的與會(huì)者的前一個(gè)與會(huì)者之后，會(huì)繼續(xù)判斷所述排在最后的與會(huì)者的前一個(gè)與會(huì)者所在的屏幕是否是第一特定屏幕或者第一特定屏幕外側(cè)的屏幕，如果否，則確定需要切換圖像的屏幕為所述排在最后的與會(huì)者的前一個(gè)與會(huì)者所在的屏幕，如果是，根據(jù)排序結(jié)果，查找位于倒數(shù)第三位的與會(huì)者， 確定需要切換圖像的屏幕為該與會(huì)者所在的屏幕。比如，對(duì)于一個(gè)五屏?xí)?，假定第一特定屏幕為屏?，當(dāng)所述排在最后的與會(huì)者位于屏幕4時(shí)，則查找所述排在最后的與會(huì)者的前一個(gè)與會(huì)者，如果位于屏幕5，則查找位于倒數(shù)第三位的與會(huì)者，確定需要切換圖像的屏幕為該與會(huì)者圖像所在的屏幕。
本發(fā)明實(shí)施例MCU在考慮第一會(huì)場中能切換圖像的屏幕顯示的與會(huì)者的排序的同時(shí)，考慮了第一會(huì)場中屏幕的物理位置，避免聲音最大的與會(huì)者圖像切換到達(dá)不到眼對(duì)眼效果的屏幕上顯示，提高與會(huì)者的體驗(yàn)。需要說明的是，該方案也適用于MCU先選擇需要切換屏幕的場景，再選擇聲音最大的與會(huì)者的場景，同樣適用于由第一會(huì)場的終端選擇需要切換屏幕的場景。需要說明的是，MCU可以按照上述實(shí)施例提供的方案將各會(huì)場中需要切換圖像的屏幕進(jìn)行圖像切換；或者，如果會(huì)議存在主席，則先按照主席會(huì)場中各屏幕當(dāng)前顯示的與會(huì)者的排序結(jié)果，在主席會(huì)場中選擇需要切換圖像的屏幕，控制所述需要切換圖像的屏幕所顯示的圖像切換為待顯示與會(huì)者的圖像，然后，根據(jù)所選屏幕在主席會(huì)場中的位置及其他會(huì)場中的屏幕在相應(yīng)會(huì)場中的位置，控制待顯示的與會(huì)者圖像切換到其他會(huì)場中的相應(yīng)屏幕顯示；其中，所述其他會(huì)場中的相應(yīng)屏幕與所選屏幕具有相同的編號(hào)。當(dāng)會(huì)議中不存在主席時(shí)，則可以先按照一個(gè)會(huì)場中各屏幕當(dāng)前顯示的與會(huì)者的排序，選擇需要切換圖像的屏幕，控制所選屏幕的圖像切換為待顯示的與會(huì)者的圖像，然后，按照與上面相同的方式，控制待顯示的與會(huì)者圖像切換到其他會(huì)場中的相應(yīng)屏幕顯示?？蛇x的，也可以指定當(dāng)前聲音最大的與會(huì)者始終在遠(yuǎn)端會(huì)場特定的屏幕上顯示， 比如一個(gè)三屏?xí)?，可以指定屏?顯示當(dāng)前聲音最大的與會(huì)者。如圖6C所示，指定屏幕 3顯示當(dāng)前聲音最大的與會(huì)者的圖像；如圖6D所示，指定屏幕2顯示當(dāng)前聲音最大的與會(huì)者的圖像。具體的，可以根據(jù)策略需要可以對(duì)指定顯示聲音最大的與會(huì)者的屏幕進(jìn)行改變。 對(duì)于單屏?xí)隹梢钥串?dāng)前聲音最大的與會(huì)者的圖像，也可以看多畫面圖像(通過多個(gè)子畫面可以顯示多個(gè)與會(huì)者的圖像)，其中當(dāng)前聲音最大的與會(huì)者的圖像作為其中一個(gè)子畫面的圖像。為了達(dá)到當(dāng)前聲音最大的與會(huì)者與本地會(huì)場與會(huì)者更好的眼對(duì)眼，可把當(dāng)前聲音最大與會(huì)者的圖像始終在主屏上顯示。再進(jìn)一步，會(huì)場調(diào)整攝像機(jī)對(duì)照本會(huì)場的與會(huì)者的正面，把該圖像發(fā)送給遠(yuǎn)端；對(duì)于一個(gè)三屏?xí)觯部梢灾付ㄗ笃溜@示多畫面圖像、中屏顯示會(huì)議主席，右屏顯示當(dāng)前聲音最大的與會(huì)者。為了能在該聲音最大的與會(huì)者圖像上疊加顯示聲音最大的與會(huì)者所在會(huì)場的全景圖像，所以該方法還可以包括:MCU控制當(dāng)前聲音最大的與會(huì)者的會(huì)場全景圖像經(jīng)過圖像處理后，疊加到當(dāng)前聲音最大的與會(huì)者的圖像的部分區(qū)域上顯示。具體的，MCU將當(dāng)前聲音最大的與會(huì)者的會(huì)場全景圖像縮小，并將縮小后的會(huì)場全景圖像疊加到當(dāng)前聲音最大的與會(huì)者的圖像的部分區(qū)域上顯示。如下舉實(shí)例進(jìn)行說明，假定F會(huì)場是具有3個(gè)攝像機(jī)、3 個(gè)屏幕、3個(gè)區(qū)域的會(huì)場，這三個(gè)攝像機(jī)分別拍攝對(duì)應(yīng)區(qū)域的與會(huì)者圖像，F(xiàn)會(huì)場中的終端將各區(qū)域與會(huì)者圖像傳給MCU，假定當(dāng)前攝像機(jī)Fl拍攝的與會(huì)者的聲音最大，采用前面介紹的技術(shù)方案，MCU控制A會(huì)場(假定為三屏?xí)?的屏幕1顯示攝像機(jī)Fl拍攝的與會(huì)者圖像(假定該與會(huì)者為聲音最大的與會(huì)者)，此時(shí)假定A會(huì)場中的三個(gè)屏幕分別顯示攝像機(jī) Fl拍攝的與會(huì)者圖像，攝像機(jī)C2拍攝的與會(huì)者圖像，攝像機(jī)G2拍攝的與會(huì)者圖像(參閱圖 8)。貝1」，該MCU將F會(huì)場中三個(gè)攝像機(jī)(F1、F2、F3)拍攝的與會(huì)者圖像(3個(gè)與會(huì)者圖像) 進(jìn)行拼接成一個(gè)全景圖像，將該全景圖像縮小后，控制A會(huì)場中的屏幕1將縮小后的全景圖像疊加到攝像機(jī)Fl拍攝的與會(huì)者圖像上顯示，也可以將會(huì)場名疊加到該全景圖像上顯示， 或者，將會(huì)場名疊加到攝像機(jī)Fl拍攝的與會(huì)者圖像的其他區(qū)域上顯示。
在上述本發(fā)明實(shí)施例提供的技術(shù)方案中，可以通過如下方式保證聲音和圖像的良好同步1)、多聲道技術(shù)，即語音聲道教和攝像機(jī)一樣，即可以實(shí)現(xiàn)每路攝像機(jī)的活動(dòng)視頻都有自己的對(duì)應(yīng)方位的聲道語音數(shù)據(jù)；2)、帶方位信息的語音數(shù)據(jù)，即會(huì)場把發(fā)給MCU的語音數(shù)據(jù)中攜帶該語音數(shù)據(jù)與攝像機(jī)視頻數(shù)據(jù)的對(duì)應(yīng)關(guān)系；MCU在處理這些數(shù)據(jù)時(shí)，根據(jù)目的會(huì)場的屏幕數(shù)量、音箱個(gè)數(shù)等，把目的會(huì)場觀看的圖像和音頻對(duì)應(yīng)起來，使聲音在其圖像所顯示的屏幕附近的音箱播放。當(dāng)某個(gè)多屏?xí)鲋挥幸粋€(gè)或者幾個(gè)攝像機(jī)所拍攝的與會(huì)者圖像被遠(yuǎn)端會(huì)場某個(gè)或者某幾個(gè)屏幕顯示出來，而該會(huì)場其他攝像機(jī)所拍攝區(qū)域中的與會(huì)者也在講話時(shí)(比如已關(guān)閉聲控切換或者該與會(huì)者的聲音不足以產(chǎn)生圖像切換)，控制該與會(huì)者的聲音在顯示相鄰與會(huì)者圖像的屏幕所對(duì)應(yīng)的放音設(shè)備中播出。其中，相鄰與會(huì)者是同該與會(huì)者相鄰的與會(huì)者。具體的，MCU可以將該與會(huì)者的聲音混音到相鄰與會(huì)者對(duì)應(yīng)的聲道中，這樣，就可以將該與會(huì)者和相鄰與會(huì)者的聲音同時(shí)在顯示相鄰與會(huì)者圖像的屏幕所對(duì)應(yīng)的放音設(shè)備中播出如圖9所示。在四屏的B會(huì)場的四個(gè)屏幕上分別顯示攝像機(jī)F2拍攝的與會(huì)者圖像、攝像機(jī)F3 拍攝的與會(huì)者圖像、攝像機(jī)G2拍攝的與會(huì)者圖像、攝像機(jī)C2拍攝的與會(huì)者圖像。假定四屏的F會(huì)場的攝像機(jī)排序?yàn)镕l、F2、F3和F4，如果攝像機(jī)Fl拍攝的與會(huì)者在講話，則MCU控制Fl拍攝的與會(huì)者和F2拍攝的與會(huì)者(即與Fl拍攝的與會(huì)者相鄰的與會(huì)者)的聲音進(jìn)行混音，并從顯示攝像機(jī)F2拍攝的與會(huì)者圖像的屏幕所對(duì)應(yīng)的放音設(shè)備中播出，這樣，B會(huì)場的與會(huì)者通過該放音設(shè)備聽到了這兩個(gè)與會(huì)者的聲音，就能確定這兩個(gè)與會(huì)者相鄰；如果攝像機(jī)F4拍攝的與會(huì)者在講話，則MCU控制F3拍攝的與會(huì)者和F4拍攝的與會(huì)者(即與 F4拍攝的與會(huì)者相鄰的與會(huì)者)的聲音進(jìn)行混音，并從顯示攝像機(jī)F3拍攝的與會(huì)者圖像的屏幕所對(duì)應(yīng)的放音設(shè)備中播出，B會(huì)場的與會(huì)者通過該放音設(shè)備聽到了這兩個(gè)與會(huì)者的聲音，就能確定這兩個(gè)與會(huì)者相鄰。這樣，B會(huì)場的與會(huì)者通過放音設(shè)備放出的聲音就能確定聲源的物理位置關(guān)系。進(jìn)一步，如果攝像機(jī)Fl拍攝的與會(huì)者的聲音變大，則需要將該攝像機(jī)Fl拍攝的與會(huì)者圖像顯示出來，其聲音也跟隨顯示該圖像的屏幕所對(duì)應(yīng)的放音設(shè)備中播放，比如攝像機(jī)Fl拍攝的與會(huì)者圖像被切換到屏幕4顯示，該圖像的聲音應(yīng)該從屏幕4所對(duì)應(yīng)的放音設(shè)備中播出。進(jìn)一步，比如攝像機(jī)Fl拍攝的與會(huì)者圖像被切換到屏幕4顯示，為了不使該圖像的聲音突然從屏幕1所對(duì)應(yīng)的放音設(shè)備跳躍到屏幕4所對(duì)應(yīng)的放音設(shè)備，可以采用聲音過渡的方法，比如先使該圖像的聲音在屏幕1所對(duì)應(yīng)的放音設(shè)備播放時(shí)衰減3db，在屏幕4所對(duì)應(yīng)的放音設(shè)備播放時(shí)也衰減3db，這樣與會(huì)者聽到的該圖像的聲音大小和實(shí)際聲音大小相同，再逐步把屏幕1所對(duì)應(yīng)的放音設(shè)備的聲音衰減下去，屏幕4所對(duì)應(yīng)的放音設(shè)備的聲音逐步增大，聲音就過渡的到了屏幕4所對(duì)應(yīng)的放音設(shè)備中。其中，過渡過程中用于調(diào)節(jié)的衰減值可根據(jù)兩個(gè)屏幕之間的位置相對(duì)關(guān)系決定。為了保證當(dāng)前聲音最大的與會(huì)者在各會(huì)場中具有相同屏幕編號(hào)的屏幕中顯示，則 MCU需要控制具有相同屏幕個(gè)數(shù)的各會(huì)場同一編號(hào)的屏幕具有相同的視頻源，具體的，可以有如下幾種方式第一種方式在啟動(dòng)聲控切換開始時(shí)，在會(huì)場中某一與會(huì)者圖像所對(duì)應(yīng)的各會(huì)場中的屏幕上配置相同的視頻源。比如，三個(gè)三屏?xí)?，?huì)場1、會(huì)場2和會(huì)場3，會(huì)場1中區(qū)域1的與會(huì)者圖像在各會(huì)場3號(hào)屏幕上顯示時(shí)能達(dá)到眼對(duì)眼的效果，所以各會(huì)場3號(hào)屏幕配置相同的視頻源。同理，各會(huì)場的2號(hào)屏幕也配置相同的視頻源，各會(huì)場的1號(hào)屏幕也配置相同的視頻源，這樣后續(xù)在聲控切換時(shí)，MCU針對(duì)各會(huì)場選擇的待切換的圖像都是相同的，所以每次聲控切換時(shí)都保證了聲音最大的與會(huì)者的圖像能夠切換到各個(gè)會(huì)場中同一編號(hào)的屏幕上顯示。即在各會(huì)場具有相同屏幕數(shù)目時(shí)，則為各會(huì)場中相同屏幕號(hào)的屏幕配置相同的視頻源。第二種方式獲取當(dāng)前聲音最大的與會(huì)者的圖像，判斷會(huì)場中第二特定屏幕是否能顯示所述聲音最大的與會(huì)者的圖像，如果是，控制所述第二特定屏幕顯示所述聲音最大的與會(huì)者的圖像；如果否，按照所述會(huì)場中其他屏幕到所述第二特定屏幕的物理距離由近到遠(yuǎn)的順序，依次判斷其他屏幕是否能顯示所述聲音最大的與會(huì)者的圖像，直到找到能顯示所述聲音最大的與會(huì)者的圖像的屏幕為止，控制找到的屏幕顯示所述當(dāng)前聲音最大的與會(huì)者的圖像，其中，所述第二特定屏幕是能和聲音最大的與會(huì)者達(dá)到眼對(duì)眼效果的屏幕。其中，對(duì)第二特定屏幕的舉例說明請參見第一個(gè)實(shí)施例的相應(yīng)描述，在此不再贅述。其中，該方式中的會(huì)場是指視頻會(huì)議中的任意一個(gè)會(huì)場，對(duì)任意一個(gè)會(huì)場都采用上述方式進(jìn)行處理，就能保證各會(huì)場同一編號(hào)的屏幕具有相同的視頻源。如果采用這種方式，則可以是在啟動(dòng)聲控切換開始時(shí)，先按照上述第二種方式，將聲音最大的與會(huì)者圖像切換到相應(yīng)的屏幕上顯示，保證具有相同屏幕個(gè)數(shù)的各會(huì)場的同一編號(hào)的屏幕具有相同的視頻源之后，再按照圖2B、圖2C、圖2D、圖3、圖4、圖5、圖7所示實(shí)施例所述的方案進(jìn)行切換。其中，判斷會(huì)場中第二特定屏幕是否能顯示所述聲音最大的與會(huì)者的圖像具體可以是判斷會(huì)場中第二特定屏幕當(dāng)前是否正在顯示會(huì)議主席圖像，如果是，則表示第二特定屏幕不能顯示當(dāng)前聲音最大的與會(huì)者的圖像；判斷會(huì)場中第二特定屏幕當(dāng)前是否正在顯示多畫面圖像，如果是，則表示第二特定屏幕不能顯示當(dāng)前聲音最大的與會(huì)者的圖像；判斷會(huì)場中第二特定屏幕當(dāng)前是否正在顯示最近發(fā)言者列表中的與會(huì)者，如果是，則表示第二特定屏幕不能顯示當(dāng)前聲音最大的與會(huì)者的圖像；當(dāng)會(huì)場中第二特定屏幕當(dāng)前顯示的圖像既不是多畫面圖像，也不是會(huì)議主席圖像，也不是最近發(fā)言者列表中的與會(huì)者圖像時(shí)，則可以在該第二特定屏幕上顯示該聲音最大的與會(huì)者的圖像。其中，按照所述會(huì)場中其他屏幕到所述第二特定屏幕的物理距離由近到遠(yuǎn)的順序，依次判斷其他屏幕是否能顯示所述聲音最大的與會(huì)者的圖像具體可以是按照所述會(huì)場中其他屏幕到所述第二特定屏幕的物理距離由近到遠(yuǎn)的順序，依次判斷其他屏幕當(dāng)前是否正在顯示會(huì)議主席圖像，如果是，則表示該屏幕不能顯示當(dāng)前聲音最大的與會(huì)者的圖像； 或者，依次判斷其他屏幕當(dāng)前是否正在顯示多畫面圖像，如果是，則表示該屏幕不能顯示當(dāng)前聲音最大的與會(huì)者的圖像；或者，依次判斷其他屏幕當(dāng)前是否正在顯示最近發(fā)言者列表中的圖像，如果是，則表示該屏幕不能顯示當(dāng)前聲音最大的與會(huì)者的圖像；只有所判斷的屏幕當(dāng)前顯示的圖像既不是多畫面圖像，也不是會(huì)議主席圖像，也不是最近發(fā)言者列表中的圖像時(shí)，則可以在該屏幕上顯示該聲音最大的與會(huì)者的圖像。第三種方式如果會(huì)議存在主席，則先按照主席會(huì)場中各屏幕顯示的與會(huì)者圖像中與會(huì)者聲音的大小，采用圖3、4、5、7所示實(shí)施例中選擇需要切換圖像的屏幕的方案，選擇一個(gè)屏幕，將主席會(huì)場中該屏幕的圖像切換為該聲音最大的與會(huì)者圖像；然后，根據(jù)所選屏幕在主席會(huì)場中的位置及其他會(huì)場中的屏幕在相應(yīng)會(huì)場中的位置，控制聲音最大的與會(huì)者圖像切換到其他會(huì)場中的相應(yīng)屏幕顯示；其中，所述其他會(huì)場中的相應(yīng)屏幕在其他會(huì)場中屏幕組中的物理位置與所選屏幕在主席會(huì)場中屏幕組的物理位置相同；或者，所述其他會(huì)場中的相應(yīng)屏幕與所選屏幕具有相同的編號(hào)。當(dāng)會(huì)議中不存在主席時(shí)，則可以先按照一個(gè)會(huì)場中各屏幕顯示的與會(huì)者圖像中與會(huì)者聲音的大小，采用圖3、4、5、7所示實(shí)施例中選擇需要切換圖像的屏幕的方案，選擇一個(gè)屏幕，控制該屏幕的圖像切換為該聲音最大的與會(huì)者圖像，然后，按照與上面相同的方式，控制聲音最大的與會(huì)者圖像切換到其他會(huì)場中的相應(yīng)屏幕上顯示，這樣可以保證具有相同屏幕個(gè)數(shù)的各會(huì)場的同一編號(hào)的屏幕具有相同的視頻源。第四種方式按照各屏幕在會(huì)場中的排序，將當(dāng)前聲音最大的與會(huì)者切換到相應(yīng)的屏幕上，比如有三個(gè)三屏?xí)?，在啟?dòng)聲控切換后，當(dāng)聲音最大的與會(huì)者的聲音滿足切換條件時(shí)，將該聲音最大的與會(huì)者圖像切換到這三個(gè)會(huì)場中的左屏幕上顯示；各與會(huì)者的聲音在不斷變化，此時(shí)又有聲音最大的與會(huì)者的聲音滿足切換條件，則將該聲音最大的與會(huì)者的圖像切換到這三個(gè)會(huì)場中的中屏上顯示；再有聲音最大的與會(huì)者的聲音滿足切換條件時(shí)，則將該聲音最大的與會(huì)者的圖像切換到這三個(gè)會(huì)場中的右屏上顯示，這樣可以滿足三個(gè)三屏?xí)鲋芯哂型痪幪?hào)的屏幕具有相同的視頻源。可選的，為了實(shí)現(xiàn)聲音最大的與會(huì)者圖像在一個(gè)屏幕上全屏顯示的同時(shí)該聲音最大的與會(huì)者圖像也在多畫面中顯示，還可以包括MCU可以控制用聲音最大的與會(huì)者的圖像替換多畫面圖像中的某一個(gè)畫面，使該聲音最大的與會(huì)者的圖像在多畫面圖像中顯示出來。這樣，就可以在同一會(huì)場中一個(gè)屏幕全屏顯示聲音最大的與會(huì)者圖像時(shí)，該聲音最大的與會(huì)者圖像同時(shí)在多畫面中顯示。具體的，假定第一會(huì)場是3屏?xí)?，屏?顯示攝像機(jī)Fl 拍攝的與會(huì)者圖像，屏幕2顯示攝像機(jī)C2拍攝的與會(huì)者圖像，屏幕3顯示多畫面圖像，當(dāng)前攝像機(jī)C2拍攝的與會(huì)者為聲音最大的與會(huì)者，MCU將該聲音最大的與會(huì)者的圖像與其他多個(gè)圖像拼接成多畫面圖像，控制屏幕3顯示拼接后的多畫面圖像，如圖10所示。參閱圖11，本發(fā)明實(shí)施例提供一種網(wǎng)絡(luò)側(cè)媒體處理設(shè)備，其包括與會(huì)者選擇單元100，用于按照當(dāng)前會(huì)議中與會(huì)者音量從大到小的順序，從音量最大的與會(huì)者開始，依次確定預(yù)定個(gè)數(shù)的待顯示的與會(huì)者；屏幕選擇單元300，用于確定第一會(huì)場中預(yù)定個(gè)數(shù)的當(dāng)前顯示的與會(huì)者對(duì)應(yīng)的屏幕作為需要切換圖像的屏幕。第一控制切換單元400，用于控制所述需要切換圖像的屏幕所顯示的圖像切換為所述預(yù)定個(gè)數(shù)的待顯示與會(huì)者的圖像。該設(shè)備還包括排序單元200，用于按照排序條件對(duì)第一會(huì)場的屏幕當(dāng)前顯示的與會(huì)者進(jìn)行排序， 得到所述第一會(huì)場的屏幕當(dāng)前顯示的與會(huì)者的排序結(jié)果，所述排序條件為如下條件之一 當(dāng)前顯示的與會(huì)者的聲音大小、發(fā)言時(shí)間點(diǎn)遠(yuǎn)近、發(fā)言時(shí)長、第一會(huì)場的屏幕當(dāng)前顯示的與會(huì)者的發(fā)言次數(shù)和第一會(huì)場的屏幕當(dāng)前顯示的與會(huì)者所對(duì)應(yīng)的屏幕是否為主屏。其中，第一會(huì)場的屏幕當(dāng)前顯示的與會(huì)者的具體排序方式請參見方法實(shí)施例的相應(yīng)描述，在此不再贅述。屏幕選擇單元300具體用于根據(jù)第一會(huì)場的屏幕當(dāng)前顯示的與會(huì)者的排序結(jié)果， 確定第一會(huì)場中預(yù)定個(gè)數(shù)的當(dāng)前顯示的與會(huì)者對(duì)應(yīng)的屏幕作為需要切換圖像的屏幕。其中，預(yù)定個(gè)數(shù)可以為一個(gè)；參閱圖12，屏幕選擇單元300包括判斷子單元 3001，用于判斷所述第一會(huì)場中能切換圖像的屏幕所顯示的與會(huì)者是否屬于最近發(fā)言者列表；屏幕選擇第一子單元3002，用于當(dāng)所述第一會(huì)場中能切換圖像的屏幕所顯示的各與會(huì)者中有屬于最近發(fā)言者列表的與會(huì)者時(shí)，從不屬于最近發(fā)言者列表中的與會(huì)者中選擇當(dāng)前顯示的聲音最小的與會(huì)者的圖像，將所選擇的圖像所在的屏幕作為需要切換圖像的屏幕； 屏幕選擇第二子單元3003，用于當(dāng)所述第一會(huì)場中能切換圖像的屏幕所顯示的與會(huì)者均為最近發(fā)言者列表中的與會(huì)者時(shí)，按照最近發(fā)言者列表中與會(huì)者的排序結(jié)果，選擇排序結(jié)果靠后的當(dāng)前顯示的與會(huì)者所在的屏幕為需要切換圖像的屏幕，其中，最近發(fā)言者列表中與會(huì)者的排序方式請參考方法實(shí)施例中的相應(yīng)描述，在此不再贅述?；蛘撸A(yù)定個(gè)數(shù)為一個(gè)；參閱圖13，屏幕選擇單元300包括第一選擇子單元 3004，用于根據(jù)第一會(huì)場的屏幕當(dāng)前顯示的與會(huì)者的排序結(jié)果，選擇排在最后的當(dāng)前顯示的與會(huì)者所在的屏幕；特定屏幕判斷子單元3005，用于判斷所述排在最后的當(dāng)前顯示的與會(huì)者所在的屏幕是否是第一特定屏幕；第二選擇子單元3006，用于當(dāng)特定屏幕判斷子單元 3005的判斷結(jié)果為是時(shí)，選擇所述排在最后的當(dāng)前顯示的與會(huì)者的前一個(gè)當(dāng)前顯示的與會(huì)者所在的屏幕；確定子單元3007，用于當(dāng)特定屏幕判斷子單元3005的判斷結(jié)果為否時(shí)，確定需要切換圖像的屏幕為所述第一選擇子單元3004所選擇的屏幕；當(dāng)特定屏幕判斷子單元3005的判斷結(jié)果為是時(shí)，確定需要切換圖像的屏幕為所述第二選擇子單元3006所選擇的屏幕。其中，關(guān)于第一特定屏幕、第二特定屏幕的定義和舉例描述請參考方法實(shí)施例的相應(yīng)描述，在此不再贅述。當(dāng)所述預(yù)定個(gè)數(shù)為多個(gè)時(shí)，第一控制切換單元400具體用于當(dāng)所述預(yù)定個(gè)數(shù)的待顯示的與會(huì)者的圖像中存在至少兩個(gè)待顯示的與會(huì)者的圖像來自于第二會(huì)場時(shí)，控制所述需要切換圖像的屏幕中至少兩個(gè)屏幕所顯示的圖像切換為所述至少兩個(gè)待顯示與會(huì)者的圖像，使得在所述第一會(huì)場中顯示的所述至少兩個(gè)待顯示的與會(huì)者的圖像的方向順序與所述至少兩個(gè)待顯示的與會(huì)者在所述第二會(huì)場中的物理位置的順序相同。為了在顯示聲音最大的與會(huì)者圖像的同時(shí)顯示該與會(huì)者的全景圖像，該裝置還包括控制疊加單元500，用于控制當(dāng)前聲音最大的待顯示的與會(huì)者所在會(huì)場的全景圖像經(jīng)過圖像處理后，疊加到當(dāng)前聲音最大的待顯示的與會(huì)者的圖像的部分區(qū)域上顯示，具體的， 可以是控制當(dāng)前聲音最大的待顯示的與會(huì)者所在會(huì)場的全景圖像經(jīng)過縮小處理后，疊加到當(dāng)前聲音最大的待顯示的與會(huì)者的圖像的部分區(qū)域上顯示。為了保證將聲音最大的與會(huì)者圖像切換到各會(huì)場相同屏幕標(biāo)號(hào)的屏幕上，該裝置還包括視頻源控制單元600，用于控制具有相同屏幕個(gè)數(shù)的各會(huì)場同一編號(hào)的屏幕具有相同的視頻源。參閱圖14，該視頻源控制單元600可以具體包括第一確定子單元6001，用于判斷第一會(huì)場中第二特定屏幕是否能顯示當(dāng)前聲音最大的待顯示的與會(huì)者的圖像；第二確定子單元6002，用于在所述第一確定子單元6001的判斷結(jié)果為否時(shí)，則確定所述第一會(huì)場中離所述第二特定屏幕的物理距離最近，且能顯示所述聲音最大的待顯示的與會(huì)者的圖像的屏幕；控制顯示子單元6003，用于在所述第一確定子單元的判斷結(jié)果為是時(shí)，控制所述第二特定屏幕顯示所述聲音最大的與會(huì)者的圖像；在所述第一確定子單元的判斷結(jié)果為否時(shí)，控制所述第二判斷子單元找到的屏幕顯示所述聲音最大的待顯示的與會(huì)者的圖像。 其中，關(guān)于第二特定屏幕的定義和舉例描述請參考方法實(shí)施例的相應(yīng)描述，在此不再贅述。為了保證將聲音最大的與會(huì)者圖像切換到各會(huì)場相同屏幕標(biāo)號(hào)的屏幕上，也可以先將聲音最大的與會(huì)者圖像切換到一個(gè)會(huì)場的相應(yīng)屏幕上顯示，然后對(duì)其他會(huì)場采用相同的切換方式進(jìn)行切換，比如，先將聲音最大的待顯示的與會(huì)者圖像切換到第一會(huì)場的相應(yīng)屏幕上顯示，此時(shí)，該裝置還包括第二控制切換單元700，還用于控制除第一會(huì)場以外的其他會(huì)場的相應(yīng)屏幕顯示的圖像切換為預(yù)定個(gè)數(shù)的待顯示的與會(huì)者的圖像；其中，所述其他會(huì)場的相應(yīng)屏幕與所選擇的第一會(huì)場中需要切換圖像的屏幕具有相同的編號(hào)。為了在顯示聲音最大的與會(huì)者圖像的同時(shí)在多畫面中顯示該聲音最大的與會(huì)者， 該裝置還包括多畫面圖像控制顯示單元800，用于將聲音最大的待顯示的與會(huì)者的圖像與其他多個(gè)圖像拼接成多畫面圖像，控制所述第一會(huì)場的其他屏幕顯示所述多畫面圖像， 所述其他屏幕為所述第一會(huì)場中除所選擇的需要切換圖像的屏幕以外的一個(gè)或者多個(gè)屏眷ο本發(fā)明實(shí)施例根據(jù)第一會(huì)場中屏幕顯示的與會(huì)者的聲音大小，從第一會(huì)場的屏幕中選擇預(yù)定個(gè)數(shù)的屏幕作為需要切換圖像的屏幕，然后將需要切換圖像的屏幕切換為預(yù)定個(gè)數(shù)的與會(huì)者圖像，避免了像現(xiàn)有技術(shù)那樣某一攝像機(jī)拍攝的圖像只能在遠(yuǎn)方會(huì)場的特定屏幕(即該圖像所缺省對(duì)應(yīng)的屏幕)上顯示，這種按屏幕聲控切換，能夠使會(huì)場中的用戶看到參與討論的與會(huì)者圖像，提高與會(huì)者的體驗(yàn)。以上對(duì)本發(fā)明所提供的一種多屏視頻會(huì)議中對(duì)與會(huì)者圖像顯示進(jìn)行調(diào)整的方法及裝置進(jìn)行了詳細(xì)介紹，對(duì)于本領(lǐng)域的一般技術(shù)人員，依據(jù)本發(fā)明實(shí)施例的思想，在具體實(shí)施方式
及應(yīng)用范圍上均會(huì)有改變之處，綜上所述，本說明書內(nèi)容不應(yīng)理解為對(duì)本發(fā)明的限制。
權(quán)利要求
1.一種多屏視頻會(huì)議中對(duì)與會(huì)者圖像顯示進(jìn)行調(diào)整的方法，其特征在于，包括按照當(dāng)前會(huì)議中與會(huì)者音量從大到小的順序，從音量最大的與會(huì)者開始，依次確定預(yù)定個(gè)數(shù)的待顯示的與會(huì)者；確定第一會(huì)場中預(yù)定個(gè)數(shù)的當(dāng)前顯示的與會(huì)者對(duì)應(yīng)的屏幕作為需要切換圖像的屏幕；控制所述需要切換圖像的屏幕所顯示的圖像切換為所述預(yù)定個(gè)數(shù)的待顯示與會(huì)者的圖像。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述確定第一會(huì)場中預(yù)定個(gè)數(shù)的當(dāng)前顯示的與會(huì)者對(duì)應(yīng)的屏幕作為需要切換圖像的屏幕，具體為根據(jù)第一會(huì)場的屏幕當(dāng)前顯示的與會(huì)者的排序結(jié)果，確定第一會(huì)場中預(yù)定個(gè)數(shù)的當(dāng)前顯示的與會(huì)者對(duì)應(yīng)的屏幕作為需要切換圖像的屏幕。
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述第一會(huì)場的屏幕當(dāng)前顯示的與會(huì)者的排序結(jié)果是按照如下排序條件進(jìn)行的，所述排序條件包括如下條件之一當(dāng)前顯示的與會(huì)者的聲音大小、當(dāng)前顯示的與會(huì)者的發(fā)言時(shí)間點(diǎn)遠(yuǎn)近、當(dāng)前顯示的與會(huì)者的發(fā)言時(shí)長、第一會(huì)場的屏幕當(dāng)前顯示的與會(huì)者的發(fā)言次數(shù)和第一會(huì)場的屏幕當(dāng)前顯示的與會(huì)者所對(duì)應(yīng)的屏幕是否為主屏。
4.根據(jù)權(quán)利要求3所述方法，其特征在于，其中，所述排序結(jié)果是按照如下方式之一進(jìn)行排序當(dāng)前顯示的與會(huì)者按照聲音從大到小的順序；當(dāng)前顯示的與會(huì)者的發(fā)言時(shí)間點(diǎn)按照從近到遠(yuǎn)的順序；當(dāng)前顯示的與會(huì)者的發(fā)言時(shí)長按照從長到短的順序；第一會(huì)場的屏幕當(dāng)前顯示的與會(huì)者的發(fā)言次數(shù)按照從多到少的順序。
5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述預(yù)定個(gè)數(shù)為1個(gè)；根據(jù)第一會(huì)場的屏幕當(dāng)前顯示的與會(huì)者的排序結(jié)果，確定所述第一會(huì)場中預(yù)定個(gè)數(shù)的當(dāng)前顯示的與會(huì)者對(duì)應(yīng)的屏幕作為需要切換圖像的屏幕包括根據(jù)所述第一會(huì)場的屏幕當(dāng)前顯示的與會(huì)者的排序結(jié)果，判斷排在最后的當(dāng)前顯示的與會(huì)者所在的屏幕是否是第一特定屏幕，如果否，確定需要切換圖像的屏幕為所述排在最后的當(dāng)前顯示的與會(huì)者所在的屏幕；如果是，確定需要切換圖像的屏幕為所述排在最后的當(dāng)前顯示的與會(huì)者的前一個(gè)當(dāng)前顯示的與會(huì)者所在的屏幕；其中，所述第一特定屏幕與第二特定屏幕關(guān)于屏幕中心線對(duì)稱，所述第二特定屏幕是能和聲音最大的發(fā)言者圖像達(dá)到眼對(duì)眼效果的第一會(huì)場的屏幕，屏幕中心線為所述第一會(huì)場中各屏幕依次連接所形成的屏幕組的幾何中心線。
6.根據(jù)權(quán)利要求4所述的方法，其特征在于，控制所述需要切換圖像的屏幕所顯示的圖像切換為所述預(yù)定個(gè)數(shù)的待顯示的與會(huì)者的圖像包括當(dāng)所述預(yù)定個(gè)數(shù)的待顯示的與會(huì)者的圖像中存在至少兩個(gè)待顯示的與會(huì)者的圖像來自于第二會(huì)場時(shí)，控制所述需要切換圖像的屏幕中至少兩個(gè)屏幕所顯示的圖像切換為所述至少兩個(gè)待顯示的與會(huì)者的圖像，使得在所述第一會(huì)場中顯示的所述至少兩個(gè)待顯示的與會(huì)者的圖像的方向順序與所述至少兩個(gè)待顯示的與會(huì)者在所述第二會(huì)場中的物理位置的順序相同。
7.根據(jù)權(quán)利要求4所述的方法，其特征在于，該方法還包括控制當(dāng)前聲音最大的待顯示的與會(huì)者所在會(huì)場的全景圖像經(jīng)過圖像處理后，疊加到當(dāng)前聲音最大的待顯示的與會(huì)者的圖像的部分區(qū)域上顯示。
8.根據(jù)權(quán)利要求4所述的方法，其特征在于，在按照當(dāng)前會(huì)議中與會(huì)者音量從大到小的順序，從音量最大的與會(huì)者開始，依次確定預(yù)定個(gè)數(shù)的待顯示的與會(huì)者之前，該方法還包括控制具有相同屏幕個(gè)數(shù)的各會(huì)場同一編號(hào)的屏幕具有相同的視頻源。
9.根據(jù)權(quán)利要求8所述的方法，其特征在于，所述控制具有相同屏幕個(gè)數(shù)的各會(huì)場同一編號(hào)的屏幕具有相同的視頻源包括獲取當(dāng)前聲音最大的待顯示的與會(huì)者的圖像，判斷所述第一會(huì)場中第二特定屏幕是否能顯示所述聲音最大的待顯示的與會(huì)者的圖像，如果是，控制所述第二特定屏幕顯示所述聲音最大的待顯示的與會(huì)者的圖像；如果否，則確定所述第一會(huì)場中離所述第二特定屏幕的物理距離最近，且能顯示所述聲音最大的待顯示的與會(huì)者的圖像的屏幕，控制所述確定的屏幕顯示所述當(dāng)前聲音最大的待顯示的與會(huì)者的圖像，其中，所述第二特定屏幕是能和聲音最大的發(fā)言者圖像達(dá)到眼對(duì)眼效果的第一會(huì)場的屏幕。
10.根據(jù)權(quán)利要求4或8所述的方法，其特征在于，在控制所述需要切換圖像的屏幕所顯示的圖像切換為所述預(yù)定個(gè)數(shù)的待顯示與會(huì)者的圖像之后，該方法還包括控制除所述第一會(huì)場以外的其他會(huì)場的相應(yīng)屏幕顯示的圖像切換為預(yù)定個(gè)數(shù)的待顯示的與會(huì)者的圖像；其中，所述其他會(huì)場的相應(yīng)屏幕與所選擇的第一會(huì)場中需要切換圖像的屏幕具有相同的編號(hào)。
11.一種網(wǎng)絡(luò)側(cè)媒體處理設(shè)備，其特征在于，包括與會(huì)者選擇單元，用于按照當(dāng)前會(huì)議中與會(huì)者音量從大到小的順序，從音量最大的與會(huì)者開始，依次確定預(yù)定個(gè)數(shù)的待顯示的與會(huì)者；屏幕選擇單元，用于確定第一會(huì)場中預(yù)定個(gè)數(shù)的當(dāng)前顯示的與會(huì)者對(duì)應(yīng)的屏幕作為需要切換圖像的屏幕；第一控制切換單元，用于控制所述需要切換圖像的屏幕所顯示的圖像切換為所述預(yù)定個(gè)數(shù)的待顯示與會(huì)者的圖像。
12.根據(jù)權(quán)利要求11所述的設(shè)備，其特征在于，所述屏幕選擇單元具體用于根據(jù)第一會(huì)場的屏幕當(dāng)前顯示的與會(huì)者的排序結(jié)果，確定第一會(huì)場中預(yù)定個(gè)數(shù)的當(dāng)前顯示的與會(huì)者對(duì)應(yīng)的屏幕作為需要切換圖像的屏幕。
13.根據(jù)權(quán)利要求12所述的設(shè)備，其特征在于，所述設(shè)備還包括排序單元，用于按照排序條件對(duì)第一會(huì)場的屏幕當(dāng)前顯示的與會(huì)者進(jìn)行排序，得到所述第一會(huì)場的屏幕當(dāng)前顯示的與會(huì)者的排序結(jié)果，所述排序條件為如下條件之一當(dāng)前顯示的與會(huì)者的聲音大小、發(fā)言時(shí)間點(diǎn)遠(yuǎn)近、發(fā)言時(shí)長、第一會(huì)場的屏幕當(dāng)前顯示的與會(huì)者的發(fā)言次數(shù)和第一會(huì)場的屏幕當(dāng)前顯示的與會(huì)者所對(duì)應(yīng)的屏幕是否為主屏。
14.根據(jù)權(quán)利要求13所述的設(shè)備，其特征在于，所述排序結(jié)果是按照如下方式之一進(jìn)行排序當(dāng)前顯示的與會(huì)者按照聲音從大到小的順序； 當(dāng)前顯示的與會(huì)者的發(fā)言時(shí)間點(diǎn)按照從近到遠(yuǎn)的順序；當(dāng)前顯示的與會(huì)者的發(fā)言時(shí)長按照從長到短的順序；第一會(huì)場的屏幕當(dāng)前顯示的與會(huì)者的發(fā)言次數(shù)按照從多到少的順序。
15.根據(jù)權(quán)利要求14所述的設(shè)備，其特征在于， 所述預(yù)定個(gè)數(shù)為1個(gè)；所述屏幕選擇單元包括第一選擇子單元，用于根據(jù)第一會(huì)場的屏幕當(dāng)前顯示的與會(huì)者的排序結(jié)果，選擇排在最后的當(dāng)前顯示的與會(huì)者所在的屏幕；特定屏幕判斷子單元，用于判斷所述排在最后的當(dāng)前顯示的與會(huì)者所在的屏幕是否是第一特定屏幕，其中，所述第一特定屏幕與第二特定屏幕關(guān)于屏幕中心線對(duì)稱，所述第二特定屏幕是能和聲音最大的發(fā)言者圖像達(dá)到眼對(duì)眼效果的第一會(huì)場的屏幕，屏幕中心線為所述第一會(huì)場中各屏幕依次連接所形成的屏幕組的幾何中心線；第二選擇子單元，用于當(dāng)所述特定屏幕判斷子單元的判斷結(jié)果為是時(shí)，選擇所述排在最后的當(dāng)前顯示的與會(huì)者的前一個(gè)當(dāng)前顯示的與會(huì)者所在的屏幕；確定子單元，用于當(dāng)特定屏幕判斷子單元的判斷結(jié)果為否時(shí)，確定需要切換圖像的屏幕為所述第一選擇子單元所選擇的屏幕；當(dāng)特定屏幕判斷子單元的判斷結(jié)果為是時(shí)，確定需要切換圖像的屏幕為所述第二選擇子單元所選擇的屏幕。
16.根據(jù)權(quán)利要求14所述的設(shè)備，其特征在于，所述第一控制切換單元具體用于當(dāng)所述預(yù)定個(gè)數(shù)的待顯示的與會(huì)者的圖像中存在至少兩個(gè)待顯示的與會(huì)者的圖像來自于第二會(huì)場時(shí)，控制所述需要切換圖像的屏幕中至少兩個(gè)屏幕所顯示的圖像切換為所述至少兩個(gè)待顯示與會(huì)者的圖像，使得在所述第一會(huì)場中顯示的所述至少兩個(gè)待顯示的與會(huì)者的圖像的方向順序與所述至少兩個(gè)待顯示的與會(huì)者在所述第二會(huì)場中的物理位置的順序相同。
17.根據(jù)權(quán)利要求14所述的設(shè)備，其特征在于，還包括控制疊加單元，用于控制當(dāng)前聲音最大的待顯示的與會(huì)者所在會(huì)場的全景圖像經(jīng)過圖像處理后，疊加到當(dāng)前聲音最大的待顯示的與會(huì)者的圖像的部分區(qū)域上顯示。
18.根據(jù)權(quán)利要求14所述的設(shè)備，其特征在于，還包括視頻源控制單元，用于控制具有相同屏幕個(gè)數(shù)的各會(huì)場同一編號(hào)的屏幕具有相同的視頻源。
19.根據(jù)權(quán)利要求18所述的設(shè)備，其特征在于， 視頻源控制單元包括第一確定子單元，用于判斷第一會(huì)場中第二特定屏幕是否能顯示當(dāng)前聲音最大的待顯示的與會(huì)者的圖像，所述第二特定屏幕是能和聲音最大的待顯示的發(fā)言者圖像達(dá)到眼對(duì)眼效果的第一會(huì)場的屏幕；第二確定子單元，用于在所述第一確定子單元的判斷結(jié)果為否時(shí)，則確定所述第一會(huì)場中離所述第二特定屏幕的物理距離最近，且能顯示所述聲音最大的待顯示的與會(huì)者的圖像的屏幕；控制顯示子單元，用于在所述第一確定子單元的判斷結(jié)果為是時(shí)，控制所述第二特定屏幕顯示所述聲音最大的待顯示的與會(huì)者的圖像；在所述第一確定子單元的判斷結(jié)果為否時(shí)，控制所述第二確定子單元所確定的屏幕顯示所述聲音最大的待顯示的與會(huì)者的圖像。
20.根據(jù)權(quán)利要求14或18所述的設(shè)備，其特征在于，還包括第二控制切換單元，用于控制除所述第一會(huì)場以外的其他會(huì)場的相應(yīng)屏幕顯示的圖像切換為預(yù)定個(gè)數(shù)的待顯示的與會(huì)者的圖像；其中，所述其他會(huì)場的相應(yīng)屏幕與所選擇的第一會(huì)場中需要切換圖像的屏幕具有相同的編號(hào)。
21.根據(jù)權(quán)利要求11-19任一權(quán)利要求所述的設(shè)備，其特征在于，所述網(wǎng)絡(luò)側(cè)媒體處理設(shè)備為多點(diǎn)控制單元。
全文摘要
本發(fā)明實(shí)施例提供一種多屏視頻會(huì)議中對(duì)與會(huì)者圖像顯示進(jìn)行調(diào)整的方法及裝置，其中對(duì)與會(huì)者圖像顯示進(jìn)行調(diào)整的方法包括按照當(dāng)前會(huì)議中與會(huì)者音量從大到小的順序，從音量最大的與會(huì)者開始，依次確定預(yù)定個(gè)數(shù)的待顯示的與會(huì)者；確定第一會(huì)場中預(yù)定個(gè)數(shù)的當(dāng)前顯示的與會(huì)者對(duì)應(yīng)的屏幕作為需要切換圖像的屏幕；控制所述需要切換圖像的屏幕所顯示的圖像切換為所述預(yù)定個(gè)數(shù)的待顯示與會(huì)者的圖像。采用本發(fā)明提供的技術(shù)方案，能夠使第一會(huì)場中的與會(huì)者看到參與討論的與會(huì)者圖像。
文檔編號(hào)H04N7/15GK102404542SQ20101027992
公開日2012年4月4日 申請日期2010年9月9日 優(yōu)先權(quán)日2010年9月9日
發(fā)明者吳姣黎, 宋文, 陳顯義 申請人:華為終端有限公司