視頻會議系統(tǒng)、處理裝置及視頻會議方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及視頻會議領(lǐng)域，尤其涉及一種視頻會議系統(tǒng)、處理裝置及視頻會議方法。
【背景技術(shù)】
[0002]傳統(tǒng)的視頻會議系統(tǒng)中，當(dāng)多方進(jìn)行會議時，尤其是當(dāng)一個會議室里有多人參加會議，并發(fā)言時，實(shí)際的會議畫面無法在聚焦于實(shí)際的發(fā)言人身上，其他與會各方無法實(shí)時、清晰的看到發(fā)言人的舉止和表情。而與會各方通常都有與發(fā)言人進(jìn)行溝通、交流和對話需求，并且通常都希望能將畫面聚焦到發(fā)言人身上，并有一種面對面的感覺。
[0003]在這樣的需求下，各種手動、自動的發(fā)言人跟蹤、定位的系統(tǒng)與方法也應(yīng)運(yùn)而生。然而現(xiàn)有的一些系統(tǒng)在整套會議系統(tǒng)的部署上通常存在諸多問題，如:需要為每個人設(shè)置一個預(yù)置位，講話前必須按發(fā)言鍵，話筒的位置需要固定等等。這都為整個系統(tǒng)的設(shè)置和最終會議的進(jìn)行帶來了各種各樣的約束和限制，甚至極大的降低和損失了視頻會議的友善性，交互性和體驗(yàn)度。
[0004]另有其他一些現(xiàn)有技術(shù)，利用一個攝像頭來對整個會議場所內(nèi)的發(fā)言人進(jìn)行定位和跟蹤，但在系統(tǒng)實(shí)際運(yùn)行的過程中常常會因僅關(guān)注于小范圍內(nèi)的畫面，都無法及時顧及整個會議場所內(nèi)的一些情景及變化，從而易導(dǎo)致對一些特殊場景下的變化無法作出必要的反應(yīng)或者反應(yīng)不夠及時。

【發(fā)明內(nèi)容】

[0005]本發(fā)明為了克服上述現(xiàn)有技術(shù)存在的缺陷，提供了一種視頻會議系統(tǒng)、處理裝置及視頻會議方法，其能夠顧及整個視頻會議場所中的情景變化。
[0006]根據(jù)本發(fā)明的一個方面，提供一種處理裝置，應(yīng)用于視頻會議系統(tǒng)。所述視頻會議系統(tǒng)包括第一攝像機(jī)、第二攝像機(jī)以及麥克風(fēng)矩陣，所述處理裝置包括:音源定位模塊，用于根據(jù)所述麥克風(fēng)矩陣所采集的音頻確定第一音源以及至少一個第二音源所在方向，所述第一音源為持續(xù)音源，所述第二音源為動態(tài)音源;第一控制模塊，用于控制所述第一攝像機(jī)轉(zhuǎn)向第一音源所在方向，并指示所述第一攝像機(jī)采集第一音源所在方向的第一視頻數(shù)據(jù)；第一截取模塊，用于獲取所述第二攝像機(jī)采集的全景視頻數(shù)據(jù)，并根據(jù)所述第二音源所在方向在所述全景視頻數(shù)據(jù)中截取對應(yīng)于至少一個所述第二音源所在方向的至少一個第二視頻數(shù)據(jù);合成模塊，用于將所述第一視頻數(shù)據(jù)和至少一個所述第二視頻數(shù)據(jù)合成到合成畫面中。
[0007]優(yōu)選地，所述處理裝置還包括:語音識別模塊，用于根據(jù)所述麥克風(fēng)矩陣所采集的音頻識別來自不同發(fā)言人的所述第一音源以及至少一個所述第二音源。
[0008]優(yōu)選地，所述處理裝置還包括:切換模塊，用于:當(dāng)所述語音識別模塊未識別到所述第一音源和所述第二音源時，指示所述處理裝置輸出全景視頻數(shù)據(jù)；當(dāng)所述語音識別模塊識別到所述第一音源但未識別到所述第二音源時，指示所述處理裝置輸出第一視頻數(shù)據(jù)；當(dāng)所述語音識別模塊識別到所述第一音源和至少一個所述第二音源時，指示所述處理裝置輸出所述合成畫面。
[0009]優(yōu)選地，所述合成模塊還用于根據(jù)所述第二視頻數(shù)據(jù)的數(shù)量將所述第一視頻數(shù)據(jù)和所述第二視頻數(shù)據(jù)布局在所述合成畫面中。
[0010]優(yōu)選地，所述第一視頻數(shù)據(jù)在所述合成畫面中所占比例大于任一個所述第二視頻數(shù)據(jù)在所述合成畫面中所占比例。
[0011]優(yōu)選地，所述第一音源的音量大于第一閾值，并且所述第一音源大于第一閾值的持續(xù)時間大于第二閾值；以及所述第二音源在所述第一音源大于第一閾值的持續(xù)時間內(nèi)大于第三閾值，并且所述第二音源大于第三閾值的持續(xù)時間小于第四閾值。
[0012]優(yōu)選地，所述處理裝置還包括:人臉識別模塊，用于對所述第一視頻數(shù)據(jù)及所述全景視頻數(shù)據(jù)進(jìn)行人臉識別，并根據(jù)所述第一視頻數(shù)據(jù)獲取與所述第一音源對應(yīng)的第一發(fā)言人的位置。
[0013]優(yōu)選地，所述處理裝置還包括:定位校正模塊，用于根據(jù)所述全景視頻數(shù)據(jù)對所述第一視頻數(shù)據(jù)中的所述第一發(fā)言人的位置進(jìn)行校正。
[0014]優(yōu)選地，所述處理裝置還包括:運(yùn)動跟蹤模塊，用于對所述第一視頻數(shù)據(jù)中的所述第一發(fā)言人進(jìn)行運(yùn)動檢測跟蹤;所述第一控制模塊還用于根據(jù)所述運(yùn)動跟蹤模塊控制所述第一攝像機(jī)追蹤所述第一發(fā)言人。
[0015]優(yōu)選地，所述處理裝置還包括:運(yùn)動檢測模塊，用于對所述全景視頻數(shù)據(jù)中的除所述第一發(fā)言人外的人員進(jìn)行運(yùn)動檢測；以及第二截取模塊，用于獲取所述第二攝像機(jī)采集的全景視頻數(shù)據(jù)，并在所述全景視頻數(shù)據(jù)截取第三視頻數(shù)據(jù)，所述第三視頻數(shù)據(jù)包括除所述第一發(fā)言人外的人員移動的圖像。
[0016]優(yōu)選地，所述合成模塊還用于將所述第三視頻數(shù)據(jù)合成到所述合成畫面中。
[0017]優(yōu)選地，所述處理裝置還包括:判斷模塊，用于判斷使用所述第一截取模塊和/或所述第二截取模塊截取所述全景視頻數(shù)據(jù)。
[0018]根據(jù)本發(fā)明的又一方面，還提供一種視頻會議系統(tǒng)，包括:第一攝像機(jī);第二攝像機(jī);麥克風(fēng)矩陣，用于采集音頻;視頻輸出裝置;以及處理裝置，包括:音源定位模塊，用于根據(jù)所述麥克風(fēng)矩陣所采集的音頻確定第一音源以及至少一個第二音源所在方向，所述第一音源為持續(xù)音源，所述第二音源為動態(tài)音源;第一控制模塊，用于控制所述第一攝像機(jī)轉(zhuǎn)向第一音源所在方向，并指示所述第一攝像機(jī)采集第一音源所在方向的第一視頻數(shù)據(jù);第一截取模塊，用于獲取所述第二攝像機(jī)采集的全景視頻數(shù)據(jù)，并根據(jù)所述第二音源所在方向在所述全景視頻數(shù)據(jù)中截取對應(yīng)于至少一個所述第二音源所在方向的至少一個第二視頻數(shù)據(jù);合成模塊，用于將所述第一視頻數(shù)據(jù)和至少一個所述第二視頻數(shù)據(jù)合成到合成畫面中。
[0019 ]優(yōu)選地，所述第一攝像機(jī)為球型攝像機(jī);所述第二攝像機(jī)為全景攝像機(jī)。
[0020]根據(jù)本發(fā)明的再一方面，還提供一種視頻會議方法，應(yīng)用如上所述的處理裝置，包括:根據(jù)所述麥克風(fēng)矩陣所采集的音頻確定第一音源以及至少一個第二音源所在方向，所述第一音源為持續(xù)音源，所述第二音源為動態(tài)音源;控制所述第一攝像機(jī)轉(zhuǎn)向第一音源所在方向，并指示所述第一攝像機(jī)采集第一音源所在方向的第一視頻數(shù)據(jù);獲取所述第二攝像機(jī)采集的全景視頻數(shù)據(jù)，并根據(jù)所述第二音源所在方向在所述全景視頻數(shù)據(jù)中截取對應(yīng)于至少一個所述第二音源所在方向的至少一個第二視頻數(shù)據(jù)；以及將所述第一視頻數(shù)據(jù)和至少一個所述第二視頻數(shù)據(jù)合成到合成畫面中。
[0021]本發(fā)明利用雙攝像機(jī)，配合麥克風(fēng)矩陣，能夠?qū)⒁曨l會議場所中多個與會人員的發(fā)言都能夠合成在同一畫面中進(jìn)行輸出，并保證主要的發(fā)言人的定位和追蹤，這樣，不需要為每個與會人員都配備一臺攝像機(jī)，就夠?qū)崿F(xiàn)視頻會議輸出的動態(tài)變化。
【附圖說明】
[0022]通過參照附圖詳細(xì)描述其示例實(shí)施方式，本發(fā)明的上述和其它特征及優(yōu)點(diǎn)將變得更加明顯。
[0023]圖1示出了根據(jù)本發(fā)明實(shí)施例的視頻會議系統(tǒng)的示意圖。
[0024]圖2示出了根據(jù)本發(fā)明實(shí)施例的處理裝置的示意圖。
[0025]圖3示出了根據(jù)本發(fā)明另一實(shí)施例的處理裝置的示意圖。
[0026]圖4示出了根據(jù)本發(fā)明實(shí)施例的視頻會議方法的流程圖。
[0027]圖5示出了根據(jù)本發(fā)明實(shí)施例的第一視頻數(shù)據(jù)的畫面。
[0028]圖6示出了根據(jù)本發(fā)明實(shí)施例的第二視頻數(shù)據(jù)的畫面。
[0029]圖7示出了根據(jù)本發(fā)明實(shí)施例的一種合成畫面。
[0030]圖8示出了根據(jù)本發(fā)明實(shí)施例的另一種合成畫面。
[0031 ]圖9示出了根據(jù)本發(fā)明實(shí)施例的又一種合成畫面。
[0032]圖10示出了根據(jù)本發(fā)明實(shí)施例的再一種合成畫面。
【具體實(shí)施方式】
[0033]現(xiàn)在將參考附圖更全