本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，特別涉及一種視頻會議實現(xiàn)方法，可用于兩個或兩個以上不同地方的會議小組進(jìn)行即時互動溝通，使所有的與會人員同時進(jìn)行面對面的視頻交流。

背景技術(shù)：

視頻會議作為目前最先進(jìn)的通訊技術(shù)，只需借助專用網(wǎng)絡(luò)或互聯(lián)網(wǎng)，即可實現(xiàn)高效高清的遠(yuǎn)程會議辦公，在持續(xù)提升用戶溝通效率、縮減企業(yè)差旅費用成本、提高管理成效等方面具有得天獨厚的優(yōu)勢，已部分取代商務(wù)出行，成為遠(yuǎn)程辦公最新模式。近年來，視頻會議的應(yīng)用范圍迅速擴大，從政府、公安、軍隊、法院到科技、能源、醫(yī)療、教育等領(lǐng)域隨處可見，涵蓋了社會生活的方方面面。

魚眼全景攝像機因其大視角及特殊的成像效果，在虛擬實景技術(shù)、機器人導(dǎo)航、醫(yī)療、全景漫游、視頻監(jiān)控和攝影等方面得到廣泛應(yīng)用，但因其特殊的畸變效果在視頻會議上的應(yīng)用有所限制。目前，改變魚眼圖像視點中心的平面校正處理方式多采用等距投影算法，該算法的核心理論是給定魚眼圖像上的任意點的坐標(biāo)，根據(jù)輸入的魚眼鏡頭最大視角、透視角度、輸出圖像的高度和寬度等參數(shù)，得到以該點為中心進(jìn)行變形校正展開的圖像。為滿足不同項目的校正效果，針對具體的項目應(yīng)當(dāng)在應(yīng)用時對該算法進(jìn)行改進(jìn)。

傳統(tǒng)的視頻會議會場布置要求較高，負(fù)責(zé)采集圖像的高清攝像機和顯示設(shè)備需固定于會場前側(cè)中央?yún)^(qū)域，并對正與會人員，通過云臺控制和縮放方能實現(xiàn)會場整體和特定位置場景的捕捉，會場照明要充足，環(huán)境色溫要適中。這種方法視角范圍小，場景單一，面對面的互動性差。

技術(shù)實現(xiàn)要素：

本發(fā)明的目的在于針對上述現(xiàn)有技術(shù)的不足，提出一種基于魚眼全景攝像機的視頻會議實現(xiàn)方法，以擴大視角范圍、增強互動性，使所有與會人員能同時參與面對面的交流。

本發(fā)明的技術(shù)方案是這樣實現(xiàn)的：

一.技術(shù)原理

魚眼像機因采用的鏡頭和圖像傳感器與普通鏡頭的矩形傳感器有著本質(zhì)上的差異，因此其成像原理也不相同。由于魚眼鏡頭焦距越短，視角越大，而視角越大，因光學(xué)原理產(chǎn)生的變形也就越強烈的特點，為了達(dá)到水平360°，垂直180°的超大視角，魚眼鏡頭允許“桶形畸變”合理存在，除了畫面中心的景物保持不變，其它本應(yīng)水平或垂直的景物都發(fā)生了相應(yīng)的變化。由于景深曲率的影響，魚眼鏡頭成像會形成一個異于人類視覺習(xí)慣的圓形圖像，其圖像邊緣的像素點完全被拉伸，因此如何改變魚眼圖像視點并以該視點為中心進(jìn)行校正是十分關(guān)鍵的技術(shù)。圖像的畸變十分嚴(yán)重，不符合正常視覺感受，因此需要圖像校正處理技術(shù)消除魚眼鏡頭畸變。

本發(fā)明利用魚眼全景攝像機獲取會議現(xiàn)場的圖像數(shù)據(jù)，經(jīng)過通信單元傳送給本地處理中心，本地處理中心通過校正處理生成正常視覺下的新視點圖像，再由遠(yuǎn)程傳輸單元傳送給另一會議地點的遠(yuǎn)程處理中心，遠(yuǎn)程處理中心將解碼后的圖像信號通過通信單元輸出至顯示終端，使雙方與會人員可直觀的、“面對面”的參與交流。

二.實現(xiàn)方案

根據(jù)上述原理，本發(fā)明的實現(xiàn)方案包括如下：

1)會場設(shè)置

各會議小組將魚眼全景攝像機水平向上置于會議現(xiàn)場的中央，各參會人員前側(cè)設(shè)置小型顯示終端，以顯示其他參會人員圖像；

2)圖像采集

2a)利用會議現(xiàn)場的魚眼全景攝像機獲取會議現(xiàn)場水平視角360度、垂直視角180度的魚眼圖像；

2b)將魚眼攝像機采集的會議現(xiàn)場的魚眼圖像，傳回到本地處理中心；

3)圖像預(yù)處理：采用掃描線逼近法獲取魚眼圖像的圓形有效區(qū)域；

4)圖像校正與傳輸

4a)采用球面透視投影模型，將魚眼圖像的圓形有效區(qū)域校正成為以某一點為中心的正常視覺下的平面圖像，并將該平面圖像信號傳送至遠(yuǎn)程處理中心；

4b)遠(yuǎn)程處理中心將收到的平面圖像進(jìn)行解碼，再輸出至參會人員的顯示終端。

本發(fā)明具有如下優(yōu)點：

1.本發(fā)明由于采用魚眼全景攝像機，可獲得水平視角360度的景象，擴大了視角范圍；

2.本發(fā)明只需固定設(shè)置魚眼全景攝像機和顯示終端，無需云臺控制，會場設(shè)置簡單；

3.本發(fā)明由于通過球面透視投影模型將魚眼圖像校正成正常視覺下的平面圖像，使其符合正常的視覺要求，便于雙方或多方交流。

附圖說明

圖1是本發(fā)明的實現(xiàn)總框圖。

圖2是本發(fā)明中魚眼圖像校正子框圖。

圖3是本發(fā)明中使用的球面透視投影模型。

圖4是本發(fā)明中魚眼鏡頭球面成像示意圖。

圖5是本發(fā)明中計算像素長度的示意圖。

圖6是本發(fā)明中計算視平面對應(yīng)點的空間坐標(biāo)示意圖

圖7是本發(fā)明的實施效果圖。

具體實施方式

以下結(jié)合具體實例，對本發(fā)明進(jìn)行詳細(xì)說明。

參圖1，為本發(fā)明的實現(xiàn)過程如下：

第一步，會場設(shè)置。

按照實際需求設(shè)置分組會場，各分組會場按照圓桌會議方式設(shè)置桌椅，座椅數(shù)量設(shè)置在4個以上，會議桌中央位置水平放置魚眼全景攝像機，攝像機的鏡頭向上擺放，各座位前方的桌面上設(shè)置液晶顯示器作為顯示終端，魚眼全景攝像機、顯示終端和座椅的相對位置根據(jù)圖像顯示效果適當(dāng)調(diào)整；

各分組會場的計算機控制臺作為本會場的本地處理中心。

第二步，圖像采集。

利用設(shè)置在會議現(xiàn)場的魚眼攝像機采集會議現(xiàn)場水平視角360度、垂直視角180度的魚眼圖像。

為了使視頻圖像更流暢，設(shè)圖像的采集頻率為每秒20幀，輸出圖像的時間不大于0.1秒。將采集到的會議現(xiàn)場的魚眼圖像傳回本地處理中心。

第三步，圖像預(yù)處理。

由于魚眼攝像機拍攝的圖像四周黑色部分是無用信息，只有中間圓形有效區(qū)域內(nèi)的信息為有用信息。為了提取魚眼圖像的有效信息，需要對魚眼圖像進(jìn)行預(yù)處理，以獲取魚眼圖像的輪廓，確定魚眼圖像有效信息所在范圍。預(yù)處理方法可采用最小二乘擬合法、面積統(tǒng)計法、掃描線逼近法等方法，本實例采用但不限于掃面線逼近法，其步驟如下：

3a)事先定義一個閾值T，建立橫向、縱向掃描線對魚眼圖像進(jìn)行逐行逐列掃描，計算每條掃描線上的R、G、B之和Sum，記錄四個方向Sum值第一次大于閾值T的位置作為魚眼圖像有效區(qū)域的邊界線，從而獲得魚眼圖像有效區(qū)域在水平方向的下邊界y1、上邊界y2和垂直方向的左邊界x1、右邊界x2；

3b)根據(jù)魚眼圖像有效區(qū)域的四個邊界，計算魚眼圖像的圓形有效區(qū)域半徑R：

第四步，圖像校正與傳輸。

由于魚眼鏡頭拍攝的圖像存在“桶形畸變”，除了圖像中心的景物保持不變，圖像邊緣的像素點完全被拉伸，不符合正常的視覺感受，因此需要用圖像校正處理技術(shù)消除魚眼鏡頭畸變。圖像校正處理主要采用球面透視投影模型，將圓形魚眼圖像校正成為以某一點為中心的正常視覺下的平面圖像，即新視點圖像。

參圖2，魚眼圖像校過程如下：

4a)根據(jù)球面成像原理建立球面透視投影模型并統(tǒng)一坐標(biāo)系：

根據(jù)魚眼圖像圓形有效區(qū)域半徑R及其中心O建立球面透視投影模型。該球面透視投影模型的坐標(biāo)系與相機坐標(biāo)系CCS重合，其原點為O，正向透出方向為X軸，水平向右方向為Y軸，Z軸與魚眼攝像機的光軸重合，垂直向上，如圖3所示，魚眼圖像有效區(qū)域位于XOY平面上的圓內(nèi)；

4b)將魚眼圖像映射到球面模型上，建立透視投影關(guān)系：

4b1)設(shè)空間一點在CCS坐標(biāo)系的半球模型上的投影點為P，連接OP，則OP與Z軸的夾角θ為入射角,P點在XOY平面上的垂直投影點為P＇，連接OP＇，則OP＇與X軸正向夾角為方位角，則點P的CCS坐標(biāo)(C_x,C_y,C_z)可表示為：

由點P的CCS坐標(biāo)(C_x,C_y,C_z)，得到如下極坐標(biāo)式：

4b2)在球面透視投影模型中，將上部半球面上點投影到與魚眼鏡頭光軸Z軸垂直的固定平面上，形成圓形魚眼圖像，如圖4所示，

圖4中球面點P與其投影點P＇的連線PP＇垂直于XOY平面，r為點P＇(x，y)到圓心O的距離，由此可得：

4b3)由式<3>可得入射角θ、點P＇(x，y)到圓心O的距離R；用點P＇的坐標(biāo)x，y替換式<2>中點P的坐標(biāo)C_x，C_y可得方位角可得魚眼圖像點P＇(x，y)與球面點的對應(yīng)關(guān)系為：

其中，R為魚眼圖像的圓形有效區(qū)域半徑；

4c)建立視平面

以P點為透視投影中心，水平視角為γ，建立寬為W，高為H的視平面，如圖4所示，該視平面與球面相切于P點；

建立視平面上UPV坐標(biāo)系，其中V軸、Z軸、線段OP三者共面，且V軸垂直于線段OP，并指向Z軸，U軸指向向量OP×PV的方向，視平面上水平方向向量PU和指向Z軸的向量PV可表示為：

本實例設(shè)置的視平面其尺寸為W×H，且W＝H＝2×R×tan(γ/2)，視平面上每個象素對應(yīng)的長度du與寬度dv相等，像素參數(shù)的計算參照圖5，可得：

du＝dv＝(2×(R×tan(γ/2))/W) <6>

4d)填充像素，生成新視點圖像：

4d1)建立視平面的USV坐標(biāo)系，令視平面左上角為原點S，U軸水平向右，V軸垂直向下，如圖6；

4d2)設(shè)置視平面原點S的空間坐標(biāo)：

設(shè)U軸方向每前進(jìn)du時，x的變化量為Xu＝du×Ux，y的變化量為Yu＝du×Ux，z的變化量為Zu＝du×Ux；

設(shè)V軸方向每前進(jìn)dv時，x的變化量為Xv＝dv×Vx，y的變化量為Yv＝dv×Vx，z的變化量為Zv＝dv×Vx，其中Ux、Vx是向量PU、PV在X軸方向的分量；

將視平面原點S的空間坐標(biāo)表示為：

其中Wx，Wy，Wz是W分別在X、Y、Z軸上的投影分量；

4d3)計算視平面對應(yīng)點的空間坐標(biāo)：

根據(jù)式<7>，計算視平面上點(j,i)的空間坐標(biāo)：

4d4)依據(jù)式<4>建立的魚眼圖像平面點P＇到球面點P的對應(yīng)關(guān)系，和式<8>視平面上點(j,i)的空間坐標(biāo)，及式<6>確定的像素大小，將魚眼圖像圓形有效區(qū)域上的像素內(nèi)容填充到步驟4c)構(gòu)建的視平面內(nèi)，不足部分按照雙線性插值的方法插值填充，從而生成正常視覺下的新視點圖像。

4e)將4d)生成的新視點圖像，通過傳輸系統(tǒng)傳送到遠(yuǎn)程處理中心，遠(yuǎn)程處理中心再將接收到的新視點圖像輸出顯示至各顯示終端。

圖7給出了本發(fā)明的一個實施效果圖，其中圖7(a)為魚眼攝像機采集到的會議現(xiàn)場的魚眼圖像，對圖7(a)按照如下參數(shù)的設(shè)定可生成相應(yīng)的新視點圖像：

將控制參數(shù)設(shè)定為(0°，45°，90°)，生成如圖7(b)所示的新視點圖像；

將控制參數(shù)設(shè)定為(90°，45°，90°)，生成如圖7(c)所示的新視點圖像；

將控制參數(shù)設(shè)定為(180°，45°，90°)，生成如圖7(d)所示的新視點圖像；

將控制參數(shù)設(shè)定為(270°，45°，90°)，生成如圖7(e)所示的新視點圖像。

從圖7的實施效果圖可以看出，魚眼攝像機采集到的會議現(xiàn)場的魚眼圖像經(jīng)校正處理后，生成的新視點圖像符合正常的視覺要求，可以滿足視頻會議需要。