專利名稱：立體視頻通信終端、系統(tǒng)及方法
技術(shù)領(lǐng)域：
本發(fā)明涉及立體視頻領(lǐng)域，特別是涉及立體視頻通信終端、系統(tǒng)及方法。
背景技術(shù)：
而能夠真實(shí)地重現(xiàn)客觀世界景象，表現(xiàn)出場(chǎng)景的縱深感、層次感和真實(shí)性， 是當(dāng)前視頻技術(shù)發(fā)展的重要方向。
目前視頻研究領(lǐng)域有兩個(gè)主要的研究熱點(diǎn)雙目立體視頻和多視角視頻 (又稱"Multi-View Coding, MVC，，)。參閱圖1,雙目立體視頻的基本原理是 模擬人眼成像原理，采用雙攝像機(jī)獨(dú)立得到左眼圖像和右眼圖像，并使人的 左右眼分別看到左右眼通道圖像，最后合成得到具有立體感的圖像。多視角 視頻由多個(gè)攝像機(jī)同時(shí)拍攝得到，具有多個(gè)視頻通道，不同的攝像機(jī)的拍攝 角度不同。在播放時(shí)這些不同角度的景物圖像都會(huì)送到用戶終端，如電視機(jī) 顯示屏上，用戶在觀看時(shí)可以選擇不同的角度觀看不同的景物畫(huà)面圖像。
其中， 一種現(xiàn)有技術(shù)多視角視頻技術(shù)允許用戶觀看動(dòng)態(tài)場(chǎng)景，進(jìn)行交互 (如凍結(jié)，慢放或回退)和改變視角。應(yīng)用該技術(shù)的系統(tǒng)采用多攝像機(jī)捕獲 多視頻流，采用多視角3D重構(gòu)和交織技術(shù)創(chuàng)建分層的視頻幀，可以進(jìn)行有效 的壓縮和動(dòng)態(tài)場(chǎng)景的交互式回放。該系統(tǒng)還包括一個(gè)具有計(jì)算設(shè)備的渲染和 接收裝置，渲染程序用于渲染每一幀交互式視點(diǎn)圖像。通常，根據(jù)用戶觀看 的視角，從當(dāng)前時(shí)域部分關(guān)聯(lián)的幀組中找到需要播放的一個(gè)或多個(gè)視頻幀。 需要使用標(biāo)定數(shù)據(jù)用于確定當(dāng)前組每一幀圖像所關(guān)聯(lián)的視角，以及用戶選擇 的視角是否和當(dāng)前組中的某一幀一致或落在某兩個(gè)視角的中間。當(dāng)用戶選擇 的視角和某幀一致，則在屏幕上渲染該幀，如果視角落在某兩個(gè)視角之間， 則需要渲染相關(guān)聯(lián)的多幀。當(dāng)需要的一幀或多幀被確定后，需要從交互式視 頻數(shù)據(jù)中解出所需的最小幀數(shù)據(jù)。如果數(shù)據(jù)被壓縮，則需要釆用解碼單元進(jìn) 行數(shù)據(jù)解碼。解碼出來(lái)的數(shù)據(jù)被用來(lái)渲染當(dāng)前用戶指定的視點(diǎn)的交互式視頻 幀。如果需要的視角落在兩幀之間，則首先需要將輸入幀的主要層投影到和用戶指定視角 一致的一個(gè)虛擬視角上，然后將輸入幀的邊界層也投影到該視 角上。
另 一種現(xiàn)有技術(shù)交互式多視角視頻釆用 一種新型的視頻捕獲系統(tǒng)。該系 統(tǒng)包括視頻攝像機(jī)、控制PC、服務(wù)器、網(wǎng)絡(luò)組件和客戶端，還包括音頻組件
用于4甫《尺才目關(guān)的音步貞。夕H獲1參 凡木用土 -,入目g旦刁a , 田一/i、^x^夕q、^:市'J PC進(jìn)行控制，從多個(gè)視點(diǎn)和方向進(jìn)行同步采集。捕獲到的視頻數(shù)據(jù)由控制PC 進(jìn)行壓縮，并實(shí)時(shí)地傳輸?shù)揭粋€(gè)或多個(gè)服務(wù)器上。壓縮后的數(shù)據(jù)也可以實(shí)時(shí) 地分發(fā)到終端用戶或進(jìn)行進(jìn)一步的壓縮，去除時(shí)域和空域的相關(guān)性。
在進(jìn)行本發(fā)明創(chuàng)造過(guò)程中，發(fā)明人發(fā)現(xiàn)上述現(xiàn)有多視角視頻技術(shù)至少存 在以下問(wèn)題
上述現(xiàn)有技術(shù)多視角視頻技術(shù)實(shí)現(xiàn)的功能過(guò)于簡(jiǎn)單，不能滿足目前消費(fèi) 者的實(shí)際需求。比如現(xiàn)有技術(shù)一的多視角視頻技術(shù)，著重于動(dòng)態(tài)場(chǎng)景的交互 式回放，現(xiàn)有技術(shù)二的多視頻技術(shù)著重于視頻的捕獲。當(dāng)需要進(jìn)行多視角視 頻遠(yuǎn)程實(shí)時(shí)播放時(shí)，缺乏相應(yīng)的系統(tǒng)、方法以及設(shè)備的支持；并且不支持實(shí) 時(shí)雙向交互式的立體一見(jiàn)頻的插-;故。

發(fā)明內(nèi)容
本發(fā)明實(shí)施方式要解決的技術(shù)問(wèn)題是提供一種立體視頻通信終端、方法 以及發(fā)送裝置，可以進(jìn)行實(shí)時(shí)的遠(yuǎn)程視頻數(shù)據(jù)雙向通信。
提供一種立體視頻通信終端，包括發(fā)送裝置和接收裝置，所述發(fā)送裝 置包括攝像及圖像處理單元，用于進(jìn)行攝像并輸出視頻數(shù)據(jù)及其深度和/或 視差信息；編碼單元，用于進(jìn)行編碼，包括對(duì)所述掘 像及圖像處理單元輸出 的視頻數(shù)據(jù)及其深度和/或視差信息進(jìn)行編碼；發(fā)送單元，用于將所述編碼單 元輸出的編碼數(shù)據(jù)封裝成符合實(shí)時(shí)傳輸協(xié)議的數(shù)據(jù)包，并通過(guò)分組網(wǎng)絡(luò)進(jìn)行 實(shí)時(shí)傳輸；所述接收裝置包括接收單元，用于接收數(shù)據(jù)包，包括接收發(fā)送 單元發(fā)送的數(shù)據(jù)包并去除所述數(shù)據(jù)包的協(xié)議頭，得到所述編碼數(shù)據(jù)；解碼單 元，用于解碼所述接收單元輸出的編碼數(shù)據(jù)，得到所述視頻數(shù)據(jù)以及深度和/ 或視差信息；重構(gòu)單元，用于根據(jù)所述解碼單元輸出所述深度和/或視差信息、 以及所述解碼單元輸出的視頻數(shù)據(jù)進(jìn)行用戶所處視角圖像的重構(gòu)，并輸入到 所述渲染單元；渲染單元，用于將所述重構(gòu)單元輸出的重構(gòu)圖像數(shù)據(jù)渲染到立體顯示設(shè)備上。
提供一種立體視頻通信系統(tǒng)，包括所述立體視頻通信終端，用于進(jìn)行
二維或立體視頻通信；二維視頻通信終端，用于進(jìn)行二維視頻通信；分組網(wǎng) 絡(luò)，用于承載所述立體視頻通信終端之間、或二維視頻通信終端之間傳輸?shù)?二維或立體視頻數(shù)據(jù)。
提供一種立體枧頻通信終端，包括攝像及圖像處理單元，進(jìn)行攝像， 包括進(jìn)行攝像并輸出視頻數(shù)據(jù)及其深度和/或視差信息；編碼單元，用于進(jìn)行 編碼，包括對(duì)所述攝像及圖像處理單元輸出的視頻數(shù)據(jù)及其深度和/或視差信 息進(jìn)行編碼；發(fā)送單元，用于將所述編碼單元輸出的編碼數(shù)據(jù)封裝成符合實(shí) 時(shí)傳輸協(xié)議的數(shù)據(jù)包，并通過(guò)分組網(wǎng)絡(luò)進(jìn)行實(shí)時(shí)傳輸。
提供一種立體視頻通信終端，包括接收單元，用于接收數(shù)據(jù)包，包括 接收發(fā)送單元發(fā)送的數(shù)據(jù)包并去除所述數(shù)據(jù)包的協(xié)議頭，得到所述編碼數(shù)據(jù)； 解碼單元，用于解碼所述接收單元輸出的編碼數(shù)據(jù)，得到所述視頻數(shù)據(jù)以及 深度和/或視差信息；重構(gòu)單元，用于根據(jù)所述解碼單元輸出所述深度和/或視 差信息、以及所述解碼單元輸出的視頻數(shù)據(jù)進(jìn)行用戶所處視角圖像的重構(gòu)， 并輸入到所述渲染單元；渲染單元，用于將所述重構(gòu)單元輸出的重構(gòu)圖像數(shù) 據(jù)渲染到立體顯示設(shè)備上。
提供一種立體視頻通信方法，包括進(jìn)行雙向立體視頻通信，包括進(jìn) 行攝像，得到視頻數(shù)據(jù)；從所視頻數(shù)據(jù)中得到成像物體的深度和/或視差信息； 對(duì)所述視頻數(shù)據(jù)和深度和/或視差信息進(jìn)行編碼；將所述編碼數(shù)據(jù)封裝成符合 實(shí)時(shí)傳輸協(xié)議的數(shù)據(jù)包；通過(guò)分組網(wǎng)絡(luò)發(fā)送所述數(shù)據(jù)包。
提供一種立體視頻通信方法，包括接收視頻數(shù)據(jù)，包括接收通過(guò)分 組網(wǎng)絡(luò)進(jìn)行實(shí)時(shí)傳輸?shù)囊曨l數(shù)據(jù)包，并去除所述數(shù)據(jù)包的協(xié)議頭，得到已編 碼立體視頻編碼數(shù)據(jù)；對(duì)所述已編碼視頻數(shù)據(jù)進(jìn)行解碼，得到視頻數(shù)據(jù)以及 相應(yīng)的深度和/或視差信息；根據(jù)所述深度和/或視差信息、以及視頻數(shù)據(jù)進(jìn)行 用戶所處視角圖像的重構(gòu)；將所述重構(gòu)的圖像數(shù)據(jù)渲染到立體顯示設(shè)備上。
以上技術(shù)方案可以看出，由于釆用分組網(wǎng)絡(luò)發(fā)送視頻數(shù)據(jù)，并進(jìn)行實(shí)時(shí) 傳輸，在接收端可以實(shí)時(shí)接收所述立體視頻流并進(jìn)行渲染，用戶可以遠(yuǎn)程看 到實(shí)時(shí)的立體圖像，實(shí)現(xiàn)遠(yuǎn)程立體視頻通信，提升用戶體驗(yàn)。


圖1是現(xiàn)有技術(shù)雙目立體視頻攝像的原理圖2是現(xiàn)有技術(shù)單視點(diǎn)、平行多視點(diǎn)、匯聚多視點(diǎn)攝像機(jī)系統(tǒng)的原理圖； 圖3是本發(fā)明立體視頻通信終端第一實(shí)施方式的原理框圖； 圖4是本發(fā)明立體視頻通信系統(tǒng)第一實(shí)施方式的原理框圖； 圖5是圖4中發(fā)送端的原理框圖6是本發(fā)明中在發(fā)送裝置與接收裝置兩側(cè)分別對(duì)視頻數(shù)據(jù)進(jìn)行混合編 解碼的流程圖7是視差、景深與用戶觀看距離之間的關(guān)系圖8是本發(fā)明立體視頻通信方法第 一 實(shí)施方式發(fā)送方的流程圖9是本發(fā)明立體視頻通信方法第一實(shí)施方式接收方的流程圖。
具體實(shí)施例方式
為使本發(fā)明的目的、技術(shù)方案、及優(yōu)點(diǎn)更加清楚明白，以下參照附圖并 舉實(shí)施方式，對(duì)本發(fā)明進(jìn)一步詳細(xì)說(shuō)明。
參閱圖3，本發(fā)明實(shí)施方式提供一種雙向?qū)崟r(shí)，支持多視角的立體視頻通 信終端。通信雙方的用戶在使用過(guò)程中可以選擇多個(gè)觀看視角，并都能得到 穩(wěn)定的實(shí)時(shí)立體視頻圖像。
首先提供立體視頻通信終端第一實(shí)施方式，包括發(fā)送裝置、分組網(wǎng)絡(luò)與 接收裝置。
所述發(fā)送裝置包括
攝像及圖像處理單元312,進(jìn)行攝像，包括進(jìn)行攝像并輸出視頻數(shù)據(jù)及其 深度和/或#見(jiàn)差信息；
編碼單元313，用于進(jìn)行編碼，包括對(duì)所述攝像及圖像處理單元312輸出 的視頻數(shù)據(jù)及其深度和/或視差信息進(jìn)行編碼；
發(fā)送單元314,用于將所述編碼單元313輸出的編碼數(shù)據(jù)封裝成符合實(shí)時(shí) 傳輸協(xié)議的數(shù)據(jù)包，并通過(guò)所述分組網(wǎng)絡(luò)進(jìn)行實(shí)時(shí)傳輸；接收單元321,用于接收數(shù)據(jù)包，包括接收所述發(fā)送單元314發(fā)送的數(shù)據(jù) 包，并去除所述數(shù)據(jù)包的協(xié)議.頭，得到所述編碼lt據(jù)；
解碼單元322,用于解碼所述接收單元321輸出的編碼數(shù)據(jù)，得到所述視 頻數(shù)據(jù)以及深度和/或視差信息；
重構(gòu)單元323，用于根據(jù)所述解碼單元322輸出所述深度和/或視差信息、 以及所述解碼單元322輸出的視頻數(shù)據(jù)進(jìn)行用戶所處視角圖像的重構(gòu)，并輸 入到所述渲染單元；
渲染單元324,用于將所述解碼單元322輸出的已解碼數(shù)據(jù)、或重構(gòu)單元 323輸出的重構(gòu)圖像渲染到立體顯示設(shè)備上；
為達(dá)到雙向通信功能，所述網(wǎng)絡(luò)的發(fā)送裝置一側(cè)還可以包括所述接收裝 置，所述網(wǎng)絡(luò)的接收裝置一側(cè)還包括所述發(fā)送裝置。
以上可以看出，由于采用發(fā)送單元314發(fā)送攝像及圖像處理單元312攝 像得到的視頻數(shù)據(jù)，并經(jīng)分組網(wǎng)絡(luò)進(jìn)行實(shí)時(shí)傳輸，在接收端可以采用接收單 元實(shí)時(shí)接收所述視頻數(shù)據(jù)并進(jìn)行渲染，需要重構(gòu)的則進(jìn)行重構(gòu)再進(jìn)行渲染， 用戶可以遠(yuǎn)程看到實(shí)時(shí)的立體圖像，實(shí)現(xiàn)遠(yuǎn)程立體視頻通信，提升用戶體驗(yàn)。
上述攝像及圖像處理單元312可以是多視角攝像及圖像處理單元；所述 發(fā)送裝置與接收裝置可以作為一個(gè)整體，單獨(dú)使用。
參閱圖4,本發(fā)明立體視頻通信系統(tǒng)第一實(shí)施方式包括發(fā)送端、分組網(wǎng)絡(luò) 以及接收端。
所述分組網(wǎng)絡(luò)可以實(shí)時(shí)傳輸^L頻數(shù)據(jù)。
一起參閱圖5，所述發(fā)送端包括發(fā)送裝置和接收裝置。
所述發(fā)送端包括
攝像及圖像處理單元，進(jìn)行攝像，包括進(jìn)行攝像并輸出視頻數(shù)據(jù)；所述 攝像及圖像處理單元可以是單視角、多視角、或單視角與多視角都支持的攝 像及圖像處理單元；
采集控制單元，用于根據(jù)指令控制所述攝像及圖像處理單元的操作，包 括根據(jù)所述視頻操作單元發(fā)送的指令控制所述攝像及圖像處理單元的操作；同步單元，用于產(chǎn)生同步信號(hào)并輸入到所述攝像及圖像處理單元，控制 其進(jìn)行同步采集；或?qū)⑺鐾叫盘?hào)輸入到所述采集控制單元，通知其控制
所述多攝像及圖像處理單元進(jìn)行同步采集；
標(biāo)定單元，用于獲取所述攝像及圖像處理單元中攝像機(jī)的內(nèi)參和外參， 并輸出校正指令到所述采集控制單元；
預(yù)處理單元，用于接收所述采集控制單元輸出的視頻數(shù)據(jù)和相應(yīng)的攝像 機(jī)參數(shù)，并根據(jù)預(yù)處理算法對(duì)所述視頻數(shù)據(jù)進(jìn)行預(yù)處理；
匹酉己/深度提取單元，用于從所述預(yù)處理單元輸出的視頻數(shù)據(jù)中得到成像 物體的三維信息，并和所述視頻數(shù)據(jù)一起輸出給所述編碼單元；
編碼單元，用于進(jìn)行編碼，包括對(duì)所述預(yù)處理單元輸出的視頻數(shù)據(jù)進(jìn)行 編碼，還對(duì)所述匹配/深度提取單元輸出的深度和/或視差信息進(jìn)行編碼；
復(fù)用單元，用于對(duì)所述編碼單元輸出的編碼數(shù)據(jù)進(jìn)行復(fù)用；
發(fā)送單元，用于將所述復(fù)用單元輸出的編碼數(shù)據(jù)封裝成符合實(shí)時(shí)傳輸協(xié) 議的數(shù)據(jù)包，并通過(guò)分組網(wǎng)絡(luò)進(jìn)行實(shí)時(shí)傳輸。
所述接收端包括發(fā)送裝置和接收裝置，所述接收裝置包括
接收單元，用于接收數(shù)據(jù)包，包括接收所述發(fā)送單元發(fā)送的數(shù)據(jù)包并去 除所述數(shù)據(jù)包的協(xié)議頭，得到所述編碼數(shù)據(jù)；
解復(fù)用單元，用于對(duì)所述接收單元接收的數(shù)據(jù)進(jìn)行解復(fù)用；
解碼單元，用于解碼所述解復(fù)用單元輸出的編碼數(shù)據(jù)；
重構(gòu)單元，在所述解碼單元輸出的已解碼數(shù)據(jù)經(jīng)過(guò)立體匹配技術(shù)處理時(shí)， 用于對(duì)所述已解碼數(shù)據(jù)進(jìn)行圖像重構(gòu)，并輸入到所述渲染單元；
渲染單元，用于將所述解碼單元或重構(gòu)單元輸出的數(shù)據(jù)渲染到立體顯示 設(shè)備上。
在其他實(shí)施方式中，還可以進(jìn)一步包括
轉(zhuǎn)換單元，用于將解碼單元輸出的立體視頻數(shù)據(jù)轉(zhuǎn)換成二維視頻數(shù)據(jù)； 平面顯示設(shè)備，用于顯示所述轉(zhuǎn)換單元輸出的二維視頻數(shù)據(jù)。分組網(wǎng)絡(luò)兩側(cè)的通信終端，用于進(jìn)行通信并控制所述發(fā)送裝置與立體接 收裝置，包括
指令發(fā)送單元，用于發(fā)送指令，包括發(fā)送攜帶所述攝像及圖像處理單元
能力信息的會(huì)議發(fā)起指令；還用于通過(guò)所述發(fā)送單元向?qū)Ψ桨l(fā)送裝置的采集 控制單元發(fā)送控制發(fā)送裝置的指令，包括控制攝像及圖像處理單元內(nèi)特定 才聶^象機(jī)開(kāi)關(guān)或特定一見(jiàn)角進(jìn)行攝像的指令。
視頻操作單元，用于操作所述發(fā)送裝置與接收裝置，包括在收到會(huì)議確 認(rèn)消息后開(kāi)啟所述發(fā)送裝置與接收裝置；
多點(diǎn)控制單元MCU，連接在分組網(wǎng)絡(luò)上，用于控制多點(diǎn)會(huì)議連接，包括
能力判斷單元，用于在接收到所述通信終端的會(huì)議發(fā)起指令時(shí)，根據(jù)所 述指令攜帶的能力信息判斷會(huì)議雙方是否具有立體攝像和立體顯示能力；在 其他實(shí)施方式中，也可以將此功能集成在終端上，即不采用多點(diǎn)控制單元來(lái) 判斷會(huì)議雙方/多方的能力，而是由終端自己進(jìn)行判斷；
會(huì)議建立單元，用于在所述能力判斷單元判斷雙方都具有立體攝像和立 體顯示能力時(shí)通過(guò)所述分組網(wǎng)絡(luò)建立所述會(huì)議雙方通信終端的會(huì)議連接，包 括發(fā)送所述會(huì)議確認(rèn)消息到雙方通信終端的視頻操作單元，以啟動(dòng)所述發(fā)送 裝置和接收裝置，并將接收方通信終端的地址發(fā)送給所述發(fā)起方發(fā)送裝置的 發(fā)送單元；
轉(zhuǎn)換單元，用于轉(zhuǎn)換數(shù)據(jù)格式，包括將從一方發(fā)送裝置的發(fā)送單元接收 到的視頻數(shù)據(jù)轉(zhuǎn)換成二維視頻數(shù)據(jù)；
轉(zhuǎn)發(fā)單元，用于將所述轉(zhuǎn)換單元輸出的視頻數(shù)據(jù)發(fā)送給通信對(duì)方發(fā)送裝 置的接收單元。
其中，所述多點(diǎn)控制系統(tǒng)的能力判斷單元在進(jìn)行能力判斷的結(jié)果為會(huì)議 雙方有一個(gè)不具有立體顯示能力時(shí)，啟動(dòng)所述轉(zhuǎn)換單元工作；所述通信終端
也同樣具有能力判斷功能。
其中，本實(shí)施方式可以是基于H.323協(xié)議進(jìn)行組網(wǎng)的一見(jiàn)頻通信系統(tǒng)網(wǎng)絡(luò)。 該視頻通信系統(tǒng)建立在分組網(wǎng)絡(luò)上(如局域網(wǎng)、El、窄帶ISDN或?qū)拵SDN 等)，主要包括H.323網(wǎng)守(Gatekeeper )、 H.323網(wǎng)關(guān)(Gateway )、 H.323多點(diǎn)控制單元(MCU)、普通的2D攝像機(jī)裝置以及攝像及圖像處理單元等。
(1) 網(wǎng)守是網(wǎng)絡(luò)中一個(gè)H.323實(shí)體，它為H323通信終端、網(wǎng)關(guān)和MCU 提供地址轉(zhuǎn)換和網(wǎng)絡(luò)接入控制。網(wǎng)守也可以為通信終端、網(wǎng)關(guān)、MCU提供其 它服務(wù)，如帶寬管理和網(wǎng)關(guān)定位。
(2) H.323網(wǎng)關(guān)為分組網(wǎng)絡(luò)的H.323通信終端、分組交換網(wǎng)絡(luò)上的其它 ITU終端、或者其它H.323網(wǎng)關(guān)之間提供實(shí)時(shí)雙向通信。
(3) 多點(diǎn)控制單元，如前描述，用于控制會(huì)議連接。它是網(wǎng)絡(luò)中一個(gè)端 點(diǎn)，為三個(gè)或更多終端及網(wǎng)關(guān)參加一個(gè)多點(diǎn)會(huì)議服務(wù)，也可以連接兩個(gè)通信 終端構(gòu)成點(diǎn)對(duì)點(diǎn)會(huì)議，隨后再擴(kuò)展為多點(diǎn)會(huì)議。MCU可以由兩部分組成必 需的多點(diǎn)控制器(MC)和可選的多點(diǎn)處理器(MP)。其中多點(diǎn)控制器為多點(diǎn) 會(huì)議提供控制功能、和通信終端進(jìn)行能力協(xié)商、控制會(huì)議資源等；多點(diǎn)處理 器在多點(diǎn)控制器的控制下，在多點(diǎn)會(huì)議中對(duì)音頻、視頻和/或數(shù)據(jù)流進(jìn)行混合、 交換等集中處理。
所述二維攝像機(jī)裝置可以是2D視頻通信終端，是只具有2D圖像采集和 顯示能力的視頻通信終端，如可視電話，視頻會(huì)議終端和個(gè)人計(jì)算機(jī)視頻通 信終端等。
根據(jù)上面描述，相比現(xiàn)有H.323視頻通信網(wǎng)絡(luò)，本發(fā)明實(shí)施方式中的MCU 針對(duì)多視角立體通信系統(tǒng)進(jìn)行改進(jìn)，支持多視角立體通信系統(tǒng)和普通2D視頻 通信終端之間的會(huì)議控制以及立體視頻流的處理。
所述攝像及圖像處理單元、釆集控制單元、同步單元和標(biāo)定單元構(gòu)成了 所述多視角立體視頻通信系統(tǒng)的視頻采集部分。其中所述攝像及圖像處理單 元可以是以下一種
1)立體攝像及圖像處理單元，輸出包括深度和/或視差信息的視頻數(shù)據(jù)；
2 )分開(kāi)的攝像機(jī)和匹配/深度提取單元，所述攝^^幾用于攝像并輸出視頻 數(shù)據(jù)，所述匹配/深度提取單元用于從所述攝像機(jī)輸出的視頻數(shù)據(jù)中得到成像 物體的深度和/或視差信息并輸出。
對(duì)攝像及圖像處理單元中的攝像機(jī)進(jìn)行分組，每個(gè)分組的攝像機(jī)數(shù)目 WH。攝像機(jī)布局采用平行多視角攝像機(jī)或環(huán)形多視角攝像機(jī)模型，從不同視點(diǎn)對(duì)同一場(chǎng)景進(jìn)行拍攝。每個(gè)攝像機(jī)分組由一個(gè)采集控制單元進(jìn)行控制。
攝像機(jī)通過(guò)CamemLink、正EE1394或同軸電纜等方式連接到采集控制單元進(jìn) 行視頻流的傳輸，同時(shí)還通過(guò)遠(yuǎn)程控制數(shù)據(jù)線連接到指令發(fā)送單元，使用戶 可以遠(yuǎn)程遙控?cái)z像機(jī)進(jìn)行平移/轉(zhuǎn)動(dòng)/拉近/拉遠(yuǎn)等操作。整個(gè)攝像及圖像處理單 元中，攝像機(jī)組的數(shù)目M^1，其根據(jù)實(shí)際應(yīng)用場(chǎng)景的需要可自由配置。
同步單元，如前所述，用于控制多攝像機(jī)視頻流的同步采集。同步單元 可以防止多視角攝像及圖像處理單元在對(duì)高速運(yùn)動(dòng)物體進(jìn)行攝像時(shí)所獲得的 圖像中出現(xiàn)圖像差異問(wèn)題，因?yàn)楦咚倏蓪?dǎo)致不同視點(diǎn)或是同 一視點(diǎn)左右眼的 圖像在同一時(shí)刻差異很大，用戶看到的立體視頻就會(huì)失真。同步單元可以通 過(guò)硬件或軟件時(shí)鐘產(chǎn)生同步信號(hào)，輸出到攝像機(jī)的外同步接口對(duì)攝像機(jī)進(jìn)行 同步采集控制或是輸出到采集控制單元，由采集控制單元通過(guò)控制線對(duì)攝像 機(jī)進(jìn)行同步采集控制。同步單元也可以采用 一臺(tái)攝像機(jī)的視頻輸出信號(hào)作為 控制信號(hào)輸入到其它攝像機(jī)進(jìn)行同步采集控制。同步采集要求達(dá)到幀同步或 行/場(chǎng)同步。
標(biāo)定單元，如前所述，是用于完成多掘J象機(jī)標(biāo)定。在立體視頻系統(tǒng)中， 為了進(jìn)行立體匹配和場(chǎng)景重建等，需要得到場(chǎng)景的深度或視差信息，而要求 得深度或視差信息又必須知道物體某一點(diǎn)在世界坐標(biāo)系下的坐標(biāo)和其成像點(diǎn) 坐標(biāo)之間的成像關(guān)系。攝像機(jī)的內(nèi)外參數(shù)是決定該成像關(guān)系的一個(gè)重要因素， 而往往攝像機(jī)的內(nèi)參(如圖像中心、焦距，鏡頭畸變等)和外參又是未知、 部分未知或者原則上不確定的。因此有必要通過(guò)某種方法獲取攝像機(jī)的內(nèi)部 和外部參數(shù)，這個(gè)過(guò)程稱之為攝像機(jī)標(biāo)定。在立體視頻的攝像機(jī)采集中，根 據(jù)仿射變換原理，某一點(diǎn)的理想成像方程(不考慮畸變情況)可以表示為
々 0 m。
v=k[r t:k =0 / v0
10 0 1
其中"，v為成像點(diǎn)坐標(biāo)；H疋為世界坐標(biāo)；s為圖像的尺度因子，為圖 像水平單位像素?cái)?shù)人和垂直單位像素?cái)?shù),之比；/為焦距；"。，v。為圖像中心
坐標(biāo)。R為攝像機(jī)的旋轉(zhuǎn)矩陣，t為攝像機(jī)平移向量。其中K為攝像機(jī)的內(nèi)參, R和t為攝像機(jī)的外參。對(duì)于平行雙攝像機(jī)系統(tǒng)，可以得到《(7W,,/Mr)=
i』
其中f為焦距，Z為點(diǎn)到成像平面的距離，B為兩臺(tái)攝像機(jī)光心的間距， d為視差?？梢钥闯?，焦距f對(duì)深度Z的影響很大。此外內(nèi)參中的圖像中心和 畸變系數(shù)等也會(huì)對(duì)深度和/或視差計(jì)算有影響，需要利用這些參數(shù)進(jìn)行圖像校 正。
本實(shí)施方式可采用多種方法對(duì)攝像機(jī)進(jìn)行標(biāo)定，比如采用傳統(tǒng)標(biāo)定法和 自標(biāo)定法等。傳統(tǒng)標(biāo)定法包括70年代初提出的直接線性變換(DLT)標(biāo)定法 和基于徑向排列約束(RAC)的標(biāo)定法等。其基本方法是建立攝像機(jī)成像模 型線形方程組，并測(cè)出場(chǎng)景中 一組點(diǎn)的世界坐標(biāo)和其在成像平面上的對(duì)應(yīng)坐 標(biāo)，然后將這些坐標(biāo)值代入該線形方程組中求出內(nèi)參和外參。自標(biāo)定是指不 需要標(biāo)定塊，僅僅通過(guò)圖像點(diǎn)之間的對(duì)應(yīng)關(guān)系就可以對(duì)攝像機(jī)進(jìn)行標(biāo)定的過(guò) 程。自標(biāo)定依據(jù)的是多幅圖像中成像點(diǎn)間存在的特殊約束關(guān)系(如極線約束)， 因此可以不需要場(chǎng)景的結(jié)構(gòu)信息。自標(biāo)定法的優(yōu)點(diǎn)是靈活，方便。
本發(fā)明實(shí)施方式中標(biāo)定單元的功能是完成多攝像機(jī)標(biāo)定，求出每個(gè)攝像 機(jī)的內(nèi)參和外參，針對(duì)不同的應(yīng)用場(chǎng)景采用不同的標(biāo)定算法。如針對(duì)^L頻會(huì) 議場(chǎng)景，所述標(biāo)定單元可采用改進(jìn)后的傳統(tǒng)標(biāo)定法進(jìn)行標(biāo)定，能夠簡(jiǎn)化傳統(tǒng) 標(biāo)定法的復(fù)雜的處理過(guò)程，但相比自標(biāo)定法能夠提高精度和減少標(biāo)定時(shí)間。 其基本思想是提供或找到一種和拍攝場(chǎng)景相融合，并且能夠穩(wěn)定存在的物品 作為參照物，如視頻會(huì)議場(chǎng)景中用戶的名牌，或是場(chǎng)景中杯子等物品。這些 物品應(yīng)該可以提供物理幾何尺寸，并且有豐富的特征可供提取。如名牌的邊 緣和上面的文字或圖案，杯子的同心圓特征等，并采用相應(yīng)的算法進(jìn)行標(biāo)定。 如采用平面標(biāo)定法進(jìn)行標(biāo)定的方法如下
(1 )提供已知物理尺寸的平面標(biāo)定參照物；
(2) 從不同角度拍攝得到平面標(biāo)定參照物的圖像；
(3) 自動(dòng)匹配并檢測(cè)出平面標(biāo)定參照物圖像上的特征點(diǎn)，如文字和圖案 的特征點(diǎn)等；
(4) 根據(jù)平面標(biāo)定算法求出攝像機(jī)的內(nèi)參和外參；
17(5 )求出畸變系數(shù)，并進(jìn)行優(yōu)化。
為避免出現(xiàn)不同攝像機(jī)的參數(shù)相差較大的情況，如攝像機(jī)的焦距和外參， 在本發(fā)明更多實(shí)施方式中，可以將求出的不同攝像機(jī)內(nèi)參和外參作為反饋信 息提供給采集控制單元，采集控制單元根據(jù)當(dāng)前參數(shù)的差異對(duì)攝像機(jī)進(jìn)行調(diào) 節(jié)，通過(guò)迭代過(guò)程使不同攝像機(jī)的參數(shù)差異達(dá)到可接受的水平。
采集控制單元，如前所述，用于控制一個(gè)攝像機(jī)組進(jìn)行視頻圖像的采集 并輸出。攝像機(jī)組的數(shù)目可以根據(jù)場(chǎng)景和需求進(jìn)行配置，當(dāng)攝像機(jī)數(shù)為l時(shí)，
采集控制單元輸出2D視頻流，當(dāng)攝像機(jī)數(shù)為2時(shí)，采集控制單元輸出雙目立 體視頻流，當(dāng)攝像機(jī)數(shù)大于2時(shí)，輸出為多視角視頻流。對(duì)于模擬攝像機(jī)， 采集控制單元將模擬圖像信號(hào)轉(zhuǎn)換為數(shù)字視頻圖像。圖像以幀的形式保存在
采集控制單元的緩存中。此外，采集控制單元還將采集到的圖像提供給標(biāo)定 單元進(jìn)行攝像機(jī)標(biāo)定，標(biāo)定單元將得到攝像機(jī)內(nèi)參和外參返回給采集控制單 元。采集控制單元根據(jù)這些參數(shù)建立起視頻流和所屬采集攝像機(jī)屬性的—— 對(duì)應(yīng)的關(guān)系。這些屬性包括攝像機(jī)唯一的編號(hào)、攝像機(jī)內(nèi)參和外參、每幀的 采集時(shí)間戳等，并將攝像機(jī)屬性和視頻流按照一定格式進(jìn)行輸出。除了上述 功能，采集控制單元還提供對(duì)攝像機(jī)的控制功能和圖像采集的同步功能采 集控制單元可以根據(jù)攝像機(jī)標(biāo)定的參數(shù)，通過(guò)攝像機(jī)的遙控接口對(duì)攝像機(jī)進(jìn) 行平移/轉(zhuǎn)動(dòng)/拉il/拉遠(yuǎn)等操作。采集控制單元也可以通過(guò)攝像機(jī)的同步接口向 攝像機(jī)提供同步時(shí)鐘信號(hào)用以控制同步采集。此外，采集控制單元也可以接 受輸入控制單元的控制，如根據(jù)用戶選擇的視點(diǎn)信息關(guān)閉不需要的攝像機(jī)的 ^L頻采集。
預(yù)處理單元，如前所述，對(duì)采集得到的視頻數(shù)據(jù)進(jìn)行預(yù)處理，具體是從 釆集控制單元處接收采集的圖像緩存和相應(yīng)的攝像機(jī)參數(shù)，根據(jù)預(yù)處理算法 對(duì)緩存的圖像進(jìn)行處理。預(yù)處理的主要內(nèi)容包括去除圖像的噪聲；消除不 同攝像機(jī)帶來(lái)的圖像差異，如對(duì)不同攝像機(jī)設(shè)置導(dǎo)致的圖像亮度和色度差異 進(jìn)行調(diào)節(jié)；根據(jù)攝像機(jī)內(nèi)參中的畸變系數(shù)對(duì)圖像進(jìn)行校正，如徑向畸變校正； 和/或?qū)τ谀承┮蕾噿呙杈€匹配的立體匹配算法(如Dynamic Programming動(dòng) 態(tài)規(guī)劃法)進(jìn)行掃描線對(duì)齊操作等。預(yù)處理后的圖像可以消除大部分釆集時(shí) 帶來(lái)的圖像噪聲和由于攝像機(jī)差異導(dǎo)致的不希望的圖像間的不一致性，有利于后續(xù)的立體匹配和深度/視差提取。
匹配/深度提取單元，如前所述，用于從所述預(yù)處理單元輸出的視頻數(shù)據(jù) 中得到成像物體的三維信息，并和所述視頻數(shù)據(jù)一起輸出給所述編碼單元； 立體圖像匹配是立體視頻中的 一項(xiàng)關(guān)鍵技術(shù)。立體視頻的重構(gòu)需要得到成像 物體的三維信息，而其中關(guān)鍵的深度信息必須從多幅圖像中獲取。獲取深度 信息的首要工作就是需要找到場(chǎng)景中某一點(diǎn)在多幅圖像中對(duì)應(yīng)的成像點(diǎn)，然 后再根據(jù)該點(diǎn)在多幅圖像中坐標(biāo)求出其在空間中的坐標(biāo)，從而得到該點(diǎn)的深 度信息。找到場(chǎng)景中某一點(diǎn)在不同圖像中對(duì)應(yīng)成像點(diǎn)的過(guò)程由圖像匹配完成。
本發(fā)明實(shí)施方式可采用的立體匹配技術(shù)主要包括基于窗口的匹配、基 于特征的匹配或動(dòng)態(tài)規(guī)劃法等。其中基于窗口的匹配和動(dòng)態(tài)規(guī)劃法都采用了 基于灰度的匹配算法?；诨叶鹊乃惴ǖ幕舅枷胧菍D像分割成小的子區(qū) 域，以其灰度值作為模版在其它圖像中找到和其最相似灰度值分布的子區(qū)域， 如果兩個(gè)子區(qū)域滿足相似性要求，可以認(rèn)為子區(qū)域中的點(diǎn)是匹配的。在匹配 過(guò)程中，可以使用相關(guān)函數(shù)衡量?jī)蓚€(gè)區(qū)域的相似性?；诨叶鹊钠ヅ湟话愣?得到圖像的密集的深度圖?；谔卣鞯钠ヅ錄](méi)有直接利用圖像的灰度，而是 利用由圖像灰度信息導(dǎo)出的特征進(jìn)行匹配，相比利用簡(jiǎn)單的亮度和灰度變化 信息更加穩(wěn)定。匹配特征可以認(rèn)為是潛在的能夠描述場(chǎng)景3D結(jié)構(gòu)重要特征， 如邊緣和邊緣的交點(diǎn)(角點(diǎn))?；谔卣鞯钠ヅ湟话阆鹊玫较∈璧纳疃刃畔D， 然后利用內(nèi)插值等方法得到圖像的密集深度信息圖。
匹配/深度提取單元的主要功能是對(duì)兩個(gè)相鄰攝像機(jī)采集的視頻圖像進(jìn)行 匹配，并計(jì)算得到視差/深度信息。匹配/深度提取單元對(duì)兩個(gè)鄰近攝像機(jī)拍攝 圖像的最大視差(Parallax)進(jìn)行了限制，如果超過(guò)該最大視差，匹配算法的 效率會(huì)很差，無(wú)法得到較高精度的視差/深度信息。該最大視差可由系統(tǒng)預(yù)先 進(jìn)行配置。本發(fā)明實(shí)施方式中，匹配/深度提取單元所采用的匹配算法可以根 據(jù)實(shí)際情況改變，從多種匹配算法(如窗口匹配，動(dòng)態(tài)規(guī)劃法等)中進(jìn)行選 擇，根據(jù)應(yīng)用場(chǎng)景進(jìn)行配置。完成了匹配操作之后，匹配/深度提取單元根據(jù) 得到的圖像視差和攝像機(jī)的參數(shù)求出場(chǎng)景的深度信息。下面以基于灰度的窗 口匹配算法為例進(jìn)行說(shuō)明
設(shè)厶"力和厶"力作為左右攝像機(jī)采集的兩幅圖像，0"凡)為厶",力中的一點(diǎn)。以(&,力)為中心構(gòu)成一個(gè)模版T,大小為mxn?？梢栽谯?，力中平 移該模版，設(shè)在水平位置平移Ax，在垂真位置平移A少，其在A"，力中覆蓋的 第k個(gè)區(qū)域?yàn)?amp;,則&和T的相關(guān)性可以用相關(guān)函數(shù)衡量
<formula>formula see original document page 20</formula>
當(dāng)"(&^)達(dá)到最小時(shí)，可以認(rèn)為達(dá)到最佳匹配。如果&和T相同，則
在上式中，'=i戶i 代表了模版T的能量，為常數(shù)，m ^ 為&
區(qū)域的能量，其隨著模版T的變化而變化。如果T的變化范圍較小，
tZ[&(")]2 丄 臘T、 Slx(/j)r(/,力
'=1戶l 也近似為常量。為了使"KJ)最小，則"戶1 應(yīng)該最大。
此處采用歸一化交叉相關(guān)算法(Normalized Cross Correlation, NCC)消除亮度差 異引起的誤匹配，相關(guān)函數(shù)可表示為
<formula>formula see original document page 20</formula>
其中E(&)和^(n分別為&和T的平均灰度值。當(dāng)C(Ax，A力最大時(shí)，"(&，T)
最小，可以認(rèn)為Oi，h)和點(diǎn)(^+^凡+A力匹配。奴 分別為兩幅圖像之間的 水平視差和垂直視差。對(duì)于上面所述的平行攝像機(jī)系統(tǒng)，垂直視差近似為0，
Ax-^ ^ 水平視差可以表示為'.Z ，從而可以求出場(chǎng)景中某點(diǎn)的深度信息 Ax。
在其他實(shí)施方式中，匹配/深度提取單元可以對(duì)匹配算法進(jìn)行優(yōu)化(如采 用并行計(jì)算)，以保證系統(tǒng)的實(shí)時(shí)性。
視頻編碼/解碼單元，如前所述，對(duì)視頻數(shù)據(jù)進(jìn)行編碼/解碼。在本發(fā)明實(shí) 施方式中，立體視頻編碼主要可以分為兩類基于塊的編碼和基于對(duì)象的編 碼。在立體圖像的編碼中，除了幀內(nèi)預(yù)測(cè)和幀間預(yù)測(cè)消除空域和時(shí)域上的數(shù) 據(jù)冗余度外，還可以消除多通道圖像之間的空域數(shù)據(jù)冗余性。比如，可以通 過(guò)視差估計(jì)與補(bǔ)償來(lái)消除多通道圖像間的空域冗余度。視差估計(jì)補(bǔ)償?shù)暮诵?是找到兩幅(或多幅)圖像間的相關(guān)性，其與運(yùn)動(dòng)估計(jì)補(bǔ)償是類似的。
本發(fā)明實(shí)施方式所述的視頻編解碼單元對(duì)多視角視頻數(shù)據(jù)按以下兩種方式中的一種進(jìn)行編解碼
l-)對(duì)不同視點(diǎn)間圖像的視差小于等于所設(shè)定的最大視差的情況，按一幀 圖像+視差/深度值+部分殘差的混合方式進(jìn)行編碼(其中視差/深度描述采用
MPEG Part 3: Auxiliary video data representation標(biāo)準(zhǔn))，圖6顯示了對(duì)于雙目立
體視頻采用混合編碼方案的基本流程實(shí)例；
2)對(duì)于不同視點(diǎn)間圖像的視差大于所設(shè)定的最大視差的情況，按傳統(tǒng)方 式(如H.263、 H.264編解碼標(biāo)準(zhǔn))對(duì)視頻流進(jìn)行獨(dú)立編碼?；旌暇幗獯a方案 充分利用了相鄰圖像間的相關(guān)性，壓縮效率更高，能減少更多的相鄰圖像間 存在的時(shí)域和空域數(shù)據(jù)冗余。此外，采用視差/深度編碼有利于進(jìn)行圖像的重 構(gòu)。對(duì)于圖像中有遮擋，無(wú)法提取視差/深度的部分，采用殘差編碼，使重構(gòu) 圖像的質(zhì)量更好。如果不同視點(diǎn)間圖像的視差過(guò)大，這時(shí)采用運(yùn)動(dòng)估計(jì)和補(bǔ) 償?shù)葌鹘y(tǒng)方法對(duì)不同視點(diǎn)的視頻流進(jìn)行獨(dú)立編碼，如MPEG標(biāo)準(zhǔn)組織的MVC 編碼標(biāo)準(zhǔn)。此外，本發(fā)明所述的編解碼單元還支持SVC(可伸縮視頻編碼) 編碼標(biāo)準(zhǔn)，使系統(tǒng)對(duì)不同網(wǎng)絡(luò)情況的適應(yīng)性更好。
此外，視頻編解碼單元還接收來(lái)自輸入控制單元的反向信道的輸入，根 據(jù)用戶的信息對(duì)編解碼進(jìn)行控制?；镜目刂瓢ㄏ旅鎯煞矫?br> (1) 根據(jù)用戶選擇的視點(diǎn)，找到相應(yīng)的視頻流進(jìn)行編碼，對(duì)于用戶沒(méi)有 觀看的^L點(diǎn)的視頻流不進(jìn)行編碼，通過(guò)這種方式可以有效地節(jié)省編解碼單元 處理能力；
(2) 根據(jù)用戶終端的顯示能力對(duì)相應(yīng)的^L頻流進(jìn)行編解碼，如對(duì)于只具 有2D顯示能力的終端，則編碼并發(fā)送1路2D視頻流。通過(guò)這種方式可以提 高所述多視角立體視頻通信系統(tǒng)和普通視頻通信系統(tǒng)的兼容性，并減少無(wú)用 的數(shù)據(jù)的傳輸。
復(fù)用/解復(fù)用單元，如前所述，復(fù)用單元接收來(lái)自視頻編解碼單元的已編 碼視頻流，按幀/場(chǎng)的方式對(duì)多路視頻流進(jìn)行復(fù)用，如按場(chǎng)方式進(jìn)行復(fù)用，可 以將一個(gè)視頻流編碼為奇場(chǎng)，另一個(gè)視頻流編碼為偶場(chǎng)，奇偶場(chǎng)作為一幀進(jìn) 行傳輸；解復(fù)用單元接收來(lái)自接收單元的分組數(shù)據(jù)，進(jìn)行解復(fù)用，還原多路 已編石馬3見(jiàn)頻流。發(fā)送/接收單元，如前所述，可以稱為網(wǎng)絡(luò)傳輸單元，發(fā)送方的發(fā)送單 元接收復(fù)用單元的復(fù)用數(shù)據(jù)流，對(duì)數(shù)據(jù)流進(jìn)行分組處理，封裝成符合RTP等
協(xié)議的數(shù)據(jù)包，通過(guò)網(wǎng)絡(luò)接口 (如以太網(wǎng)接口、 ISDN接口等)向外發(fā)送。此 外，發(fā)送方的發(fā)送單元還接收音頻編碼/解碼單元提供的編碼音頻數(shù)據(jù)流、系 統(tǒng)控制單元發(fā)送的信令數(shù)據(jù)流和用戶數(shù)據(jù)單元提供的用戶數(shù)據(jù)(如傳輸?shù)奈?件數(shù)據(jù))，對(duì)這些數(shù)據(jù)進(jìn)行分組并通過(guò)網(wǎng)絡(luò)接口發(fā)送到接收端。接收端的接收 單元接收到發(fā)送端的分組數(shù)據(jù)后，去除協(xié)議頭保留用戶有效數(shù)據(jù)，并按數(shù)據(jù) 類型分別發(fā)送到解復(fù)用單元、音頻解碼單元、系統(tǒng)控制單元和用戶數(shù)據(jù)單元。 另外，對(duì)每一種媒體類型，完成適當(dāng)?shù)倪壿嫵蓭?、順序編?hào)、差錯(cuò);險(xiǎn)測(cè)和差 錯(cuò)糾正。
重構(gòu)單元，如前所述，用于對(duì)所述解碼單元輸出的已解碼數(shù)據(jù)進(jìn)行圖像 重構(gòu)，并輸入到所述渲染單元。它的功能主要有兩個(gè)
(1) 解決用戶如何觀看到?jīng)]有放置攝像機(jī)視點(diǎn)的視頻圖像的問(wèn)題，因?yàn)?攝像機(jī)的數(shù)目是有限的，可能沒(méi)有覆蓋所有的視點(diǎn)，而用戶有可能需要觀看 沒(méi)有放置攝像機(jī)視點(diǎn)處的場(chǎng)景。重構(gòu)單元可以從輸入控制單元得到用戶觀看 的視點(diǎn)信息，如果用戶選擇的視點(diǎn)位于攝像機(jī)的拍攝視點(diǎn)上，則重構(gòu)單元不 進(jìn)行重構(gòu)；如果用戶選擇的視點(diǎn)位于兩個(gè)鄰近的攝像機(jī)組或同組的鄰近攝像 機(jī)之間(沒(méi)有攝像機(jī)的虛擬視角)，則重構(gòu)單元根據(jù)相鄰的攝像機(jī)拍攝的圖像 重構(gòu)用戶選擇視點(diǎn)處的圖像。通過(guò)某個(gè)攝像機(jī)拍攝視點(diǎn)的視差/深度信息，以 及相鄰攝像機(jī)的位置參數(shù)信息，根據(jù)投影方程確定該場(chǎng)景的點(diǎn)在某個(gè)虛擬視 角中的成像點(diǎn)坐標(biāo)，從而可以重構(gòu)出該虛擬視角的視頻圖像。
(2) 解決用戶通過(guò)自動(dòng)立體顯示器觀看立體圖像因?yàn)槲恢靡苿?dòng)帶來(lái)的視 差變化，從而導(dǎo)致所看到的立體圖像發(fā)生變化的問(wèn)題。自動(dòng)立體顯示器可以 使用戶在不帶眼鏡的條件下也能看到立體圖像，但此時(shí)用戶離自動(dòng)立體顯示 器的距離是可以改變的，導(dǎo)致圖像的視差發(fā)生變化。
這里，有必要說(shuō)明視差、景深和用戶觀看距離之間的關(guān)系。參閱圖7，圖 中顯示了平行攝像機(jī)系統(tǒng)下圖像視差p和物體景深、以及用戶離顯示器距離 D的關(guān)系，通過(guò)簡(jiǎn)單的幾何關(guān)系可以得到A = 5
￡> —z.
-+ 1
從上式可以看出，圖像的視差p依賴于用戶到顯示器的距離D。立體視 頻接收端收到的立體視頻圖像一般只具有固定的視差，可以作為一個(gè)參考視 差"w,當(dāng)D發(fā)生改變時(shí)，重構(gòu)單元對(duì)視差A(yù)/做相應(yīng)的調(diào)整，生成新的視差^'， 并根據(jù)新視差重新生成另一幅圖像。這樣可以保證用戶和顯示表面的距離發(fā) 生改變時(shí)能看到合適的圖像。用戶到顯示表面的距離可以通過(guò)攝像機(jī)算出深 度圖自動(dòng)檢測(cè)，或由用戶通過(guò)輸入控制單元進(jìn)行手工控制。
輸入控制單元，主要接收通信終端的輸入，并反饋給采集控制單元、編 碼單元和重構(gòu)單元，用于控制多視頻流的編碼和重構(gòu)。輸入控制單元包括的 信息主要有觀看視點(diǎn)、顯示和用戶的距離信息等。輸入控制單元的信息可以 由最終用戶通過(guò)GUI界面或遙控設(shè)備進(jìn)行輸入，如只見(jiàn)看一見(jiàn)點(diǎn)、距離信息和顯 示方式；也可由終端自己檢測(cè)，如終端的顯示能力信息。
渲染單元和顯示設(shè)備，如前所述，渲染單元接收重構(gòu)單元提供的視頻數(shù) 據(jù)流，將視頻圖像渲染到顯示設(shè)備上。本發(fā)明所述的多視角立體視頻通信系 統(tǒng)支持多種顯示終端，包括普通的2D視頻顯示設(shè)備、自動(dòng)立體顯示設(shè)備、立 體眼鏡和全息顯示設(shè)備等。
此外，在其他實(shí)施方式中，還可以包括其它系統(tǒng)單元，比如音頻編碼/ 解碼單元、用戶數(shù)據(jù)單元和系統(tǒng)控制單元，功能如下
音頻編碼/解碼單元(G.711、 G/729等)對(duì)來(lái)自通信終端的麥克風(fēng)的音 頻信號(hào)進(jìn)行編碼發(fā)送，另外，對(duì)從接收單元接收到的音頻碼進(jìn)行解碼并輸出 到揚(yáng)聲器。
用戶數(shù)據(jù)單元支持遠(yuǎn)程信息處理應(yīng)用，如電子白板、靜態(tài)圖像傳輸、 文件交換、數(shù)據(jù)庫(kù)訪問(wèn)、音頻圖形會(huì)議等。
系統(tǒng)控制單元為終端的正確的操作提供信令。它提供呼叫控制、能力 交換、命令和指示的信令、以及消息。
在該網(wǎng)絡(luò)結(jié)構(gòu)中，當(dāng)一方發(fā)起視頻通信會(huì)話時(shí)，首先通過(guò)多點(diǎn)控制單元或自身與對(duì)端進(jìn)行能力協(xié)商。如果雙方都是多視角立體視頻通信系統(tǒng)，則用 戶雙方都可以從不同視點(diǎn)看到實(shí)時(shí)的立體視頻,_如果一方是普通的2D視頻通 信終端，由于不滿足立體視頻通信的條件，在多點(diǎn)控制單元控制下，雙方用
戶只能以2D方式進(jìn)行視頻通信。
在進(jìn)行多視角視頻通信時(shí)，多視角立體通信系統(tǒng)有兩種顯示才莫式
(1) 在單視頻圖像顯示模式下，接收端用戶可以通過(guò)指令發(fā)送單元的 GUI界面或遙控器等方式對(duì)觀看視點(diǎn)進(jìn)行選擇，然后由通信終端將觀看視點(diǎn) 的信息通過(guò)信令發(fā)送到對(duì)端，對(duì)端的采集控制單元接收到指令后，對(duì)攝像及 圖像處理單元進(jìn)行操作，或在接收的視頻數(shù)據(jù)中選擇相應(yīng)視點(diǎn)的視頻流輸出， 經(jīng)選擇的視頻流經(jīng)編碼并傳輸回接收端的顯示設(shè)備。用戶看到的視頻畫(huà)面可 以是一個(gè)立體圖像(左右兩幅圖像，由多視角視頻攝像及圖像處理單元中的 兩臺(tái)攝像機(jī)采集圖像)，也可以是一個(gè)2D圖像；
(2) 在多視頻圖像顯示模式下，接收端用戶可以在發(fā)送端的多視角視頻 攝像及圖像處理單元工作時(shí)時(shí)，同時(shí)從不同的視點(diǎn)觀看對(duì)方的場(chǎng)景，系統(tǒng)同 時(shí)顯示多個(gè)圖像。
值得說(shuō)明的是，前述本發(fā)明立體視頻通信終端第二實(shí)施方式中的各單元 可以集成在一個(gè)處理模塊中，比如將采集控制單元、預(yù)處理單元、匹配/深度 提取單元、編碼/解碼單元、復(fù)用/解復(fù)用單元、發(fā)送/接收單元集成在一個(gè)處理 模塊中；同理，前述本發(fā)明立體視頻通信終端、多^L角視頻裝置其他實(shí)施方 式的各單元也可以集成在一個(gè)處理模塊中；或者，前述各實(shí)施方式各單元中 的任何兩個(gè)或兩個(gè)以上都可以集成在一個(gè)處理^t塊中。
還值得說(shuō)明的是，本發(fā)明實(shí)施方式中的各單元既可以采用硬件的形式實(shí) 現(xiàn)，可軟件實(shí)現(xiàn)的部分也可以采用軟件功能模塊的形式實(shí)現(xiàn)。相應(yīng)地，本發(fā) 明電話網(wǎng)關(guān)實(shí)施方式既可以作為獨(dú)立的產(chǎn)品銷售或使用，可軟件實(shí)現(xiàn)的部分 也可以存儲(chǔ)在一個(gè)計(jì)算機(jī)可讀取存儲(chǔ)介質(zhì)中進(jìn)行銷售或使用。
參閱圖8和圖9，本發(fā)明還提供立體視頻通信方法第一實(shí)施方式，分別包 括發(fā)送方和接收方的流程，包括以下步驟
進(jìn)行雙向立體視頻通信，包括發(fā)送視頻數(shù)據(jù)與接收視頻數(shù)據(jù)。其中，參閱圖8，發(fā)送視頻數(shù)據(jù)包括
步驟802:進(jìn)行攝像，得到視頻數(shù)據(jù)；
步驟806:從所視頻數(shù)據(jù)中得到成像物體的深度和/或視差信息； 步驟807:對(duì)所述視頻數(shù)據(jù)和深度和/或視差信息進(jìn)行編碼； 步驟808:對(duì)所述已編碼視頻數(shù)據(jù)進(jìn)行復(fù)用；
步驟809:將所述編碼數(shù)據(jù)封裝成符合實(shí)時(shí)傳輸協(xié)議的數(shù)據(jù)包，通過(guò)分組 網(wǎng)絡(luò)發(fā)送所述數(shù)據(jù)包。
在其他實(shí)施方式中，所述步驟進(jìn)行攝像得到視頻數(shù)據(jù)是進(jìn)行多視角攝 像得到多視角視頻數(shù)據(jù)。
在所述步驟807:對(duì)所述一見(jiàn)頻流進(jìn)行編碼之前包括
步驟801:對(duì)所述多視角攝像進(jìn)行圖像同步處理。
在步驟802:對(duì)同步后的攝像得到的圖像進(jìn)行采集之后包括
步驟803:對(duì)采集后的多幅圖像進(jìn)行攝像機(jī)標(biāo)定并返回?cái)z像機(jī)參數(shù)到圖像 采集處理；即獲取攝像機(jī)的內(nèi)參和外參，并根據(jù)所述內(nèi)參和外參校正所述攝 像操作；
步驟804:對(duì)采集得到的圖像進(jìn)行預(yù)處理； 步驟805:判斷是否滿足視差限制條件；
步驟806:滿足視差限制條件時(shí)，進(jìn)行立體匹配、視差/深度提取，即提 取成像物體的三維信息，然后對(duì)所述視頻流進(jìn)行編碼；
步驟807:不滿足視差限制條件時(shí)，直接對(duì)視頻流進(jìn)行編碼。
在其他實(shí)施方式中，在發(fā)送所述封裝數(shù)據(jù)前，可以進(jìn)一步包括以下步驟
步驟808:對(duì)已編碼的視頻流進(jìn)行復(fù)用。
所述步驟進(jìn)行雙向立體視頻通信還包括發(fā)送攜帶所述攝像及圖像處 理單元能力信息的會(huì)議發(fā)起指令。
在所述步驟809:通過(guò)分組網(wǎng)絡(luò)發(fā)送所述數(shù)據(jù)包之后進(jìn)一步包括
根據(jù)接收到的所述會(huì)議發(fā)起指令及其攜帶的能力信息，判斷會(huì)議雙方是否具有立體攝像和立體顯示能力；
在判斷雙方都具有立體攝像和立體顯示能力時(shí)，通過(guò)所述分組網(wǎng)絡(luò)建立 所述會(huì)議雙方通信終端的會(huì)議連接，啟動(dòng)通信雙方的攝^象及圖像處理單元和 接收裝置。
在判斷雙方中的一方不具有攝像能力時(shí)，進(jìn)一步包括 將發(fā)送方的視頻數(shù)據(jù)轉(zhuǎn)換成二維視頻數(shù)據(jù)并發(fā)送給接收方。 參閱圖9，接收視頻數(shù)據(jù)包括
步驟901:接收通過(guò)分組網(wǎng)絡(luò)進(jìn)行實(shí)時(shí)傳輸?shù)囊曨l數(shù)據(jù)包，并去除所述數(shù) 據(jù)包的協(xié)議頭，得到已編碼立體^L頻編碼數(shù)據(jù)；
步驟卯3:對(duì)所述已編碼視頻數(shù)據(jù)進(jìn)行解碼，得到視頻數(shù)據(jù)以及相應(yīng)的深 度和/或一見(jiàn)差信息；
步驟905:根據(jù)所述深度和/或視差信息、以及視頻數(shù)據(jù)進(jìn)行用戶所處視 角圖^象的重構(gòu)；
步驟906、 907:將所述重構(gòu)的圖像數(shù)據(jù)渲染到立體顯示設(shè)備上。 在其他實(shí)施方式中，
在去除所述數(shù)據(jù)包的協(xié)議頭之后，解碼之前，進(jìn)一步包括
步驟902:判斷所述數(shù)據(jù)包是否是復(fù)用的視頻數(shù)據(jù)，在判斷為是時(shí)對(duì)所述 復(fù)用數(shù)據(jù)包進(jìn)行解復(fù)用。
在其他實(shí)施方式中，在步驟渲染到立體顯示設(shè)備上之前，進(jìn)一步包括
步驟904:判斷所述已解碼數(shù)據(jù)是否需要進(jìn)行圖像重構(gòu)；
在判斷為需要進(jìn)行重構(gòu)時(shí)，進(jìn)行步驟905,對(duì)所述已解碼數(shù)據(jù)進(jìn)行圖像重構(gòu)。
此外，對(duì)所述已編碼視頻數(shù)據(jù)進(jìn)行解碼之后，可以進(jìn)一步包括判斷本 端顯示設(shè)備是否具有立體顯示能力，在判斷為否時(shí)，將解碼后的立體視頻數(shù) 據(jù)轉(zhuǎn)換成二維視頻數(shù)據(jù)并向平面顯示設(shè)備發(fā)送。本領(lǐng)域普通技術(shù)人員可以理解實(shí)現(xiàn)上述立體視頻通信方法實(shí)施方式中的 全部或部分步驟是可以通過(guò)程序來(lái)指令相關(guān)的硬件來(lái)完成，所述的程序可以 存儲(chǔ)于計(jì)算機(jī)可讀取存儲(chǔ)介質(zhì)中，該程序在執(zhí)行時(shí)，可以包括前述本發(fā)明立 體視頻通信方法各個(gè)實(shí)施方式的內(nèi)容。這里所稱得的存儲(chǔ)介質(zhì)，如
ROM/RAM、磁碟、光盤(pán)等。
綜上，本發(fā)明至少可以產(chǎn)生如下技術(shù)效果
1、 可以實(shí)現(xiàn)立體視頻遠(yuǎn)程實(shí)時(shí)雙向通信、可適用于現(xiàn)場(chǎng)直播或娛樂(lè)表 演等場(chǎng)景；
2、 可以實(shí)現(xiàn)雙向、實(shí)時(shí)的多視角立體視頻通信，適用于家庭通信、商 務(wù)會(huì)議等場(chǎng)景；
3、 充分利用網(wǎng)絡(luò)資源，并且用戶在使用多視角視頻通信過(guò)程中可以選 擇多個(gè)觀看視角，完全區(qū)別于現(xiàn)有技術(shù)二維視頻通信方式，讓用戶 得到親臨現(xiàn)場(chǎng)的感覺(jué)，提升用戶體驗(yàn)；
以上對(duì)本發(fā)明所提供的一種立體視頻通信終端、系統(tǒng)及方法通過(guò)具體實(shí) 施例進(jìn)行了詳細(xì)介紹，以上實(shí)施例的說(shuō)明只是用于幫助理解本發(fā)明的方法及 其思想；同時(shí)，對(duì)于本領(lǐng)域的一般技術(shù)人員，依據(jù)本發(fā)明的思想，在具體實(shí) 施方式及應(yīng)用范圍上均會(huì)有改變之處，綜上所述，本說(shuō)明書(shū)內(nèi)容不應(yīng)理解為 對(duì)本發(fā)明的限制。
權(quán)利要求
1. 一種立體視頻通信終端，其特征在于，包括發(fā)送裝置和接收裝置，所述發(fā)送裝置包括攝像及圖像處理單元，用于進(jìn)行攝像并輸出視頻數(shù)據(jù)及其深度和/或視差信息；編碼單元，用于進(jìn)行編碼，包括對(duì)所述攝像及圖像處理單元輸出的視頻數(shù)據(jù)及其深度和/或視差信息進(jìn)行編碼；發(fā)送單元，用于將所述編碼單元輸出的編碼數(shù)據(jù)封裝成符合實(shí)時(shí)傳輸協(xié)議的數(shù)據(jù)包，并通過(guò)分組網(wǎng)絡(luò)進(jìn)行實(shí)時(shí)傳輸；所述接收裝置包括接收單元，用于接收數(shù)據(jù)包，包括接收發(fā)送單元發(fā)送的數(shù)據(jù)包并去除所述數(shù)據(jù)包的協(xié)議頭，得到所述編碼數(shù)據(jù)；解碼單元，用于解碼所述接收單元輸出的編碼數(shù)據(jù)，得到所述視頻數(shù)據(jù)以及深度和/或視差信息；重構(gòu)單元，用于根據(jù)所述解碼單元輸出所述深度和/或視差信息、以及所述解碼單元輸出的視頻數(shù)據(jù)進(jìn)行用戶所處視角圖像的重構(gòu)，并輸入到所述渲染單元；渲染單元，用于將所述重構(gòu)單元輸出的重構(gòu)圖像數(shù)據(jù)渲染到立體顯示設(shè)備上。
2. 根據(jù)權(quán)利要求l所述的立體視頻通信終端，其特征在于，所述攝像及圖 像處理單元是單視角、多視角、或單視角與多視角都支持的攝像及圖像處理單 元。
3. 根據(jù)權(quán)利要求1所述的立體視頻通信終端，其特征在于，進(jìn)一步包括分組網(wǎng)絡(luò)兩側(cè)的通信終端，用于進(jìn)行通信并控制所述發(fā)送裝置與接收裝置， 包括指令發(fā)送單元，用于發(fā)送指令，包括發(fā)送攜帶所述攝像及圖像處理單元能 力信息的會(huì)議發(fā)起指令；視頻操作單元，用于操作所述發(fā)送裝置與接收裝置，包括在收到會(huì)議確認(rèn)消息后開(kāi)啟所述發(fā)送裝置與接收裝置。
4. 根據(jù)權(quán)利要求3所述的立體視頻通信終端，其特征在于，所述發(fā)送裝置進(jìn)一步包括采集控制單元，用于根據(jù)指令控制所述攝像及圖像處理單元的操作，包括 根據(jù)所述視頻操作單元發(fā)送的指令控制所述攝像及圖像處理單元的操作。
5. 根據(jù)權(quán)利要求1所述的立體視頻通信終端，其特征在于，所述通信終端 的指令發(fā)送單元進(jìn)一步用于通過(guò)所述發(fā)送單元向?qū)Ψ桨l(fā)送控制發(fā)送裝置的指 令。
6. 根據(jù)權(quán)利要求5所述的立體視頻通信終端，其特征在于，所述控制發(fā)送 裝置的指令包括控制攝像及圖像處理單元內(nèi)特定攝像機(jī)開(kāi)關(guān)或特定視角進(jìn)行 攝像的指令。
7. 根據(jù)權(quán)利要求4所述的立體視頻通信終端，其特征在于，所述發(fā)送裝置 進(jìn)一步包括標(biāo)定單元，用于獲取所述攝像及圖像處理單元中攝像機(jī)的內(nèi)參和外參，并 輸出校正所述攝像機(jī)的指令到所述采集控制單元。
8. 根據(jù)權(quán)利要求4所述的立體視頻通信終端，其特征在于，所述發(fā)送裝置 進(jìn)一步包括預(yù)處理單元，用于接收所述采集控制單元輸出的視頻數(shù)據(jù)和相應(yīng)的攝像機(jī) 參數(shù)，并根據(jù)預(yù)處理算法對(duì)所述視頻數(shù)據(jù)進(jìn)行預(yù)處理。
9. 根據(jù)權(quán)利要求4所述的立體視頻通信終端，其特征在于，所述發(fā)送裝置 進(jìn)一步包括同步單元，用于產(chǎn)生同步信號(hào)并輸入到所述攝像及圖像處理單元，控制其 進(jìn)行同步采集；或?qū)⑺鐾叫盘?hào)輸入到所述采集控制單元，通知其控制所述 多攝像及圖像處理單元進(jìn)行同步采集。
10. 根據(jù)權(quán)利要求1所述的立體視頻通信終端，其特征在于，所述發(fā)送裝置進(jìn)一步包括復(fù)用單元，用于對(duì)所述編碼單元輸出的編碼數(shù)據(jù) 進(jìn)行復(fù)用，并輸出到所述發(fā)送單元；所述接收裝置進(jìn)一步包括解復(fù)用單元，用于對(duì)所述接收單元輸出的復(fù)用數(shù)據(jù)進(jìn)行解復(fù)用，并輸^;到所述解碼單元。
11. 根據(jù)權(quán)利要求1所述的立體視頻通信終端，其特征在于，所述攝像及圖像處理單元是立體攝像及圖像處理單元，輸出包括深度和/或視差信息的視頻數(shù)據(jù)；或分開(kāi)的攝像機(jī)和匹配/深度提取單元，所述攝像機(jī)用于攝像并輸出視頻數(shù) 據(jù)，所述匹配/深度提取單元用于從所述攝像機(jī)輸出的視頻數(shù)據(jù)中得到成像物體的深度和/或一見(jiàn)差信息并llr出。
12. —種立體^L頻通信系統(tǒng)，其特征在于，包括 所述立體視頻通信終端，用于進(jìn)行二維或立體視頻通信； 二維視頻通信終端，用于進(jìn)行二維視頻通信；分組網(wǎng)絡(luò)，用于承載所述立體視頻通信終端之間、或二維視頻通信終端之 間傳輸?shù)亩S或立體視頻數(shù)據(jù)。
13. 根據(jù)權(quán)利要求12所述的立體視頻通信系統(tǒng)，其特征在于，進(jìn)一步包括多點(diǎn)控制系統(tǒng)，用于控制所述二維視頻通信終端和/或立體視頻通信終端間 的多點(diǎn)會(huì)議連接，包括能力判斷單元，用于在接收到所述通信終端的會(huì)議發(fā)起指令時(shí)，根據(jù)所述 指令攜帶的能力信息判斷會(huì)議雙方是否具有立體攝像和立體顯示能力；會(huì)議建立單元，用于在所述能力判斷單元判斷雙方都具有立體攝像和立體 顯示能力時(shí)，觸發(fā)所述多點(diǎn)控制系統(tǒng)通過(guò)所述分組網(wǎng)絡(luò)建立所述會(huì)議雙方通信 終端的會(huì)議連接。
14. 根據(jù)權(quán)利要求13所述的立體視頻通信系統(tǒng)，其特征在于，所述多點(diǎn) 控制系統(tǒng)進(jìn)一步包括轉(zhuǎn)換單元，用于轉(zhuǎn)換數(shù)據(jù)格式，包括將從一方終端接收到的視頻數(shù)據(jù)轉(zhuǎn)換 成二維視頻數(shù)據(jù)；轉(zhuǎn)發(fā)單元，用于將所述轉(zhuǎn)換單元輸出的二維視頻數(shù)據(jù)發(fā)送給通信對(duì)方；其中，所述多點(diǎn)控制系統(tǒng)的能力判斷單元在進(jìn)行能力判斷的結(jié)果為會(huì)議雙 方有一個(gè)不具有立體顯示能力時(shí)，啟動(dòng)所述轉(zhuǎn)換單元工作。
15. 根據(jù)權(quán)利要求12所述的立體視頻通信系統(tǒng)，其特征在于，所述分組 網(wǎng)絡(luò)是有線分組網(wǎng)絡(luò)或無(wú)線分組網(wǎng)絡(luò)，所述有線分組網(wǎng)絡(luò)是局域網(wǎng)、El、窄帶 綜合業(yè)務(wù)數(shù)字網(wǎng)ISDN或?qū)拵SDN。
16. 根據(jù)權(quán)利要求12所述的立體視頻通信系統(tǒng)，其特征在于，所述分組 網(wǎng)絡(luò)中進(jìn)一步包括網(wǎng)守，4是供所述分組網(wǎng)絡(luò)各單元的地址轉(zhuǎn)換和網(wǎng)絡(luò)接入控制；網(wǎng)關(guān)，為所述分組網(wǎng)絡(luò)的通信雙方、或者網(wǎng)關(guān)之間提供實(shí)時(shí)雙向通信。
17. —種立體視頻通信終端，其特征在于，包括攝像及圖像處理單元，進(jìn)行攝像，包括進(jìn)行攝像并輸出視頻數(shù)據(jù)及其深度 和/或視差信息；編碼單元，用于進(jìn)行編碼，包括對(duì)所述攝像及圖像處理單元輸出的視頻數(shù) 據(jù)及其深度和/或視差信息進(jìn)行編碼；發(fā)送單元，用于將所述編碼單元輸出的編碼數(shù)據(jù)封裝成符合實(shí)時(shí)傳輸協(xié)議 的數(shù)據(jù)包，并通過(guò)分組網(wǎng)絡(luò)進(jìn)行實(shí)時(shí)傳輸。
18. —種立體視頻通信終端，其特征在于，包括接收單元，用于接收數(shù)據(jù)包，包括接收發(fā)送單元發(fā)送的數(shù)據(jù)包并去除所述 數(shù)據(jù)包的協(xié)議頭，得到所述編碼數(shù)據(jù)；解碼單元，用于解碼所述接收單元輸出的編碼數(shù)據(jù)，得到所述視頻數(shù)據(jù)以 及深度和/或視差信息；重構(gòu)單元，用于根據(jù)所述解碼單元輸出所述深度和/或視差信息、以及所述 解碼單元輸出的視頻數(shù)據(jù)進(jìn)行用戶所處視角圖像的重構(gòu)，并輸入到所述渲染單元；渲染單元，用于將所述重構(gòu)單元輸出的重構(gòu)圖像數(shù)據(jù)渲染到立體顯示設(shè)備上。
19.根據(jù)權(quán)利要求18所述的立體視頻通信終端，其特征在于，進(jìn)一步包括轉(zhuǎn)換單元，用于將解碼單元輸出的立體視頻數(shù)據(jù)轉(zhuǎn)換成二維視頻數(shù)據(jù)； 平面顯示設(shè)備，用于顯示所述轉(zhuǎn)換單元輸出的二維視頻數(shù)據(jù)。
20.—種立體視頻通信方法，其特征在于，進(jìn)行雙向立體纟見(jiàn)頻通信，包括 進(jìn)行攝像，得到視頻數(shù)據(jù)；從所視頻數(shù)據(jù)中得到成像物體的深度和/或視差信息； 對(duì)所述視頻數(shù)據(jù)和深度和/或視差信息進(jìn)行編碼； 將所述編碼數(shù)據(jù)封裝成符合實(shí)時(shí)傳輸協(xié)議的數(shù)據(jù)包； 通過(guò)分組網(wǎng)絡(luò)發(fā)送所述數(shù)據(jù)包。
21. 根據(jù)權(quán)利要求20所述的立體視頻通信方法，其特征在于，進(jìn)行攝像， 得到視頻數(shù)據(jù)包括進(jìn)行多視角攝像，得到多視角視頻數(shù)據(jù)。
22. 根據(jù)權(quán)利要求20所述的立體視頻通信方法，其特征在于，進(jìn)行雙向立體視頻通信還包括發(fā)送攜帶所述攝像及圖像處理單元能力信 息的會(huì)議發(fā)起指令；通過(guò)分組網(wǎng)絡(luò)發(fā)送所述數(shù)據(jù)包之后進(jìn)一步包括根據(jù)接收到的所述會(huì)議發(fā)起指令及其攜帶的能力信息，判斷會(huì)議雙方是否 具有立體攝像和立體顯示能力；在判斷雙方都具有立體掘J象和立體顯示能力時(shí)，通過(guò)所述分組網(wǎng)絡(luò)建立所 述會(huì)議雙方通信終端的會(huì)議連接，啟動(dòng)通信雙方的攝像及圖像處理單元和接收 裝置。
23. 根據(jù)權(quán)利要求20所述的立體視頻通信方法，其特征在于，所述步驟 進(jìn)行攝像，得到視頻數(shù)據(jù)包括獲取攝像機(jī)的內(nèi)參和外參，并根據(jù)所述內(nèi)參和外參校正所述攝像操作。
24. —種立體視頻通信方法，其特征在于，包括接收視頻數(shù)據(jù)，包括接收通過(guò)分組網(wǎng)絡(luò)進(jìn)行實(shí)時(shí)傳輸?shù)囊曨l數(shù)據(jù)包，并去除所述數(shù)據(jù)包的協(xié)議頭，得到已編碼立體視頻編碼數(shù)據(jù)；對(duì)所述已編碼視頻數(shù)據(jù)進(jìn)行解碼，得到視頻數(shù)據(jù)以及相應(yīng)的深度和/或視差信息；根據(jù)所述深度和/或視差信息、以及視頻數(shù)據(jù)進(jìn)行用戶所處視角圖像的重構(gòu)；將所述重構(gòu)的圖像數(shù)據(jù)渲染到立體顯示設(shè)備上。
25. 根據(jù)權(quán)利要求24所述的立體視頻通信方法，其特征在于，對(duì)所述已 編碼視頻數(shù)據(jù)進(jìn)行解碼之后，進(jìn)一步包括判斷本端顯示設(shè)備是否具有立體顯示能力，在判斷為否時(shí)，將解碼后的立 體視頻數(shù)據(jù)轉(zhuǎn)換成二維視頻數(shù)據(jù)并向平面顯示設(shè)備發(fā)送。
26. 根據(jù)權(quán)利要求24所述的立體視頻通信方法，其特征在于，在去除所 述數(shù)據(jù)包的協(xié)議頭之后，解碼之前，進(jìn)一步包括判斷所述數(shù)據(jù)包是否是復(fù)用的視頻數(shù)據(jù)，在判斷為是時(shí)對(duì)所述復(fù)用數(shù)據(jù)包 進(jìn)行解復(fù)用。
27. 根據(jù)權(quán)利要求24所述的立體視頻通信方法，其特征在于，在渲染到 立體顯示設(shè)備上之前，進(jìn)一步包括判斷所述已解碼數(shù)據(jù)是否需要進(jìn)行圖像重構(gòu)；在判斷為需要進(jìn)行重構(gòu)時(shí)，對(duì)所述已解碼數(shù)據(jù)進(jìn)行圖像重構(gòu)。
全文摘要
本發(fā)明公開(kāi)一種立體視頻通信終端、系統(tǒng)以及方法。所述立體視頻通信終端包括攝像及圖像處理單元，進(jìn)行攝像，包括進(jìn)行攝像并輸出視頻數(shù)據(jù)；編碼單元，用于對(duì)視頻數(shù)據(jù)進(jìn)行編碼，包括對(duì)所述發(fā)送裝置輸出的視頻數(shù)據(jù)進(jìn)行編碼；發(fā)送單元，用于將所述視頻編碼單元輸出的編碼數(shù)據(jù)封裝成符合實(shí)時(shí)傳輸協(xié)議的數(shù)據(jù)包，并通過(guò)分組網(wǎng)絡(luò)進(jìn)行實(shí)時(shí)傳輸；接收單元，用于接收所述發(fā)送單元發(fā)送的數(shù)據(jù)包，并去除所述數(shù)據(jù)包的協(xié)議頭，得到所述編碼數(shù)據(jù)；解碼單元，用于解碼所述接收單元輸出的編碼數(shù)據(jù)；渲染單元，用于將所述解碼單元輸出的已解碼數(shù)據(jù)渲染到顯示設(shè)備上。本發(fā)明可以實(shí)現(xiàn)實(shí)時(shí)的多視角視頻雙向通信功能。
文檔編號(hào)H04N13/00GK101453662SQ20071018758
公開(kāi)日2009年6月10日 申請(qǐng)日期2007年12月3日 優(yōu)先權(quán)日2007年12月3日
發(fā)明者源 劉, 靜 王 申請(qǐng)人:華為技術(shù)有限公司