專利名稱：虛擬演播室系統(tǒng)中前景景深位置識別裝置及方法
虛擬演播室系統(tǒng)中前景景深位置識別裝置及方法 技術(shù)領(lǐng)域'
本發(fā)明涉及虛擬演播室系統(tǒng)中前景景深位置識別技術(shù)，具體一種 涉及在虛擬演播室系統(tǒng)中釆用輔助攝像機對前景即節(jié)目主持人或物 體進行無接觸式跟蹤定位，確定前景景深及位置關(guān)系識別的裝置及方 法。
背景技術(shù)：
虛擬演播室技術(shù)經(jīng)過近十年的發(fā)展已經(jīng)取得了巨大的進步，目前 逐步進入應用階段，但是作為虛擬演播室系統(tǒng)中關(guān)^l技術(shù)之一的前景 (藍箱中的主持人或物體)移動位置參數(shù)的測定及主持人到攝像機的 景深位置識別技術(shù)，目前只有國外某廠商推出了一種基于紅外識別的 主持人景深位置識別系統(tǒng)，國內(nèi)及國外其它的眾多廠商尚無解決方 案。
基于紅外識別的主持人景深位置識別系統(tǒng)原理如下在主持人的 身上(通常是身后腰部)裝上紅外發(fā)射源，在主持人的上方裝有一定 數(shù)量的紅外攝像機，系統(tǒng)通過紅外攝像機檢測紅外源的位置變化而計 算出前景物體(主持人)的運動參數(shù)并計算出主持人到主攝像機的景
深位置參數(shù)。這種方案的優(yōu)點是屬于無接觸式跟蹤，使用方便；缺點
則非常明顯，對主持人有限制一_需要在主持人身上安裝紅外發(fā)射
源，因此對主持人的著裝、運動(不能轉(zhuǎn)身，否則紅外發(fā)射源會被前 景攝像機拍攝到而影響節(jié)目質(zhì)量以及由于人體厚度的存在，在轉(zhuǎn)身時
影響景深位置測量精度)等都有要求；為了保證紅外攝像機能準確拍
攝到紅外源，對攝像機的數(shù)量、安裝位置和姿態(tài)、藍箱演播室的大小、 主持人的位置、移動方式和姿態(tài)等都有很多要求，由于任何物體在任 何溫度下都能發(fā)射不同波段的紅外線，而且隨著溫度不同紅外線的當 量和波段也不同，因此該系統(tǒng)受環(huán)境光及熱光源的影響極大，加上本 來演播室的熱光源比較多，因而系統(tǒng)不穩(wěn)定，精度也會受影響。
鑒于以上原因，加之成本也高，應用紅外識別的主持人景深位置 識別系統(tǒng)實際上很難應用，這也嚴重的制約了虛擬演播室系統(tǒng)功能的 發(fā)揮及巿場推廣。

發(fā)明內(nèi)容
本發(fā)明'所要解決的技術(shù)問題在于，針對現(xiàn)有技術(shù)中虛擬演播室景 深位置識別技術(shù)的需求和現(xiàn)有技術(shù)、產(chǎn)品的不足，提供一種成本低、 精度高、穩(wěn)定性好、抗干擾能力強，不受環(huán)境光、溫度、聲波影響并 且易于使用的景深位置識別裝置及方法。
為實現(xiàn)上述目的，本發(fā)明采用的技術(shù)方案是 一種虛擬演播室系 統(tǒng)中前景景深位置識別裝置，其特征在于該裝置包括
(1) 一個安裝在虛擬演播室藍箱附近的輔助攝像機對準藍箱 中的前景，fe括節(jié)目主持人或物體，用于將實時產(chǎn)生的前景圖像傳輸 給景深位置識別裝置；
(2) —個實時圖像處理裝置用于對輸入的圖像實時分析處理,
得到前景的景深位置數(shù)據(jù)，傳送給虛擬演播室渲染圖形工作站。 所述實時圖像處理裝置包括.-
(1) 一個圖像輸入單元用于圖像實時輸入給圖像處理單元；
(2) —個圖像處理單元在景深位置識別算法單元的支持下用 于圖像坐標點的數(shù)據(jù)處理，得到前景在藍箱中的位置數(shù)據(jù)；
(3) —個景深位置識別算法單元用于圖像輸入控制、圖像分 析計算和圖像相關(guān)性計算及空間坐標轉(zhuǎn)換以得到景深位置數(shù)據(jù)；
H)—個數(shù)據(jù)輸出單元用于數(shù)據(jù)的緩存與傳輸控制。 所述輔助攝像機包括彩色或黑白攝像機、模擬或數(shù)字攝像機、CCD
或CMOS型攝像機。
所述圖像輸入單元是圖像釆集卡或視頻輸入電路。 所述圖像處理單元是CPU處理器或DSP (Digital Signal
Processing數(shù)字信號處理)處理器。 所述數(shù)據(jù)輸出單元是網(wǎng)絡或數(shù)據(jù)線。
本發(fā)明另一個目的是提供一種虛擬演播室系統(tǒng)中前景景深位置 識別方法，其特征在于該方法為輔助攝像機將圖像形式輸入，圖像 輸入單元將輔助攝像機傳來的視頻圖像數(shù)據(jù)以場頻速度連續(xù)釆集到 圖像處理單元，圖像處理單元通過景深位置識別算法單元，得到前景 物體在藍箱中的坐標位置及景深數(shù)據(jù)，確定前景物體在指定坐標系中 的坐標位置，通過數(shù)據(jù)輸出單元傳給虛擬演播室三維渲染引擎計算匹 配。
所述輔助攝像機安裝在藍箱任意位置，并對準前景即藍箱中的節(jié) 目主持人或物體攝取圖像。
所述景深位置識別算法單元是利用相鄰圖像數(shù)據(jù)幀的相關(guān)性和 藍箱的特殊性，實現(xiàn)前景物體與背景物體的分割，進而得到前景在藍 箱地面的投影中心，經(jīng)過換算得到投影中心的位置坐標。
所述數(shù)據(jù)輸出單元是將計算得到的景深位置數(shù)據(jù)存儲并接受虛 擬渲染設備以查詢方式輸出給虛擬演播室渲染圖形工作站。
本發(fā)明與現(xiàn)有技術(shù)相比具有以下優(yōu)點本發(fā)明成本低、精度高、
穩(wěn)定性好、抗干擾能力強，不受環(huán)境光、溫度、聲波影響并且易于使
用。 ，


圖i為本發(fā)明虛擬演播室系統(tǒng)中前景景深識別裝置結(jié)構(gòu)框圖； 圖2為本發(fā)明景深識別裝置第一種具體實施方式
的結(jié)構(gòu)框圖； 圖3為本發(fā)明景深識別裝置另 一種具體實施方式
的結(jié)構(gòu)框附圖標記說明
i-輔助攝像機；
4-景深位置識別算法單元； 7-虛擬演播室渲染圖形工
作站；
ll-網(wǎng)絡；
14-視頻輸入電路；
2-圖像輸入單元； 5-景深識別裝 置；
9-圖像釆集卡；
12-景深識別算 法PC機；
15-DSP 處理
器；
3-圖像處理單元； 6-數(shù)據(jù)輸出單元；
10-CPU處理器；
13-景深識別計算 16-總線接口；17-景深識別DSP算法單元18-景深識別板卡。
具體實施例方式
如圖l所示的一種虛擬演播室系統(tǒng)中前景景深位置識別裝置，
該裝置包括
(1) 一個安裝在虛擬演播室藍箱附近的輔助攝像機l:用于將 實時產(chǎn)生的前景圖像傳輸給實時圖像處理裝置；所述輔助攝像機1 包括彩色或黑白攝像機、模擬或數(shù)字攝像機、CCD或CMOS型攝像機。
(2) —個實時圖像處理裝置用于對輸入的圖像實時分析處理， 得到前景的景深位置數(shù)據(jù)，傳送給虛擬演播室渲染圖形工作站7。
所述實.時圖像處理裝置包括
(1 )一個圖像輸入單元2:用于圖像實時輸入給圖像處理單元3;
(2) —個圖像處理單元3:在景深位置識別算法單元4的支持 下用于圖像坐標點的數(shù)據(jù)處理，得到前景在藍箱中的位置數(shù)據(jù)；
(3) —個景深位置識別算法單元4:用于圖像輸入控制、圖像 分析計算和圖像相關(guān)性計算及空間坐標轉(zhuǎn)換以得到景深位置數(shù)據(jù)；
(4) 一個數(shù)據(jù)輸出單元6:用于數(shù)據(jù)的緩存與傳輸控制。
如圖2.所示，虛擬演播室系統(tǒng)中前景景深位置識別裝置由輔助攝 像機1和景深識別計算機13組成。所述景深識別計算機13包括圖 像采集卡9、 CPU處理器IO、景深識別算法PC機12和網(wǎng)絡11。所述 圖像釆集卡9為圖像輸入單元，所述CPU處理器10為圖像處理單元， 所述網(wǎng)絡ll為數(shù)據(jù)輸出單元。輔助攝像機1安裝在藍箱任意位置，并對準前景即藍箱中的節(jié)目 主持人或物體攝取圖像，通過圖像采集卡9，將輔助攝像機l傳來的 視頻圖像數(shù)據(jù)以場頻速度連續(xù)釆集到計算機內(nèi)存，CPU處理器10通
過景深識別算法PC機12 (景深位置識別算法單元)實時計算出景深位置。
景深識別算法P C機12利用了相鄰圖像數(shù)據(jù)幀的相關(guān)性和藍箱的
特殊性等因素，實現(xiàn)前景物體與背景物體的分割，進而得到前景在藍
箱地面的投影中心，經(jīng)過換算得到投影中心的平面位置坐標數(shù)據(jù)(x、y)。
網(wǎng)絡11將計算得到的景深位置數(shù)據(jù)存儲并接受虛擬渲染設備以 查詢方式輸出給虛擬演播室渲染圖形工作站，虛擬演播室渲染圖形工
作站7中的三維虛擬場景渲染計算機，根據(jù)前景的景深位置數(shù)據(jù)，在 計算渲染三維虛擬場景時實現(xiàn)前景(實景)與虛景的正確的景深遮擋 關(guān)系。
如圖3所示，虛擬演播室系統(tǒng)中前景景深位置識別裝置由輔助攝 像機1和景深識別板卡18組成。景深識別板卡18包括視頻輸入電 路14、 DSP處理器15、景深識別DSP算法單元17和總線接口 16。視 頻輸入電路14為圖像輸入單元，DSP處理器15為圖像處理單元，總 線接口 16為數(shù)據(jù)輸出單元。
輔助攝像機l安裝在藍箱任意位置，并對準前景即藍箱中的節(jié)目 主持人或物體攝取圖像，通過視頻輸入電路14，將輔助攝像機1傳 來的視頻圖像數(shù)據(jù)以場頻速度連續(xù)釆集到DSP處理器15， DSP處理器
15通過景深識別DSP算法單元17實時計算出景深位置。
DSP處理器15為以DSP (Digital Signal Processor)為核心的數(shù) 據(jù)處理電路，景深位置識別DSP算法單元17以編譯過的DSP語言方 式封裝在DSP電路中，視頻輸入電路14將視頻圖像轉(zhuǎn)換為RGB圖像 像素數(shù)據(jù)，通過DSP算法單元17由DSP實時根據(jù)相鄰圖像數(shù)據(jù)幀的 相關(guān)性和藍箱的特殊性等因素，實現(xiàn)前景物體與背景物體的分割，進 而得到前景在藍箱地面的投影中心，經(jīng)過換算得到投影中心的平面位 置坐標數(shù)據(jù)(x、 y)。
總線接口 16將計算得到的景深位置數(shù)據(jù)存儲并接受虛擬渲染設 備以查詢方式輸出給虛擬演播室渲染圖形工作站7，虛擬演播室渲染 圖形工作站7中的三維虛擬場景渲染計算機根據(jù)前景的景深平面位 置坐標數(shù)據(jù)，在計算渲染三維虛擬場景時實現(xiàn)前景(實景)與虛景的 正確的景深遮擋關(guān)系。
最后所應說明的是，以上實施例僅用以說明本發(fā)明的技術(shù)方案而 非限制，盡管參照較佳實施例對本發(fā)明進行了詳細說明，本領(lǐng)域的普 通技術(shù)人員應當理解，可以對本發(fā)明的技術(shù)方案進行修改或者等同替 換，而不脫離本發(fā)明技術(shù)方案的精神和范圍。
權(quán)利要求
1、一種虛擬演播室系統(tǒng)中前景景深位置識別裝置，其特征在于該裝置包括(1)一個安裝在虛擬演播室藍箱附近的輔助攝像機用于將實時產(chǎn)生的前景圖像傳輸給實時圖像處理裝置；(2)一個實時圖像處理裝置用于對輸入的圖像實時分析處理，得到前景的景深位置數(shù)據(jù)，傳送給虛擬演播室渲染圖形工作站。
6、 根據(jù)權(quán)利要求2所述的虛擬演播室系統(tǒng)中前景景深位置識別 裝置，其特征在于所述數(shù)據(jù)輸出單元是網(wǎng)絡或數(shù)據(jù)線。
7、 一種虛擬演播室系統(tǒng)中前景景深位置識別方法，其特征在于 該方法為輔助攝像機將圖像形式輸入，圖像輸入單元將輔助攝像 機傳來的視頻圖像數(shù)據(jù)以場頻速度連續(xù)采集到圖像處理單元，圖像 處理單元通過景深位置識別算法單元，得到前景物體在藍箱中的坐 標位置及景深數(shù)據(jù)，確定前景物體在指定坐標系中的坐標位置，通 過數(shù)據(jù)輸出單元傳給虛擬演播室三維渲染引擎計算匹配。
8、 根據(jù)權(quán)利要求7所述的虛擬演播室系統(tǒng)中前景景深位置識別 方法，其特征在于所述輔助攝像機安裝在藍箱任意位置，并對準前 景即藍箱中的節(jié)目主持人或物體攝取圖像。
9、 根據(jù)權(quán)利要求7所述的虛擬演播室系統(tǒng)中前景景深位置識別 方法，其特征在于所述景深位置識別算法單元為利用相鄰圖像數(shù)據(jù) 幀的相關(guān)性和藍箱的特殊性，實現(xiàn)前景物體與背景物體的分割，進 而得到前景在藍箱地面的投影中心，經(jīng)過換算得到投影中心的位置 坐標。
10、 根據(jù)權(quán)利要求7所述的虛擬演播室系統(tǒng)中前景景深位置識 別方法，其特征在于所述數(shù)據(jù)輸出單元是將計算得到的景深位置數(shù) 據(jù)存儲并接受虛擬渲染設備以查詢方式輸出給虛擬演播室渲染圖形 工作站。
全文摘要
本發(fā)明提供了一種虛擬演播室系統(tǒng)中的前景景深位置識別的裝置及方法。該裝置包括了一個安裝在演播室藍箱適當位置的輔助攝像機和一個實時圖像處理裝置；輔助攝像機輸出攝取的藍箱中前景的圖像，實時圖像處理裝置以場頻速度實時采集圖像并進行圖像處理，提取圖像中特征數(shù)據(jù)并進行計算變換，得到前景主持人或物體在藍箱中的位置坐標參數(shù)，該裝置將輸出的前景位置坐標參數(shù)輸入給虛擬演播室的三維渲染設備，經(jīng)過方程矩陣計算，實現(xiàn)三維虛擬場景和真實前景的景深位置關(guān)系的無縫匹配，使得真實前景自動恰當融入三維虛擬場景的空間合適位置之中，并反映正確的三維虛擬空間遮擋關(guān)系。
文檔編號H04N5/272GK101110908SQ20071001830
公開日2008年1月23日 申請日期2007年7月20日 優(yōu)先權(quán)日2007年7月20日
發(fā)明者肖宗坤, 黃民主 申請人:西安宏源視訊設備有限責任公司