專利名稱：一種基于增強(qiáng)現(xiàn)實(shí)的實(shí)景融合裝置的制作方法
技術(shù)領(lǐng)域：
一種基于增強(qiáng)現(xiàn)實(shí)的實(shí)景融合裝置技術(shù)領(lǐng)域[0001]本實(shí)用新型涉及一種圖像增強(qiáng)現(xiàn)實(shí)視覺技術(shù)，具體地說是一種基于增強(qiáng)現(xiàn)實(shí)的實(shí)景融合裝置。
背景技術(shù)：
[0002]目前大量使用的各類觀瞄跟蹤類裝置的模擬訓(xùn)練器材主要是基于虛擬現(xiàn)實(shí)技術(shù)， 由計(jì)算機(jī)生成純虛擬二維或三維場景，場景的縱深感、層次感、天氣影響、場景變化等都與實(shí)際景物有十分明顯的差異，場景逼真度較差。此外，由于采用純虛擬場景，絕大部分此類器材是在室內(nèi)使用，不能與其他室外訓(xùn)練結(jié)合，限制了訓(xùn)練裝置的使用范圍。實(shí)用新型內(nèi)容[0003]針對現(xiàn)有技術(shù)中模擬訓(xùn)練器材視覺仿真效果存在場景逼真度較差、不能與其他室外訓(xùn)練結(jié)合等不足之處，本實(shí)用新型要解決的技術(shù)問題是提供一種真實(shí)性強(qiáng)、使用方便、能夠在室外應(yīng)用，更貼近于實(shí)戰(zhàn)環(huán)境的增強(qiáng)現(xiàn)實(shí)的實(shí)景融合裝置。[0004]為解決上述技術(shù)問題，本實(shí)用新型采用的技術(shù)方案是[0005]本實(shí)用新型基于增強(qiáng)現(xiàn)實(shí)的實(shí)景融合裝置包括圖像處理器、攝像機(jī)以及顯示器， 其中攝像機(jī)的圖像數(shù)據(jù)輸出端與圖像處理器的數(shù)據(jù)輸入端相連，圖像處理器的輸出端接有顯不器。[0006]所述攝像機(jī)采用工業(yè)彩色數(shù)字?jǐn)z像機(jī)，掃描方式為逐行掃描，感光元件寬高比例為4 3，具有IEEE-1934b輸出接口，能以RGB格式輸出分辨率不低于640 X 480像素、刷新率不低于25fps的視頻數(shù)據(jù)；快門與增益可控，帶有自動曝光控制。[0007]所述的顯示器采用雙目式眼鏡顯示器，分辨率不低于640 X 480像素，刷新率不低于60Hz，色彩深度不低于16位，具有VGA信號輸入接口。[0008]本實(shí)用新型的有益效果是[0009]1.能夠大幅提觀瞄跟蹤類裝置模擬訓(xùn)練的真實(shí)感。[0010]目前大量使用的各類觀瞄跟蹤類裝置的計(jì)算機(jī)視景仿真模擬訓(xùn)練器材絕大多數(shù)是由計(jì)算機(jī)生成純虛擬二維或三維場景，場景的縱深感、層次感、天氣影響、場景變化等都與實(shí)際景物有十分明顯的差異，場景逼真度較差。本實(shí)用新型是將真實(shí)的室外景象與計(jì)算機(jī)生成的虛擬景物結(jié)合，場景的主體是室外的真實(shí)景象，大幅提高了訓(xùn)練場景的真實(shí)感。[0011]2.將觀瞄跟蹤類裝置模擬訓(xùn)練從室內(nèi)擴(kuò)展到室外[0012]由于目前大部分觀瞄跟蹤類裝置模擬訓(xùn)練器材使用純虛擬的訓(xùn)練場景，因此絕大部分只能在室內(nèi)使用。本實(shí)用新型可以在室外應(yīng)用，不僅拓展了模擬訓(xùn)練裝置的使用范圍， 還使模擬訓(xùn)練可以與其他室外訓(xùn)練科目相結(jié)合，有助于提高了受訓(xùn)人員的綜合技能。


[0013]圖1為本實(shí)用新型組成結(jié)構(gòu)框圖；[0014]圖2為本實(shí)用新型采用的方法流程圖；圖3為本實(shí)用新型采用的方法中CVid類構(gòu)架示意圖；圖4為CVid類模型示意圖。
具體實(shí)施方式
下面通過結(jié)合附圖對本實(shí)用新型作進(jìn)一步詳細(xì)說明。如圖1所示，為本實(shí)用新型基于增強(qiáng)現(xiàn)實(shí)的實(shí)景融合裝置的組成結(jié)構(gòu)，包括圖像處理器、攝像機(jī)以及顯示器，其中攝像機(jī)的圖像數(shù)據(jù)輸出端與圖像處理器的數(shù)據(jù)輸入端相連，圖像處理器的輸出端接有顯示器。本是實(shí)施例中，圖像處理器為一臺高性能計(jì)算機(jī)，通過IEEE_1394b接口連接彩色數(shù)字?jǐn)z像機(jī)，通過VGA接口連接雙目式眼鏡顯示器。圖形引擎是一種基于某圖形庫(如 OpenGL、DirectX等)的換件平臺或軟件環(huán)境，運(yùn)行于計(jì)算機(jī)之上。攝像機(jī)采用工業(yè)彩色數(shù)字?jǐn)z像機(jī)，掃描方式為逐行掃描，感光元件寬高比例為4 3，具有IEEE-1934b輸出接口， 能以RGB格式輸出分辨率不低于640X480像素、刷新率不低于25fps的視頻數(shù)據(jù)?？扉T與增益可控，帶有自動曝光控制(自動快門法、自動增益法，能進(jìn)行最大增益法控制曝光)。 本實(shí)施例采用Point Grey Research公司生產(chǎn)的Flea2彩色數(shù)字?jǐn)z像機(jī)。安裝時(shí)，數(shù)字彩色攝像機(jī)的光軸與模擬觀瞄跟蹤裝置瞄準(zhǔn)線重合。雙目式眼鏡顯示器是一種分辨率不低于 640X480像素，刷新率不低于60Hz的眼睛是顯示器，色彩深度不低于16位，具有VGA信號輸入接口。本實(shí)施例采用的雙目式眼鏡顯示器分辨率為800X600,32位色彩深度，刷新率 60Hz，帶有VGA信號輸入接口。本實(shí)用新型基于增強(qiáng)現(xiàn)實(shí)的實(shí)景融合裝置通過以下方法實(shí)現(xiàn)其顯示過程利用攝像機(jī)采集真實(shí)景物的視頻數(shù)據(jù)，輸入到圖像處理器中進(jìn)行處理；將上述視頻數(shù)據(jù)轉(zhuǎn)化成連續(xù)的單幀圖像，將每一幀圖像轉(zhuǎn)換為紋理數(shù)據(jù)；利用三維圖形引擎將此紋理數(shù)據(jù)映射到超過所有虛擬景物距離的矩形面上；在三維圖形引擎中將上述矩形面與圖像處理器生成的虛擬景物同時(shí)進(jìn)行渲染，形成虛實(shí)結(jié)合的圖像視頻。利用三維圖形引擎將此紋理數(shù)據(jù)映射到超過所有虛擬景物距離的矩形面上的過程為利用三維圖形引擎在超過所有虛擬景物距離的空間上繪制一個(gè)與三維圖形引擎的 FOV截面大小相同的矩形面；利用三維圖形引擎對紋理數(shù)據(jù)進(jìn)行紋理濾波；將此紋理數(shù)據(jù)綁定在上述矩形面上。攝像機(jī)采集真實(shí)景物的視頻數(shù)據(jù)采用多線程采集方法，為每一路需要采集的視頻開辟兩個(gè)異步執(zhí)行的采集線程。如圖2所示，本是實(shí)施例中實(shí)景融合方法的實(shí)現(xiàn)過程如下來自于數(shù)字?jǐn)z像機(jī)的視頻數(shù)據(jù)經(jīng)CVid類對象處理后成一序列的紋理數(shù)據(jù)。如圖3所示，為CVid類構(gòu)架示意圖。CVid類對象構(gòu)建于ARToolkit庫與DSVL庫之上，實(shí)現(xiàn)視頻采集、將單幀視頻轉(zhuǎn)換為紋理數(shù)據(jù)的功能。CVid類對象主要實(shí)現(xiàn)了攝像機(jī)視頻的連續(xù)采集和單幀圖像的獲取。如圖2、4所示，為CVid類的模型。構(gòu)造函數(shù)CVidO獲得描述攝像機(jī)設(shè)置的.ml 文件。RimCaptureO讀取這些設(shè)置并建立采集緩沖區(qū)、建立采集線程并開始采集視頻。高性能采集方法是一種異步執(zhí)行多線程采集方法，為每一路需要采集的視頻開辟兩個(gè)異步執(zhí)行的采集線程以保證能夠連續(xù)不間斷地采集視頻。其中DummyThreadProc (LPV0ID IpParameter)，是專門開辟的采集線程，為保證采集過程的性能，開辟了兩個(gè) DummyThreadProc線程，為的是能夠不間斷地采集視頻。keneBlendO負(fù)責(zé)將實(shí)景的紋理數(shù)據(jù)與虛擬場景融合在一起，其具體處理過程如下調(diào)用CVid類對象的VideoGetlmage () 方法獲得視頻的當(dāng)前一幀，保存在全局變量中；將獲得的一幀視頻變成紋理；利用三維圖形引擎在超過所有虛擬景物距離的空間(本實(shí)施例設(shè)置為10000米處的空間上)上繪制一個(gè)剛好與三維圖形引擎的FOV截面大小相同的矩形面；利用三維圖形引擎對紋理數(shù)據(jù)進(jìn)行紋理濾波；將此紋理數(shù)據(jù)綁定在上述矩形面上，并與虛擬場景進(jìn)行混合。調(diào)用CVid對象的 VideoGetNextO方法獲取下一幀圖像。keneBlendO被調(diào)用并執(zhí)行后，繪制的矩形和映射的紋理進(jìn)入幀緩存，接下來由三維圖形引擎內(nèi)部實(shí)行深度測試與渲染等后續(xù)操作，最終生成一幀虛實(shí)結(jié)合的圖形。這個(gè)過程循環(huán)在仿真軟件主循環(huán)中循環(huán)地執(zhí)行就形成了虛實(shí)結(jié)合的視頻，最后輸送給雙目式眼鏡顯示器。
權(quán)利要求1.一種基于增強(qiáng)現(xiàn)實(shí)的實(shí)景融合裝置，其特征在于包括圖像處理器、攝像機(jī)以及顯示器，其中攝像機(jī)的圖像數(shù)據(jù)輸出端與圖像處理器的數(shù)據(jù)輸入端相連，圖像處理器的輸出端接有顯示器。
2.按權(quán)利要求1所述的基于增強(qiáng)現(xiàn)實(shí)的實(shí)景融合裝置，其特征在于所述攝像機(jī)采用工業(yè)彩色數(shù)字?jǐn)z像機(jī)，掃描方式為逐行掃描，感光元件寬高比例為4 3，具有IEEE-1934b 輸出接口，能以RGB格式輸出分辨率不低于640X480像素、刷新率不低于25fps的視頻數(shù)據(jù)；快門與增益可控，帶有自動曝光控制。
3.按權(quán)利要求1所述基于增強(qiáng)現(xiàn)實(shí)的實(shí)景融合裝置，其特征是所述的顯示器采用雙目式眼鏡顯示器，分辨率不低于640 X 480像素，刷新率不低于60Hz，色彩深度不低于16位， 具有VGA信號輸入接口。
專利摘要本實(shí)用新型涉及一種基于增強(qiáng)現(xiàn)實(shí)的實(shí)景融合裝置，包括圖像處理器、攝像機(jī)以及顯示器，其中攝像機(jī)的圖像數(shù)據(jù)輸出端與圖像處理器的數(shù)據(jù)輸入端相連，圖像處理器的輸出端接有顯示器；本實(shí)用新型能夠大幅提觀瞄跟蹤類裝置模擬訓(xùn)練的真實(shí)感，并將觀瞄跟蹤類裝置模擬訓(xùn)練從室內(nèi)擴(kuò)展到室外。
文檔編號G06T19/00GK202331865SQ20112049670
公開日2012年7月11日 申請日期2011年12月2日 優(yōu)先權(quán)日2011年12月2日
發(fā)明者佟新鑫, 宮俊玲, 張心宇, 楊光宇, 趙剛 申請人:中國科學(xué)院沈陽自動化研究所