一種基于雙目視覺的圖像采集與偽3d顯示系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開了一種基于雙目視覺的圖像采集與偽3D顯示系統(tǒng)，由雙目視覺圖像采集系統(tǒng)、圖像處理系統(tǒng)、偽3D顯示系統(tǒng)、控制系統(tǒng)組成；其中，雙目視覺圖像采集系統(tǒng)通過雙目攝像頭采集不同角度的雙目視覺圖像；圖像處理系統(tǒng)對雙目視覺圖像通過圖像處理算法處理得到縱深圖像；偽3D顯示系統(tǒng)調(diào)整所得到的縱深圖像并顯示出來；控制系統(tǒng)控制支撐雙目攝像頭的支架和偽3D顯示系統(tǒng)進行角度調(diào)整。本發(fā)明的有益效果是結構簡單。
【專利說明】一種基于雙目視覺的圖像采集與偽3D顯示系統(tǒng)

【技術領域】
[0001] 本發(fā)明屬于圖像處理【技術領域】，涉及一種基于雙目視覺的圖像采集與偽3D顯示 系統(tǒng)。

【背景技術】
[0002] 當前，多媒體系統(tǒng)的研究與應用初步實現(xiàn)了跨地域的人們進行面對面的研討與協(xié) 同工作，但是仍存在以下不足之處：（1)空間感與真實感：多媒體系統(tǒng)會議進行過程中缺乏 真實的會場氛圍，不同會場的與會者對整個會議的感知沒有空間感，無法構造真實的空間 環(huán)境，與會者無法對其他與會者的空間分布進行感知。（2)信息完整性：在多媒體系統(tǒng)中， 與會者無法在同一時刻獲得所有與會者的視音頻信息，同時多媒體系統(tǒng)無法表達與會者之 間的眼神接觸、凝視感知等感知信息。（3)協(xié)同工作的支持力度：實際應用中，借助虛擬現(xiàn) 實技術，構造所有與會者能夠共同體驗的虛擬環(huán)境或仿真環(huán)境，才能更準確地進行交流與 合作。多媒體系統(tǒng)目前還缺乏這樣的支持。
[0003] 為了解決多媒體系統(tǒng)存在的不足與局限，適應CSCW(計算機支持的協(xié)同工作）更 高的應用需求，虛擬空間會議Virtual Space Teleconferencing(簡稱VST)伴隨著虛擬現(xiàn) 實技術的發(fā)展而被提出。它是為了研究實現(xiàn)一種能夠支持不同地域的人們通過交互與協(xié)作 解決復雜問題的協(xié)作環(huán)境。虛擬空間會議系統(tǒng)是一種典型的協(xié)同虛擬現(xiàn)實系統(tǒng)，是在多媒 體會議系統(tǒng)基礎上發(fā)展起來的一種新型虛擬現(xiàn)實系統(tǒng)。但是，現(xiàn)階段的VST系統(tǒng)仍存在以 下幾點不足：（1)VST系統(tǒng)對動態(tài)圖像的處理不夠完善，使得動態(tài)圖像在表達的過程中不夠 流暢，影響了人們的對三維圖像感知，減弱了 VST系統(tǒng)給予人們的感知方便性。（2) VST系統(tǒng) 只是實現(xiàn)了三維圖像的空間建立，并沒有實現(xiàn)對已建立的三維圖像的圖像操作。當要對所 需圖像進行圖像處理時，必須要通過對計算機虛擬圖像操作才可以完成。這樣就為圖像處 理增加了復雜性與繁瑣性。（3)VST系統(tǒng)是基于大場景、多角度的空間三維成像，這就使得該 系統(tǒng)的細節(jié)處理不夠完善且功耗較大。


【發(fā)明內(nèi)容】

[0004] 本發(fā)明的目的在于提供一種基于雙目視覺的圖像采集與偽3D顯示系統(tǒng)，解決了 解決了目前3D顯示系統(tǒng)結構復雜的問題。
[0005] 本發(fā)明所采用的技術方案是由雙目視覺圖像采集系統(tǒng)、圖像處理系統(tǒng)、偽3D顯示 系統(tǒng)、控制系統(tǒng)組成；其中，
[0006] 雙目視覺圖像采集系統(tǒng)通過雙目攝像頭采集不同角度的雙目視覺圖像；
[0007] 圖像處理系統(tǒng)對雙目視覺圖像通過圖像處理算法處理得到縱深圖像；
[0008] 偽3D顯示系統(tǒng)調(diào)整所得到的縱深圖像并顯示出來；
[0009] 控制系統(tǒng)控制支撐雙目攝像頭的支架和偽3D顯示系統(tǒng)進行角度調(diào)整。
[0010] 進一步，所述雙目視覺圖像采集系統(tǒng)包括若干個雙目攝像頭、球形支架、載物臺、 第一遮光板；所述圖像處理系統(tǒng)包括計算機、模數(shù)轉換模塊；所述偽3D顯示系統(tǒng)包括投影 儀、偽3D六面體顯示器、圖像顯示屏、第二遮光板；所述控制系統(tǒng)包括第一舵機云臺和第二 舵機云臺；
[0011] 其中每個雙目攝像頭都固定在球形支架上，每個雙目攝像頭鏡頭對準球形支架內(nèi) 部球心設置的載物臺，物體放在載物臺上被雙目攝像頭拍攝，球形支架安裝在第一舵機云 臺上，球形支架周圍安裝有第一遮光板，所有雙目攝像頭通過信號線連接模數(shù)轉換模塊，模 數(shù)轉換模塊通過信號線連接計算機，投影儀通過信號線連接計算機，圖像顯示屏用于承接 投影圖像，圖像顯示屏固定在第二遮光板上方，圖像顯示屏下方設有偽3D六面體顯示器， 偽3D六面體顯示器置于第二舵機云臺上，第二舵機云臺用于改變偽3D六面體顯示器的角 度，從而將顯示的立體圖像調(diào)整位置。
[0012] 進一步，所述載物臺采用透明亞克力材料方便攝像頭拍攝圖片；所述雙目攝像頭 直接通過緊固件安裝。
[0013] 進一步，所述圖像處理算法，由雙目視覺算法、圖像拼接算法、圖像處理算法構成； 其中，雙目視覺算法：用于處理雙目攝像頭所得圖像，得到縱深立體圖像；圖像拼接算法： 用于拼接多個縱深圖像，在虛擬空間中得到完整的3D立體圖像；圖像處理算法：用于對已 得到的3D立體圖像進行大小變換、切割變換等圖像處理。
[0014] 本發(fā)明的有益效果是結構簡單。

【專利附圖】

【附圖說明】
[0015] 圖1為本發(fā)明一種基于雙目視覺的圖像采集與偽3D顯示系統(tǒng)雙目視覺支架；
[0016] 圖2為本發(fā)明偽3D六面體顯示器；
[0017] 圖3為本發(fā)明縱深圖像輸出計算步驟；
[0018] 圖4為本發(fā)明圖像處理中進行圖像拼接流程；
[0019] 圖5為本發(fā)明對偽3D圖像強化流程。
[0020] 圖中，1.雙目攝像頭，2.球形支架，3.載物臺，4.第一舵機云臺，5.第一遮光板， 6.計算機，7.模數(shù)轉換模塊，8.投影儀，9.偽3D六面體顯示器，10.圖像顯示屏，11.第二 遮光板，12.第二舵機云臺。

【具體實施方式】
[0021] 下面結合附圖和【具體實施方式】對本發(fā)明進行詳細說明。
[0022] 該系統(tǒng)包括雙目攝像頭，通過數(shù)據(jù)線與雙目攝像頭相連接的計算機，通過計算機 處理圖像后，通過投影儀投射到偽3D金字塔，形成偽3D圖像顯示。其特征在于：通過雙目 視覺圖像采集與偽3D空間立體圖像顯示，可以真實地還原空間物體的三維特征。本發(fā)明不 僅結構簡單、實現(xiàn)方便，而且成像精確度高、圖像真實。因此，適合推廣應用。
[0023] 雙目視覺圖像采集系統(tǒng)包括若干個雙目攝像頭1、球形支架2、載物臺3、第一遮光 板5 ;所述圖像處理系統(tǒng)包括計算機6、模數(shù)轉換模塊7 ;所述偽3D顯示系統(tǒng)包括投影儀8、 偽3D六面體顯示器9、圖像顯示屏10、第二遮光板11 ;所述控制系統(tǒng)包括第一舵機云臺4和 第二舵機云臺12 ;
[0024] 如圖1所示，每個雙目攝像頭1都固定在球形支架2上，每個雙目攝像頭1鏡頭對 準球形支架2內(nèi)部球心設置的載物臺3,物體放在載物臺3上被雙目攝像頭1拍攝，球形支 架2安裝在第一舵機云臺4上，可被第一舵機云臺4控制活動，從而調(diào)整雙目攝像頭1對準 載物臺3的角度。球形支架2周圍安裝有第一遮光板5,將外部強光遮擋有利于拍攝。使用 時，將被測物體存在于載物臺3處，啟動球形支架2上的各雙目攝像頭1。調(diào)整第一舵機云 臺4,使得雙目攝像頭1從合適的角度采集被測物體的圖像。
[0025] 所述圖像處理系統(tǒng)包括計算機6和模數(shù)轉換模塊7,所有雙目攝像頭1通過信號線 連接模數(shù)轉換模塊7,模數(shù)轉換模塊7通過信號線連接計算機6,通過模數(shù)轉換模塊7將雙 目攝像頭1采集到的全方位立體圖像轉換為數(shù)字信號發(fā)送給計算機6,運用計算機6上的圖 像處理算法對雙目視覺圖像采集系統(tǒng)采集到的圖像進行處理。
[0026] 圖像處理算法，由雙目視覺算法、圖像拼接算法、圖像處理算法構成。其中，雙目視 覺算法：用于處理雙目攝像頭所得圖像，得到縱深立體圖像；圖像拼接算法：用于拼接多個 縱深圖像，在虛擬空間中得到完整的3D立體圖像；圖像處理算法：用于對已得到的3D立體 圖像進行大小變換、切割變換等圖像處理。
[0027] 如圖2所示，偽3D顯示系統(tǒng)包括投影儀8、偽3D六面體顯示器9和圖像顯示屏 10,投影儀8通過信號線連接計算機6,圖像顯示屏10用于承接投影圖像，圖像顯示屏10固 定在第二遮光板11上方，第二遮光板11用于擋住強光不影響立體圖像的顯示。圖像顯示 屏10下方設有偽3D六面體顯示器9,偽3D六面體顯示器9可將圖像顯示屏10顯示的3D 圖像立體構建在其空間，形成偽全息立體圖像，偽3D六面體顯示器9置于第二舵機云臺12 上，第二舵機云臺12用于改變偽3D六面體顯示器9的角度，從而將顯示的立體圖像調(diào)整位 置；
[0028] 其中，載物臺3采用透明亞克力材料方便攝像頭拍攝圖片，雙目攝像頭1直接通過 緊固件安裝。
[0029] 處理過程：如圖1所示的縱深圖形輸出步驟，對攝像頭拍攝的圖像通過Canny算子 邊緣檢測提取圖像邊緣，優(yōu)化檢測圖像，通過邊緣點精確匹配后得到初步匹配對應點集，通 過非邊緣點窗口自適應匹配后得到匹配對應點集，拍攝標定模板，用平面標定法標定平面， 計算出攝像機內(nèi)外參數(shù)，通過內(nèi)外參數(shù)計算出投影矩陣M1、M2,對應點集與投影矩陣計算出 空間三維點集，建立空間坐標顯示點集得出縱深圖像，通過物理物體得到縱深圖像的現(xiàn)實 坐標與空間位置坐標，建立虛擬空間坐標，縱深圖像匹配虛擬空間坐標，如圖2所示，圖像 標志點提取，圖像拼接得到虛擬3D圖像，顯示圖像，如圖3所示，強化虛擬空間3D圖像，劃 分虛擬坐標空間，分割圖像，得到各個偽3D圖像后，強化圖像，組合圖像得到投影視頻組， 投影圖像與偽3D金字塔得到偽3D立體圖像，調(diào)整舵機云臺得到合適觀測圖像。建立虛擬 空間坐標，輸入數(shù)據(jù)，在虛擬空間中建立空間圖像，顯示圖像，強化虛擬空間3D圖像，劃分 虛擬坐標空間，分割圖像，得到各個偽3D圖像后，強化圖像，組合圖像得到投影視頻組，投 影圖像與偽3D金字塔得到偽3D立體圖像，調(diào)整舵機云臺得到合適觀測圖像。
[0030] 以上所述僅是對本發(fā)明的較佳實施方式而已，并非對本發(fā)明作任何形式上的限 制，下面通過參考附圖是示例性的，僅用于解釋本發(fā)明，而不能理解為對本發(fā)明的限制。凡 是依據(jù)本發(fā)明的技術實質(zhì)對以上實施方式所做的任何簡單修改，等同變化與修飾，均屬于 本發(fā)明技術方案的范圍內(nèi)。
【權利要求】
1. 一種基于雙目視覺的圖像采集與偽3D顯示系統(tǒng)，其特征在于：由雙目視覺圖像采集 系統(tǒng)、圖像處理系統(tǒng)、偽3D顯示系統(tǒng)、控制系統(tǒng)組成；其中， 雙目視覺圖像采集系統(tǒng)通過雙目攝像頭采集不同角度的雙目視覺圖像； 圖像處理系統(tǒng)對雙目視覺圖像通過圖像處理算法處理得到縱深圖像； 偽3D顯示系統(tǒng)調(diào)整所得到的縱深圖像并顯示出來； 控制系統(tǒng)控制支撐雙目攝像頭的支架和偽3D顯示系統(tǒng)進行角度調(diào)整。
2. 按照權利要求1所述一種基于雙目視覺的圖像采集與偽3D顯示系統(tǒng)，其特征在于： 所述雙目視覺圖像采集系統(tǒng)包括若干個雙目攝像頭（1)、球形支架（2)、載物臺（3)、第一遮 光板（5);所述圖像處理系統(tǒng)包括計算機￠)、模數(shù)轉換模塊（7);所述偽3D顯示系統(tǒng)包括 投影儀（8)、偽3D六面體顯示器（9)、圖像顯示屏（10)、第二遮光板（11);所述控制系統(tǒng)包 括第一舵機云臺（4)和第二舵機云臺（12); 其中每個雙目攝像頭（1)都固定在球形支架（2)上，每個雙目攝像頭（1)鏡頭對準球 形支架⑵內(nèi)部球心設置的載物臺⑶，物體放在載物臺⑶上被雙目攝像頭⑴拍攝，球 形支架（2)安裝在第一舵機云臺（4)上，球形支架（2)周圍安裝有第一遮光板（5)，所有雙 目攝像頭（1)通過信號線連接模數(shù)轉換模塊（7)，模數(shù)轉換模塊（7)通過信號線連接計算機 (6)，投影儀（8)通過信號線連接計算機（6)，圖像顯示屏（10)用于承接投影圖像，圖像顯示 屏（10)固定在第二遮光板（11)上方，圖像顯示屏（10)下方設有偽3D六面體顯示器（9)， 偽3D六面體顯示器（9)置于第二舵機云臺（12)上，第二舵機云臺（12)用于改變偽3D六 面體顯示器（9)的角度，從而將顯示的立體圖像調(diào)整位置。
3. 按照權利要求1所述一種基于雙目視覺的圖像采集與偽3D顯示系統(tǒng)，其特征在于： 所述載物臺（3)采用透明亞克力材料方便攝像頭拍攝圖片；所述雙目攝像頭（1)直接通過 緊固件安裝。
4. 按照權利要求1所述一種基于雙目視覺的圖像采集與偽3D顯示系統(tǒng)，其特征在于： 所述圖像處理算法，由雙目視覺算法、圖像拼接算法、圖像處理算法構成；其中，雙目視覺算 法：用于處理雙目攝像頭所得圖像，得到縱深立體圖像；圖像拼接算法：用于拼接多個縱深 圖像，在虛擬空間中得到完整的3D立體圖像；圖像處理算法：用于對已得到的3D立體圖像 進行大小變換、切割變換等圖像處理。
【文檔編號】H04N13/00GK104113747SQ201410331431
【公開日】2014年10月22日 申請日期:2014年7月14日 優(yōu)先權日:2014年7月14日
【發(fā)明者】續(xù)拓, 吳小煉, 楊梅 申請人:續(xù)拓