本發(fā)明涉及一種博物館虛擬場景ar體驗(yàn)眼鏡裝置及其實(shí)現(xiàn)方法。

背景技術(shù)：

虛擬現(xiàn)實(shí)(virtualreality，簡稱vr，又譯作靈境、幻真)是近年來出現(xiàn)的高新技術(shù)，也稱靈境技術(shù)或人工環(huán)境。虛擬現(xiàn)實(shí)是利用電腦模擬產(chǎn)生一個三維空間的虛擬世界，提供使用者關(guān)于視覺、聽覺、觸覺等感官的模擬，讓使用者如同身歷其境一般，可以及時、沒有限制地觀察三度空間內(nèi)的事物。

增強(qiáng)現(xiàn)實(shí)(augmentedreality，簡稱ar)，也被稱之為混合現(xiàn)實(shí)。通過計(jì)算機(jī)技術(shù)，將虛擬的信息應(yīng)用到真實(shí)世界，真實(shí)的環(huán)境和虛擬的物體實(shí)時地疊加到了同一個畫面或空間同時存在。ar增強(qiáng)現(xiàn)實(shí)這種技術(shù)的目標(biāo)是在屏幕上把虛擬世界套在現(xiàn)實(shí)世界并進(jìn)行互動。

vr頭盔提供由封閉式3d場景，根本無法與人分享在虛擬世界中的樂趣，ar眼鏡則必須有現(xiàn)實(shí)環(huán)境作為基礎(chǔ)，強(qiáng)調(diào)的就是虛擬和真實(shí)互動，非常適合于多人分享。也是因此原因，兩者的交互方式也是大不一樣，vr采用的交互手段完全由人工設(shè)定，ar則更注重真實(shí)物體與虛擬效果的鏈接。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的是克服現(xiàn)有技術(shù)存在的不足，提供一種博物館虛擬場景ar體驗(yàn)眼鏡裝置及其實(shí)現(xiàn)方法。

本發(fā)明的目的通過以下技術(shù)方案來實(shí)現(xiàn)：

博物館虛擬場景ar體驗(yàn)眼鏡裝置，特點(diǎn)是：包含眼鏡組件、識別掃描裝置以及體感設(shè)備裝置，所述眼鏡組件包括鏡架、鏡片和內(nèi)核處理器，鏡架具有兩鏡片支持部，兩只鏡片分別設(shè)置于兩鏡片支持部，鏡片支持部上還設(shè)置有內(nèi)核處理器；

所述識別掃描裝置包括信息發(fā)射攝像頭、第一處理器、信息接收攝像頭以及第二處理器，信息發(fā)射攝像頭和信息接收攝像頭分別安裝于兩鏡片支持部上，信息發(fā)射攝像頭連接第一處理器，信息接收攝像頭連接第二處理器，第一處理器和第二處理器均與內(nèi)核處理器通訊連接；

所述體感設(shè)備裝置包括動作捕捉攝像頭、第三處理器、動作接收攝像頭以及第四處理器，動作捕捉攝像頭和動作接收攝像頭分別安裝于鏡架兩側(cè)的前端，動作捕捉攝像頭連接第三處理器，動作接收攝像頭連接第四處理器，第三處理器和第四處理器均與內(nèi)核處理器通訊連接。

進(jìn)一步地，上述的博物館虛擬場景ar體驗(yàn)眼鏡裝置，其中，所述動作接收攝像頭為3d體感攝影機(jī)。

進(jìn)一步地，上述的博物館虛擬場景ar體驗(yàn)眼鏡裝置，其中，所述3d體感攝影機(jī)包含rgb攝像頭以及位于其兩側(cè)的紅外線發(fā)射器和紅外線接收器。

進(jìn)一步地，上述的博物館虛擬場景ar體驗(yàn)眼鏡裝置，其中，所述3d體感攝影機(jī)的兩側(cè)設(shè)有用于聲源定位和語音識別的四元麥克風(fēng)陣列。

博物館虛擬場景ar體驗(yàn)實(shí)現(xiàn)方法，其中，由識別掃描裝置的信息發(fā)射攝像頭和第一處理器對物體進(jìn)行信息獲取、進(jìn)行攝像頭標(biāo)定、對場景中對象點(diǎn)在攝像頭圖像平面上的坐標(biāo)位置與其世界空間坐標(biāo)之間的映射關(guān)系進(jìn)行確立，進(jìn)而將圖像反饋到信息接收攝像頭，最后由第二處理器對圖像信息處理，處理后的圖像信息傳輸至內(nèi)核處理器，鏡片上有圖像的顯示，透明的狀態(tài)，亦可看到具體的物體；

由體感設(shè)備裝置的動作捕捉攝像頭和第三處理器對手勢動作進(jìn)行獲取，抬起手，捕捉手勢的動作，進(jìn)而反饋到動作接收攝像頭上進(jìn)行處理，最后由第四處理器對圖像信息處理，信息傳輸至內(nèi)核處理器；

內(nèi)核處理器結(jié)合圖像的識別處理與人體手勢動作在空間上的坐標(biāo)定位，實(shí)現(xiàn)ar場景；結(jié)合全息投影技術(shù)，打造四維空間，將整個要呈現(xiàn)的博物館場景生成在空間里，在空間中來到展品畫面前，鏡片上提示有ar增強(qiáng)現(xiàn)實(shí)提示，抬起手，通過識別手勢的動作，當(dāng)手指點(diǎn)到與人眼看到鏡片中ar位置一致時，此處即可呈現(xiàn)出ar場景。

進(jìn)一步地，上述的博物館虛擬場景ar體驗(yàn)實(shí)現(xiàn)方法，其中，由識別掃描裝置進(jìn)行圖像獲取、攝像機(jī)標(biāo)定、特征提取、立體匹配、三維恢復(fù)和視頻分析。

進(jìn)一步地，上述的博物館虛擬場景ar體驗(yàn)實(shí)現(xiàn)方法，其中，所述攝像機(jī)標(biāo)定是對三維場景中對象點(diǎn)在左右攝像機(jī)圖像平面上的坐標(biāo)位置al(ul，vl)、ar(ur，vr)與其世界空間坐標(biāo)a(x，y，z)之間的映射關(guān)系的確立，實(shí)現(xiàn)立體視覺三維模型重構(gòu)。

進(jìn)一步地，上述的博物館虛擬場景ar體驗(yàn)實(shí)現(xiàn)方法，其中，所述特征提取，獲取匹配賴以進(jìn)行的圖像特征，圖像特征的性質(zhì)與圖像匹配的選擇有密切的聯(lián)系。

進(jìn)一步地，上述的博物館虛擬場景ar體驗(yàn)實(shí)現(xiàn)方法，其中，所述圖像匹配是將三維空間中一點(diǎn)a(x，y，z)在左右攝像機(jī)的成像面cl和cr上的像點(diǎn)al(ul，vl)和ar(ur，vr)對應(yīng)起來。

進(jìn)一步地，上述的博物館虛擬場景ar體驗(yàn)實(shí)現(xiàn)方法，其中，所述三維恢復(fù)是對被測對象表面點(diǎn)的三維信息進(jìn)行恢復(fù)。

本發(fā)明與現(xiàn)有技術(shù)相比具有顯著的優(yōu)點(diǎn)和有益效果，具體體現(xiàn)在以下方面：

本發(fā)明設(shè)計(jì)獨(dú)特，將增強(qiáng)現(xiàn)實(shí)和虛擬現(xiàn)實(shí)相結(jié)合，產(chǎn)生新的可視化環(huán)境；結(jié)合眼鏡，呈現(xiàn)虛擬的四維場景；在四維場景中，體驗(yàn)ar技術(shù)；實(shí)現(xiàn)全新的體驗(yàn)?zāi)Ｊ?，在某種意義上來說，是將博物館搬回了家，可以在家中就能參觀體驗(yàn)博物館，不用去排隊(duì)參觀，從體驗(yàn)上來說，融合了科技的時代感，能夠接觸到最新的科學(xué)技術(shù)；可以與文物親密接觸，甚至可將文物拿在手中把玩，提升了博物館的趣味性和教育意義。

附圖說明

圖1：本發(fā)明裝置的結(jié)構(gòu)示意圖；

圖2：本發(fā)明裝置的工作原理示意圖；

圖3：識別掃描裝置的工作原理示意圖；

圖4：體感設(shè)備裝置的工作原理示意圖；

圖5：雙目視覺的原理示意圖；

圖6：平行光軸的系統(tǒng)結(jié)構(gòu)示意圖。

具體實(shí)施方式

為了對本發(fā)明的技術(shù)特征、目的和效果有更加清楚的理解，現(xiàn)對照附圖詳細(xì)說明具體實(shí)施方案。

如圖1、圖2所示，博物館虛擬場景ar體驗(yàn)眼鏡裝置，包含眼鏡組件、識別掃描裝置以及體感設(shè)備裝置，眼鏡組件包括鏡架11、鏡片12和內(nèi)核處理器13，鏡架11具有兩鏡片支持部，兩只鏡片12分別設(shè)置于兩鏡片支持部，鏡片支持部上還設(shè)置有內(nèi)核處理器13。

識別掃描裝置包括信息發(fā)射攝像頭21、第一處理器22、信息接收攝像頭23以及第二處理器24，信息發(fā)射攝像頭21和信息接收攝像頭23分別安裝于兩鏡片支持部上，信息發(fā)射攝像頭21連接第一處理器22，信息接收攝像頭23連接第二處理器24，第一處理器22和第二處理器24均與內(nèi)核處理器13通訊連接。

體感設(shè)備裝置包括動作捕捉攝像頭31、第三處理器32、動作接收攝像頭33以及第四處理器34，動作捕捉攝像頭31和動作接收攝像頭33分別安裝于鏡架兩側(cè)的前端，動作捕捉攝像頭31連接第三處理器32，動作接收攝像頭33連接第四處理器34，第三處理器32和第四處理器34均與內(nèi)核處理器13通訊連接。

動作接收攝像頭31為3d體感攝影機(jī)，包含rgb攝像頭以及位于其兩側(cè)的紅外線發(fā)射器和紅外線接收器，3d體感攝影機(jī)的兩側(cè)設(shè)有用于聲源定位和語音識別的四元麥克風(fēng)陣列。3d體感攝影機(jī)同時具有即時動態(tài)捕捉、影像辨識、麥克風(fēng)輸入、語音辨識、社群互動等功能；rgb攝像頭用來獲取640×480的彩色圖像，每秒鐘最多獲取30幀圖像；兩邊的是兩個深度傳感器，左側(cè)的是紅外線發(fā)射器，右側(cè)的是紅外線接收器，用來檢測玩家的相對位置。兩側(cè)是一組四元麥克風(fēng)陣列，用于聲源定位和語音識別；下方還有一個帶內(nèi)置馬達(dá)的底座，可以調(diào)整俯仰角。

如圖2～4所示，由識別掃描裝置的信息發(fā)射攝像頭21和第一處理器22對物體進(jìn)行信息獲取、進(jìn)行攝像頭標(biāo)定、對場景中對象點(diǎn)在攝像頭圖像平面上的坐標(biāo)位置與其世界空間坐標(biāo)之間的映射關(guān)系進(jìn)行確立，進(jìn)而將圖像反饋到信息接收攝像頭23，最后由第二處理器24對圖像信息處理，處理后的圖像信息傳輸至內(nèi)核處理器13，鏡片上有圖像的顯示，透明的狀態(tài)，亦可看到具體的物體；

由體感設(shè)備裝置的動作捕捉攝像頭31和第三處理器32對手勢動作進(jìn)行獲取，抬起手，捕捉手勢的動作，進(jìn)而反饋到動作接收攝像頭33上進(jìn)行處理，最后由第四處理器34對圖像信息處理，信息傳輸至內(nèi)核處理器13；

內(nèi)核處理器13結(jié)合圖像的識別處理與人體手勢動作在空間上的坐標(biāo)定位，實(shí)現(xiàn)ar場景；結(jié)合全息投影技術(shù)，打造四維空間，將整個要呈現(xiàn)的博物館場景生成在空間里，在空間中來到展品畫面前，鏡片上提示有ar增強(qiáng)現(xiàn)實(shí)提示，抬起手，通過識別手勢的動作，當(dāng)手指點(diǎn)到與人眼看到鏡片中ar位置一致時，此處即可呈現(xiàn)出ar場景。

左右兩部攝像頭(信息發(fā)射攝像頭與信息接收攝像頭)，如圖5所示，圖中分別以下標(biāo)l和r標(biāo)注左、右攝像頭的相應(yīng)參數(shù)?？臻g中一點(diǎn)a(x，y，z)在左右攝像機(jī)的成像面cl和cr上的像點(diǎn)分別為al(ul，vl)和ar(ur，vr)。這兩個像點(diǎn)是空間中同一個對象點(diǎn)a的像，稱為“共軛點(diǎn)”。知道了這兩個共軛像點(diǎn)，分別作與各自相機(jī)的光心ol和or的連線，即投影線alol和aror，交點(diǎn)即為世界空間中的對象點(diǎn)a(x，y，z)。這就是雙目視覺的基本原理。

平行光軸的系統(tǒng)結(jié)構(gòu)，如圖6所示，在平行光軸的立體視覺系統(tǒng)中，左右兩臺攝像頭的焦距及其它內(nèi)部參數(shù)均相等，光軸與攝像頭的成像平面垂直，兩臺攝像頭的x軸重合，y軸相互平行，因此將左攝像頭沿著其x軸方向平移一段距離b(稱為基線baseline)后與右攝像頭重合。由空間點(diǎn)a及左右兩攝像頭的光心ol、or確定的極平面(epipolarplane)分別與左右成像平面cl、cr的交線pl、pr為共軛極線對，分別與各自成像平面的坐標(biāo)軸ul、ur平行且共線。在這種理想的結(jié)構(gòu)形式中，左右攝像頭配置的幾何關(guān)系最為簡單，極線已具有很好的性質(zhì)，為尋找對象點(diǎn)a在左右成像平面上的投影點(diǎn)al和ar之間的匹配關(guān)系提供了非常便利的條件。

由識別掃描裝置進(jìn)行圖像獲取、攝像機(jī)標(biāo)定、特征提取、立體匹配、三維恢復(fù)和視頻分析。

數(shù)字圖像獲取是立體視覺的信息來源，立體視覺圖像一般為雙目圖像，有的采用多目圖像。圖像獲取的方式有多種，由具體運(yùn)用的場合和目的決定。立體圖像的獲取不僅要滿足應(yīng)用要求，而且要考慮視點(diǎn)差異、光照條件、攝像機(jī)性能和場景特點(diǎn)等方面的影響。

攝像機(jī)標(biāo)定是對三維場景中對象點(diǎn)在左右攝像機(jī)圖像平面上的坐標(biāo)位置al(ul，vl)、ar(ur，vr)與其世界空間坐標(biāo)a(x，y，z)之間的映射關(guān)系的確立，實(shí)現(xiàn)立體視覺三維模型重構(gòu)。

特征提取，獲取匹配賴以進(jìn)行的圖像特征，圖像特征的性質(zhì)與圖像匹配的選擇有密切的聯(lián)系。相位作為匹配基元，本身反映信號的結(jié)構(gòu)信息，對圖像的高頻噪聲有很好的抑制作用，適于并行處理，能獲得亞像素級精度的致密視差。但存在相位奇點(diǎn)和相位卷繞的問題，需加入自適應(yīng)濾波器解決?；蛘呤窍袼氐募?，也可以是抽象表達(dá)，如圖像結(jié)構(gòu)、圖像目標(biāo)和關(guān)系結(jié)構(gòu)等。匹配特征主要有點(diǎn)狀特征、線狀特征和區(qū)域特征等。尺度較大的圖像特征蘊(yùn)含較多的圖像信息，且特征本身的數(shù)目較少，匹配效率高。對于尺度較小的圖像特征來說，對其進(jìn)行表達(dá)和描述相對簡單，定位精度較高；但由于其本身數(shù)目較多，所包含的圖像信息少，在匹配時采較嚴(yán)格的約束條件和匹配策略，以盡可能地減少匹配歧義和提高匹配效率。好的匹配特征應(yīng)具有要可區(qū)分性、不變性、唯一性以及有效解決匹配歧義的能力。

圖像匹配是將三維空間中一點(diǎn)a(x，y，z)在左右攝像機(jī)的成像面cl和cr上的像點(diǎn)al(ul，vl)和ar(ur，vr)對應(yīng)起來。

三維恢復(fù)是對被測對象表面點(diǎn)的三維信息進(jìn)行恢復(fù)。影響三維測量精度的因素主要有攝像機(jī)標(biāo)定誤差、ccd成像設(shè)備的數(shù)字量化效應(yīng)、特征提取和匹配定位精度等。

視頻分析(運(yùn)動檢測、運(yùn)動跟蹤、規(guī)則判斷、報警處理)，通過視差計(jì)算，得到全屏幕的視差圖像后，采用背景建模的方式，得到運(yùn)動前景物體的視差圖像，再進(jìn)行膨脹和腐蝕算法進(jìn)行圖像預(yù)處理，得到完整的可供分析的前景運(yùn)動物體視差圖。采用運(yùn)動跟蹤算法，全屏實(shí)時檢測物體的大小、運(yùn)動軌跡，并與事先設(shè)置的規(guī)則進(jìn)行對比，如果有人進(jìn)入或離開設(shè)置報警區(qū)域，系統(tǒng)則實(shí)時報警。

綜上所述，本發(fā)明將增強(qiáng)現(xiàn)實(shí)和虛擬現(xiàn)實(shí)相結(jié)合，產(chǎn)生新的可視化環(huán)境；結(jié)合眼鏡，呈現(xiàn)虛擬的四維場景；數(shù)據(jù)處理交互模式，實(shí)時運(yùn)行，在四維場景中，體驗(yàn)ar技術(shù)。為全新的體驗(yàn)?zāi)Ｊ?，在某種意義上來說，是將博物館搬回了家，可以在家中就能參觀體驗(yàn)博物館，不用去排隊(duì)參觀，從體驗(yàn)上來說，融合了科技的時代感，能夠接觸到最新的科學(xué)技術(shù)?？梢耘c文物親密接觸，甚至可將文物拿在手中把玩，提升了博物館的趣味性和教育意義。

需要說明的是：以上所述僅為本發(fā)明的優(yōu)選實(shí)施方式，并非用以限定本發(fā)明的權(quán)利范圍；同時以上的描述，對于相關(guān)技術(shù)領(lǐng)域的專門人士應(yīng)可明了及實(shí)施，因此其它未脫離本發(fā)明所揭示的精神下所完成的等效改變或修飾，均應(yīng)包含在申請專利范圍中。