專利名稱：基于增強(qiáng)虛擬現(xiàn)實(shí)與異型屏的實(shí)時(shí)人機(jī)互動(dòng)方法及系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種虛擬現(xiàn)實(shí)的實(shí)時(shí)人機(jī)互動(dòng)方法及系統(tǒng)，特別是一種增強(qiáng)虛擬現(xiàn)實(shí)與異型 屏的實(shí)時(shí)人機(jī)互動(dòng)技術(shù)方法及系統(tǒng)。
背景技術(shù)：
增強(qiáng)現(xiàn)實(shí)技術(shù)(AR—-Augmented Reality)系統(tǒng)就是把VR放在真實(shí)的環(huán)境中去檢查。從 目前發(fā)展趨勢(shì)來看，這種與實(shí)際環(huán)境相結(jié)合的虛擬體驗(yàn)方式是虛擬現(xiàn)實(shí)技術(shù)發(fā)展最有效的實(shí) 施技術(shù)之一。國(guó)外在AR技術(shù)研究和應(yīng)用上還是領(lǐng)先的，并在技術(shù)上擁有多項(xiàng)知識(shí)產(chǎn)權(quán)和技術(shù) 標(biāo)準(zhǔn)。美國(guó)、歐洲和日本等國(guó)家目前在AR的關(guān)鍵技術(shù)獲得了許多突破，并在關(guān)鍵設(shè)備上也具 備了設(shè)計(jì)和制造能力，且獲得了預(yù)期的效果。如2000年英國(guó)牛津大學(xué)的Simon等人研究基于 共面自然特征點(diǎn)的跟蹤方法并應(yīng)用于建筑設(shè)計(jì)，將新建筑物或建筑裝飾物的三維模型與實(shí)景 的錄像融合在一起，通過這種方式可以對(duì)新建筑物和周圍的環(huán)境是否和諧提供了直觀的和重 要的判據(jù)。英國(guó)Fraunhofer學(xué)院還開發(fā)了適用于城市規(guī)劃的AR系統(tǒng)，使得建筑設(shè)計(jì)人員能 夠在現(xiàn)場(chǎng)預(yù)視方案的效果。日本在2005年愛知世博會(huì)上，日立企業(yè)館就應(yīng)用了一套AR系統(tǒng) 來演示人與自然、人與動(dòng)物的親密關(guān)系。在國(guó)內(nèi)，AR技術(shù)還處于起步階段。如北方交通大學(xué) 信息科學(xué)研究所提出了基于分布式增強(qiáng)現(xiàn)實(shí)系統(tǒng)中計(jì)算機(jī)視覺與虛擬現(xiàn)實(shí)系統(tǒng)集成的算法。 西安交通大學(xué)周建龍等基于仿射投影變換的理論提出了一種增強(qiáng)現(xiàn)實(shí)系統(tǒng)的三維匹配方法。 上海大學(xué)于2001年上半年開始啟動(dòng)基于PC平臺(tái)的AR系統(tǒng)的研究，設(shè)計(jì)了基于PC平臺(tái)的AR 系統(tǒng)的結(jié)構(gòu)，實(shí)現(xiàn)了適合AR系統(tǒng)的、簡(jiǎn)便的、自動(dòng)的、高精度和魯棒的攝像頭定標(biāo)方法。
所謂異型屏技術(shù)就是把投影投在非平面的異型造型屏幕上，這樣的屏幕可以使模型和場(chǎng) 景，將結(jié)合特殊的圖形處理技術(shù)，利用多投影機(jī)拼接和圖像合成控制技術(shù)，在一個(gè)異型的屏 幕上變幻各種場(chǎng)景的變化，從而造成一種多視角、多屏幕顯示的環(huán)境由于利用多個(gè)小屏幕組 成一個(gè)大屏幕，控制軟件就要保證各個(gè)屏幕播放的內(nèi)容是同步的，這就要求控制端有可靠的 同步播放技術(shù)。當(dāng)前的同步技術(shù)可以分為兩種 一種是利用一個(gè)統(tǒng)一硬件時(shí)鐘作為各個(gè)單元 的同步時(shí)鐘，這種方法實(shí)現(xiàn)的同步效果好，而且速度快。但需要另外的硬件設(shè)備，造價(jià)比較 高。另外一種方法就是利用軟件控制同步。使用多線程技術(shù)，異歩反饋技術(shù)都可以實(shí)現(xiàn)同歩 的效果。本發(fā)明采用的就是軟件控制同步的方法。要實(shí)現(xiàn)大型場(chǎng)景異型屏投影無縫拼接，光 有垂直和水平方向的梯形矯正是不夠的，因此對(duì)畫面的變形矯正技術(shù)就是多屏幕無縫拼接的 關(guān)鍵技術(shù)之一。本課題采用軟件的方法，用計(jì)算機(jī)對(duì)圖像進(jìn)行變形矯正處理，并不依賴于具 體的投影儀?；谧烂娴男∫?guī)模AR應(yīng)用已取得很大進(jìn)展，但尚沒有與大劇場(chǎng)式多投影系統(tǒng)應(yīng)用的示例 支持多投影源的虛擬網(wǎng)絡(luò)投影系統(tǒng)及方法，AR專利方面，專利200710304245. 3，提出了一種 視頻增強(qiáng)現(xiàn)實(shí)輔助操作的焊接防護(hù)頭盔，用于機(jī)械加工制造方面。專利200710303603. 9,提 出了一種基于多個(gè)固是定攝像機(jī)的增強(qiáng)現(xiàn)實(shí)飛行模擬器，用于飛行訓(xùn)練模擬。專利 200680029773.6，提出了一種用于終端用戶編程的增強(qiáng)現(xiàn)實(shí)眼鏡的系統(tǒng)、設(shè)備和方法。專利 200610101229. X，提出了一種實(shí)現(xiàn)三維增強(qiáng)現(xiàn)實(shí)的方法及系統(tǒng)，捕獲真實(shí)環(huán)境中二維可視編 碼標(biāo)志物的視頻幀；進(jìn)行增強(qiáng)現(xiàn)實(shí)處理，合成視頻幀。但敞沒有在展覽展示方面的應(yīng)用。在 多投影系統(tǒng)方面，專利(申請(qǐng)?zhí)?00710064616.5)將連接計(jì)算機(jī)的普通顯示設(shè)備虛擬成可 供網(wǎng)絡(luò)使用的投影設(shè)備，從而通過網(wǎng)絡(luò)，方便了來自多個(gè)投影源的投影內(nèi)容在相同屏幕上的 同時(shí)顯示或者切換顯示。但僅使用了按鈕等方式作為人機(jī)交互方式，用戶幾乎無沉浸感可言， 對(duì)于多投影系統(tǒng)的優(yōu)點(diǎn)亦不能很好的利用。專利(申請(qǐng)?zhí)?00710071105.6)基于轉(zhuǎn)臺(tái)的 多投影大屏拼接方法，公開了一種基于轉(zhuǎn)臺(tái)的多投影大屏拼接方法，能夠完成幾何校正和幾 何對(duì)齊，同時(shí)還能夠進(jìn)行重疊區(qū)的定位，為亮度一致化做準(zhǔn)備。但是對(duì)于與多投影圖像內(nèi)容 進(jìn)行交互以及可能引起的問題沒有考慮。
目前AR技術(shù)的研究主要在應(yīng)用系統(tǒng)中進(jìn)行研究，并結(jié)合其它技術(shù)一起構(gòu)建一種新的研究 應(yīng)用。把增強(qiáng)虛擬現(xiàn)實(shí)技術(shù)與異型屏技術(shù)集成在一起還未見諸報(bào)道。目前在展覽展示上的研 究成果和應(yīng)用還很少。根據(jù)調(diào)研和査找資料，把增強(qiáng)虛擬現(xiàn)實(shí)技術(shù)和異型屏技術(shù)有機(jī)地集成 在一起，在展示上應(yīng)用更是沒有先例。

發(fā)明內(nèi)容
鑒于以上所述現(xiàn)有技術(shù)的存在的問題和不足，本發(fā)明的目的在于提供一種基于增強(qiáng)虛擬 現(xiàn)實(shí)的實(shí)時(shí)人機(jī)互動(dòng)技術(shù)方法及系統(tǒng)，利用AR技術(shù)與多投影系統(tǒng)交互。能夠通過網(wǎng)絡(luò)控制 AR設(shè)備、多投影系統(tǒng)的工作，完成多用戶、AR與多投影系統(tǒng)的協(xié)同交互工作，使用戶獲得深 入的沉浸感。
為達(dá)到上述目的，本發(fā)明采用下述技術(shù)構(gòu)思
根據(jù)人機(jī)工程學(xué)的原理，利用計(jì)算機(jī)視覺、網(wǎng)絡(luò)通信技術(shù)與多投影互動(dòng)技術(shù)將攝像頭與 跟蹤設(shè)備提供的傳感器信息進(jìn)行融合，并進(jìn)行動(dòng)作識(shí)別與響應(yīng)，利用網(wǎng)絡(luò)同步機(jī)制等完成多 用戶的協(xié)同交互工作。系統(tǒng)運(yùn)行初期，先進(jìn)行初始化工作，完成攝像頭的標(biāo)定和定位用戶的 起始視點(diǎn)，讀入可變換的異型拼接的多媒體圖像與真實(shí)實(shí)物融合為一體化的場(chǎng)景模型。系統(tǒng) 運(yùn)行時(shí)，跟蹤系統(tǒng)通過對(duì)視頻信息和磁力傳感器的信息計(jì)算出視點(diǎn)的位置和方向，圖形數(shù)據(jù) 管理系統(tǒng)對(duì)應(yīng)視點(diǎn)的變化對(duì)場(chǎng)景模型進(jìn)行變換和渲染，其中計(jì)算任務(wù)自動(dòng)分配到各個(gè)計(jì)算結(jié)
5點(diǎn)上。合成顯示系統(tǒng)將虛擬場(chǎng)景的畫面和真實(shí)場(chǎng)景的畫面合成并生成立體圖像對(duì)，將立體圖 像對(duì)中的畫面分別傳送到頭盔上的左右屏幕上，用戶就能感受到具有沉浸感的虛實(shí)結(jié)合的世 界。在運(yùn)行過程中，系統(tǒng)還能接受用戶的交互動(dòng)作，變化交互目標(biāo)物(虛擬的物體)的各種 屬性，如形狀、位置、顏色和運(yùn)動(dòng)速度等，讓用戶體驗(yàn)更多主題內(nèi)容在現(xiàn)實(shí)中無法感受的奇 妙變幻和對(duì)未來的某種暢想。
本發(fā)明采用以下技術(shù)方案實(shí)現(xiàn)
一種基于增強(qiáng)虛擬現(xiàn)實(shí)的實(shí)時(shí)人機(jī)互動(dòng)方法、其特征在于操作步驟如下
1. 一種基于增強(qiáng)虛擬現(xiàn)實(shí)與異型屏的實(shí)時(shí)人機(jī)互動(dòng)方法、其特征在于操作步驟如下
1) 對(duì)要交互的虛擬物體進(jìn)行建模；對(duì)統(tǒng)計(jì)平均的人手模型進(jìn)行建模；
2) 由N臺(tái)攝像頭對(duì)人手進(jìn)行視頻采集，獲得原始圖像；
3) 在計(jì)算機(jī)內(nèi)進(jìn)行處理，步驟為
① 實(shí)現(xiàn)實(shí)時(shí)光透式增強(qiáng)顯示的方法對(duì)拍攝的人手原始圖像，經(jīng)過分割處理后，進(jìn)行三 維重構(gòu)，轉(zhuǎn)換到與虛擬物體相同的坐標(biāo)系，進(jìn)行碰撞檢測(cè)。先利用包圍盒方法進(jìn)行粗步檢測(cè)， 如果有碰撞存在，再進(jìn)行精確檢測(cè)，利用人工免疫系統(tǒng)方法進(jìn)行精確檢測(cè)，實(shí)現(xiàn)快速虛實(shí)碰 撞檢測(cè)。對(duì)碰撞后的虛擬模型進(jìn)行變形處理，進(jìn)行注冊(cè)后顯示在光透式頭盔顯示器上。
② 實(shí)時(shí)虛實(shí)抓握、拋物動(dòng)作檢測(cè)與實(shí)時(shí)拋物動(dòng)畫生成算法對(duì)拍攝的原始圖像，經(jīng)過膚 色統(tǒng)計(jì)進(jìn)行圖像分割，對(duì)分割后的圖像進(jìn)行骨骼化處理，利用預(yù)建好的抓握分類模型進(jìn)行篩 選，確定動(dòng)作類型。在抓握成功的基礎(chǔ)上，利用幀的差分算法來計(jì)算加速度和方向變量值等 系數(shù)進(jìn)行拋物動(dòng)作檢測(cè)判斷，如果大于試驗(yàn)統(tǒng)計(jì)平均值，則為拋物成功。在拋物成功后實(shí)時(shí) 生成相應(yīng)的拋物動(dòng)畫。
③ 實(shí)時(shí)多屏交互方法對(duì)生成的實(shí)時(shí)拋物動(dòng)畫進(jìn)行跨屏處理，對(duì)于從一個(gè)投影屏幕飛出 到另一投影屏幕的情況進(jìn)行圖像融合。利用網(wǎng)絡(luò)平臺(tái)實(shí)現(xiàn)分布式預(yù)處理。
一種用于上述基于增強(qiáng)虛擬現(xiàn)實(shí)與異型屏的實(shí)時(shí)人機(jī)互動(dòng)方法用的系統(tǒng)，包括實(shí)現(xiàn)實(shí)時(shí) 光透式增強(qiáng)顯示的系統(tǒng)(4)、實(shí)時(shí)虛實(shí)抓握、拋物動(dòng)作檢測(cè)與實(shí)時(shí)拋物動(dòng)畫生成算法及系統(tǒng)(5) 實(shí)時(shí)多異型屏交互系統(tǒng)(6)，系統(tǒng)之間使用網(wǎng)絡(luò)交換機(jī)連接，系統(tǒng)如圖2所示。其特征在于
1) 實(shí)時(shí)光透式增強(qiáng)顯示的系統(tǒng)(4)，由兩套獨(dú)立的系統(tǒng)組成。每套由一個(gè)OLED光透式頭 盔顯示器加兩個(gè)的攝像頭和處理PC構(gòu)成；每套設(shè)備利用一臺(tái)處理PC完成增強(qiáng)光透顯示方法
的處理。
2) 實(shí)時(shí)虛實(shí)抓握、拋物動(dòng)作檢測(cè)與實(shí)時(shí)拋物動(dòng)畫生成系統(tǒng)(5)為視覺和磁力設(shè)備融合的 多傳感器系統(tǒng)，由磁力跟蹤設(shè)備與(4)的設(shè)備構(gòu)成。系統(tǒng)(5)在(4)的基礎(chǔ)上增加了磁力設(shè)備，進(jìn)行信息融合實(shí)現(xiàn)虛實(shí)抓握、拋物動(dòng)作處理。
3)實(shí)時(shí)多異型屏交互系統(tǒng)(6)在系統(tǒng)(5)的基礎(chǔ)上，增加了 5臺(tái)PC和8臺(tái)投影機(jī)實(shí)現(xiàn) 多屏交互。每?jī)膳_(tái)投影機(jī)由一臺(tái)渲染PC控制，另由一臺(tái)PC作為時(shí)序和腳本控制與音響處理。 系統(tǒng)(4) (5) (6)之間的PC通信由局域網(wǎng)交換機(jī)完成。本發(fā)明提供的方法是一種實(shí)時(shí)增強(qiáng) 現(xiàn)實(shí)顯示、實(shí)時(shí)人機(jī)交互動(dòng)作識(shí)別及多投影交互的方法。
下面對(duì)發(fā)明的技術(shù)方案作較詳細(xì)說明實(shí)現(xiàn)實(shí)時(shí)光透式增強(qiáng)顯示的系統(tǒng)，包括采用膚色 統(tǒng)計(jì)的方法分割人手圖像，利用3DSMAX建好人手的平均模型，轉(zhuǎn)換到與虛擬物體相同的坐標(biāo) 系，進(jìn)行實(shí)時(shí)人手的三維重構(gòu)，先利用包圍盒方法進(jìn)行粗步檢測(cè)，如果有碰撞存在，再進(jìn)行 精確檢測(cè)，利用人工免疫系統(tǒng)方法進(jìn)行精確檢測(cè)(詳見具體實(shí)施方式
部分說明)。
精確確定碰撞集后，按照程度不同響應(yīng)虛擬物體，使其做表面紋理變形，具體方式是預(yù) 置好64個(gè)可能的變形動(dòng)畫，根據(jù)碰撞情況的不同進(jìn)行調(diào)用播放響應(yīng)動(dòng)畫。同時(shí)虛化3D手的 模型，使其不出現(xiàn)在HMD的顯示屏中，利用均值插值使響應(yīng)動(dòng)畫按幀序展現(xiàn)在HMD的顯示屏 中。
實(shí)時(shí)人機(jī)交互動(dòng)作識(shí)別系統(tǒng)，包括利用實(shí)現(xiàn)實(shí)時(shí)光透式增強(qiáng)顯示的系統(tǒng)分割好的圖像， 對(duì)動(dòng)態(tài)圖像進(jìn)行幀的差分計(jì)算，骨骼化后再計(jì)算其包含的運(yùn)動(dòng)特征，包括:手指彎曲度，掌心 角度，與預(yù)存的數(shù)據(jù)庫進(jìn)行索引比較，以確定動(dòng)作成功率。計(jì)算加速度和方向變量值等系數(shù) 進(jìn)行拋物動(dòng)作檢測(cè)判斷。如果大于試驗(yàn)統(tǒng)計(jì)平均值，則為拋物成功。
其中，捕捉真實(shí)手的動(dòng)作而確定虛擬手的位姿需要磁力跟蹤和數(shù)據(jù)手套的協(xié)同工作。首 先磁力跟蹤接收器放在手腕處，得到手腕在世界坐標(biāo)系下的位置和歐拉角，進(jìn)而得到該處的 齊次變換矩陣。之后，根據(jù)DH算法，在各關(guān)節(jié)處建立局部坐標(biāo)系，推出從i坐標(biāo)系中坐標(biāo)變 換到i-l坐標(biāo)系坐標(biāo)的變換矩陣，通過矩陣連乘，得到手各關(guān)節(jié)和指尖在世界坐標(biāo)系中的坐 標(biāo)。
實(shí)時(shí)多異型屏交互系統(tǒng)，包括對(duì)圖像要展示的內(nèi)容進(jìn)行內(nèi)容劃分，展示背景在固定的投 影屏上，對(duì)交互內(nèi)容進(jìn)行腳本控制處理，利用多臺(tái)PC進(jìn)行分布式渲染，對(duì)拼接部分進(jìn)行預(yù)處 理，使跨屏動(dòng)畫融合按時(shí)序渲染。
利用多個(gè)小屏幕組成一個(gè)大屏幕，控制軟件保證各個(gè)屏幕播放的內(nèi)容是同步的，控制端 有可靠的同步播放技術(shù)。利用軟件控制同步。使用多線程技術(shù)，異步反饋技術(shù)都可以實(shí)現(xiàn)同 步的效果。異步反饋技術(shù)就是利用控制端實(shí)時(shí)的收集播放端反饋的信息來控制它們的同步播 放?？刂贫酥恍枰袛嗖シ哦朔答伝貋淼牟シ艩顟B(tài)是否一致，根據(jù)播放端一致的情況決定是 否發(fā)出控制指令。由于有了播放端的反饋信息，就可以保證在局域網(wǎng)環(huán)境下保持同步。對(duì)畫面的變形矯正技術(shù)本課題采用軟件的方法，用計(jì)算機(jī)對(duì)圖像進(jìn)行變形矯正處理，并不依賴于 具體的投影儀。系統(tǒng)采用的實(shí)時(shí)變形矯正技術(shù)，為非線性失真校正，可以對(duì)投射到球幕或環(huán) 幕這樣的異型屏投影屏幕上的圖像進(jìn)行矯正。
使多個(gè)不同投影儀的投影畫面無縫拼接在一起，消除邊緣亮帶或陰影，使整個(gè)投影屏幕 達(dá)到一體化的全景效果。目前一些常見的拼接方法有無融合硬拼、簡(jiǎn)單重疊、邊緣融合。 本課題將采用的方法是第三種邊緣融合。采用圖像拼接邊緣融合技術(shù)，消除邊緣陰影，使 整屏達(dá)到一體化立體全景效果。與簡(jiǎn)單重疊方法相比，左投影光機(jī)的右邊重疊部分的亮度線 性衰減，右投影光機(jī)的左邊重疊部分的亮度線性增加。在顯示效果上表現(xiàn)為整幅畫面亮度完 全一致。
本發(fā)明與現(xiàn)有技術(shù)相比較，具有如下顯而易見的突出特點(diǎn)和顯著優(yōu)點(diǎn)本發(fā)明采用上述 的虛擬融合再虛化的實(shí)時(shí)增強(qiáng)現(xiàn)實(shí)顯示、實(shí)時(shí)人機(jī)交互動(dòng)作識(shí)別及多投影交互融合的方法， 從而具有實(shí)時(shí)AR交互顯示、實(shí)時(shí)性強(qiáng)、通用和經(jīng)濟(jì)實(shí)用的優(yōu)點(diǎn)。
通訊模塊是保證整個(gè)系統(tǒng)同步運(yùn)行的基礎(chǔ)，基于局域網(wǎng)的實(shí)時(shí)通信協(xié)議主要包括多機(jī)同 歩信息、硬件控制命令信息、傳感器信息、渲染命令信息等.
通信模塊被調(diào)用時(shí)首先檢査自己是否被初始化，在初始化中，通信模塊收集子模塊的信 息來靈活地決定發(fā)送接收緩沖區(qū)的大小。若該模塊所包含的socket尚未與其對(duì)應(yīng)的遠(yuǎn)端 socket連接，則嘗試連接。若己連接，則通過檢査socketmap容器決定工作模式 (Server/Client),并申請(qǐng)緩沖區(qū)，建立通信線程，執(zhí)行通信主體，以服務(wù)器先發(fā)送，客戶 端接收后發(fā)送，服務(wù)器最后接收為一次通信流程，然后通過等待渲染主線程的事件進(jìn)行多線 程同步。
網(wǎng)絡(luò)模塊的時(shí)序如圖所示，在采用阻塞模式并使用事件同步機(jī)制的情況下，該時(shí)序保證
了在渲染場(chǎng)景時(shí)每一幀只發(fā)送一組數(shù)據(jù)，不僅協(xié)調(diào)了各機(jī)器渲染速度差異帶來的發(fā)送接收不
一致的現(xiàn)象，而且能使得網(wǎng)絡(luò)流量控制為最小。


圖1為本發(fā)明方法在計(jì)算機(jī)內(nèi)進(jìn)行處理的程序框圖。
圖2為本發(fā)明一個(gè)實(shí)施例的系統(tǒng)結(jié)構(gòu)框圖。
圖3為圖1示例的詳細(xì)流程圖。
圖4為投影交互系統(tǒng)結(jié)構(gòu)圖。
圖5傳感器融合結(jié)構(gòu)圖。
圖6 AR增強(qiáng)顯示渲染平臺(tái)模塊圖
具體實(shí)施例方式
本發(fā)明的一個(gè)優(yōu)選實(shí)施例是參照?qǐng)D1本基于增強(qiáng)虛擬現(xiàn)實(shí)與異型屏的實(shí)時(shí)人機(jī)互動(dòng)方 法的操作步驟如下-
1實(shí)現(xiàn)實(shí)時(shí)光透式增強(qiáng)顯示對(duì)拍攝的人手原始圖像，經(jīng)過分割處理后，進(jìn)行三維重構(gòu)， 轉(zhuǎn)換到與虛擬物體相同的坐標(biāo)系，進(jìn)行碰撞檢測(cè)；先利用包圍盒方法進(jìn)行粗步檢測(cè)，如果有 碰撞存在，再進(jìn)行精確檢測(cè)，利用人工免疫系統(tǒng)方法進(jìn)行精確檢測(cè)，實(shí)現(xiàn)快速虛實(shí)碰撞檢測(cè)； 對(duì)碰撞后的虛擬模型進(jìn)行變形處理，進(jìn)行注冊(cè)后顯示在光透式頭盔顯示器上；
2實(shí)時(shí)虛實(shí)抓握、拋物動(dòng)作檢測(cè)與實(shí)時(shí)拋物動(dòng)畫生成計(jì)算對(duì)拍攝的原始圖像，經(jīng)過膚色 統(tǒng)計(jì)進(jìn)行圖像分割，對(duì)分割后的圖像進(jìn)行骨骼化處理，利用預(yù)建好的抓握分類模型進(jìn)行篩選， 確定動(dòng)作類型；在抓握成功的基礎(chǔ)上，利用幀的差分算法來計(jì)算加速度和方向變量值等系數(shù) 進(jìn)行拋物動(dòng)作檢測(cè)判斷，如果大于試驗(yàn)統(tǒng)計(jì)平均值，則為拋物成功；在拋物成功后實(shí)時(shí)生成 相應(yīng)的拋物動(dòng)畫；
3實(shí)時(shí)多屏交互對(duì)生成的實(shí)時(shí)拋物動(dòng)畫進(jìn)行跨屏處理，對(duì)于從一個(gè)投影屏幕飛出到另一 投影屏幕的情況進(jìn)行圖像融合；利用網(wǎng)絡(luò)平臺(tái)實(shí)現(xiàn)分布式預(yù)處理。
參見圖2，基于增強(qiáng)虛擬現(xiàn)實(shí)與異型屏的實(shí)時(shí)人機(jī)互動(dòng)方法用的系統(tǒng)，包括實(shí)現(xiàn)實(shí)時(shí)光透 式增強(qiáng)顯示的系統(tǒng)(4)、實(shí)時(shí)虛實(shí)抓握、拋物動(dòng)作檢測(cè)與實(shí)時(shí)拋物動(dòng)畫生成算法及系統(tǒng)(5)實(shí) 時(shí)多異型屏交互系統(tǒng)(6)，系統(tǒng)之間使用網(wǎng)絡(luò)交換機(jī)利用網(wǎng)線連接，其特征在于-實(shí)時(shí)光透式增強(qiáng)顯示的系統(tǒng)(4〉，由兩套獨(dú)立的系統(tǒng)組成；每套由一個(gè)OLED光透式頭盔顯示 器加兩個(gè)的攝像頭和處理PC構(gòu)成；每套設(shè)備利用一臺(tái)處理PC完成增強(qiáng)光透顯示方法的處理； 實(shí)時(shí)虛實(shí)抓握、拋物動(dòng)作檢測(cè)與實(shí)時(shí)拋物動(dòng)畫生成系統(tǒng)(5)為視覺和磁力設(shè)備融合的多傳感器 系統(tǒng)，由磁力跟蹤設(shè)備與實(shí)時(shí)光透式增強(qiáng)顯示的系統(tǒng)(4)構(gòu)成；在實(shí)時(shí)光透式增強(qiáng)顯示的系 統(tǒng)(4)的基礎(chǔ)上增加了磁力設(shè)備，進(jìn)行信息融合實(shí)現(xiàn)虛實(shí)抓握、拋物動(dòng)作處理 實(shí)時(shí)多異型屏交互系統(tǒng)(6)在實(shí)時(shí)虛實(shí)抓握、拋物動(dòng)作檢測(cè)與實(shí)時(shí)拋物動(dòng)畫生成系統(tǒng)(5)的基 礎(chǔ)上，增加了5臺(tái)PC和8臺(tái)投影機(jī)實(shí)現(xiàn)多屏交互；每?jī)膳_(tái)投影機(jī)由一臺(tái)渲染PC控制，另由 一臺(tái)PC作為時(shí)序和腳本控制與音響處理；實(shí)時(shí)光透式增強(qiáng)顯示的系統(tǒng)(4)、實(shí)時(shí)虛實(shí)抓握、 拋物動(dòng)作檢測(cè)與實(shí)時(shí)拋物動(dòng)畫生成系統(tǒng)(5)和實(shí)時(shí)多異型屏交互系統(tǒng)(6)之間的PC通信由局 域網(wǎng)交換機(jī)完成。
其中免疫虛實(shí)碰撞檢測(cè)的過程如下(a)抗原識(shí)別，待求解問題的數(shù)據(jù)輸入。(b)初始 抗體產(chǎn)生，激活記憶細(xì)胞產(chǎn)生初始抗體。(c)抗體度量，計(jì)算親合度和濃度。(d)濃度選擇。 (e)記憶細(xì)胞產(chǎn)生，將與抗原有最高親合度的抗體全為記憶細(xì)胞保留在記憶細(xì)胞庫中。由于記
9憶細(xì)胞的數(shù)目比較有限，將產(chǎn)生的與抗原具有更高親合度的抗體將替換親合度的較低的抗 體。(f)抗體產(chǎn)生的促進(jìn)和抑制，對(duì)與抗原有較高親合度的抗體進(jìn)行促進(jìn)，對(duì)濃度較高的抗 體進(jìn)行抑制。該步驟對(duì)于保持抗體群體的多樣性，避免過早收斂從而實(shí)現(xiàn)全局優(yōu)化有著重要 的作用。利用遺傳算法的選擇、交叉和變異算子產(chǎn)生新的抗體。在以上步驟中，步驟c至步 驟f要迭代運(yùn)行，直到滿足終止條件(收斂判據(jù))為止。
對(duì)碰撞后的虛擬模型進(jìn)行變形處理，進(jìn)行注冊(cè)后顯示在光透式頭盔顯示器上。磁力跟蹤 處理模塊主要處理完成原始的跟蹤信息的采集與平滑傳感器信息融合模塊完成計(jì)算機(jī)視覺 與磁力跟蹤處理模塊信息的融合與選擇。如圖4所示，對(duì)每個(gè)用戶安裝一套傳感器設(shè)備，包 括N/2個(gè)攝像頭，2個(gè)6D0F磁力跟蹤設(shè)備， 一個(gè)光透式HMD， 一臺(tái)融合處理PC。實(shí)時(shí)人機(jī)交 互動(dòng)作識(shí)別與實(shí)時(shí)拋物動(dòng)畫生成算法及系統(tǒng)2的動(dòng)作處理模塊利用分割好的圖像，對(duì)動(dòng)態(tài)圖 像進(jìn)行幀的差分計(jì)算，骨骼化后再計(jì)算其包含的運(yùn)動(dòng)特征，包括:手指彎曲度，掌心角度，與 預(yù)存的數(shù)據(jù)庫進(jìn)行索引比較，以確定動(dòng)作成功率。計(jì)算加速度和方向變量值等系數(shù)進(jìn)行拋物 動(dòng)作檢測(cè)判斷。如果大于試驗(yàn)統(tǒng)計(jì)平均值，則為拋物成功。交互渲染控制，多用戶交互同步 控制完成系統(tǒng)多用戶腳本控制功能，確保異型屏與多用戶交互的時(shí)序正確實(shí)現(xiàn)。實(shí)時(shí)多異型 屏交互系統(tǒng)3的多投影機(jī)控制完成投影機(jī)圖像融合與亮度調(diào)整功能；CG通信平臺(tái)完成AR系 統(tǒng)與異型屏系統(tǒng)的通信功能，采用幀通信控制時(shí)序。
實(shí)時(shí)人機(jī)交互動(dòng)作識(shí)別與實(shí)時(shí)拋物動(dòng)畫生成算法及系統(tǒng)5與實(shí)時(shí)多異型屏交互系統(tǒng)6的
交互過程參照?qǐng)D3所示7.交互開始時(shí)序到達(dá)；8.設(shè)備自檢通過；9.針對(duì)具體用戶的設(shè)備校 正程序，完成定制的高度與靈敏度10.調(diào)用提示程序,針對(duì)9的校正進(jìn)行微調(diào)；11.交互過程開 始的第一次同步，設(shè)置同步標(biāo)志；12.調(diào)用渲染物體模型進(jìn)入內(nèi)存；設(shè)置物體類型標(biāo)志；13. 動(dòng)作檢測(cè)循環(huán)；14.動(dòng)態(tài)生成提示信息；15.抓握識(shí)別系統(tǒng)范圍；16.粘合姿態(tài)顯示與跟蹤；174. 進(jìn)入拋物運(yùn)動(dòng)準(zhǔn)備階段；18.對(duì)多用戶進(jìn)度進(jìn)行同步控制；19.多投影異型屏系統(tǒng)響應(yīng)；20. 拋物識(shí)別系統(tǒng)范圍；21.HMD注冊(cè)與融合；22.投影系統(tǒng)注冊(cè)與融合；23. HMD與多投影同步控 制；24.多虛擬物體循環(huán)；25.同步控制結(jié)束；26.投影系統(tǒng)交互響應(yīng)顯示；27.同步結(jié)束過程。
參照?qǐng)D4，投影系統(tǒng)的結(jié)構(gòu)是要求有3%的邊緣重合的。投影機(jī)l， 2是用來完成實(shí)時(shí)人 機(jī)交互動(dòng)作識(shí)別系統(tǒng)的虛擬場(chǎng)景展示的。投影機(jī)2是完成到大屏的過渡場(chǎng)景展示的。投影機(jī) 5， 6為主屏投影機(jī)。投影機(jī)的同步由交互控制系統(tǒng)完成。用戶的可視窗口大小為4X1.5M。
參照?qǐng)D5，圖5描述的是AR增強(qiáng)顯示系統(tǒng)的安裝位置。多個(gè)攝像頭根據(jù)需要分別安裝在 用戶的左右兩側(cè)。用戶使用高度固定的吧椅來約定用戶的使用位置。
參照?qǐng)D6，本發(fā)明AR渲染平臺(tái)結(jié)構(gòu)首先通過外部設(shè)備采集數(shù)據(jù)，包括數(shù)據(jù)手套和磁力跟蹤，對(duì)這些數(shù)據(jù)進(jìn)行必要的處理，包括磁力跟蹤數(shù)據(jù)的濾波，插值及在此基礎(chǔ)上的坐標(biāo)變化， 物理模擬，運(yùn)動(dòng)捕捉，碰撞檢測(cè)等。然后是對(duì)場(chǎng)景的渲染，依次是相機(jī)，景物，光照，動(dòng)畫 提示等。最后是網(wǎng)絡(luò)通信線程，它與渲染主線程并行。
權(quán)利要求
1.一種基于增強(qiáng)虛擬現(xiàn)實(shí)與異型屏的實(shí)時(shí)人機(jī)互動(dòng)方法、其特征在于操作步驟如下A.對(duì)要交互的虛擬物體進(jìn)行建模；對(duì)統(tǒng)計(jì)平均的人手模型進(jìn)行建模；B.由N臺(tái)攝像頭對(duì)人手進(jìn)行視頻采集，獲得原始圖像；C.在計(jì)算機(jī)內(nèi)進(jìn)行處理，步驟為a.實(shí)現(xiàn)實(shí)時(shí)光透式增強(qiáng)顯示對(duì)拍攝的人手原始圖像，經(jīng)過分割處理后，進(jìn)行三維重構(gòu)，轉(zhuǎn)換到與虛擬物體相同的坐標(biāo)系，進(jìn)行碰撞檢測(cè)；先利用包圍盒方法進(jìn)行粗步檢測(cè)，如果有碰撞存在，再進(jìn)行精確檢測(cè)，利用人工免疫系統(tǒng)方法進(jìn)行精確檢測(cè)，實(shí)現(xiàn)快速虛實(shí)碰撞檢測(cè)；對(duì)碰撞后的虛擬模型進(jìn)行變形處理，進(jìn)行注冊(cè)后顯示在光透式頭盔顯示器上；b.實(shí)時(shí)虛實(shí)抓握、拋物動(dòng)作檢測(cè)與實(shí)時(shí)拋物動(dòng)畫生成計(jì)算對(duì)拍攝的原始圖像，經(jīng)過膚色統(tǒng)計(jì)進(jìn)行圖像分割，對(duì)分割后的圖像進(jìn)行骨骼化處理，利用預(yù)建好的抓握分類模型進(jìn)行篩選，確定動(dòng)作類型；在抓握成功的基礎(chǔ)上，利用幀的差分算法來計(jì)算加速度和方向變量值等系數(shù)進(jìn)行拋物動(dòng)作檢測(cè)判斷，如果大于試驗(yàn)統(tǒng)計(jì)平均值，則為拋物成功；在拋物成功后實(shí)時(shí)生成相應(yīng)的拋物動(dòng)畫；c.實(shí)時(shí)多屏交互對(duì)生成的實(shí)時(shí)拋物動(dòng)畫進(jìn)行跨屏處理，對(duì)于從一個(gè)投影屏幕飛出到另一投影屏幕的情況進(jìn)行圖像融合；利用網(wǎng)絡(luò)平臺(tái)實(shí)現(xiàn)分布式預(yù)處理。
2. —種用于根據(jù)權(quán)利要求1所述基于增強(qiáng)虛擬現(xiàn)實(shí)與異型屏的實(shí)時(shí)人機(jī)互動(dòng)方法的系統(tǒng)， 包括實(shí)現(xiàn)實(shí)時(shí)光透式增強(qiáng)顯示的系統(tǒng)(4)、實(shí)時(shí)虛實(shí)抓握、拋物動(dòng)作檢測(cè)與實(shí)時(shí)拋物動(dòng)畫 生成算法及系統(tǒng)(5)實(shí)時(shí)多異型屏交互系統(tǒng)(6)，系統(tǒng)之間使用網(wǎng)絡(luò)交換機(jī)利用網(wǎng)線連接，其特征在于1) 實(shí)時(shí)光透式增強(qiáng)顯示的系統(tǒng)(4)，由兩套獨(dú)立的系統(tǒng)組成；每套由一個(gè)OLED光透式頭盔顯示器加兩個(gè)的攝像頭和處理PC構(gòu)成；每套設(shè)備利用一臺(tái)處理PC完成增強(qiáng)光透顯示方法的處理；2) 實(shí)時(shí)虛實(shí)抓握、拋物動(dòng)作檢測(cè)與實(shí)時(shí)拋物動(dòng)畫生成系統(tǒng)(5)為視覺和磁力設(shè)備融合 的多傳感器系統(tǒng)，由磁力跟蹤設(shè)備與實(shí)時(shí)光透式增強(qiáng)顯示的系統(tǒng)(4)構(gòu)成；在實(shí) 時(shí)光透式增強(qiáng)顯示的系統(tǒng)(4)的基礎(chǔ)上增加了磁力設(shè)備，進(jìn)行信息融合實(shí)現(xiàn)虛實(shí) 抓握、拋物動(dòng)作處理；3) 實(shí)時(shí)多異型屏交互系統(tǒng)(6)在實(shí)時(shí)虛實(shí)抓握、拋物動(dòng)作檢測(cè)與實(shí)時(shí)拋物動(dòng)畫生成系 統(tǒng)(5)的基礎(chǔ)上，增加了5臺(tái)PC和8臺(tái)投影機(jī)實(shí)現(xiàn)多屏交互；每?jī)膳_(tái)投影機(jī)由一臺(tái)渲染PC控制，另由一臺(tái)PC作為時(shí)序和腳本控制與音響處理；實(shí)時(shí)光透式增強(qiáng)顯示的系統(tǒng)(4)、實(shí)時(shí)虛實(shí)抓握、拋物動(dòng)作檢測(cè)與實(shí)時(shí)拋物動(dòng)畫生成系統(tǒng)(5)和實(shí) 時(shí)多異型屏交互系統(tǒng)(6)之間的PC通信由局域網(wǎng)交換機(jī)完成。
全文摘要
本發(fā)明提供了一種基于增強(qiáng)虛擬現(xiàn)實(shí)與異型屏的實(shí)時(shí)人機(jī)互動(dòng)方法及系統(tǒng)。本方法的操作步驟為1)對(duì)要交互的虛擬物體進(jìn)行建模，對(duì)統(tǒng)計(jì)平均的人手模型進(jìn)行建模；2)由N臺(tái)攝像頭對(duì)人手進(jìn)行視頻采集，獲得原始圖像；3)在計(jì)算機(jī)內(nèi)進(jìn)行處理。本系統(tǒng)包括實(shí)現(xiàn)實(shí)時(shí)光透式增強(qiáng)顯示的系統(tǒng)、實(shí)時(shí)虛實(shí)抓握、拋物動(dòng)作檢測(cè)與實(shí)時(shí)拋物動(dòng)畫生成算法及系統(tǒng)、以及實(shí)時(shí)多異型屏交互系統(tǒng)。在大型異型屏場(chǎng)景中做各種虛實(shí)變換，在立體眼鏡中嵌入表現(xiàn)互動(dòng)內(nèi)容的三維動(dòng)畫或者三維圖像，加之視音頻設(shè)備、燈光控制設(shè)備等展示將構(gòu)建一整套大型的特殊效果。
文檔編號(hào)G06F3/01GK101539804SQ200910047360
公開日2009年9月23日 申請(qǐng)日期2009年3月11日 優(yōu)先權(quán)日2009年3月11日
發(fā)明者俞曉明, 燕 劉, 姚爭(zhēng)為, 李啟明, 俊 胡, 許永順, 譚志鵬, 鄒一波, 濤 陸, 陸意駿, 偉 陳, 明 陳, 陳一民, 黃詩華 申請(qǐng)人:上海大學(xué)