一種數(shù)字化虛實(shí)交互系統(tǒng)及方法
【專利摘要】本發(fā)明公開了一種數(shù)字化虛實(shí)交互系統(tǒng)及方法，該系統(tǒng)硬件包括手勢采集設(shè)備、處理設(shè)備以及顯示設(shè)備。該方法包含如下步驟：（1）跟蹤捕捉攝像機(jī)采集到的用戶指尖的運(yùn)動(dòng)軌跡；（2）在顯示器上實(shí)時(shí)繪制軌跡曲線，或用觸摸屏顯示并記錄用戶指尖留下的軌跡；（3）提取運(yùn)動(dòng)軌跡形成的輪廓，檢測其形狀并賦予文字語義；（4）搭建三維模型庫，通過語義管理圖形庫中的三維模型；（5）根據(jù)用戶手繪軌跡的語義檢索三維模型庫，加載對(duì)應(yīng)的三維模型并顯示三維虛擬環(huán)境；（6）用戶與三維模型及虛擬環(huán)境動(dòng)態(tài)交互，實(shí)現(xiàn)數(shù)字化的虛實(shí)交互功能。本發(fā)明將適用于數(shù)字娛樂、虛擬設(shè)計(jì)、虛實(shí)互動(dòng)、虛擬教學(xué)等多種應(yīng)用領(lǐng)域。
【專利說明】一種數(shù)字化虛實(shí)交互系統(tǒng)及方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種數(shù)字化虛實(shí)交互系統(tǒng)及方法，屬于計(jì)算機(jī)圖形圖像處理及虛擬現(xiàn)實(shí)研究領(lǐng)域。
【背景技術(shù)】
[0002]虛實(shí)交互是目前人機(jī)交互領(lǐng)域的重要發(fā)展方向，基于虛實(shí)結(jié)合技術(shù)，為用戶提供一個(gè)充滿想象力但又具真實(shí)感的環(huán)境，使用戶經(jīng)歷前所未有的體驗(yàn)，也可完成協(xié)同設(shè)計(jì)、訓(xùn)練、教學(xué)等目標(biāo)功能。使用攝像機(jī)采集用戶真實(shí)的信息(包括手勢信息等)，將其與三維虛擬世界相結(jié)合，構(gòu)建虛實(shí)混合環(huán)境，是一種很自然的虛實(shí)交互方法，但是如何能夠通過用戶隨機(jī)的即興發(fā)揮，生成用戶心中想要的三維場景并與之交互，目前還沒有成熟的技術(shù)。
[0003]在藝術(shù)創(chuàng)作領(lǐng)域，手繪草圖是一種常用的用戶表達(dá)方式，也是藝術(shù)家重要的思維方式和創(chuàng)意創(chuàng)造過程，是一種通過畫面誘導(dǎo)獲取創(chuàng)意的技術(shù)。手繪草圖的數(shù)字化目前國內(nèi)外也都有研究，通過對(duì)手繪草圖的分析和識(shí)別來轉(zhuǎn)換為數(shù)字化產(chǎn)品，再應(yīng)用于教學(xué)、藝術(shù)/服裝/建筑設(shè)計(jì)等多個(gè)領(lǐng)域。但是這種處理也僅限于從二維到二維的過程，龔健等在文獻(xiàn)“龔健，費(fèi)廣正，石民勇，曹瑋，基于手繪草圖輪廓檢索的簡筆繪圖系統(tǒng)，2008系統(tǒng)仿真技術(shù)及其應(yīng)用學(xué)術(shù)會(huì)議論文集，pp.761-764”中利用基于手繪草圖輪廓的圖像檢索技術(shù)實(shí)現(xiàn)了用于二維圖像繪制的簡筆繪圖系統(tǒng)，用戶利用檢索出來的圖像可做進(jìn)一步的編輯，既能保證繪圖的基本質(zhì)量，又提高了繪圖的效率。CMU的Wing Ho Leung 等在文獻(xiàn) “Wing Ho Leung, Tsuhan Chen, Hierarchical Matching forRetrieval of Hand-Drawn Sketches, International Conference on Multimedia andExpo-Volume2, 2003, pp.29-32”中提出了手繪草圖的層次化匹配檢索方法，通過對(duì)用戶手繪的逐個(gè)筆畫進(jìn)行匹配并考慮其空間關(guān)系來進(jìn)行檢索，減少了計(jì)算量，但仍然屬于二維處理的過程。
[0004]本發(fā)明旨在將用戶手繪草圖即用戶實(shí)時(shí)繪制過程與圖像檢索和識(shí)別、三維環(huán)境渲染、用戶交互集成在一起，實(shí)現(xiàn)中國傳統(tǒng)文化中家喻戶曉的“神筆馬良”的故事效果，用戶在操作平臺(tái)徒手操作，即可看到相應(yīng)的三維模型在虛擬環(huán)境中自然出現(xiàn)(當(dāng)然也包括二維圖像的編輯與交互)，并可與用戶交互運(yùn)動(dòng)。本發(fā)明主要涉及的技術(shù)包括用戶手繪軌跡的跟蹤、二維圖像形狀檢索、語義識(shí)別及三維模型加載、虛實(shí)交互等。本發(fā)明中采集到的用戶手勢輸入痕跡可形成二維圖像，利用其形狀特征即可進(jìn)行語義的檢索與識(shí)別，通過圖形庫中加載對(duì)應(yīng)的三維模型，即可渲染虛擬環(huán)境，實(shí)現(xiàn)沉浸式虛實(shí)交互功能。

【發(fā)明內(nèi)容】

[0005]本發(fā)明解決的技術(shù)問題是:通過采集用戶指尖的運(yùn)動(dòng)軌跡，進(jìn)行二維或三維虛實(shí)交互。二維交互功能包括:將手勢軌跡轉(zhuǎn)換為圖像形狀，檢索圖像庫中具有該形狀的圖像并顯示，用戶可通過手勢動(dòng)作對(duì)圖像進(jìn)行縮放、旋轉(zhuǎn)、編輯等操作；三維交互功能包括:通過用戶手繪軌跡形成的圖像識(shí)別出其語義，再根據(jù)語義檢索圖形庫中的三維模型，繪制相應(yīng)的虛擬環(huán)境，用戶可通過手勢動(dòng)作與虛擬環(huán)境交互。
[0006]本發(fā)明的技術(shù)解決方案為研究并實(shí)現(xiàn)數(shù)字化虛實(shí)交互系統(tǒng)及方法，其中系統(tǒng)硬件包括手勢采集設(shè)備(攝像機(jī)或觸摸屏)、處理設(shè)備(主機(jī))以及顯示設(shè)備(顯示器或觸摸屏)。采用的方法包含如下步驟:(I)跟蹤捕捉攝像機(jī)采集到的用戶指尖的運(yùn)動(dòng)軌跡；(2 )在顯示器上實(shí)時(shí)繪制軌跡曲線，或用觸摸屏顯示并記錄用戶指尖留下的軌跡；(3)提取運(yùn)動(dòng)軌跡形成的輪廓，檢測其形狀并賦予文字語義；(4)搭建三維模型庫，通過語義管理圖形庫中的三維模型；(5)根據(jù)用戶手繪軌跡的語義檢索三維模型庫，加載對(duì)應(yīng)的三維模型并顯示三維虛擬環(huán)境；(6)用戶與三維模型及虛擬環(huán)境動(dòng)態(tài)交互，實(shí)現(xiàn)數(shù)字化的虛實(shí)交互功能。
【專利附圖】

【附圖說明】
[0007]圖1是數(shù)字化虛實(shí)交互系統(tǒng)結(jié)構(gòu)示意圖；
[0008]圖2是系統(tǒng)流程圖；
[0009]圖3是用戶指尖運(yùn)動(dòng)軌跡繪制流程圖。
【具體實(shí)施方式】
[0010]以下，參照附圖，對(duì)本發(fā)明的具體狀態(tài)作說明，但是本發(fā)明不限于圖示例。
[0011]如圖1所示，數(shù)字化虛實(shí)交互系統(tǒng)由手勢采集設(shè)備(攝像機(jī)或觸摸屏)、處理設(shè)備(主機(jī))以及顯示設(shè)備(顯示器或觸摸屏)組成。如果采用攝像機(jī)進(jìn)行圖像采集，則使用顯示器進(jìn)行顯示，要求攝像機(jī)采集的幀速不小于15fps，否則延遲會(huì)比較大，影響用戶進(jìn)行虛實(shí)交互的效果。
[0012]如果使用觸摸屏，則可以同時(shí)捕捉并顯示(通過記錄點(diǎn)擊位置)用戶的指尖運(yùn)動(dòng)軌跡，主機(jī)負(fù)責(zé)進(jìn)行核心處理工作。
[0013]如圖2所示，數(shù)字化虛實(shí)交互方法包括以下步驟:
[0014](I)跟蹤捕捉攝像機(jī)采集到的用戶指尖的運(yùn)動(dòng)軌跡；
[0015](2)在顯示器上實(shí)時(shí)繪制軌跡曲線，或用觸摸屏顯示并記錄用戶指尖留下的軌跡，實(shí)現(xiàn)用戶手繪草圖的實(shí)時(shí)繪制功能；
[0016](3)提取運(yùn)動(dòng)軌跡形成的輪廓，檢測其形狀并賦予文字語義；
[0017](4)搭建三維模型庫，通過語義管理圖形庫中的三維模型；
[0018](5)根據(jù)用戶手繪軌跡的語義檢索三維模型庫，加載對(duì)應(yīng)的三維模型并顯示三維虛擬環(huán)境；
[0019](6)用戶與三維模型及虛擬環(huán)境動(dòng)態(tài)交互，實(shí)現(xiàn)數(shù)字化的虛實(shí)交互功能。
[0020]如圖3所示，上述步驟(2)中在顯示器上實(shí)時(shí)繪制軌跡曲線的流程如下:①攝像機(jī)采集當(dāng)前幀；②判斷當(dāng)前幀數(shù)，設(shè)置前20幀的判斷是為了得到穩(wěn)定的背景圖像，以保證后續(xù)處理的準(zhǔn)確性，20幀之后，用戶開始操作；③用當(dāng)前幀圖像與背景圖像作差，得到前景圖；④將前景圖轉(zhuǎn)換為二值圖，以便能更清楚地計(jì)算用戶當(dāng)前的指尖位置；⑤用OpenCV開源庫中cvPoint函數(shù)顯示當(dāng)前指尖位置的坐標(biāo)點(diǎn)；⑥通過曲線擬合連接上一幀與當(dāng)前幀的位置點(diǎn)，并且存儲(chǔ)用戶連續(xù)畫下的每個(gè)指尖點(diǎn)的信息，每一幀都顯示至今為止畫出的軌跡線，即可清楚地顯示用戶指尖的運(yùn)動(dòng)軌跡。曲線擬合可以用OpenCV中的cvLine函數(shù)連接兩個(gè)相鄰坐標(biāo)點(diǎn)來實(shí)現(xiàn)。[0021]上述步驟(2)中在觸摸屏上記錄用戶指尖軌跡的方法為:用戶每次在觸摸屏上用指尖觸碰一個(gè)位置，就在該位置上繪制對(duì)應(yīng)的點(diǎn)，通過曲線擬合將上一幀與當(dāng)前幀的位置點(diǎn)連接起來，形成運(yùn)動(dòng)軌跡。
[0022]數(shù)字化虛實(shí)交互方法步驟(3)是提取運(yùn)動(dòng)軌跡形成的輪廓并識(shí)別，為進(jìn)行此步驟，需要做一項(xiàng)離線數(shù)據(jù)準(zhǔn)備工作，即建立二維形狀圖像庫，該圖像庫包含了基本形狀(如圓形、方形、三角形、菱形等)、日常生活常用形狀(如杯子、桌、椅、樹、氣球等)及復(fù)雜形狀(如飛機(jī)、輪船、房子等)至少十種以上、100張以上的二維形狀圖像，以便于匹配當(dāng)前用戶手繪草圖的形狀。在圖像庫建立的基礎(chǔ)上，數(shù)字化虛實(shí)交互方法步驟(3)提取運(yùn)動(dòng)軌跡形成的輪廓并識(shí)別的步驟為:
[0023]①使用OpenCV中的輪廓提取函數(shù)cvFindContours提取用戶指尖運(yùn)動(dòng)軌跡形成的輪廓；
[0024]②對(duì)得到的輪廓contours,計(jì)算其歸一化的傅里葉描述子,過程如下:
[0025]Stepl.設(shè)輪廓曲線由逆時(shí)針排列的N個(gè)序列點(diǎn)組成，分別記為
P0 (x0, y0), Pl (Xl, Υι)......Pn-1 (x(N-1).Y(N-1))，根據(jù)下式計(jì)算這N個(gè)點(diǎn)的離散傅里葉變換系數(shù)
z(k)作為傅里葉描述子:
【權(quán)利要求】
1.一種數(shù)字化虛實(shí)交互系統(tǒng)，該系統(tǒng)包括:手勢采集設(shè)備、處理設(shè)備以及顯示設(shè)備，如果用攝像機(jī)進(jìn)行圖像采集，則使用顯示器進(jìn)行顯示，否則使用觸摸屏同時(shí)捕捉并顯示用戶的指尖運(yùn)動(dòng)軌跡，處理設(shè)備負(fù)責(zé)進(jìn)行核心處理工作。
2.一種數(shù)字化虛實(shí)交互方法，其特征在于包括以下步驟: (1)跟蹤捕捉攝像機(jī)采集到的用戶指尖的運(yùn)動(dòng)軌跡； (2)在顯示器上實(shí)時(shí)繪制軌跡曲線，或用觸摸屏顯示并記錄用戶指尖留下的軌跡； (3)提取運(yùn)動(dòng)軌跡形成的輪廓并識(shí)別其形狀，賦予文字語義； (4)搭建三維模型庫，通過語義管理圖形庫中的三維模型； (5)根據(jù)用戶手繪軌跡的語義檢索三維模型庫，加載對(duì)應(yīng)的三維模型并顯示三維虛擬環(huán)境； (6)用戶與三維模型及虛擬環(huán)境動(dòng)態(tài)交互，實(shí)現(xiàn)數(shù)字化的虛實(shí)交互功能。
3.根據(jù)權(quán)利要求2所述的數(shù)字化虛實(shí)交互方法，其特征在于所述步驟(2)中在顯示器上實(shí)時(shí)繪制軌跡曲線的方法為: (2.1)通過背景差方法，從攝像機(jī)采集到的當(dāng)前幀圖像中計(jì)算用戶指尖此時(shí)畫出的位置點(diǎn)信息； (2.2)通過曲線擬合連接上一幀與當(dāng)前幀的位置點(diǎn)，并且存儲(chǔ)用戶連續(xù)畫下的每個(gè)指尖點(diǎn)的信息，每一幀都顯示至今為止畫出的軌跡線，即可清楚地顯示用戶指尖的運(yùn)動(dòng)軌跡。
4.根據(jù)權(quán)利要求2所述的數(shù)字化虛實(shí)交互方法，其特征在于所述步驟(2)中在觸摸屏上記錄用戶指尖軌跡的方法為:用戶每次在觸摸屏上用指尖觸碰一個(gè)位置，就在該位置上繪制對(duì)應(yīng)的點(diǎn)，通過曲線擬合將上一幀與當(dāng)前幀的位置點(diǎn)連接起來，形成運(yùn)動(dòng)軌跡。
5.根據(jù)權(quán)利要求2所述的數(shù)字化虛實(shí)交互方法，其特征在于所述步驟(3)中提取運(yùn)動(dòng)軌跡形成的輪廓并識(shí)別其形狀，賦予文字語義的步驟包含一個(gè)離線的數(shù)據(jù)準(zhǔn)備工作，即建立二維形狀圖像庫，包括基本形狀和多種復(fù)雜形狀的二維圖像。
6.根據(jù)權(quán)利要求2所述的數(shù)字化虛實(shí)交互方法，其特征在于所述步驟(3)中提取運(yùn)動(dòng)軌跡形成的輪廓并識(shí)別其形狀，賦予文字語義的步驟為: (3.1)使用OpenCV中的輪廓提取函數(shù)cvFindContours提取運(yùn)動(dòng)軌跡形成的輪廓； (3.2)對(duì)得到的輪廓contours,計(jì)算其歸一化的傅里葉描述子,公式如下:
7.根據(jù)權(quán)利要求2所述的數(shù)字化虛實(shí)交互方法，其特征在于所述步驟(4)中搭建三維模型庫的步驟為: (4.1)根據(jù)文字語義為數(shù)據(jù)庫的主鍵，來組織數(shù)據(jù)庫的條目內(nèi)容；(4.2)所存儲(chǔ)的三維模型都具有在統(tǒng)一的世界坐標(biāo)系下的三維坐標(biāo)，便于導(dǎo)入系統(tǒng)中； (4.3)所存儲(chǔ)的模型導(dǎo)入系統(tǒng)之后，能在系統(tǒng)驅(qū)動(dòng)下與用戶交互，形成一個(gè)具有沉浸感的虛實(shí)交互系統(tǒng)。
8.根據(jù)權(quán)利要求2所述的數(shù)字化虛實(shí)交互方法，其特征在于所述步驟(5)中根據(jù)用戶手繪軌跡的語義檢索三維模型庫，加載對(duì)應(yīng)的三維模型并顯示三維虛擬環(huán)境的方法為: (5.1)根據(jù)用戶手繪軌跡的文字語義，檢索三維模型庫的主鍵； (5.2)使用OpenGL將對(duì)應(yīng)的三維模型導(dǎo)入到系統(tǒng)中； (5.3)根據(jù)導(dǎo)入的三維模 型，系統(tǒng)選擇對(duì)應(yīng)的虛擬環(huán)境并渲染出來。
【文檔編號(hào)】G06T15/02GK103823554SQ201410012952
【公開日】2014年5月28日 申請(qǐng)日期:2014年1月12日 優(yōu)先權(quán)日:2014年1月12日
【發(fā)明者】張淑軍 申請(qǐng)人:青島科技大學(xué)