一種實(shí)現(xiàn)多維度感知虛擬交互的系統(tǒng)和方法
【專(zhuān)利摘要】本發(fā)明提供一種多維度感知虛擬交互的系統(tǒng)和實(shí)現(xiàn)方法，還涉及一種基于該系統(tǒng)的功能擴(kuò)展系統(tǒng)和實(shí)現(xiàn)方法。本發(fā)明的系統(tǒng)包括核心處理單元、使用者輔助單元、3D攝像單元、3D投影單元，還可以包括擴(kuò)展單元。本發(fā)明的多維度感知虛擬交互的系統(tǒng)和實(shí)現(xiàn)方法較好地實(shí)現(xiàn)了多維度感知虛擬交互，能夠真正從多個(gè)維度實(shí)現(xiàn)使用者與系統(tǒng)的虛擬交互，所述的虛擬交互場(chǎng)景包括虛擬彈琴、虛擬會(huì)議、虛擬聚會(huì)等?；诙鄠€(gè)本發(fā)明所述的系統(tǒng)還能實(shí)現(xiàn)多個(gè)使用者時(shí)空同步的多維度感知虛擬交互。
【專(zhuān)利說(shuō)明】一種實(shí)現(xiàn)多維度感知虛擬交互的系統(tǒng)和方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及生理信號(hào)分析技術(shù)，具體涉及一種實(shí)現(xiàn)多維度感知虛擬交互的系統(tǒng)和方法。
【背景技術(shù)】
[0002]雖然在各家公司也研制了諸多虛擬交互的系統(tǒng)，但是大多是僅限于3D視覺(jué)、聽(tīng)覺(jué)和接觸覺(jué)5個(gè)維度的感知交互，而未涉及使用者的情感行為，所依據(jù)的交互信息也僅為使用者在虛擬交互過(guò)程中的運(yùn)動(dòng)信號(hào)，而未把使用者在虛擬交互過(guò)程中的生理信號(hào)也進(jìn)一步地進(jìn)行分析，從而更加多維度地使人與系統(tǒng)所產(chǎn)生的虛擬場(chǎng)景產(chǎn)生交互。而且現(xiàn)在虛擬交互的維度感知還只停留在3D視覺(jué)、聽(tīng)覺(jué)和接觸覺(jué)三維感覺(jué)，達(dá)不到基于使用者多維度感知的虛擬交互的效果，所以研制能實(shí)現(xiàn)多維度感知虛擬交互的系統(tǒng)和方法就十分有必要。

【發(fā)明內(nèi)容】

[0003]本發(fā)明的目的在于針對(duì)現(xiàn)有技術(shù)的不足，提供一種實(shí)現(xiàn)多維度感知虛擬交互的系統(tǒng)和方法。實(shí)現(xiàn)多維度感知首先要獲得基于使用者雙眼的仿生學(xué)原理的有立體空間縱深的3D視覺(jué)感知信息，除此之外增加更多的聽(tīng)覺(jué)和觸覺(jué)的被動(dòng)式感觀體驗(yàn)，加上主動(dòng)參與、互動(dòng)虛擬的的多重體驗(yàn)，通過(guò)探測(cè)使用者的生理信息，本發(fā)明所述的系統(tǒng)能對(duì)使用者的狀態(tài)達(dá)到更深一步的了解，達(dá)到以上效果的技術(shù)稱(chēng)為多維度感知交互技術(shù)。
[0004]本發(fā)明采用如下的技術(shù)方案:
一種實(shí)現(xiàn)多維度感知虛擬交互的系統(tǒng)，所述的系統(tǒng)包括核心處理單元、使用者輔助單元、3D攝像單元和3D投影單元，其中:
所述的3D攝像單元用于采集虛擬交互信息中的光學(xué)信息，并將其轉(zhuǎn)換為信號(hào)，并把信號(hào)輸出給相應(yīng)設(shè)備單元；所述的使用者輔助單元用于采集除光學(xué)信息之外的其它相應(yīng)虛擬交互信息，將其轉(zhuǎn)換為信號(hào)輸出給相應(yīng)設(shè)備單元；還用于將接收的信號(hào)轉(zhuǎn)換為相應(yīng)的多維度感知信息；所述的核心處理單元用于接收相應(yīng)設(shè)備單元輸入的信號(hào)，進(jìn)行信號(hào)處理，將處理后的信號(hào)輸出給相應(yīng)設(shè)備單元；所述的3D投影單元用于接收相應(yīng)設(shè)備單元輸入的信號(hào)，轉(zhuǎn)換為相應(yīng)的3D視覺(jué)信息；
具體地，3D攝像單元采集虛擬交互信息中的光學(xué)信息，并轉(zhuǎn)換為信號(hào)發(fā)送至核心處理單元；所述的使用者輔助單元采集除光學(xué)信息之外的其它相應(yīng)虛擬交互信息，將其轉(zhuǎn)換為信號(hào)發(fā)送至核心處理單元；核心處理單元接收使用者輔助單元和3D攝像單元發(fā)送的信號(hào)，并對(duì)不同時(shí)間接收到的信號(hào)處理，并將相應(yīng)的多維度感知信號(hào)發(fā)送至使用者輔助單元和3D投影單元；使用者輔助單元接收核心處理單元發(fā)送的信號(hào)，轉(zhuǎn)換為相應(yīng)的多維度感知信息，3D投影單元接收核心處理單元發(fā)送的信號(hào)，并轉(zhuǎn)換為相應(yīng)的3D視覺(jué)信息、多維度感知信息發(fā)出，被使用者感知后，實(shí)現(xiàn)多維度虛擬交互。
[0005]根據(jù)虛擬交互場(chǎng)景不同，所述系統(tǒng)還可以包括擴(kuò)展單元，所述的擴(kuò)展單元包括但不限于通訊模塊、數(shù)據(jù)存儲(chǔ)模塊、數(shù)據(jù)讀取模塊、量子感應(yīng)模塊中的任意一種或任意二種及以上的組合。
[0006]所述的虛擬交互是指能被機(jī)器采集到的使用者與本發(fā)明所述的系統(tǒng)在情感上和行為上的交互行為，所述的交互行為可以是使用者自發(fā)產(chǎn)生的行為反應(yīng)(包括直接意識(shí)產(chǎn)生的行為反應(yīng)、潛意識(shí)產(chǎn)生的行為反應(yīng))、使用者感知本發(fā)明系統(tǒng)呈現(xiàn)的多維度感知信息產(chǎn)生的行為反應(yīng)(包括使用者與虛擬呈現(xiàn)的其它使用者交流的行為反應(yīng)、使用者與虛擬物品交流的行為反應(yīng))。
[0007]所述的虛擬交互信息是指使用者虛擬交互中產(chǎn)生的信息，包括使用者對(duì)虛擬物體所具有的特殊功能的使用信息(如槍支能發(fā)射子彈、鑰匙能開(kāi)鎖等人造工具的功能使用)、簡(jiǎn)單的物理屬性使用信息(吹、吸、推拉、敲打、撞擊、彈射、扭曲等)和使用者感受到物體本身屬性的感覺(jué)信息(如水中會(huì)感到水對(duì)運(yùn)動(dòng)的阻力，在風(fēng)中會(huì)感到來(lái)自風(fēng)向的推力，在火中會(huì)感火的熱量等)，使用者自身的情感活動(dòng)(如喜悅、悲傷、興奮、萎靡、憤怒、平靜、厭惡等)，使用者受潛意識(shí)引導(dǎo)產(chǎn)生行為(如使用者自己都未察覺(jué)的微表情、手勢(shì)、體態(tài)等)。
[0008]所述的多維度感知是指6個(gè)或6個(gè)以上維度的使用者感覺(jué)，包括但不限于3D視覺(jué)感知、聽(tīng)覺(jué)感知、接觸覺(jué)感知、壓力覺(jué)感知、嗅覺(jué)感知、味覺(jué)感知和滑動(dòng)覺(jué)感知等。
[0009]接觸覺(jué)感知是指，當(dāng)使用者接觸到物體的時(shí)候，產(chǎn)生的一種與物體相接觸的感覺(jué)，這種感覺(jué)是使用者感覺(jué)到物體存在的一種觸覺(jué)感知。
[0010]壓力覺(jué)感知是指，當(dāng)使用者與物體接觸時(shí)，由于使用者對(duì)物體的按壓動(dòng)作和移動(dòng)速度使得物體對(duì)使用者進(jìn)行反作用，使其感受到壓力的一種觸覺(jué)感知。
[0011]滑動(dòng)覺(jué)感知是指，當(dāng)使用者與物體接觸時(shí)，由于使用者與物體相對(duì)滑動(dòng)而產(chǎn)生的一種滑動(dòng)感覺(jué)，也就是使用者感覺(jué)到物體表面粗糙程度的一種觸覺(jué)感知。
[0012]作為優(yōu)選，所述的多維度感知包括3D視覺(jué)感知和選自聽(tīng)覺(jué)感知、接觸覺(jué)感知、壓力覺(jué)感知、嗅覺(jué)感知、味覺(jué)感知、滑動(dòng)覺(jué)感知、溫度覺(jué)感知中的任意三種以上的感知。也就是說(shuō)，所述的多維度感知至少包括3D視覺(jué)感知，以及其它任意三種或三種以上選自聽(tīng)覺(jué)感知、接觸覺(jué)感知、壓力覺(jué)感知、嗅覺(jué)感知、味覺(jué)感知、滑動(dòng)覺(jué)感知、溫度覺(jué)感知的感知。具體地，所述的多維度感知可以是3D視覺(jué)感知、聽(tīng)覺(jué)感知、接觸覺(jué)感知、壓力覺(jué)感知，也可以是3D視覺(jué)感知、聽(tīng)覺(jué)感知、接觸覺(jué)感知、壓力覺(jué)感知、嗅覺(jué)感知，也可以是3D視覺(jué)感知、聽(tīng)覺(jué)感知、接觸覺(jué)感知、壓力覺(jué)感知、嗅覺(jué)感知、味覺(jué)感知，也可以是3D視覺(jué)感知、壓力覺(jué)感知、嗅覺(jué)感知、味覺(jué)感知等等。
[0013]所述的核心處理單元用于接收相應(yīng)設(shè)備單元輸入的信號(hào)，進(jìn)行信號(hào)處理，將處理后的信號(hào)輸出給相應(yīng)設(shè)備單元。所述的核心處理單元包括但不限于計(jì)算機(jī)、服務(wù)器、移動(dòng)智能終端，所述的移動(dòng)智能終端是能夠采集外部信息，能進(jìn)行計(jì)算、分析和處理，并在不同終端之間能夠進(jìn)行信息傳輸?shù)谋銛y式設(shè)備，包括但不限于智能手機(jī)、PDA、筆記本電腦、上網(wǎng)本、平板電腦、掌上電腦、智能掌上游戲機(jī)等。
[0014]作為優(yōu)選，所述的核心處理單元進(jìn)行信號(hào)處理的方法可以是:基于輸入的信號(hào)數(shù)據(jù)在不同時(shí)間t內(nèi)的變化量，利用數(shù)據(jù)挖掘方法挖掘信號(hào)的特征并建立規(guī)則模型來(lái)對(duì)變化量進(jìn)行計(jì)算、分析、識(shí)別、判斷及調(diào)整規(guī)則模型參數(shù)，并將信號(hào)輸出，給出相應(yīng)的多維度感知信號(hào)。所述挖掘信號(hào)的特征包括但不限于運(yùn)動(dòng)信號(hào)特征、生理信號(hào)特征等。所述的規(guī)則模型可以是模糊規(guī)則模型、數(shù)學(xué)機(jī)理模型、基于統(tǒng)計(jì)數(shù)據(jù)的機(jī)器學(xué)習(xí)模型等。
[0015]例如:基于輸入的信號(hào)數(shù)據(jù)在不同時(shí)間t內(nèi)的變化量，計(jì)算信號(hào)數(shù)據(jù)的一階及多階微分量，分析這些微分量，提取這些信號(hào)數(shù)據(jù)的特征，通過(guò)系統(tǒng)由歷史數(shù)據(jù)特征聚類(lèi)得到多個(gè)特征規(guī)則構(gòu)成的規(guī)則模型對(duì)這些信號(hào)數(shù)據(jù)的特征進(jìn)行識(shí)別判斷，得到相應(yīng)的信號(hào)輸出量，另外根據(jù)新的信號(hào)數(shù)據(jù)變化量可以重新調(diào)整規(guī)則模型中的參數(shù)。
[0016]所述的使用者輔助單元用于采集使用者發(fā)出的信號(hào)，還用于接收核心處理單元輸出的信號(hào)，轉(zhuǎn)換為多維度感知中的若干維感官信息。作為優(yōu)選，所述的若干維感官信息包括但不限于聽(tīng)覺(jué)信息、接觸覺(jué)信息和壓力覺(jué)信息嗅覺(jué)。所述的使用者發(fā)出的信號(hào)是指由使用者的任意器官及其附屬物或組織(包括四肢、軀干、頭部、眼、耳、口、鼻、舌、嘴、牙齒、肌肉、骨骼、血管、皮膚、毛發(fā)、內(nèi)臟、眼淚等)發(fā)出的生理信號(hào)或運(yùn)動(dòng)信號(hào)，包括但不限于腦電波信號(hào)、眼部信號(hào)(包括眨眼、眼球運(yùn)動(dòng)、兩眼對(duì)焦點(diǎn)信號(hào)等)、聲音信號(hào)(包括口哨、語(yǔ)音信號(hào)、心音信號(hào)、骨骼碰撞發(fā)出的聲音信號(hào)等)、肌電信號(hào)、脈搏信號(hào)、溫度信號(hào)等。
[0017]所述的使用者輔助單元包含信號(hào)采集模塊和信息重現(xiàn)模塊，所述的信號(hào)采集子模塊能將物理信息轉(zhuǎn)換為信號(hào)，所述的信號(hào)采集子模塊包含但不限于光學(xué)傳感器、脈搏傳感器、腦電傳感器、肌電傳感器、聲音傳感器、加速度傳感器、位移傳感器、壓力傳感器、溫度傳感器、化學(xué)傳感器、陀螺儀傳感器中的任意一種或任意二種以上傳感器的組合。所述的信息重現(xiàn)子模塊能把信號(hào)轉(zhuǎn)換為物理信息，包含但不限于聲音發(fā)生器、壓力發(fā)生器、氣味發(fā)生器、磁場(chǎng)發(fā)生器、熱量發(fā)生器、觸覺(jué)發(fā)生器中的任意一種或任意二種及以上的組合。
[0018]所述的使用者輔助單元的樣式可以是眼鏡、環(huán)狀物(耳環(huán)、舌環(huán)、臂環(huán)、鼻環(huán))、頭盔、罩狀物(如口罩、耳罩等)、套狀物(如手套、腳套、頭套等)、墊狀物(觸摸墊、腕墊等)、形成封密環(huán)或半封密環(huán)帶狀物(如手帶、腳帶、腕帶等)、可貼于皮膚表面的貼片等。
[0019]所述的使用者輔助單元包括但不限于Google眼鏡、幽靈手套。
[0020]例如，Google眼鏡包含光學(xué)傳感器和聲音發(fā)生器，其中光學(xué)傳感器用于采集使用者眼部的運(yùn)動(dòng)信息，轉(zhuǎn)換為信號(hào)，發(fā)送至核心處理單元；聲音發(fā)生器即揚(yáng)聲器用于把核心處理單兀輸出的信號(hào)轉(zhuǎn)換為聲音信息。
[0021]再例如，幽靈手套包含壓力傳感器和振蕩墊，其中壓力傳感器用于采集使用者手及手臂運(yùn)動(dòng)所產(chǎn)生的壓力信息，轉(zhuǎn)換為信號(hào)，發(fā)送至核心處理單元；振蕩墊能把核心處理單元輸出的信號(hào)轉(zhuǎn)換為振蕩指示信息。
[0022]所述的3D攝像單元用于采集虛擬交互信息中的光學(xué)信息并將其轉(zhuǎn)換為原始信號(hào)輸出，然后發(fā)送至核心處理單元，所述的原始信號(hào)包括但不限于電信號(hào)、光信號(hào)、磁場(chǎng)信號(hào)中的任意一種或任意二種及以上的組合。3D攝像單元包括至少一個(gè)光傳感模塊用于采集光學(xué)信息和信號(hào)轉(zhuǎn)換傳輸模塊用于信號(hào)轉(zhuǎn)換與發(fā)送。所述3D攝像單元可以是場(chǎng)攝像機(jī)、Kinect設(shè)備、多個(gè)攝像裝置等。
[0023]例如，場(chǎng)攝像機(jī)能采集確定一定范圍內(nèi)立體空間各類(lèi)物體發(fā)出或反射的所有光線，即光學(xué)信息，并把這些光線信息發(fā)送至核心處理單元。
[0024]所述的3D投影單元用于接收核心處理單元的信號(hào)并將其轉(zhuǎn)換為3D投影信息，所述的信號(hào)包括但不限于信號(hào)、光信號(hào)、磁場(chǎng)信號(hào)中的任意一種或二種及以上的組合。所述的3D投影單元包括至少一個(gè)3D投影設(shè)備用于投影3D視覺(jué)信息和信號(hào)轉(zhuǎn)換傳輸模塊用于信號(hào)接收與轉(zhuǎn)換。
[0025]根據(jù)情況不同，所述系統(tǒng)還可以包括擴(kuò)展單元，所述的擴(kuò)展單元包括但不限于通訊模塊、數(shù)據(jù)存儲(chǔ)模塊、數(shù)據(jù)讀取模塊、量子感應(yīng)模塊中的任意一種或任意二種及以上的組合，使本發(fā)明的系統(tǒng)還具備遠(yuǎn)程通訊、數(shù)據(jù)讀取、數(shù)據(jù)存儲(chǔ)、量子數(shù)據(jù)交換等附加功能。
[0026]所述的通訊模塊包括但不限于有線通訊模塊(如串口通訊模塊、以太網(wǎng)通訊模塊等)和無(wú)線通訊模塊(如藍(lán)牙模塊、wifi通訊模塊、Zigbee通訊模塊、RF模塊、⑶H)模塊、GSM模塊、CDMA模塊等)。
[0027]所述的數(shù)據(jù)存儲(chǔ)模塊用于把信息存儲(chǔ)進(jìn)入物理介質(zhì)中，包括云存儲(chǔ)模塊、flash存儲(chǔ)設(shè)備、DVD刻錄設(shè)備、硬盤(pán)寫(xiě)入設(shè)備、生物存儲(chǔ)材料制造設(shè)備(如人造DNA、RNA制造設(shè)備)，打印機(jī)(如傳統(tǒng)紙張、3D打印的實(shí)體、4D打印的實(shí)體)等。
[0028]所述的數(shù)據(jù)讀取模塊包括但不限于具有文本(如文字、數(shù)字、樂(lè)符等符號(hào))識(shí)別功能的模塊，聲音(如音樂(lè)、語(yǔ)音等)識(shí)別功能的模塊，能夠讀取生物存儲(chǔ)材料中信息的模塊。
[0029]所述的量子感應(yīng)模塊具有量子感應(yīng)功能，所述的量子感應(yīng)是指不局限于材料和外界條件，精神和物質(zhì)上強(qiáng)耦合、感應(yīng)互動(dòng)、糾纏和解能夠一次涌現(xiàn)的現(xiàn)象。所述量子感應(yīng)的技術(shù)實(shí)現(xiàn)方式包括但不限于利用隱身方式、遮掩方式、耦合方式、強(qiáng)化方式、屏蔽方式和斗蓬方式中的任意一種或任意二種及以上的方式。所述的量子感應(yīng)模塊包括但不限于量子通訊設(shè)備，所述的量子感應(yīng)模塊是指能基于量子感應(yīng)實(shí)現(xiàn)數(shù)據(jù)通訊或數(shù)據(jù)處理的模塊。
[0030]所述的虛擬場(chǎng)景可以是多人實(shí)時(shí)多維度感知虛擬交互的場(chǎng)景，多維度感知虛擬交互錄制的場(chǎng)景，多維度感知虛擬交互重現(xiàn)的場(chǎng)景，多維度感知虛擬交互重現(xiàn)錄制的場(chǎng)景等。
[0031]根據(jù)系統(tǒng)應(yīng)用的場(chǎng)景不同，可以選用不同的擴(kuò)展單元對(duì)系統(tǒng)進(jìn)行擴(kuò)展。例如，實(shí)現(xiàn)多使用者的時(shí)空同步虛擬交互。
[0032]所述的時(shí)空同步虛擬交互是指基于以上所述的虛擬交互，能讓多個(gè)使用者的虛擬交互實(shí)現(xiàn)時(shí)間同步和空間同步，所述的時(shí)間同步是指在非同一時(shí)刻產(chǎn)生的虛擬交互行為可以在同一時(shí)刻呈現(xiàn)，所述的空間同步行為是指在非同一地點(diǎn)進(jìn)行虛擬交互行為可以在同一地點(diǎn)呈現(xiàn)。
[0033]在多人實(shí)時(shí)多維度感知虛擬交互的場(chǎng)景時(shí)，即多人實(shí)時(shí)多維度多個(gè)使用者使用本系統(tǒng)進(jìn)行多維度感知虛擬交互時(shí)，擴(kuò)展單元可選用數(shù)據(jù)通訊模塊，將多個(gè)本發(fā)明所述的系統(tǒng)進(jìn)行組網(wǎng)連接，進(jìn)行信息的互通，實(shí)現(xiàn)多個(gè)使用者時(shí)空同步地多維度感知虛擬交互，即在每個(gè)使用者利用本發(fā)明所述系統(tǒng)時(shí)，還能同步得得到其它使用者的多維度感知虛擬交互行為，比如使用者可以處于不同時(shí)間不同地點(diǎn)進(jìn)行虛擬地面對(duì)面交流、會(huì)議、聚會(huì)等。
[0034]在多維度感知虛擬交互錄制的場(chǎng)景時(shí)，即使用者要記錄一段時(shí)間內(nèi)的多維度感知虛擬交互行為，擴(kuò)展單元可選用數(shù)據(jù)存儲(chǔ)模塊，將使用者利用本發(fā)明所述的系統(tǒng)時(shí)所產(chǎn)生的虛擬交互信息存儲(chǔ)并寫(xiě)入物理介質(zhì)中，以待其它相關(guān)設(shè)備進(jìn)行讀取重現(xiàn)虛擬交互信息，比如使用者可以錄制自己的虛擬交互行為，并把它發(fā)送給其它使用者，讓其它使用者能夠感受錄制的多維度感知虛擬交互。
[0035]在多維度感知虛擬交互重現(xiàn)的場(chǎng)景時(shí)，即使用者要重現(xiàn)過(guò)去的一段虛擬交互行為，擴(kuò)展單元可選用數(shù)據(jù)讀取模塊，讀取存儲(chǔ)在物理介質(zhì)中所記錄的虛擬交互信息，使用者使用本發(fā)明所述的系統(tǒng)可以重現(xiàn)當(dāng)時(shí)的信息，并可以以第一人稱(chēng)的角度來(lái)多維度感知整個(gè)虛擬交互的行為過(guò)程。比如使用者可以重現(xiàn)其它人錄制的品嘗美食時(shí)的虛擬交互行為，并以第一人稱(chēng)的角度來(lái)多維度感知品嘗美食這一行為中產(chǎn)生的虛擬交互信息。
[0036]在多維度感知虛擬交互重現(xiàn)錄制的場(chǎng)景時(shí)，即使用者要重現(xiàn)過(guò)去的一段虛擬交互行為并再加入新產(chǎn)生的虛擬交互行為，可以同時(shí)選用數(shù)據(jù)讀取模塊和數(shù)據(jù)存儲(chǔ)模塊，首先讀取在物理介質(zhì)中的多維度感知虛擬交互信息重現(xiàn)，并加入新的多維度感知虛擬交互信息，重新存儲(chǔ)進(jìn)行物理介質(zhì)中。比如老師可以把自已虛擬交互實(shí)驗(yàn)的過(guò)程通過(guò)多維度虛擬交互系統(tǒng)進(jìn)行錄制存儲(chǔ)到物理介質(zhì)中，而學(xué)生則可以通過(guò)多維度虛擬交互系統(tǒng)讀取物理介質(zhì)中的虛擬交互信息，以第一人稱(chēng)的角度來(lái)多維度感知虛擬交互實(shí)驗(yàn)的過(guò)程，并將自己新產(chǎn)生的虛擬交互行為信息也加入到虛擬交互實(shí)驗(yàn)的過(guò)程中，重新錄制到物理介質(zhì)中。
[0037]本發(fā)明還提供一種實(shí)現(xiàn)多維度感知虛擬交互的方法，包括如下步驟:
(O虛擬交互信息采集:使用者產(chǎn)生虛擬交互信息，3D攝像單元采集虛擬交互信息中的光學(xué)信息并轉(zhuǎn)換為信號(hào)發(fā)送至核心處理單元，使用者輔助單元采集使用者產(chǎn)生的除光學(xué)信息之外的其他虛擬交互信息，將其發(fā)送至核心處理單元；
(2)虛擬交互信息處理:核心處理單元接收3D攝像單元和使用者輔助單元發(fā)送的信號(hào)，處理不同時(shí)刻的信號(hào)變化量，提取數(shù)據(jù)信號(hào)特征并其進(jìn)行識(shí)別判斷，再進(jìn)一步處理產(chǎn)生相應(yīng)的多維度感知信號(hào)，輸出給3D投影單元和使用者輔助單元；
(3)多維度感知的虛擬交互實(shí)現(xiàn):3D投影單元接收核心處理單元輸出的信號(hào)，并轉(zhuǎn)換為虛擬的3D視覺(jué)信息，使用者輔助單元接收信號(hào)處理單元輸出的信號(hào)，并根據(jù)接收的信號(hào)轉(zhuǎn)換為相應(yīng)的多維度感知信息，實(shí)現(xiàn)多維度感知虛擬交互。
[0038]根據(jù)上述方法，可以實(shí)現(xiàn)多種虛擬交互功能，實(shí)現(xiàn)使用者進(jìn)行如上所述虛擬交互行為，其流程圖如圖4所示。
[0039]作為優(yōu)選，所述的步驟(2)虛擬交互信息處理步驟中，核心處理單元進(jìn)行信號(hào)處理的方法是:基于輸入的信號(hào)數(shù)據(jù)在不同時(shí)間t內(nèi)的變化量，利用數(shù)據(jù)挖掘方法挖掘信號(hào)的特征并建立規(guī)則模型來(lái)對(duì)變化量進(jìn)行計(jì)算、分析、識(shí)別、判斷及調(diào)整規(guī)則模型參數(shù)，并將信號(hào)輸出。
[0040]基于輸入的信號(hào)數(shù)據(jù)在不同時(shí)間t內(nèi)的變化量，計(jì)算信號(hào)數(shù)據(jù)的一階及多階微分量，分析這些微分量，提取這些信號(hào)數(shù)據(jù)的特征，通過(guò)系統(tǒng)由歷史數(shù)據(jù)特征聚類(lèi)，得到多個(gè)特征規(guī)則構(gòu)成的規(guī)則模型，對(duì)這些信號(hào)數(shù)據(jù)的特征進(jìn)行識(shí)別判斷，得到相應(yīng)的信號(hào)輸出量，另外根據(jù)新的信號(hào)數(shù)據(jù)變化量可以重新調(diào)整規(guī)則模型中的參數(shù)。
[0041]作為優(yōu)選，調(diào)整規(guī)則模型參數(shù)的信號(hào)采用使用者的生理信號(hào)變化量，提取生理信號(hào)變化量的特征，對(duì)規(guī)則模型參數(shù)進(jìn)行相應(yīng)的調(diào)整。具體系統(tǒng)調(diào)整規(guī)則，可以是心率變化量與使用者運(yùn)動(dòng)強(qiáng)度之間的規(guī)則模型，也可是其它物理量之間的規(guī)則模型，如當(dāng)單位時(shí)間內(nèi)的心率變化量增加2時(shí)，使用者的壓力覺(jué)感知系數(shù)就減少0.01，反之心率變化量減少2時(shí)，壓力覺(jué)感知系數(shù)就增加0.01。壓力覺(jué)感知信息的計(jì)算模型為F=u*m*a，F(xiàn)為使用者感覺(jué)到的力，u為使用者作用的壓力覺(jué)感知系數(shù)，初始值為1，m為系統(tǒng)預(yù)設(shè)的虛擬物體質(zhì)量，a為位移變化量的二階微分量，即加速度值。
[0042]本發(fā)明所述的虛擬交互是指能被機(jī)器采集到的使用者通過(guò)自己想像的或是使用者的潛意識(shí)產(chǎn)生的或是通過(guò)多維度感知轉(zhuǎn)換為的虛擬世界在情感上和行為上的交互行為，這種交互行為是使用者與本發(fā)明所述系統(tǒng)進(jìn)行情感上和行為上的互動(dòng)產(chǎn)生。
[0043]所述的虛擬交互信息是指使用者虛擬交互中產(chǎn)生的信息，包括使用者對(duì)虛擬物體所具有的特殊功能的使用信息(如槍支能發(fā)射子彈、鑰匙能開(kāi)鎖等人造工具的功能使用)、簡(jiǎn)單的物理屬性使用信息(吹、吸、推拉、敲打、撞擊、彈射、扭曲等)和使用者感受到物體本身屬性的感覺(jué)信息(如水中會(huì)感到水對(duì)運(yùn)動(dòng)的阻力，在風(fēng)中會(huì)感到來(lái)自風(fēng)向的推力，在火中會(huì)感火的熱量等)，使用者自身的情感活動(dòng)(如喜悅、悲傷、興奮、萎靡、憤怒、平靜、厭惡等)，使用者受潛意識(shí)引導(dǎo)產(chǎn)生行為(如使用者自己都未察覺(jué)的微表情、手勢(shì)、體態(tài)等)。
[0044]所述的多維度感知是指6個(gè)或6個(gè)以上維度的使用者感覺(jué)，包括但不限于3D視覺(jué)感知、聽(tīng)覺(jué)感知、接觸覺(jué)感知、壓力覺(jué)感知、嗅覺(jué)感知、味覺(jué)感知和滑動(dòng)覺(jué)感知等。
[0045]作為優(yōu)選，所述的多維度感知包括3D視覺(jué)感知和選自聽(tīng)覺(jué)感知、接觸覺(jué)感知、壓力覺(jué)感知、嗅覺(jué)感知、味覺(jué)感知、滑動(dòng)覺(jué)感知、溫度覺(jué)感知中的任意三種以上的感知。也就是說(shuō)，所述的多維度感知至少包括3D視覺(jué)感知，以及其它任意三種或三種以上選自聽(tīng)覺(jué)感知、接觸覺(jué)感知、壓力覺(jué)感知、嗅覺(jué)感知、味覺(jué)感知、滑動(dòng)覺(jué)感知、溫度覺(jué)感知的感知。具體地，所述的多維度感知可以是3D視覺(jué)感知、聽(tīng)覺(jué)感知、接觸覺(jué)感知、壓力覺(jué)感知，也可以是3D視覺(jué)感知、聽(tīng)覺(jué)感知、接觸覺(jué)感知、壓力覺(jué)感知、嗅覺(jué)感知，也可以是3D視覺(jué)感知、聽(tīng)覺(jué)感知、接觸覺(jué)感知、壓力覺(jué)感知、嗅覺(jué)感知、味覺(jué)感知，也可以是3D視覺(jué)感知、壓力覺(jué)感知、嗅覺(jué)感知、味覺(jué)感知等等。
[0046]所述的多維度感知虛擬交互是指使用者可以通過(guò)以上所述的多維度，來(lái)感知使用者與本發(fā)明所述的系統(tǒng)進(jìn)行的虛擬交互行為。
[0047]所述的虛擬場(chǎng)景可以是多人實(shí)時(shí)多維度感知虛擬交互的場(chǎng)景，多維度感知虛擬交互錄制的場(chǎng)景，多維度感知虛擬交互重現(xiàn)的場(chǎng)景，多維度感知虛擬交互重現(xiàn)錄制的場(chǎng)景等。
[0048]根據(jù)系統(tǒng)應(yīng)用的場(chǎng)景不同，可以選用不同的擴(kuò)展單元對(duì)系統(tǒng)進(jìn)行擴(kuò)展，所述的擴(kuò)展單元包括但不限于通訊模塊、數(shù)據(jù)存儲(chǔ)模塊、數(shù)據(jù)讀取模塊、量子感應(yīng)模塊中的任意一種或任意二種及以上的組合，使本發(fā)明的系統(tǒng)還具備遠(yuǎn)程通訊、數(shù)據(jù)讀取、數(shù)據(jù)存儲(chǔ)、量子數(shù)據(jù)交換等附加功能。
[0049]所述的通訊模塊包括但不限于有線通訊模塊(如串口通訊模塊、以太網(wǎng)通訊模塊等)和無(wú)線通訊模塊(如藍(lán)牙模塊、wifi通訊模塊、Zigbee通訊模塊、RF模塊、⑶H)模塊、GSM模塊、CDMA模塊等)。
[0050]所述的數(shù)據(jù)存儲(chǔ)模塊用于把信息存儲(chǔ)進(jìn)入物理介質(zhì)中，包括云存儲(chǔ)模塊、flash存儲(chǔ)設(shè)備、DVD刻錄設(shè)備、硬盤(pán)寫(xiě)入設(shè)備、生物存儲(chǔ)材料制造設(shè)備(如人造DNA、RNA制造設(shè)備)，打印機(jī)(如傳統(tǒng)紙張、3D打印的實(shí)體、4D打印的實(shí)體)等。
[0051]所述的數(shù)據(jù)讀取模塊包括但不限于具有文本(如文字、數(shù)字、樂(lè)符等符號(hào))識(shí)別功能的模塊，聲音(如音樂(lè)、語(yǔ)音等)識(shí)別功能的模塊，能夠讀取生物存儲(chǔ)材料中信息的模塊。
[0052]所述的量子感應(yīng)模塊具有量子感應(yīng)功能，所述的量子感應(yīng)是指不局限于材料和外界條件，精神和物質(zhì)上強(qiáng)耦合、感應(yīng)互動(dòng)、糾纏和解能夠一次涌現(xiàn)的現(xiàn)象。所述量子感應(yīng)的技術(shù)實(shí)現(xiàn)方式包括但不限于利用隱身方式、遮掩方式、耦合方式、強(qiáng)化方式、屏蔽方式和斗蓬方式中的任意一種或任意二種及以上的方式。所述的量子感應(yīng)模塊包括但不限于量子通訊設(shè)備，所述的量子感應(yīng)模塊是指能基于量子感應(yīng)實(shí)現(xiàn)數(shù)據(jù)通訊或數(shù)據(jù)處理的模塊。
[0053]本發(fā)明還提供一種實(shí)現(xiàn)多維度感知虛擬交互的方法，具體方法步驟如下:
(O虛擬交互信息采集:使用者產(chǎn)生虛擬交互信息，3D攝像單元和使用者輔助單元采集相應(yīng)的虛擬交互信息轉(zhuǎn)換為信號(hào)，每隔固定時(shí)間t，發(fā)送信號(hào)至核心處理單元和擴(kuò)展單元，使用者輔助單元采集虛擬交互信息，每隔固定時(shí)間t，發(fā)送信號(hào)至核心處理單元和/或擴(kuò)展單元；
(2)虛擬交互信息擴(kuò)展輸入:擴(kuò)展單元讀取其物理介質(zhì)中存儲(chǔ)的數(shù)據(jù)信息和/或接收由至少一個(gè)其它擴(kuò)展單元傳輸數(shù)據(jù)信號(hào)，并將以上所有信號(hào)發(fā)送至核心處理單元；
(3)虛擬交互信息處理:核心處理單元接收3D攝像單元、使用者輔助單元和擴(kuò)展單元的信號(hào)，處理不同時(shí)刻的信號(hào)變化量，提取數(shù)據(jù)信號(hào)特征并進(jìn)行識(shí)別判斷，再進(jìn)一步處理產(chǎn)生相應(yīng)的多維度感知信號(hào)輸出給3D投影單元、使用者輔助單元和擴(kuò)展單元；
(4)虛擬交互信息擴(kuò)展輸出:擴(kuò)展單元接收核心處理單元發(fā)送的信號(hào)，并將以上所有信號(hào)存儲(chǔ)寫(xiě)入其物理存儲(chǔ)介質(zhì)中和/或發(fā)送至其它擴(kuò)展單元；
(5)多維度感知的虛擬交互實(shí)現(xiàn):3D投影單元接收核心處理單元，并轉(zhuǎn)換為虛擬的3D視覺(jué)信息，使用者輔助單元接收信號(hào)處理單元的信號(hào)轉(zhuǎn)換為多維度感知信息中的若干維度信息，多維度感知信息被使用者感知，實(shí)現(xiàn)虛擬交互。
[0054]根據(jù)上述方法，可以實(shí)現(xiàn)帶有遠(yuǎn)程通訊、數(shù)據(jù)讀取、數(shù)據(jù)存儲(chǔ)、量子數(shù)據(jù)交換等附加功能的多維度感知虛擬交互，其流程圖如圖5所示。
[0055]進(jìn)一步地，根據(jù)上述方法，還可以實(shí)現(xiàn)多使用者的時(shí)空同步虛擬交互。
[0056]所述的時(shí)空同步虛擬交互是指基于以上所述的虛擬交互，能讓多個(gè)使用者的虛擬交互實(shí)現(xiàn)時(shí)間同步和空間同步，所述的時(shí)間同步是指在非同一時(shí)刻產(chǎn)生的虛擬交互行為可以在同一時(shí)刻呈現(xiàn)，所述的空間同步行為是指在非同一地點(diǎn)進(jìn)行虛擬交互行為可以在同一地點(diǎn)呈現(xiàn)。
[0057]作為優(yōu)選，所述的步驟(3)虛擬交互信息處理步驟中，核心處理單元進(jìn)行信號(hào)處理的方法是:基于輸入的信號(hào)數(shù)據(jù)在不同時(shí)間t內(nèi)的變化量，利用數(shù)據(jù)挖掘方法挖掘信號(hào)的特征并建立規(guī)則模型來(lái)對(duì)變化量進(jìn)行計(jì)算、分析、識(shí)別、判斷及調(diào)整規(guī)則模型參數(shù)，并將信號(hào)輸出。
[0058]基于輸入的信號(hào)數(shù)據(jù)在不同時(shí)間t內(nèi)的變化量，計(jì)算信號(hào)數(shù)據(jù)的一階及多階微分量，分析這些微分量，提取這些信號(hào)數(shù)據(jù)的特征，通過(guò)系統(tǒng)由歷史數(shù)據(jù)特征聚類(lèi)，得到多個(gè)特征規(guī)則構(gòu)成的規(guī)則模型，對(duì)這些信號(hào)數(shù)據(jù)的特征進(jìn)行識(shí)別判斷，得到相應(yīng)的信號(hào)輸出量，另外根據(jù)新的信號(hào)數(shù)據(jù)變化量可以重新調(diào)整規(guī)則模型中的參數(shù)。
[0059]作為優(yōu)選，調(diào)整規(guī)則模型參數(shù)的信號(hào)采用使用者的生理信號(hào)變化量，提取生理信號(hào)變化量的特征，對(duì)規(guī)則模型參數(shù)進(jìn)行相應(yīng)的調(diào)整。具體系統(tǒng)調(diào)整規(guī)則，可以是心率變化量與使用者運(yùn)動(dòng)強(qiáng)度之間的規(guī)則模型，也可是其它物理量之間的規(guī)則模型，如當(dāng)單位時(shí)間內(nèi)的心率變化量增加2時(shí)，使用者的壓力覺(jué)感知系數(shù)就減少0.01，反之心率變化量減少2時(shí)，壓力覺(jué)感知系數(shù)就增加0.01。壓力覺(jué)感知信息的計(jì)算模型為F=u*m*a，F(xiàn)為使用者感覺(jué)到的力，u為使用者作用的壓力覺(jué)感知系數(shù)，初始值為1，m為系統(tǒng)預(yù)設(shè)的虛擬物體質(zhì)量，a為位移變化量的二階微分量，即加速度值。
[0060]本發(fā)明的有益效果是:
1.本發(fā)明的系統(tǒng)能實(shí)現(xiàn)人與任何虛擬信息之間的多維度交互，可將任意虛擬場(chǎng)景進(jìn)行投影，使用本系統(tǒng)可以使人與虛擬人，人與虛擬物體的交互更加直接、真實(shí)。
[0061]2.本發(fā)明的系統(tǒng)能達(dá)到多個(gè)使用者的虛擬交互時(shí)空同步的效果，即過(guò)去的虛擬交互行為可以被現(xiàn)在的人通過(guò)多維度感知。
[0062]3.本發(fā)明的方法簡(jiǎn)單，容易實(shí)現(xiàn)，本發(fā)明能提供完整的使用者感官，特別是觸覺(jué)感知的維度得到更使用簡(jiǎn)便。
[0063]4.本發(fā)明的系統(tǒng)適用于多種場(chǎng)景的基于多維度感知的虛擬交互，適合多種功能和用途的需要，適用范圍十分廣泛，具有廣闊的應(yīng)用前景。
【專(zhuān)利附圖】

【附圖說(shuō)明】
[0064]圖1是本發(fā)明的多維度虛擬交互系統(tǒng)組成示意圖；
圖2、圖3是本發(fā)明包含擴(kuò)展單元的多維度虛擬交互系統(tǒng)組成示意圖；
圖4是本發(fā)明的多維度虛擬交互實(shí)現(xiàn)方法流程示意圖；
圖5是本發(fā)明的包含擴(kuò)展單元的多維度虛擬交互實(shí)現(xiàn)方法流程示意圖；
圖6是本發(fā)明的虛擬彈琴交互場(chǎng)景示意圖；
圖7是本發(fā)明的虛擬彈琴交互實(shí)現(xiàn)步驟流程圖；
圖8是基于本發(fā)明的多用戶(hù)虛擬彈琴交互場(chǎng)景示意圖；
圖9是基于本發(fā)明的多用戶(hù)虛擬彈琴交互實(shí)現(xiàn)步驟流程圖；
圖10是基于本發(fā)明的存儲(chǔ)虛擬彈琴交互場(chǎng)景示意圖；
圖11是基于本發(fā)明的存儲(chǔ)虛擬彈琴交互實(shí)現(xiàn)步驟流程圖；
圖12是基于本發(fā)明的重現(xiàn)虛擬彈琴交互場(chǎng)景示意圖；
圖13是基于本發(fā)明的重現(xiàn)虛擬彈琴交互實(shí)現(xiàn)步驟流程圖；
圖14是基于本發(fā)明的重現(xiàn)修改虛擬彈琴交互場(chǎng)景示意圖；
圖15是基于本發(fā)明的重現(xiàn)修改虛擬彈琴交互實(shí)現(xiàn)步驟流程圖。
[0065]圖中所示:1—核心處理單元，2—使用者輔助單元，3—3D攝像單元，4——3D投影單元，5——擴(kuò)展單元，6——擴(kuò)展單元網(wǎng)絡(luò)。
【具體實(shí)施方式】
[0066]下面結(jié)合附圖和實(shí)施例詳細(xì)說(shuō)明本發(fā)明。
[0067]為了更詳細(xì)地說(shuō)明本發(fā)明的一種實(shí)現(xiàn)多維度感知虛擬交互的系統(tǒng)和方法，以?xún)扇宋帐譃槔?，下面根?jù)附圖和實(shí)施例詳細(xì)說(shuō)明本發(fā)明。
[0068]本發(fā)明的系統(tǒng)可以提供使用者3D視覺(jué)，聽(tīng)覺(jué)，接觸覺(jué)和壓力覺(jué)的完整感受，使用者對(duì)于虛擬物體的任何動(dòng)作都可以使虛擬物體發(fā)生隨動(dòng)的變化，這種變化就好像使用者接觸到真實(shí)物體時(shí)，真實(shí)物體發(fā)生的變化一樣。這種使用者人機(jī)關(guān)系的實(shí)現(xiàn)方式，可以應(yīng)用到任何地方。為了更好地說(shuō)明這種方式的應(yīng)用，通過(guò)以下實(shí)施例說(shuō)明。
[0069]如圖1所示，本發(fā)明的實(shí)現(xiàn)多維度感知虛擬交互的系統(tǒng)，包括核心處理單元、使用者輔助單元、3D攝像單元和3D投影單元，其中:
所述的3D攝像單元用于采集虛擬交互信息中的光學(xué)信息，并將其轉(zhuǎn)換為信號(hào)，并把信號(hào)輸出給相應(yīng)設(shè)備單元；所述的使用者輔助單元用于采集除光學(xué)信息之外的其它相應(yīng)虛擬交互信息，將其轉(zhuǎn)換為信號(hào)輸出給相應(yīng)設(shè)備單元；還用于將接收的信號(hào)轉(zhuǎn)換為相應(yīng)的多維度感知信息；所述的核心處理單元用于接收相應(yīng)設(shè)備單元輸入的信號(hào)，進(jìn)行信號(hào)處理，將處理后的信號(hào)輸出給相應(yīng)設(shè)備單元；所述的3D投影單元用于接收相應(yīng)設(shè)備單元輸入的信號(hào)，轉(zhuǎn)換為相應(yīng)的3D視覺(jué)信息；
具體地，3D攝像單元采集虛擬交互信息中的光學(xué)信息，并轉(zhuǎn)換為信號(hào)發(fā)送至核心處理單元；所述的使用者輔助單元采集除光學(xué)信息之外的其它相應(yīng)虛擬交互信息，將其轉(zhuǎn)換為信號(hào)發(fā)送至核心處理單元；核心處理單元接收使用者輔助單元和3D攝像單元發(fā)送的信號(hào)，并對(duì)不同時(shí)間接收到的信號(hào)處理，并將相應(yīng)的多維度感知信號(hào)發(fā)送至使用者輔助單元和3D投影單元；使用者輔助單元接收核心處理單元發(fā)送的信號(hào)，轉(zhuǎn)換為相應(yīng)的多維度感知信息，3D投影單元接收核心處理單元發(fā)送的信號(hào)，并轉(zhuǎn)換為相應(yīng)的3D視覺(jué)信息、多維度感知信息發(fā)出，被使用者感知后，實(shí)現(xiàn)多維度虛擬交互。
[0070]如圖2和圖3所示，根據(jù)情況不同，本發(fā)明的虛擬交互系統(tǒng)還可以包括擴(kuò)展單元，所述的擴(kuò)展單元包括但不限于通訊模塊、數(shù)據(jù)存儲(chǔ)模塊、數(shù)據(jù)讀取模塊、量子感應(yīng)模塊中的任意一種或任意二種及以上的組合，使本發(fā)明的系統(tǒng)還具備遠(yuǎn)程通訊、數(shù)據(jù)讀取、數(shù)據(jù)存儲(chǔ)、量子數(shù)據(jù)交換等附加功能。
[0071]所述的通訊模塊包括但不限于有線通訊模塊(如串口通訊模塊、以太網(wǎng)通訊模塊等)和無(wú)線通訊模塊(如藍(lán)牙模塊、wifi通訊模塊、Zigbee通訊模塊、RF模塊、⑶H)模塊、GSM模塊、CDMA模塊等)。
[0072]所述的數(shù)據(jù)存儲(chǔ)模塊用于把信息存儲(chǔ)進(jìn)入物理介質(zhì)中，包括云存儲(chǔ)模塊、flash存儲(chǔ)設(shè)備、DVD刻錄設(shè)備、硬盤(pán)寫(xiě)入設(shè)備、生物存儲(chǔ)材料制造設(shè)備(如人造DNA、RNA制造設(shè)備)，打印機(jī)(如傳統(tǒng)紙張、3D打印的實(shí)體、4D打印的實(shí)體)等。
[0073]所述的數(shù)據(jù)讀取模塊包括但不限于具有文本(如文字、數(shù)字、樂(lè)符等符號(hào))識(shí)別功能的模塊，聲音(如音樂(lè)、語(yǔ)音等)識(shí)別功能的模塊，能夠讀取生物存儲(chǔ)材料中信息的模塊。
[0074]所述的量子感應(yīng)模塊用于基于量子效應(yīng)而產(chǎn)生信息互通，包括但不限于量子通訊設(shè)備，所述的量子感應(yīng)模塊是指能基于量子效應(yīng)實(shí)現(xiàn)數(shù)據(jù)通訊或數(shù)據(jù)處理的模塊。
[0075]圖3為多個(gè)具有擴(kuò)展單元的本發(fā)明所述系統(tǒng)，通過(guò)擴(kuò)展單元網(wǎng)絡(luò)互通多維度感知虛擬交互信息的結(jié)構(gòu)示意圖，基于擴(kuò)展單元網(wǎng)絡(luò)，使用者可以共享自己的多維度感知虛擬交互信息。
[0076]實(shí)施例1
以虛擬鋼琴交互為例，說(shuō)明實(shí)現(xiàn)多維度感知虛擬樂(lè)器交互的過(guò)程。
[0077]本發(fā)明的虛擬彈琴交互場(chǎng)景示意圖如圖6所示。在這里的使用者與虛擬鋼琴的交互關(guān)系是一種多維度感知虛擬交互關(guān)系。本發(fā)明的多維度感知虛擬交互系統(tǒng)可以提供使用者3D視覺(jué)，聽(tīng)覺(jué)，接觸覺(jué)和壓力覺(jué)的完整感受，使用者對(duì)于虛擬物體的任何動(dòng)作都可以使虛擬物體發(fā)生隨動(dòng)的變化，這種變化就好像使用者接觸到真實(shí)物體時(shí)，真實(shí)物體發(fā)生的變化一樣。這種使用者與虛擬鋼琴的交互關(guān)系的實(shí)現(xiàn)方式，不僅限于多維度虛擬鋼琴交互感知，可以應(yīng)用到任何地方。為了更好地說(shuō)明這種方式的效果，以下詳細(xì)說(shuō)明。
[0078]就鋼琴而言，使用者手指按上投影出來(lái)的虛擬琴鍵的時(shí)候，向下壓，虛擬琴鍵隨著手指下降并與手指緊密貼合，與此同時(shí)使用者輔助單元給予手指對(duì)應(yīng)的接觸覺(jué)感知信息、壓力覺(jué)感知信息；手指從按下的琴鍵提上來(lái)的時(shí)候，投影出來(lái)的虛擬琴鍵也隨著手指上升并與手指緊密貼合，與此同時(shí)使用者輔助單元同樣給予手指對(duì)應(yīng)的接觸覺(jué)感知信息、壓力覺(jué)感知信息；最后琴鍵上升到本來(lái)的高度的時(shí)候，與手指分離，手指繼續(xù)上升離開(kāi)琴鍵，琴鍵高度不變化，手指也沒(méi)有接觸覺(jué)和壓力覺(jué)反饋了。在上述手指按壓琴鍵的整個(gè)過(guò)程中，系統(tǒng)可以發(fā)出該琴鍵對(duì)應(yīng)的聲音。
[0079]下面結(jié)合圖7所示的本發(fā)明的虛擬彈琴交互實(shí)現(xiàn)步驟流程圖，來(lái)說(shuō)明多維度虛擬鋼琴的具體使用步驟:
(I)系統(tǒng)開(kāi)啟:使用者佩戴上使用者輔助單元，啟動(dòng)電源，3D投影單元投影操作提示界面。
[0080](2)虛擬交互信息采集:3D攝像單元采集使用者虛擬交互行為的光學(xué)信息，使用者輔助單元采集使用者的脈搏信息、腦電信息和空間相對(duì)位置信息將以上信息轉(zhuǎn)換為相應(yīng)信號(hào)發(fā)送到核心處理單元。這里的虛擬交互行為包括使用正常使用鋼琴的行為，以及使用者在此過(guò)程中發(fā)出的指令。
[0081]3D攝像單元采集3D圖像信息，每隔一段時(shí)間t，3D攝像單元將該3D圖像信息轉(zhuǎn)換為信號(hào)的形式發(fā)送到核心處理單元。使用者輔助單元信號(hào)采集模塊中脈搏傳感器采集相應(yīng)的脈搏波信息并產(chǎn)生相應(yīng)的信號(hào)，腦電傳感器采集相應(yīng)的腦電信息并產(chǎn)生相應(yīng)的信號(hào)，陀螺儀傳感器采集相應(yīng)的相對(duì)空間位置信息產(chǎn)生相應(yīng)的信號(hào)，使用者輔助單元每隔時(shí)間t，把信號(hào)發(fā)送至核心處理單元。
[0082](3)虛擬交互信息處理:核心處理單元處理3D攝像單元和使用者輔助單元輸入的信號(hào)，通過(guò)處理分析得到使用者的手勢(shì)軌跡，即手指的三維空間坐標(biāo)值S (X，y, Z)的變化量，X, I為與琴鍵平面平行的空間坐標(biāo)值，Z為與鍵平面垂直的空間坐標(biāo)值。核心處理單元中存儲(chǔ)的手勢(shì)判斷規(guī)則模型，是否達(dá)到關(guān)閉系統(tǒng)的指令條件，若達(dá)到則關(guān)閉系統(tǒng)，比如在t時(shí)間內(nèi)三維坐標(biāo)值z(mì)變化量達(dá)到40cm時(shí)，關(guān)閉系統(tǒng)。
[0083]核心處理單元處理3D攝像單元和使用者輔助單元發(fā)送來(lái)的信號(hào)，通過(guò)脈搏波信號(hào)分析識(shí)別使用者的情緒指令，和/或通過(guò)聲音信號(hào)分析識(shí)別使用者發(fā)出的語(yǔ)音指令，和/或通過(guò)3D攝像單元采集到的使用者臉部圖像的光學(xué)信號(hào)來(lái)分析識(shí)別使用者的表情指令，對(duì)以上指令通過(guò)核心處理單元中預(yù)設(shè)的指令庫(kù)發(fā)出相應(yīng)的指示信號(hào)，向3D投影單元發(fā)送相應(yīng)信號(hào)，向使用輔助單元發(fā)送相應(yīng)信號(hào)產(chǎn)生振動(dòng)和壓力信號(hào)來(lái)指示使用者進(jìn)行下一步系統(tǒng)工作模式的切換與選擇。(語(yǔ)音與手勢(shì)的調(diào)置可以按照要求在系統(tǒng)預(yù)設(shè)中設(shè)置，以下例舉幾種簡(jiǎn)單的指令，比如在此使用者通過(guò)發(fā)出“鋼琴”的語(yǔ)音指令指示系統(tǒng)投影虛擬鋼琴，用“握拳”的動(dòng)作來(lái)調(diào)整虛擬鋼琴的位置，“ok”的手勢(shì)來(lái)表示確認(rèn)。)
核心處理單元進(jìn)一步處理使用者輔助單元輸入的信號(hào)，基于脈搏波信號(hào)、腦電信號(hào)、空間坐標(biāo)值s (X，y, z)在不同時(shí)間t內(nèi)的變化量，利用數(shù)據(jù)挖掘方法挖掘相應(yīng)的生理信號(hào)特征，并建立規(guī)則模型來(lái)對(duì)變化量進(jìn)行計(jì)算、分析、識(shí)別和判斷來(lái)調(diào)整規(guī)則模型參數(shù)(如通過(guò)脈搏生理特征可以識(shí)別使用者的使用狀態(tài)，比如系統(tǒng)調(diào)整系數(shù)可以由脈率值/60得到，由此來(lái)調(diào)整琴鍵隨動(dòng)模型條件參數(shù)、手指反作用力計(jì)算模型條件參數(shù)等以達(dá)到使用者前后虛擬感覺(jué)一致的效果。)
核心處理單元一方面進(jìn)一步處理3D攝像單元采集的使用者的光學(xué)信息，分析得到使用者手指空間坐標(biāo)值s(x，y, z)，另一方面進(jìn)一步處理3D攝像單元采集的虛擬鋼琴琴鍵的空間坐標(biāo)值q (X，y, Z),根據(jù)空間坐標(biāo)值s (X，y) , q (x, y)可以計(jì)算得到手指與虛擬鋼琴的相對(duì)空間位置坐標(biāo)位置關(guān)系。根據(jù)利用空間坐標(biāo)值S(Z)和采集時(shí)刻t計(jì)算出當(dāng)前手指的速度。計(jì)算出當(dāng)前手指的速度有多種算法，如
【權(quán)利要求】
1.一種實(shí)現(xiàn)多維度感知虛擬交互的系統(tǒng)，其特征在于:所述的系統(tǒng)包括核心處理單元、使用者輔助單元、3D攝像單元和3D投影單元，其中: 所述的3D攝像單元用于采集虛擬交互信息中的光學(xué)信息，并將其轉(zhuǎn)換為信號(hào)，并把信號(hào)輸出給相應(yīng)設(shè)備單元； 所述的使用者輔助單元用于采集的除光學(xué)信息之外的其它相應(yīng)虛擬交互信息，將其轉(zhuǎn)換為信號(hào)輸出給相應(yīng)設(shè)備單元；還用于將接收的信號(hào)轉(zhuǎn)換為相應(yīng)的多維度感知信息； 所述的核心處理單元用于接收相應(yīng)設(shè)備單元輸入的信號(hào)，進(jìn)行信號(hào)處理，將處理后的信號(hào)輸出給相應(yīng)設(shè)備單元； 所述的3D投影單元用于接收相應(yīng)設(shè)備單元輸入的信號(hào)，轉(zhuǎn)換為相應(yīng)的3D視覺(jué)信息； 所述的多維度感知是指6個(gè)或6個(gè)以上維度的使用者感覺(jué)。
2.根據(jù)權(quán)利要求1所述的實(shí)現(xiàn)多維度感知虛擬交互的系統(tǒng)，其特征在于:所述的系統(tǒng)還包括擴(kuò)展單元，所述的擴(kuò)展單元選自通訊模塊、數(shù)據(jù)存儲(chǔ)模塊、數(shù)據(jù)讀取模塊、量子感應(yīng)模塊中的任意一種或任意二種以上的組合。
3.根據(jù)權(quán)利要求1所述的實(shí)現(xiàn)多維度感知虛擬交互的系統(tǒng)，其特征在于:所述的多維度感知包括3D視覺(jué)感知和選自聽(tīng)覺(jué)感知、接觸覺(jué)感知、壓力覺(jué)感知、嗅覺(jué)感知、味覺(jué)感知、滑動(dòng)覺(jué)感知、溫度覺(jué)感知中的任意三種或三種以上的感知。
4.根據(jù)權(quán)利要求1任一項(xiàng)所述的實(shí)現(xiàn)多維度感知虛擬交互的系統(tǒng)，其特征在于所述的核心處理單元進(jìn)行信號(hào)處理的方法是:基于輸入的信號(hào)數(shù)據(jù)在不同時(shí)間t內(nèi)的變化量，利用數(shù)據(jù)挖掘方法挖掘信號(hào)的特征并建立規(guī)則模型來(lái)對(duì)變化量進(jìn)行計(jì)算、分析、識(shí)別、判斷及調(diào)整規(guī)則模型參數(shù)，并將信號(hào)輸·出。
5.根據(jù)權(quán)利要求1所述的實(shí)現(xiàn)多維度感知虛擬交互的系統(tǒng)，其特征在于:所述的使用者輔助單元包含信號(hào)采集模塊和信息重現(xiàn)模塊，所述的信號(hào)采集子模塊用于把物理信息轉(zhuǎn)換為信號(hào)，所述的信息重現(xiàn)子模塊用于把信號(hào)轉(zhuǎn)換為物理信信息。
6.根據(jù)權(quán)利要求1至5任一項(xiàng)所述的實(shí)現(xiàn)多維度感知虛擬交互的系統(tǒng)，其特征在于:所述的虛擬交互是指能被機(jī)器采集到的使用者與本發(fā)明所述的系統(tǒng)在情感上和行為上的交互行為，所述的交互行為可以是使用者自發(fā)產(chǎn)生的行為反應(yīng)、使用者感知本發(fā)明系統(tǒng)呈現(xiàn)的多維度感知信息產(chǎn)生的行為反應(yīng)。
7.根據(jù)權(quán)利要求1至5任一項(xiàng)所述的實(shí)現(xiàn)多維度感知虛擬交互的系統(tǒng)，其特征在于:所述的虛擬交互為時(shí)空同步虛擬交互，所述的時(shí)空同步是指時(shí)間同步和空間同步，所述的時(shí)間同步是指在非同一時(shí)刻產(chǎn)生的虛擬交互行為在同一時(shí)刻呈現(xiàn)，所述的空間同步行為是指在非同一地點(diǎn)進(jìn)行虛擬交互行為在同一地點(diǎn)呈現(xiàn)。
8.一種實(shí)現(xiàn)多維度感知虛擬交互的方法，其特征在于包括如下步驟: (1)虛擬交互信息采集:使用者產(chǎn)生虛擬交互信息，3D攝像單元采集虛擬交互信息中的光學(xué)信息并轉(zhuǎn)換為信號(hào)發(fā)送至核心處理單元，使用者輔助單元采集使用者產(chǎn)生的除光學(xué)信息之外的其它相應(yīng)虛擬交互信息，將其發(fā)送至核心處理單元； (2)虛擬交互信息處理:核心處理單元接收3D攝像單元和使用者輔助單元發(fā)送的信號(hào)，處理不同時(shí)刻的信號(hào)變化量，提取數(shù)據(jù)信號(hào)特征并其進(jìn)行識(shí)別判斷，產(chǎn)生相應(yīng)的多維度感知信號(hào)，輸出給3D投影單元和使用者輔助單元； (3)多維度感知的虛擬交互實(shí)現(xiàn):3D投影單元接收核心處理單元輸出的信號(hào)，并轉(zhuǎn)換為相應(yīng)的3D視覺(jué)信息，使用者輔助單元接收信號(hào)處理單元輸出的信號(hào)，并根據(jù)接收的信號(hào)轉(zhuǎn)換為相應(yīng)的多維度感知信息，實(shí)現(xiàn)多維度感知虛擬交互。
9.一種實(shí)現(xiàn)多維度感知虛擬交互的方法，其特征在于包括如下步驟: (1)虛擬交互信息采集:使用者產(chǎn)生虛擬交互信息，3D攝像單元和使用者輔助單元采集相應(yīng)的虛擬交互信息轉(zhuǎn)換為信號(hào)，每隔固定時(shí)間t，發(fā)送信號(hào)至核心處理單元和擴(kuò)展單元，使用者輔助單元采集虛擬交互信息，每隔固定時(shí)間t，發(fā)送信號(hào)至核心處理單元； (2)虛擬交互信息擴(kuò)展輸入:擴(kuò)展單元讀取其物理介質(zhì)中存儲(chǔ)的數(shù)據(jù)信息和/或接收由至少一個(gè)其它擴(kuò)展單元傳輸數(shù)據(jù)信號(hào)，并將以上所有信號(hào)發(fā)送至核心處理單元； (3)虛擬交互信息處理:核心處理單元接收3D攝像單元、使用者輔助單元和擴(kuò)展單元的信號(hào)，處理不同時(shí)刻的信號(hào)變化量，提取數(shù)據(jù)信號(hào)特征并進(jìn)行識(shí)別判斷，產(chǎn)生相應(yīng)的多維度感知信號(hào)輸出給3D投影單元、使用者輔助單元和擴(kuò)展單元； (4)虛擬交互信息擴(kuò)展輸出:擴(kuò)展單元接收核心處理單元發(fā)送的信號(hào)，并將以上所有信號(hào)存儲(chǔ)寫(xiě)入其物理存儲(chǔ)介質(zhì)中和/或發(fā)送至其它擴(kuò)展單元； (5)多維度感知的虛擬交互實(shí)現(xiàn):3D投影單元接收核心處理單元，并轉(zhuǎn)換為虛擬的3D視覺(jué)信息，使用者輔助單元接收信號(hào)處理單元的信號(hào)轉(zhuǎn)換為多維度感知信息中的若干維度信息，多維度感知信息被使用者感知，實(shí)現(xiàn)虛擬交互。
10.根據(jù)權(quán)利要求8或9所述的方法，其特征在于:所述的虛擬交互信息處理步驟中，核心處理單元進(jìn)行信號(hào)處理的方法是:基于輸入的信號(hào)數(shù)據(jù)在不同時(shí)間t內(nèi)的變化量，利用數(shù)據(jù)挖掘方法挖掘信號(hào)的特征并建立規(guī)則模型來(lái)對(duì)變化量進(jìn)行計(jì)算、分析、識(shí)別、判斷及調(diào)整規(guī)則模型參數(shù)，并將信 號(hào)輸出。
【文檔編號(hào)】G06F3/01GK103823551SQ201310085951
【公開(kāi)日】2014年5月28日 申請(qǐng)日期:2013年3月17日 優(yōu)先權(quán)日:2013年3月17日
【發(fā)明者】孟濬, 陳嘯, 劉瓊 申請(qǐng)人:浙江大學(xué)