本發(fā)明涉及虛擬現(xiàn)實(shí)技術(shù)領(lǐng)域,尤其涉及一種虛擬界面交互控制方法及系統(tǒng)。
背景技術(shù):
目前,虛擬現(xiàn)實(shí)技術(shù)是一種可以創(chuàng)建和體驗(yàn)虛擬世界的計(jì)算機(jī)仿真系統(tǒng),能利用計(jì)算機(jī)生成一種多源信息融合的模擬環(huán)境。雖然現(xiàn)有技術(shù)已經(jīng)有投影虛擬鍵盤(pán),但對(duì)投影虛擬鍵盤(pán)的操作分單手拿電子設(shè)備及雙手拿電子設(shè)備。當(dāng)單手拿電子設(shè)備時(shí),虛擬鍵盤(pán)成九宮格顯示,當(dāng)雙手拿電子設(shè)備時(shí),虛擬鍵盤(pán)成全鍵盤(pán)顯示,而當(dāng)用戶(hù)沒(méi)有拿電子設(shè)備時(shí),無(wú)法顯示虛擬鍵盤(pán)。另外,現(xiàn)有技術(shù)中只是投影虛擬鍵盤(pán),無(wú)法將電子設(shè)備的當(dāng)前使用界面投影成虛擬界面,使用戶(hù)在虛擬界面上得以進(jìn)行操作。
技術(shù)實(shí)現(xiàn)要素:
鑒于以上內(nèi)容,有必要提供一種虛擬界面交互控制方法及系統(tǒng),能使用戶(hù)在使用電子設(shè)備時(shí),不再局限于電子設(shè)備的顯示屏的大小、電子設(shè)備是否在手等因素。另外,即使用戶(hù)的顯示屏不能使用,用戶(hù)仍能使用電子設(shè)備,提高了用戶(hù)的體驗(yàn)。
一種虛擬界面交互控制方法,應(yīng)用于電子設(shè)備中,所述方法包括:
建立與智能穿戴裝置的通信連接;
確定在設(shè)置界面上所設(shè)置的反饋操作功能項(xiàng);
獲取當(dāng)前用戶(hù)界面;
將所述當(dāng)前用戶(hù)界面及所設(shè)置的反饋操作功能項(xiàng)發(fā)送至所述智能穿戴裝置;
當(dāng)所述智能穿戴裝置利用投影設(shè)備將所述當(dāng)前用戶(hù)界面顯示到虛擬界面上,并基于所設(shè)置的反饋操作功能項(xiàng)確定所述虛擬界面上的操作指令后,接收所述智能穿戴裝置發(fā)送的所述操作指令;及
根據(jù)所述操作指令執(zhí)行相應(yīng)的操作。
根據(jù)本發(fā)明優(yōu)選實(shí)施例,所述反饋操作功能項(xiàng)包括捕捉手勢(shì)功能項(xiàng)或感測(cè)功能項(xiàng),所述捕捉手勢(shì)功能項(xiàng)用于根據(jù)手勢(shì)的運(yùn)動(dòng)軌跡確定所述操作指令,所述感測(cè)功能項(xiàng)用于利用與所述智能穿戴裝置相通信的智能感測(cè)設(shè)備感測(cè)觸碰操作,并根據(jù)所感測(cè)到的觸碰操作確定所述操作指令。
一種虛擬界面交互控制方法,應(yīng)用于智能穿戴裝置中,所述方法包括:
接收與所述智能穿戴裝置相通信的電子設(shè)備發(fā)送的所述當(dāng)前用戶(hù)界面及所設(shè)置的反饋操作功能項(xiàng);
將所述當(dāng)前用戶(hù)界面顯示到虛擬界面上;
基于所設(shè)置的反饋操作功能項(xiàng)確定所述虛擬界面上的操作指令;及
將所述操作指令發(fā)送至所述電子設(shè)備。
根據(jù)本發(fā)明優(yōu)選實(shí)施例,所述反饋操作功能項(xiàng)包括捕捉手勢(shì)功能項(xiàng)或感測(cè)功能項(xiàng),所述捕捉手勢(shì)功能項(xiàng)用于根據(jù)手勢(shì)的運(yùn)動(dòng)軌跡確定所述操作指令,所述感測(cè)功能項(xiàng)用于利用與所述智能穿戴裝置相通信的智能感測(cè)設(shè)備感測(cè)觸碰操作,并根據(jù)所感測(cè)到的觸碰操作確定所述操作指令。
根據(jù)本發(fā)明優(yōu)選實(shí)施例,當(dāng)所述所設(shè)置的反饋操作功能項(xiàng)是捕捉手勢(shì)功能項(xiàng)時(shí),所述基于所設(shè)置的反饋操作功能項(xiàng)確定所述虛擬界面上的操作指令包括:
利用所述智能穿戴裝置的攝像設(shè)備獲取手勢(shì)信息;
根據(jù)獲取到的所述手勢(shì)信息以及預(yù)先設(shè)置的識(shí)別方式,確定所述虛擬界面上的操作指令。
根據(jù)本發(fā)明優(yōu)選實(shí)施例,當(dāng)所述所設(shè)置的反饋操作功能項(xiàng)是感測(cè)功能項(xiàng)時(shí),所述基于所設(shè)置的反饋操作功能項(xiàng)確定所述虛擬界面上的操作指令包括:
獲取所述智能感測(cè)設(shè)備在所述虛擬界面上的觸碰操作;
根據(jù)所感測(cè)到的觸碰操作及預(yù)先設(shè)置的觸碰操作,確定所述虛擬界面上的操作指令。
一種虛擬界面交互控制系統(tǒng),運(yùn)行于電子設(shè)備中,所述系統(tǒng)包括:
建立模塊,用于建立與智能穿戴裝置的通信連接;
確定信息模塊,用于確定在設(shè)置界面上所設(shè)置的反饋操作功能項(xiàng);
獲取模塊,用于獲取當(dāng)前用戶(hù)界面;
發(fā)送信息模塊,用于將所述當(dāng)前用戶(hù)界面及所設(shè)置的反饋操作功能項(xiàng)發(fā)送至所述智能穿戴裝置;
所述確定信息模塊還用于當(dāng)所述智能穿戴裝置利用投影設(shè)備將所述當(dāng)前用戶(hù)界面顯示到虛擬界面上,并基于所設(shè)置的反饋操作功能項(xiàng)確定所述虛擬界面上的操作指令后,接收所述智能穿戴裝置發(fā)送的所述操作指令。
根據(jù)本發(fā)明優(yōu)選實(shí)施例,所述反饋操作功能項(xiàng)包括捕捉手勢(shì)功能項(xiàng)或感測(cè)功能項(xiàng),所述捕捉手勢(shì)功能項(xiàng)用于根據(jù)手勢(shì)的運(yùn)動(dòng)軌跡確定所述操作指令,所述感測(cè)功能項(xiàng)用于利用與所述智能穿戴裝置相通信的智能感測(cè)設(shè)備感測(cè)觸碰操作,并根據(jù)所感測(cè)到的觸碰操作確定所述操作指令;及
執(zhí)行模塊,用于根據(jù)所述操作指令執(zhí)行相應(yīng)的操作。
一種虛擬界面交互控制系統(tǒng),運(yùn)行于智能穿戴裝置中,所述系統(tǒng)包括:
接收模塊,用于接收與所述智能穿戴裝置相通信的電子設(shè)備發(fā)送的所述當(dāng)前用戶(hù)界面及所設(shè)置的反饋操作功能項(xiàng);
顯示模塊,用于將所述當(dāng)前用戶(hù)界面顯示到虛擬界面上;
確定模塊,用于基于所設(shè)置的反饋操作功能項(xiàng)確定所述虛擬界面上的操作指令;及
發(fā)送指令模塊,用于將所述操作指令發(fā)送至所述電子設(shè)備。
根據(jù)本發(fā)明優(yōu)選實(shí)施例,所述反饋操作功能項(xiàng)包括捕捉手勢(shì)功能項(xiàng)或感測(cè)功能項(xiàng),所述捕捉手勢(shì)功能項(xiàng)用于根據(jù)手勢(shì)的運(yùn)動(dòng)軌跡確定所述操作指令,所述感測(cè)功能項(xiàng)用于利用與所述智能穿戴裝置相通信的智能感測(cè)設(shè)備感測(cè)觸碰操作,并根據(jù)所感測(cè)到的觸碰操作確定所述操作指令。
根據(jù)本發(fā)明優(yōu)選實(shí)施例,當(dāng)所述所設(shè)置的反饋操作功能項(xiàng)是捕捉手勢(shì)功能項(xiàng)時(shí),所述確定模塊用于基于所設(shè)置的反饋操作功能項(xiàng)確定所述虛擬界面上的操作指令包括:
利用所述智能穿戴裝置的攝像設(shè)備獲取手勢(shì)信息;
根據(jù)獲取到的所述手勢(shì)信息以及預(yù)先設(shè)置的識(shí)別方式,確定所述虛擬界面上的操作指令。
根據(jù)本發(fā)明優(yōu)選實(shí)施例,當(dāng)所述所設(shè)置的反饋操作功能項(xiàng)是感測(cè)功能項(xiàng)時(shí),所述確定模塊用于基于所設(shè)置的反饋操作功能項(xiàng)確定所述虛擬界面上的操作指令包括:
獲取所述智能感測(cè)設(shè)備在所述虛擬界面上的觸碰操作;
根據(jù)所感測(cè)到的觸碰操作及預(yù)先設(shè)置的觸碰操作,確定所述虛擬界面上的操作指令。
由以上技術(shù)方案可以看出,本發(fā)明通過(guò)智能穿戴裝置將電子設(shè)備的所述當(dāng)前用戶(hù)界面投射到虛擬界面上,通過(guò)捕捉手勢(shì)的運(yùn)動(dòng)軌跡及根據(jù)預(yù)先設(shè)置的運(yùn)動(dòng)軌跡確定所述虛擬界面上的操作指令,或者通過(guò)智能感測(cè)設(shè)備感應(yīng)觸碰操作及根據(jù)預(yù)先設(shè)置的運(yùn)動(dòng)軌跡確定所述虛擬界面上的操作指令,將所述操作指令發(fā)送至所述電子設(shè)備。本發(fā)明能將電子設(shè)備中用戶(hù)的界面顯示在虛擬界面上,能使用戶(hù)在使用電子設(shè)備時(shí),不再局限于電子設(shè)備的顯示屏的大小、電子設(shè)備是否在手等因素。另外即使用戶(hù)的顯示屏不能使用,用戶(hù)仍能使用電子設(shè)備,提高了用戶(hù)的體驗(yàn)。
附圖說(shuō)明
圖1是本發(fā)明實(shí)現(xiàn)虛擬界面交互控制方法的應(yīng)用環(huán)境圖。
圖2是本發(fā)明虛擬界面交互控制方法的第一較佳實(shí)施例的流程圖。
圖3是本發(fā)明虛擬界面交互控制方法的第二較佳實(shí)施例的流程圖。
圖4是本發(fā)明實(shí)現(xiàn)虛擬界面交互控制方法的較佳實(shí)施例的電子設(shè)備的結(jié)構(gòu)示意圖。
圖5是本發(fā)明實(shí)現(xiàn)虛擬界面交互控制方法的較佳實(shí)施例的智能穿戴裝置的結(jié)構(gòu)示意圖。
圖6是本發(fā)明虛擬界面交互控制系統(tǒng)的實(shí)施例的功能模塊圖。
圖7是本發(fā)明虛擬界面交互控制系統(tǒng)的另一實(shí)施例的功能模塊圖。
主要元件符號(hào)說(shuō)明
具體實(shí)施方式
為了使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚,下面結(jié)合附圖和具體實(shí)施例對(duì)本發(fā)明進(jìn)行詳細(xì)描述。
如圖1所示,圖1是本發(fā)明實(shí)現(xiàn)虛擬界面交互控制方法的應(yīng)用環(huán)境圖。所述應(yīng)用環(huán)境圖包括電子設(shè)備1及智能穿戴裝置2。所述智能穿戴裝置2與所述電子設(shè)備1進(jìn)行通信。
優(yōu)選地,本發(fā)明的虛擬界面交互控制方法可以應(yīng)用在多個(gè)所述智能穿戴裝置2及多個(gè)所述電子設(shè)備1中。所述電子設(shè)備1及所述智能穿戴裝置2是一種能夠按照事先設(shè)定或存儲(chǔ)的指令,自動(dòng)進(jìn)行數(shù)值計(jì)算和/或信息處理的設(shè)備,其硬件包括但不限于微處理器、專(zhuān)用集成電路(Application Specific Integrated Circuit,ASIC)、可編程門(mén)陣列(Field-Programmable Gate Array,F(xiàn)PGA)、數(shù)字處理器(Digital Signal Processor,DSP)、嵌入式設(shè)備等。
所述電子設(shè)備1及所述智能穿戴裝置2所處的網(wǎng)絡(luò)包括但不限于互聯(lián)網(wǎng)、廣域網(wǎng)、城域網(wǎng)、局域網(wǎng)、虛擬專(zhuān)用網(wǎng)絡(luò)(Virtual Private Network,VPN)等。所述電子設(shè)備1還包括但不限于單個(gè)網(wǎng)絡(luò)服務(wù)器、多個(gè)網(wǎng)絡(luò)服務(wù)器組成的服務(wù)器組或基于云計(jì)算(Cloud Computing)的由大量主機(jī)或網(wǎng)絡(luò)服務(wù)器構(gòu)成的云,其中,云計(jì)算是分布式計(jì)算的一種,由一群松散耦合的計(jì)算機(jī)集組成的一個(gè)超級(jí)虛擬計(jì)算機(jī)。
所述電子設(shè)備1還包括但不限于任何一種可與用戶(hù)通過(guò)鍵盤(pán)、鼠標(biāo)、遙控器、觸摸板或聲控設(shè)備等方式進(jìn)行人機(jī)交互的電子產(chǎn)品,例如,個(gè)人計(jì)算機(jī)、平板電腦、智能手機(jī)、個(gè)人數(shù)字助理(Personal Digital Assistant,PDA)、游戲機(jī)、交互式網(wǎng)絡(luò)電視(Internet Protocol Television,IPTV)、智能式穿戴式設(shè)備等。
所述智能穿戴裝置2可以是智能眼鏡、智能手環(huán)等等。本發(fā)明實(shí)施例中,所述智能穿戴裝置2可以穿戴于用戶(hù)的至少一個(gè)部位,例如、頭、手腕、胳膊、腿等等。所述載體為人體,用戶(hù)可以穿戴、貼附或手持所述智能穿戴裝置2以檢測(cè)用戶(hù)在虛擬界面上的操作。所述智能穿戴裝置2獲取用戶(hù)在虛擬界面上的操作,并將操作對(duì)應(yīng)的指令發(fā)送給電子設(shè)備1。
如圖2所示,是本發(fā)明虛擬界面交互控制方法第一較佳實(shí)施例的流程圖。根據(jù)不同的需求,該流程圖中步驟的順序可以改變,某些步驟可以省略。
S10,所述電子設(shè)備1建立與所述智能穿戴裝置2的通信連接。
在本發(fā)明的一個(gè)實(shí)施例中,所述電子設(shè)備1包括第一通訊設(shè)備。所述智能穿戴裝置2包括第二通訊設(shè)備。所述電子設(shè)備1通過(guò)所述第一通訊設(shè)備及所述智能穿戴裝置2的第二通訊設(shè)備與所述智能穿戴裝置2建立通信連接。所述第一通訊設(shè)備及第二通訊設(shè)備可以是無(wú)線(xiàn)通訊模塊、有線(xiàn)通訊模塊,包括藍(lán)牙模塊、Wi-Fi模塊,WiMax(World Interoperability for Microwave Access,即全球微波接入互操作性)模塊,GSM(Global System for Mobile Communication,全球移動(dòng)通信系統(tǒng))模塊等等。
S11,電子設(shè)備1確定在設(shè)置界面上所設(shè)置的反饋操作功能項(xiàng)。
在本發(fā)明的一個(gè)實(shí)施例中,所述設(shè)置界面包括反饋操作功能項(xiàng),所述反饋操作功能項(xiàng)包括捕捉手勢(shì)功能項(xiàng)。所述捕捉手勢(shì)功能項(xiàng)用于根據(jù)手勢(shì)的運(yùn)動(dòng)軌跡確定所述操作指令。
在本發(fā)明的一個(gè)實(shí)施例中,所述智能穿戴裝置2還與智能感測(cè)設(shè)備相通信,所述智能感測(cè)設(shè)備包括攝像單元,例如所述智能感測(cè)設(shè)備可以是智能筆等等。所述智能感測(cè)設(shè)備通過(guò)攝像單元獲取用戶(hù)選中的目標(biāo)項(xiàng)。因此,進(jìn)一步地,所述反饋操作功能項(xiàng)還包括感測(cè)功能項(xiàng)。所述感測(cè)功能項(xiàng)用于利用所述智能感測(cè)設(shè)備感測(cè)觸碰操作,并根據(jù)所感測(cè)到的觸碰操作確定所述操作指令。
當(dāng)所述電子設(shè)備1設(shè)置了所述反饋操作功能項(xiàng)為捕捉手勢(shì)功能項(xiàng)時(shí),后續(xù)所述智能穿戴裝置2基于捕捉手勢(shì)功能項(xiàng)確定虛擬界面上的操作指令。當(dāng)所述電子設(shè)備1設(shè)置了所述反饋操作功能項(xiàng)為感測(cè)功能項(xiàng)時(shí),后續(xù)所述智能穿戴裝置2基于感測(cè)功能項(xiàng)確定虛擬界面上的操作指令,具體過(guò)程將在后續(xù)詳述。
所述設(shè)置界面還包括開(kāi)啟所述智能穿戴裝置2選項(xiàng)及關(guān)閉所述智能穿戴裝置2選項(xiàng)。
S12,電子設(shè)備1獲取當(dāng)前用戶(hù)界面。
在本發(fā)明的一個(gè)實(shí)施例中,電子設(shè)備1獲取當(dāng)前用戶(hù)界面具體包括:電子設(shè)備1獲取當(dāng)前用戶(hù)界面上每個(gè)顯示項(xiàng)的信息,如圖標(biāo)、設(shè)置項(xiàng)、圖片等等。所述顯示項(xiàng)的信息包括顯示項(xiàng)的名稱(chēng)等等。電子設(shè)備1并獲取每個(gè)顯示項(xiàng)在所述當(dāng)前用戶(hù)界面上的位置區(qū)域。
S13,電子設(shè)備1將所述當(dāng)前用戶(hù)界面及所設(shè)置的反饋操作功能項(xiàng)發(fā)送至所述智能穿戴裝置2。
S14,當(dāng)所述智能穿戴裝置2將所述當(dāng)前用戶(hù)界面顯示到所述虛擬界面上,并基于所設(shè)置的反饋操作功能項(xiàng)確定所述虛擬界面上的操作指令后,所述電子設(shè)備1接收所述智能穿戴裝置2發(fā)送的所述操作指令。
在本發(fā)明的一個(gè)實(shí)施例中,所述智能穿戴裝置2包括投影設(shè)備(如微型投影儀)等。所述智能穿戴裝置2利用所述投影設(shè)備將所獲取的所述當(dāng)前用戶(hù)界面投影到所述虛擬界面上。所述虛擬界面可以位于書(shū)本上、墻壁上等其他實(shí)物上。
在本發(fā)明的一個(gè)實(shí)施例中,所述智能穿戴裝置2進(jìn)一步包括攝像設(shè)備,所述攝像設(shè)備用于獲取用戶(hù)在所述虛擬界面上的手勢(shì)信息。
當(dāng)所述所設(shè)置的反饋操作功能項(xiàng)是捕捉手勢(shì)功能項(xiàng)時(shí),所述基于所設(shè)置的反饋操作功能項(xiàng)確定所述虛擬界面上的操作指令包括:
(1)利用所述攝像設(shè)備獲取手勢(shì)信息。
在本發(fā)明的一個(gè)實(shí)施例中,所述手勢(shì)信息包括手勢(shì)的目標(biāo)點(diǎn)及手勢(shì)的運(yùn)動(dòng)軌跡。例如,對(duì)于手勢(shì)的目標(biāo)點(diǎn),當(dāng)用戶(hù)用手觸碰所述虛擬界面上某個(gè)顯示項(xiàng)所在的位置時(shí),則手勢(shì)的目標(biāo)點(diǎn)即為所述顯示項(xiàng)所在的位置。例如,對(duì)于手勢(shì)的運(yùn)動(dòng)軌跡,當(dāng)用戶(hù)用手指向右滑動(dòng)時(shí),則手勢(shì)的運(yùn)動(dòng)軌跡為向右滑動(dòng)。
(2)根據(jù)獲取到的所述手勢(shì)信息以及預(yù)先設(shè)置的識(shí)別方式,確定所述虛擬界面上的操作指令。
當(dāng)所述預(yù)先設(shè)置的識(shí)別方式為識(shí)別手勢(shì)的運(yùn)動(dòng)軌跡時(shí),所述手勢(shì)信息為手勢(shì)的運(yùn)動(dòng)軌跡;將獲取的運(yùn)動(dòng)軌跡與預(yù)先保存的運(yùn)動(dòng)軌跡進(jìn)行匹配,將匹配成功的預(yù)先保存的運(yùn)動(dòng)軌跡所對(duì)應(yīng)的操作指令作為確定出的操作指令。當(dāng)所述預(yù)先設(shè)置的識(shí)別方式為識(shí)別手勢(shì)的坐標(biāo)信息時(shí),所述手勢(shì)信息為手勢(shì)的目標(biāo)點(diǎn);根據(jù)所述目標(biāo)點(diǎn)確定出要進(jìn)行操作的顯示項(xiàng),并根據(jù)所述目標(biāo)點(diǎn)對(duì)應(yīng)的運(yùn)動(dòng)軌跡確定出對(duì)所述顯示項(xiàng)的操作指令。例如,預(yù)先設(shè)置在顯示項(xiàng)外圍畫(huà)了一個(gè)圓圈以框中所述顯示項(xiàng)表示打開(kāi)所述顯示項(xiàng)。用戶(hù)用手指先觸碰了聊天軟件圖標(biāo),并在聊天軟件圖標(biāo)外圍畫(huà)了一個(gè)圓圈,把所述聊天軟件圖標(biāo)框中,根據(jù)預(yù)先設(shè)置的信息,則表示打開(kāi)所述聊天軟件。
當(dāng)所述所設(shè)置的反饋操作功能項(xiàng)是感測(cè)功能項(xiàng)時(shí),所述基于所設(shè)置的反饋操作功能項(xiàng)確定所述虛擬界面上的操作指令包括:
(1)獲取所述智能感測(cè)設(shè)備在所述虛擬界面上的觸碰操作。
在本發(fā)明的一個(gè)實(shí)施例中,所述觸碰操作包括點(diǎn)擊操作及滑動(dòng)操作。所述智能感測(cè)設(shè)備包括多個(gè)感應(yīng)器,所述感應(yīng)器包括壓力感應(yīng)器,陀螺儀、重力感應(yīng)器等等。所述智能感測(cè)設(shè)備利用所述多個(gè)感應(yīng)器感測(cè)用戶(hù)在所述虛擬界面上的觸碰操作。
(2)根據(jù)所感測(cè)到的觸碰操作及預(yù)先設(shè)置的觸碰操作,確定所述虛擬界面上的操作指令。
在本發(fā)明的一個(gè)實(shí)施例中,當(dāng)所感測(cè)到的觸碰操作為點(diǎn)擊操作時(shí),進(jìn)一步利用所述智能感測(cè)設(shè)備的攝像單元獲取目標(biāo)項(xiàng)。
在本發(fā)明的一個(gè)實(shí)施例中,利用所述攝像單元獲取圖片,并利用特征提取技術(shù)從所述圖片提取目標(biāo)項(xiàng),如圖標(biāo)、設(shè)置選項(xiàng)等等。
將所述所感測(cè)到的觸碰操作與預(yù)先設(shè)置的觸碰操作進(jìn)行匹配,根據(jù)匹配成功的預(yù)先設(shè)置的觸碰操作所對(duì)應(yīng)的操作指令及所述目標(biāo)項(xiàng)確定所述虛擬界面上的操作指令。例如,點(diǎn)擊操作為打開(kāi)所觸碰的目標(biāo)項(xiàng)。
當(dāng)所感測(cè)到的觸碰操作為滑動(dòng)操作時(shí),將所述所感測(cè)到的觸碰操作與預(yù)先設(shè)置的觸碰操作進(jìn)行匹配,根據(jù)匹配成功的預(yù)先設(shè)置的觸碰操作所對(duì)應(yīng)的操作指令確定所述虛擬界面上的操作指令。例如,如預(yù)先設(shè)置向上滑動(dòng)為將所述虛擬界面上的用戶(hù)界面向上滑動(dòng),則當(dāng)檢測(cè)到向上滑動(dòng)的觸碰操作時(shí),則所述虛擬界面上的操作指令為將用戶(hù)界面向上滑動(dòng)。
S15,電子設(shè)備1根據(jù)所述操作指令執(zhí)行相應(yīng)的操作。
如圖3所示,是本發(fā)明虛擬界面交互控制方法第二較佳實(shí)施例的流程圖。根據(jù)不同的需求,該流程圖中步驟的順序可以改變,某些步驟可以省略。
S20,所述智能穿戴裝置2接收電子設(shè)備1發(fā)送的所述當(dāng)前用戶(hù)界面及所設(shè)置的反饋操作功能項(xiàng)。
在本發(fā)明的一個(gè)實(shí)施例中,所述設(shè)置界面包括反饋操作功能項(xiàng),所述反饋操作功能項(xiàng)包括捕捉手勢(shì)功能項(xiàng)。所述捕捉手勢(shì)功能項(xiàng)用于根據(jù)手勢(shì)的運(yùn)動(dòng)軌跡確定所述操作指令。
在本發(fā)明的一個(gè)實(shí)施例中,所述智能穿戴裝置2還與智能感測(cè)設(shè)備相通信,所述智能感測(cè)設(shè)備包括攝像單元,例如所述智能感測(cè)設(shè)備可以是智能筆等等。所述智能感測(cè)設(shè)備通過(guò)攝像單元獲取用戶(hù)選中的目標(biāo)項(xiàng)。因此,進(jìn)一步地,所述反饋操作功能項(xiàng)還包括感測(cè)功能項(xiàng)。所述感測(cè)功能項(xiàng)用于利用所述智能感測(cè)設(shè)備感測(cè)觸碰操作,并根據(jù)所感測(cè)到的觸碰操作確定所述操作指令。
當(dāng)所述電子設(shè)備1設(shè)置了所述反饋操作功能項(xiàng)為捕捉手勢(shì)功能項(xiàng)時(shí),后續(xù)所述智能穿戴裝置2基于捕捉手勢(shì)功能項(xiàng)確定虛擬界面上的操作指令。當(dāng)所述電子設(shè)備1設(shè)置了所述反饋操作功能項(xiàng)為感測(cè)功能項(xiàng)時(shí),后續(xù)所述智能穿戴裝置2基于感測(cè)功能項(xiàng)確定虛擬界面上的操作指令,具體過(guò)程將在后續(xù)詳述。
S21,所述智能穿戴裝置2將所述當(dāng)前用戶(hù)界面顯示到虛擬界面上。
在本發(fā)明的一個(gè)實(shí)施例中,所述智能穿戴裝置2包括投影設(shè)備(如微型投影儀)等。所述智能穿戴裝置2利用所述投影設(shè)備將所獲取的所述當(dāng)前用戶(hù)界面投影到所述虛擬界面上。所述虛擬界面可以位于書(shū)本上、墻壁上等其他實(shí)物上。
S22,所述智能穿戴裝置2基于所設(shè)置的反饋操作功能項(xiàng)確定所述虛擬界面上的操作指令。
在本發(fā)明的一個(gè)實(shí)施例中,所述智能穿戴裝置2進(jìn)一步包括攝像設(shè)備,所述攝像設(shè)備用于獲取用戶(hù)在所述虛擬界面上的手勢(shì)信息。
當(dāng)所述所設(shè)置的反饋操作功能項(xiàng)是捕捉手勢(shì)功能項(xiàng)時(shí),所述基于所設(shè)置的反饋操作功能項(xiàng)確定所述虛擬界面上的操作指令包括:
(1)利用所述攝像設(shè)備獲取手勢(shì)信息。
在本發(fā)明的一個(gè)實(shí)施例中,所述手勢(shì)信息包括手勢(shì)的目標(biāo)點(diǎn)及手勢(shì)的運(yùn)動(dòng)軌跡。例如對(duì)于手勢(shì)的目標(biāo)點(diǎn),當(dāng)用戶(hù)用手觸碰所述虛擬界面上某個(gè)顯示項(xiàng)所在的位置時(shí),則手勢(shì)的目標(biāo)點(diǎn)即為所述顯示項(xiàng)所在的位置。例如,對(duì)于手勢(shì)的運(yùn)動(dòng)軌跡,當(dāng)用戶(hù)用手指向右滑動(dòng)時(shí),則手勢(shì)的運(yùn)動(dòng)軌跡為向右滑動(dòng)。
(2)根據(jù)獲取到的所述手勢(shì)信息以及預(yù)先設(shè)置的識(shí)別方式,確定所述虛擬界面上的操作指令。
當(dāng)所述預(yù)先設(shè)置的識(shí)別方式為識(shí)別手勢(shì)的運(yùn)動(dòng)軌跡時(shí),所述手勢(shì)信息為手勢(shì)的運(yùn)動(dòng)軌跡;將獲取的運(yùn)動(dòng)軌跡與預(yù)先保存的運(yùn)動(dòng)軌跡進(jìn)行匹配,將匹配成功的預(yù)先保存的運(yùn)動(dòng)軌跡所對(duì)應(yīng)的操作指令作為確定出的操作指令。當(dāng)所述預(yù)先設(shè)置的識(shí)別方式為識(shí)別手勢(shì)的坐標(biāo)信息時(shí),所述手勢(shì)信息為手勢(shì)的目標(biāo)點(diǎn);根據(jù)所述目標(biāo)點(diǎn)確定出要進(jìn)行操作的顯示項(xiàng),并根據(jù)所述目標(biāo)點(diǎn)對(duì)應(yīng)的運(yùn)動(dòng)軌跡確定出對(duì)所述顯示項(xiàng)的操作指令。例如,預(yù)先設(shè)置在顯示項(xiàng)外圍畫(huà)了一個(gè)圓圈以框中所述顯示項(xiàng)表示打開(kāi)所述顯示項(xiàng)。用戶(hù)用手指觸碰了聊天軟件圖標(biāo),并在聊天軟件圖標(biāo)外圍畫(huà)了一個(gè)圓圈,把所述聊天軟件圖標(biāo)框中,根據(jù)預(yù)先設(shè)置的信息,則表示打開(kāi)所述聊天軟件。
當(dāng)所述所設(shè)置的反饋操作功能項(xiàng)是感測(cè)功能項(xiàng)時(shí),所述基于所設(shè)置的反饋操作功能項(xiàng)確定所述虛擬界面上的操作指令包括:
(1)獲取所述智能感測(cè)設(shè)備在所述虛擬界面上的觸碰操作。
在本發(fā)明的一個(gè)實(shí)施例中,所述觸碰操作包括點(diǎn)擊操作及滑動(dòng)操作。所述智能感測(cè)設(shè)備包括多個(gè)感應(yīng)器,所述感應(yīng)器包括壓力感應(yīng)器,陀螺儀、重力感應(yīng)器等等。所述智能感測(cè)設(shè)備利用所述多個(gè)感應(yīng)器感測(cè)用戶(hù)在所述虛擬界面上的觸碰操作。
(2)根據(jù)所感測(cè)到的觸碰操作及預(yù)先設(shè)置的觸碰操作,確定所述虛擬界面上的操作指令。
在本發(fā)明的一個(gè)實(shí)施例中,當(dāng)所感測(cè)到的觸碰操作為點(diǎn)擊操作時(shí),進(jìn)一步利用所述智能感測(cè)設(shè)備的攝像單元獲取目標(biāo)項(xiàng)。
在本發(fā)明的一個(gè)實(shí)施例中,利用所述攝像單元獲取圖片,并利用特征提取技術(shù)從所述圖片提取目標(biāo)項(xiàng),如圖標(biāo)、設(shè)置選項(xiàng)等等。
將所述所感測(cè)到的觸碰操作與預(yù)先設(shè)置的觸碰操作進(jìn)行匹配,根據(jù)匹配成功的預(yù)先設(shè)置的觸碰操作所對(duì)應(yīng)的操作指令及所述目標(biāo)項(xiàng)確定所述虛擬界面上的操作指令。例如,點(diǎn)擊操作為打開(kāi)所觸碰的目標(biāo)項(xiàng)。
當(dāng)所感測(cè)到的觸碰操作為滑動(dòng)操作時(shí),將所述所感測(cè)到的觸碰操作與預(yù)先設(shè)置的觸碰操作進(jìn)行匹配,根據(jù)匹配成功的預(yù)先設(shè)置的觸碰操作所對(duì)應(yīng)的操作指令確定所述虛擬界面上的操作指令。例如,如預(yù)先設(shè)置向上滑動(dòng)為將所述虛擬界面上的用戶(hù)界面向上滑動(dòng),則當(dāng)檢測(cè)到向上滑動(dòng)的觸碰操作時(shí),則所述虛擬界面上的操作指令為將用戶(hù)界面向上滑動(dòng)。
S23,所述智能穿戴裝置2將所述操作指令發(fā)送至所述電子設(shè)備1
本發(fā)明通過(guò)智能穿戴裝置將電子設(shè)備的所述當(dāng)前用戶(hù)界面投射到虛擬界面上,通過(guò)捕捉手勢(shì)的運(yùn)動(dòng)軌跡及根據(jù)預(yù)先設(shè)置的運(yùn)動(dòng)軌跡確定所述虛擬界面上的操作指令,或者通過(guò)智能感測(cè)設(shè)備感應(yīng)觸碰操作及根據(jù)預(yù)先設(shè)置的運(yùn)動(dòng)軌跡確定所述虛擬界面上的操作指令,將所述操作指令發(fā)送至所述電子設(shè)備。本發(fā)明能將電子設(shè)備中用戶(hù)的界面顯示在虛擬界面上,能使用戶(hù)在使用電子設(shè)備時(shí),不再局限于電子設(shè)備的顯示屏的大小、電子設(shè)備是否在手等因素。另外即使用戶(hù)的顯示屏不能使用,用戶(hù)仍能使用電子設(shè)備,提高了用戶(hù)的體驗(yàn)。
如圖4所示,圖4是本發(fā)明實(shí)現(xiàn)虛擬界面交互控制方法的較佳實(shí)施例的電子設(shè)備的結(jié)構(gòu)示意圖。所述電子設(shè)備1包括第一存儲(chǔ)設(shè)備12、第一處理設(shè)備13及第一通訊設(shè)備14。
所述電子設(shè)備1還包括但不限于任何一種可與用戶(hù)通過(guò)鍵盤(pán)、鼠標(biāo)、遙控器、觸摸板或聲控設(shè)備等方式進(jìn)行人機(jī)交互的電子產(chǎn)品,例如,個(gè)人計(jì)算機(jī)、平板電腦、智能手機(jī)、個(gè)人數(shù)字助理(Personal Digital Assistant,PDA)、游戲機(jī)、交互式網(wǎng)絡(luò)電視(Internet Protocol Television,IPTV)、智能式穿戴式設(shè)備等。所述電子設(shè)備1所處的網(wǎng)絡(luò)包括但不限于互聯(lián)網(wǎng)、廣域網(wǎng)、城域網(wǎng)、局域網(wǎng)、虛擬專(zhuān)用網(wǎng)絡(luò)(Virtual Private Network,VPN)等。
所述第一存儲(chǔ)設(shè)備12用于存儲(chǔ)一種虛擬界面交互控制方法的程序和各種數(shù)據(jù),并在所述電子設(shè)備1運(yùn)行過(guò)程中實(shí)現(xiàn)高速、自動(dòng)地完成程序或數(shù)據(jù)的存取。所述第一存儲(chǔ)設(shè)備12可以是電子設(shè)備1的外部存儲(chǔ)設(shè)備和/或內(nèi)部存儲(chǔ)設(shè)備。進(jìn)一步地,所述第一存儲(chǔ)設(shè)備12可以是集成電路中沒(méi)有實(shí)物形式的具有存儲(chǔ)功能的電路,如RAM(Random-Access Memory,隨機(jī)存取存儲(chǔ)設(shè)備)、FIFO(First In First Out,)等?;蛘撸龅谝淮鎯?chǔ)設(shè)備12也可以是具有實(shí)物形式的存儲(chǔ)設(shè)備,如內(nèi)存條、TF卡(Trans-flash Card)等等。
所述第一處理設(shè)備13又稱(chēng)中央處理器(CPU,Central Processing Unit),是一塊超大規(guī)模的集成電路,是電子設(shè)備1的運(yùn)算核心(Core)和控制核心(Control Unit)。所述第一處理設(shè)備13可執(zhí)行所述電子設(shè)備1的操作系統(tǒng)以及安裝的各類(lèi)應(yīng)用程序、程序代碼等,例如虛擬界面交互控制系統(tǒng)11。
所述第一通訊設(shè)備14可以是無(wú)線(xiàn)通訊模塊、有線(xiàn)通訊模塊,包括藍(lán)牙模塊、Wi-Fi模塊,WiMax(World Interoperability for Microwave Access,即全球微波接入互操作性)模塊,GSM(Global System for Mobile Communication,全球移動(dòng)通信系統(tǒng))模塊等等。
如圖5所示,本發(fā)明實(shí)現(xiàn)虛擬界面交互控制方法的較佳實(shí)施例的智能穿戴裝置的結(jié)構(gòu)示意圖。所述智能穿戴裝置2包括投影設(shè)備20、攝像設(shè)備21、第二通訊設(shè)備22、第二處理設(shè)備23及第二存儲(chǔ)設(shè)備24。進(jìn)一步地,所述智能穿戴裝置2還包括其他元件等等。
所述智能穿戴裝置2接收所述電子設(shè)備1發(fā)送的所述當(dāng)前用戶(hù)界面及所設(shè)置的反饋操作功能項(xiàng);將所述當(dāng)前用戶(hù)界面顯示到虛擬界面上;基于所設(shè)置的反饋操作功能項(xiàng)確定所述虛擬界面上的操作指令;及將所述操作指令發(fā)送至所述電子設(shè)備1。
所述投影設(shè)備20用于將所獲取的當(dāng)前用戶(hù)界上投影到所述虛擬界面上。所述虛擬界面可以位于書(shū)本上、墻壁上等其他實(shí)物上。所述投影設(shè)備可以是微型投影儀)等。
所述攝像設(shè)備21用于獲取手勢(shì)信息,所述手勢(shì)信息包括手勢(shì)的目標(biāo)點(diǎn)及手勢(shì)的運(yùn)動(dòng)軌跡。例如對(duì)于手勢(shì)的目標(biāo)點(diǎn),當(dāng)用戶(hù)用手觸碰所述虛擬界面上某個(gè)顯示項(xiàng)所在的位置時(shí),則手勢(shì)的目標(biāo)點(diǎn)即為所述顯示項(xiàng)所在的位置。例如,對(duì)于手勢(shì)的運(yùn)動(dòng)軌跡,當(dāng)用戶(hù)用手指向右滑動(dòng)時(shí),則手勢(shì)的運(yùn)動(dòng)軌跡為向右滑動(dòng)。
所述第二通訊設(shè)備22可以可以是無(wú)線(xiàn)通訊模塊、有線(xiàn)通訊模塊,包括藍(lán)牙模塊、Wi-Fi模塊,WiMax(World Interoperability for Microwave Access,即全球微波接入互操作性)模塊,GSM(Global System for Mobile Communication,全球移動(dòng)通信系統(tǒng))模塊等等。
所述第二處理設(shè)備23又稱(chēng)中央處理器(CPU,Central Processing Unit),是一塊超大規(guī)模的集成電路,是所述智能穿戴裝置2的運(yùn)算核心(Core)和控制核心(Control Unit)。所述第二處理設(shè)備23可執(zhí)行所述智能穿戴裝置2的操作系統(tǒng)以及安裝的各類(lèi)應(yīng)用程序、程序代碼等,例如虛擬界面交互控制系統(tǒng)21。
所述第二存儲(chǔ)設(shè)備24用于存儲(chǔ)一種虛擬界面交互控制方法的程序和各種數(shù)據(jù),并在所述智能穿戴裝置2運(yùn)行過(guò)程中實(shí)現(xiàn)高速、自動(dòng)地完成程序或數(shù)據(jù)的存取。所述第二存儲(chǔ)設(shè)備24可以是所述智能穿戴裝置2的外部存儲(chǔ)設(shè)備和/或內(nèi)部存儲(chǔ)設(shè)備。進(jìn)一步地,所述第二存儲(chǔ)設(shè)備24可以是集成電路中沒(méi)有實(shí)物形式的具有存儲(chǔ)功能的電路,如RAM(Random-Access Memory,隨機(jī)存取存儲(chǔ)設(shè)備)、FIFO(First In First Out,)等?;蛘?,所述第二存儲(chǔ)設(shè)備24也可以是具有實(shí)物形式的存儲(chǔ)設(shè)備,如內(nèi)存條、TF卡(Trans-flash Card)等等。
如圖6所示,本發(fā)明虛擬界面交互控制系統(tǒng)的實(shí)施例的功能模塊圖。所述虛擬界面交互控制系統(tǒng)11包括建立模塊100、確定信息模塊101、獲取模塊102、發(fā)送信息模塊103及執(zhí)行模塊104。本發(fā)明所稱(chēng)的模塊是指一種能夠被第一處理設(shè)備13所執(zhí)行并且能夠完成固定功能的一系列計(jì)算機(jī)程序段,其存儲(chǔ)在第一存儲(chǔ)設(shè)備12中。在本實(shí)施例中,關(guān)于各模塊的功能將在后續(xù)的實(shí)施例中詳述。
建立模塊100建立與所述智能穿戴裝置2的通信連接。
在本發(fā)明的一個(gè)實(shí)施例中,所述建立模塊100通過(guò)所述第一通訊設(shè)備14及所述智能穿戴裝置2的第二通訊設(shè)備22與所述智能穿戴裝置2建立通信連接。
確定信息模塊101確定在設(shè)置界面上所設(shè)置的反饋操作功能項(xiàng)。在本發(fā)明的一個(gè)實(shí)施例中,所述設(shè)置界面包括反饋操作功能項(xiàng),所述反饋操作功能項(xiàng)包括捕捉手勢(shì)功能項(xiàng)。所述捕捉手勢(shì)功能項(xiàng)用于根據(jù)手勢(shì)的運(yùn)動(dòng)軌跡確定所述操作指令。
在本發(fā)明的一個(gè)實(shí)施例中,所述智能穿戴裝置2還與智能感測(cè)設(shè)備相通信,所述智能感測(cè)設(shè)備包括攝像單元,例如所述智能感測(cè)設(shè)備可以是智能筆等等。所述智能感測(cè)設(shè)備通過(guò)攝像單元獲取用戶(hù)選中的目標(biāo)項(xiàng)。因此,進(jìn)一步地,所述反饋操作功能項(xiàng)還包括感測(cè)功能項(xiàng)。所述感測(cè)功能項(xiàng)用于利用所述智能感測(cè)設(shè)備感測(cè)觸碰操作,并根據(jù)所感測(cè)到的觸碰操作確定所述操作指令。
當(dāng)所述電子設(shè)備1設(shè)置了所述反饋操作功能項(xiàng)為捕捉手勢(shì)功能項(xiàng)時(shí),后續(xù)所述智能穿戴裝置2基于捕捉手勢(shì)功能項(xiàng)確定虛擬界面上的操作指令。當(dāng)所述電子設(shè)備1設(shè)置了所述反饋操作功能項(xiàng)為感測(cè)功能項(xiàng)時(shí),后續(xù)所述智能穿戴裝置2基于感測(cè)功能項(xiàng)確定虛擬界面上的操作指令,具體過(guò)程將在后續(xù)詳述。
所述設(shè)置界面還包括開(kāi)啟所述智能穿戴裝置2選項(xiàng)及關(guān)閉所述智能穿戴裝置2選項(xiàng)。
獲取模塊102獲取當(dāng)前用戶(hù)界面。
在本發(fā)明的一個(gè)實(shí)施例中,所述獲取模塊102獲取當(dāng)前用戶(hù)界面具體包括:所述獲取模塊102獲取當(dāng)前用戶(hù)界面上每個(gè)顯示項(xiàng)的信息,如圖標(biāo)、設(shè)置項(xiàng)、圖片等等。所述顯示項(xiàng)的信息包括顯示項(xiàng)的名稱(chēng)等等。所述獲取模塊102并獲取每個(gè)顯示項(xiàng)在所述當(dāng)前用戶(hù)界面上的位置區(qū)域。
發(fā)送信息模塊103將所述當(dāng)前用戶(hù)界面及所設(shè)置的反饋操作功能項(xiàng)發(fā)送至所述智能穿戴裝置2。
當(dāng)所述智能穿戴裝置2將所述當(dāng)前用戶(hù)界面顯示到虛擬界面上,并基于所設(shè)置的反饋操作功能項(xiàng)確定所述虛擬界面上的操作指令后,所述確定信息模塊101接收所述智能穿戴裝置2發(fā)送的所述操作指令。
在本發(fā)明的一個(gè)實(shí)施例中,所述智能穿戴裝置2包括投影設(shè)備20(如微型投影儀)等。所述智能穿戴裝置2利用所述投影設(shè)備20將所獲取的所述當(dāng)前用戶(hù)界面投影到所述虛擬界面上。所述虛擬界面可以位于書(shū)本上、墻壁上等其他實(shí)物上。
在本發(fā)明的一個(gè)實(shí)施例中,所述智能穿戴裝置2進(jìn)一步包括攝像設(shè)備21,所述攝像設(shè)備21用于獲取用戶(hù)在所述虛擬界面上的手勢(shì)信息。
當(dāng)所述所設(shè)置的反饋操作功能項(xiàng)是捕捉手勢(shì)功能項(xiàng)時(shí),所述基于所設(shè)置的反饋操作功能項(xiàng)確定所述虛擬界面上的操作指令包括:
(1)利用所述攝像設(shè)備21獲取手勢(shì)信息。
在本發(fā)明的一個(gè)實(shí)施例中,所述手勢(shì)信息包括手勢(shì)的目標(biāo)點(diǎn)及手勢(shì)的運(yùn)動(dòng)軌跡。例如,對(duì)于手勢(shì)的目標(biāo)點(diǎn),當(dāng)用戶(hù)用手觸碰所述虛擬界面上某個(gè)顯示項(xiàng)所在的位置時(shí),則手勢(shì)的目標(biāo)點(diǎn)即為所述顯示項(xiàng)所在的位置。例如,對(duì)于手勢(shì)的運(yùn)動(dòng)軌跡,當(dāng)用戶(hù)用手指向右滑動(dòng)時(shí),則手勢(shì)的運(yùn)動(dòng)軌跡為向右滑動(dòng)。
(2)根據(jù)獲取到的所述手勢(shì)信息以及預(yù)先設(shè)置的識(shí)別方式,確定所述虛擬界面上的操作指令。
當(dāng)所述預(yù)先設(shè)置的識(shí)別方式為識(shí)別手勢(shì)的運(yùn)動(dòng)軌跡時(shí),所述手勢(shì)信息為手勢(shì)的運(yùn)動(dòng)軌跡;將獲取的運(yùn)動(dòng)軌跡與預(yù)先保存的運(yùn)動(dòng)軌跡進(jìn)行匹配,將匹配成功的預(yù)先保存的運(yùn)動(dòng)軌跡所對(duì)應(yīng)的操作指令作為確定出的操作指令。當(dāng)所述預(yù)先設(shè)置的識(shí)別方式為識(shí)別手勢(shì)的坐標(biāo)信息時(shí),所述手勢(shì)信息為手勢(shì)的目標(biāo)點(diǎn);根據(jù)所述目標(biāo)點(diǎn)確定出要進(jìn)行操作的顯示項(xiàng),并根據(jù)所述目標(biāo)點(diǎn)對(duì)應(yīng)的運(yùn)動(dòng)軌跡確定出對(duì)所述顯示項(xiàng)的操作指令。例如,預(yù)先設(shè)置在顯示項(xiàng)外圍畫(huà)了一個(gè)圓圈以框中所述顯示項(xiàng)表示打開(kāi)所述顯示項(xiàng)。用戶(hù)用手指先觸碰了聊天軟件圖標(biāo),并在聊天軟件圖標(biāo)外圍畫(huà)了一個(gè)圓圈,把所述聊天軟件圖標(biāo)框中,根據(jù)預(yù)先設(shè)置的信息,則表示打開(kāi)所述聊天軟件。
當(dāng)所述所設(shè)置的反饋操作功能項(xiàng)是感測(cè)功能項(xiàng)時(shí),所述基于所設(shè)置的反饋操作功能項(xiàng)確定所述虛擬界面上的操作指令包括:
(1)獲取所述智能感測(cè)設(shè)備在所述虛擬界面上的觸碰操作。
在本發(fā)明的一個(gè)實(shí)施例中,所述觸碰操作包括點(diǎn)擊操作及滑動(dòng)操作。所述智能感測(cè)設(shè)備包括多個(gè)感應(yīng)器,所述感應(yīng)器包括壓力感應(yīng)器,陀螺儀、重力感應(yīng)器等等。所述智能感測(cè)設(shè)備利用所述多個(gè)感應(yīng)器感測(cè)用戶(hù)在所述虛擬界面上的觸碰操作。
(2)根據(jù)所感測(cè)到的觸碰操作及預(yù)先設(shè)置的觸碰操作,確定所述虛擬界面上的操作指令。
在本發(fā)明的一個(gè)實(shí)施例中,當(dāng)所感測(cè)到的觸碰操作為點(diǎn)擊操作時(shí),進(jìn)一步利用所述智能感測(cè)設(shè)備的攝像單元獲取目標(biāo)項(xiàng)。
在本發(fā)明的一個(gè)實(shí)施例中,利用所述攝像單元獲取圖片,并利用特征提取技術(shù)從所述圖片提取目標(biāo)項(xiàng),如圖標(biāo)、設(shè)置選項(xiàng)等等。
將所述所感測(cè)到的觸碰操作與預(yù)先設(shè)置的觸碰操作進(jìn)行匹配,根據(jù)匹配成功的預(yù)先設(shè)置的觸碰操作所對(duì)應(yīng)的操作指令及所述目標(biāo)項(xiàng)確定所述虛擬界面上的操作指令。例如,點(diǎn)擊操作為打開(kāi)所觸碰的目標(biāo)項(xiàng)。
當(dāng)所感測(cè)到的觸碰操作為滑動(dòng)操作時(shí),將所述所感測(cè)到的觸碰操作與預(yù)先設(shè)置的觸碰操作進(jìn)行匹配,根據(jù)匹配成功的預(yù)先設(shè)置的觸碰操作所對(duì)應(yīng)的操作指令確定所述虛擬界面上的操作指令。例如,如預(yù)先設(shè)置向上滑動(dòng)為將所述虛擬界面上的用戶(hù)界面向上滑動(dòng),則當(dāng)檢測(cè)到向上滑動(dòng)的觸碰操作時(shí),則所述虛擬界面上的操作指令為將用戶(hù)界面向上滑動(dòng)。
執(zhí)行模塊104根據(jù)所述操作指令執(zhí)行相應(yīng)的操作。
如圖7所示,本發(fā)明虛擬界面交互控制系統(tǒng)的另一實(shí)施例的功能模塊圖。所述虛擬界面交互控制系統(tǒng)21包括接收模塊200、顯示模塊201、確定模塊202及發(fā)送指令模塊203。本發(fā)明所稱(chēng)的模塊是指一種能夠被第二處理設(shè)備23所執(zhí)行并且能夠完成固定功能的一系列計(jì)算機(jī)程序段,其存儲(chǔ)在第二存儲(chǔ)設(shè)備24中。在本實(shí)施例中,關(guān)于各模塊的功能將在后續(xù)的實(shí)施例中詳述。
接收模塊200接收電子設(shè)備1發(fā)送的所述當(dāng)前用戶(hù)界面及所設(shè)置的反饋操作功能項(xiàng)。
在本發(fā)明的一個(gè)實(shí)施例中,所述設(shè)置界面包括反饋操作功能項(xiàng),所述反饋操作功能項(xiàng)包括捕捉手勢(shì)功能項(xiàng)。所述捕捉手勢(shì)功能項(xiàng)用于根據(jù)手勢(shì)的運(yùn)動(dòng)軌跡確定所述操作指令。
在本發(fā)明的一個(gè)實(shí)施例中,所述智能穿戴裝置2還與智能感測(cè)設(shè)備相通信,所述智能感測(cè)設(shè)備包括攝像單元,例如所述智能感測(cè)設(shè)備可以是智能筆等等。所述智能感測(cè)設(shè)備通過(guò)攝像單元獲取用戶(hù)選中的目標(biāo)項(xiàng)。因此,進(jìn)一步地,所述反饋操作功能項(xiàng)還包括感測(cè)功能項(xiàng)。所述感測(cè)功能項(xiàng)用于利用所述智能感測(cè)設(shè)備感測(cè)觸碰操作,并根據(jù)所感測(cè)到的觸碰操作確定所述操作指令。
當(dāng)所述電子設(shè)備1設(shè)置了所述反饋操作功能項(xiàng)為捕捉手勢(shì)功能項(xiàng)時(shí),后續(xù)所述智能穿戴裝置2基于捕捉手勢(shì)功能項(xiàng)確定虛擬界面上的操作指令。當(dāng)所述電子設(shè)備1設(shè)置了所述反饋操作功能項(xiàng)為感測(cè)功能項(xiàng)時(shí),后續(xù)所述智能穿戴裝置2基于感測(cè)功能項(xiàng)確定虛擬界面上的操作指令,具體過(guò)程將在后續(xù)詳述。
顯示模塊201將所述當(dāng)前用戶(hù)界面顯示到虛擬界面上。
在本發(fā)明的一個(gè)實(shí)施例中,所述智能穿戴裝置2包括投影設(shè)備20(如微型投影儀)等。所述智能穿戴裝置2利用所述投影設(shè)備20將所獲取的所述當(dāng)前用戶(hù)界面投影到所述虛擬界面上。所述虛擬界面可以位于書(shū)本上、墻壁上等其他實(shí)物上。
確定模塊202基于所設(shè)置的反饋操作功能項(xiàng)確定所述虛擬界面上的操作指令。
在本發(fā)明的一個(gè)實(shí)施例中,所述智能穿戴裝置2進(jìn)一步包括攝像設(shè)備21,所述攝像設(shè)備21用于獲取用戶(hù)在所述虛擬界面上的手勢(shì)信息。
當(dāng)所述所設(shè)置的反饋操作功能項(xiàng)是捕捉手勢(shì)功能項(xiàng)時(shí),所述確定模塊202基于所設(shè)置的反饋操作功能項(xiàng)確定所述虛擬界面上的操作指令包括:
(1)利用所述攝像設(shè)備獲取手勢(shì)信息。
在本發(fā)明的一個(gè)實(shí)施例中,所述手勢(shì)信息包括手勢(shì)的目標(biāo)點(diǎn)及手勢(shì)的運(yùn)動(dòng)軌跡。例如對(duì)于手勢(shì)的目標(biāo)點(diǎn),當(dāng)用戶(hù)用手觸碰所述虛擬界面上某個(gè)顯示項(xiàng)所在的位置時(shí),則手勢(shì)的目標(biāo)點(diǎn)即為所述顯示項(xiàng)所在的位置。例如,對(duì)于手勢(shì)的運(yùn)動(dòng)軌跡,當(dāng)用戶(hù)用手指向右滑動(dòng)時(shí),則手勢(shì)的運(yùn)動(dòng)軌跡為向右滑動(dòng)。
(2)根據(jù)獲取到的所述手勢(shì)信息以及預(yù)先設(shè)置的識(shí)別方式,確定所述虛擬界面上的操作指令。
當(dāng)所述預(yù)先設(shè)置的識(shí)別方式為識(shí)別手勢(shì)的運(yùn)動(dòng)軌跡時(shí),所述手勢(shì)信息為手勢(shì)的運(yùn)動(dòng)軌跡;將獲取的運(yùn)動(dòng)軌跡與預(yù)先保存的運(yùn)動(dòng)軌跡進(jìn)行匹配,將匹配成功的預(yù)先保存的運(yùn)動(dòng)軌跡所對(duì)應(yīng)的操作指令作為確定出的操作指令。當(dāng)所述預(yù)先設(shè)置的識(shí)別方式為識(shí)別手勢(shì)的坐標(biāo)信息時(shí),所述手勢(shì)信息為手勢(shì)的目標(biāo)點(diǎn);根據(jù)所述目標(biāo)點(diǎn)確定出要進(jìn)行操作的顯示項(xiàng),并根據(jù)所述目標(biāo)點(diǎn)對(duì)應(yīng)的運(yùn)動(dòng)軌跡確定出對(duì)所述顯示項(xiàng)的操作指令。例如,預(yù)先設(shè)置在顯示項(xiàng)外圍畫(huà)了一個(gè)圓圈以框中所述顯示項(xiàng)表示打開(kāi)所述顯示項(xiàng)。用戶(hù)用手指觸碰了聊天軟件圖標(biāo),并在聊天軟件圖標(biāo)外圍畫(huà)了一個(gè)圓圈,把所述聊天軟件圖標(biāo)框中,根據(jù)預(yù)先設(shè)置的信息,則表示打開(kāi)所述聊天軟件。
當(dāng)所述所設(shè)置的反饋操作功能項(xiàng)是感測(cè)功能項(xiàng)時(shí),所述確定模塊202基于所設(shè)置的反饋操作功能項(xiàng)確定所述虛擬界面上的操作指令包括:
(1)獲取所述智能感測(cè)設(shè)備在所述虛擬界面上的觸碰操作。
在本發(fā)明的一個(gè)實(shí)施例中,所述觸碰操作包括點(diǎn)擊操作及滑動(dòng)操作。所述智能感測(cè)設(shè)備包括多個(gè)感應(yīng)器,所述感應(yīng)器包括壓力感應(yīng)器,陀螺儀、重力感應(yīng)器等等)。所述智能感測(cè)設(shè)備利用所述多個(gè)感應(yīng)器感測(cè)用戶(hù)在所述虛擬界面上的觸碰操作。
(2)根據(jù)所感測(cè)到的觸碰操作及預(yù)先設(shè)置的觸碰操作,確定所述虛擬界面上的操作指令。
在本發(fā)明的一個(gè)實(shí)施例中,當(dāng)所感測(cè)到的觸碰操作為點(diǎn)擊操作時(shí),進(jìn)一步利用所述智能感測(cè)設(shè)備的攝像單元獲取目標(biāo)項(xiàng)。
在本發(fā)明的一個(gè)實(shí)施例中,利用所述攝像單元獲取圖片,并利用特征提取技術(shù)從所述圖片提取目標(biāo)項(xiàng),如圖標(biāo)、設(shè)置選項(xiàng)等等。
將所述所感測(cè)到的觸碰操作與預(yù)先設(shè)置的觸碰操作進(jìn)行匹配,根據(jù)匹配成功的預(yù)先設(shè)置的觸碰操作所對(duì)應(yīng)的操作指令及所述目標(biāo)項(xiàng)確定所述虛擬界面上的操作指令。例如,點(diǎn)擊操作為打開(kāi)所觸碰的目標(biāo)項(xiàng)。
當(dāng)所感測(cè)到的觸碰操作為滑動(dòng)操作時(shí),將所述所感測(cè)到的觸碰操作與預(yù)先設(shè)置的觸碰操作進(jìn)行匹配,根據(jù)匹配成功的預(yù)先設(shè)置的觸碰操作所對(duì)應(yīng)的操作指令確定所述虛擬界面上的操作指令。例如,如預(yù)先設(shè)置向上滑動(dòng)為將所述虛擬界面上的用戶(hù)界面向上滑動(dòng),則當(dāng)檢測(cè)到向上滑動(dòng)的觸碰操作時(shí),則所述虛擬界面上的操作指令為將用戶(hù)界面向上滑動(dòng)。
發(fā)送指令模塊203將所述操作指令發(fā)送至所述電子設(shè)備1。
本發(fā)明通過(guò)智能穿戴裝置將電子設(shè)備的所述當(dāng)前用戶(hù)界面投射到虛擬界面上,通過(guò)捕捉手勢(shì)的運(yùn)動(dòng)軌跡及根據(jù)預(yù)先設(shè)置的運(yùn)動(dòng)軌跡確定所述虛擬界面上的操作指令,或者通過(guò)智能感測(cè)設(shè)備感應(yīng)觸碰操作及根據(jù)預(yù)先設(shè)置的運(yùn)動(dòng)軌跡確定所述虛擬界面上的操作指令,將所述操作指令發(fā)送至所述電子設(shè)備。本發(fā)明能將電子設(shè)備中用戶(hù)的界面顯示在虛擬界面上,能使用戶(hù)在使用電子設(shè)備時(shí),不再局限于電子設(shè)備的顯示屏的大小、電子設(shè)備是否在手等因素。另外即使用戶(hù)的顯示屏不能使用,用戶(hù)仍能使用電子設(shè)備,提高了用戶(hù)的體驗(yàn)。
上述以軟件功能模塊的形式實(shí)現(xiàn)的集成的單元,可以存儲(chǔ)在一個(gè)計(jì)算機(jī)可讀取存儲(chǔ)介質(zhì)中。上述軟件功能模塊存儲(chǔ)在一個(gè)存儲(chǔ)介質(zhì)中,包括若干指令用以使得一臺(tái)計(jì)算機(jī)設(shè)備(可以是個(gè)人計(jì)算機(jī),服務(wù)器,或者網(wǎng)絡(luò)設(shè)備等)或處理器(processor)執(zhí)行本發(fā)明各個(gè)實(shí)施例所述方法的部分步驟。
結(jié)合圖2,所述電子設(shè)備1中的所述第一存儲(chǔ)設(shè)備12存儲(chǔ)多個(gè)指令以實(shí)現(xiàn)一種虛擬界面交互控制方法,所述第一處理設(shè)備13可執(zhí)行所述多個(gè)指令從而實(shí)現(xiàn):建立與智能穿戴裝置的通信連接;確定在設(shè)置界面上所設(shè)置的反饋操作功能項(xiàng);獲取當(dāng)前用戶(hù)界面;將所述當(dāng)前用戶(hù)界面及所設(shè)置的反饋操作功能項(xiàng)發(fā)送至所述智能穿戴裝置;當(dāng)所述智能穿戴裝置利用投影設(shè)備將所述當(dāng)前用戶(hù)界面顯示到虛擬界面上,并基于所設(shè)置的反饋操作功能項(xiàng)確定所述虛擬界面上的操作指令后,接收所述智能穿戴裝置發(fā)送的所述操作指令;及根據(jù)所述操作指令執(zhí)行相應(yīng)的操作。
根據(jù)本發(fā)明優(yōu)選實(shí)施例,所述反饋操作功能項(xiàng)包括捕捉手勢(shì)功能項(xiàng)或感測(cè)功能項(xiàng),所述捕捉手勢(shì)功能項(xiàng)用于根據(jù)手勢(shì)的運(yùn)動(dòng)軌跡確定所述操作指令,所述感測(cè)功能項(xiàng)用于利用與所述智能穿戴裝置相通信的智能感測(cè)設(shè)備感測(cè)觸碰操作,并根據(jù)所感測(cè)到的觸碰操作確定所述操作指令。
結(jié)合圖3,在本發(fā)明的一個(gè)實(shí)施例中,所述智能穿戴裝置2中的所述第二存儲(chǔ)設(shè)備24存儲(chǔ)多個(gè)指令以實(shí)現(xiàn)一種虛擬界面交互控制方法,所述第二處理設(shè)備23可執(zhí)行所述多個(gè)指令從而實(shí)現(xiàn):接收與所述智能穿戴裝置相通信的電子設(shè)備發(fā)送的所述當(dāng)前用戶(hù)界面及所設(shè)置的反饋操作功能項(xiàng);將所述當(dāng)前用戶(hù)界面顯示到虛擬界面上;基于所設(shè)置的反饋操作功能項(xiàng)確定所述虛擬界面上的操作指令;及將所述操作指令發(fā)送至所述電子設(shè)備。
根據(jù)本發(fā)明優(yōu)選實(shí)施例,所述反饋操作功能項(xiàng)包括捕捉手勢(shì)功能項(xiàng)或感測(cè)功能項(xiàng),所述捕捉手勢(shì)功能項(xiàng)用于根據(jù)手勢(shì)的運(yùn)動(dòng)軌跡確定所述操作指令,所述感測(cè)功能項(xiàng)用于利用與所述智能穿戴裝置相通信的智能感測(cè)設(shè)備感測(cè)觸碰操作,并根據(jù)所感測(cè)到的觸碰操作確定所述操作指令。
根據(jù)本發(fā)明優(yōu)選實(shí)施例,所述第二處理設(shè)備23還可執(zhí)行以下指令包括:
利用所述智能穿戴裝置的攝像設(shè)備獲取手勢(shì)信息;
根據(jù)獲取到的所述手勢(shì)信息以及預(yù)先設(shè)置的識(shí)別方式,確定所述虛擬界面上的操作指令。
根據(jù)本發(fā)明優(yōu)選實(shí)施例,所述第二處理設(shè)備23還可執(zhí)行以下指令包括:
獲取所述智能感測(cè)設(shè)備在所述虛擬界面上的觸碰操作;
根據(jù)所感測(cè)到的觸碰操作及預(yù)先設(shè)置的觸碰操作,確定所述虛擬界面上的操作指令。
具體地,所述第一處理設(shè)備13及第二處理設(shè)備23對(duì)上述指令的具體實(shí)現(xiàn)方法可參考圖2及圖3對(duì)應(yīng)實(shí)施例中相關(guān)步驟的描述,在此不贅述。在本發(fā)明所提供的幾個(gè)實(shí)施例中,應(yīng)該理解到,所揭露的系統(tǒng),裝置和方法,可以通過(guò)其它的方式實(shí)現(xiàn)。例如,以上所描述的裝置實(shí)施例僅僅是示意性的,例如,所述模塊的劃分,僅僅為一種邏輯功能劃分,實(shí)際實(shí)現(xiàn)時(shí)可以有另外的劃分方式。
所述作為分離部件說(shuō)明的模塊可以是或者也可以不是物理上分開(kāi)的,作為模塊顯示的部件可以是或者也可以不是物理單元,即可以位于一個(gè)地方,或者也可以分布到多個(gè)網(wǎng)絡(luò)單元上??梢愿鶕?jù)實(shí)際的需要選擇其中的部分或者全部模塊來(lái)實(shí)現(xiàn)本實(shí)施例方案的目的。
另外,在本發(fā)明各個(gè)實(shí)施例中的各功能模塊可以集成在一個(gè)處理單元中,也可以是各個(gè)單元單獨(dú)物理存在,也可以?xún)蓚€(gè)或兩個(gè)以上單元集成在一個(gè)單元中。上述集成的單元既可以采用硬件的形式實(shí)現(xiàn),也可以采用硬件加軟件功能模塊的形式實(shí)現(xiàn)。
對(duì)于本領(lǐng)域技術(shù)人員而言,顯然本發(fā)明不限于上述示范性實(shí)施例的細(xì)節(jié),而且在不背離本發(fā)明的精神或基本特征的情況下,能夠以其他的具體形式實(shí)現(xiàn)本發(fā)明。因此,無(wú)論從哪一點(diǎn)來(lái)看,均應(yīng)將實(shí)施例看作是示范性的,而且是非限制性的,本發(fā)明的范圍由所附權(quán)利要求而不是上述說(shuō)明限定,因此旨在將落在權(quán)利要求的等同要件的含義和范圍內(nèi)的所有變化涵括在本發(fā)明內(nèi)。不應(yīng)將權(quán)利要求中的任何附關(guān)聯(lián)圖標(biāo)記視為限制所涉及的權(quán)利要求。此外,顯然“包括”一詞不排除其他單元或步驟,單數(shù)不排除復(fù)數(shù)。系統(tǒng)權(quán)利要求中陳述的多個(gè)單元或裝置也可以由一個(gè)單元或裝置通過(guò)軟件或者硬件來(lái)實(shí)現(xiàn)。第一,第二等詞語(yǔ)用來(lái)表示名稱(chēng),而并不表示任何特定的順序。
最后應(yīng)說(shuō)明的是,以上實(shí)施例僅用以說(shuō)明本發(fā)明的技術(shù)方案而非限制,盡管參照較佳實(shí)施例對(duì)本發(fā)明進(jìn)行了詳細(xì)說(shuō)明,本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解,可以對(duì)本發(fā)明的技術(shù)方案進(jìn)行修改或等同替換,而不脫離本發(fā)明技術(shù)方案的精神和范圍。