本實(shí)用新型涉及虛擬現(xiàn)實(shí)技術(shù)領(lǐng)域，具體涉及一種虛擬現(xiàn)實(shí)系統(tǒng)的交互控制裝置及一種虛擬現(xiàn)實(shí)設(shè)備。

背景技術(shù)：

隨著虛擬現(xiàn)實(shí)技術(shù)的發(fā)展，體感技術(shù)作為與虛擬場景進(jìn)行交互的關(guān)鍵技術(shù)，得到了科技巨頭的普遍重視，無論是微軟的Kinect，還是谷歌的Tango，都希望在人機(jī)交互上獲得突破式創(chuàng)新，引領(lǐng)用戶體驗(yàn)變革。

但是，目前與虛擬現(xiàn)實(shí)系統(tǒng)的人機(jī)交互方式主要是按鍵控制和手勢控制等方面，無法滿足某些需要用戶腳部操作的應(yīng)用場景的需求，也使得某些有特殊要求的用戶，例如不能使用手部動作來操作虛擬現(xiàn)設(shè)備的殘疾用戶，無法使用虛擬現(xiàn)實(shí)設(shè)備。

技術(shù)實(shí)現(xiàn)要素：

本實(shí)用新型提供了一種虛擬現(xiàn)實(shí)系統(tǒng)的交互控制裝置及一種虛擬現(xiàn)實(shí)設(shè)備，以解決現(xiàn)有的虛擬現(xiàn)實(shí)系統(tǒng)的交互控制方式無法滿足某些需要用戶腳部操作的應(yīng)用場景的需求，也使得某些有特殊要求的用戶無法使用虛擬現(xiàn)實(shí)設(shè)備的問題。

根據(jù)本實(shí)用新型的一個方面，本實(shí)用新型提供了一種虛擬現(xiàn)實(shí)系統(tǒng)的交互控制裝置，包括模式選擇單元、第一深度攝像頭、第二深度攝像頭、動作識別單元和指令發(fā)送單元；

所述模式選擇單元，用于根據(jù)應(yīng)用場景選擇對用戶肢體動作的識別模式，所述識別模式包括：僅手部模式、僅腳部模式、手腳并用模式；

所述第一深度攝像頭，用于當(dāng)所述模式選擇單元選擇僅手部模式或手腳并用模式時，按預(yù)設(shè)的頻率采集用戶手部的圖像；

所述第二深度攝像頭，用于當(dāng)所述模式選擇單元選擇僅腳部模式或手腳并用模式時，按預(yù)設(shè)的頻率采集用戶腳部的圖像；

所述動作識別單元，用于根據(jù)所述第一深度攝像頭采集的圖像識別用戶手部的動作；以及根據(jù)所述第二深度攝像頭采集的圖像識別用戶腳部的動作；

所述指令發(fā)送單元，用于對所述動作識別單元識別出的用戶手部和/或腳部的某一動作，若存在與該動作對應(yīng)的預(yù)先定義的控制指令時，則向所述虛擬現(xiàn)實(shí)系統(tǒng)的虛擬場景發(fā)送該控制指令，在所述虛擬場景中執(zhí)行該控制指令。

根據(jù)本實(shí)用新型的另一個方面，本實(shí)用新型提供了一種虛擬現(xiàn)實(shí)設(shè)備，包括顯示屏，還包括模式選擇單元、第一深度攝像頭、第二深度攝像頭、動作識別單元和指令發(fā)送單元；

所述模式選擇單元，用于根據(jù)應(yīng)用場景選擇對用戶肢體動作的識別模式，所述識別模式包括：僅手部模式、僅腳部模式、手腳并用模式；

所述第一深度攝像頭，用于當(dāng)所述模式選擇單元選擇僅手部模式或手腳并用模式時，按預(yù)設(shè)的頻率采集用戶手部的圖像；

所述第二深度攝像頭，用于當(dāng)所述模式選擇單元選擇僅腳部模式或手腳并用模式時，按預(yù)設(shè)的頻率采集用戶腳部的圖像；

所述動作識別單元，用于根據(jù)所述第一深度攝像頭采集的圖像識別用戶手部的動作；以及根據(jù)所述第二深度攝像頭采集的圖像識別用戶腳部的動作；

所述指令發(fā)送單元，用于對所述動作識別單元識別出的用戶手部和/或腳部的某一動作，若存在與該動作對應(yīng)的預(yù)先定義的控制指令時，則向所述顯示屏播放的虛擬場景發(fā)送該控制指令，在所述虛擬場景中執(zhí)行該控制指令。

本實(shí)用新型的有益效果是：本實(shí)用新型實(shí)施例可以根據(jù)應(yīng)用場景選擇對用戶肢體動作的識別模式，并利用兩個深度攝像頭分別采集用戶手部和腳部的圖像，從而識別用戶手部和/或腳部的動作，若存在與用戶動作對應(yīng)的預(yù)先定義的控制指令，則向虛擬現(xiàn)實(shí)系統(tǒng)發(fā)送相應(yīng)的控制指令，并在虛擬場景中執(zhí)行該控制指令。用戶可以實(shí)際需求選擇僅使用雙手、或僅使用雙腳、或手腳并用地與虛擬現(xiàn)實(shí)系統(tǒng)進(jìn)行交互，滿足了需要多重控制的應(yīng)用場景。由于用戶可以通過腳部的動作控制虛擬現(xiàn)實(shí)系統(tǒng)，因而對于某些不便于使用手部動作進(jìn)行操作的特殊用戶，也可以通過雙腳方便地使用虛擬現(xiàn)實(shí)設(shè)備。

附圖說明

圖1是本實(shí)用新型一個實(shí)施例提供的一種虛擬現(xiàn)實(shí)系統(tǒng)的交互控制裝置的功能框圖；

圖2是本實(shí)用新型一個實(shí)施例提供的一種虛擬現(xiàn)實(shí)設(shè)備的功能框圖。

具體實(shí)施方式

本實(shí)用新型的設(shè)計(jì)構(gòu)思是：現(xiàn)有的虛擬現(xiàn)實(shí)系統(tǒng)人機(jī)交互方式比較單一，主要是按鍵控制和手勢控制，無法滿足某些需要用戶腳部操作的應(yīng)用場景，也使得某些有特殊要求的用戶，例如殘疾用戶，無法使用虛擬現(xiàn)實(shí)設(shè)備。針對這種情況，本實(shí)用新型通過兩個深度攝像頭分別采集用戶手部和腳部的圖像，從而識別用戶和腳部的動作，用戶可以根據(jù)選擇的動作識別模式，僅使用雙手、或僅使用雙腳、或手腳并用地與虛擬現(xiàn)實(shí)系統(tǒng)進(jìn)行交互，滿足了需要多重控制的應(yīng)用場景。由于用戶可以通過腳部的動作控制虛擬現(xiàn)實(shí)系統(tǒng)，因而對于某些不便于使用手部動作進(jìn)行操作的特殊用戶，也可以通過雙腳方便地使用虛擬現(xiàn)實(shí)設(shè)備。

實(shí)施例一

圖1是本實(shí)用新型一個實(shí)施例提供的一種虛擬現(xiàn)實(shí)系統(tǒng)的交互控制裝置的功能框圖，如圖1所示，本實(shí)施例提供的虛擬現(xiàn)實(shí)系統(tǒng)的交互控制裝置包括模式選擇單元110、第一深度攝像頭120、第二深度攝像頭130、動作識別單元140和指令發(fā)送單元150。

模式選擇單元110選擇用戶肢體動作的識別模式，包括：僅手部模式、僅腳部模式和手腳并用模式。用戶可以通過操作設(shè)備外部的硬件開關(guān)或虛擬現(xiàn)實(shí)場景的操作界面與模式選擇單元110進(jìn)行交互。

本實(shí)施例中的第一深度攝像頭120和第二深度攝像頭130均為TOF(Time of Flying)攝像頭，通過給目標(biāo)連續(xù)發(fā)送光脈沖，然后用傳感器接收從目標(biāo)返回的光脈沖，通過探測光脈沖的飛行時間可以得到目標(biāo)物的距離。

當(dāng)模式選擇單元110選擇僅手部模式時，第一深度攝像頭120按預(yù)設(shè)的頻率采集用戶手部的圖像，第二深度攝像頭130不工作。當(dāng)模式選擇單元110選擇僅腳部模式時，第一深度攝像頭120不工作，第二深度攝像頭130按預(yù)設(shè)的頻率采集用戶腳部的圖像。當(dāng)模式選擇單元110選擇手腳并用模式時，第一深度攝像頭120按預(yù)設(shè)的頻率采集用戶手部的圖像，同時，第二深度攝像頭130按預(yù)設(shè)的頻率采集用戶腳部的圖像。

每當(dāng)?shù)谝簧疃葦z像頭120或第二深度攝像頭130采集了一幀圖像，動作識別單元140根據(jù)第一深度攝像頭120采集的圖像識別用戶手部的動作，根據(jù)第二深度攝像頭130采集的圖像識別用戶腳部的動作。

第一深度攝像頭120和第二深度攝像頭130以特定的頻率采集圖像，通常兩個攝像頭的頻率相同，也就是說在相同的時間內(nèi)可以采集到相同數(shù)量的圖像。當(dāng)選擇手腳并用模式時，兩個攝像頭采集到的圖像都需要動作識別單元140進(jìn)行處理，此時動作識別單元140需要處理的圖像是僅手部模式或僅腳部模式的兩倍，在處理資源比較緊張的情況下，有可能無法滿足系統(tǒng)實(shí)時性的需要。針對這種情況，在一個優(yōu)選實(shí)施例中，交互控制裝置還包括圖像選擇單元160，當(dāng)模式選擇單元110選擇手腳并用模式時，圖像選擇單元160按照預(yù)設(shè)的權(quán)重從第一深度攝像頭120采集的圖像中和第二深度攝像頭130采集的圖像中各選擇若干圖像輸入到動作識別單元140。權(quán)重可以根據(jù)應(yīng)用場景設(shè)定，例如對于彈鋼琴這種虛擬應(yīng)用場景，需要用戶手腳并用，手部動作比較復(fù)雜，而腳部的動作相對簡單，此時可以從第一深度攝像頭120采集的圖像中選擇80％并從第二深度攝像頭130采集的圖像選擇20％，例如根據(jù)圖像采集時間的先后順序，先選取第一深度攝像頭120采集的4幀圖像，然后選擇第二深度攝像頭130采集的1幀圖像，以此類推。然后將選擇的圖像輸入到動作識別單元140。動作識別單元140僅根據(jù)圖像選擇單元160選擇的圖像識別用戶手部和腳部的動作，根據(jù)圖像的時間戳，可以將識別出的用戶手部和腳部動作組合起來，提高了動作識別的速度，滿足了系統(tǒng)實(shí)時性需求，提高了用戶的沉浸感。

優(yōu)選地，本實(shí)施例中動作識別單元140包括訓(xùn)練模塊141和匹配模塊142。訓(xùn)練模塊141使用預(yù)先采集的用戶手部各種動作的圖像和用戶腳部各種動作的圖像對一卷積神經(jīng)網(wǎng)絡(luò)(CNN)模型進(jìn)行訓(xùn)練，建立用于識別用戶手部和/或腳部動作的識別模型。本實(shí)施例采用如caffe、tensorflow等CNN的算法架構(gòu)，這些CNN架構(gòu)內(nèi)部都已經(jīng)存在圖像處理模塊。也就是說在進(jìn)行訓(xùn)練或進(jìn)行識別的時候CNN內(nèi)部會首先進(jìn)行圖片處理。完成訓(xùn)練后，得到的模型可以用于識別用戶手部和腳部的動作。

匹配模塊142將第一深度攝像頭120采集到的圖像和第二深度攝像頭130采集到的圖像與訓(xùn)練模塊141建立的識別模型進(jìn)行匹配，從而識別出用戶手部和/或腳部的動作。采集到的圖片經(jīng)過CNN內(nèi)部的圖像處理，提取特征后會和模型進(jìn)行匹配，如果匹配成功，匹配模塊142會輸出識別的是用戶手部還是腳部，并且判定是哪一種動作。

動作識別單元140識別出的用戶手部或腳部的某一動作之后，若存在與該動作對應(yīng)的預(yù)先定義的控制指令，則指令發(fā)送單元150向虛擬現(xiàn)實(shí)系統(tǒng)的虛擬場景發(fā)送該控制指令，在虛擬場景中執(zhí)行該控制指令。

例如，預(yù)先定義“以腳跟為支點(diǎn)滑動”的動作控制頁面滑動，當(dāng)動作識別單元140根據(jù)第二深度攝像頭130采集的圖像識別出用戶腳部“以腳跟為支點(diǎn)滑動”的動作時，指令發(fā)送單元150向虛擬現(xiàn)實(shí)系統(tǒng)的虛擬場景發(fā)送頁面滑動的控制指令，且頁面滑動的距離以腳部滑動的角度大小為依據(jù)。

再例如，預(yù)先定義“以腳跟為支點(diǎn)點(diǎn)動”的動作控制鼠標(biāo)點(diǎn)擊，當(dāng)動作識別單元140根據(jù)第二深度攝像頭130采集的圖像識別出用戶腳部“以腳跟為支點(diǎn)點(diǎn)動”的動作時，指令發(fā)送單元150向虛擬現(xiàn)實(shí)系統(tǒng)的虛擬場景發(fā)送鼠標(biāo)點(diǎn)擊的控制指令，腳部點(diǎn)動一次對應(yīng)鼠標(biāo)單擊，腳部快速點(diǎn)動兩次次對應(yīng)鼠標(biāo)雙擊。

本實(shí)施例通過深度攝像頭采集用戶手部和腳部的圖像，從而識別用戶的動作，使得用戶可以根據(jù)需要使用手部動作或腳部動作與虛擬現(xiàn)實(shí)系統(tǒng)進(jìn)行交互，滿足了需要多重控制的應(yīng)用場景。由于用戶可以通過腳部的動作控制虛擬現(xiàn)實(shí)系統(tǒng)，因而對于某些不便于使用手部動作進(jìn)行操作的特殊用戶，也可以通過雙腳方便地使用虛擬現(xiàn)實(shí)設(shè)備。

實(shí)施例二

圖2是本實(shí)用新型一個實(shí)施例提供的一種虛擬現(xiàn)實(shí)設(shè)備的功能框圖，如圖2所示，本實(shí)施例提供的虛擬現(xiàn)實(shí)設(shè)備包括顯示屏210、模式選擇單元220、第一深度攝像頭230、第二深度攝像頭240、動作識別單元250和指令發(fā)送單元260。本實(shí)施例中的虛擬現(xiàn)實(shí)設(shè)備可以為頭戴設(shè)備，此時第一深度攝像頭230可以設(shè)置在虛擬現(xiàn)實(shí)頭戴設(shè)備的前方，便于向前采集用戶手部的圖像；第二深度攝像頭230可以設(shè)置在虛擬現(xiàn)實(shí)頭戴設(shè)備的下方，便于向下采集用戶腳部的圖像。

模式選擇單元220用于選擇用戶肢體動作的識別模式，包括：僅手部模式、僅腳部模式、手腳并用模式。第一深度攝像頭230用于當(dāng)模式選擇單元220選擇僅手部模式或手腳并用模式時，按預(yù)設(shè)的頻率采集用戶手部的圖像。第二深度攝像頭240用于當(dāng)模式選擇單元220選擇僅腳部模式或手腳并用模式時，按預(yù)設(shè)的頻率采集用戶腳部的圖像。模式選擇單元220可以是虛擬現(xiàn)實(shí)設(shè)備外部設(shè)置的硬件開關(guān)，也可以是顯示屏210顯示的用戶操作界面中設(shè)置的軟件開關(guān)。

動作識別單元250根據(jù)第一深度攝像頭230采集的圖像識別用戶手部的動作；以及根據(jù)第二深度攝像頭240采集的圖像識別用戶腳部的動作。指令發(fā)送單元260對動作識別單元250識別出的用戶手部和/或腳部的某一動作，若存在與該動作對應(yīng)的預(yù)先定義的控制指令時，則向顯示屏210的虛擬場景發(fā)送該控制指令，在虛擬場景中執(zhí)行該控制指令。

優(yōu)選地，本實(shí)施例提供的虛擬現(xiàn)實(shí)設(shè)備還包括圖像選擇單元270，當(dāng)模式選擇單元220選擇手腳并用模式時，圖像選擇單元270按照預(yù)設(shè)的權(quán)重從第一深度攝像頭230采集的圖像中和第二深度攝像頭240采集的圖像中各選擇若干圖像；動作識別單元250僅根據(jù)圖像選擇單元270選擇的圖像識別用戶手部和/或腳部的動作。

動作識別單元250包括訓(xùn)練模塊251和匹配模塊252。訓(xùn)練模塊251使用預(yù)先采集的用戶手部各種動作的圖像和用戶腳部各種動作的圖像對一卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，建立用于識別用戶手部和/或腳部動作的識別模型。匹配模塊252將第一深度攝像頭230采集到的圖像和/或第二深度攝像頭240采集到的圖像與訓(xùn)練模塊251建立的識別模型進(jìn)行匹配，從而識別出用戶手部和/或腳部的動作。

以上所述，僅為本實(shí)用新型的具體實(shí)施方式，在本實(shí)用新型的上述教導(dǎo)下，本領(lǐng)域技術(shù)人員可以在上述實(shí)施例的基礎(chǔ)上進(jìn)行其他的改進(jìn)或變形。本領(lǐng)域技術(shù)人員應(yīng)該明白，上述的具體描述只是更好的解釋本實(shí)用新型的目的，本實(shí)用新型的保護(hù)范圍應(yīng)以權(quán)利要求的保護(hù)范圍為準(zhǔn)。