本發(fā)明涉及虛擬現實技術,尤其涉及一種基于虛擬現實系統(tǒng)的人機交互裝置。
背景技術:
虛擬現實(vr,virtualreality),是利用電腦模擬產生一個三度空間的虛擬世界,提供使用者關于視覺、聽覺、觸覺等感官的模擬,讓使用者如同身歷其境一般,可以及時,沒有限制地觀察三度空間內的實物。
關于虛擬現實的內容和應用,是一個“雞與蛋”問題:如果vr/ar設備的保有量不高,開發(fā)者對開發(fā)vr/ar內容的應用也持謹慎態(tài)度,技術制約用戶體驗,用戶體驗則進一步制約用戶量以及后續(xù)內容投入。
目前,比較主流的虛擬現實和增強現實人機交互方式,主要基于手勢識別和跟蹤、手套、手柄、玩具槍等。這些交互存在手需要長時間抬起或費用昂貴或難以適應日?;ヂ?lián)網操作、輸入等問題。
技術實現要素:
在下文中給出了關于本發(fā)明的簡要概述,以便提供關于本發(fā)明的某些方面的基本理解。應當理解,這個概述并不是關于本發(fā)明的窮舉性概述。它并不是意圖確定本發(fā)明的關鍵或重要部分,也不是意圖限定本發(fā)明的范圍。其目的僅僅是以簡化的形式給出某些概念,以此作為稍后論述的更詳細描述的前序。
鑒于此,本發(fā)明提供了一種基于虛擬現實系統(tǒng)的人機交互裝置,以至少解決現有用于虛擬現實技術的交互方式存在手需要長時間抬起、費用昂貴或難以適應日常互聯(lián)網操作、輸入的問題。
根據本發(fā)明的一個方面,提供了一種基于虛擬現實系統(tǒng)的人機交互裝置,所述基于虛擬現實系統(tǒng)的人機交互裝置包括頭部佩戴單元、虛擬現實眼鏡單元、用戶交互單元以及控制處理單元;所述虛擬現實眼鏡單元安裝于所述頭部佩戴單元上,以使用戶在佩戴所述頭部佩戴單元時能夠通過所述虛擬現實眼鏡單元觀看到預定屏幕的當前顯示內容;所述用戶交互單元包括一塊或多塊觸摸面板,所述一塊或多塊觸摸面板用于檢測來自外部的觸摸操作,并將檢測結果發(fā)送給所述控制處理單元;所述控制處理單元用于針對所述一塊或多塊觸摸面板中的每一塊,在該塊觸摸面板檢測到來自外部的觸摸操作時,基于該觸摸操作的接觸時間和觸摸點位置,識別該觸摸操作的類型和操作對象,以對該操作對象執(zhí)行與該觸摸操作的類型對應的指令;其中,所述識別的操作對象為所述預定屏幕的當前顯示內容中的一個或多個對象。
進一步地,所述一塊或多塊觸摸面板中至少包含第一觸摸面板;其中,所述第一觸摸面板設于所述頭部佩戴單元的與用戶面部平行的外表面上,且所述第一觸摸面板的觸摸面的背面朝向用戶面部;所述第一觸摸面板與所述頭部佩戴單元之間采用固定連接或可拆卸方式連接。
進一步地,所述一塊或多塊觸摸面板中至少包含第三觸摸面板和/或第四觸摸面板;其中,所述第三觸摸面板與所述頭部佩戴單元活動連接,使得所述第三觸摸面板能夠移動到所述頭部佩戴單元前方、與用戶面部平行的預設位置,并使所述第三觸摸面板的觸摸面朝向用戶面部;在所述一塊或多塊觸摸面板中包含所述第四觸摸面板的情況下,所述人機交互裝置還包括用于佩戴在用戶手臂上的手臂佩戴單元,所述第四觸摸面板設于該手臂佩戴單元上;所述第四觸摸面板的觸摸面為柱曲面,所述第四觸摸面板通過固定連接或可拆卸式連接的方式設于所述手臂佩戴單元外側。
進一步地,所述控制處理單元被配置成:在相應觸摸面板檢測到觸摸操作時,在該觸摸操作的接觸時間小于第一預設時間、且該觸摸操作的觸摸點位置在該接觸時間內未超出第一預設區(qū)域的情況下,在該觸摸操作結束接觸之時將該觸摸操作確定為點操作、并執(zhí)行與確定的點操作對應的指令;其中,所述第一預設區(qū)域為以該觸摸操作的觸摸初始位置為中心、預設長度為半徑的區(qū)域。
進一步地,所述控制處理單元被配置成:在相應觸摸面板檢測到觸摸操作時,在該觸摸操作的觸摸點位置在所述第一預設時間內超出所述第一預定區(qū)域的情況下,在該觸摸操作的觸摸點位置超出所述第一預定區(qū)域之時將該觸摸操作確定為劃操作、并執(zhí)行與確定的劃操作對應的指令。
進一步地,所述控制處理單元被配置成:在相應觸摸面板檢測到觸摸操作時,在該觸摸操作的接觸時間大于或等于所述第一預設時間、且該觸摸操作的觸摸點位置未超出所述第一預定區(qū)域的情況下,將該觸摸操作確定為按操作。
進一步地,所述控制處理單元被配置成:在判定相應觸摸面板檢測到的觸摸操作為按操作時,執(zhí)行顯示指令,所述顯示指令用于在觸摸點移動到相應位置時顯示該位置的相關信息或將該位置對應的內容高亮顯示。
進一步地,所述控制處理單元被配置成:按操作結束時,第二預設區(qū)域高亮顯示第二預設時間,手指再次按下的初始觸摸點在第二預設區(qū)域且再次滿足按操作判定條件時,將該觸摸操作確定為長按操作,所述第二預設區(qū)域為以按操作結束之時觸摸點位置為中心、預定長度為半徑的區(qū)域。
進一步地,所述控制處理單元被配置成:針對每個觸摸面板檢測到的觸摸操作中的每個觸摸點,根據如下公式,在虛擬屏幕上確定與該觸摸點對應的操作點:a/c=a1/c1;b1/d1=b/d;其中,b和a分別表示該觸摸點與該觸摸面板上的第一參考點之間的水平距離和垂直距離,d和c分別表示該觸摸面板水平方向上的長度和垂直方向上的長度;b1和a1分別表示虛擬屏幕上與該觸摸點對應的操作點與虛擬屏幕上的第二參考點之間的水平距離和垂直距離,d1和c1分別表示虛擬屏幕水平方向上的長度和垂直方向上的長度;第一參考點為該觸摸面板左下端點或右下端點,其中當觸摸面板對著用戶時為左下端點,當觸摸面板背對著用戶時為右下端點,以有觸摸面的那一面為觸摸面板的正面,第二參考點為虛擬屏幕的左下端點。
進一步地,所述控制處理單元被配置成:針對每個觸摸面板檢測到的觸摸操作中的每個觸摸點,根據如下公式,在觀察區(qū)域上確定與該觸摸點對應的操作點:對于水平視角:當α<180度時,
進一步地,控制處理單元被配置成:設置兩個變量a和b,并將a和b的初始值均設為0;實時檢測手指是否離開觸摸屏,并在手指離開觸摸屏時將a的值賦為1;實時檢測觸摸點是否到達第一預設范圍邊界,并在觸摸點到達第一預設范圍邊界時將b的值賦為1;實時判斷是否滿足停止條件,在滿足任一停止條件時下達停止指令;所述停止條件包括以下三個條件:a的值變化;b的值變化;從手指按下之后經過第一預設時間;將從手指按下到停止的過程作為第一判定,當所述第一判定結束后:若a=0且b=0,判定為按操作或長按操作;若a=1且b=0,判定為點操作;若a=0且b=1,判定為劃操作;若a=1且b=1,判定為無效或者劃操作。
目前,在虛擬現實產業(yè)中,由于交互標準不統(tǒng)一,開發(fā)者開發(fā)的方式就不統(tǒng)一,其開發(fā)內容的受眾受限;此外,交互方式不統(tǒng)一會使得用戶體驗不同平臺的內容需要不同的學習成本。相對于此,本發(fā)明的基于虛擬現實系統(tǒng)的人機交互裝置能夠為虛擬現實產業(yè)提供一種可廣泛使用的統(tǒng)一交互標準。
本發(fā)明的基于虛擬現實系統(tǒng)的人機交互裝置,虛擬現實技術具備在人戴上虛擬現實眼睛之后實現在人面前塑造一塊大的平面虛擬屏幕的能力,通過在虛擬現實頭盔上實現觸屏操作(即觸摸操作),使得虛擬現實不光具有3d沉浸式的體驗,還能實現在這塊大的虛擬屏幕上實現類似與觸屏手機大致相當的多點絕對位置映射的觸控方式,從而能夠使得觸屏手機上的平面應用可以完全移植到虛擬顯示頭盔上,具有廣大的應用前景。
通過以上描述可知,本發(fā)明能夠實現在虛擬現實頭盔上的多點絕對位置映射觸屏操作,以此為基礎,使得虛擬現實能夠引用手機觸屏體驗,實現平面觸控相對應的內容的搬移,解決惡性循環(huán)的問題;而現有技術中的體感操作,尤其是需要抬起手的操作方式,容易疲勞,不適合長時間的體驗,而長時間的操作是瀏覽互聯(lián)網,與人線上交流等體驗所必須的。此外,本發(fā)明的觸摸面板的選取使得用戶不易疲勞。本發(fā)明只在現有的虛擬現實頭盔上添加一塊觸摸面板,價格低。另外,觸屏操作的引用能讓用戶對虛擬現實頭盔的體驗有直觀的感受,提高購買意愿。此外,改進的點、劃、按的判定方式理論上沒有誤操作的可能,因為他們層次分明。而本發(fā)明觸屏操作的引入,人們可以按照自己在移動設備上的習慣體驗虛擬現實設備,市場保有率提升之后,關于沉浸感的內容得以施展,因此,觸屏操作能夠實現虛擬現實產業(yè)平穩(wěn)過渡,同時,在真正的內容發(fā)展之后,由于觸屏操作能夠提供多樣化,精細化的體驗而依然不落伍。
本發(fā)明對傳統(tǒng)的虛擬現實頭盔的結構進行改變,通過在現有普通虛擬現實頭盔上增加一塊或多塊觸摸面板,觸摸面板在與人面部平行的虛擬現實頭盔的外部表面,使用這種方法,人們可以坐在桌子前,胳膊肘放在桌子上,小臂豎直向上,手放在觸摸屏上,這是第一種姿勢。可選的,觸摸屏通過魔術貼粘合到虛擬現實頭盔上,可以拆卸,觸摸屏和虛擬現實頭盔之間通過無線連接,使用這種辦法,胳膊肘放在桌子上,小臂平行放在桌子上,同時觸摸面面對使用者或者背對著使用者對應者兩外兩種方式,背對著使用者稱為第二種姿勢,面對使用者成為第三種姿勢。
此外,在現有技術中,諸如觸屏手機、平板電腦等電子設備中的觸摸屏都是觸摸面板與顯示屏幕二合一的,而虛擬現實頭盔技術中的觸摸面板卻是與顯示屏幕分離的,因此,在觸屏手機、平板電腦等設備中所采用現有的觸屏操作(如點、劃、按等操作)是不適用于本發(fā)明的基于虛擬現實系統(tǒng)的人機交互裝置的。由此,通過本發(fā)明所提出的點、劃、按、長按等操作,能夠有效地實現在以上“觸摸面板與顯示屏幕分離”情況下的觸摸操作,克服現有技術的不足。
通過以下結合附圖對本發(fā)明的最佳實施例的詳細說明,本發(fā)明的這些以及其他優(yōu)點將更加明顯。
附圖說明
本發(fā)明可以通過參考下文中結合附圖所給出的描述而得到更好的理解,其中在所有附圖中使用了相同或相似的附圖標記來表示相同或者相似的部件。所述附圖連同下面的詳細說明一起包含在本說明書中并且形成本說明書的一部分,而且用來進一步舉例說明本發(fā)明的優(yōu)選實施例和解釋本發(fā)明的原理和優(yōu)點。在附圖中:
圖1是示出本發(fā)明的基于虛擬現實系統(tǒng)的人機交互裝置佩戴在用戶頭部上的一個示例的示意圖;
圖2是在圖1所示的基于虛擬現實系統(tǒng)的人機交互裝置中示出內部結構的示意圖;
圖3是示出虛擬現實眼鏡單元與用戶眼鏡關系的示意圖;
圖4是示出本發(fā)明的基于虛擬現實系統(tǒng)的人機交互裝置的另一個示例的結構圖;
圖5a是示出具有第一觸摸面板的人機交互裝置的示例的結構示意圖;
圖5b是示出將圖5a所示的人機交互裝置佩戴在用戶頭部的正面視圖;
圖5c是示出將圖5a所示的人機交互裝置中的以觸摸面板拆卸下來后放在桌面上操作的示意圖;
圖5d是圖5c中用戶面部的正面視圖;
圖6是示出具有第二觸摸面板的人機交互裝置的示例的結構示意圖;
圖7是示出具有第三觸摸面板的人機交互裝置的示例的結構示意圖;
圖8是示出具有第四觸摸面板的人機交互裝置的示例的結構示意圖;
圖9a是示出人機交互裝置的其中一塊觸摸面板對應標識的一個示例的示意圖;
圖9b是示出人機交互裝置的其中一塊觸摸面板對應標識的另一個示例的示意圖;
圖10a和圖10b是兩個示例性操作的流程圖。
本領域技術人員應當理解,附圖中的元件僅僅是為了簡單和清楚起見而示出的,而且不一定是按比例繪制的。例如,附圖中某些元件的尺寸可能相對于其他元件放大了,以便有助于提高對本發(fā)明實施例的理解。
具體實施方式
在下文中將結合附圖對本發(fā)明的示范性實施例進行描述。為了清楚和簡明起見,在說明書中并未描述實際實施方式的所有特征。然而,應該了解,在開發(fā)任何這種實際實施例的過程中必須做出很多特定于實施方式的決定,以便實現開發(fā)人員的具體目標,例如,符合與系統(tǒng)及業(yè)務相關的那些限制條件,并且這些限制條件可能會隨著實施方式的不同而有所改變。此外,還應該了解,雖然開發(fā)工作有可能是非常復雜和費時的,但對得益于本公開內容的本領域技術人員來說,這種開發(fā)工作僅僅是例行的任務。
在此,還需要說明的一點是,為了避免因不必要的細節(jié)而模糊了本發(fā)明,在附圖中僅僅示出了與根據本發(fā)明的方案密切相關的裝置結構和/或處理步驟,而省略了與本發(fā)明關系不大的其他細節(jié)。
本發(fā)明的實施例提供了一種基于虛擬現實系統(tǒng)的人機交互裝置,基于虛擬現實系統(tǒng)的人機交互裝置包括頭部佩戴單元、虛擬現實眼鏡單元、用戶交互單元以及控制處理單元;虛擬現實眼鏡單元安裝于頭部佩戴單元上,以使用戶在佩戴頭部佩戴單元時能夠通過虛擬現實眼鏡單元觀看到預定屏幕的當前顯示內容;用戶交互單元包括一塊或多塊觸摸面板,一塊或多塊觸摸面板用于檢測來自外部的觸摸操作,并將檢測結果發(fā)送給控制處理單元;控制處理單元用于針對一塊或多塊觸摸面板中的每一塊,在該塊觸摸面板檢測到來自外部的觸摸操作時,基于該觸摸操作的接觸時間和觸摸點位置,識別該觸摸操作的類型和操作對象,以對該操作對象執(zhí)行與該觸摸操作的類型對應的指令;其中,識別的操作對象為預定屏幕的當前顯示內容中的一個或多個對象。
圖1和圖2給出了本發(fā)明的基于虛擬現實系統(tǒng)的人機交互裝置的一個示例。其中,圖1示出了將本發(fā)明的基于虛擬現實系統(tǒng)的人機交互裝置戴在用戶頭上的操作示意圖,而圖2示出了本發(fā)明的基于虛擬現實系統(tǒng)的人機交互裝置的電路結構示意圖。
如圖1和圖2所示,在該示例中,基于虛擬現實系統(tǒng)的人機交互裝置包括頭部佩戴單元1、虛擬現實眼鏡單元2、用戶交互單元3以及控制處理單元4。
虛擬現實眼鏡單元2安裝于頭部佩戴單元1上,以使用戶在佩戴頭部佩戴單元1時能夠通過虛擬現實眼鏡單元2觀看到預定屏幕的當前顯示內容。預定屏幕例如是外部的移動設備(如智能手機等)的屏幕,或者也可以是本發(fā)明的人機交互裝置中所設置的預定屏幕。
用戶交互單元3包括一塊或多塊觸摸面板,一塊或多塊觸摸面板用于檢測來自外部的觸摸操作,并將檢測結果(如觸摸操作的觸摸點數量、每個觸摸點的實時位置、每個觸摸點的接觸時間等)發(fā)送給控制處理單元4。其中,上述一塊或多塊觸摸面板中每塊觸摸面板的觸摸面例如可以為平面、柱曲面和球面中的任一個或任幾個的組合。
設定觸摸面在人相對方向上的投影為一個矩形,將形態(tài)不一的觸摸面舒展成一個矩形,矩形的寬為從觸摸面頂端一個點沿著觸摸面的表面向著正下方到達觸摸面底端所走過的長度,矩形的長為觸摸面左端一個點沿著觸摸面表面向著正右方到達觸摸面右端所走過的長度。
控制處理單元4用于針對一塊或多塊觸摸面板中的每一塊,在該塊觸摸面板檢測到來自外部的觸摸操作時,基于該觸摸操作的接觸時間和觸摸點位置,識別該觸摸操作的類型和操作對象,以對該操作對象執(zhí)行與該觸摸操作的類型對應的指令;其中,識別的操作對象為預定屏幕的當前顯示內容中的一個或多個對象。
根據一個實現方式,預定屏幕可以是諸如手機、平板電腦或計算機等外部電子設備的屏幕。在該實現方式中,可以將該外部電子設備與控制處理單元4相連接,以通過控制處理單元4對該外部電子設備上對應的操作對象執(zhí)行對應的指令。如圖2所示,在圖2中所示的預定屏幕來自外部電子設備的情況下,控制處理單元4可以通過諸如usb等有線方式與該外部電子設備進行連接,也可以通過諸如wifi、藍牙等無線方式與該外部電子設備進行連接。其中,頭部佩戴單元1內例如可以設置支撐部件(圖中未示出),該支撐部件可以設置在虛擬現實眼鏡單元2的外側。需要說明的是,虛擬現實眼鏡單元2的外側是指在用戶佩戴上本發(fā)明的人機交互裝置時虛擬現實眼鏡單元2的距用戶眼睛較遠的一側,而虛擬現實眼鏡單元2的內側是指在用戶佩戴上本發(fā)明的人機交互裝置時虛擬現實眼鏡單元2的距用戶眼睛較近的一側,如圖3所示。這樣,在外部電子設備屏幕上播放的內容為適于vr模式觀看的情況下,用戶可以通過虛擬現實眼鏡單元2觀看該內容。此外,用于放置外部電子設備的支撐部件例如可以是托架等,如可以在頭部佩戴單元1側面開口以用于將手機等外部電子設備放入該托架之上,使得用戶在佩戴上頭部佩戴單元1時眼睛恰好能夠通過虛擬現實眼鏡單元2看到該外部電子設備的屏幕;或者,用于放置外部電子設備的支撐部件也可以是具有卡槽的支撐件,該支撐件設置在頭部佩戴單元1上,其中的卡槽能夠適于放置諸如手機等移動設備。通過該實現方式,用戶可以通過在一塊或多塊觸摸面板上進行觸摸操作來實現與外部電子設備之間的交互,換句話說,當外部電子設備與控制處理單元4建立連接后,可以將一塊或多塊觸摸面板作為該外部電子設備的輸入設備使用,實現點擊、劃動、按、長按等觸摸操作。
根據另一個實現方式,基于虛擬現實系統(tǒng)的人機交互裝置除了包括上文所述的頭部佩戴單元1、虛擬現實眼鏡單元2、用戶交互單元3以及控制處理單元4之外,還可以包括存儲單元5和顯示單元6,顯示單元作為預定屏幕的示例。顯示單元6例如是一塊顯示屏,可設置在虛擬現實眼鏡單元2外側。在該實現方式中,顯示單元6可以連接控制處理單元4和存儲單元(圖4中未示出顯示單元6與控制處理單元4和存儲單元5之間的連接關系,單元4、5以及6之間的連接可以是有線連接,也可以是無線連接)。其中,存儲單元5中可存儲一個或多個可供控制處理單元4執(zhí)行的應用,如視頻播放應用、三維圖像顯示應用等;或者,也可以通過在存儲單元5中安裝預定操作系統(tǒng),再在該操作系統(tǒng)中安裝一個或多個應用,以供控制處理單元4調用并執(zhí)行。此外,存儲單元5中還可以存儲諸如視頻數據、圖像數據等的數據。這樣,顯示單元6可用于顯示控制處理單元4當前執(zhí)行的應用所對應的當前顯示界面,來作為顯示單元6(即預定屏幕)的當前顯示內容,如,控制處理單元4當前正在通過預存視頻播放軟件以適于vr播放的方式來播放存儲單元5上的某個視頻數據,用戶在戴上頭部佩戴單元1后,可以通過虛擬現實眼鏡單元2來觀看顯示單元6上的當前顯示內容。通過該實現方式,用戶可以通過在一塊或多塊觸摸面板上進行觸摸操作來實現與上述基于虛擬現實系統(tǒng)的人機交互裝置之間的交互,也即,能夠通過在一塊或多塊觸摸面板上的各種觸摸操作來實現對上述基于虛擬現實系統(tǒng)的人機交互裝置的控制,如:在多個界面中選擇一個作為當前顯示界面;在全景圖像中選擇部分區(qū)域作為當前顯示界面中的內容;選擇系統(tǒng)上的某個應用以執(zhí)行;輸入文本數據;等等。
根據一個實現方式,上述一塊或多塊觸摸面板中例如可以至少包括第一觸摸面板。如圖5a所示,第一觸摸面板例如可以設于頭部佩戴單元1的與用戶面部平行的外表面上,且第一觸摸面板的觸摸面的背面朝向用戶面部。在該實現方式中,第一觸摸面板設置在虛擬現實眼鏡單元2以及預定屏幕之外,也就是說,從用戶面部起向外依次設置(或放置)的是虛擬現實眼鏡單元2、預定屏幕以及第一觸摸面板。這樣,用戶能夠采用如圖1所示的方式來用手指在頭部佩戴單元1的外側、眼睛前方來進行觸摸操作。
在一個例子中,第一觸摸面板與頭部佩戴單元1之間可以采用固定連接的方式進行連接。圖5b示出了將圖5a所示的具有第一觸摸面板的人機交互裝置戴在用戶頭部后的正面視圖,在第一觸摸面板固定在頭部佩戴單元1上的情況下,第一觸摸面板的觸摸面是朝外的,也就是其背面是朝著用戶眼睛方向的,用戶在第一觸摸面板上進行觸摸操作時可參考圖1進行。
在另一個例子中,第一觸摸面板與頭部佩戴單元1之間也可以采用可拆卸的方式進行連接。當第一觸摸面板安裝在頭部佩戴單元1上時,用戶將其戴在頭部時的樣子如圖5b和圖1所示;而當第一觸摸面板從頭部佩戴單元1上拆卸下后,用戶將其佩戴在頭部時的樣子如圖5c和圖5d所示。
此外,根據一個實現方式,上述一塊或多塊觸摸面板中例如可以至少包括第二觸摸面板。如圖6所示,第二觸摸面板與頭部佩戴單元1之間例如可以通過連接件固定連接,第二觸摸面板設于頭部佩戴單元前方、與用戶面部平行的預設位置,且第二觸摸面板的觸摸面朝向用戶面部。
根據另一個實現方式,上述一塊或多塊觸摸面板中例如可以至少包括第三觸摸面板。如圖7所示,第三觸摸面板與頭部佩戴單元1之間例如為活動連接,使得第三觸摸面板能夠移動到頭部佩戴單元前方、與用戶面部平行的預設位置,并使第三觸摸面板的觸摸面朝向用戶面部。其中,圖7中虛線示例性地給出了第三觸摸面板能夠移動的其他位置。此外,第三觸摸面板與頭部佩戴單元1之間例如可以通過活動連接件進行連接,使得第三觸摸面板相對于頭部佩戴單元1的位置可調。
此外,根據一個實現方式,基于虛擬現實系統(tǒng)的人機交互裝置除了包括上文所述的頭部佩戴單元1、虛擬現實眼鏡單元2、用戶交互單元3和控制處理單元4(以及選擇性地包括存儲單元5和顯示單元6)之外,還可以包括用于佩戴在用戶手臂上的手臂佩戴單元。在該實現方式中,上述一塊或多塊觸摸面板中例如可以至少包括第四觸摸面板。如圖8所示,第四觸摸面板的觸摸面例如為柱曲面,第四觸摸面板可以通過固定連接或可拆卸式連接的方式設于手臂佩戴單元外側。這樣,如圖8所示,用戶可以將手臂佩戴單元佩戴在一只手臂上,另一只手在手臂佩戴單元表面上設置的第四觸摸面板上進行觸摸操作,以實現與人機交互裝置之間的交互。在該實現方式中,通過將觸摸面做成曲面,然后做成護臂的形式套在小臂(或手臂其他位置)上,用于應用交互(如程序的打開關閉、瀏覽互聯(lián)網以及使用平面應用等)。
如上文所述,用戶交互單元3可以包括一塊或多塊觸摸面板。在一個例子中,假設用戶交互單元3僅包括一塊觸摸面板,該觸摸面板可以是上文所描述的第一至第四觸摸面板中的任一個,或者可以是設置在其他位置的觸摸面板(如設置在頭部佩戴單元1的側面,對應于用戶耳朵附近的位置)。在另一個例子中,假設用戶交互單元3包括兩塊觸摸面板,這兩塊觸摸面板中的一個例如可以是上文所描述的第一至第四觸摸面板中的任一個,另一個例如可以是設置在其他位置的觸摸面板(如設置在頭部佩戴單元1的側面,對應于用戶耳朵附近的位置)。
其中,當用戶交互單元3包括兩塊或兩塊以上的觸摸面板時,這些觸摸面板可以用于不同類型的操作。比如,設置在頭部佩戴單元1前端(對應于用戶面部的前方)的觸摸面板的一部分功能可用于控制當前顯示界面操作點的上下左右調控(如用戶可通過手指在第一觸摸面板上的上下劃動、左右劃動來控制當前顯示界面對應操作點處的圖標上下移動、左右移動等);而設置在頭部佩戴單元1側端(對應于用戶耳部的位置)的觸摸面板的一部分功能可用于控制當前顯示界面操作點的放大/縮小調控等(如用戶可通過手指在“設置在頭部佩戴單元1的側面對應于用戶耳朵附近的位置”的觸摸面板上的前后劃動來控制當前界面上、以操作點為中心的放大或縮小操作,比如,手指向前劃動對應于放大操作,而手指向后劃動對應于縮小操作)。
此外,在一個實現方式中,用戶交互單元3中的全部或部分觸摸面板上或其對應位置可以具有用以表示對應觸摸面板上下方向的標識。該標識例如可以是設置在對應觸摸面板下半部表面上的一個突出部(比如一個突出的橫棱),如圖9a所示,這樣,用戶能夠據此方便、準確地判斷出觸摸面板的上下方向,避免拿反(特別是在拆下觸摸面板的情況下)?;蛘?,如圖9b所示,如第一觸摸面板對應的標識也可以設置在頭部佩戴單元1表面上,位于第一觸摸面板下方(也可以是上方)。
根據一個實現方式,控制處理單元4例如可以被配置成:在相應觸摸面板檢測到觸摸操作時,在該觸摸操作的接觸時間小于第一預設時間、且該觸摸操作的觸摸點位置在該接觸時間內未超出第一預設區(qū)域的情況下,在該觸摸操作結束接觸之時將該觸摸操作確定為點操作、并執(zhí)行與確定的點操作對應的指令。其中,第一預設區(qū)域為以該觸摸操作的觸摸初始位置為中心、預設長度為半徑的區(qū)域。預設長度、第一預設時間例如可以根據經驗值設定,或者可以通過試驗的方法確定。例如,第一預設時間例如比一個人手指正常點擊觸摸面這一過程手指停留在觸摸面的時長略長,如可為0.2秒或可通過設置更改。第一預設區(qū)域對應的預設長度例如為0.5厘米或通過設置更改,通過第一預設區(qū)域能夠防止手指正常抖動或手指正常轉動引起的誤操作。
在該實現方式中,可以在“點操作”判定成功時通過控制處理單元4下達點擊指令,該點擊指令例如與諸如手機觸屏、平板觸屏等設備中的單擊操作控制的點擊指令相同。
換句話說,當用戶手指從觸摸到相應觸摸面板時開始,該手指在第一預設時間內未超出第一預設區(qū)域、并在第一預設時間內離開該觸摸面板,則該手指的操作被判定成上述點操作,并在拿開手指(即手指離開觸摸面板)的這一時刻下達點操作對應的指令(如點擊指令等),該指令對應的位置例如為手指一開始接觸觸摸面板時的位置。
其中,上文所述的“該觸摸操作的觸摸點位置在該接觸時間內未超出第一預設區(qū)域”中,觸摸操作的觸摸點可以是一個,也可以是多個。
例如,當用戶使用單個手指在相應觸摸面板上進行上述點操作時,則該手指接觸到觸摸面板時初始的接觸點即為觸摸點;此外,在這種情況下的操作對象可以是系統(tǒng)ui上在該操作點位置對應的當前顯示內容,例如該操作點恰好位于一個應用圖標上,則當點操作對應的操作點在該應用圖標區(qū)域上時,對該應用圖標執(zhí)行點擊指令,以將該圖標對應的應用打開;或者,若該操作點恰好位于一段文字中的某一處,則將距離該處最近的一個或多個文字作為操作對象,對該一個或多個文字所執(zhí)行的點擊指令可以是用于選擇或高亮顯示等。
又如,當用戶使用多個手指(例如2個或3個等)同時在相應觸摸面板上進行上述點操作時,觸摸點為對應多個手指在開始接觸觸摸面板時的多個接觸點;此時的操作點包括該多個觸摸點。此時的點操作對應的指令例如可以為選擇包含該多個操作點的最小連續(xù)文字區(qū)域。
此外,根據一個實現方式,控制處理單元4可以被配置成:在相應觸摸面板檢測到觸摸操作時,在該觸摸操作的觸摸點位置在第一預設時間內超出第一預定區(qū)域的情況下,在該觸摸操作的觸摸點位置超出第一預定區(qū)域之時將該觸摸操作確定為劃操作、并執(zhí)行與確定的劃操作對應的指令。在該實現方式中,可以在“劃操作”判定成功時通過控制處理單元4下達連續(xù)移動指令,例如將操作點對應的目標對象(如圖標或文字等)進行連續(xù)移動,并在手指抬離觸摸面板時結束移動。
換句話說,用戶手指從觸摸到相應觸摸面板時開始,該手指對應觸摸點在第一預設時間內超出第一預定區(qū)域,則該手指的操作被判定成上述劃操作,并在該手指超出上述第一預定區(qū)域之時下達對應指令,如劃操作開始指令?!皠澆僮鏖_始指令”例如可以用于根據觸摸點劃操作的路徑來進行諸如移動、選擇區(qū)域范圍、手寫輸入文本等;當用戶拿開手指(即手指離開觸摸面板)時結束操作。可選地,例如可將觸摸點的實時位置顯示到屏幕中,比如以光標的形式。
根據另一個實現方式,控制處理單元4可以被配置成:在相應觸摸面板檢測到觸摸操作時,在該觸摸操作的接觸時間大于或等于第一預設時間、且該觸摸操作的觸摸點位置未超出第一預定區(qū)域的情況下,將該觸摸操作確定為按操作。
在該實現方式中,對于手而言,按操作既是手指相對于點操作更長時間地與觸摸面板接觸,對于終端來說判定過程與判定成功后均不下達操作指令,按操作的提出是為了方便顯示觸摸點在觸摸面板上的位置,方便人們操作。
換句話說,手指從接觸觸摸面板開始,接觸時間大于第一預設時間、且期間觸摸點不離開該第一預設區(qū)域,在時間超出第一預設時間之時將該觸摸操作判定為按操作。按操作判定成功后,手指可在觸摸屏上任意移動,移動期間不下達指令,但可以以下達顯示指令或用于將一片區(qū)域的亮度增加的高亮顯示等。顯示指令例如如下:按操作判定成功后,觸摸點移動到一個操作點上可以顯示一些信息或將觸摸點高亮顯示出來,與電腦鼠標指針懸停的功能一致。
值得注意的是按操作判定成功之后將手指對應位置或者說觸摸點高亮顯示出來是解決在虛擬現實觸屏操作中觸摸屏與顯示屏不在同一顯示位面引起操作不適的辦法。
在一個例子中,控制處理單元4可以在判定相應觸摸面板檢測到的觸摸操作為按操作時,執(zhí)行顯示指令,顯示指令用于在觸摸點移動到相應位置時顯示該位置的相關信息或將該位置對應的內容高亮顯示。
舉例來說,假設系統(tǒng)ui當前顯示的是一個視頻播放界面,若用戶手指按在了該屏幕中央,假設當前判定為按操作(換句話說,由于按壓時間較長,沒有觸發(fā)點操作,也就沒有暫停,也即沒有誤操作,時間夠長,觸發(fā)了按操作);接下來,手指在觸摸目標上右滑,由于按操作不下達操作指令,視頻沒有快進,期間觸摸點實時顯示在屏幕中,人能夠知道觸摸點在屏幕上的實時位置;接下來,將觸摸點移到播放進度條上,由于按操作判定成功后能夠下達顯示指令,進度條顯示出了當前觸摸點所在進度條上具體位置對應的播放時長,人們依此能夠知道自己將把視頻播放進度調到哪個地方。
此外,根據一個實現方式,控制單元4可以被配置成:在按操作判定成功之后的某一時刻,手指拿開觸摸面板,接下來第二預設區(qū)域高亮顯示持續(xù)第二預設時間,手指再次按下,按下時觸摸點不在第二預設區(qū)域內,接下來與上述點劃按判定一致,如果在第二預設區(qū)域內,進行三個判定:1.關于點的判定;2、關于劃的判定;3、如果該觸摸操作的接觸時間大于或等于第一預設時間、且該觸摸操作的觸摸點位置未超出第一預設區(qū)域的情況下,將該觸摸操作確定為長按操作,并且在上述三個判定之一判定成功之時,第二預設區(qū)域消失。簡而言之,每次手指按下時所做的判定是一致的,不同的是當初始觸摸點在第二預設區(qū)域內且按操作又一次判定成功時,將按操作替換成長按操作。第二預設時間例如為0.5秒或可以通過設置更改。第二預設區(qū)域為以該觸摸操作的觸摸最終位置為中心、預設長度為半徑的區(qū)域。對應的預設長度例如為0.75厘米或通過設置更改,通過第二預設區(qū)域能夠讓用戶知道哪塊區(qū)域長按能觸發(fā)長按操作。
值得注意的是,第一預設區(qū)域與觸摸點初始位置對應,第二預設區(qū)域與觸摸點最終位置或者說手指離開觸摸面板時觸摸點的位置有關。
換句話說,長按操作是觸摸點在按操作結束區(qū)域觸發(fā)的第二次按操作。例如,可以通過長按一個應用圖標;在長按操作判定成功后,當該觸摸點移動時可以拖動圖像。下面舉出一個例子用于闡述上述操作體系在文本輸入時的具體操作:
比如當前系統(tǒng)ui上顯示虛擬鍵盤,用戶打算輸入專利的首字母“z”。一開始,手指與觸摸面板分離,在不知道手指具體點擊位置的情況下,憑感覺就近按下手指,按到了“s”,手指接觸觸摸面之后,不移動,且持續(xù)一定時間,即觸摸點不超出第一預設區(qū)域,且存在時間達到了第一預設時間,觸發(fā)按操作,由于按操作不下達指令,“s”沒有輸入,即沒有誤操作,之后,手指移動,觸摸點位置實時地顯示到了屏幕上,移動觸摸點到“z”,拿開手指,這個時候開始第二預設區(qū)域會高亮持續(xù)顯示第二預設時間,接下來快按,即在第一預設時間之內手指離開觸摸屏,觸發(fā)點操作,手指在離開觸摸屏的這一時刻,下達點操作指令,“z”輸入了,同時,第二預設區(qū)域提前消失,繼續(xù)按下,滿足按操作條件,繼續(xù)移動,同理輸入下一個字母。
上述內容描述了操作判定中點、劃、按、長按的定義,下達的指令以及指令對應的功能,下面將進一步定量地規(guī)劃點、劃、按、長按的判定:
控制處理單元4可被配置執(zhí)行如下處理:
設置兩個變量a和b,并將a和b的初始值均設為0;
實時檢測手指是否離開觸摸屏,并在手指離開觸摸屏時將a的值賦為1;
實時檢測觸摸點是否到達第一預設范圍邊界,并在觸摸點到達第一預設范圍邊界時將b的值賦為1;
實時判斷是否滿足停止條件,在滿足任一停止條件時下達停止指令。停止條件包括以下三個條件:a的值變化;b的值變化;從手指按下之后經過第一預設時間。這樣,上述三個條件中的任一個滿足時均下達停止指令。
將從手指按下到停止的過程稱為第一判定;在停止時下達對應的指令。
根據這一過程的規(guī)則,當第一判定結束后,會出現以下幾種情況;
a=0,b=0,說明手指在按下到經過第一預設時間,手指沒有離開觸摸屏且沒有超出第一預設范圍,按照定義,結果應該判定為按操作或者長按操作;
a=1,b=0,說明手指離開觸摸屏時還未超出第一預設范圍,并且手指拿開觸摸屏時還未超過第一預設時間,按照定義,結果應該判定為點操作;
a=0,b=1,說明手指還未離開觸摸屏時已經超出第一范圍,并且超出第一預設范圍時還未超過第一預設時間,按照定義,結果應該判定為劃操作;
a=1,b=1,說明手指離開觸摸屏時觸摸點剛好在第一預設范圍邊界上,結果判定為無效或者劃。
下面結合圖10a和圖10b來描述兩個示例性操作。
參見圖10a所示的第一流程圖,手指按下之后,先判斷初始觸摸點在不在第二預設區(qū)域,產生第二預設區(qū)域的方法是按操作判定成功之后手指拿開,如果不存在第二預設區(qū)域,則判斷結果為不在;判斷結果為在,則進行點、劃、按的判定,對于劃操作來說,手指離開意味者結束,對于點操作來說,判定成功時同時結束,對于按操作來說,手指離開,按操作結束,同時將第二預設區(qū)域顯示第二預設時間。
對于出現的第二預設區(qū)域,手指再次按下,初始觸摸點在第二預設區(qū)域,進行同樣的點、劃、按的判定,不同的是,這三者判定成功之后第二預設區(qū)域會消失,同時將按操作替換成長按操作,對于長按操作來說,手指離開意味者結束。
參見圖10b所示的第二流程圖,第二流程圖與第一流程圖區(qū)別不大,將點、劃、按的定性判定改為了定量判定,多出來一種情況:a=1,b=1,說明手指離開的同時觸摸點在第二預設區(qū)域上,出于觸摸點移動路徑太短的考慮,可以將它判定為無效,但基于定義,也可以判定為劃,與具體應用有關。
以下內容中的觀察區(qū)域和虛擬屏幕的定義如下:
將人的雙眼簡化成一個觀察點,人戴上虛擬現實頭盔后,預定屏幕在人的眼前呈現出的可視區(qū)域稱為觀察區(qū)域,觀察區(qū)域的形狀類似于一個四棱錐,由水平視角和垂直視角確定。也就是說,在本發(fā)明的實施例中,將人的觀察區(qū)域簡化成一個四棱錐,由頂點發(fā)出的位于觀察區(qū)域內的每一條射線都是唯一的,在本發(fā)明中,可以使得每一條射線上向外的第一操作點與觸摸屏上的點一一對應。其中,第一操作點例如是每一條射線與虛擬屏幕的交點。
虛擬屏幕為人戴上頭盔或者說眼鏡,人眼前觀察區(qū)域內人工生成的面區(qū)域,這塊面可以是平面、柱曲面,這塊面的投影是一塊矩形,位于觀察區(qū)域內的虛擬屏幕用于顯示平面內容、平面應用。
下面會提到虛擬屏幕的左下端點,左下端點是虛擬屏幕舒展成的矩形的左下端點,可以想象,虛擬屏幕可以是多個平面拼接成的一塊面區(qū)域,多個面不在同一平面,之間具有一定角度,同時也可以是曲面與平面的拼接。
值得注意的是,將觀察區(qū)域的內容做成像分屏處理顯示到預定屏幕上這個過程不在本專利的討論范圍之內。
根據一個實現方式,控制處理單元4可以被配置成:針對每個觸摸面板檢測到的觸摸操作中的每個觸摸點,根據如下公式,在虛擬屏幕上確定與該觸摸點對應的操作點:
a/c=a1/c1;
b1/d1=b/d;
其中,b和a分別表示該觸摸點與該觸摸面板上的第一參考點之間的水平距離和垂直距離,d和c分別表示該觸摸面板水平方向上的長度和垂直方向上的長度;b1和a1分別表示虛擬屏幕上與該觸摸點對應的操作點與虛擬屏幕上的第二參考點之間的水平距離和垂直距離,d1和c1分別表示虛擬屏幕水平方向上的長度和垂直方向上的長度;第一參考點為該觸摸面板左下端點或右下端點,其中當觸摸面板對著用戶時為左下端點,當觸摸面板背對著用戶時為右下端點,以有觸摸面的那一面為觸摸面板的正面,第二參考點為虛擬屏幕的左下端點。
根據另一個實現方式,控制處理單元4可以被配置成:針對每個觸摸面板檢測到的觸摸操作中的每個觸摸點,根據如下公式,在觀察區(qū)域上確定與該觸摸點對應的操作點,操作點在射線上,具體位置與具體應用有關,默認為第一個需要操作對象上的操作點:
對于水平視角:
當α<180度時:
當α等于任意角度時:
γ/α=b/d;
對于垂直視角:
或
δ/β=a/c.說明:水平視角小于180度時,兩個公式都可以,大于180度時,使用后者;垂直視角由于本身不大于180度,兩個公式都可以。
其中,α表示用戶視線在水平方向上從觀察區(qū)域最左端轉到最右端所轉過的角度,即水平視角,β表示用戶視線在垂直方向上從觀察區(qū)域最底端轉到最頂端所轉過的角度,即垂直視角,γ表示用戶視線在水平方向上從觀察區(qū)域最左端轉到該觸摸點對應的操作點所轉過的角度,δ表示用戶視線在垂直方向上從觀察區(qū)域最底端轉到該觸摸點對應的操作點所轉過的角度,b和a分別表示該觸摸點與該觸摸面板上的第一參考點之間的水平距離和垂直距離,c和d分別表示該觸摸面板垂直方向上的長度和水平方向上的長度,第一參考點為該觸摸面板左下端點或右下端點,其中當觸摸面板對著用戶時為左下端點,當觸摸面板背對著用戶時為右下端點,以有觸摸面的那一面為觸摸面板的正面。
下面舉例來描述操作中觸摸點與操作點的映射關系,該映射關系可以為以下兩種映射方式中的任一種:平面相似映射以及空間角度映射。
觸摸面板位于頭顯前端(即頭部佩戴單元1)與人面部相對的面上,這個面可以是平面、柱曲面,它的投影為一個矩形,手指觸摸形成的觸摸點與手指所觸摸的觸摸面上的相對位置可以簡化為一個點與一個矩形平面的關系。以使用者的觀察角度為參照參考點始終為左下端點,以面對有觸摸面的那一面為參照,觸摸面面對用戶時,參考點為左下端點,觸摸面背對用戶時,參考點為右下端點
對于如圖1所示的姿勢,以觸摸面簡化成的矩形平面的右下角端點為參考點,觸摸點與參考點的水平距離為b,垂直距離為a,矩形平面垂直方向上的長度為c,水平方向上的長度為d。對于如圖5c或圖6所示的姿勢,以觸摸面簡化成的矩形平面的左下角端點為參考點,觸摸點與參考點的水平距離為b,垂直距離為a,矩形平面垂直方向上的長度為c,水平方向上的長度為d。參考角度不同,則對應的參考點不同,但是得到的長度意義一致,原因是對于圖1所示姿勢,使用者觀察的方向與面對觸摸面的方向相對,而對于圖5c或圖6的姿勢,使用者觀察的方向與面對觸摸面的方向相同,換句話說,對于用戶而言,始終以左下端點為參考點。
當圖1姿勢切換到圖5c姿勢時,需要改變參考點,用戶通過設置改變。
平面相似映射:虛擬屏幕可以為平面、柱曲面,同理將虛擬屏幕的操作點與虛擬屏幕簡化為一個點與矩形平面的關系,以這個矩形平面左下角端點為參考點,為第二參考點,操作點與參考點的水平距離為b1,操作點與參考點的垂直距離為a1,這個矩形平面在垂直方向上的長度為c1,在水平方向上的長度為d1,,
上述參數滿足:a/c=a1/c1;b1/d1=b/d;。
空間角度映射:觀察區(qū)域的水平視角為α,垂直視角為β。水平方向上,視線從最左端轉到觸摸點所在垂直線轉過的角度為γ,垂直方向上,視線從最底端轉到觸摸點轉過的角度為δ,由這兩個角度確定由觀察點向外的一條射線,方法即觀察點從觀察區(qū)域最左端向右轉過γ,從觀察區(qū)域最底端向上轉過δ,這條射線上的一個操作點與觸摸點對應,需要對應的操作點與具體的應用有關,默認為這條射線上向外第一個需要操作對象上的操作點,值得注意的是利用空間角度映射,頭部轉動時,操作點也會改變。
上述參數滿足:
對于水平視角:
當α<180度時:
當α等于任意角度時:
γ/α=b/d;
對于垂直視角:
或:
δ/β=a/c.
說明:水平視角小于180度時,兩個公式都可以,大于180度時,使用后者;垂直視角由于本身不大于180度,兩個公式都可以。
在第一觸摸面板與頭部佩戴單元1之間采用可拆卸的方式連接的例子中,在第一觸摸面板安裝在頭部佩戴單元1上的情況下,假設針對第一觸摸面板上的每一點p來說與第一觸摸面板上該點p對應的操作點記為第一操作點q1;而在第一觸摸面板從頭部佩戴單元1上拆卸下后,與第一觸摸面板上該點p對應的操作點記為第二操作點q2。其中,所謂的操作點既可以是基于平面相似映射位于虛擬屏幕上的操作點,也可以是基于空間相似映射位于空間向外射線上的操作點。另外,第一操作點q1與第二操作點q2可以是相同的,在這種情況下,拆下第一觸摸面板后用戶手指的左右操作方向與未拆下第一觸摸面板后用戶手指的左右操作方向是相反的;或者,第一操作點q1與第二操作點q2可以是關于第一觸摸面板的垂直中線對稱的(即左右鏡面對稱),這樣,拆下第一觸摸面板后用戶手指的左右操作方向可以被校正為與未拆下第一觸摸面板后用戶手指的左右操作方向相同。由于位于觀察區(qū)域內的虛擬屏幕可能有多個,如果直接利用空間角度映射,虛擬屏幕可能會因為占比太小而難以操作,以下的實現方式提出了利用焦點選取虛擬屏幕,選取了的虛擬屏幕做特殊處理使得虛擬屏幕易于操作的辦法。
在一個實現方式中,假設人眼前的觀察區(qū)域上分布顯示多個虛擬屏幕。假設人頭部所在三維坐標p0,射線方向向量
盡管根據有限數量的實施例描述了本發(fā)明,但是受益于上面的描述,本技術領域內的技術人員明白,在由此描述的本發(fā)明的范圍內,可以設想其它實施例。此外,應當注意,本說明書中使用的語言主要是為了可讀性和教導的目的而選擇的,而不是為了解釋或者限定本發(fā)明的主題而選擇的。因此,在不偏離所附權利要求書的范圍和精神的情況下,對于本技術領域的普通技術人員來說許多修改和變更都是顯而易見的。對于本發(fā)明的范圍,對本發(fā)明所做的公開是說明性的,而非限制性的,本發(fā)明的范圍由所附權利要求書限定。
附記:
附記1.基于虛擬現實系統(tǒng)的人機交互裝置,其特征在于,所述基于虛擬現實系統(tǒng)的人機交互裝置包括頭部佩戴單元、虛擬現實眼鏡單元、用戶交互單元以及控制處理單元;
所述虛擬現實眼鏡單元安裝于所述頭部佩戴單元上,以使用戶在佩戴所述頭部佩戴單元時能夠通過所述虛擬現實眼鏡單元觀看到預定屏幕的當前顯示內容;
所述用戶交互單元包括一塊或多塊觸摸面板,所述一塊或多塊觸摸面板用于檢測來自外部的觸摸操作,并將檢測結果發(fā)送給所述控制處理單元;
所述控制處理單元用于針對所述一塊或多塊觸摸面板中的每一塊,在該塊觸摸面板檢測到來自外部的觸摸操作時,基于該觸摸操作的接觸時間和觸摸點位置,識別該觸摸操作的類型和操作對象,以對該操作對象執(zhí)行與該觸摸操作的類型對應的指令;其中,所述識別的操作對象為所述預定屏幕的當前顯示內容中的一個或多個對象。
附記2.根據附記1所述的基于虛擬現實系統(tǒng)的人機交互裝置,其特征在于,所述一塊或多塊觸摸面板中至少包含第一觸摸面板;
其中,所述第一觸摸面板設于所述頭部佩戴單元的與用戶面部平行的外表面上,且所述第一觸摸面板的觸摸面的背面朝向用戶面部。
附記3.根據附記2所述的基于虛擬現實系統(tǒng)的人機交互裝置,其特征在于,所述第一觸摸面板與所述頭部佩戴單元之間采用可拆卸方式連接。
附記4.根據附記1所述的基于虛擬現實系統(tǒng)的人機交互裝置,其特征在于,所述一塊或多塊觸摸面板中至少包含第二觸摸面板;其中,所述第二觸摸面板與所述頭部佩戴單元固定連接,所述第二觸摸面板設于所述頭部佩戴單元前方、與用戶面部平行的預設位置,且所述第二觸摸面板的觸摸面朝向用戶面部。
附記5.根據附記1所述的基于虛擬現實系統(tǒng)的人機交互裝置,其特征在于,所述一塊或多塊觸摸面板中至少包含第三觸摸面板;其中,所述第三觸摸面板與所述頭部佩戴單元活動連接,使得所述第三觸摸面板能夠移動到所述頭部佩戴單元前方、與用戶面部平行的預設位置,并使所述第三觸摸面板的觸摸面朝向用戶面部。
附記6.根據附記1所述的基于虛擬現實系統(tǒng)的人機交互裝置,其特征在于,所述一塊或多塊觸摸面板中每塊觸摸面板的觸摸面為平面、柱曲面和球面中的任一個或任幾個的組合。
附記7.根據附記1所述的基于虛擬現實系統(tǒng)的人機交互裝置,其特征在于,所述基于虛擬現實系統(tǒng)的人機交互裝置還包括用于佩戴在用戶手臂上的手臂佩戴單元;所述一塊或多塊觸摸面板中至少包含第四觸摸面板,所述第四觸摸面板的觸摸面為柱曲面,所述第四觸摸面板通過固定連接或可拆卸式連接的方式設于所述手臂佩戴單元外側。
附記8.根據附記1所述的基于虛擬現實系統(tǒng)的人機交互裝置,其特征在于,所述預定屏幕為外部電子設備的屏幕,所述控制處理單元與該外部電子設備連接,以對該外部電子設備上對應的操作對象執(zhí)行對應的指令。
附記9.根據附記1所述的基于虛擬現實系統(tǒng)的人機交互裝置,其特征在于,所述基于虛擬現實系統(tǒng)的人機交互裝置還包括存儲單元和顯示單元,其中,所述顯示單元作為所述預定屏幕;所述存儲單元上存儲有一個或多個可供所述控制處理單元執(zhí)行的應用,所述顯示單元用于顯示所述控制處理單元當前執(zhí)行的應用所對應的當前顯示界面,來作為所述預定屏幕的當前顯示內容。
附記10.根據附記1所述的基于虛擬現實系統(tǒng)的人機交互裝置,其特征在于,所述控制處理單元被配置成:在相應觸摸面板檢測到觸摸操作時,在該觸摸操作的接觸時間小于第一預設時間、且該觸摸操作的觸摸點位置在該接觸時間內未超出第一預設區(qū)域的情況下,在該觸摸操作結束接觸之時將該觸摸操作確定為點操作、并執(zhí)行與確定的點操作對應的指令;其中,所述第一預設區(qū)域為以該觸摸操作的觸摸初始位置為中心、預設長度為半徑的區(qū)域。
附記11.根據附記10所述的基于虛擬現實系統(tǒng)的人機交互裝置,其特征在于,所述控制處理單元被配置成:在相應觸摸面板檢測到觸摸操作時,在該觸摸操作的觸摸點位置在所述第一預設時間內超出所述第一預定區(qū)域的情況下,在該觸摸操作的觸摸點位置超出所述第一預定區(qū)域之時將該觸摸操作確定為劃操作、并執(zhí)行與確定的劃操作對應的指令。
附記12.根據附記10或11所述的基于虛擬現實系統(tǒng)的人機交互裝置,其特征在于,所述控制處理單元被配置成:在相應觸摸面板檢測到觸摸操作時,在該觸摸操作的接觸時間大于或等于所述第一預設時間、且該觸摸操作的觸摸點位置未超出所述第一預定區(qū)域的情況下,將該觸摸操作確定為按操作。
附記13.根據附記12所述的基于虛擬現實系統(tǒng)的人機交互裝置,其特征在于,所述控制處理單元被配置成:在判定相應觸摸面板檢測到的觸摸操作為按操作時,執(zhí)行顯示指令,所述顯示指令用于在觸摸點移動到相應位置時顯示該位置的相關信息或將該位置對應的內容高亮顯示。
附記14.根據附記10-13中任一項所述的基于虛擬現實系統(tǒng)的人機交互裝置,其特征在于,所述控制處理單元被配置成:按操作結束時,第二預設區(qū)域高亮顯示第二預設時間,手指再次按下的初始觸摸點在第二預設區(qū)域且再次滿足按操作判定條件時,將該觸摸操作確定為長按操作,所述第二預設區(qū)域為以該長按操作結束之時觸摸點位置為中心、預定長度為半徑的區(qū)域。
附記15.根據附記1所述的基于虛擬現實系統(tǒng)的人機交互裝置,其特征在于,所述控制處理單元被配置成:針對每個觸摸面板檢測到的觸摸操作中的每個觸摸點,根據如下公式,在虛擬屏幕上確定與該觸摸點對應的操作點:a/c=a1/c1;b1/d1=b/d;其中,b和a分別表示該觸摸點與該觸摸面板上的第一參考點之間的水平距離和垂直距離,d和c分別表示該觸摸面板水平方向上的長度和垂直方向上的長度;b1和a1分別表示虛擬屏幕上與該觸摸點對應的操作點與虛擬屏幕上的第二參考點之間的水平距離和垂直距離,d1和c1分別表示虛擬屏幕水平方向上的長度和垂直方向上的長度;第一參考點為該觸摸面板左下端點或右下端點,其中當觸摸面板對著用戶時為左下端點,當觸摸面板背對著用戶時為右下端點,以有觸摸面的那一面為觸摸面板的正面,第二參考點為虛擬屏幕的左下端點。
附記16.根據附記1所述的基于虛擬現實系統(tǒng)的人機交互裝置,其特征在于,所述控制處理單元被配置成:針對每個觸摸面板檢測到的觸摸操作中的每個觸摸點,根據如下公式,在觀察區(qū)域上確定與該觸摸點對應的操作點:
對于水平視角:當α<180度時,
對于垂直視角:
其中,α表示用戶視線在水平方向上從觀察區(qū)域最左端轉到最右端所轉過的角度,即水平視角,β表示用戶視線在垂直方向上從觀察區(qū)域最底端轉到最頂端所轉過的角度,即垂直視角,γ表示用戶視線在水平方向上從觀察區(qū)域最左端轉到該觸摸點對應的操作點所轉過的角度,δ表示用戶視線在垂直方向上從觀察區(qū)域最底端轉到該觸摸點對應的操作點所轉過的角度,b和a分別表示該觸摸點與該觸摸面板上的第一參考點之間的水平距離和垂直距離,c和d分別表示該觸摸面板垂直方向上的長度和水平方向上的長度,第一參考點為該觸摸面板左下端點或右下端點,其中當觸摸面板對著用戶時為左下端點,當觸摸面板背對著用戶時為右下端點,以有觸摸面的那一面為觸摸面板的正面。
附記17.根據附記3所述的基于虛擬現實系統(tǒng)的人機交互裝置,其特征在于,針對所述第一觸摸面板上的每一點p:在所述第一觸摸面板安裝在所述頭部佩戴單元上的情況下,將所述預定屏幕上與所述第一觸摸面板上該點p對應的操作點記為第一操作點q1;在所述第一觸摸面板拆離所述頭部佩戴單元的情況下,將所述預定屏幕上與所述第一觸摸面板上該點p對應的操作點記為第二操作點q2;其中,所述第一操作點q1與所述第二操作點q2關于所述第一觸摸面板的垂直中線對稱。
附記18.根據附記1-17中任一項所述的基于虛擬現實系統(tǒng)的人機交互裝置,其特征在于,控制處理單元4被配置成:設置兩個變量a和b,并將a和b的初始值均設為0;實時檢測手指是否離開觸摸屏,并在手指離開觸摸屏時將a的值賦為1;實時檢測觸摸點是否到達第一預設范圍邊界,并在觸摸點到達第一預設范圍邊界時將b的值賦為1;實時判斷是否滿足停止條件,在滿足任一停止條件時下達停止指令;所述停止條件包括以下三個條件:a的值變化;b的值變化;從手指按下之后經過第一預設時間;將從手指按下到停止的過程作為第一判定,當所述第一判定結束后:若a=0且b=0,判定為按操作或長按操作;若a=1且b=0,判定為點操作;若a=0且b=1,判定為劃操作;若a=1且b=1,判定為無效或者劃操作。