本發(fā)明涉及一種基于虛擬現(xiàn)實(shí)技術(shù)和手勢(shì)識(shí)別技術(shù)的遠(yuǎn)程呈現(xiàn)交互方式的設(shè)計(jì)，尤其涉及一種基于虛擬現(xiàn)實(shí)與手勢(shì)識(shí)別的遠(yuǎn)程呈現(xiàn)交互方法和系統(tǒng)，屬于人機(jī)交互技術(shù)領(lǐng)域。

背景技術(shù)：

目前，出現(xiàn)了很多遠(yuǎn)程交互方式和系統(tǒng)，例如視頻會(huì)議、遠(yuǎn)程操作機(jī)器人以及遠(yuǎn)程呈現(xiàn)機(jī)器人等。這些系統(tǒng)多采用傳統(tǒng)的遠(yuǎn)程交互方式，即用戶在遠(yuǎn)程空間中的用戶界面上通過鍵盤、鼠標(biāo)、操作桿以及圖形界面來與本地空間進(jìn)行交互。這些系統(tǒng)通常是為特定的任務(wù)設(shè)計(jì)并且需要經(jīng)過訓(xùn)練的操作員進(jìn)行操作。

隨著觸屏技術(shù)的發(fā)展，一些遠(yuǎn)程交互系統(tǒng)也采用平板電腦、智能手機(jī)以及其他移動(dòng)裝置作為交互設(shè)備，在現(xiàn)場視頻圖像上疊加圖形用戶界面，通過點(diǎn)擊圖形用戶界面上的虛擬按鈕來進(jìn)行交互操作。此外還出現(xiàn)了基于可觸摸現(xiàn)場實(shí)時(shí)視頻圖像的用戶界面，通過遠(yuǎn)程呈現(xiàn)機(jī)器人獲取本地空間現(xiàn)場實(shí)時(shí)視頻圖像，用戶在遠(yuǎn)程空間通過可觸摸現(xiàn)場實(shí)時(shí)視頻圖像的用戶界面,直接觸摸本地空間的現(xiàn)場實(shí)時(shí)視頻圖像，實(shí)現(xiàn)與本地空間中物體和環(huán)境的交互。

虛擬現(xiàn)實(shí)技術(shù)的發(fā)展，使得更加真實(shí)和具有現(xiàn)場感的交互方式成為可能。在一些虛擬現(xiàn)實(shí)系統(tǒng)中，用戶可以通過自然的手勢(shì)與虛擬現(xiàn)實(shí)場景進(jìn)行交互，但是還不能與真實(shí)的場景進(jìn)行交互。

為實(shí)現(xiàn)更加具有沉浸感的遠(yuǎn)程呈現(xiàn)，我們致力于提出一種基于虛擬現(xiàn)實(shí)技術(shù)和手勢(shì)識(shí)別技術(shù)的遠(yuǎn)程呈現(xiàn)交互方法和系統(tǒng)。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的在于克服目前遠(yuǎn)程交互技術(shù)中存在的缺乏沉浸感，交互方式不直觀的問題，提出了一種基于虛擬現(xiàn)實(shí)技術(shù)和手勢(shì)識(shí)別技術(shù)的遠(yuǎn)程呈現(xiàn)交互方法和系統(tǒng)。

本發(fā)明的核心思想在于：遠(yuǎn)程呈現(xiàn)機(jī)器人通過雙目攝像頭獲取本地空間的兩路實(shí)時(shí)視頻圖像，通過無線網(wǎng)絡(luò)傳輸?shù)竭h(yuǎn)程空間中的用戶的智能手機(jī)上并分屏顯示；遠(yuǎn)程空間中的用戶通過vr眼鏡和智能手機(jī)可以以虛擬現(xiàn)實(shí)的方式感知本地空間，獲得真正的身臨其境的感受；用戶需要與遠(yuǎn)程機(jī)器人交互時(shí)，需要將用戶手勢(shì)的實(shí)時(shí)視頻數(shù)據(jù)傳送給計(jì)算服務(wù)器，再進(jìn)行手勢(shì)識(shí)別來控制遠(yuǎn)程呈現(xiàn)機(jī)器人；當(dāng)用戶需要與遠(yuǎn)程可交互裝置交互時(shí)，需要先識(shí)別該裝置，建立視野中遠(yuǎn)程可交互裝置的圖像與實(shí)際遠(yuǎn)程可交互裝置的對(duì)應(yīng)關(guān)系，遠(yuǎn)程空間中交互式vr眼鏡上的雙目攝像頭獲取用戶的手勢(shì)數(shù)據(jù)并識(shí)別用戶的手勢(shì)，根據(jù)獲取的手勢(shì)數(shù)據(jù)，在手機(jī)屏幕上分屏顯示的兩路視頻圖像中，繪制出用戶的虛擬手，用戶可以通過移動(dòng)自己的雙手來控制虛擬手的移動(dòng)，通過改變自己的手勢(shì)來改變虛擬手的手勢(shì)，從而可以使用虛擬手與本地空間中的遠(yuǎn)程可交互裝置進(jìn)行遠(yuǎn)程呈現(xiàn)交互。

一種基于虛擬現(xiàn)實(shí)技術(shù)和手勢(shì)識(shí)別技術(shù)的遠(yuǎn)程呈現(xiàn)交互方法和系統(tǒng)包括一種基于虛擬現(xiàn)實(shí)技術(shù)和手勢(shì)識(shí)別技術(shù)的遠(yuǎn)程呈現(xiàn)交互方法和一種基于虛擬現(xiàn)實(shí)技術(shù)和手勢(shì)識(shí)別技術(shù)的遠(yuǎn)程呈現(xiàn)交互系統(tǒng)；一種基于虛擬現(xiàn)實(shí)技術(shù)和手勢(shì)識(shí)別技術(shù)的遠(yuǎn)程呈現(xiàn)交互方法，簡稱本方法，一種基于虛擬現(xiàn)實(shí)技術(shù)和手勢(shì)識(shí)別技術(shù)的遠(yuǎn)程呈現(xiàn)交互系統(tǒng)，簡稱本系統(tǒng)；

其中，本系統(tǒng)包括本地空間、遠(yuǎn)程空間、連接本地空間與遠(yuǎn)程空間的無線網(wǎng)絡(luò)以及計(jì)算服務(wù)器；其中，計(jì)算服務(wù)器可位于本地空間，也可以位于遠(yuǎn)程空間，還可以是任意聯(lián)網(wǎng)的地點(diǎn)；本地空間中又包含遠(yuǎn)程呈現(xiàn)機(jī)器人和遠(yuǎn)程可交互裝置；遠(yuǎn)程空間中又包含交互式vr眼鏡，交互式vr眼鏡又包括vr眼鏡、智能手機(jī)以及雙目攝像頭；用戶位于遠(yuǎn)程空間；

遠(yuǎn)程可交互裝置具有三個(gè)屬性:標(biāo)識(shí)(id)、驅(qū)動(dòng)器(actuator)、無線通訊網(wǎng)絡(luò)；其中，標(biāo)識(shí)是指獨(dú)一無二的特征，可用計(jì)算機(jī)視覺的方法識(shí)別；

驅(qū)動(dòng)器是指電機(jī)、繼電器將電能到機(jī)械能或其它能量形式的轉(zhuǎn)化；無線通訊網(wǎng)絡(luò)包括wifi；

其中，通過計(jì)算機(jī)視覺的方法識(shí)別遠(yuǎn)程可交互裝置通常是通過提取圖像特征進(jìn)行識(shí)別，提取的圖像特征包括顏色、紋理、表觀和形狀；如果上述圖像特征相同，即識(shí)別外觀相同的兩個(gè)遠(yuǎn)程可交互裝置時(shí)，需要識(shí)別裝置所處的位置以區(qū)分這兩個(gè)裝置，或用定位技術(shù)獲取裝置的位置參數(shù)；比如，室內(nèi)有兩個(gè)窗簾，可以通過定位技術(shù)區(qū)分不同位置的窗簾，實(shí)現(xiàn)不同窗簾的控制；

遠(yuǎn)程可交互裝置是完全獨(dú)立的，可由用戶遠(yuǎn)程直接控制，該裝置的識(shí)別主要通過計(jì)算機(jī)視覺方法實(shí)現(xiàn)；

遠(yuǎn)程呈現(xiàn)機(jī)器人也是一種遠(yuǎn)程可交互裝置，由移動(dòng)底座和機(jī)器人頭部組成，其中機(jī)器人頭部裝備有雙目攝像頭；

本系統(tǒng)的各組成部分的連接關(guān)系如下：

本地空間和遠(yuǎn)程空間通過無線網(wǎng)絡(luò)連接；計(jì)算服務(wù)器與本地空間和遠(yuǎn)程空間通過無線網(wǎng)絡(luò)連接；

本系統(tǒng)的各組成部分的功能如下：

計(jì)算服務(wù)器的功能是恢復(fù)用戶手勢(shì)及本地空間的三維信息以及進(jìn)行手勢(shì)識(shí)別；

本地空間中的遠(yuǎn)程可交互裝置的功能是實(shí)現(xiàn)遠(yuǎn)程交互；其中，標(biāo)識(shí)的功能是用于區(qū)分和識(shí)別裝置；驅(qū)動(dòng)器的功能是實(shí)現(xiàn)自動(dòng)控制；無線通信網(wǎng)絡(luò)的功能是實(shí)現(xiàn)遠(yuǎn)程可交互裝置與互聯(lián)網(wǎng)連接；

本地空間中的遠(yuǎn)程呈現(xiàn)機(jī)器人的功能是在本地空間移動(dòng)，獲取本地空間的實(shí)時(shí)視頻圖像；

遠(yuǎn)程空間中的交互式vr眼鏡的功能是在遠(yuǎn)程空間提供給用戶以虛擬現(xiàn)實(shí)的方式感知本地空間，并通過手勢(shì)與本地空間中的遠(yuǎn)程可交互裝置進(jìn)行交互；

一種基于虛擬現(xiàn)實(shí)技術(shù)和手勢(shì)識(shí)別技術(shù)的遠(yuǎn)程呈現(xiàn)交互方法，包括如下步驟：

步驟一、現(xiàn)場實(shí)時(shí)視頻圖像的獲??；

具體為：通過遠(yuǎn)程呈現(xiàn)機(jī)器人在本地空間中移動(dòng)來獲取本地空間的現(xiàn)場實(shí)時(shí)視頻圖像，即：機(jī)器人頭部裝備的雙目攝像頭來獲取兩路本地空間的現(xiàn)場實(shí)時(shí)視頻圖像；

其中，兩路本地空間的現(xiàn)場實(shí)時(shí)視頻圖像分別由雙目攝像頭的左方攝像頭和右方攝像頭拍攝得到；

步驟二、用戶以虛擬現(xiàn)實(shí)的方式感知本地空間；

具體為：無線網(wǎng)絡(luò)將步驟一中遠(yuǎn)程呈現(xiàn)機(jī)器人獲取的兩路現(xiàn)場實(shí)時(shí)視頻圖像傳送到遠(yuǎn)程空間的智能手機(jī)上，并進(jìn)行分屏顯示，即智能手機(jī)的屏幕左方顯示遠(yuǎn)程呈現(xiàn)機(jī)器人上的雙目攝像頭中左方攝像頭拍攝的圖像，智能手機(jī)的屏幕右方顯示遠(yuǎn)程呈現(xiàn)機(jī)器人上的雙目攝像頭中右方攝像頭拍攝的圖像；遠(yuǎn)程空間中的用戶通過vr眼鏡和智能手機(jī)就可以以虛擬現(xiàn)實(shí)的方式感知本地空間，獲得真正的身臨其境的感受；

步驟三、根據(jù)用戶需求決定通過手勢(shì)與遠(yuǎn)程呈現(xiàn)機(jī)器人還是遠(yuǎn)程可交互裝置進(jìn)行交互，具體為；

3.a、若用戶需求是與遠(yuǎn)程呈現(xiàn)機(jī)器人交互，則具體步驟為：

步驟3.a1通過交互式vr眼鏡上的雙目攝像頭獲取用戶手勢(shì)的兩路實(shí)時(shí)視頻數(shù)據(jù)；

步驟3.a2通過無線網(wǎng)絡(luò)將獲取的兩路用戶手勢(shì)的實(shí)時(shí)視頻數(shù)據(jù)發(fā)送給計(jì)算服務(wù)器；

步驟3.a3在計(jì)算服務(wù)器上利用立體視覺的方法恢復(fù)用戶手勢(shì)的三維信息，并進(jìn)行手勢(shì)識(shí)別；

步驟3.a4根據(jù)手勢(shì)識(shí)別的結(jié)果來控制遠(yuǎn)程呈現(xiàn)機(jī)器人前進(jìn)、后退、左轉(zhuǎn)以及右轉(zhuǎn)；

3.b、若用戶需求是與遠(yuǎn)程可交互裝置交互，則具體步驟為：

步驟3.b1通過交互式vr眼鏡上的雙目攝像頭獲取用戶手勢(shì)的兩路實(shí)時(shí)視頻數(shù)據(jù)；

步驟3.b2通過無線網(wǎng)絡(luò)將獲取的兩路實(shí)時(shí)視頻數(shù)據(jù)發(fā)送給計(jì)算服務(wù)器；

步驟3.b3在計(jì)算服務(wù)器上利用立體視覺的方法恢復(fù)用戶手勢(shì)的三維信息，并進(jìn)行手勢(shì)識(shí)別；同時(shí)遠(yuǎn)程呈現(xiàn)機(jī)器人獲取的兩路本地空間的視頻數(shù)據(jù)也發(fā)送到計(jì)算服務(wù)器上，同樣利用立體視覺的方法恢復(fù)本地空間的三維信息；

步驟3.b4在本地空間的三維信息中融入虛擬手的三維信息，并在對(duì)應(yīng)的本地空間的二維圖像中繪制出虛擬手；

具體為：通過恢復(fù)用戶手勢(shì)的三維信息，可以得到用戶的手相對(duì)于用戶的空間位置，根據(jù)用戶的手相對(duì)于用戶的空間位置可以得到虛擬手相對(duì)于遠(yuǎn)程呈現(xiàn)機(jī)器人的位置，從而可以在本地空間的三維信息中融入虛擬手的三維信息，并在對(duì)應(yīng)的本地空間的二維圖像中繪制出虛擬手；

步驟3.b5用戶通過移動(dòng)自己的雙手來控制虛擬手的移動(dòng)，根據(jù)本地空間的三維信息以及虛擬手的位置，判斷虛擬手是否碰到了本地空間的遠(yuǎn)程可交互裝置，并在虛擬手碰到本地空間的遠(yuǎn)程可交互裝置時(shí)，使用步驟3.b3手勢(shì)識(shí)別的結(jié)果來操作遠(yuǎn)程可交互裝置；

至此，通過步驟一到步驟三，完成了一種基于虛擬現(xiàn)實(shí)技術(shù)和手勢(shì)識(shí)別技術(shù)的遠(yuǎn)程呈現(xiàn)交互方法。

有益效果

本發(fā)明一種基于虛擬現(xiàn)實(shí)技術(shù)和手勢(shì)識(shí)別技術(shù)的遠(yuǎn)程呈現(xiàn)交互方法，與現(xiàn)有技術(shù)相比，具有如下有益效果：

(1)本發(fā)明通過在遠(yuǎn)程呈現(xiàn)機(jī)器人上裝備雙目攝像頭來獲取本地空間的兩路現(xiàn)場實(shí)時(shí)視頻圖像，通過無線網(wǎng)路傳送到遠(yuǎn)程空間中的用戶的手機(jī)上并分屏顯示，用戶可以通過vr眼鏡以虛擬現(xiàn)實(shí)的方式來感知本地空間，真正給用戶身臨其境的感受；

(2)用戶在遠(yuǎn)程空間通過交互式vr眼鏡，可以通過移動(dòng)自己的手來移動(dòng)本地空間二維圖像中繪出的虛擬手，來操作本地空間中的遠(yuǎn)程可交互裝置，與現(xiàn)有技術(shù)相比，本發(fā)明所述方法就像在現(xiàn)場操作一樣，更有現(xiàn)場感。

附圖說明

圖1是本發(fā)明一種基于虛擬現(xiàn)實(shí)與手勢(shì)識(shí)別的遠(yuǎn)程呈現(xiàn)交互方法和系統(tǒng)中遠(yuǎn)程呈現(xiàn)交互系統(tǒng)組成；

圖2是本發(fā)明一種基于虛擬現(xiàn)實(shí)與手勢(shì)識(shí)別的遠(yuǎn)程呈現(xiàn)交互方法和系統(tǒng)中的遠(yuǎn)程呈現(xiàn)機(jī)器人架構(gòu)；

圖3是本發(fā)明一種基于虛擬現(xiàn)實(shí)與手勢(shì)識(shí)別的遠(yuǎn)程呈現(xiàn)交互方法和系統(tǒng)交互式vr眼鏡結(jié)構(gòu)；

其中，圖1遠(yuǎn)程呈現(xiàn)交互系統(tǒng)組成，101是遠(yuǎn)程呈現(xiàn)機(jī)器人所處的本地空間，102是用戶所處的遠(yuǎn)程空間，103和104是無線網(wǎng)絡(luò)，105是互聯(lián)網(wǎng)，106是本地空間中的可交互裝置，107是遠(yuǎn)程呈現(xiàn)機(jī)器人，108是由vr眼鏡，智能手機(jī)以及雙目攝像頭組成的交互式vr眼鏡，109是用戶，110是計(jì)算服務(wù)器，計(jì)算服務(wù)器可放置在本地空間或遠(yuǎn)程空間，或任何聯(lián)網(wǎng)的地點(diǎn)；

圖2遠(yuǎn)程呈現(xiàn)機(jī)器人架構(gòu)，201為雙目攝像頭，202為移動(dòng)底座；

圖3交互式vr眼鏡結(jié)構(gòu)，301為智能手機(jī)，302為雙目攝像頭，303為vr眼鏡。

具體實(shí)施方式

下面結(jié)合附圖和實(shí)施例對(duì)本發(fā)明做進(jìn)一步說明和詳細(xì)描述。

實(shí)施例

本實(shí)施例詳細(xì)闡述了本發(fā)明一種基于虛擬現(xiàn)實(shí)與手勢(shì)識(shí)別的遠(yuǎn)程呈現(xiàn)交互方法和系統(tǒng)在遠(yuǎn)程陪護(hù)情況下具體實(shí)施時(shí)的情況。

圖1是一種基于虛擬現(xiàn)實(shí)與手勢(shì)識(shí)別的遠(yuǎn)程呈現(xiàn)交互方法和系統(tǒng)的系統(tǒng)組成示意圖，其中101是遠(yuǎn)程呈現(xiàn)機(jī)器人所處的本地空間，102是用戶所處的遠(yuǎn)程空間，103和104是無線網(wǎng)絡(luò)，105是互聯(lián)網(wǎng)，無線網(wǎng)絡(luò)與互聯(lián)網(wǎng)用于連接本地空間合遠(yuǎn)程空間，106是本地空間中的可交互裝置，107是遠(yuǎn)程呈現(xiàn)機(jī)器人，用于在本地空間中移動(dòng)，獲取本地空間的實(shí)時(shí)視頻圖像，108是由vr眼鏡，智能手機(jī)以及雙目攝像頭組成的交互式vr眼鏡，109是用戶，110是計(jì)算服務(wù)器，計(jì)算服務(wù)器可放置在本地空間或遠(yuǎn)程空間，或任何聯(lián)網(wǎng)的地點(diǎn)。

遠(yuǎn)程呈現(xiàn)機(jī)器人由雙目攝像頭和移動(dòng)底座組成，如圖2所示，其中雙目攝像頭201用于獲取本地空間的兩路實(shí)時(shí)視頻圖像，移動(dòng)底座202用于機(jī)器人的移動(dòng)。交互式vr眼鏡由vr眼鏡、智能手機(jī)以及雙目攝像頭組成，如圖3所示，其中智能手機(jī)301用于接收雙目攝像頭201發(fā)送的兩路視頻圖像并分屏顯示，vr眼鏡303與智能手機(jī)301一起為用戶提供以虛擬現(xiàn)實(shí)的方式來感知本地空間，雙目攝像頭302用于捕獲用戶的手部數(shù)據(jù)用于與本地空間中的遠(yuǎn)程可交互裝置進(jìn)行交互。

用戶通過雙手做出指定的控制手勢(shì)，控制遠(yuǎn)程呈現(xiàn)機(jī)器人移動(dòng)至帶有密碼鎖的房門門口；系統(tǒng)自動(dòng)識(shí)別密碼鎖，并建立密碼鎖的圖像與實(shí)際密碼鎖的對(duì)應(yīng)關(guān)系；用戶通過vr眼鏡看到本地空間中的門禁系統(tǒng)密碼鍵面板，就直接伸手(控制虛擬手)去按密碼鍵，通過計(jì)算用戶的手指的位置，并映射到重建的本地三維空間中，來判斷用戶按了哪個(gè)鍵。根據(jù)密碼健圖像和遠(yuǎn)程可交互裝置建立的對(duì)應(yīng)關(guān)系，可以通過無線網(wǎng)絡(luò)向該裝置的驅(qū)動(dòng)器發(fā)送對(duì)應(yīng)的控制指令，使該裝置完成相應(yīng)動(dòng)作，實(shí)現(xiàn)基于手勢(shì)的遠(yuǎn)程呈現(xiàn)交互。具體為：當(dāng)用戶輸入正確的密碼后，可以打開房門；用戶通過指定的控制手勢(shì)，控制遠(yuǎn)程呈現(xiàn)機(jī)器人進(jìn)入房間，移動(dòng)至燈的開關(guān)前；用戶通過vr眼鏡看到本地空間中的燈的開關(guān)，就直接伸手(控制虛擬手)去按開關(guān)，通過計(jì)算用戶的手指的位置，并映射到重建的本地三維空間中，來判斷用戶的手指是否靠近開關(guān)，當(dāng)用戶的手指距離燈的開關(guān)較近時(shí)，根據(jù)燈的開關(guān)圖像和遠(yuǎn)程可交互裝置建立的對(duì)應(yīng)關(guān)系，可以通過無線網(wǎng)絡(luò)向該燈的驅(qū)動(dòng)器發(fā)送開燈指令，從而可以打開房間中的燈。

以上所述為本發(fā)明的較佳實(shí)施例而已，本發(fā)明不應(yīng)該局限于該實(shí)施例和附圖所公開的內(nèi)容。凡是不脫離本發(fā)明所公開的精神下完成的等效或修改，都落入本發(fā)明保護(hù)的范圍。