本發(fā)明涉及虛擬現(xiàn)實(shí)技術(shù),具體而言,涉及一種與VR頭戴設(shè)備配套的手柄的位置追蹤方法、一種與VR頭戴設(shè)備配套的手柄的位置追蹤系統(tǒng)、一種與VR頭戴設(shè)備配套的手柄、一種與手柄配套的VR頭戴設(shè)備、以及一種VR設(shè)備。
背景技術(shù):
在VR(Virtual Reality,虛擬現(xiàn)實(shí))技術(shù)中,有時(shí)需要對(duì)手柄進(jìn)行運(yùn)動(dòng)追蹤,確定手柄的姿態(tài)和空間位置,從而識(shí)別用戶的動(dòng)作或操作。
現(xiàn)有技術(shù)中,可以通過(guò)IMU(inertial measurement unit,慣性測(cè)量單元)確定手柄的姿態(tài),但I(xiàn)MU單元無(wú)法確定手柄的空間位置。為了確定手柄的空間位置,可以在空間內(nèi)布置多個(gè)攝像頭基站,通過(guò)攝像頭基站拍攝的圖像對(duì)手柄進(jìn)行定位,但這種由外而內(nèi)(Outside-In)的定位方案對(duì)空間的要求更大,相對(duì)成本更高。
技術(shù)實(shí)現(xiàn)要素:
本發(fā)明的目的在于提供與VR頭戴設(shè)備配套的手柄的位置追蹤方案。
根據(jù)本發(fā)明的第一方面,提供了一種與VR頭戴設(shè)備配套的手柄的位置追蹤方法,所述手柄的外殼上設(shè)有紅外光源,所述VR頭戴設(shè)備設(shè)有用于拍攝所述紅外光源的雙目紅外攝像頭,所述紅外光源具有一個(gè)或多個(gè)發(fā)光點(diǎn);所述方法包括以下步驟:
分別測(cè)量所述手柄和所述VR頭戴設(shè)備的空間姿態(tài);
根據(jù)所述手柄的空間姿態(tài)信息、所述VR頭戴設(shè)備的空間姿態(tài)信息、以及所述雙目紅外攝像頭拍攝到的圖片信息計(jì)算所述手柄與所述VR頭戴設(shè)備的相對(duì)位置關(guān)系;以及,
根據(jù)所述VR頭戴設(shè)備的空間位置和所述手柄與所述VR頭戴設(shè)備的相對(duì)位置關(guān)系確定所述手柄的空間位置。
可選地,通過(guò)所述手柄內(nèi)置的IMU單元測(cè)量所述手柄的空間姿態(tài),通過(guò)所述VR頭戴設(shè)備內(nèi)置的IMU單元測(cè)量所述VR頭戴設(shè)備的空間姿態(tài)。
可選地,所述IMU單元為九軸IMU單元,包括三軸陀螺儀、三軸加速傳感器、以及三軸地磁傳感器。
可選地,所述手柄包括左手手柄和右手手柄,所述左手手柄和所述右手手柄的紅外光源分別具有多個(gè)發(fā)光點(diǎn),所述左手手柄和所述右手手柄的發(fā)光點(diǎn)的數(shù)目和排列形狀分別相同或不同。
可選地,所述手柄根據(jù)所述雙目紅外攝像頭的同步信號(hào)在所述雙目紅外攝像頭的曝光期點(diǎn)亮所述紅外光源。
可選地,所述手柄包括左手手柄和右手手柄;
所述VR頭戴設(shè)備控制所述左手手柄的紅外光源和所述右手手柄的紅外光源按照奇偶幀交替點(diǎn)亮,根據(jù)此期間內(nèi)所述雙目紅外攝像頭拍攝到的圖片信息區(qū)分所述左手手柄和右手手柄;或者,
所述VR頭戴設(shè)備控制所述左手手柄的紅外光源或所述右手手柄的紅外光源熄滅特定數(shù)目的幀數(shù),根據(jù)此期間內(nèi)所述雙目紅外攝像頭拍攝到的圖片信息區(qū)分所述左手手柄和右手手柄。
根據(jù)本發(fā)明的第二方面,提供了一種與VR頭戴設(shè)備配套的手柄的位置追蹤系統(tǒng),所述系統(tǒng)包括設(shè)置于所述手柄的外殼上的紅外光源,設(shè)置于所述VR頭戴設(shè)備上的雙目紅外攝像頭;
所述系統(tǒng)還包括設(shè)置于所述VR頭戴設(shè)備上的第一IMU單元和手柄位置計(jì)算模塊,以及設(shè)置于所述手柄上的第二IMU單元;
所述第一IMU單元,用于測(cè)量所述VR頭戴設(shè)備的空間姿態(tài);
所述第二IMU單元,用于測(cè)量所述手柄的空間姿態(tài);
所述雙目紅外攝像頭,用于拍攝所述紅外光源;
所述手柄位置計(jì)算模塊,用于根據(jù)所述手柄的空間姿態(tài)信息、所述VR頭戴設(shè)備的空間姿態(tài)信息、以及所述雙目紅外攝像頭拍攝到的圖片信息計(jì)算所述手柄與所述VR頭戴設(shè)備的相對(duì)位置關(guān)系;以及,根據(jù)所述VR頭戴設(shè)備的空間位置和所述手柄與所述VR頭戴設(shè)備的相對(duì)位置關(guān)系確定所述手柄的空間位置。
可選地,所述第一IMU單元和所述第二IMU單元為九軸IMU單元,所述九軸IMU單元包括三軸陀螺儀、三軸加速傳感器、三軸地磁傳感器。
可選地,所述手柄包括左手手柄和右手手柄,所述左手手柄和所述右手手柄的紅外光源分別具有多個(gè)發(fā)光點(diǎn),所述左手手柄和所述右手手柄的發(fā)光點(diǎn)的數(shù)目和排列形狀分別相同或不同。
可選地,所述手柄還包括紅外光源控制模塊,所述紅外光源控制模塊根據(jù)所述雙目紅外攝像頭的同步信號(hào)在所述雙目紅外攝像頭的曝光期點(diǎn)亮所述紅外光源。
根據(jù)本發(fā)明的第三方面,提供了一種與VR頭戴設(shè)備配套的手柄,所述手柄包括IMU單元和無(wú)線通信模塊,所述手柄的外殼上設(shè)有用于被追蹤的紅外光源;
所述IMU單元,用于測(cè)量所述手柄的空間姿態(tài);
所述無(wú)線通信模塊,用于將所述手柄的空間姿態(tài)信息發(fā)送給所述VR頭戴設(shè)備。
可選地,所述IMU單元為九軸IMU單元,包括三軸陀螺儀、三軸加速傳感器、三軸地磁傳感器。
可選地,所述手柄包括左手手柄和右手手柄,所述左手手柄和所述右手手柄的紅外光源分別具有多個(gè)發(fā)光點(diǎn),所述左手手柄和所述右手手柄的發(fā)光點(diǎn)的數(shù)目和排列形狀分別相同或不同。
根據(jù)本發(fā)明的第四方面,提供了一種與手柄配套的VR頭戴設(shè)備,所述VR頭戴設(shè)備包括VR頭戴設(shè)備主體和雙目紅外攝像頭模組;
所述VR頭戴設(shè)備主體包括IMU單元和手柄位置計(jì)算模塊,所述雙目紅外攝像頭模組包括無(wú)線通信模塊;
所述IMU單元,用于測(cè)量所述VR頭戴設(shè)備的空間姿態(tài);
所述雙目紅外攝像頭模組,用于拍攝所述手柄的外殼上的紅外光源,以及通過(guò)所述無(wú)線通信模塊接收所述手柄的空間姿態(tài)信息;
所述手柄位置計(jì)算模塊,用于根據(jù)所述手柄的空間姿態(tài)信息、所述VR頭戴設(shè)備的空間姿態(tài)信息、以及所述雙目紅外攝像頭模組拍攝到的圖片信息計(jì)算所述手柄與所述VR頭戴設(shè)備的相對(duì)位置關(guān)系;以及,根據(jù)所述VR頭戴設(shè)備的空間位置和所述手柄與所述VR頭戴設(shè)備的相對(duì)位置關(guān)系確定所述手柄的空間位置。
可選地,所述IMU單元為九軸IMU單元,包括三軸陀螺儀、三軸加速傳感器、三軸地磁傳感器。
可選地,所述VR頭戴設(shè)備主體和所述雙目紅外攝像頭模組之間通過(guò)MIPI/USB總線傳輸所述雙目紅外攝像頭模組拍攝到的圖片信息。
可選地,所述VR頭戴設(shè)備主體和所述雙目紅外攝像頭模組之間SPI/UART/USB總線傳輸所述手柄的空間姿態(tài)信息和手柄控制命令。
可選地,所述雙目紅外攝像頭模組通過(guò)所述無(wú)線通信模塊向所述手柄發(fā)送手柄控制命令。
根據(jù)本發(fā)明的第五方面,提供了一種VR設(shè)備,其特征在于,包括根據(jù)前述任一項(xiàng)所述的手柄和根據(jù)權(quán)利要求14-18任一項(xiàng)所述的VR頭戴設(shè)備。
本發(fā)明的手柄位置追蹤方案,在VR頭戴設(shè)備上設(shè)置用于追蹤的雙目紅外攝像頭,在手柄上設(shè)置用于被追蹤的紅外光源,通過(guò)手柄和頭戴設(shè)備的空間姿態(tài)信息和紅外圖片信息計(jì)算二者的相對(duì)位置關(guān)系,根據(jù)頭戴設(shè)備的空間位置和二者的相對(duì)位置關(guān)系確定手柄的空間位置。本發(fā)明的手柄位置追蹤方案,對(duì)外界環(huán)境沒(méi)有要求,更適合于移動(dòng)虛擬現(xiàn)實(shí)應(yīng)用。
為使本發(fā)明的上述目的、特征和優(yōu)點(diǎn)能更明顯易懂,下文特舉較佳實(shí)施例,并配合所附附圖,作詳細(xì)說(shuō)明如下。
附圖說(shuō)明
為了更清楚地說(shuō)明本發(fā)明實(shí)施例的技術(shù)方案,下面將對(duì)實(shí)施例中所需要使用的附圖作簡(jiǎn)單地介紹。應(yīng)當(dāng)理解,以下附圖僅示出了本發(fā)明的某些實(shí)施例,因此不應(yīng)被看作是對(duì)范圍的限定。對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講,在不付出創(chuàng)造性勞動(dòng)的前提下,還可以根據(jù)這些附圖獲得其他相關(guān)的附圖。
圖1示出了本發(fā)明實(shí)施例提供的VR設(shè)備的框圖。
圖2示出了本發(fā)明實(shí)施例提供的VR頭戴設(shè)備和手柄的同步過(guò)程。
圖3示出了本發(fā)明實(shí)施例提供的區(qū)分左右手柄的原理方法。
具體實(shí)施方式
現(xiàn)在將參照附圖來(lái)詳細(xì)描述本發(fā)明的各種示例性實(shí)施例。應(yīng)注意到:除非另外具體說(shuō)明,否則在這些實(shí)施例中闡述的部件和步驟的相對(duì)布置、數(shù)字表達(dá)式和數(shù)值不限制本發(fā)明的范圍。
以下對(duì)至少一個(gè)示例性實(shí)施例的描述實(shí)際上僅僅是說(shuō)明性的,決不作為對(duì)本發(fā)明及其應(yīng)用或使用的任何限制。
對(duì)于相關(guān)領(lǐng)域普通技術(shù)人員已知的技術(shù)、方法和設(shè)備可能不作詳細(xì)討論,但在適當(dāng)情況下,所述技術(shù)、方法和設(shè)備應(yīng)當(dāng)被視為說(shuō)明書(shū)的一部分。
在這里示出和討論的所有例子中,任何具體值應(yīng)被解釋為僅僅是示例性的,而不是作為限制。因此,示例性實(shí)施例的其它例子可以具有不同的值。
應(yīng)注意到:相似的標(biāo)號(hào)和字母在下面的附圖中表示類(lèi)似項(xiàng),因此,一旦某一項(xiàng)在一個(gè)附圖中被定義,則在隨后的附圖中不需要對(duì)其進(jìn)行進(jìn)一步討論。
參考圖1說(shuō)明本發(fā)明實(shí)施例提供的VR設(shè)備,包括VR頭戴設(shè)備1、左手手柄4、以及右手手柄3。
左手手柄4的外殼上設(shè)有用于被追蹤的紅外光源41,左手手柄4內(nèi)置有無(wú)線通信模塊42和IMU單元43。右手手柄3的外殼上設(shè)有用于被追蹤的紅外光源31,右手手柄3內(nèi)置有無(wú)線通信模塊32和IMU單元33。
現(xiàn)有技術(shù)中,VR頭盔通常包括屏幕、VR引擎、IMU單元等實(shí)現(xiàn)VR功能的硬件設(shè)模塊或軟件模塊。本發(fā)明的VR頭戴設(shè)備主體10與現(xiàn)有技術(shù)中的VR頭盔有些類(lèi)似,包括現(xiàn)有技術(shù)中已知的VR頭盔的各種常規(guī)模塊,與之不同的是,本發(fā)明的VR頭戴設(shè)備主體10還內(nèi)置有手柄位置計(jì)算模塊12,VR頭戴設(shè)備主體10的外部還設(shè)有雙目紅外攝像頭模組20。在一個(gè)實(shí)施例中,雙目紅外攝像頭模組20包括雙目紅外攝像頭21和無(wú)線通信模塊22。雙目紅外攝像頭21包括統(tǒng)一標(biāo)定后的雙紅外攝像頭,能夠同步曝光圖像,無(wú)線通信模塊可以基于2.4G無(wú)線傳輸協(xié)議進(jìn)行開(kāi)發(fā)。
VR頭戴設(shè)備1的IMU單元11,用于測(cè)量VR頭戴設(shè)備1的空間姿態(tài)。
左手手柄4的IMU單元43,用于測(cè)量左手手柄4的空間姿態(tài)。
右手手柄3的IMU單元33,用于測(cè)量右手手柄3的空間姿態(tài)。
雙目紅外攝像頭21,用于拍攝左手手柄4的紅外光源41和右手手柄3的紅外光源31,也就是說(shuō),雙目紅外攝像頭21的位置應(yīng)該使得,當(dāng)用戶佩戴上VR頭戴設(shè)備1時(shí),雙目紅外攝像頭21能夠拍攝到用戶雙手位置。
雙目紅外攝像頭模組20的無(wú)線通信模塊22可以分別與左手手柄4的無(wú)線通信模塊42、右手手柄3的無(wú)線通信模塊32建立無(wú)線連接,以實(shí)現(xiàn)VR頭戴設(shè)備1與左手手柄4的無(wú)線通信、以及VR頭戴設(shè)備1與右手手柄3的無(wú)線通信。
VR頭戴設(shè)備主體10和雙目紅外攝像頭模組20之間通過(guò)數(shù)據(jù)線連接,具體來(lái)說(shuō),VR頭戴設(shè)備主體10和雙目紅外攝像頭模組20可以形成兩條數(shù)據(jù)通道,其中一條為SPI/UART/USB總線數(shù)據(jù)通道,另一條為MIPI/USB總線數(shù)據(jù)通道。
下面介紹圖1所示的VR設(shè)備對(duì)左手手柄4和右手手柄3的位置追蹤的方法和過(guò)程。
在VR技術(shù)中,一般會(huì)確定VR頭戴設(shè)備的空間位置,從而確定用戶當(dāng)前移動(dòng)到的位置,本發(fā)明利用已知的VR頭戴設(shè)備空間位置,結(jié)合主動(dòng)紅外追蹤技術(shù),來(lái)確定左右手柄的空間位置。
雙目紅外攝像頭模組20通過(guò)無(wú)線通信模塊20向左手手柄4和右手手柄3分別發(fā)送同步信號(hào),左手手柄4和右手手柄3根據(jù)同步信號(hào)在雙目紅外攝像頭21的曝光期點(diǎn)亮自身的紅外光源。雙目紅外攝像頭模組20將拍攝到的圖片通過(guò)MIPI/USB總線傳輸?shù)絍R頭戴設(shè)備主體10。
左手手柄4通過(guò)無(wú)線通信模塊42向雙目紅外攝像頭模組20發(fā)送左手手柄的空間姿態(tài)信息,左手手柄3通過(guò)無(wú)線通信模塊32向雙目紅外攝像頭模組20發(fā)送右手手柄的空間姿態(tài)信息。雙目紅外攝像頭模組20將接收到的左手手柄的空間姿態(tài)信息和右手手柄的空間姿態(tài)信息通過(guò)SPI/UART/USB總線傳輸給VR頭戴設(shè)備主體10。
VR頭戴設(shè)備主體10的手柄位置計(jì)算模塊12,根據(jù)左右手柄的空間姿態(tài)信息、VR頭戴設(shè)備1的空間姿態(tài)信息、以及雙目紅外攝像頭20拍攝到的圖片信息分別計(jì)算左右手柄與VR頭戴設(shè)備1的相對(duì)位置關(guān)系,根據(jù)VR頭戴設(shè)備1的空間位置和左右手柄與所述VR頭戴設(shè)備的相對(duì)位置關(guān)系確定左右手柄的空間位置。
這一實(shí)施例是通過(guò)雙目紅外攝像頭模組直接控制手柄的紅外光源進(jìn)行閃爍,因此VR頭戴設(shè)備主體部分相對(duì)不受限制,可以較為自由的進(jìn)行設(shè)計(jì)。
此外,VR頭戴設(shè)備主體10的VR引擎可能需要控制手柄執(zhí)行一些特定的動(dòng)作,例如需要控制手柄中的馬達(dá)進(jìn)行震動(dòng)以模擬真實(shí)射擊感覺(jué),VR頭戴設(shè)備10可以通過(guò)SPI/UART/USB總線將手柄控制命令傳送給雙目紅外攝像頭模組20,由雙目紅外攝像頭模組20的無(wú)線通信模塊22將手柄控制命令發(fā)送到左右手柄。
在一個(gè)實(shí)施例中,左手手柄4的紅外光源41和右手手柄3的紅外光源31可以分別具有一個(gè)發(fā)光點(diǎn)或多個(gè)發(fā)光點(diǎn),并且左手手柄4的發(fā)光點(diǎn)和右手手柄3的發(fā)光點(diǎn)的數(shù)目和排列形狀可以分別相同或不同。
在一個(gè)實(shí)施例中,手柄位置計(jì)算模塊12可以為單獨(dú)的物理模塊,也可以集成在VR頭戴設(shè)備主體10的處理器中。
在一個(gè)實(shí)施例中,IMU單元11、IMU單元43、IMU單元33可以選用九軸IMU單元,所述九軸IMU單元包括三軸陀螺儀、三軸加速傳感器、三軸地磁傳感器。
需要說(shuō)明的是,在圖1所示的實(shí)施例中,是在雙目紅外攝像頭模組20中設(shè)有用于和手柄通信的無(wú)線通信模塊22,在其它的實(shí)施例中,用于和手柄通信的無(wú)線通信模塊22也可以設(shè)置在VR頭戴設(shè)備主體10中。
對(duì)于本領(lǐng)域技術(shù)人員來(lái)說(shuō),可以通過(guò)硬件方式、軟件方式或軟硬件結(jié)合的方式來(lái)實(shí)現(xiàn)上述追蹤與VR頭戴設(shè)備配套的手柄的位置的方案,這些都屬于本發(fā)明的保護(hù)范圍內(nèi)。
參考圖2說(shuō)明本發(fā)明的VR設(shè)備的系統(tǒng)同步架構(gòu),雙目紅外攝像頭21選用120Hz攝像頭,上電后,內(nèi)部的時(shí)鐘電路會(huì)生成120Hz的同步信號(hào)Vsync(例如CMOS Vsync信號(hào)),曝光(Exposure)周期為8.33ms,其中,E1時(shí)段(前6.33ms)為靜默期,E2時(shí)段(后2.0ms)為曝光期,雙目紅外攝像頭21會(huì)在E2時(shí)段內(nèi)同步進(jìn)行曝光。
雙目紅外攝像頭模組20需要通過(guò)無(wú)線通信模塊22將同步信號(hào)Vsync發(fā)送給左右手柄,由于無(wú)線通信模塊22不能同時(shí)進(jìn)行收發(fā)工作或者其他原因,無(wú)線通信模塊22發(fā)送同步信號(hào)Vsync可能會(huì)有延遲。出于后續(xù)過(guò)程同步的需要,在發(fā)送同步信號(hào)Vsync時(shí),會(huì)加入發(fā)送時(shí)間戳等標(biāo)志發(fā)送時(shí)間的數(shù)據(jù),也就是說(shuō),雙目紅外攝像頭模組20的無(wú)線通信模塊22實(shí)際發(fā)送的是含有發(fā)送時(shí)間數(shù)據(jù)的同步信號(hào)Sync。
由于傳輸需要時(shí)間,左手手柄接收到的同步信號(hào)為同步信號(hào)L-Sync。左手手柄在根據(jù)同步信號(hào)L-Sync生成左手手柄紅外光源控制信號(hào)L-Ctl時(shí),需要考慮發(fā)送方的延遲時(shí)間和傳輸所需的時(shí)間。具體來(lái)說(shuō),左手手柄需要將同步信號(hào)L-Sync的到達(dá)時(shí)間往前推定一段時(shí)間,使之與同步信號(hào)Vsync對(duì)齊,然后再向后推定E1時(shí)間,在E2時(shí)間內(nèi)產(chǎn)生左手手柄紅外光源控制信號(hào)L-Ctl,控制左手手柄的紅外光源在E2時(shí)間內(nèi)點(diǎn)亮,從而實(shí)現(xiàn)了雙目紅外攝像頭21與左手手柄的紅外光源同步,左手手柄的紅外光源恰好在雙目紅外攝像頭21的曝光期點(diǎn)亮。
同理,由于傳輸需要時(shí)間,右手手柄接收到的同步信號(hào)為同步信號(hào)R-Sync。右手手柄在根據(jù)同步信號(hào)R-Sync生成右手手柄紅外光源控制信號(hào)R-Ctl時(shí),需要考慮發(fā)送方的延遲時(shí)間和傳輸所需的時(shí)間。具體來(lái)說(shuō),右手手柄需要將同步信號(hào)R-Sync的到達(dá)時(shí)間往前推定一段時(shí)間,使之與同步信號(hào)Vsync對(duì)齊,然后再向后推定E1時(shí)間,在E2時(shí)間內(nèi)產(chǎn)生右手手柄紅外光源控制信號(hào)R-Ctl,控制右手手柄的紅外光源在E2時(shí)間內(nèi)點(diǎn)亮,從而實(shí)現(xiàn)了雙目紅外攝像頭21與右手手柄的紅外光源同步,右手手柄的紅外光源恰好在雙目紅外攝像頭21的曝光期點(diǎn)亮。
在對(duì)左右手柄的位置追蹤過(guò)程中,需要能夠區(qū)分左手手柄和右手手柄。當(dāng)左手手柄和右手手柄不同區(qū)分的情況出現(xiàn)時(shí),例如當(dāng)兩只手柄處于遮擋狀態(tài)以后會(huì)無(wú)法區(qū)分兩個(gè)手柄,本發(fā)明實(shí)施例提供了以下幾種區(qū)分左手手柄和右手手柄的技術(shù)方案:
第一種方案:對(duì)左手手柄的紅外光源和右手手柄的紅外光源做不同的設(shè)計(jì),可以對(duì)左手手柄的紅外光源的發(fā)光點(diǎn)和右手手柄的紅外光源的發(fā)光點(diǎn)的數(shù)目和/或排列形狀做不同的設(shè)計(jì),例如,左手手柄的發(fā)光點(diǎn)排列成半圓形狀,右手手柄的發(fā)光點(diǎn)排列為圓形形狀。通過(guò)雙目紅外攝像頭模組拍攝到的圖片,VR頭戴設(shè)備可以區(qū)分左手手柄和右手手柄。
第二種方案,在系統(tǒng)同步后,參見(jiàn)圖3所示,VR頭戴設(shè)備1通過(guò)無(wú)線通信模塊22對(duì)分別對(duì)左手手柄和右手手柄發(fā)送控制命令,令左手手柄只在奇數(shù)幀點(diǎn)亮紅外光源,而右手手柄只在偶數(shù)幀點(diǎn)亮紅外光源。通過(guò)雙目紅外攝像頭模組拍攝到的圖片,VR頭戴設(shè)備1可以區(qū)分左手手柄和右手手柄,在VR頭戴設(shè)備1區(qū)分開(kāi)左右手柄以后,VR頭戴設(shè)備1可以發(fā)送控制命令讓左手手柄和右手手柄的紅外光源恢復(fù)正常閃爍。
第三種方案,在系統(tǒng)同步后,VR頭戴設(shè)備1通過(guò)無(wú)線通信模塊22對(duì)左手手柄或者右手手柄發(fā)送滅燈命令,令左手手柄或者右手手柄的紅外光源熄滅特定數(shù)量的幀數(shù),例如,令左手手柄連續(xù)熄滅三幀,左手手柄的紅外光源會(huì)熄滅25ms左右的時(shí)間(8.33ms*3=24.99ms),而此期間右手手柄的紅外光源一直保證正常閃爍。通過(guò)雙目紅外攝像頭模組拍攝到的圖片,VR頭戴設(shè)備1可以區(qū)分左手手柄和右手手柄。
上述第二種方式和第三種方式?jīng)]有使用限制,適用于左手手柄的發(fā)光點(diǎn)和右手手柄的發(fā)光點(diǎn)的數(shù)目和/或排列形狀分別相同或不同的情況下。
在一個(gè)實(shí)施例中,雙目紅外攝像頭模組20分別和左手手柄4、右手手柄3建立250Hz的數(shù)據(jù)傳輸通道,每隔4ms向左手手柄和右手手柄請(qǐng)求手柄狀態(tài)數(shù)據(jù),其中,手柄狀態(tài)數(shù)據(jù)包括手柄的空間姿態(tài)信息,如果雙目紅外攝像頭模組20沒(méi)有收到某個(gè)手柄的手柄狀態(tài)數(shù)據(jù),則在2ms內(nèi)再次向該手柄發(fā)送請(qǐng)求。
在一個(gè)實(shí)施例中,雙目紅外攝像頭模組和手柄之間為250Hz的數(shù)據(jù)傳輸通道,數(shù)據(jù)載荷為10字節(jié),其中,首字節(jié)和末字節(jié)用于校驗(yàn),第1-第5字節(jié)用于傳輸同步信號(hào),VR頭戴設(shè)備1可以利用第6-9字節(jié)來(lái)傳輸手柄控制命令,例如前述控制手柄進(jìn)行震動(dòng)的命令,手柄狀態(tài)數(shù)據(jù)上傳命令、控制左右手柄按照奇偶幀分別進(jìn)行閃爍的命令,控制左手熄滅特定數(shù)目的幀數(shù)的命令等等。
本發(fā)明的手柄位置追蹤方案,在VR頭戴設(shè)備上設(shè)置用于追蹤的雙目紅外攝像頭,在手柄上設(shè)置用于被追蹤的紅外光源,通過(guò)手柄和頭戴設(shè)備的空間姿態(tài)信息和紅外圖片信息計(jì)算二者的相對(duì)位置關(guān)系,根據(jù)頭戴設(shè)備的空間位置和二者的相對(duì)位置關(guān)系確定手柄的空間位置。本發(fā)明的手柄位置追蹤方案,對(duì)外界環(huán)境沒(méi)有要求,更適合于移動(dòng)虛擬現(xiàn)實(shí)應(yīng)用。
通過(guò)本發(fā)明的手柄位置追蹤方案,可以確定手柄的空間位置,結(jié)合手柄的空間姿態(tài)信息,實(shí)現(xiàn)了由內(nèi)而外的對(duì)手柄的六個(gè)自由度的追蹤。
基于同樣的發(fā)明構(gòu)思,本發(fā)明實(shí)施例提供了一種與VR頭戴設(shè)備配套的手柄的位置追蹤方法,所述手柄的外殼上設(shè)有紅外光源,所述VR頭戴設(shè)備設(shè)有用于拍攝所述紅外光源的雙目紅外攝像頭,所述紅外光源具有一個(gè)或多個(gè)發(fā)光點(diǎn);所述方法包括以下步驟:
分別測(cè)量所述手柄和所述VR頭戴設(shè)備的空間姿態(tài);
根據(jù)所述手柄的空間姿態(tài)信息、所述VR頭戴設(shè)備的空間姿態(tài)信息、以及所述雙目紅外攝像頭拍攝到的圖片信息計(jì)算所述手柄與所述VR頭戴設(shè)備的相對(duì)位置關(guān)系;以及,
根據(jù)所述VR頭戴設(shè)備的空間位置和所述手柄與所述VR頭戴設(shè)備的相對(duì)位置關(guān)系確定所述手柄的空間位置。
可選地,所述手柄包括左手手柄和右手手柄,所述左手手柄和所述右手手柄的紅外光源分別具有多個(gè)發(fā)光點(diǎn),所述左手手柄和所述右手手柄的發(fā)光點(diǎn)的數(shù)目和排列形狀分別相同或不同。
可選地,所述手柄根據(jù)所述雙目紅外攝像頭的同步信號(hào)在所述雙目紅外攝像頭的曝光期點(diǎn)亮所述紅外光源。
可選地,所述手柄包括左手手柄和右手手柄;
所述VR頭戴設(shè)備控制所述左手手柄的紅外光源和所述右手手柄的紅外光源按照奇偶幀交替點(diǎn)亮,根據(jù)此期間內(nèi)所述雙目紅外攝像頭拍攝到的圖片信息區(qū)分所述左手手柄和右手手柄;或者,
所述VR頭戴設(shè)備控制所述左手手柄的紅外光源或所述右手手柄的紅外光源熄滅特定數(shù)目的幀數(shù),根據(jù)此期間內(nèi)所述雙目紅外攝像頭拍攝到的圖片信息區(qū)分所述左手手柄和右手手柄。
基于同樣的發(fā)明構(gòu)思,本發(fā)明實(shí)施例還提供了一種與VR頭戴設(shè)備配套的手柄的位置追蹤系統(tǒng),所述系統(tǒng)包括設(shè)置于所述手柄的外殼上的紅外光源,設(shè)置于所述VR頭戴設(shè)備上的雙目紅外攝像頭;
所述系統(tǒng)還包括設(shè)置于所述VR頭戴設(shè)備上的第一IMU單元和手柄位置計(jì)算模塊,以及設(shè)置于所述手柄上的第二IMU單元;
所述第一IMU單元,用于測(cè)量所述VR頭戴設(shè)備的空間姿態(tài);
所述第二IMU單元,用于測(cè)量所述手柄的空間姿態(tài);
所述雙目紅外攝像頭,用于拍攝所述紅外光源;
所述手柄位置計(jì)算模塊,用于根據(jù)所述手柄的空間姿態(tài)信息、所述VR頭戴設(shè)備的空間姿態(tài)信息、以及所述雙目紅外攝像頭拍攝到的圖片信息計(jì)算所述手柄與所述VR頭戴設(shè)備的相對(duì)位置關(guān)系;以及,根據(jù)所述VR頭戴設(shè)備的空間位置和所述手柄與所述VR頭戴設(shè)備的相對(duì)位置關(guān)系確定所述手柄的空間位置。
可選地,所述手柄包括左手手柄和右手手柄,所述左手手柄和所述右手手柄的紅外光源分別具有多個(gè)發(fā)光點(diǎn),所述左手手柄和所述右手手柄的發(fā)光點(diǎn)的數(shù)目和排列形狀分別相同或不同。
可選地,所述手柄還包括紅外光源控制模塊,所述紅外光源控制模塊根據(jù)所述雙目紅外攝像頭的同步信號(hào)在所述雙目紅外攝像頭的曝光期點(diǎn)亮所述紅外光源。
基于同樣的發(fā)明構(gòu)思,本發(fā)明實(shí)施例提供了一種與VR頭戴設(shè)備配套的手柄,所述手柄包括IMU單元和無(wú)線通信模塊,所述手柄的外殼上設(shè)有用于被追蹤的紅外光源;
所述IMU單元,用于測(cè)量所述手柄的空間姿態(tài);
所述無(wú)線通信模塊,用于將所述手柄的空間姿態(tài)信息發(fā)送給所述VR頭戴設(shè)備。
可選地,所述手柄包括左手手柄和右手手柄,所述左手手柄和所述右手手柄的紅外光源分別具有多個(gè)發(fā)光點(diǎn),所述左手手柄和所述右手手柄的發(fā)光點(diǎn)的數(shù)目和排列形狀分別相同或不同。
基于同樣的發(fā)明構(gòu)思,本發(fā)明實(shí)施例提供了一種與手柄配套的VR頭戴設(shè)備,所述VR頭戴設(shè)備包括VR頭戴設(shè)備主體和雙目紅外攝像頭模組;
所述VR頭戴設(shè)備主體包括IMU單元和手柄位置計(jì)算模塊,所述雙目紅外攝像頭模組包括無(wú)線通信模塊;
所述IMU單元,用于測(cè)量所述VR頭戴設(shè)備的空間姿態(tài);
所述雙目紅外攝像頭模組,用于拍攝所述手柄的外殼上的紅外光源,以及通過(guò)所述無(wú)線通信模塊接收所述手柄的空間姿態(tài)信息;
所述手柄位置計(jì)算模塊,用于根據(jù)所述手柄的空間姿態(tài)信息、所述VR頭戴設(shè)備的空間姿態(tài)信息、以及所述雙目紅外攝像頭模組拍攝到的圖片信息計(jì)算所述手柄與所述VR頭戴設(shè)備的相對(duì)位置關(guān)系;以及,根據(jù)所述VR頭戴設(shè)備的空間位置和所述手柄與所述VR頭戴設(shè)備的相對(duì)位置關(guān)系確定所述手柄的空間位置。
可選地,,所述VR頭戴設(shè)備主體和所述雙目紅外攝像頭模組之間通過(guò)MIPI/USB總線傳輸所述雙目紅外攝像頭模組拍攝到的圖片信息;
可選地,,所述VR頭戴設(shè)備主體和所述雙目紅外攝像頭模組之間SPI/UART/USB總線傳輸所述手柄的空間姿態(tài)信息和手柄控制命令。
可選地,所述雙目紅外攝像頭模組通過(guò)所述無(wú)線通信模塊向所述手柄發(fā)送手柄控制命令。
基于同樣的發(fā)明構(gòu)思,本發(fā)明實(shí)施例提供了一種VR設(shè)備,包括根據(jù)前述任一項(xiàng)所述的手柄和前述任一項(xiàng)所述的VR頭戴設(shè)備。
以上所述僅為本發(fā)明的優(yōu)選實(shí)施例而已,并不用于限制本發(fā)明,對(duì)于本領(lǐng)域的技術(shù)人員來(lái)說(shuō),本發(fā)明可以有各種更改和變化。凡在本發(fā)明的精神和原則之內(nèi),所作的任何修改、等同替換、改進(jìn)等,均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。應(yīng)注意到:相似的標(biāo)號(hào)和字母在下面的附圖中表示類(lèi)似項(xiàng),因此,一旦某一項(xiàng)在一個(gè)附圖中被定義,則在隨后的附圖中不需要對(duì)其進(jìn)行進(jìn)一步定義和解釋。