說明性的實(shí)施例總體上涉及用于在車內(nèi)環(huán)境中使用的不依賴于方向的空中手勢(shì)檢測(cè)服務(wù)。
背景技術(shù):
空中手勢(shì)是指通過用戶在空中做出動(dòng)作而執(zhí)行的裝置控制功能。實(shí)現(xiàn)空中手勢(shì)的一個(gè)挑戰(zhàn)是建立適當(dāng)?shù)南鄬?duì)于用戶的參考系。盡管裝置(諸如電話或可穿戴裝置)能夠確定磁場(chǎng)北極的位置和重力的方向,但是確定裝置用戶正面對(duì)什么方向以正確地解釋空中手勢(shì)是更困難的。針對(duì)這個(gè)原因,當(dāng)前的手勢(shì)檢測(cè)實(shí)施方式可能要求裝置處于特定方向或者在每個(gè)會(huì)話之前執(zhí)行校準(zhǔn),以準(zhǔn)確地檢測(cè)空中手勢(shì)。
技術(shù)實(shí)現(xiàn)要素:
在第一說明性實(shí)施例中,一種系統(tǒng)包括:車輛傳感器,指示航向角;多個(gè)座椅區(qū)域,分別包括指示座椅角度的方向傳感器;位于所述座椅區(qū)域中的一個(gè)座椅區(qū)域內(nèi)的組件,所述組件被配置為:提供描述適用于所述一個(gè)座椅區(qū)域的命令和相關(guān)的空中手勢(shì)的界面信息。所述組件還被配置為:響應(yīng)于個(gè)人裝置檢測(cè)到對(duì)應(yīng)的空中手勢(shì),考慮所述航向角和所述座椅角度,執(zhí)行所述命令中的一個(gè)。
在第二說明性實(shí)施例中,一種方法包括:調(diào)整來自個(gè)人裝置的手勢(shì)輸入,以使用所述個(gè)人裝置的方向、相對(duì)于磁場(chǎng)北極的車輛航向以及針對(duì)所述個(gè)人裝置所在的座椅區(qū)域的方向角來創(chuàng)建所述座椅區(qū)域中的車內(nèi)組件的參考系中的加速度數(shù)據(jù)。當(dāng)所述加速度數(shù)據(jù)與空中手勢(shì)庫(kù)中的空中手勢(shì)匹配時(shí),所述方法包括:向所述組件發(fā)送與匹配的空中手勢(shì)對(duì)應(yīng)的命令。
在第三說明性實(shí)施例中,一種系統(tǒng)包括:處理器、加速度傳感器、方向傳感器、無(wú)線收發(fā)器、以及存儲(chǔ)手勢(shì)檢測(cè)服務(wù)的存儲(chǔ)器。所述手勢(shì)檢測(cè)服務(wù)包括當(dāng)被所述處理器執(zhí)行時(shí)使得所述處理器執(zhí)行以下操作的指令:根據(jù)來自所述加速度傳感器和所述方向傳感器的數(shù)據(jù)來檢測(cè)車輛的乘員執(zhí)行的空中手勢(shì)。一種應(yīng)用包括當(dāng)被所述處理器執(zhí)行時(shí)使得所述處理器執(zhí)行以下操作的指令:使用所述無(wú)線收發(fā)器從車輛組件接收描述命令和針對(duì)所述命令的對(duì)應(yīng)的空中手勢(shì)的界面信息;利用所述手勢(shì)檢測(cè)服務(wù)來確定所述空中手勢(shì)何時(shí)被執(zhí)行;響應(yīng)于所述手勢(shì)檢測(cè)服務(wù)確定針對(duì)所述命令中的一個(gè)命令的對(duì)應(yīng)的空中手勢(shì)被執(zhí)行,使用無(wú)線收發(fā)器向所述車輛組件發(fā)送所述命令中的所述一個(gè)命令。
附圖說明
圖1a示出了包括具有車內(nèi)組件的網(wǎng)格(mesh)的車輛的示例系統(tǒng),所述車內(nèi)組件的網(wǎng)格被配置為定位用戶及用戶的個(gè)人裝置并與用戶及用戶的個(gè)人裝置進(jìn)行交互;
圖1b示出了配備有無(wú)線收發(fā)器的示例車內(nèi)組件,所述無(wú)線收發(fā)器被配置為便于檢測(cè)個(gè)人裝置并識(shí)別個(gè)人裝置的接近;
圖1c示出了從車輛的其它車內(nèi)組件請(qǐng)求信號(hào)強(qiáng)度的示例車內(nèi)組件;
圖2a至圖2c示出了具有不同的座椅布置的車輛的示例;
圖3示出了用于收集手勢(shì)數(shù)據(jù)并將所述數(shù)據(jù)歸一化到用戶方向參考系的示例處理;
圖4示出了來自個(gè)人裝置的x、y和z加速度數(shù)據(jù)的示例軌跡;
圖5a和圖5b示出了存儲(chǔ)的空中手勢(shì)的示例庫(kù);
圖6示出了執(zhí)行的空中手勢(shì)與空中手勢(shì)庫(kù)的k-均值匹配的示例;
圖7示出了用于通過手勢(shì)檢測(cè)服務(wù)檢測(cè)空中手勢(shì)的示例處理。
具體實(shí)施方式
根據(jù)需要,在此公開本發(fā)明的詳細(xì)實(shí)施例;然而,將理解的是,所公開的實(shí)施例僅是本發(fā)明的示例,其中,本發(fā)明可以以各種可替代形式來實(shí)現(xiàn)。附圖無(wú)需按比例繪制;一些特征可被夸大或最小化以示出特定組件的細(xì)節(jié)。因此,在此公開的具體結(jié)構(gòu)和功能細(xì)節(jié)不應(yīng)被解釋為具有限制性,而僅作為用于教導(dǎo)本領(lǐng)域技術(shù)人員以多種形式利用本發(fā)明的代表性基礎(chǔ)。
空中手勢(shì)是指通過用戶在空中做出動(dòng)作而執(zhí)行的裝置控制功能。許多手勢(shì)輸入系統(tǒng)使用固定在與重力和磁場(chǎng)北極相關(guān)的位置的傳感器,使得一旦在會(huì)話中向北和向下校準(zhǔn),則校準(zhǔn)不需要進(jìn)一步調(diào)整。然而,固定的初始校準(zhǔn)可能需要調(diào)整以用于在車輛環(huán)境中使用。在示例中,車輛的航向可隨著車輛移動(dòng)而改變,或者用戶的方向可隨著車輛座椅沿著相對(duì)于車輛的方向旋轉(zhuǎn)而改變。為了在這種環(huán)境中捕獲手勢(shì),手勢(shì)檢測(cè)器可執(zhí)行調(diào)整,所述調(diào)整用于相對(duì)于初始校準(zhǔn)適當(dāng)?shù)貙?duì)手勢(shì)重新定向(reoient)。
手勢(shì)檢測(cè)器可被配置為檢測(cè)由車輛乘員使用他們的電話(或其它個(gè)人裝置)執(zhí)行的用于控制車輛功能的空中手勢(shì)??墒褂藐P(guān)于重力和磁北的坐標(biāo)來識(shí)別空中手勢(shì),并隨后由手勢(shì)檢測(cè)器將空中手勢(shì)相對(duì)于車輛和車輛內(nèi)的用戶的座椅的方向進(jìn)行歸一化。因此,手勢(shì)檢測(cè)器可隨著車輛移動(dòng)或者隨著車輛座椅沿著車輛的方向旋轉(zhuǎn)來捕獲空中手勢(shì),并可執(zhí)行調(diào)整以適當(dāng)?shù)貙?duì)手勢(shì)重新定向。本公開的進(jìn)一步的方面在以下詳細(xì)描述。
圖1a示出了包括具有車內(nèi)組件106的網(wǎng)格的車輛102的示例系統(tǒng)100-a,所述車內(nèi)組件106的網(wǎng)格被配置為定位用戶及用戶的個(gè)人裝置104并與用戶及用戶的個(gè)人裝置104進(jìn)行交互。系統(tǒng)100-a可被配置為允許用戶(諸如車輛乘員)與車輛102中的車內(nèi)組件106進(jìn)行無(wú)縫交互或者與任何其它啟用架構(gòu)的車輛102進(jìn)行無(wú)縫交互。此外,該交互可在不需要個(gè)人裝置104已經(jīng)與車輛102的主機(jī)單元或其它集中式計(jì)算平臺(tái)配對(duì)或通信的情況下被執(zhí)行。
車輛102可包括各種類型的機(jī)動(dòng)車,諸如跨界多用途車輛(cuv)、運(yùn)動(dòng)型多用途車輛(suv)、卡車、休旅車(rv)、船、飛機(jī)或用于運(yùn)輸人或貨物的其它移動(dòng)機(jī)器。在許多情況下,車輛102可由內(nèi)燃發(fā)動(dòng)機(jī)來驅(qū)動(dòng)。作為另一種可能性,車輛102可以是由內(nèi)燃發(fā)動(dòng)機(jī)和一個(gè)或更多個(gè)電動(dòng)馬達(dá)兩者來驅(qū)動(dòng)的混合動(dòng)力電動(dòng)車輛(hev),諸如串聯(lián)式混合動(dòng)力電動(dòng)車輛(shev)、并聯(lián)式混合動(dòng)力電動(dòng)車輛(phev)或并聯(lián)/串聯(lián)式混合動(dòng)力電動(dòng)車輛(pshev)。由于車輛102的類型和配置可能有所不同,所以車輛102的功能可能相應(yīng)地有所不同。作為一些其它可能性,車輛102可針對(duì)載客量、牽引能力和容量以及儲(chǔ)存容量而具有不同的性能。
個(gè)人裝置104-a、104-b和104-c(統(tǒng)稱為104)可包括用戶的移動(dòng)裝置和/或用戶的可穿戴裝置。移動(dòng)裝置可以是任何不同類型的便攜式計(jì)算裝置,諸如蜂窩電話、平板計(jì)算機(jī)、智能手表、膝上型計(jì)算機(jī)、便攜式音樂播放器或能夠與其它移動(dòng)裝置聯(lián)網(wǎng)通信的其它裝置。作為一些非限制性示例,可穿戴裝置可包括智能手表、智能眼鏡、健身手環(huán)、控制環(huán)或被設(shè)計(jì)為被穿戴并與用戶的移動(dòng)裝置進(jìn)行通信的其它個(gè)人移動(dòng)裝置或附屬裝置。
車內(nèi)組件106-a至106-n(統(tǒng)稱為106)可包括具有用戶可配置的設(shè)置的車輛102的各種元件。作為一些示例,這些車內(nèi)組件106可包括頂燈車內(nèi)組件106-a至106-d、氣候控制車內(nèi)組件106-e和106-f、座椅控制車內(nèi)組件106-g至106-j以及揚(yáng)聲器車內(nèi)組件106-k至106-n。車內(nèi)組件106的其它示例(諸如,后排座椅娛樂屏幕或自動(dòng)車窗遮光件)也是可能的。在許多情況下,車內(nèi)組件106可提供(expose)可被用戶使用以配置車內(nèi)組件106的特定設(shè)置的控制件(諸如按鈕、滑塊和觸摸屏)。作為一些可能性,車內(nèi)組件106的控制件可允許用戶設(shè)置燈光控制件的照明度、設(shè)置氣候控制件的溫度、設(shè)置揚(yáng)聲器的音量和音頻源以及設(shè)置座椅的位置。
車輛102的內(nèi)部可被劃分為多個(gè)區(qū)域108,其中,每個(gè)區(qū)域108可與車輛102內(nèi)部中的座椅位置進(jìn)行關(guān)聯(lián)。例如,示出的車輛102的前排可包括與駕駛員座椅位置關(guān)聯(lián)的第一區(qū)域108-a以及與前排乘客座椅位置關(guān)聯(lián)的第二區(qū)域108-b。示出的車輛102的第二排可包括與駕駛員側(cè)的后排座椅位置關(guān)聯(lián)的第三區(qū)域108-c以及與乘客側(cè)的后排座椅位置關(guān)聯(lián)的第四區(qū)域108-d。在區(qū)域108的數(shù)量和布置上進(jìn)行變型是可能的。例如,另一種第二排可包括第二排中間座椅位置的額外的第五區(qū)域108(未示出)。四個(gè)乘員被示出為正位于示例車輛102的內(nèi)部,其中的三個(gè)人正在使用個(gè)人裝置104。位于區(qū)域108-a中的駕駛員乘員沒有在使用個(gè)人裝置104。位于區(qū)域108-b中的前排乘客乘員正在使用個(gè)人裝置104-a。位于區(qū)域108-c中的后排駕駛員側(cè)的乘客乘員正在使用個(gè)人裝置104-b。位于區(qū)域108-d中的后排乘客側(cè)的乘客乘員正在使用個(gè)人裝置104-c。
存在于車輛102內(nèi)部中的每個(gè)不同的車內(nèi)組件106可與一個(gè)或更多個(gè)區(qū)域108關(guān)聯(lián)。作為一些示例,車內(nèi)組件106可與各個(gè)車內(nèi)組件106所在的區(qū)域108關(guān)聯(lián)和/或與各個(gè)車內(nèi)組件106所控制的一個(gè)(或更多個(gè))區(qū)域108關(guān)聯(lián)。例如,可供前排乘客使用的燈光車內(nèi)組件106-c可與第二區(qū)域108-b關(guān)聯(lián),而可供后排乘客側(cè)的乘員使用的燈光車內(nèi)組件106-d可與第四區(qū)域108-d關(guān)聯(lián)。應(yīng)注意的是,在圖1a中示出的車輛102的一部分僅是示例,并且可使用更多、更少和/或位于不同位置的車內(nèi)組件106和區(qū)域108。
參照?qǐng)D1b,每個(gè)車內(nèi)組件106可配備有無(wú)線收發(fā)器110,無(wú)線收發(fā)器110被配置為便于檢測(cè)個(gè)人裝置104和識(shí)別個(gè)人裝置104的接近。在示例中,無(wú)線收發(fā)器110可包括用于確定個(gè)人裝置104的接近的無(wú)線裝置,諸如被配置為啟用低功耗藍(lán)牙信號(hào)強(qiáng)度作為定位器的藍(lán)牙低功耗收發(fā)器。在示例中,通過無(wú)線收發(fā)器110檢測(cè)個(gè)人裝置104的接近可使得檢測(cè)到的個(gè)人裝置104的車輛組件界面應(yīng)用118被激活。
在許多示例中,個(gè)人裝置104可包括被配置為與其它可兼容的裝置進(jìn)行通信的無(wú)線收發(fā)器112(例如,藍(lán)牙模塊、zigbee收發(fā)器、wi-fi收發(fā)器、irda收發(fā)器、rfid收發(fā)器等)。在示例中,個(gè)人裝置104的無(wú)線收發(fā)器112可通過無(wú)線連接114與車內(nèi)組件106的無(wú)線收發(fā)器110進(jìn)行數(shù)據(jù)通信。在另一示例中,可穿戴的個(gè)人裝置104的無(wú)線收發(fā)器112可通過無(wú)線連接114與移動(dòng)個(gè)人裝置104的無(wú)線收發(fā)器112進(jìn)行數(shù)據(jù)通信。無(wú)線連接114可以是藍(lán)牙低功耗(ble)連接,但也可以利用諸如wi-fi或zigbee的其它類型的局域無(wú)線連接114。
個(gè)人裝置104還可包括被配置為便于個(gè)人裝置104通過通信網(wǎng)絡(luò)與其它裝置進(jìn)行通信的裝置調(diào)制解調(diào)器。通信網(wǎng)絡(luò)可向連接至通信網(wǎng)絡(luò)的裝置提供諸如分組交換網(wǎng)絡(luò)服務(wù)(例如,互聯(lián)網(wǎng)接入、voip通信服務(wù))的通信服務(wù)。通信網(wǎng)絡(luò)的示例可包括蜂窩電話網(wǎng)絡(luò)。為了便于通過通信網(wǎng)絡(luò)進(jìn)行通信,可將個(gè)人裝置104與唯一裝置標(biāo)識(shí)符(例如,移動(dòng)裝置號(hào)碼(mdn)、互聯(lián)網(wǎng)協(xié)議(ip)地址、裝置調(diào)制解調(diào)器的標(biāo)識(shí)符等)關(guān)聯(lián),以識(shí)別個(gè)人裝置104通過通信網(wǎng)絡(luò)的通信。這些個(gè)人裝置104的標(biāo)識(shí)符還可被車內(nèi)組件106使用以識(shí)別個(gè)人裝置104。
車輛組件界面應(yīng)用118可以是安裝至個(gè)人裝置104的應(yīng)用。車輛組件界面應(yīng)用118可被配置為便于車輛乘員經(jīng)由無(wú)線收發(fā)器110訪問被開放給網(wǎng)絡(luò)配置的車內(nèi)組件106的功能。在一些情況下,車輛組件界面應(yīng)用118可被配置為:識(shí)別可用的車內(nèi)組件106,識(shí)別所識(shí)別的車內(nèi)組件106的可用功能和當(dāng)前設(shè)置,并且確定可用的車內(nèi)組件106中的哪一個(gè)在車輛乘員的附近(例如,在與個(gè)人裝置104的位置相同的區(qū)域108中)。車輛組件界面應(yīng)用118還可被配置為:顯示描述可用功能的用戶界面,接收用戶輸入,并且基于用戶輸入提供命令以允許用戶控制車內(nèi)組件106的功能。因此,系統(tǒng)100-b可被配置為:在不需要個(gè)人裝置104已經(jīng)與車輛102的主機(jī)單元配對(duì)或與車輛102的主機(jī)單元進(jìn)行通信的情況下,允許車輛乘員與車輛102中的車內(nèi)組件106進(jìn)行無(wú)縫交互。
每個(gè)車內(nèi)組件106還可配備有通知裝置120,通知裝置120被配置為便于車輛102的乘員識(shí)別車內(nèi)組件106在車輛102中的物理位置。在示例中,通知裝置120可以是車內(nèi)組件106的背光燈。在另一示例中,通知裝置120可利用車內(nèi)組件106的控制件集合中的控制件的其它功能(諸如車內(nèi)組件106的現(xiàn)有的燈光元件)來執(zhí)行通知。在進(jìn)一步的示例中,通知裝置120可利用從車內(nèi)組件106發(fā)出的鳴響或其它聲音來幫助定位車內(nèi)組件106。在進(jìn)一步的示例中,通知裝置120可利用觸覺反饋裝置或觸感反饋裝置來向用戶(例如,向用戶的手)提供車內(nèi)組件106的特定位置的物理指示。還應(yīng)注意,這些方式可被組合,并且通知裝置120可執(zhí)行比上述通知或其它通知中的一個(gè)更多的通知。
系統(tǒng)100-b可使用一種或更多種裝置位置追蹤技術(shù)來識(shí)別個(gè)人裝置104所在的區(qū)域108。位置追蹤技術(shù)可根據(jù)估計(jì)是基于接近度(proximity)、角度(angulation)還是最小二乘法(lateration)來分類。接近度方法是“粗略的”,并可提供關(guān)于目標(biāo)是否在預(yù)定義范圍內(nèi)的信息,但這樣的方法不提供目標(biāo)的精確位置。角度方法根據(jù)目標(biāo)和參考位置之間的角度來估計(jì)目標(biāo)的位置。最小二乘法提供對(duì)目標(biāo)位置的估計(jì),對(duì)目標(biāo)位置的估計(jì)從目標(biāo)和參考位置之間的可用距離開始。目標(biāo)與參考位置之間的距離可從車內(nèi)組件106的無(wú)線收發(fā)器110和個(gè)人裝置104的無(wú)線收發(fā)器112之間的無(wú)線連接114上的信號(hào)強(qiáng)度116的測(cè)量值獲得,或者從到達(dá)時(shí)間(toa)或到達(dá)時(shí)間差(tdoa)的時(shí)間測(cè)量值獲得。
使用信號(hào)強(qiáng)度116的最小二乘法的優(yōu)點(diǎn)之一在于:最小二乘法可利用現(xiàn)有的可用于許多通信協(xié)議的接收信號(hào)強(qiáng)度指示(receivedsignalstrengthindication,rssi)的信號(hào)強(qiáng)度116的信息。例如,ibeacon使用可用于藍(lán)牙低功耗(ble)協(xié)議的rssi信號(hào)強(qiáng)度116的信息來推斷信標(biāo)與個(gè)人裝置104(即,目標(biāo))之間的距離,使得特定的事件可在個(gè)人裝置104接近信標(biāo)時(shí)被觸發(fā)。其它實(shí)施方式在該構(gòu)思上擴(kuò)展,所述其它實(shí)施方式利用多個(gè)參考位置來估計(jì)目標(biāo)的位置。當(dāng)與三個(gè)參考信標(biāo)之間的距離是已知時(shí),可通過下面的公式來全面(三邊測(cè)量)估計(jì)位置:
在示例中,如圖1c中的示例100-c所示出的,車內(nèi)組件106-b可向車輛102的其它車內(nèi)組件106-a和106-c廣播對(duì)信號(hào)強(qiáng)度116的請(qǐng)求或者以其它方式向車輛102的其它車內(nèi)組件106-a和106-c發(fā)送對(duì)信號(hào)強(qiáng)度116的請(qǐng)求。該請(qǐng)求可使得其它車內(nèi)組件106-a和106-c返回由其各自的無(wú)線收發(fā)器110針對(duì)它們檢測(cè)到的任何裝置而識(shí)別的無(wú)線信號(hào)強(qiáng)度116的數(shù)據(jù)(例如,由無(wú)線收發(fā)器110-a識(shí)別的個(gè)人裝置104的信號(hào)強(qiáng)度116-a,由無(wú)線收發(fā)器110-c識(shí)別的個(gè)人裝置104的信號(hào)強(qiáng)度116-c)。通過使用這些信號(hào)強(qiáng)度116-a和116-c以及由車內(nèi)組件106-b使用其無(wú)線收發(fā)器110-b確定的信號(hào)強(qiáng)度116-b,車內(nèi)組件106-b可使用公式(1)來執(zhí)行三邊測(cè)量并定位個(gè)人裝置104。作為另一種可能性,車內(nèi)組件106可按照如下公式將在車內(nèi)組件106處具有最高信號(hào)強(qiáng)度116的個(gè)人裝置104識(shí)別為在區(qū)域108內(nèi)的個(gè)人裝置104:
因此,車內(nèi)組件106的網(wǎng)格和個(gè)人裝置104可相應(yīng)地被用于允許車內(nèi)組件106識(shí)別每個(gè)個(gè)人裝置104位于哪個(gè)區(qū)域108。
作為在車輛102中定位個(gè)人裝置104的另一種可能性,個(gè)人裝置104對(duì)特定區(qū)域108的每個(gè)車內(nèi)組件106的信號(hào)強(qiáng)度116可被用于確定個(gè)人裝置104是否位于該區(qū)域108內(nèi)。作為在車輛102中定位個(gè)人裝置104的另一種可能性,可利用具有對(duì)稱車輛102車廂的車內(nèi)組件106的對(duì)稱集合來估計(jì)個(gè)人裝置104的位置。
不論使用的特定方法如何,車內(nèi)組件106的網(wǎng)格以及個(gè)人裝置104可被用于允許車內(nèi)組件106識(shí)別每個(gè)個(gè)人裝置104位于哪個(gè)區(qū)域108內(nèi)。由于每個(gè)車內(nèi)組件106還與區(qū)域108關(guān)聯(lián),所以車內(nèi)組件106可相應(yīng)地將要被通知的個(gè)人裝置104識(shí)別為與車內(nèi)組件106關(guān)聯(lián)的相同區(qū)域108關(guān)聯(lián)的個(gè)人裝置104。
作為一種可能性,車內(nèi)組件106可利用從車輛102中的個(gè)人裝置104接收的信號(hào)強(qiáng)度116的數(shù)據(jù)來識(shí)別哪個(gè)個(gè)人裝置104被乘員用于與座椅控制車內(nèi)組件106-h物理交互。例如,識(shí)別在車內(nèi)組件106處具有最高的信號(hào)強(qiáng)度116的個(gè)人裝置104將可能識(shí)別正確的個(gè)人裝置104,例如,按照如下公式識(shí)別正確的個(gè)人裝置104:
返回參照?qǐng)D1a和圖1b,可實(shí)現(xiàn)手勢(shì)檢測(cè)以允許檢測(cè)車輛乘員使用他們的個(gè)人裝置104執(zhí)行的空中手勢(shì)。用戶執(zhí)行的空中手勢(shì)可用于支持車內(nèi)組件106的功能的控制。在一些示例中,空中手勢(shì)的識(shí)別可通過手勢(shì)檢測(cè)服務(wù)122來執(zhí)行。手勢(shì)檢測(cè)服務(wù)122可從加速度傳感器126(例如,三軸加速度傳感器)接收加速度數(shù)據(jù)124,處理加速度數(shù)據(jù)(如以下詳細(xì)討論的),并將經(jīng)處理的加速度數(shù)據(jù)124與空中手勢(shì)的庫(kù)128進(jìn)行比較。如果加速度數(shù)據(jù)124與庫(kù)128中的空中手勢(shì)匹配,則手勢(shì)檢測(cè)服務(wù)122提供指示被執(zhí)行的所識(shí)別的空中手勢(shì)的信息。這可允許檢測(cè)的手勢(shì)信息被發(fā)送回車輛組件界面應(yīng)用118或其它調(diào)用應(yīng)用以用于處理。
為了使手勢(shì)能夠集成到現(xiàn)有的界面中,手勢(shì)檢測(cè)服務(wù)122可作為個(gè)人裝置104的后臺(tái)處理來被執(zhí)行。這種手勢(shì)檢測(cè)服務(wù)122可作為黑盒來被執(zhí)行,并可通過車輛組件界面應(yīng)用118和/或安裝在個(gè)人裝置104上的第三方應(yīng)用來被實(shí)現(xiàn)。例如,這可通過引用(reference)后臺(tái)服務(wù)(例如,安卓/蘋果os)中的意圖(intent)或通過引用(例如,windowsos)附帶的庫(kù)中的功能來被實(shí)現(xiàn)。
一旦實(shí)體化,手勢(shì)檢測(cè)服務(wù)122可向第三方開發(fā)者提供調(diào)試輸出(該調(diào)試輸出可按照需要被啟用/禁用)以根據(jù)需要來適當(dāng)?shù)丶珊蜏y(cè)試他們的手勢(shì)。在與手勢(shì)服務(wù)交互時(shí),用戶可接收個(gè)人裝置104準(zhǔn)備好接受空中手勢(shì)的指示。在示例中,手勢(shì)檢測(cè)服務(wù)122可通過經(jīng)由個(gè)人裝置104的揚(yáng)聲器播放聲音和/或驅(qū)動(dòng)個(gè)人裝置104的觸覺反饋裝置來提供手勢(shì)檢測(cè)服務(wù)122的就緒狀態(tài)的指示,以向用戶傳達(dá)已經(jīng)準(zhǔn)備好識(shí)別空中手勢(shì)。盡管這里的示例按照手勢(shì)檢測(cè)服務(wù)122來描述,但是應(yīng)注意的是,在其它示例中,車輛組件界面應(yīng)用118或其它應(yīng)用可實(shí)現(xiàn)如描述的手勢(shì)檢測(cè)服務(wù)122執(zhí)行的處理的一些或全部。
實(shí)現(xiàn)用于空中手勢(shì)的手勢(shì)檢測(cè)服務(wù)122的挑戰(zhàn)是建立合適的相對(duì)于用戶的用于空中手勢(shì)檢測(cè)的參考系。如圖1b所示,個(gè)人裝置104可包括方向傳感器130(例如,三軸磁力計(jì)傳感器、陀螺儀傳感器)以確定相對(duì)于個(gè)人裝置104的磁場(chǎng)北極134的方向和重力的方向。然而,個(gè)人裝置104在確定持有個(gè)人裝置104的用戶面向什么方向時(shí)可能具有更大困難。因此,手勢(shì)檢測(cè)可能需要個(gè)人裝置104處于特定方向,或者需要在每個(gè)會(huì)話之前執(zhí)行校準(zhǔn),以正確地檢測(cè)空中手勢(shì)。
在示例中,坐在車輛102的第二排的乘客可能希望滑動(dòng)設(shè)置在前排座椅的背部上的屏幕車內(nèi)組件106上顯示的不同的圖片。手勢(shì)檢測(cè)服務(wù)122可相應(yīng)地被配置為識(shí)別從左向右空中手勢(shì)動(dòng)作和從右向左空中手勢(shì)動(dòng)作以通過幻燈片放映前進(jìn)或回溯。此外,手勢(shì)檢測(cè)服務(wù)122可被配置為將向前滑動(dòng)空中手勢(shì)和向后滑動(dòng)空中手勢(shì)識(shí)別為與從左向右空中手勢(shì)動(dòng)作和從右向左空中手勢(shì)動(dòng)作不同的手勢(shì)。
返回參照?qǐng)D1a,車輛航向132可相對(duì)于磁場(chǎng)北極134變化。隨著車輛102沿著路線前進(jìn),車輛航向132相對(duì)于磁場(chǎng)北極134的定位角度(alignmentangle)θ可改變。在示例中,在左轉(zhuǎn)之后,車輛102相對(duì)于磁場(chǎng)北極134的定位角度θ可被調(diào)整90度。車輛可包括車輛羅盤傳感器136(例如,三軸磁力計(jì)傳感器)以提供關(guān)于當(dāng)前車輛102相對(duì)于磁場(chǎng)北極134的定位角度θ的信息。如果在轉(zhuǎn)彎之前執(zhí)行磁場(chǎng)北極134的初始校準(zhǔn),如果不對(duì)校準(zhǔn)進(jìn)行調(diào)整,則在轉(zhuǎn)彎之后做出的從左向右的空中手勢(shì)動(dòng)作可能被不正確地映射為向前的空中手勢(shì)動(dòng)作。
圖2a至圖2c示出了具有不同的座椅布置200的車輛102的示例。通常,車輛102中的座椅布置相對(duì)于車輛航向132在座椅區(qū)域108方向上可具有可變性。一些車輛102(諸如在圖2a中示出的)具有可包括在面朝車輛102的中心的側(cè)部的乘客排的座椅區(qū)域108。如果手勢(shì)檢測(cè)服務(wù)122假定每個(gè)車輛102乘員為了手勢(shì)檢測(cè)的目的而面朝前方,則相對(duì)于屬于車輛102的右側(cè)的乘客的個(gè)人裝置104的空中手勢(shì)檢測(cè)可相對(duì)于由屬于車輛102的左側(cè)的乘客的個(gè)人裝置104估計(jì)的空中手勢(shì)解釋為相反的動(dòng)作,其中,兩者均與屬于駕駛員的個(gè)人裝置104的動(dòng)作估計(jì)正交(orthogonal)。其它車輛102(諸如在圖2c中示出的)可具有面向車輛102后部的座椅。其它車輛102還可包括具有可調(diào)節(jié)方向的座椅區(qū)域108。例如,車輛102可具有可從面向前方(如圖2b所示)旋轉(zhuǎn)到面向后方(如圖2c所示)的座椅區(qū)域108。
為了建立合適的相對(duì)于用戶的參考系,每個(gè)座椅區(qū)域108可包括提供與座椅區(qū)域108的方向相關(guān)的局部方向的方向模塊202。方向模塊202可被實(shí)現(xiàn)為各自的座椅區(qū)域108內(nèi)的車內(nèi)組件106以能夠確定哪個(gè)個(gè)人裝置104位于車輛102的哪個(gè)乘坐區(qū)域108中。在示例中,方向模塊202可包括被配置為提供座椅區(qū)域108的方向相對(duì)于車輛102的航向的偏移的角度或其它指示的傳感器。從方向模塊202接收的關(guān)于座椅區(qū)域108的方向的信息可被稱作座椅相對(duì)方向參數(shù)αseat。
更詳細(xì)地參照?qǐng)D2a,示例的座椅布置200-a包括六個(gè)座椅區(qū)域108。這些座椅區(qū)域108包括與前排駕駛員座椅位置關(guān)聯(lián)的第一區(qū)域108-a、與前排乘客座椅位置關(guān)聯(lián)的第二區(qū)域108-b、與第二排駕駛員側(cè)座椅位置關(guān)聯(lián)的第三區(qū)域108-c、與第二排乘客側(cè)座椅位置關(guān)聯(lián)的第四區(qū)域108-d、與第三排駕駛員側(cè)座椅位置關(guān)聯(lián)的第五區(qū)域108-e以及與第三排乘客側(cè)座椅位置關(guān)聯(lián)的第六區(qū)域108-f。每個(gè)座椅區(qū)域108包括方向模塊202,用戶的個(gè)人裝置104可從該方向模塊202中獲得各自的座椅區(qū)域108的方向偏移。例如,座椅區(qū)域108-a中的方向模塊202-a和座椅區(qū)域108-b中的方向模塊202-b均可指示各自的區(qū)域108與車輛航向132沒有偏移的αseat;座椅區(qū)域108-c中的方向模塊202-c和座椅區(qū)域108-e中的方向模塊202-e均可指示各自的區(qū)域108與車輛航向132的順時(shí)針方向的90度的αseat,座椅區(qū)域108-d中的方向模塊202-d和座椅區(qū)域108-f中的方向模塊202-f均可指示各自的區(qū)域108與車輛航向132的逆時(shí)針方向的90度的αseat。
更詳細(xì)地參照?qǐng)D2b,示例的座椅布置200-b包括四個(gè)座椅區(qū)域108。這些座椅區(qū)域108包括與前排駕駛員座椅位置關(guān)聯(lián)的第一區(qū)域108-a、與前排乘客座椅位置關(guān)聯(lián)的第二區(qū)域108-b、與第二排駕駛員側(cè)座椅位置關(guān)聯(lián)的第三區(qū)域108-c以及與第二排乘客側(cè)座椅位置關(guān)聯(lián)的第四區(qū)域108-d。如所示出的,座椅區(qū)域108-a中的方向模塊202-a、座椅區(qū)域108-b中的方向模塊202-b、座椅區(qū)域108-c中的方向模塊202-c以及座椅區(qū)域108-d中的方向模塊202-d均可指示各自的區(qū)域108與車輛航向132沒有偏移的αseat。
更詳細(xì)地參照?qǐng)D2c,在示例的座椅布置200-c中,座椅區(qū)域108-a和108-b的方向已經(jīng)從它們?cè)谑纠淖尾贾?00-b中的放置位置旋轉(zhuǎn)。因此,座椅區(qū)域108-a中的方向模塊202-a和座椅區(qū)域108-b中的方向模塊202-b均可指示各自的區(qū)域108與車輛航向132偏離180度的αseat,而座椅區(qū)域108-c中的方向模塊202-c和座椅區(qū)域108-d中的方向模塊202-d可繼續(xù)指示各自的區(qū)域108與車輛航向132沒有偏移的αseat。
通過使用來自用戶的當(dāng)前座椅區(qū)域108的方向模塊202的αseat數(shù)據(jù)以及來自車輛羅盤傳感器136的車輛定位角度θ,手勢(shì)檢測(cè)服務(wù)122可調(diào)整從加速度傳感器126和方向傳感器130接收的數(shù)據(jù),以考慮當(dāng)前車輛102的航向和乘坐區(qū)域108相對(duì)于車輛航向132的方向。因此,通過用戶移動(dòng)個(gè)人裝置104接收的空中手勢(shì)輸入可被調(diào)整為相對(duì)于車輛102的車廂保持一致。
圖3示出了用于收集手勢(shì)數(shù)據(jù)并將所述數(shù)據(jù)歸一化到用戶方向參考系的示例處理300。通常,來自加速度傳感器126和方向傳感器130的數(shù)據(jù)被組合以建立個(gè)人裝置104相對(duì)于重力和地球磁北134的方向。(一些個(gè)人裝置104可利用除了加速度傳感器126和方向傳感器130以外的傳感器的不同組合,但針對(duì)本公開的目的,個(gè)人裝置104能夠提供個(gè)人裝置104的方向的當(dāng)前估計(jì))。所述方向可以以方向矩陣的形式提供。因此,初始參考系可根據(jù)具有指向磁北134的y軸、向下指向重力方向的z軸以及指向從y-軸起順時(shí)針繞z軸90度的x軸的方向矩陣數(shù)據(jù)來被建立。車輛羅盤傳感器136可用于確定乘員座椅區(qū)域108相對(duì)于磁場(chǎng)北極134的方向(例如,假定乘員座椅面向車輛102的前方)。使用這種與方向矩陣相結(jié)合的角度偏移,手勢(shì)識(shí)別器可(通過使用角度矩陣公式)操縱傳感器數(shù)據(jù),以從用戶視角提供真實(shí)方向和大小。通過使用方向矩陣來對(duì)接收的傳感器數(shù)據(jù)執(zhí)行調(diào)整,用戶可使用他們的個(gè)人裝置104執(zhí)行空中手勢(shì)動(dòng)作,該個(gè)人裝置104不依賴于車輛102的方向、座椅區(qū)域108的方向和個(gè)人裝置104的方向。因此,車輛102的乘客用戶可針對(duì)特定的任務(wù)以自然且容易使用的方向與個(gè)人裝置104交互。
在操作302,個(gè)人裝置104從個(gè)人裝置104收集旋轉(zhuǎn)向量信息。在示例中,手勢(shì)檢測(cè)服務(wù)122從個(gè)人裝置104的方向傳感器130獲得信息。所述信息可包括例如關(guān)于個(gè)人裝置104的方向的x角度、y角度和z角度。所述信息可允許個(gè)人裝置104識(shí)別例如個(gè)人裝置104是以縱向方向握持還是以橫向方向握持。
在操作304,個(gè)人裝置104將旋轉(zhuǎn)向量轉(zhuǎn)換為旋轉(zhuǎn)矩陣。在示例中,手勢(shì)檢測(cè)服務(wù)122利用在操作302獲得的x角度、y角度和z角度以及基本旋轉(zhuǎn)矩陣來構(gòu)建包含個(gè)人裝置104的x角度、y角度和z角度的旋轉(zhuǎn)矩陣=r[3x3]。
在操作306,個(gè)人裝置104收集加速度數(shù)據(jù)124。在示例中,手勢(shì)檢測(cè)服務(wù)122從個(gè)人裝置104的加速度傳感器126獲得指示正被施加到個(gè)人裝置104上的當(dāng)前加速力的加速度數(shù)據(jù)124。當(dāng)前加速度數(shù)據(jù)124可用于填充(populate)加速度數(shù)據(jù)=a[3x1]。
在操作308,個(gè)人裝置104使用加速度數(shù)據(jù)124調(diào)整旋轉(zhuǎn)矩陣。在示例中,手勢(shì)檢測(cè)服務(wù)122按照如下公式將旋轉(zhuǎn)矩陣乘以加速度數(shù)據(jù)124:(r[3x3]xa[3x1])=n[3x1]。因此,手勢(shì)檢測(cè)服務(wù)122將來自個(gè)人裝置104的參考系的加速度數(shù)據(jù)124變換到由y-磁場(chǎng)北極和z-重力定義的世界參考系中。應(yīng)注意,在一些示例中,z-軸可被定向?yàn)榕c重力場(chǎng)的方向相反。
在操作310,個(gè)人裝置104對(duì)調(diào)整后的旋轉(zhuǎn)矩陣進(jìn)行歸一化,以去除重力的影響。在示例中,手勢(shì)檢測(cè)服務(wù)122將x值計(jì)算為n[1,1]/g;將y值計(jì)算為n[2,1]/g;將z值計(jì)算為((n[3,1]–g)/g),從而產(chǎn)生了力元組f=[x,y,z]。
在操作312,個(gè)人裝置104獲得針對(duì)車輛102的磁場(chǎng)北極角度θ。在示例中,手勢(shì)檢測(cè)服務(wù)122從車輛102的車輛羅盤傳感器136獲得角度θ。作為一種可能性,可從車輛羅盤傳感器136無(wú)線訪問車輛羅盤傳感器136的數(shù)據(jù)。作為另一種可能性,車輛羅盤傳感器136可經(jīng)由個(gè)人裝置104的座椅區(qū)域內(nèi)的車內(nèi)組件106(例如,通過與車輛羅盤傳感器136通信的方向模塊202)被用于手勢(shì)檢測(cè)服務(wù)122。
在操作314,個(gè)人裝置104獲得針對(duì)個(gè)人裝置104的當(dāng)前座椅區(qū)域108的偏移αseat。在示例中,手勢(shì)檢測(cè)服務(wù)122從個(gè)人裝置104的座椅區(qū)域內(nèi)的方向模塊202獲得αseat值。手勢(shì)檢測(cè)服務(wù)122還可執(zhí)行對(duì)磁場(chǎng)北極角度θ與αseat值的求和以創(chuàng)建針對(duì)個(gè)人裝置104的座椅區(qū)域108的總角度偏移at。
在操作316,個(gè)人裝置104計(jì)算個(gè)人裝置104相對(duì)于世界參考系的不依賴于方向的定位數(shù)據(jù)(oi)。在示例中,手勢(shì)檢測(cè)服務(wù)122按照以下等式計(jì)算oi:oi(x)=f[0]*cos(at)+f[1]*sin(at);oi(y)=-f[0]*sin(at)+f[1]*cos(at);oi(z)=f[2]。
在操作318,個(gè)人裝置104保存oi向量以用于處理空中手勢(shì)輸入。oi向量相應(yīng)地表示個(gè)人裝置104在與個(gè)人裝置104所在的座椅區(qū)域108的乘員對(duì)齊的參考系中的加速度。因此,不論個(gè)人裝置104的方向(例如,個(gè)人裝置104的屏幕以橫向模式面對(duì)用戶,屏幕以45度的角度朝下等)、車輛102的方向和座椅配置如何,當(dāng)用戶將移動(dòng)裝置104從左向右移動(dòng)時(shí),手勢(shì)檢測(cè)服務(wù)122可將加速度識(shí)別為在x-軸上。相應(yīng)地,當(dāng)用戶向用戶的前方移動(dòng)移動(dòng)裝置104并隨后朝著用戶返回時(shí),手勢(shì)檢測(cè)服務(wù)122可將加速度識(shí)別為在y-軸上。當(dāng)用戶將個(gè)人裝置104舉到用戶的頭部以上并隨后向用戶的腰部向下放回,手勢(shì)檢測(cè)服務(wù)122可將加速度識(shí)別為在z-軸上。在操作318之后,處理300結(jié)束。
個(gè)人裝置104可在接收到空中手勢(shì)的持續(xù)時(shí)間內(nèi)保存oi向量。例如,處理300可在檢測(cè)到加速度數(shù)據(jù)124從零到至少某一閾值量時(shí)初始化,并且oi向量可被保存直到檢測(cè)到加速度數(shù)據(jù)124返回到閾值量以下為止。
圖4示出了來自個(gè)人裝置104的x、y和z加速度數(shù)據(jù)124的示例軌跡400。在示出的示例中,加速度數(shù)據(jù)124與個(gè)人裝置104的運(yùn)動(dòng)相關(guān),該個(gè)人裝置104以45度角面向下被握持且與真北偏離229度,并從左向右移動(dòng)。示例軌跡400示出了為補(bǔ)償用戶的校準(zhǔn)而歸一化的處理300的示例。旋轉(zhuǎn)向量數(shù)據(jù)和加速計(jì)數(shù)據(jù)被個(gè)人裝置104以足夠高的刷新率(在示出的示例軌跡400中,為50hz)解析以收集足夠數(shù)量的樣本來識(shí)別在加速度數(shù)據(jù)124中執(zhí)行的空中手勢(shì)。
示例軌跡400還示出了用于空中手勢(shì)的分析的進(jìn)入準(zhǔn)則和退出準(zhǔn)則的滿足。空中手勢(shì)可被識(shí)別為當(dāng)滿足進(jìn)入準(zhǔn)則時(shí)(諸如當(dāng)三個(gè)軸(例如x、y或z)中的任意一個(gè)上的加速度超過預(yù)定閾值量時(shí))開始。預(yù)定閾值量可沿著任意方向被設(shè)置為最小加速度量,低于該最小加速度量的來自個(gè)人裝置104的數(shù)據(jù)被認(rèn)為是噪聲且不是手勢(shì)。在示例軌跡400中示出了無(wú)手勢(shì)檢測(cè)范圍402,無(wú)手勢(shì)檢測(cè)范圍402指示落在預(yù)定閾值量?jī)?nèi)的加速度值,其中,低于預(yù)定閾值量的動(dòng)作被忽略。
如示出的,x加速度數(shù)據(jù)124在開始時(shí)間索引404滿足進(jìn)入準(zhǔn)則。當(dāng)滿足退出準(zhǔn)則時(shí),空中手勢(shì)可被識(shí)別為結(jié)束。作為示例,用于執(zhí)行空中手勢(shì)的退出準(zhǔn)則可被定義為在無(wú)手勢(shì)檢測(cè)范圍402內(nèi)的指定數(shù)量的加速度樣本(例如,x、y和z必須是“空閑的”)(即,用戶已經(jīng)停止移動(dòng)他們的個(gè)人裝置104)。如示出的,x加速度數(shù)據(jù)124在退出時(shí)間索引406滿足退出準(zhǔn)則。一旦滿足進(jìn)入準(zhǔn)則(例如,閾值已經(jīng)被正向或負(fù)向地超過),可對(duì)加速度數(shù)據(jù)124樣本執(zhí)行處理300,直到滿足指示空中手勢(shì)已經(jīng)完成的退出準(zhǔn)則(例如,加速度減少到閾值內(nèi))。開始時(shí)間索引404和退出時(shí)間索引406之間的數(shù)據(jù)(例如,時(shí)間窗口408內(nèi)的加速度數(shù)據(jù)124)可被手勢(shì)檢測(cè)服務(wù)122使用用于識(shí)別執(zhí)行的空中手勢(shì)。
應(yīng)注意的是,針對(duì)將要檢測(cè)的手勢(shì)而將要檢測(cè)的最小加速度以便檢測(cè)的手勢(shì)可以是可配置的。例如,使用手勢(shì)檢測(cè)服務(wù)122的應(yīng)用可配置服務(wù)的預(yù)定閾值量的進(jìn)入準(zhǔn)則(例如,當(dāng)加速度超過15m/s2時(shí)開始記錄手勢(shì))。作為另一示例,使用手勢(shì)檢測(cè)服務(wù)122的應(yīng)用可配置空閑樣本的退出準(zhǔn)則數(shù),以便空中手勢(shì)被視為完成(例如,空閑樣本數(shù)=10(~.25秒))。
圖5a和圖5b示出了空中手勢(shì)的示例庫(kù)128。庫(kù)128可包括表示可被手勢(shì)檢測(cè)服務(wù)122識(shí)別的不同的空中手勢(shì)的數(shù)據(jù)。如示出的,示例庫(kù)128包括多個(gè)模型手勢(shì)502-a至502-h(統(tǒng)稱為502)。每個(gè)模型手勢(shì)502可包括可通過使用個(gè)人裝置104執(zhí)行的空中手勢(shì)的定義。
作為示例,模型手勢(shì)502-a指示從左向右的空中手勢(shì),如通過示出的沿著x-軸的運(yùn)動(dòng)可看到的。類似地,模型手勢(shì)502-b指示從右向左的空中手勢(shì),如通過示出的沿著x-軸的反向運(yùn)動(dòng)可看到的。模型手勢(shì)502-c指示從上向下的運(yùn)動(dòng),如沿著z-軸的數(shù)據(jù)示出的,模型手勢(shì)502-d類似地指示從下向上的運(yùn)動(dòng)。作為一些附加示例,模型手勢(shì)502-e指示從左向右再向左的空中手勢(shì),模型手勢(shì)502-f指示從右向左再向右的空中手勢(shì),模型手勢(shì)502-g指示從上向下再向上的運(yùn)動(dòng),模型手勢(shì)502-h指示從下向上再向下的運(yùn)動(dòng)。
應(yīng)注意的是,這些僅為示例,并且?guī)?28中可包括更多、更少或不同的模型手勢(shì)502。例如,手勢(shì)可包括在不同軸上的運(yùn)動(dòng),諸如向上再向左的運(yùn)動(dòng),或向下運(yùn)動(dòng)再向右運(yùn)動(dòng)。在一些示例中,庫(kù)128可包括默認(rèn)手勢(shì)(例如,構(gòu)建到手勢(shì)檢測(cè)服務(wù)122中的默認(rèn)手勢(shì))以及可由用戶添加到庫(kù)128的用戶定義手勢(shì)。例如,庫(kù)維護(hù)應(yīng)用可用于允許用戶執(zhí)行空中手勢(shì),其中,執(zhí)行的手勢(shì)隨后可被添加至庫(kù)128,以用于以后檢測(cè)和使用。作為另一示例,使用手勢(shì)檢測(cè)服務(wù)122的應(yīng)用的開發(fā)者可創(chuàng)建將被加載至手勢(shì)檢測(cè)服務(wù)122的庫(kù)128中,以供開發(fā)的應(yīng)用使用。
用戶可移動(dòng)個(gè)人裝置104以執(zhí)行空中手勢(shì)。一旦用戶完成空中手勢(shì)(例如,如通過滿足進(jìn)入準(zhǔn)則并隨后滿足退出準(zhǔn)則所確定的),則從時(shí)間窗口408中的開始時(shí)間索引404到退出時(shí)間索引406收集的加速度樣本可通過隱馬爾可夫模型(hmm)來被處理。該模型將空中手勢(shì)轉(zhuǎn)換為用于與存儲(chǔ)手勢(shì)的庫(kù)128進(jìn)行比較的序列。
圖6示出了執(zhí)行的空中手勢(shì)與手勢(shì)庫(kù)128的k-均值匹配的示例600。庫(kù)128的存儲(chǔ)的手勢(shì)可被預(yù)處理為k-均值簇602,每個(gè)k-均值簇602具有定義的質(zhì)心。如示出的,示例600包括用于從左向右的模型手勢(shì)502-a的k-均值簇602-a、用于從右向左的模型手勢(shì)502-b的k-均值簇602-b、用于從上向下的模型手勢(shì)502-c的k-均值簇602-c以及用于從下向下上的模型手勢(shì)502-d的k-均值簇602-d。
為了識(shí)別用戶執(zhí)行的空中手勢(shì),將執(zhí)行的空中手勢(shì)與每個(gè)k-均值簇602進(jìn)行比較,使得在執(zhí)行的空中手勢(shì)位置和每個(gè)k-均值簇602的質(zhì)心之間計(jì)算笛卡爾距離606??蓤?zhí)行所述計(jì)算以找到從hmm點(diǎn)604到k-均值簇602的質(zhì)心的最小笛卡爾距離606,并驗(yàn)證hmm點(diǎn)604是否在k-均值簇的半徑內(nèi)。在手勢(shì)已經(jīng)被識(shí)別具有最小笛卡爾距離606并且已經(jīng)在k-均值簇602的半徑內(nèi)之后,空中手勢(shì)可被識(shí)別。如果空中手勢(shì)落在任意k-均值簇602的半徑之外,則空中手勢(shì)未被識(shí)別的并且可被忽略。
應(yīng)注意的是,針對(duì)將被識(shí)別的手勢(shì)的最小概率可以是可配置的。例如,應(yīng)用可配置手勢(shì)檢測(cè)服務(wù)122,使得與k-均值質(zhì)心602相比較的hmm點(diǎn)604在將被識(shí)別的空中手勢(shì)的95%概率內(nèi)。
圖7示出了用于通過手勢(shì)檢測(cè)服務(wù)122檢測(cè)空中手勢(shì)的示例處理700。盡管處理700被描述為提供空中手勢(shì)檢測(cè)以供車輛組件界面應(yīng)用118使用,但是應(yīng)當(dāng)注意,手勢(shì)檢測(cè)服務(wù)122對(duì)于安裝在個(gè)人裝置104上的其它應(yīng)用可能也是有用的。
在操作702,個(gè)人裝置104獲取車內(nèi)組件106的界面信息。該信息可指定車內(nèi)組件106的可用功能。在示例中,個(gè)人裝置104可從車內(nèi)組件106收集廣告數(shù)據(jù)信息,以識(shí)別位于乘客的座椅區(qū)域108內(nèi)的是什么車內(nèi)組件106,以及提供了什么功能。廣告數(shù)據(jù)可包括指示車內(nèi)組件106的功能的信息、指示車內(nèi)組件106的座椅區(qū)域108的位置的信息。該信息還可指示空中手勢(shì)是否可用于車內(nèi)組件106的控制。如果可用,則信息還可指示哪些空中手勢(shì)可被用于執(zhí)行什么命令。
在操作704,個(gè)人裝置104使用車內(nèi)組件106的網(wǎng)格來識(shí)別個(gè)人裝置104位于哪個(gè)座椅區(qū)域108內(nèi)。在示例中,車輛組件界面應(yīng)用118可通過ble三角測(cè)量確定個(gè)人裝置104位于車輛102的座椅區(qū)域108中的一個(gè)。
在操作706,個(gè)人裝置104確定是否選擇車內(nèi)組件106以用于空中手勢(shì)控制。多種方法可用于將內(nèi)部功能預(yù)先選擇為手勢(shì)控制的目標(biāo)。在示例中,用戶可按下用戶的乘坐區(qū)域108內(nèi)的車內(nèi)組件106的開關(guān)或其它控制件以激活手勢(shì)檢測(cè)。
作為另一示例,車輛組件界面應(yīng)用118可通過ble三角測(cè)量確定個(gè)人裝置104正朝著用戶的座椅區(qū)域108的車內(nèi)組件106移動(dòng)。或者,表示功能的圖標(biāo)可被置于車內(nèi)組件106上或車內(nèi)組件106附近,并且當(dāng)用戶將其個(gè)人裝置104朝著圖標(biāo)移動(dòng)時(shí),ble三角測(cè)量可用于確定用戶意圖以與特定車內(nèi)組件106進(jìn)行交互。
作為另一示例,車輛組件界面應(yīng)用118或手勢(shì)檢測(cè)服務(wù)122可確定朝著座椅區(qū)域108的預(yù)定義區(qū)域的個(gè)人裝置104的運(yùn)動(dòng)指示啟動(dòng)空中手勢(shì)(例如,向上、向下或向側(cè)面等)的請(qǐng)求。例如,座椅區(qū)域108中的預(yù)定義區(qū)域可被分配特定功能。例如,向上伸出可自動(dòng)選擇控制燈光車內(nèi)組件106,并且在選擇車內(nèi)組件106之后執(zhí)行的空中手勢(shì)可被執(zhí)行以控制燈光車內(nèi)組件106。作為另一示例,傾斜地向上伸出可選擇敞開式天窗車內(nèi)組件106(如果可用)。作為進(jìn)一步的示例,向下伸出可選擇座椅車內(nèi)組件106,伸向側(cè)窗可選擇控制車窗車內(nèi)組件106,遠(yuǎn)離車窗朝著車輛102的中心伸出可選擇控制揚(yáng)聲器車內(nèi)組件106。
在操作708,個(gè)人裝置104追蹤被歸一化到車輛102的參考系的個(gè)人裝置104的傳感器輸入。例如,如以上關(guān)于處理300詳細(xì)解釋的,來自個(gè)人裝置104的傳感器(諸如加速度傳感器126和方向傳感器130)的數(shù)據(jù)可使用方向矩陣來被調(diào)整,所述方向矩陣考慮了個(gè)人裝置104的方向、車輛102的磁場(chǎng)北極角度θ和個(gè)人裝置104的當(dāng)前座椅區(qū)域108的αseat。所得到的歸一化數(shù)據(jù)可被稱作加速度數(shù)據(jù)124。在一些示例中,在操作708的開始,手勢(shì)檢測(cè)服務(wù)122可通過經(jīng)由個(gè)人裝置104的揚(yáng)聲器播放聲音和/或驅(qū)動(dòng)個(gè)人裝置104的觸覺反饋裝置來提供手勢(shì)檢測(cè)服務(wù)122的就緒狀態(tài)的指示,以向用戶傳達(dá)已經(jīng)準(zhǔn)備好識(shí)別空中手勢(shì)。
在操作710,個(gè)人裝置104確定是否檢測(cè)到有效的空中手勢(shì)。在示例中,手勢(shì)檢測(cè)服務(wù)122將加速度數(shù)據(jù)122與庫(kù)128中的模型空中手勢(shì)502進(jìn)行比較。如果發(fā)現(xiàn)匹配,則控制轉(zhuǎn)到操作712。
在操作712,個(gè)人裝置104執(zhí)行與檢測(cè)的手勢(shì)關(guān)聯(lián)的命令。在示例中,車內(nèi)組件106可以是用戶的座椅區(qū)域108內(nèi)的屏幕車內(nèi)組件106,該屏幕車內(nèi)組件106被配置為響應(yīng)于檢測(cè)到使用個(gè)人裝置104執(zhí)行的從右向左的空中手勢(shì)而前進(jìn)至下一個(gè)圖像,以及響應(yīng)于檢測(cè)到使用個(gè)人裝置104執(zhí)行的從左向右的空中手勢(shì)而移回至上一個(gè)圖像。在另一示例中,車內(nèi)組件106可以是揚(yáng)聲器車內(nèi)組件106,揚(yáng)聲器車內(nèi)組件106被配置為響應(yīng)于檢測(cè)到從下向上的空中手勢(shì)而增大音量或者響應(yīng)于檢測(cè)到從上向下的空中手勢(shì)而減小音量。應(yīng)注意的是,這些僅為示例,不同的命令可被映射為不同的空中手勢(shì),并且可通過空中手勢(shì)控制不同的車內(nèi)組件106。
在操作714,個(gè)人裝置104確定對(duì)手勢(shì)的檢測(cè)是否結(jié)束。例如,車輛組件界面應(yīng)用118可從手勢(shì)檢測(cè)服務(wù)122接收指示關(guān)閉手勢(shì)檢測(cè)模式的手勢(shì)已經(jīng)被執(zhí)行的指示。作為另一示例,車輛組件界面應(yīng)用118可確定(或者可從手勢(shì)檢測(cè)服務(wù)122接收指示)已超時(shí),隨后空中手勢(shì)被確定為完成。如果已超時(shí),則控制轉(zhuǎn)到操作704。否則,控制返回到操作708以繼續(xù)追蹤空中手勢(shì)。
在此描述的計(jì)算裝置(諸如,個(gè)人裝置104和車內(nèi)組件106)通常包括計(jì)算機(jī)可執(zhí)行指令,其中,所述指令可由一個(gè)或更多個(gè)計(jì)算裝置(諸如,以上列出的那些計(jì)算裝置)來執(zhí)行??蓮氖褂酶鞣N編程語(yǔ)言和/或技術(shù)(包括但不限于javatm、c、c++、c#、visualbasic、javascript、perl等中的一種或其組合)創(chuàng)建的計(jì)算機(jī)程序中編譯或解釋計(jì)算機(jī)可執(zhí)行指令(諸如車輛組件界面應(yīng)用118和/或手勢(shì)檢測(cè)服務(wù)122中的那些指令)。通常,處理器(例如,微處理器)例如從存儲(chǔ)器、計(jì)算機(jī)可讀介質(zhì)等接收指令,并且執(zhí)行這些指令,從而執(zhí)行一個(gè)或更多個(gè)處理(包括在此描述的處理中的一個(gè)或更多個(gè))。這種指令和其它數(shù)據(jù)可使用各種計(jì)算機(jī)可讀介質(zhì)來存儲(chǔ)和傳輸。
關(guān)于在此描述的處理、系統(tǒng)、方法、啟示等,應(yīng)理解的是,盡管這種處理的步驟等已被描述為根據(jù)特定的有序順序發(fā)生,但是這種處理可利用以與在此描述的順序不同的順序執(zhí)行的所述步驟來實(shí)施。還應(yīng)理解的是,可同時(shí)執(zhí)行特定的步驟,可添加其它步驟,或者可省略在此描述的特定的步驟。換句話說,處理的描述是為了示出特定的實(shí)施例的目的而在此被提供,并且不應(yīng)以任何方式被解釋為限制權(quán)利要求。
雖然以上描述了示例性實(shí)施例,但是這些實(shí)施例并不意在描述本發(fā)明的所有可能形式。更確切地說,說明書中使用的詞語(yǔ)是描述性詞語(yǔ)而非限制性詞語(yǔ),并且應(yīng)理解的是,可在不脫離本發(fā)明的精神和范圍的情況下做出各種改變。此外,可將各種實(shí)現(xiàn)的實(shí)施例的特征進(jìn)行組合以形成本發(fā)明的進(jìn)一步的實(shí)施例。