發(fā)明實(shí)施例一提供的基于物理模型的人機(jī)交互裝置,包括:
[0062]目標(biāo)對(duì)象操作位置確定單元401,用于根據(jù)目標(biāo)對(duì)象的空間位置,確定該目標(biāo)對(duì)象的空間位置對(duì)應(yīng)在顯示平面上的操作位置;
[0063]目標(biāo)對(duì)象操作位置確定單元401將捕獲裝置獲取的空間位置解析為坐標(biāo)信息(X,1,z),通過(guò)一些算法計(jì)算出該坐標(biāo)信息(X,y, ζ)對(duì)應(yīng)在顯示平面的操作位置,即該空間位置投射在顯示平面的操作位置。為了用戶使用直觀、方便,可在投射的操作位置處繪制一操控標(biāo)識(shí)符,其中,所述操控標(biāo)識(shí)符可以是手型的標(biāo)識(shí)符,或者箭頭狀的標(biāo)識(shí)符,用于反映用戶在顯示平面上的操作位置。
[0064]深度信息計(jì)算單元402,用于當(dāng)所述目標(biāo)對(duì)象的操作位置位于所述仿真物理對(duì)象上時(shí),計(jì)算所述目標(biāo)對(duì)象的深度信息;
[0065]捕獲裝置實(shí)時(shí)捕獲目標(biāo)對(duì)象的空間位置并經(jīng)目標(biāo)對(duì)象操作位置確定單元401解析后投射至顯示平面的操作位置,當(dāng)目標(biāo)對(duì)象的操作位置位于所述仿真物理對(duì)象上時(shí),即當(dāng)目標(biāo)對(duì)象的操作位置的X、y坐標(biāo)信息與仿真物理對(duì)象的X、y坐標(biāo)信息相符合時(shí),深度信息計(jì)算單元402解析所述目標(biāo)對(duì)象的ζ坐標(biāo)信息以獲得ζ坐標(biāo)差值,將所述ζ坐標(biāo)的差值作為目標(biāo)對(duì)象的深度信息。具體為:捕獲裝置按預(yù)設(shè)周期獲取所述目標(biāo)對(duì)象的多個(gè)空間位置,將該多個(gè)空間位置按獲取的時(shí)間順序保存至一隊(duì)列,所述隊(duì)列可以為一固定長(zhǎng)度隊(duì)列,可保存一定數(shù)量的空間位置,深度信息計(jì)算單元402計(jì)算隊(duì)列中當(dāng)前位置與起始位置的ζ坐標(biāo)的差值,將所述ζ坐標(biāo)的差值作為目標(biāo)對(duì)象的深度信息。
[0066]其中,該預(yù)設(shè)周期由本領(lǐng)域技術(shù)人員根據(jù)需求或智能設(shè)備的配置進(jìn)行設(shè)置,所述預(yù)設(shè)周期可以設(shè)置為2ms。所述預(yù)設(shè)周期設(shè)置的越短,則本發(fā)明位置信息識(shí)別的精度越高,但相應(yīng)的所占用的智能設(shè)備的內(nèi)存資源和CPU資源越多。
[0067]該隊(duì)列的長(zhǎng)度可由本領(lǐng)域普通技術(shù)人員根據(jù)對(duì)目標(biāo)對(duì)象進(jìn)行識(shí)別的時(shí)效進(jìn)行設(shè)定。當(dāng)隊(duì)列存滿空間位置時(shí),清空該隊(duì)列,重新保存獲取的空間位置。這樣,既可以避免保存過(guò)多的位置信息占用內(nèi)存資源,也避免起始位置信息超出對(duì)目標(biāo)對(duì)象進(jìn)行識(shí)別的時(shí)效。
[0068]操作狀態(tài)識(shí)別單元403,用于根據(jù)所述深度信息,識(shí)別所述目標(biāo)對(duì)象對(duì)所述仿真物理對(duì)象的操作狀態(tài)。
[0069]所述深度信息為深度信息計(jì)算單元402解析所述目標(biāo)對(duì)象的當(dāng)前位置與起始位置的Z坐標(biāo)信息以獲得的Z坐標(biāo)差值,如當(dāng)前位置的Z坐標(biāo)小于隊(duì)列中所保存的起始位置的Z坐標(biāo),且兩者的ζ坐標(biāo)的差值超過(guò)預(yù)設(shè)的第一閾值,則操作狀態(tài)識(shí)別單元403識(shí)別所述目標(biāo)對(duì)象產(chǎn)生向前(push)操作狀態(tài);如識(shí)別所述目標(biāo)對(duì)象產(chǎn)生向前(push)操作狀態(tài)后,獲取的當(dāng)前位置與起始位置的ζ坐標(biāo)差值繼續(xù)減小,且超過(guò)預(yù)設(shè)的第二閾值,操作狀態(tài)識(shí)別單元403則識(shí)別所述目標(biāo)對(duì)象產(chǎn)生按下(press)操作狀態(tài)。其中,所述第二閾值大于所述第一閾值;如識(shí)別所述目標(biāo)對(duì)象產(chǎn)生按下(press)操作狀態(tài)后,則清空所述隊(duì)列中的空間位置,并以產(chǎn)生按下(press)操作狀態(tài)時(shí)的空間位置為隊(duì)列起始位置重新獲取空間位置保存至隊(duì)列中,如當(dāng)前位置信息的ζ坐標(biāo)大于產(chǎn)生按下(press)操作狀態(tài)時(shí)的位置信息的ζ坐標(biāo),且兩者的ζ坐標(biāo)差值超過(guò)預(yù)設(shè)的第三閾值,操作狀態(tài)識(shí)別單元403則識(shí)別所述目標(biāo)對(duì)象產(chǎn)生回收(pull)操作狀態(tài)。
[0070]參見(jiàn)圖5,本發(fā)明實(shí)施例二提供的基于物理模型的人機(jī)交互裝置,在上述實(shí)施例一的基礎(chǔ)上,所述裝置還包括:
[0071]仿真物理對(duì)象生成單元501,用于當(dāng)所述目標(biāo)對(duì)象的操作位置位于預(yù)設(shè)激活區(qū)域內(nèi)時(shí),創(chuàng)建一操作浮層,在操作浮層上繪制仿真物理對(duì)象;
[0072]具體地,預(yù)先在顯示平面上設(shè)定一激活區(qū)域,可設(shè)置在顯示平面的四角位置,也可設(shè)置在顯示平面的上、或下、或左、或右邊緣,為方便用戶操作且不遮擋顯示平面的主要顯示區(qū)域、不易造成誤操作,優(yōu)選地,該激活區(qū)域設(shè)置在顯示平面的右上角。當(dāng)目標(biāo)對(duì)象的操作位置到達(dá)顯示平面的預(yù)設(shè)激活區(qū)域內(nèi),即目標(biāo)對(duì)象的X,y坐標(biāo)位于激活區(qū)域內(nèi),例如當(dāng)操作位置對(duì)應(yīng)的操控標(biāo)識(shí)符(手型)手型到達(dá)顯示平面的右上角位置處,仿真物理對(duì)象生成單元501創(chuàng)建一操作浮層,并在該操作浮層上繪制仿真物理對(duì)象,其中,所述仿真物理對(duì)象可以為多個(gè),根據(jù)用戶需要設(shè)定,可以為模擬的物理按鍵。
[0073]操作浮層控制單元502,用于通過(guò)將該操作浮層的顯示狀態(tài)設(shè)置為可見(jiàn)狀態(tài),將所述繪制有仿真物理對(duì)象的操作浮層輸出顯示到顯示平面上。
[0074]或當(dāng)所述目標(biāo)對(duì)象的操作位置不位于操控浮層內(nèi)時(shí),將所述操作浮層的顯示狀態(tài)設(shè)置為隱藏狀態(tài),停止將所述繪制有仿真物理對(duì)象的操作浮層輸出顯示到顯示平面上。
[0075]參見(jiàn)圖6,本發(fā)明實(shí)施例三提供的基于物理模型的人機(jī)交互裝置,在上述實(shí)施例一和實(shí)施例二的基礎(chǔ)上,還包括:
[0076]視覺(jué)反饋單元601,用于根據(jù)所述深度信息生成所述仿真物理對(duì)象的視覺(jué)反饋以響應(yīng)所述目標(biāo)對(duì)象對(duì)所述仿真物理對(duì)象的操作狀態(tài)。
[0077]隨著目標(biāo)對(duì)象的移動(dòng),所述深度信息發(fā)生變化,隨著所述深度信息的變化所述視覺(jué)反饋單元生成所述仿真物理對(duì)象的視覺(jué)反饋,其中,所述視覺(jué)反饋為所述仿真物理對(duì)象的大小變化,也可以為所述仿真物理對(duì)象的高度變化。如當(dāng)目標(biāo)對(duì)象向前移動(dòng)時(shí),所述深度信息即ζ坐標(biāo)差值逐漸增大,當(dāng)超過(guò)預(yù)設(shè)的第一閾值時(shí),操作狀態(tài)識(shí)別單元403識(shí)別所述目標(biāo)對(duì)象產(chǎn)生向前(push)操作狀態(tài),隨著深度信息的逐漸增大,所述仿真物理對(duì)象逐漸變大、或變小、或高度變矮或變高,當(dāng)超過(guò)預(yù)設(shè)的第二閾值時(shí),操作狀態(tài)識(shí)別單元403識(shí)別所述目標(biāo)對(duì)象產(chǎn)生按下(press)操作狀態(tài),此時(shí)所述仿真物理對(duì)象變化至最大、或最小,或高度變化到最矮或最高。當(dāng)操作狀態(tài)識(shí)別單元403識(shí)別目標(biāo)對(duì)象產(chǎn)生按下(press)操作狀態(tài)后,所述深度信息開始變小且超過(guò)預(yù)設(shè)的第三閾值,則操作狀態(tài)識(shí)別單元403識(shí)別所述目標(biāo)對(duì)象產(chǎn)生回收(pull)操作狀態(tài),該仿真物理對(duì)象的視覺(jué)反饋與產(chǎn)生向前(push)操作狀態(tài)時(shí)相反。
[0078]本發(fā)明實(shí)施例還提供了一種智能電視,包括獲取裝置、CPU、存儲(chǔ)器、顯示屏以及本發(fā)明實(shí)施例中實(shí)施例一、實(shí)施例二、實(shí)施例三提供的任一裝置,參見(jiàn)圖7,捕獲裝置按預(yù)設(shè)周期捕獲目標(biāo)對(duì)象的多個(gè)空間位置,并將該多個(gè)空間位置發(fā)送至智能電視,智能電視的CPU指示存儲(chǔ)器將獲取的空間位置保存至存儲(chǔ)器,該多個(gè)空間位置按獲取的時(shí)間順序以隊(duì)列的形式保存,所述隊(duì)列可以為一固定長(zhǎng)度隊(duì)列,可保存一定數(shù)量的空間位置;當(dāng)所述目標(biāo)對(duì)象的操作位置位于預(yù)設(shè)激活區(qū)域內(nèi)時(shí),仿真物理對(duì)象生成單元501創(chuàng)建一操作浮層,并在操作浮層上繪制仿真物理對(duì)象;操作浮層控制單元502通過(guò)將該操作浮層的顯示狀態(tài)設(shè)置為可見(jiàn)狀態(tài)或隱藏狀態(tài),將所述繪制有仿真物理對(duì)象的操作浮層輸出顯示到顯示屏上;當(dāng)操作浮層輸出顯示在顯示屏?xí)r,仿真物理對(duì)象生成單元501獲取仿真物理對(duì)象對(duì)應(yīng)在顯示屏上的坐標(biāo)信息。目標(biāo)對(duì)象操作位置確定單元401將存儲(chǔ)器上的空間位置解析為坐標(biāo)信息(X,Y, ζ),通過(guò)一些算法計(jì)算出該坐標(biāo)信息(X,y, ζ)對(duì)應(yīng)在顯示平面的