一種人機(jī)交互系統(tǒng)及方法
【專利摘要】本發(fā)明提供了一種人機(jī)交互系統(tǒng)及方法，解決了Kinect與XBOX360操作系統(tǒng)以外的操作系統(tǒng)或終端的兼容性以及因?yàn)镵inect系統(tǒng)和應(yīng)用占用系統(tǒng)資源而不利于應(yīng)用的運(yùn)行及更新的問題。所述人機(jī)交互系統(tǒng)包括體感數(shù)據(jù)和/或語音數(shù)據(jù)采集裝置、客戶端和云服務(wù)器，所述體感數(shù)據(jù)和/或語音數(shù)據(jù)采集裝置用于采集用戶的體感數(shù)據(jù)和/或語音數(shù)據(jù)；所述客戶端包括數(shù)據(jù)獲取模塊、數(shù)據(jù)壓縮模塊、數(shù)據(jù)傳輸模塊及內(nèi)容接收模塊；所述云服務(wù)器包括數(shù)據(jù)接收模塊、數(shù)據(jù)解壓縮模塊、數(shù)據(jù)處理模塊、第一內(nèi)容獲取模塊及第二內(nèi)容發(fā)送模塊。本發(fā)明通過映射文件將肢體和語音指令轉(zhuǎn)換為云服務(wù)器可識別的操作指令，從而實(shí)現(xiàn)了Kinect與電腦、機(jī)頂盒等各種終端的融合。
【專利說明】一種人機(jī)交互系統(tǒng)及方法
【技術(shù)領(lǐng)域】
[0001]本申請涉及人機(jī)交互系統(tǒng)及方法，特別是涉及將體感和/或語音交互技術(shù)與云服務(wù)器相融合的人機(jī)交互系統(tǒng)及方法。
【背景技術(shù)】
[0002]隨著體感及語音交互等人機(jī)交互技術(shù)的發(fā)展，越來越多的娛樂及游戲裝置出現(xiàn)在消費(fèi)者面前。微軟于2005年推出了配置功能強(qiáng)大的游戲機(jī)XB0X360之后，又于2010年推出了與XB0X360的體感周邊外設(shè)Kinect。
[0003]Kinect的關(guān)鍵技術(shù)在于其光編碼系統(tǒng)和音頻處理系統(tǒng)，其中，光編碼系統(tǒng)采用的是紅外線發(fā)射器、紅外線CMOS攝像機(jī)及RGB彩色攝像機(jī)。由紅外線發(fā)射器發(fā)出具有三維縱深的“體編碼”，這種“體編碼”叫做激光散斑(laserspeckle)，是當(dāng)激光照射到粗糙物體或穿透毛玻璃后形成的隨機(jī)衍射斑點(diǎn)。這些散斑具有高度的隨機(jī)性，而且會隨著距離的不同變換圖案。只要在空間中打上這樣的結(jié)構(gòu)光，整個空間就都被做了標(biāo)記，紅外線CMOS攝像機(jī)就用來記錄空間中的散斑。當(dāng)把一個物體放進(jìn)這個空間時，只要測量物體上面的散斑圖案，就可以知道該物體的位置。Kinect的音頻處理系統(tǒng)采用了四元線性麥克風(fēng)陣列，并結(jié)合了噪音抑制、回聲消除等技術(shù)，使得對聲音的辨識度更高。
[0004]但是，由于XB0X360的操作系統(tǒng)是微軟自行研發(fā)的，而其相應(yīng)的游戲也是必須能夠被該操作系統(tǒng)所兼容的，因此用戶就不能通過肢體或語音玩其他系統(tǒng)(如Linux系統(tǒng))上的游戲。
[0005]此外，Kinect系統(tǒng)在運(yùn)行時將占據(jù)XB0X360大約10%_15%的CPU資源，業(yè)界評論家稱如此數(shù)量的CPU能耗增加將使得目前的游戲更加不可能通過軟件更新的方式來增加Kinect 功能。

【發(fā)明內(nèi)容】

[0006]為了解決上述問題，本申請?zhí)峁┝艘环N人機(jī)交互系統(tǒng)，包括體感數(shù)據(jù)和/或語音數(shù)據(jù)采集裝置、客戶端和云服務(wù)器，其中，
[0007]所述體感數(shù)據(jù)和/或語音數(shù)據(jù)采集裝置用于采集用戶的體感數(shù)據(jù)和/或語音數(shù)據(jù)；
[0008]所述客戶端包括數(shù)據(jù)獲取模塊，用于自所述體感數(shù)據(jù)和/或語音數(shù)據(jù)采集裝置獲取采集的所述用戶的體感數(shù)據(jù)和/或語音數(shù)據(jù)；數(shù)據(jù)壓縮模塊，用于壓縮所述獲取的所述用戶的體感數(shù)據(jù)和/或語音數(shù)據(jù)；數(shù)據(jù)傳輸模塊，用于將所述壓縮的所述用戶的體感數(shù)據(jù)和/或語音數(shù)據(jù)傳輸至所述云服務(wù)器；內(nèi)容接收模塊，用于接收自所述客戶端發(fā)送的第二內(nèi)容；
[0009]所述云服務(wù)器包括數(shù)據(jù)接收模塊，用于接收自所述數(shù)據(jù)傳輸模塊傳送的所述壓縮的所述用戶的體感數(shù)據(jù)和/或語音數(shù)據(jù)；數(shù)據(jù)解壓縮模塊，用于解壓縮所述壓縮的所述用戶的體感數(shù)據(jù)和/或語音數(shù)據(jù)；數(shù)據(jù)處理模塊，用于分析所述用戶的體感數(shù)據(jù)和/或語音數(shù)據(jù)，并將所述用戶的體感數(shù)據(jù)和/或語音數(shù)據(jù)轉(zhuǎn)換為所述云服務(wù)器可識別的操作指令；第一內(nèi)容獲取模塊，用于根據(jù)所述操作指令獲取與所述操作指令相對應(yīng)的第一內(nèi)容；第二內(nèi)容發(fā)送模塊，用于將第二內(nèi)容發(fā)送至所述客戶端，其中，所述第二內(nèi)容是所述第一內(nèi)容的子內(nèi)容。
[0010]優(yōu)選地，所述客戶端進(jìn)一步包括通知模塊、USB設(shè)備驅(qū)動模塊以及USB數(shù)據(jù)發(fā)送模塊，其中，所述通知模塊用于針對所述體感數(shù)據(jù)和/或語音數(shù)據(jù)采集裝置發(fā)送通知至所述云服務(wù)器；所述USB設(shè)備驅(qū)動模塊用于解析自所述云服務(wù)器發(fā)送的IP包；所述USB數(shù)據(jù)發(fā)送模塊用于根據(jù)對所述IP包的解析結(jié)果將相應(yīng)的USB數(shù)據(jù)發(fā)送至所述云服務(wù)器；
[0011]優(yōu)選地，所述云服務(wù)器進(jìn)一步包括通知接收模塊，用于接收所述針對所述體感數(shù)據(jù)和/或語音數(shù)據(jù)采集裝置發(fā)送的通知；虛擬USB設(shè)備驅(qū)動模塊，用于根據(jù)所述客戶端發(fā)送的所述通知生成USB請求，將該請求封裝成IP包，并將所述IP包發(fā)送至所述客戶端；USB數(shù)據(jù)接收模塊，用于接收所述USB數(shù)據(jù)發(fā)送模塊發(fā)送的所述USB數(shù)據(jù)。
[0012]優(yōu)選地，所述數(shù)據(jù)處理模塊進(jìn)一步包括映射單元，用于根據(jù)預(yù)置的映射文件將所述體感數(shù)據(jù)和/或語音數(shù)據(jù)映射為所述云服務(wù)器可識別的操作指令。
[0013]優(yōu)選地，所述第一內(nèi)容獲取模塊進(jìn)一步包括函數(shù)調(diào)用單元，用于根據(jù)所述操作指令調(diào)用相關(guān)聯(lián)的函數(shù)，以及根據(jù)調(diào)用結(jié)果獲取與所述操作指令相對應(yīng)的第一內(nèi)容。
[0014]優(yōu)選地，所述客戶端包括PC機(jī)、機(jī)頂盒、電視、便攜終端、平板和投影機(jī)。
[0015]相應(yīng)地，本申請亦提供了一種人機(jī)交互方法，包括:
[0016]體感數(shù)據(jù)和/或語音數(shù)據(jù)采集裝置采集用戶的體感數(shù)據(jù)和/或語音數(shù)據(jù)；
[0017]客戶端自所述體感數(shù)據(jù)和/或語音數(shù)據(jù)采集裝置獲取采集的所述用戶的體感數(shù)據(jù)和/或語音數(shù)據(jù)；壓縮所述獲取的所述用戶的體感數(shù)據(jù)和/或語音數(shù)據(jù)；將所述壓縮的所述用戶的體感數(shù)據(jù)和/或語音數(shù)據(jù)傳輸至所述云服務(wù)器；
[0018]云服務(wù)器接收所述壓縮的所述用戶的體感數(shù)據(jù)和/或語音數(shù)據(jù)；解壓縮所述壓縮的所述用戶的體感數(shù)據(jù)和/或語音數(shù)據(jù)；分析所述用戶的體感數(shù)據(jù)和/或語音數(shù)據(jù)，并將所述用戶的體感數(shù)據(jù)和/或語音數(shù)據(jù)轉(zhuǎn)換為所述云服務(wù)器可識別的操作指令；根據(jù)所述操作指令獲取與所述操作指令相對應(yīng)的第一內(nèi)容；將第二內(nèi)容發(fā)送至所述客戶端，其中，所述第二內(nèi)容是所述第一內(nèi)容的子內(nèi)容；
[0019]客戶端接收所述第二內(nèi)容。
[0020]優(yōu)選地，客戶端針對所述體感數(shù)據(jù)和/或語音數(shù)據(jù)采集裝置發(fā)送通知至云服務(wù)器；
[0021]所述云服務(wù)器接收所述針對所述體感數(shù)據(jù)和/或語音數(shù)據(jù)采集裝置發(fā)送的通知；根據(jù)所述客戶端發(fā)送的所述通知生成USB請求，將該請求封裝成IP包，并將所述IP包發(fā)送至所述客戶端；
[0022]所述客戶端解析自所述云服務(wù)器發(fā)送的IP包；根據(jù)對所述IP包的解析結(jié)果將相應(yīng)的USB數(shù)據(jù)發(fā)送至所述云服務(wù)器。
[0023]優(yōu)選地，所述將所述用戶的體感數(shù)據(jù)和/或語音數(shù)據(jù)轉(zhuǎn)換為所述云服務(wù)器可識別的操作指令進(jìn)一步包括根據(jù)預(yù)置的映射文件將所述體感數(shù)據(jù)和/或語音數(shù)據(jù)映射為所述云服務(wù)器可識別的操作指令。
[0024]優(yōu)選地，所述根據(jù)所述操作指令獲取與所述操作指令相對應(yīng)的第一內(nèi)容進(jìn)一步包括根據(jù)所述操作指令調(diào)用相關(guān)聯(lián)的函數(shù)，以及根據(jù)調(diào)用結(jié)果獲取與所述操作指令相對應(yīng)的
第一內(nèi)容。
[0025]優(yōu)選地，所述操作指令包括可被服務(wù)器識別的按鍵指令和鼠標(biāo)指令。
[0026]與現(xiàn)有技術(shù)相比，本申請包括以下優(yōu)點(diǎn):
[0027]1.本發(fā)明通過將所述體感數(shù)據(jù)和/或語音數(shù)據(jù)映射為所述云服務(wù)器可識別的操作指令實(shí)現(xiàn)了 Kinect與PC機(jī)、機(jī)頂盒、電視、便攜終端或平板的融合，增強(qiáng)了 Kinect的可擴(kuò)展性。
[0028]2.本發(fā)明將肢體動作或語音的識別處理轉(zhuǎn)移至云服務(wù)器，而Kinect僅用于肢體動作數(shù)據(jù)或語音數(shù)據(jù)的捕獲，從而大大降低了 Kinect系統(tǒng)在運(yùn)行時對終端的系統(tǒng)資源的占用，進(jìn)而也降低了對終端處理性能的要求。
[0029]3.通過XB0X360接入網(wǎng)絡(luò)需要用戶另外付費(fèi)使用微軟提供的XBOXLive，而本發(fā)明將Kinect與PC機(jī)、機(jī)頂盒、電視、便攜終端或平板結(jié)合后，用戶就可以使用其已有的網(wǎng)絡(luò)類型使用應(yīng)用，從而降低了用戶的消費(fèi)成本。
[0030]4.本發(fā)明以云服務(wù)器取代傳統(tǒng)的服務(wù)器后，所有的應(yīng)用都是在云服務(wù)器上運(yùn)行，PC機(jī)、機(jī)頂盒、電視、便攜終端或平板只顯示虛擬的應(yīng)用畫面，該虛擬的應(yīng)用畫面不占用系統(tǒng)資源，因此，用戶不需要為其PC機(jī)、機(jī)頂盒、電視、便攜終端或平板配置功能強(qiáng)大的硬件或軟件以配合應(yīng)用的運(yùn)行。
【專利附圖】

【附圖說明】
[0031]圖1是本發(fā)明人機(jī)交互系統(tǒng)實(shí)施例1的示意圖。
[0032]圖2是本發(fā)明人機(jī)交互系統(tǒng)實(shí)施例2的示意圖。
[0033]圖3是本發(fā)明人機(jī)交互方法實(shí)施例1的示意圖。
[0034]圖4是本發(fā)明人機(jī)交互方法實(shí)施例2的示意圖。
【具體實(shí)施方式】
[0035]為使本申請的上述目的、特征和優(yōu)點(diǎn)能夠更加明顯易懂，下面結(jié)合附圖和【具體實(shí)施方式】對本申請作進(jìn)一步詳細(xì)的說明。
[0036]參照圖1，示出了本申請實(shí)施例1人機(jī)交互系統(tǒng)的示意圖，包括體感數(shù)據(jù)和/或語音數(shù)據(jù)采集裝置100、客戶端110和云服務(wù)器120。
[0037]體感數(shù)據(jù)和/或語音數(shù)據(jù)采集裝置100可為具有體感信息和語音信息采集功能的裝置，例如Kinect。
[0038]客戶端110可為PC機(jī)、機(jī)頂盒、電視、便攜終端、平板、投影機(jī)以及其他具有顯示功能的裝置。
[0039]云服務(wù)器120是一種類似VPS服務(wù)器的虛擬化技術(shù)，VPS是采用虛擬軟件，VZ或VM在一臺服務(wù)器上虛擬出多個類似獨(dú)立服務(wù)器的部分，每個部分都有云服務(wù)器的一個鏡像，都可以做單獨(dú)的操作系統(tǒng)，管理方法同服務(wù)器一樣。
[0040]以下將分別對體感數(shù)據(jù)和/或語音數(shù)據(jù)采集裝置100、客戶端110和云服務(wù)器120的結(jié)構(gòu)進(jìn)行說明。
[0041]以Kinect為例說明體感數(shù)據(jù)和/或語音數(shù)據(jù)采集裝置100。Kinect的主要結(jié)構(gòu)為三個攝像頭、內(nèi)置陣列麥克風(fēng)系統(tǒng)以及底座馬達(dá)。左右兩邊攝像頭分別為紅外線發(fā)射器和紅外線CMOS攝像機(jī)，中間的鏡頭是RGB彩色攝像機(jī)。
[0042]紅外線發(fā)射器發(fā)出激光散斑(laser speckle),光線經(jīng)過擴(kuò)散分布在測量的空間內(nèi)，這些散斑具有高度的隨機(jī)性，而且會隨著距離的不同變換圖案，即空間中任意兩處的散斑圖案都是不同的。只要在空間中打上這樣的光，整個空間就都被做了標(biāo)記，把一個物體放進(jìn)這個空間，只要看看物體上面的散斑圖案，就可以知道這個物體在什么位置了。在這之前要把整個空間的散斑圖案都記錄下來，所以要先做一次光源的標(biāo)定。標(biāo)定的方法是:每隔一段距離，取一個參考平面，把參考平面上的散斑圖案記錄下來。假設(shè)Natal規(guī)定的用戶活動空間是距離電視機(jī)I米到4米的范圍，每隔IOcm取一個參考平面，那么標(biāo)定下來就保存了30幅散斑圖像。需要進(jìn)行測量的時候，拍攝一副待測場景的散斑圖像，將這幅圖像和保存下來的30幅參考圖像依次做互相關(guān)運(yùn)算，這樣會得到30幅相關(guān)度圖像，而空間中有物體存在的位置，在相關(guān)度圖像上就會顯示出峰值。把這些峰值一層層疊在一起，再經(jīng)過一些插值，就會得到整個場景的三維形狀了。
[0043]當(dāng)光射到人體之后會形成反射斑點(diǎn)，紅外線CMOS攝像機(jī)就用來記錄空間中的散斑，通過芯片合成出3D深度信息的圖像。
[0044]RGB彩色攝像機(jī)用于獲取彩色圖像，通過該攝像機(jī)獲得的圖像呈現(xiàn)出不同的顏色塊，這些顏色塊表示物體在空間的距離。識別到3D圖像深度信息后，通過軟件計算出人體主要的骨骼位置，通過精確掌握玩家身形輪廓與肢體位置來判斷玩家的姿勢動作。
[0045]內(nèi)置陣列麥克風(fēng)系統(tǒng)采用了四元線性麥克風(fēng)陣列，這一陣列由4個獨(dú)立的水平分布在Kinect下方的麥克風(fēng)組成。雖然每一個麥克風(fēng)都捕獲相同的音頻信號，但是組成陣列可以探測到聲音的來源方向。使得能夠用來識別從某一個特定的方向傳來的聲音。麥克風(fēng)陣列捕獲的音頻數(shù)據(jù)流經(jīng)過復(fù)雜的音頻增強(qiáng)效果算法處理來移除不相關(guān)的背景噪音。所有這些復(fù)雜操作在Kinect硬件和Kinect SDK之間進(jìn)行處理,這使得能夠在一個大的空間范圍內(nèi)，即使人離麥克風(fēng)一定的距離也能夠進(jìn)行語音命令的識別。
[0046]底座馬達(dá)采用了對焦技術(shù),底座馬達(dá)會隨著對焦物體的移動而相應(yīng)地轉(zhuǎn)動。
[0047]由此，Kinect的三個攝像頭、內(nèi)置陣列麥克風(fēng)系統(tǒng)以及底座馬達(dá)相互配合共同完成了肢體動作數(shù)據(jù)及語音數(shù)據(jù)的捕捉。
[0048]客戶端110包括數(shù)據(jù)獲取模塊111、數(shù)據(jù)壓縮模塊112、數(shù)據(jù)傳輸模塊113及內(nèi)容接收模塊114。其中:
[0049]數(shù)據(jù)獲取模塊111用于自所述體感數(shù)據(jù)和/或語音數(shù)據(jù)采集裝置100獲取采集的所述用戶的體感數(shù)據(jù)和/或語音數(shù)據(jù)。
[0050]所述數(shù)據(jù)獲取模塊111可以通過USB接口與體感數(shù)據(jù)和/或語音數(shù)據(jù)采集裝置100相接，所述數(shù)據(jù)獲取模塊111自體感數(shù)據(jù)和/或語音數(shù)據(jù)采集裝置100獲取到的體感數(shù)據(jù)和/或語音數(shù)據(jù)是肢體的空間位置數(shù)據(jù)和/或音頻數(shù)據(jù)流。
[0051]數(shù)據(jù)壓縮模塊112用于壓縮所述獲取的所述用戶的體感數(shù)據(jù)和/或語音數(shù)據(jù)。
[0052]客戶端110中具有數(shù)據(jù)壓縮模塊112，該模塊對體感數(shù)據(jù)和/或語音數(shù)據(jù)采集裝置100獲取的用戶的體感數(shù)據(jù)和/或語音數(shù)據(jù)進(jìn)行自動壓縮。
[0053]其中，體感數(shù)據(jù)為用戶做出一段或多段動作的視頻數(shù)據(jù)。在本發(fā)明一實(shí)施例中，由體感數(shù)據(jù)和/或語音數(shù)據(jù)采集裝置100獲取的用戶的體感數(shù)據(jù)和/或語音數(shù)據(jù)為RAW格式。RAW格式圖像中的每一幀圖像為bmp格式，數(shù)據(jù)壓縮模塊112對每一幀圖像進(jìn)行濾波處理或歸一化處理，將圖像由bmp格式轉(zhuǎn)換為JPG格式，也可以轉(zhuǎn)換為MPEG、MPG、AV1、MOV、ASF、WMV、NAV1、3GP、REAL VIDEO、MKV、FLV、F4V、RMVB、WebM 等格式。濾波處理可以采用常用的傅里葉變換、鄰域?yàn)V波(即輸出圖像中任何像素的值都是通過對像素周圍一定鄰域內(nèi)像素的值得來的)等方法。歸一化處理是通過一系列變換，利用圖像的不變矩尋找一組參數(shù)使其能夠消除其他變換函數(shù)對圖像變換的影響，將待處理的原始圖像轉(zhuǎn)換成相應(yīng)的唯一標(biāo)準(zhǔn)形式。在本發(fā)明一實(shí)施例中，歸一化處理是將bmp格式的原始圖像數(shù)據(jù)轉(zhuǎn)換成JPG格式的圖像數(shù)據(jù)。
[0054]語音數(shù)據(jù)采用線性脈沖編碼調(diào)制PCM，數(shù)據(jù)壓縮模塊112對體感數(shù)據(jù)的同步語音數(shù)據(jù)壓縮為⑶格式、WAVE (*.WAV)、AIFF、AU、MP3、MID1、WMA、RealAudio、VQF、0ggVorbis、AAC、APE等音頻格式文件。
[0055]數(shù)據(jù)傳輸模塊113，用于將所述壓縮的所述用戶的體感數(shù)據(jù)和/或語音數(shù)據(jù)傳輸至所述云服務(wù)器120。
[0056]數(shù)據(jù)壓縮模塊112將體感數(shù)據(jù)和/或語音數(shù)據(jù)壓縮后，由數(shù)據(jù)傳輸模塊113傳輸至云服務(wù)器120。其中，用戶發(fā)出的某一指令可以僅為體感數(shù)據(jù)，也可以僅為語音數(shù)據(jù)，也可以是語音數(shù)據(jù)與體感數(shù)據(jù)的結(jié)合。當(dāng)用戶的指令既有語音數(shù)據(jù)，又有體感數(shù)據(jù)時，同步壓縮語音數(shù)據(jù)和體感數(shù)據(jù)，并將兩部分?jǐn)?shù)據(jù)同時傳輸至云服務(wù)器120。
[0057]內(nèi)容接收模塊114，用于接收自所述客戶端發(fā)送的第二內(nèi)容。
[0058]第一內(nèi)容獲取模塊124獲取的內(nèi)容包括程序代碼、圖像數(shù)據(jù)等信息，第二內(nèi)容發(fā)送模塊125僅將游戲的圖像數(shù)據(jù)發(fā)送給客戶端，由客戶端的內(nèi)容接收模塊114接收。
[0059]云服務(wù)器120包括數(shù)據(jù)接收模塊121、數(shù)據(jù)解壓縮模塊122、數(shù)據(jù)處理模塊123、第一內(nèi)容獲取模塊124及第二內(nèi)容發(fā)送模塊125。其中:
[0060]數(shù)據(jù)接收模塊121，用于接收自所述數(shù)據(jù)傳輸模塊傳送的所述壓縮的所述用戶的體感數(shù)據(jù)和/或語音數(shù)據(jù)。
[0061]客戶端110中的數(shù)據(jù)傳輸模塊113將用戶的體感數(shù)據(jù)和/或語音數(shù)據(jù)傳輸至云服務(wù)器120時，由數(shù)據(jù)接收模塊121接收該數(shù)據(jù)。
[0062]數(shù)據(jù)解壓縮模塊122，用于解壓縮所述壓縮的所述用戶的體感數(shù)據(jù)和/或語音數(shù)據(jù)。
[0063]數(shù)據(jù)解壓縮模塊122將所述壓縮的所述用戶的壓縮的體感數(shù)據(jù)和/或語音數(shù)據(jù)按照歸一化處理相反的方式轉(zhuǎn)換為原始圖像和音頻數(shù)據(jù)，完成圖像的解壓縮。
[0064]數(shù)據(jù)處理模塊123，用于分析所述用戶的體感數(shù)據(jù)和/或語音數(shù)據(jù)，并將所述用戶的體感數(shù)據(jù)和/或語音數(shù)據(jù)轉(zhuǎn)換為所述云服務(wù)器可識別的操作指令。
[0065]在本發(fā)明一實(shí)施例中，所述數(shù)據(jù)處理模塊123進(jìn)一步包括映射單元1231，用于根據(jù)預(yù)置的映射文件將所述體感數(shù)據(jù)和/或語音數(shù)據(jù)映射為所述云服務(wù)器可識別的操作指令。
[0066]映射單元1231中嵌入一應(yīng)用程序，通過運(yùn)行該應(yīng)用程序可將云服務(wù)器120中的每個游戲涉及到的體感數(shù)據(jù)和/或語音數(shù)據(jù)轉(zhuǎn)換為所述云服務(wù)器120可識別的操作指令。該應(yīng)用程序可由程序人員使用JAVA語音或C語言編寫的應(yīng)用程序。該應(yīng)用程序定義了用戶的不同的姿勢動作或語義所對應(yīng)的電腦鍵盤或鼠標(biāo)指令。[0067]通過映射單元，可以根據(jù)用戶的體感數(shù)據(jù)和/或語音數(shù)據(jù)來判斷用戶采用了哪一種姿勢動作，將該姿勢動作與映射文件中的該游戲所涉及到的姿勢動作進(jìn)行對照。若該姿勢動作符合映射文件中的該游戲所涉及到的某一姿勢動作，則通過該應(yīng)用程序?qū)⒂脩舻淖藙輨幼鬓D(zhuǎn)換為云服務(wù)器120可識別的鍵盤信息或鼠標(biāo)信息。該鍵盤信息或鼠標(biāo)信息可以是用戶在游戲環(huán)境下需要操作的某一組電腦鍵盤或鼠標(biāo)。
[0068]以下通過一實(shí)例說明所述映射文件中肢體動作與云服務(wù)器120可識別的鍵盤信息或鼠標(biāo)信息的對應(yīng)關(guān)系。例如當(dāng)用戶向左揮手時通過上述步驟得知用戶采用了向左揮手的姿勢動作，映射文件中規(guī)定向左揮手映射為鍵盤A按下。又例如當(dāng)用戶向右揮手時通過上述步驟得知用戶采用了向右揮手的姿勢動作，映射文件中規(guī)定向右揮手映射為鍵盤A抬起。
[0069]第一內(nèi)容獲取模塊124，用于根據(jù)所述操作指令獲取與所述操作指令相對應(yīng)的第
一內(nèi)容。
[0070]第一內(nèi)容是與所述操作指令相對應(yīng)的，包括游戲的程序代碼、圖像數(shù)據(jù)等信息。在本發(fā)明一實(shí)施例中，所述第一內(nèi)容獲取模塊進(jìn)一步包括函數(shù)調(diào)用單元1241，用于根據(jù)所述操作指令調(diào)用相關(guān)聯(lián)的函數(shù)，以及根據(jù)調(diào)用結(jié)果獲取與所述操作指令相對應(yīng)的第一內(nèi)容。
[0071]以上述實(shí)例為例，函數(shù)調(diào)用單元1241調(diào)用sendmessage函數(shù),通過游戲窗口參數(shù)(如hwnd)、鍵盤指令參數(shù)(如wm-keyup、wm_keydown)、鼠標(biāo)指令參數(shù)(如mousemove、mousefirst)等參數(shù)指定鍵盤A按下指令和鍵盤A抬起指令對應(yīng)“前進(jìn)”和“停止前進(jìn)”，該語句運(yùn)行后游戲圖像便改為游戲人物前進(jìn)圖像和游戲人物停止前進(jìn)圖像。游戲人物前進(jìn)和停止前進(jìn)相關(guān)的程序代碼和圖像數(shù)據(jù)等信息由第一內(nèi)容獲取模塊124獲取。
[0072]第二內(nèi)容發(fā)送模塊125，用于將第二內(nèi)容發(fā)送至所述客戶端，其中，所述第二內(nèi)容是所述第一內(nèi)容的子內(nèi)容。
[0073]以上述實(shí)例進(jìn)行說明，第一內(nèi)容獲取模塊124獲取的內(nèi)容包括游戲的程序代碼、圖像數(shù)據(jù)等信息，第二內(nèi)容發(fā)送模塊125僅將游戲的圖像數(shù)據(jù)發(fā)送給客戶端110，并由客戶端HO接收。
[0074]參照圖2，示出了本申請實(shí)施例2人機(jī)交互系統(tǒng)的示意圖，包括體感數(shù)據(jù)和/或語音數(shù)據(jù)采集裝置200、客戶端210和云服務(wù)器220。
[0075]體感數(shù)據(jù)和/或語音數(shù)據(jù)采集裝置200可為具有體感信息和語音信息采集功能的裝置，例如Kinect。
[0076]客戶端210可為PC機(jī)、機(jī)頂盒、電視、便攜終端、平板、投影機(jī)以及其他具有顯示功能的裝置。
[0077]云服務(wù)器220是一種類似VPS服務(wù)器的虛擬化技術(shù)，VPS是采用虛擬軟件，VZ或VM在一臺服務(wù)器上虛擬出多個類似獨(dú)立服務(wù)器的部分，每個部分都有云服務(wù)器的一個鏡像，都可以做單獨(dú)的操作系統(tǒng)，管理方法同服務(wù)器一樣。
[0078]體感數(shù)據(jù)和/或語音數(shù)據(jù)采集裝置200的結(jié)構(gòu)已在實(shí)施例1中加以說明，在此不再贅述。
[0079]客戶端210包括數(shù)據(jù)獲取模塊211、數(shù)據(jù)壓縮模塊212、數(shù)據(jù)傳輸模塊213、內(nèi)容接收模塊217、通知模塊214、USB設(shè)備驅(qū)動模塊215以及USB數(shù)據(jù)發(fā)送模塊216。其中:
[0080]數(shù)據(jù)獲取模塊211、數(shù)據(jù)壓縮模塊212、數(shù)據(jù)傳輸模塊213和內(nèi)容接收模塊217已在實(shí)施例1中加以說明，此處不再贅述。
[0081]通知模塊214用于針對所述體感數(shù)據(jù)和/或語音數(shù)據(jù)采集裝置發(fā)送通知至所述云服務(wù)器220。
[0082]客戶端210與云服務(wù)器220之間的通信基于TCP/IP協(xié)議。當(dāng)將體感數(shù)據(jù)和/或語音數(shù)據(jù)采集裝置200通過客戶端的USB接口與客戶端連接時，通知模塊214偵測到體感數(shù)據(jù)和/或語音數(shù)據(jù)采集裝置200，向云服務(wù)器220發(fā)出體感數(shù)據(jù)和/或語音數(shù)據(jù)采集裝置200插入的通知。該通知是封裝在IP包里的。
[0083]USB設(shè)備驅(qū)動模塊215用于解析自所述云服務(wù)器發(fā)送的IP包。
[0084]USB設(shè)備驅(qū)動模塊215負(fù)責(zé)各種應(yīng)用的USB設(shè)備，當(dāng)應(yīng)用程序?qū)υO(shè)備要進(jìn)行I/O訪問時，USB設(shè)備驅(qū)動模塊215將I/O請求轉(zhuǎn)換為一系列USB命令，然后以URB的形式提交給USB CORE。對一種USB傳輸類型，USB設(shè)備驅(qū)動模塊215只是用一個USB地址、一個端地址來和設(shè)備通信。在本發(fā)明一實(shí)施例中，體感數(shù)據(jù)和/或語音數(shù)據(jù)采集裝置200是固定的，即USB設(shè)備驅(qū)動模塊215僅負(fù)責(zé)特定的體感數(shù)據(jù)和/或語音數(shù)據(jù)采集裝置200，因此傳輸?shù)腎P包中可以去掉包頭。這樣更簡化了數(shù)據(jù)處理和傳輸過程。
[0085]云服務(wù)器220接收到客戶端210發(fā)出的體感數(shù)據(jù)和/或語音數(shù)據(jù)采集裝置200插入的通知后，解析是一個插入設(shè)備的請求，向客戶端發(fā)出獲取體感數(shù)據(jù)和/或語音數(shù)據(jù)的請求，該請求封裝在IP包中，客戶端210的USB設(shè)備驅(qū)動模塊215接收該請求，從該IP包種取出URB，傳送給體感數(shù)據(jù)和/或語音數(shù)據(jù)采集裝置200。
[0086]所述USB數(shù)據(jù)發(fā)送模塊216用于根據(jù)對所述IP包的解析結(jié)果將相應(yīng)的USB數(shù)據(jù)發(fā)送至所述云服務(wù)器220。
[0087]USB數(shù)據(jù)發(fā)送模塊216根據(jù)USB設(shè)備驅(qū)動模塊215解析出的URB請求，將由數(shù)據(jù)壓縮模塊212壓縮的體感數(shù)據(jù)和/或語音數(shù)據(jù)輸出給云服務(wù)器220。該數(shù)據(jù)同樣是封裝在IP包中傳輸?shù)摹?br> [0088]云服務(wù)器220包括數(shù)據(jù)接收模塊221、數(shù)據(jù)解壓縮模塊222、數(shù)據(jù)處理模塊223、第一內(nèi)容獲取模塊224、第二內(nèi)容發(fā)送模塊225、通知接收模塊226、虛擬USB設(shè)備驅(qū)動模塊227及USB數(shù)據(jù)接收模塊228。其中:
[0089]數(shù)據(jù)接收模塊221、數(shù)據(jù)解壓縮模塊222、數(shù)據(jù)處理模塊223、第一內(nèi)容獲取模塊224及第二內(nèi)容發(fā)送模塊225已在實(shí)施例1中加以說明，此處不再贅述。
[0090]通知接收模塊226，用于接收所述針對所述體感數(shù)據(jù)和/或語音數(shù)據(jù)采集裝置發(fā)送的通知。
[0091]當(dāng)將體感數(shù)據(jù)和/或語音數(shù)據(jù)采集裝置200通過客戶端的USB接口與客戶端連接時，通知模塊213偵測到體感數(shù)據(jù)和/或語音數(shù)據(jù)采集裝置200，發(fā)出體感數(shù)據(jù)和/或語音數(shù)據(jù)采集裝置200插入的通知。該通知是封裝在IP包里的，該通知由通知接收模塊226接收。
[0092]虛擬USB設(shè)備驅(qū)動模塊227，用于根據(jù)所述客戶端發(fā)送的所述通知生成USB請求，將該請求封裝成IP包，并將所述IP包發(fā)送至所述客戶端210。
[0093]云服務(wù)器220接收到客戶端210發(fā)出的體感數(shù)據(jù)和/或語音數(shù)據(jù)采集裝置200插入的通知后，解析是一個插入設(shè)備的請求，向客戶端發(fā)出獲取體感數(shù)據(jù)和/或語音數(shù)據(jù)的USB請求，該請求封裝在IP包中，并將該IP包發(fā)送至客戶端210。[0094]USB數(shù)據(jù)接收模塊228，用于接收所述USB數(shù)據(jù)發(fā)送模塊發(fā)送的所述USB數(shù)據(jù)。
[0095]客戶端210將由數(shù)據(jù)壓縮模塊212壓縮的體感數(shù)據(jù)和/或語音數(shù)據(jù)輸出，由USB數(shù)據(jù)接收模塊228接收該數(shù)據(jù)，該數(shù)據(jù)是由體感數(shù)據(jù)和/或語音數(shù)據(jù)采集裝置200獲取的體感數(shù)據(jù)和/或語音數(shù)據(jù)，并且同樣是封裝在IP包中傳輸?shù)?。之后由?shù)據(jù)解壓縮模塊222、數(shù)據(jù)處理模塊223、第一內(nèi)容獲取模塊224及第二內(nèi)容發(fā)送模塊225對該數(shù)據(jù)進(jìn)行處理，將用戶的肢體動作指令或語音指令所對應(yīng)的圖像數(shù)據(jù)傳輸至客戶端。
[0096]參照圖3，示出了本申請實(shí)施例1人機(jī)交互方法的示意圖，以下將對該方法進(jìn)行說明。
[0097]步驟S31:體感數(shù)據(jù)和/或語音數(shù)據(jù)采集裝置采集用戶的體感數(shù)據(jù)和/或語音數(shù)據(jù)。
[0098]以Kinect為例說明體感數(shù)據(jù)和/或語音數(shù)據(jù)采集裝置采集用戶的體感數(shù)據(jù)和/或語音數(shù)據(jù)的原理。Kinect的主要結(jié)構(gòu)為三個攝像頭、內(nèi)置陣列麥克風(fēng)系統(tǒng)以及底座馬達(dá)。左右兩邊攝像頭分別為紅外線發(fā)射器和紅外線CMOS攝像機(jī)，中間的鏡頭是RGB彩色攝像機(jī)。
[0099]紅外線發(fā)射器發(fā)出激光散斑(laser speckle),光線經(jīng)過擴(kuò)散分布在測量的空間內(nèi)，這些散斑具有高度的隨機(jī)性，而且會隨著距離的不同變換圖案，即空間中任意兩處的散斑圖案都是不同的。只要在空間中打上這樣的光，整個空間就都被做了標(biāo)記，把一個物體放進(jìn)這個空間，只要看看物體上面的散斑圖案，就可以知道這個物體在什么位置了。在這之前要把整個空間的散斑圖案都記錄下來，所以要先做一次光源的標(biāo)定。標(biāo)定的方法是:每隔一段距離，取一個參考平面，把參考平面上的散斑圖案記錄下來。假設(shè)Natal規(guī)定的用戶活動空間是距離電視機(jī)I米到4米的范圍，每隔IOcm取一個參考平面，那么標(biāo)定下來就保存了30幅散斑圖像。需要進(jìn)行測量的時候，拍攝一副待測場景的散斑圖像，將這幅圖像和保存下來的30幅參考圖像依次做互相關(guān)運(yùn)算，這樣會得到30幅相關(guān)度圖像，而空間中有物體存在的位置，在相關(guān)度圖像上就會顯示出峰值。把這些峰值一層層疊在一起，再經(jīng)過一些插值，就會得到整個場景的三維形狀了。
[0100]當(dāng)光射到人體之后會形成反射斑點(diǎn)，紅外線CMOS攝像機(jī)就用來記錄空間中的散斑，通過芯片合成出3D深度信息的圖像。
[0101]RGB彩色攝像機(jī)將獲得的圖像呈現(xiàn)出不同的顏色塊表示物體在空間的距離。識別到3D圖像深度信息后，通過軟件計算出人體主要的骨骼位置，通過精確掌握玩家身形輪廓與肢體位置來判斷玩家的姿勢動作。
[0102]內(nèi)置陣列麥克風(fēng)系統(tǒng)采用了四元線性麥克風(fēng)陣列，這一陣列由4個獨(dú)立的水平分布在Kinect下方的麥克風(fēng)組成。雖然每一個麥克風(fēng)都捕獲相同的音頻信號，但是組成陣列可以探測到聲音的來源方向。使得能夠用來識別從某一個特定的方向傳來的聲音。麥克風(fēng)陣列捕獲的音頻數(shù)據(jù)流經(jīng)過復(fù)雜的音頻增強(qiáng)效果算法處理來移除不相關(guān)的背景噪音。所有這些復(fù)雜操作在Kinect硬件和Kinect SDK之間進(jìn)行處理,這使得能夠在一個大的空間范圍內(nèi)，即使人離麥克風(fēng)一定的距離也能夠進(jìn)行語音命令的識別。
[0103]底座馬達(dá)采用了對焦技術(shù),底座馬達(dá)會隨著對焦物體的移動而相應(yīng)地轉(zhuǎn)動。
[0104]由此，Kinect的三個攝像頭、內(nèi)置陣列麥克風(fēng)系統(tǒng)以及底座馬達(dá)相互配合共同完成了肢體動作信息及語音信息的捕捉。[0105]步驟S32:客戶端自所述體感數(shù)據(jù)和/或語音數(shù)據(jù)采集裝置獲取采集的所述用戶的體感數(shù)據(jù)和/或語音數(shù)據(jù)。
[0106]以Kinect為例，用戶的肢體動作及語音信息被Kinect獲取，該肢體動作及語音信息是肢體的空間位置數(shù)據(jù)和/或音頻數(shù)據(jù)流，客戶端自Kinect獲取的是用戶的肢體的空間位置數(shù)據(jù)和/或音頻數(shù)據(jù)流。
[0107]步驟S33:壓縮所述獲取的所述用戶的體感數(shù)據(jù)和/或語音數(shù)據(jù)。
[0108]體感數(shù)據(jù)為用戶做出一段或多段動作的視頻數(shù)據(jù)。在本發(fā)明一實(shí)施例中，由體感數(shù)據(jù)和/或語音數(shù)據(jù)采集裝置100獲取的用戶的體感數(shù)據(jù)和/或語音數(shù)據(jù)為RAW格式。RAff格式圖像中的每一幀圖像為bmp格式，數(shù)據(jù)壓縮模塊112對每一幀圖像進(jìn)行濾波處理或歸一化處理，將圖像由bmp格式轉(zhuǎn)換為JPG格式，也可以轉(zhuǎn)換為MPEG、MPG、AV1、MOV、ASF、WMV、NAV1、3GP、REAL VIDEO、MKV、FLV、F4V、RMVB、WebM等格式。濾波處理可以采用常用的傅里葉變換、鄰域?yàn)V波(即輸出圖像中任何像素的值都是通過對像素周圍一定鄰域內(nèi)像素的值得來的)等方法。歸一化處理是通過一系列變換，利用圖像的不變矩尋找一組參數(shù)使其能夠消除其他變換函數(shù)對圖像變換的影響，將待處理的原始圖像轉(zhuǎn)換成相應(yīng)的唯一標(biāo)準(zhǔn)形式。在本發(fā)明一實(shí)施例中，歸一化處理是將bmp格式的原始圖像數(shù)據(jù)轉(zhuǎn)換成JPG格式的圖像數(shù)據(jù)。
[0109]語音數(shù)據(jù)采用線性脈沖編碼調(diào)制PCM，數(shù)據(jù)壓縮模塊112對體感數(shù)據(jù)的同步語音數(shù)據(jù)壓縮為⑶格式、WAVE (*.WAV)、AIFF、AU、MP3、MID1、WMA、RealAudio、VQF、0ggVorbis、AAC、APE等音頻格式文件。
[0110]步驟S34:將所述壓縮的所述用戶的體感數(shù)據(jù)和/或語音數(shù)據(jù)傳輸至所述云服務(wù)器。
[0111]用戶發(fā)出的某一指令可以僅為體感數(shù)據(jù)，也可以僅為語音數(shù)據(jù)，也可以是語音數(shù)據(jù)與體感數(shù)據(jù)的結(jié)合。當(dāng)用戶的指令既有語音數(shù)據(jù)，又有體感數(shù)據(jù)時，同步壓縮語音數(shù)據(jù)和體感數(shù)據(jù)，并將兩部分?jǐn)?shù)據(jù)同時傳輸至云服務(wù)器120。
[0112]步驟S35:云服務(wù)器接收所述壓縮的所述用戶的體感數(shù)據(jù)和/或語音數(shù)據(jù)。
[0113]上述體感數(shù)據(jù)和/或語音數(shù)據(jù)壓縮后，傳輸至云服務(wù)器120，云服務(wù)器120接收數(shù)據(jù)。
[0114]步驟S36:解壓縮所述壓縮的所述用戶的體感數(shù)據(jù)和/或語音數(shù)據(jù)。
[0115]將所述壓縮的所述用戶的壓縮的體感數(shù)據(jù)和/或語音數(shù)據(jù)按照歸一化處理相反的方式轉(zhuǎn)換為原始圖像和音頻數(shù)據(jù)，完成圖像的解壓縮。
[0116]步驟S37:分析所述用戶的體感數(shù)據(jù)和/或語音數(shù)據(jù)，并將所述用戶的體感數(shù)據(jù)和/或語音數(shù)據(jù)轉(zhuǎn)換為所述云服務(wù)器可識別的操作指令。
[0117]在本發(fā)明一實(shí)施例中，根據(jù)預(yù)置的映射文件將所述體感數(shù)據(jù)和/或語音數(shù)據(jù)映射為所述云服務(wù)器可識別的操作指令。
[0118]云服務(wù)器中嵌入一應(yīng)用程序，通過運(yùn)行該應(yīng)用程序可將云服務(wù)器120中的每個游戲涉及到的體感數(shù)據(jù)和/或語音數(shù)據(jù)轉(zhuǎn)換為所述云服務(wù)器120可識別的操作指令。該應(yīng)用程序可由程序人員使用JAVA語音或C語言編寫的應(yīng)用程序。該應(yīng)用程序定義了用戶的不同的姿勢動作或語義所對應(yīng)的電腦鍵盤或鼠標(biāo)指令。
[0119]通過映射步驟，可以根據(jù)用戶的體感數(shù)據(jù)和/或語音數(shù)據(jù)來判斷用戶采用了哪一種姿勢動作，將該姿勢動作與映射文件中的該游戲所涉及到的姿勢動作進(jìn)行對照。若該姿勢動作符合映射文件中的該游戲所涉及到的某一姿勢動作，則通過該應(yīng)用程序?qū)⒂脩舻淖藙輨幼鬓D(zhuǎn)換為云服務(wù)器120可識別的鍵盤信息或鼠標(biāo)信息。該鍵盤信息或鼠標(biāo)信息可以是用戶在游戲環(huán)境下需要操作的某一組電腦鍵盤或鼠標(biāo)。
[0120]以下通過一實(shí)例說明所述映射文件中肢體動作與云服務(wù)器120可識別的鍵盤信息或鼠標(biāo)信息的對應(yīng)關(guān)系。例如當(dāng)用戶向左揮手時通過上述步驟得知用戶采用了向左揮手的姿勢動作，映射文件中規(guī)定向左揮手映射為鍵盤A按下。又例如當(dāng)用戶向右揮手時通過上述步驟得知用戶采用了向右揮手的姿勢動作，映射文件中規(guī)定向右揮手映射為鍵盤A抬起。
[0121]步驟S38:根據(jù)所述操作指令獲取與所述操作指令相對應(yīng)的第一內(nèi)容。
[0122]第一內(nèi)容是與所述操作指令相對應(yīng)的，包括游戲的程序代碼、圖像數(shù)據(jù)等信息。在本發(fā)明一實(shí)施例中，根據(jù)所述操作指令調(diào)用相關(guān)聯(lián)的函數(shù)，以及根據(jù)調(diào)用結(jié)果獲取與所述操作指令相對應(yīng)的第一內(nèi)容。
[0123]在本發(fā)明一實(shí)施例中,調(diào)用sendmessage函數(shù),通過游戲窗口參數(shù)(如hwnd)、鍵盤指令參數(shù)(如wm-keyup、wm_keydown)、鼠標(biāo)指令參數(shù)(如mousemove、mousefirst)等參數(shù)指定鍵盤A按下指令和鍵盤A抬起指令對應(yīng)“前進(jìn)”和“停止前進(jìn)”，該語句運(yùn)行后游戲圖像便改為游戲人物前進(jìn)圖像和游戲人物停止前進(jìn)圖像，從而獲取游戲人物前進(jìn)和停止前進(jìn)相關(guān)的程序代碼和圖像數(shù)據(jù)等信息。
[0124]步驟S39:將第二內(nèi)容發(fā)送至所述客戶端，其中，所述第二內(nèi)容是所述第一內(nèi)容的子內(nèi)容。
[0125]在本發(fā)明一實(shí)施例中，第一內(nèi)容包括游戲的程序代碼、圖像數(shù)據(jù)等信息，第二內(nèi)容則是指該游戲在客戶端顯示的圖像數(shù)據(jù)，云服務(wù)器120僅將游戲的圖像數(shù)據(jù)發(fā)送給客戶端110。
[0126]步驟S40:客戶端接收所述第二內(nèi)容。
[0127]云服務(wù)器120將游戲的圖像數(shù)據(jù)發(fā)送給客戶端110，由客戶端110接收并通過顯示器呈現(xiàn)給用戶。
[0128]參照圖4，示出了本申請實(shí)施例2人機(jī)交互方法的示意圖，以下將對該方法進(jìn)行說明。
[0129]步驟S401:客戶端針對所述體感數(shù)據(jù)和/或語音數(shù)據(jù)采集裝置發(fā)送通知至云服務(wù)器。
[0130]客戶端110與云服務(wù)器120之間的通信基于TCP/IP協(xié)議。當(dāng)將體感數(shù)據(jù)和/或語音數(shù)據(jù)采集裝置100通過客戶端的USB接口與客戶端連接時，客戶端偵測到體感數(shù)據(jù)和/或語音數(shù)據(jù)采集裝置100，向云服務(wù)器120發(fā)出體感數(shù)據(jù)和/或語音數(shù)據(jù)采集裝置100插入的通知。該通知是封裝在IP包里的。
[0131 ] 步驟S402:所述云服務(wù)器接收所述針對所述體感數(shù)據(jù)和/或語音數(shù)據(jù)采集裝置發(fā)送的通知；根據(jù)所述客戶端發(fā)送的所述通知生成USB請求，將該請求封裝成IP包，并將所述IP包發(fā)送至所述客戶端。
[0132]云服務(wù)器120接收到客戶端110發(fā)出的體感數(shù)據(jù)和/或語音數(shù)據(jù)采集裝置100插入的通知，解析是一個插入設(shè)備的請求，向客戶端發(fā)出獲取體感數(shù)據(jù)和/或語音數(shù)據(jù)的請求，該請求封裝在IP包中，客戶端Iio的USB設(shè)備驅(qū)動模塊114接收該請求，從該IP包種取出URB，傳送給體感數(shù)據(jù)和/或語音數(shù)據(jù)采集裝置100。
[0133]步驟S403:所述客戶端解析自所述云服務(wù)器發(fā)送的IP包。
[0134]客戶端110中安裝了 USB設(shè)備驅(qū)動程序，負(fù)責(zé)各種應(yīng)用的USB設(shè)備，當(dāng)應(yīng)用程序?qū)υO(shè)備要進(jìn)行I/o訪問時，USB設(shè)備驅(qū)動程序?qū)/O請求轉(zhuǎn)換為一系列USB命令，然后以URB的形式提交給USB CORE。對一種USB傳輸類型，USB設(shè)備驅(qū)動程序只是用一個USB地址、一個端地址來和設(shè)備通信。在本發(fā)明一實(shí)施例中，體感數(shù)據(jù)和/或語音數(shù)據(jù)采集裝置100是固定的，即USB設(shè)備驅(qū)動程序僅負(fù)責(zé)特定的體感數(shù)據(jù)和/或語音數(shù)據(jù)采集裝置100，因此傳輸?shù)腎P包中可以去掉包頭。這樣更簡化了數(shù)據(jù)處理和傳輸過程。
[0135]步驟S404:根據(jù)對所述IP包的解析結(jié)果將相應(yīng)的USB數(shù)據(jù)發(fā)送至所述云服務(wù)器。
[0136]USB數(shù)據(jù)是指體感數(shù)據(jù)和/或語音數(shù)據(jù)采集裝置100采集的用戶的體感數(shù)據(jù)和/或語音數(shù)據(jù)。在發(fā)送USB數(shù)據(jù)之前，體感數(shù)據(jù)和/或語音數(shù)據(jù)采集裝置100采集用戶的體感數(shù)據(jù)和/或語音數(shù)據(jù)，并傳輸給客戶端，由客戶端壓縮所述獲取的所述用戶的體感數(shù)據(jù)和/或語音數(shù)據(jù)，再將所述壓縮的所述用戶的體感數(shù)據(jù)和/或語音數(shù)據(jù)封裝在IP包中，發(fā)送至云服務(wù)器120。其中，體感數(shù)據(jù)和/或語音數(shù)據(jù)的壓縮和解壓縮的過程已在圖1中加以說明，再次不在贅述。
[0137]步驟S405:云服務(wù)器接收所述壓縮的所述用戶的體感數(shù)據(jù)和/或語音數(shù)據(jù)。
[0138]云服務(wù)器接收包含壓縮的所述用戶的體感數(shù)據(jù)和/或語音數(shù)據(jù)的IP包，對該IP包進(jìn)行解析，從中取出壓縮的所述用戶的體感數(shù)據(jù)和/或語音數(shù)據(jù)。
[0139]步驟S406:解壓縮所述壓縮的所述用戶的體感數(shù)據(jù)和/或語音數(shù)據(jù)。
[0140]步驟S407:分析所述用戶的體感數(shù)據(jù)和/或語音數(shù)據(jù)，并將所述用戶的體感數(shù)據(jù)和/或語音數(shù)據(jù)轉(zhuǎn)換為所述云服務(wù)器可識別的操作指令。
[0141]步驟S406—步驟S407與圖3中步驟S36—步驟S38相同，在此不再贅述。
[0142]步驟S408:根據(jù)所述操作指令獲取與所述操作指令相對應(yīng)的第一內(nèi)容；將內(nèi)容數(shù)據(jù)發(fā)送至所述客戶端，其中，所述第二內(nèi)容是所述第一內(nèi)容的子內(nèi)容。
[0143]在本發(fā)明一實(shí)施例中，第一內(nèi)容包括游戲的程序代碼、圖像數(shù)據(jù)等信息，第二內(nèi)容則是指該游戲在客戶端顯示的圖像數(shù)據(jù)，云服務(wù)器120僅將游戲的圖像數(shù)據(jù)發(fā)送給客戶端110，發(fā)送的內(nèi)容是封裝在IP包中的。
[0144]步驟S409:客戶端接收所述第二內(nèi)容。
[0145]客戶端110接收包含圖像數(shù)據(jù)的IP包，解析該IP包，從中取出圖像數(shù)據(jù)，呈現(xiàn)在客戶端110的顯示裝置上。
[0146]本說明書中的各個實(shí)施例均采用遞進(jìn)的方式描述，每個實(shí)施例重點(diǎn)說明的都是與其他實(shí)施例的不同之處，各個實(shí)施例之間相同相似的部分互相參見即可。
[0147]以上對本申請所提供的一種人機(jī)交互系統(tǒng)及方法進(jìn)行了詳細(xì)介紹，本文中應(yīng)用了具體個例對本申請的原理及實(shí)施方式進(jìn)行了闡述，以上實(shí)施例的說明只是用于幫助理解本申請的方法及其核心思想；同時，對于本領(lǐng)域的一般技術(shù)人員，依據(jù)本申請的思想，在【具體實(shí)施方式】及應(yīng)用范圍上均會有改變之處，綜上所述，本說明書內(nèi)容不應(yīng)理解為對本申請的限制。
【權(quán)利要求】
1.一種人機(jī)交互系統(tǒng)，包括: 體感數(shù)據(jù)和/或語音數(shù)據(jù)采集裝置、客戶端和云服務(wù)器，其中， 所述體感數(shù)據(jù)和/或語音數(shù)據(jù)采集裝置用于采集用戶的體感數(shù)據(jù)和/或語音數(shù)據(jù)； 所述客戶端包括數(shù)據(jù)獲取模塊，用于自所述體感數(shù)據(jù)和/或語音數(shù)據(jù)采集裝置獲取采集的所述用戶的體感數(shù)據(jù)和/或語音數(shù)據(jù)；數(shù)據(jù)壓縮模塊，用于壓縮所述獲取的所述用戶的體感數(shù)據(jù)和/或語音數(shù)據(jù)；數(shù)據(jù)傳輸模塊，用于將所述壓縮的所述用戶的體感數(shù)據(jù)和/或語音數(shù)據(jù)傳輸至所述云服務(wù)器；內(nèi)容接收模塊，用于接收自所述客戶端發(fā)送的第二內(nèi)容； 所述云服務(wù)器包括數(shù)據(jù)接收模塊，用于接收自所述數(shù)據(jù)傳輸模塊傳送的所述壓縮的所述用戶的體感數(shù)據(jù)和/或語音數(shù)據(jù)；數(shù)據(jù)解壓縮模塊，用于解壓縮所述壓縮的所述用戶的體感數(shù)據(jù)和/或語音數(shù)據(jù)；數(shù)據(jù)處理模塊，用于分析所述用戶的體感數(shù)據(jù)和/或語音數(shù)據(jù)，并將所述用戶的體感數(shù)據(jù)和/或語音數(shù)據(jù)轉(zhuǎn)換為所述云服務(wù)器可識別的操作指令；第一內(nèi)容獲取模塊，用于根據(jù)所述操作指令獲取與所述操作指令相對應(yīng)的第一內(nèi)容；第二內(nèi)容發(fā)送模塊，用于將第二內(nèi)容發(fā)送至所述客戶端，其中，所述第二內(nèi)容是所述第一內(nèi)容的子內(nèi)容。
2.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于，所述客戶端進(jìn)一步包括通知模塊、USB設(shè)備驅(qū)動模塊以及USB數(shù)據(jù)發(fā)送模塊，其中，所述通知模塊用于針對所述體感數(shù)據(jù)和/或語音數(shù)據(jù)采集裝置發(fā)送通知至所述云服務(wù)器；所述USB設(shè)備驅(qū)動模塊用于解析自所述云服務(wù)器發(fā)送的IP包；所述USB數(shù)據(jù)發(fā)送模塊用于根據(jù)對所述IP包的解析結(jié)果將相應(yīng)的USB數(shù)據(jù)發(fā)送至所述云服務(wù)器； 所述云服務(wù)器進(jìn)一步包括通知接收模塊，用于接收所述針對所述體感數(shù)據(jù)和/或語音數(shù)據(jù)采集裝置發(fā)送的通知；虛擬USB設(shè)備驅(qū)動模塊，用于根據(jù)所述客戶端發(fā)送的所述通知生成USB請求，將該請求封裝成IP包，并將所述IP包發(fā)送至所述客戶端；USB數(shù)據(jù)接收模塊，用于接收所述USB數(shù)據(jù)發(fā)送模塊發(fā)送的所述USB數(shù)據(jù)。
3.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于，所述數(shù)據(jù)處理模塊進(jìn)一步包括映射單元，用于根據(jù)預(yù)置的映射文件將所述體感數(shù)據(jù)和/或語音數(shù)據(jù)映射為所述云服務(wù)器可識別的操作指令。
4.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于，所述第一內(nèi)容獲取模塊進(jìn)一步包括函數(shù)調(diào)用單元，用于根據(jù)所述操作指令調(diào)用相關(guān)聯(lián)的函數(shù)，以及根據(jù)調(diào)用結(jié)果獲取與所述操作指令相對應(yīng)的第一內(nèi)容。
5.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于，所述客戶端包括PC機(jī)、機(jī)頂盒、電視、便攜終端、平板和投影機(jī)。
6.一種人機(jī)交互方法，包括: 體感數(shù)據(jù)和/或語音數(shù)據(jù)采集裝置采集用戶的體感數(shù)據(jù)和/或語音數(shù)據(jù)； 客戶端自所述體感數(shù)據(jù)和/或語音數(shù)據(jù)采集裝置獲取采集的所述用戶的體感數(shù)據(jù)和/或語音數(shù)據(jù)；壓縮所述獲取的所述用戶的體感數(shù)據(jù)和/或語音數(shù)據(jù)；將所述壓縮的所述用戶的體感數(shù)據(jù)和/或語音數(shù)據(jù)傳輸至所述云服務(wù)器； 云服務(wù)器接收所述壓縮的所述用戶的體感數(shù)據(jù)和/或語音數(shù)據(jù)；解壓縮所述壓縮的所述用戶的體感數(shù)據(jù)和/或語音數(shù)據(jù)；分析所述用戶的體感數(shù)據(jù)和/或語音數(shù)據(jù)，并將所述用戶的體感數(shù)據(jù)和/或語音數(shù)據(jù)轉(zhuǎn)換為所述云服務(wù)器可識別的操作指令；根據(jù)所述操作指令獲取與所述操作指令相對應(yīng)的第一內(nèi)容；將第二內(nèi)容發(fā)送至所述客戶端，其中，所述第二內(nèi)容是所述第一內(nèi)容的子內(nèi)容； 客戶端接收所述第二內(nèi)容。
7.根據(jù)權(quán)利要求6所述的方法，其特征在于，進(jìn)一步包括: 客戶端針對所述體感數(shù)據(jù)和/或語音數(shù)據(jù)采集裝置發(fā)送通知至云服務(wù)器； 所述云服務(wù)器接收所述針對所述體感數(shù)據(jù)和/或語音數(shù)據(jù)采集裝置發(fā)送的通知；根據(jù)所述客戶端發(fā)送的所述通知生成USB請求，將該請求封裝成IP包，并將所述IP包發(fā)送至所述客戶端； 所述客戶端解析自所述云服務(wù)器發(fā)送的IP包；根據(jù)對所述IP包的解析結(jié)果將相應(yīng)的USB數(shù)據(jù)發(fā)送至所述云服務(wù)器。
8.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述將所述用戶的體感數(shù)據(jù)和/或語音數(shù)據(jù)轉(zhuǎn)換為所述云服務(wù)器可識別的操作指令進(jìn)一步包括根據(jù)預(yù)置的映射文件將所述體感數(shù)據(jù)和/或語音數(shù)據(jù)映射為所述云服 務(wù)器可識別的操作指令。
9.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述根據(jù)所述操作指令獲取與所述操作指令相對應(yīng)的第一內(nèi)容進(jìn)一步包括根據(jù)所述操作指令調(diào)用相關(guān)聯(lián)的函數(shù)，以及根據(jù)調(diào)用結(jié)果獲取與所述操作指令相對應(yīng)的第一內(nèi)容。
10.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述操作指令包括可被服務(wù)器識別的按鍵指令和鼠標(biāo)指令。
【文檔編號】H04L29/08GK103916431SQ201310000643
【公開日】2014年7月9日 申請日期:2013年1月4日 優(yōu)先權(quán)日:2013年1月4日
【發(fā)明者】鄧迪 申請人:云聯(lián)（北京）信息技術(shù)有限公司