本發(fā)明公開了一種基于深度學(xué)習(xí)與大數(shù)據(jù)的體感游戲交互方法及系統(tǒng)，屬于人機交互技術(shù)領(lǐng)域。

背景技術(shù)：

體感游戲是一種通過玩家的肢體動作變化來操作和感受的新型電子游戲。相比于傳統(tǒng)的依靠鼠標鍵盤、游戲手柄等設(shè)備作為交互媒介的電子游戲系統(tǒng)而言，體感游戲通過識別玩家“肢體動作”作為交互方式。傳統(tǒng)電子游戲要求玩家長期坐于游戲設(shè)備前，不利于身心健康，而在體感游戲中，玩家通過身體向游戲發(fā)出全部指令，身體與游戲一起舞動沒有任何束縛，這極大地豐富了玩家的游戲沉浸感，給予了玩家極佳的體感體驗，并且在游戲娛樂的同時也能鍛煉身體。

目前，體感游戲有以下實現(xiàn)方式：1、微軟的xbox360通過采用kinect3d攝像機采集玩家的肢體骨骼信息來識別玩家肢體動作，其識別準確率高但設(shè)備昂貴；2、通過佩戴或手持的傳感器來采集玩家的肢體信息，從而識別玩家肢體動作，該實現(xiàn)要求玩家佩戴或手持傳感器，這可能會造成玩家的不適，影響玩家體驗?？偠灾?，這些體感游戲?qū)τ布O(shè)備要求嚴格，配置環(huán)境復(fù)雜，游戲成本高，不利于體感游戲的普及與推廣。

技術(shù)實現(xiàn)要素：

鑒于現(xiàn)有體感游戲的缺陷，現(xiàn)提出一種基于深度學(xué)習(xí)與大數(shù)據(jù)的體感游戲交互方法和系統(tǒng)。使用普通攝像頭實時采集游戲玩家游戲操作視頻，經(jīng)過深度卷積神經(jīng)網(wǎng)絡(luò)提取動作高層語義特征，對肢體動作進行判別，并轉(zhuǎn)換為對游戲目標的實際控制數(shù)據(jù)，從而實現(xiàn)由玩家肢體控制游戲目標做出與玩家運動相應(yīng)的動作。

本發(fā)明提供了如下方案：

一種基于深度學(xué)習(xí)與大數(shù)據(jù)的體感游戲人機交互方法，所述方法包括：

步驟一收集動作視頻樣本數(shù)據(jù)集

預(yù)先收集不同玩家游戲時的肢體動作視頻片段，得到動作視頻樣本數(shù)據(jù)集，并為樣本數(shù)據(jù)添加相應(yīng)的動作標簽，動作標簽與游戲目標控制指令一一對應(yīng)；

步驟二建立并離線訓(xùn)練深度卷積神經(jīng)網(wǎng)絡(luò)模型

對步驟一獲得的視頻樣本數(shù)據(jù)集進行深度學(xué)習(xí)訓(xùn)練，建立深度卷積神經(jīng)網(wǎng)絡(luò)模型并進行離線訓(xùn)練，離線訓(xùn)練時將誤差反向傳播，并使用隨機梯度下降法更新網(wǎng)絡(luò)權(quán)重參數(shù)，最終使網(wǎng)絡(luò)的損失函數(shù)到達一個最小值，所述深度卷積神經(jīng)網(wǎng)絡(luò)模型用于輸入玩家游戲時的肢體動作視頻，輸出玩家動作預(yù)測結(jié)果；所述玩家動作預(yù)測結(jié)果包括動作分類及動作分類的概率分布數(shù)據(jù)；

步驟三使用將深度卷積神經(jīng)網(wǎng)絡(luò)模型

將深度卷積神經(jīng)網(wǎng)絡(luò)模型融合進體感游戲交互系統(tǒng)中，通過深度卷積神經(jīng)網(wǎng)絡(luò)分析玩家游戲時的實時肢體動作，并轉(zhuǎn)換為對游戲目標的實際控制數(shù)據(jù)。

進一步的，所述動作視頻樣本數(shù)據(jù)庫包括訓(xùn)練數(shù)據(jù)庫、驗證數(shù)據(jù)庫、測試數(shù)據(jù)庫，大小比例為70％：10％：20％。

進一步的，對深度卷積神經(jīng)網(wǎng)絡(luò)的離線訓(xùn)練，具體包括：

確定用于網(wǎng)絡(luò)模型訓(xùn)練的不同玩家游戲時的肢體動作視頻，對視頻幀的尺寸歸一化，方便后續(xù)的特征分析與提?。?/p>

將動作視頻在卷積神經(jīng)網(wǎng)絡(luò)模型中做迭代訓(xùn)練，并在迭代訓(xùn)練過程中采用隨機梯度下降法調(diào)整網(wǎng)絡(luò)權(quán)值參數(shù)，直到達到最大迭代次數(shù)或者在驗證集上檢測的準確率連續(xù)一定時間不下降了再停止訓(xùn)練，最終得到用于對玩家游戲時的實時肢體動作進行分析的卷積神經(jīng)網(wǎng)絡(luò)模型。

進一步的，深度卷積神經(jīng)網(wǎng)絡(luò)模型包括卷積層、下采樣層、全連接層、softmax層，所述卷積層包括五層卷積層，第一、三、五層卷積層各設(shè)有一個下采樣層(max-pooling層)，下采樣層用于對卷積操作處理后得到的特征圖進行下采樣，實現(xiàn)了特征降維；卷積層和全連接層的激活函數(shù)采用修正線性單元relu，這能提高模型的收斂速度。

進一步的，所述方法還包括：

步驟四基于大數(shù)據(jù)的深度網(wǎng)絡(luò)模型在線優(yōu)化

在將該體感游戲系統(tǒng)投放于市場之后，利用大數(shù)據(jù)平臺收集玩家實際的游戲操作肢體動作視頻；

對視頻進行預(yù)處理后，傳送至云服務(wù)器，在云服務(wù)器中構(gòu)建大規(guī)模帶標簽的樣本數(shù)據(jù)庫；

定期利用所述動作視頻樣本數(shù)據(jù)庫對所述離線訓(xùn)練得到的深度卷積神經(jīng)網(wǎng)絡(luò)模型進行在線微調(diào)，進一步提高網(wǎng)絡(luò)的識別準確率；

定期將所述在線微調(diào)后的網(wǎng)絡(luò)模型更新至體感游戲交互系統(tǒng)中，讓游戲玩家獲得更好的體感體驗。

進一步的，對視頻進行預(yù)處理，包括剔除視頻中與游戲玩家肢體操作內(nèi)容無關(guān)的幀，并對視頻尺度歸一化。

進一步的，將視頻傳送至云服務(wù)器之前，使用視頻壓縮技術(shù)減少視頻數(shù)據(jù)的冗余后，再將壓縮后的視頻存儲至云服務(wù)器中，從而在云服務(wù)器中構(gòu)建大規(guī)模帶標簽的樣本數(shù)據(jù)庫。

一個高精度的深度卷積神經(jīng)網(wǎng)絡(luò)模型的構(gòu)建需要龐大的訓(xùn)練數(shù)據(jù)集，訓(xùn)練數(shù)據(jù)集過小容易導(dǎo)致網(wǎng)絡(luò)過擬合，網(wǎng)絡(luò)的泛化能力差。因此，采用上述的大規(guī)模帶標簽的樣本數(shù)據(jù)庫對上述預(yù)訓(xùn)練的深度網(wǎng)絡(luò)模型進行微調(diào)可以進一步提升網(wǎng)絡(luò)的精度。

一種基于深度學(xué)習(xí)與大數(shù)據(jù)的體感游戲人機交互系統(tǒng)，所述系統(tǒng)包括：

深度卷積神經(jīng)網(wǎng)絡(luò)離線訓(xùn)練模塊，用于對由玩家戲時的肢體動作視頻組成的訓(xùn)練樣本數(shù)據(jù)集進行深度學(xué)習(xí)訓(xùn)練，建立深度卷積神經(jīng)網(wǎng)絡(luò)。訓(xùn)練時將誤差反向傳播，并使用隨機梯度下降法更新網(wǎng)絡(luò)權(quán)重參數(shù)，最終使網(wǎng)絡(luò)的損失函數(shù)到達一個最小值。所述深度卷積神經(jīng)網(wǎng)絡(luò)用于輸入玩家游戲時的肢體動作視頻，輸出游戲玩家動作預(yù)測結(jié)果；所述游戲玩家動作預(yù)測結(jié)果包括動作分類及其概率分布數(shù)據(jù)；

實時人機交互模塊，用于在游戲玩家開始游戲時，啟動游戲主機自帶的普通攝像頭，實時采集游戲玩家與游戲目標人物交互的肢體動作，并傳送至游戲主機的中央處理單元，作為上述深度卷積神經(jīng)網(wǎng)絡(luò)模型的數(shù)據(jù)輸入流，經(jīng)過深度網(wǎng)絡(luò)的分析之后，得到游戲玩家動作類別，再發(fā)出與該類別相應(yīng)的指令控制游戲目標人物的運動軌跡，進而更新游戲畫面，從而實現(xiàn)體感游戲的人機交互過程。

基于大數(shù)據(jù)的深度網(wǎng)絡(luò)模型在線優(yōu)化模塊，用于利用大數(shù)據(jù)平臺收集玩家游戲時的肢體動作視頻，對視頻進行預(yù)處理后傳送至云服務(wù)器，在云服務(wù)器中構(gòu)建大規(guī)模帶標簽的樣本數(shù)據(jù)庫；定期利用所述樣本數(shù)據(jù)庫對所述離線訓(xùn)練得到的深度卷積神經(jīng)網(wǎng)絡(luò)模型進行在線微調(diào)，并定期將所述在線微調(diào)后的網(wǎng)絡(luò)模型更新至體感游戲交互系統(tǒng)中，讓游戲玩家獲得更好的體感體驗。

本發(fā)明的有益效果在于：本發(fā)明的一種基于深度學(xué)習(xí)與大數(shù)據(jù)的體感游戲交互方法及系統(tǒng)，與現(xiàn)有體感游戲?qū)崿F(xiàn)方案相比，本發(fā)明具有以下優(yōu)點：

第一，由于本發(fā)明僅采用普通攝像頭作為數(shù)據(jù)采集傳感器，不僅操作方便，而且極大地降低了成本，有利于推廣與普及；

第二，由于本發(fā)明采用深度卷積神經(jīng)網(wǎng)絡(luò)模型，因而不需要手動地去選取描述玩家動作的特征，而是通過訓(xùn)練讓網(wǎng)絡(luò)自己去學(xué)習(xí)特征，使得深度網(wǎng)絡(luò)的自適應(yīng)識別能力非常強；

第三，由于本發(fā)明充分利用“大數(shù)據(jù)”的優(yōu)勢，收集游戲玩家實際操作視頻，并傳至云服務(wù)器，從而可以在云服務(wù)器中構(gòu)建大規(guī)模帶標簽的樣本數(shù)據(jù)庫，解決了深度卷積神經(jīng)網(wǎng)絡(luò)因訓(xùn)練數(shù)據(jù)庫小而導(dǎo)致的過擬合問題，提高了深度網(wǎng)絡(luò)的泛化能力。利用游戲玩家自身的實際操作視頻對深度網(wǎng)絡(luò)模型進行自適應(yīng)訓(xùn)練，這不僅進一步地提高了網(wǎng)絡(luò)的準確率，而且極大地提高了游戲玩家的參與度，并且給游戲玩家?guī)砹烁玫捏w感體驗。

附圖說明

圖1為本發(fā)明實施例提供的一種基于深度學(xué)習(xí)的體感游戲交互方法示意圖；

圖2為本發(fā)明實施例提供的一種基于大數(shù)據(jù)的深度學(xué)習(xí)網(wǎng)絡(luò)模型在線優(yōu)化方法示意圖；

圖3為本發(fā)明實施例提供的基于深度學(xué)習(xí)與大數(shù)據(jù)的體感游戲交互系統(tǒng)示意圖；

圖4為本發(fā)明實施例提供的基于深度學(xué)習(xí)與大數(shù)據(jù)的體感游戲交互系統(tǒng)的原理圖。

具體實施方式

下面，結(jié)合附圖以及具體實施方式，對本發(fā)明做進一步描述：

實施例1

如圖1所示，本發(fā)明實施例提供了一種基于深度學(xué)習(xí)的體感游戲交互方法，包括：

步驟s101，預(yù)先收集不同游戲時的肢體動作視頻，得到動作視頻樣本數(shù)據(jù)庫，并為樣本數(shù)據(jù)添加相應(yīng)的動作標簽，動作標簽與游戲目標控制指令一一對應(yīng)；

步驟s102，對上述視頻樣本數(shù)據(jù)集進行深度學(xué)習(xí)訓(xùn)練，建立深度卷積神經(jīng)網(wǎng)絡(luò)，訓(xùn)練時將誤差反向傳播，并使用隨機梯度下降法更新網(wǎng)絡(luò)權(quán)重參數(shù)，最終使網(wǎng)絡(luò)的損失函數(shù)到達一個最小值。所述深度卷積神經(jīng)網(wǎng)絡(luò)用于輸入玩家游戲時的肢體動作視頻，輸出游戲玩家動作預(yù)測結(jié)果；所述游戲玩家動作預(yù)測結(jié)果包括動作分類及其概率分布數(shù)據(jù)；

步驟s103，將所述深度卷積神經(jīng)網(wǎng)絡(luò)模型融合進體感游戲交互系統(tǒng)中，通過深度卷積神經(jīng)網(wǎng)絡(luò)分析玩家游戲時的實時肢體動作，并轉(zhuǎn)換為對游戲目標的實際控制數(shù)據(jù)。

本發(fā)明實施例對深度卷積神經(jīng)網(wǎng)絡(luò)的建立方式不做限定，在上述實施例的基礎(chǔ)上，優(yōu)選的，所述步驟s102可以具體為：對上述玩家游戲時的肢體動作視頻進行訓(xùn)練，建立深度為m的卷積神經(jīng)網(wǎng)絡(luò)，m為正整數(shù)；所述深度卷積神經(jīng)網(wǎng)絡(luò)還對卷積核類型、卷積核大小、池化方式、學(xué)習(xí)速率、迭代次數(shù)、損失函數(shù)等參數(shù)進行設(shè)置；所屬深度為m的卷積神經(jīng)網(wǎng)絡(luò)，包括m層卷積層；第1層用于輸入游戲玩家實際的游戲操作視頻，輸出第一層提出的特征，第i層卷積層用于輸入第i-1層提取的特征，輸出第i層提取的特征，i為大于1的正整數(shù)。采用多層卷積層、全連接層、判別層來組成最終的深度卷積神經(jīng)網(wǎng)絡(luò)。在此基礎(chǔ)上，本發(fā)明實施例對深度卷積神經(jīng)網(wǎng)絡(luò)的迭代次數(shù)不做限定，優(yōu)選的，網(wǎng)絡(luò)可以迭代5000次。

本發(fā)明實施例對卷積層所采用的卷積核形式不做限定，進一步的，卷積操作實際上是一個相關(guān)運算，公式可以定義為：

本發(fā)明實施例對下采樣層所采用的池化方式不做限定，優(yōu)選的，取平均池化，其計算公式為：

本發(fā)明實施例對網(wǎng)絡(luò)所采用的激活函數(shù)不做限定，優(yōu)選的，采用修正線性單元relu函數(shù)作為激活函數(shù)，定義為：f(x)＝max(0,x)，這樣做的好處的是無飽和區(qū)且收斂快。所述通過深度卷積神經(jīng)網(wǎng)絡(luò)，對玩家實際的游戲操作視頻進行分析預(yù)測的步驟中，可以采用softmax函數(shù)對玩家肢體動作進行判決。給定一個訓(xùn)練集t＝{(x⁽¹⁾,y⁽¹⁾),...,(x^(m),y^(m))}，softmax分類器將輸出一個k維的向量，計算函數(shù)表示為：

其中是模型參數(shù)。

本發(fā)明實施例對游戲肢體動作分類不做限定，對游戲控制指令不做限定，優(yōu)選的，可以根據(jù)具體的游戲場景進行設(shè)計。

本發(fā)明實施例對離線訓(xùn)練階段所選的游戲玩家的人數(shù)不做限定，優(yōu)選的，針對某一種具體的體感游戲，可以選取n個人(n為正整數(shù))，每個人針對該款游戲做出各種可能的肢體動作，并采用游戲主機自帶的普通攝像頭進行采集，然后手動對玩家肢體動作貼標簽，從而形成一定數(shù)量的訓(xùn)練樣本數(shù)據(jù)庫。

實施例2

如圖2所示，本發(fā)明實施例提供了一種基于大數(shù)據(jù)的深度學(xué)習(xí)網(wǎng)絡(luò)模型在線優(yōu)化方法，包括：

步驟s201，利用大數(shù)據(jù)平臺收集玩家游戲時的肢體動作視頻；

步驟s202，對視頻進行預(yù)處理，傳送至云服務(wù)器，在云服務(wù)器中構(gòu)建動作視頻樣本數(shù)據(jù)庫；

步驟s203，定期利用所述視頻樣本數(shù)據(jù)庫對所述離線訓(xùn)練得到的深度卷積神經(jīng)網(wǎng)絡(luò)模型進行在線微調(diào)，進一步提高網(wǎng)絡(luò)的識別準確率；

步驟s204，定期將所述在線微調(diào)后的網(wǎng)絡(luò)模型更新至體感游戲交互系統(tǒng)中，讓游戲玩家獲得更好的體感體驗。

本發(fā)明實施例對視頻進行預(yù)處理，包括剔除視頻中與游戲玩家操作內(nèi)容無關(guān)的幀，以及對視頻幀的尺度進行歸一化，優(yōu)選的，將視頻幀尺寸歸一化為：256x340，得到標準化的視頻流。這樣做的好處是減少傳輸信息量，節(jié)省存儲空間，并且簡化了后續(xù)計算工作量。

本發(fā)明實施例對離線訓(xùn)練所得的網(wǎng)絡(luò)模型進行微調(diào)的方式不做限定，優(yōu)選的，考慮到對于同一款體感游戲而言，后期在線采集的不同游戲玩家實際操作的肢體動作視頻與離線訓(xùn)練所用的動作視頻集在內(nèi)容上是相似的，因此可以使用離線深度網(wǎng)絡(luò)模型作為初始化權(quán)重對整個網(wǎng)絡(luò)進行微調(diào)，從而對深度網(wǎng)絡(luò)進一步優(yōu)化。

實施例3

參考圖3與圖4所示，本發(fā)明實施例提供了一種基于深度學(xué)習(xí)與大數(shù)據(jù)的體感游戲交互系統(tǒng)，包括：

深度卷積神經(jīng)網(wǎng)絡(luò)離線訓(xùn)練模塊301，用于：

對由玩家游戲時的肢體動作視頻組成的訓(xùn)練樣本數(shù)據(jù)集進行深度學(xué)習(xí)訓(xùn)練，建立深度卷積神經(jīng)網(wǎng)絡(luò)。訓(xùn)練時將誤差反向傳播，并使用隨機梯度下降法更新網(wǎng)絡(luò)權(quán)重參數(shù)，最終使網(wǎng)絡(luò)的損失函數(shù)到達一個最小值。所述深度卷積神經(jīng)網(wǎng)絡(luò)用于輸入游戲玩家動作視頻，輸出游戲玩家動作預(yù)測結(jié)果；所述游戲玩家動作預(yù)測結(jié)果包括動作分類及其概率分布數(shù)據(jù)；

實時人機交互模塊302，用于：

在游戲玩家開始游戲時，啟動游戲主機自帶的普通攝像頭，實時采集游戲玩家與游戲目標人物交互的肢體動作，并傳送至游戲主機的中央處理單元，作為上述深度卷積神經(jīng)網(wǎng)絡(luò)模型的數(shù)據(jù)輸入流，經(jīng)過深度網(wǎng)絡(luò)的分析之后，得到游戲玩家動作類別，再發(fā)出與該類別相應(yīng)的指令控制游戲目標人物的運動軌跡，進而更新游戲畫面，從而實現(xiàn)體感游戲的人機交互過程。

基于大數(shù)據(jù)的深度網(wǎng)絡(luò)模型在線優(yōu)化模塊303，用于：

利用大數(shù)據(jù)平臺收集玩家游戲時的肢體動作視頻，對視頻進行預(yù)處理后傳送至云服務(wù)器，在云服務(wù)器中構(gòu)建大規(guī)模帶標簽的樣本數(shù)據(jù)庫；定期利用所述樣本數(shù)據(jù)庫對所述離線訓(xùn)練得到的深度卷積神經(jīng)網(wǎng)絡(luò)模型進行在線微調(diào)；定期將所述在線微調(diào)后的網(wǎng)絡(luò)模型更新至體感游戲交互系統(tǒng)中。

對本領(lǐng)域的技術(shù)人員來說，可根據(jù)以上描述的技術(shù)方案以及構(gòu)思，做出其它各種相應(yīng)的改變以及形變，而所有的這些改變以及形變都應(yīng)該屬于本發(fā)明權(quán)利要求的保護范圍之內(nèi)。