本發(fā)明涉及數(shù)據(jù)處理領(lǐng)域，尤其涉及基于臉部動(dòng)作識(shí)別的音樂數(shù)據(jù)處理。

背景技術(shù)：

現(xiàn)有技術(shù)中，多是利用鼠標(biāo)、鍵盤、游戲桿、觸控屏幕、外部傳感器(如Wii、跳舞機(jī)踏板等)、人體姿勢(shì)(如Kinect)等方式操作，實(shí)現(xiàn)人與相應(yīng)場(chǎng)景的交互。其中，人體姿勢(shì)操作方式，需要深度空間等信息，必須使用特定裝置；因此需要偵測(cè)全身，需要較大的空間才能游戲。另外還有準(zhǔn)確率低、偏移量高等問題，造成交互過程中的趣味性降低；另外此類形的場(chǎng)景交互大部份用于人體動(dòng)作偵測(cè)(例：舉手、踢腳)，較少與真實(shí)影像結(jié)合。

目前臉部關(guān)鍵點(diǎn)識(shí)別的應(yīng)用主要與圖像合成技術(shù)結(jié)合，將臉部變成其他動(dòng)物、戴上不同飾品、并結(jié)合臉部動(dòng)作產(chǎn)生動(dòng)畫等等。

提供瘦臉與臉部復(fù)健等臉部運(yùn)動(dòng)時(shí)的應(yīng)用：傳統(tǒng)臉部運(yùn)動(dòng)透過文字的流程描述或透過學(xué)習(xí)影片中的人臉運(yùn)動(dòng)示范達(dá)到臉部運(yùn)動(dòng)的效果，但此類臉部運(yùn)動(dòng)過程并沒有與真實(shí)影像結(jié)合，體驗(yàn)度低。

因此，現(xiàn)有技術(shù)中的缺陷是，對(duì)于人與相應(yīng)場(chǎng)景的交互，需要通過外部設(shè)備輔助實(shí)現(xiàn)，實(shí)現(xiàn)方式單一，用戶體驗(yàn)低。無法將臉部關(guān)鍵點(diǎn)識(shí)別技術(shù)和真實(shí)影像相結(jié)合。

技術(shù)實(shí)現(xiàn)要素：

針對(duì)上述技術(shù)問題，本發(fā)明提供一種基于臉部動(dòng)作識(shí)別的音樂數(shù)據(jù)處理方法及系統(tǒng)，采用了基于臉部關(guān)鍵點(diǎn)識(shí)別技術(shù)，將音樂數(shù)據(jù)和真實(shí)影像相結(jié)合的方式，實(shí)現(xiàn)人與相應(yīng)場(chǎng)景的交互，不需要借助外部設(shè)置進(jìn)行輔助，實(shí)現(xiàn)方式簡(jiǎn)單，提高了用戶體驗(yàn)。

為解決上述技術(shù)問題，本發(fā)明提供的技術(shù)方案是：

第一方面，本發(fā)明提供一種基于臉部動(dòng)作識(shí)別的音樂數(shù)據(jù)處理方法，包括：

步驟S1，獲得背景音樂數(shù)據(jù)和前景音樂數(shù)據(jù)，所述背景音樂數(shù)據(jù)和所述前景音樂數(shù)據(jù)分別為一段數(shù)秒鐘至數(shù)分鐘長(zhǎng)的音樂；

步驟S2，將所述前景音樂數(shù)據(jù)按節(jié)拍分成多段小節(jié)，每小節(jié)包含多個(gè)拍子；

步驟S3，在前景音樂時(shí)間內(nèi)檢測(cè)人的面部動(dòng)作，獲得在所述前景音樂時(shí)間內(nèi)的多個(gè)臉部動(dòng)作數(shù)據(jù)，每個(gè)臉部動(dòng)作對(duì)應(yīng)一小節(jié)時(shí)間長(zhǎng)度的前景音樂數(shù)據(jù)；

步驟S4，將所述背景音樂數(shù)據(jù)進(jìn)行持續(xù)播放，并將所述每個(gè)臉部動(dòng)作數(shù)據(jù)與其對(duì)應(yīng)的所述一小節(jié)時(shí)間長(zhǎng)度的前景音樂數(shù)據(jù)進(jìn)行匹配，與所述背景音樂結(jié)合，生成新的音樂。

本發(fā)明的技術(shù)方案是：先獲得背景音樂數(shù)據(jù)和前景音樂數(shù)據(jù)，所述背景音樂數(shù)據(jù)和所述前景音樂數(shù)據(jù)分別為一段數(shù)秒鐘至數(shù)分鐘長(zhǎng)的音樂；然后將所述前景音樂數(shù)據(jù)按節(jié)拍分成多段小節(jié)，每小節(jié)包含多個(gè)拍子；

接著在前景音樂時(shí)間內(nèi)檢測(cè)人的面部動(dòng)作，獲得在所述前景音樂時(shí)間內(nèi)的多個(gè)臉部動(dòng)作數(shù)據(jù)，每個(gè)臉部動(dòng)作對(duì)應(yīng)一小節(jié)時(shí)間長(zhǎng)度的前景音樂數(shù)據(jù)；最后將所述背景音樂數(shù)據(jù)進(jìn)行持續(xù)播放，并將所述每個(gè)臉部動(dòng)作數(shù)據(jù)與其對(duì)應(yīng)的所述一小節(jié)時(shí)間長(zhǎng)度的前景音樂數(shù)據(jù)進(jìn)行匹配，與所述背景音樂結(jié)合，生成新的音樂。

本發(fā)明基于臉部動(dòng)作識(shí)別的音樂數(shù)據(jù)處理方法，采用了基于臉部關(guān)鍵點(diǎn)識(shí)別技術(shù)，將音樂數(shù)據(jù)和真實(shí)影像相結(jié)合的方式，實(shí)現(xiàn)人與相應(yīng)場(chǎng)景的交互，不需要借助外部設(shè)置進(jìn)行輔助，實(shí)現(xiàn)方式簡(jiǎn)單，提高了用戶體驗(yàn)。

進(jìn)一步地，所述步驟S2之后，還包括：

將所述背景音樂數(shù)據(jù)進(jìn)行持續(xù)播放，獲得目標(biāo)臉部動(dòng)作數(shù)據(jù)，目標(biāo)臉部動(dòng)作數(shù)據(jù)對(duì)應(yīng)唯一一小節(jié)前景音樂；

根據(jù)所述目標(biāo)臉部動(dòng)作數(shù)據(jù)，獲得在所述每小節(jié)開始的前后一拍時(shí)間內(nèi)的臉部動(dòng)作數(shù)據(jù)；

將所述臉部動(dòng)作數(shù)據(jù)與所述目標(biāo)臉部動(dòng)作數(shù)據(jù)進(jìn)行匹配判定，進(jìn)行一小節(jié)前景音樂播放的選?。?/p>

當(dāng)所述臉部動(dòng)作數(shù)據(jù)與所述目標(biāo)臉部動(dòng)作數(shù)據(jù)匹配，播放所述一小節(jié)前景音樂，所述一小節(jié)前景音樂為與所述目標(biāo)臉部動(dòng)作數(shù)據(jù)唯一對(duì)應(yīng)的前景音樂；

當(dāng)所述臉部動(dòng)作數(shù)據(jù)與所述目標(biāo)臉部動(dòng)作數(shù)據(jù)不匹配，不播放所述臉部動(dòng)作數(shù)據(jù)對(duì)應(yīng)的一小節(jié)前景音樂。

進(jìn)一步地，所述步驟S2之后，還包括：

將所述背景音樂數(shù)據(jù)進(jìn)行持續(xù)播放，獲得虛擬場(chǎng)景數(shù)據(jù)，所述虛擬場(chǎng)景數(shù)據(jù)為向人面部中各個(gè)部位移動(dòng)物體的虛擬場(chǎng)景數(shù)據(jù)；

根據(jù)所述向人面部中各個(gè)部位移動(dòng)物體的虛擬場(chǎng)景數(shù)據(jù)，獲得對(duì)應(yīng)的臉部動(dòng)作數(shù)據(jù)，所述對(duì)應(yīng)的臉部動(dòng)作數(shù)據(jù)的獲取在所述移動(dòng)物體到達(dá)所述人面部中的部位之前；

將所述臉部動(dòng)作數(shù)據(jù)與所述虛擬場(chǎng)景數(shù)據(jù)進(jìn)行匹配判定，進(jìn)行所述虛擬場(chǎng)景數(shù)據(jù)中對(duì)應(yīng)移動(dòng)物體的處理：

當(dāng)所述臉部動(dòng)作數(shù)據(jù)與所述虛擬場(chǎng)景數(shù)據(jù)匹配，將所述虛擬場(chǎng)景數(shù)據(jù)中對(duì)應(yīng)移動(dòng)物體移除；

當(dāng)所述臉部動(dòng)作數(shù)據(jù)與所述虛擬場(chǎng)景數(shù)據(jù)不匹配，對(duì)所述虛擬場(chǎng)景數(shù)據(jù)中對(duì)應(yīng)移動(dòng)物體不作處理；

在所述每小節(jié)開始的后一拍時(shí)間后，沒有對(duì)應(yīng)的臉部動(dòng)作與目標(biāo)臉部動(dòng)作數(shù)據(jù)匹配，將所述虛擬場(chǎng)景數(shù)據(jù)中對(duì)應(yīng)移動(dòng)物體移除。

進(jìn)一步地，將所述虛擬場(chǎng)景數(shù)據(jù)中對(duì)應(yīng)移動(dòng)物體移除之后，包括：

獲得所述虛擬場(chǎng)景數(shù)據(jù)中對(duì)應(yīng)移動(dòng)物體移除的效果數(shù)據(jù)；

根據(jù)所述虛擬場(chǎng)景數(shù)據(jù)中對(duì)應(yīng)移動(dòng)物體移除的效果數(shù)據(jù)，對(duì)與所述虛擬場(chǎng)景數(shù)據(jù)匹配的所述臉部動(dòng)作數(shù)據(jù)進(jìn)行評(píng)價(jià)，得到評(píng)價(jià)結(jié)果。

進(jìn)一步地，通過人臉關(guān)鍵點(diǎn)識(shí)別和模糊控制理論進(jìn)行臉部動(dòng)作的識(shí)別。

本發(fā)明一種基于臉部動(dòng)作識(shí)別的音樂數(shù)據(jù)處理方法，基于臉部關(guān)鍵點(diǎn)識(shí)別技術(shù)，將音樂數(shù)據(jù)和真實(shí)影像相結(jié)合的方式，實(shí)現(xiàn)人與相應(yīng)場(chǎng)景的交互，即通過人臉不動(dòng)作的識(shí)別，與對(duì)應(yīng)場(chǎng)景的音樂數(shù)據(jù)進(jìn)行匹配，實(shí)現(xiàn)音樂的創(chuàng)作，音樂的播放及場(chǎng)景中對(duì)應(yīng)虛擬物品的消除，以動(dòng)畫的方式展現(xiàn)在用戶眼前，不需要借助外部設(shè)置進(jìn)行輔助，實(shí)現(xiàn)方式簡(jiǎn)單，提高了用戶體驗(yàn)。

進(jìn)一步地，還包括：

將所述背景音樂數(shù)據(jù)進(jìn)行持續(xù)播放，獲得目標(biāo)臉部動(dòng)作數(shù)據(jù)，所述目標(biāo)臉部動(dòng)作數(shù)據(jù)對(duì)應(yīng)一小節(jié)前景音樂，所述前景音樂分為第一前景音樂和第二前景音樂，所述第一前景音樂與所述背景音樂匹配播放，所述第二前景音樂與所述背景音樂不匹配播放；

根據(jù)所述目標(biāo)臉部動(dòng)作數(shù)據(jù)，獲得在所述每小節(jié)開始的前后一拍時(shí)間內(nèi)的臉部動(dòng)作數(shù)據(jù)；

將所述臉部動(dòng)作數(shù)據(jù)與所述目標(biāo)臉部動(dòng)作數(shù)據(jù)進(jìn)行匹配判定，進(jìn)行所述目標(biāo)臉部動(dòng)作數(shù)據(jù)對(duì)應(yīng)一小節(jié)前景音樂的播放選?。?/p>

當(dāng)所述臉部動(dòng)作數(shù)據(jù)與所述目標(biāo)臉部動(dòng)作數(shù)據(jù)匹配，播放所述目標(biāo)臉部動(dòng)作數(shù)據(jù)對(duì)應(yīng)一小節(jié)前景音樂，且所述一小節(jié)前景音樂為與所述目標(biāo)臉部動(dòng)作數(shù)據(jù)對(duì)應(yīng)的第一前景音樂；

當(dāng)所述臉部動(dòng)作數(shù)據(jù)與所述目標(biāo)臉部動(dòng)作數(shù)據(jù)不匹配，播放所述目標(biāo)臉部動(dòng)作數(shù)據(jù)對(duì)應(yīng)一小節(jié)前景音樂，且所述一小節(jié)前景音樂為與所述目標(biāo)臉部動(dòng)作數(shù)據(jù)對(duì)應(yīng)的第二前景音樂。

在臉部動(dòng)作數(shù)據(jù)與目標(biāo)動(dòng)作數(shù)據(jù)匹配目標(biāo)臉部動(dòng)作數(shù)據(jù)成功匹配后，對(duì)應(yīng)播放該目標(biāo)臉部動(dòng)作對(duì)應(yīng)的一小節(jié)前景音樂，并且，第一前景音樂與背景音樂相匹配和諧的播放，反之，如果用戶做出的臉部動(dòng)作數(shù)據(jù)與目標(biāo)臉部動(dòng)作數(shù)據(jù)不匹配，則對(duì)應(yīng)播放目標(biāo)臉部動(dòng)作對(duì)應(yīng)的第二前景音樂，第二前景音樂與背景音樂是不相匹配和諧播放的，這樣通過播放音樂的不同就可判斷出用戶做出的臉部動(dòng)作數(shù)據(jù)是否與目標(biāo)臉部動(dòng)作數(shù)據(jù)匹配成功，提高了用戶體驗(yàn)。

第二方面，本發(fā)明提供了一種基于臉部動(dòng)作識(shí)別的音樂數(shù)據(jù)處理系統(tǒng)，包括：

音樂數(shù)據(jù)獲取模塊，用于獲得背景音樂數(shù)據(jù)和前景音樂數(shù)據(jù)，所述背景音樂數(shù)據(jù)和所述前景音樂數(shù)據(jù)分別為一段數(shù)秒鐘至數(shù)分鐘長(zhǎng)的音樂；

音樂數(shù)據(jù)處理模塊，用于將所述前景音樂數(shù)據(jù)按節(jié)拍分成多段小節(jié)，每小節(jié)包含多個(gè)拍子；

臉部動(dòng)作獲取模塊，用于在前景音樂時(shí)間內(nèi)檢測(cè)人的面部動(dòng)作，獲得在所述前景音樂時(shí)間內(nèi)的多個(gè)臉部動(dòng)作數(shù)據(jù)，每個(gè)臉部動(dòng)作對(duì)應(yīng)一小節(jié)時(shí)間長(zhǎng)度的前景音樂數(shù)據(jù)；

音樂創(chuàng)作模塊，用于將所述背景音樂數(shù)據(jù)進(jìn)行持續(xù)播放，并將所述每個(gè)臉部動(dòng)作數(shù)據(jù)與其對(duì)應(yīng)的所述一小節(jié)時(shí)間長(zhǎng)度的前景音樂數(shù)據(jù)進(jìn)行匹配，與所述背景音樂結(jié)合，生成新的音樂。

本發(fā)明的技術(shù)方案為：先通過音樂數(shù)據(jù)獲取模塊，獲得背景音樂數(shù)據(jù)和前景音樂數(shù)據(jù)，所述背景音樂數(shù)據(jù)和所述前景音樂數(shù)據(jù)分別為一段數(shù)秒鐘至數(shù)分鐘長(zhǎng)的音樂；然后通過音樂數(shù)據(jù)處理模塊，將所述前景音樂數(shù)據(jù)按節(jié)拍分成多段小節(jié)，每小節(jié)包含多個(gè)拍子；

接著通過臉部動(dòng)作獲取模塊，在前景音樂時(shí)間內(nèi)檢測(cè)人的面部動(dòng)作，獲得在所述前景音樂時(shí)間內(nèi)的多個(gè)臉部動(dòng)作數(shù)據(jù)，每個(gè)臉部動(dòng)作對(duì)應(yīng)一小節(jié)時(shí)間長(zhǎng)度的前景音樂數(shù)據(jù)；最后通過音樂創(chuàng)作模塊，將所述背景音樂數(shù)據(jù)進(jìn)行持續(xù)播放，并將所述每個(gè)臉部動(dòng)作數(shù)據(jù)與其對(duì)應(yīng)的所述一小節(jié)時(shí)間長(zhǎng)度的前景音樂數(shù)據(jù)進(jìn)行匹配，與所述背景音樂結(jié)合，生成新的音樂。

本發(fā)明一種基于臉部動(dòng)作識(shí)別的音樂數(shù)據(jù)處理系統(tǒng)，采用了基于臉部關(guān)鍵點(diǎn)識(shí)別技術(shù)，將音樂數(shù)據(jù)和真實(shí)影像相結(jié)合的方式，實(shí)現(xiàn)人與相應(yīng)場(chǎng)景的交互，不需要借助外部設(shè)置進(jìn)行輔助，實(shí)現(xiàn)方式簡(jiǎn)單，提高了用戶體驗(yàn)。

進(jìn)一步地，所述音樂數(shù)據(jù)處理模塊之后，還包括音樂選擇播放模塊，用于：

將所述背景音樂數(shù)據(jù)進(jìn)行持續(xù)播放，獲得目標(biāo)臉部動(dòng)作數(shù)據(jù)，目標(biāo)臉部動(dòng)作數(shù)據(jù)對(duì)應(yīng)唯一一小節(jié)前景音樂；

根據(jù)所述目標(biāo)臉部動(dòng)作數(shù)據(jù)，獲得在所述每小節(jié)開始的前后一拍時(shí)間內(nèi)的臉部動(dòng)作數(shù)據(jù)；

將所述臉部動(dòng)作數(shù)據(jù)與所述目標(biāo)臉部動(dòng)作數(shù)據(jù)進(jìn)行匹配判定，進(jìn)行一小節(jié)前景音樂播放的選?。?/p>

當(dāng)所述臉部動(dòng)作數(shù)據(jù)與所述目標(biāo)臉部動(dòng)作數(shù)據(jù)匹配，播放所述一小節(jié)前景音樂，所述一小節(jié)前景音樂為與所述目標(biāo)臉部動(dòng)作數(shù)據(jù)唯一對(duì)應(yīng)的前景音樂；

當(dāng)所述臉部動(dòng)作數(shù)據(jù)與所述目標(biāo)臉部動(dòng)作數(shù)據(jù)不匹配，不播放所述臉部動(dòng)作數(shù)據(jù)對(duì)應(yīng)的一小節(jié)前景音樂。

進(jìn)一步地，所述音樂數(shù)據(jù)處理模塊之后，還包括音樂虛擬場(chǎng)景模塊，用于：

將所述背景音樂數(shù)據(jù)進(jìn)行持續(xù)播放，獲得虛擬場(chǎng)景數(shù)據(jù)，所述虛擬場(chǎng)景數(shù)據(jù)為向人面部中各個(gè)部位移動(dòng)物體的虛擬場(chǎng)景數(shù)據(jù)；

根據(jù)所述向人面部中各個(gè)部位移動(dòng)物體的虛擬場(chǎng)景數(shù)據(jù)，獲得對(duì)應(yīng)的臉部動(dòng)作數(shù)據(jù)，所述對(duì)應(yīng)的臉部動(dòng)作數(shù)據(jù)的獲取在所述移動(dòng)物體到達(dá)所述人面部中的部位之前；

將所述臉部動(dòng)作數(shù)據(jù)與所述虛擬場(chǎng)景數(shù)據(jù)進(jìn)行匹配判定，進(jìn)行所述虛擬場(chǎng)景數(shù)據(jù)中對(duì)應(yīng)移動(dòng)物體的處理：

當(dāng)所述臉部動(dòng)作數(shù)據(jù)與所述虛擬場(chǎng)景數(shù)據(jù)匹配，將所述虛擬場(chǎng)景數(shù)據(jù)中對(duì)應(yīng)移動(dòng)物體移除；

當(dāng)所述臉部動(dòng)作數(shù)據(jù)與所述虛擬場(chǎng)景數(shù)據(jù)不匹配，對(duì)所述虛擬場(chǎng)景數(shù)據(jù)中對(duì)應(yīng)移動(dòng)物體不作處理；

在所述每小節(jié)開始的后一拍時(shí)間后，沒有對(duì)應(yīng)的臉部動(dòng)作與目標(biāo)臉部動(dòng)作數(shù)據(jù)匹配，將所述虛擬場(chǎng)景數(shù)據(jù)中對(duì)應(yīng)移動(dòng)物體移除。

進(jìn)一步地，所述音樂虛擬場(chǎng)景模塊中，包括效果評(píng)價(jià)子模塊，在將所述虛擬場(chǎng)景數(shù)據(jù)中對(duì)應(yīng)移動(dòng)物體移除之后，所述效果評(píng)價(jià)子模塊用于：

獲得所述虛擬場(chǎng)景數(shù)據(jù)中對(duì)應(yīng)移動(dòng)物體移除的效果數(shù)據(jù)；

根據(jù)所述虛擬場(chǎng)景數(shù)據(jù)中對(duì)應(yīng)移動(dòng)物體移除的效果數(shù)據(jù)，對(duì)與所述虛擬場(chǎng)景數(shù)據(jù)匹配的所述臉部動(dòng)作數(shù)據(jù)進(jìn)行評(píng)價(jià)，得到評(píng)價(jià)結(jié)果。

附圖說明

為了更清楚地說明本發(fā)明具體實(shí)施方式或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)具體實(shí)施方式或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡(jiǎn)單地介紹。

圖1示出了本發(fā)明第一實(shí)施例所提供的一種基于臉部動(dòng)作識(shí)別的音樂數(shù)據(jù)處理方法的流程圖；

圖2示出了本發(fā)明第一實(shí)施例所提供的一種基于臉部動(dòng)作識(shí)別的音樂數(shù)據(jù)處理方法中時(shí)間軸的第一示意圖；

圖3示出了本發(fā)明第一實(shí)施例所提供的一種基于臉部動(dòng)作識(shí)別的音樂數(shù)據(jù)處理方法中時(shí)間軸的第二示意圖；

圖4示出了本發(fā)明第二實(shí)施例所提供的一種基于臉部動(dòng)作識(shí)別的音樂數(shù)據(jù)處理系統(tǒng)的示意圖。

具體實(shí)施方式

下面將結(jié)合附圖對(duì)本發(fā)明技術(shù)方案的實(shí)施例進(jìn)行詳細(xì)的描述。以下實(shí)施例僅用于更加清楚地說明本發(fā)明的技術(shù)方案，因此只是作為示例，而不能以此來限制本發(fā)明的保護(hù)范圍。

實(shí)施例一

圖1示出了本發(fā)明第一實(shí)施例所提供的一種基于臉部動(dòng)作識(shí)別的音樂數(shù)據(jù)處理方法的流程圖；如圖1所示，本發(fā)明實(shí)施例一提供一種基于臉部動(dòng)作識(shí)別的音樂數(shù)據(jù)處理方法，包括：

步驟S1，獲得背景音樂數(shù)據(jù)和前景音樂數(shù)據(jù)，背景音樂數(shù)據(jù)和前景音樂數(shù)據(jù)分別為一段數(shù)秒鐘至數(shù)分鐘長(zhǎng)的音樂；

步驟S2，將前景音樂數(shù)據(jù)按節(jié)拍分成多段小節(jié)，每小節(jié)包含多個(gè)拍子；

步驟S3，在前景音樂時(shí)間內(nèi)檢測(cè)人的面部動(dòng)作，獲得在前景音樂時(shí)間內(nèi)的多個(gè)臉部動(dòng)作數(shù)據(jù)，每個(gè)臉部動(dòng)作對(duì)應(yīng)一小節(jié)時(shí)間長(zhǎng)度的前景音樂數(shù)據(jù)；

步驟S4，將背景音樂數(shù)據(jù)進(jìn)行持續(xù)播放，并將每個(gè)臉部動(dòng)作數(shù)據(jù)與其對(duì)應(yīng)的一小節(jié)時(shí)間長(zhǎng)度的前景音樂數(shù)據(jù)進(jìn)行匹配，與背景音樂結(jié)合，生成新的音樂。

本發(fā)明的技術(shù)方案是：先獲得背景音樂數(shù)據(jù)和前景音樂數(shù)據(jù)，背景音樂數(shù)據(jù)和前景音樂數(shù)據(jù)分別為一段數(shù)秒鐘至數(shù)分鐘長(zhǎng)的音樂；然后將前景音樂數(shù)據(jù)按節(jié)拍分成多段小節(jié)，每小節(jié)包含多個(gè)拍子；

接著在前景音樂時(shí)間內(nèi)檢測(cè)人的面部動(dòng)作，獲得在前景音樂時(shí)間內(nèi)的多個(gè)臉部動(dòng)作數(shù)據(jù)，每個(gè)臉部動(dòng)作對(duì)應(yīng)一小節(jié)時(shí)間長(zhǎng)度的前景音樂數(shù)據(jù)；最后將背景音樂數(shù)據(jù)進(jìn)行持續(xù)播放，并將每個(gè)臉部動(dòng)作數(shù)據(jù)與其對(duì)應(yīng)的一小節(jié)時(shí)間長(zhǎng)度的前景音樂數(shù)據(jù)進(jìn)行匹配，與背景音樂結(jié)合，生成新的音樂。

本發(fā)明基于臉部動(dòng)作識(shí)別的音樂數(shù)據(jù)處理方法，可以設(shè)置不同的場(chǎng)景信息，不同的場(chǎng)景信息有不同的需求，需要在規(guī)定時(shí)間內(nèi)按照?qǐng)鼍靶畔⒅胁煌男枨笸瓿桑绻煌膱?chǎng)景信息與不同臉部動(dòng)作匹配，則可以實(shí)現(xiàn)不同的動(dòng)作，進(jìn)而實(shí)現(xiàn)各種人與場(chǎng)景的互動(dòng)。

本發(fā)明基于臉部動(dòng)作識(shí)別的音樂數(shù)據(jù)處理方法，采用了基于臉部關(guān)鍵點(diǎn)識(shí)別技術(shù)，將音樂數(shù)據(jù)和真實(shí)影像相結(jié)合的方式，實(shí)現(xiàn)人與相應(yīng)場(chǎng)景的交互，不需要借助外部設(shè)置進(jìn)行輔助，實(shí)現(xiàn)方式簡(jiǎn)單，提高了用戶體驗(yàn)。

具體地，步驟S2之后，還包括：

將背景音樂數(shù)據(jù)進(jìn)行持續(xù)播放，獲得目標(biāo)臉部動(dòng)作數(shù)據(jù)，目標(biāo)臉部動(dòng)作數(shù)據(jù)對(duì)應(yīng)唯一一小節(jié)前景音樂；

根據(jù)目標(biāo)臉部動(dòng)作數(shù)據(jù)，獲得在每小節(jié)開始的前后一拍時(shí)間內(nèi)的臉部動(dòng)作數(shù)據(jù)；

將臉部動(dòng)作數(shù)據(jù)與目標(biāo)臉部動(dòng)作數(shù)據(jù)進(jìn)行匹配判定，進(jìn)行一小節(jié)前景音樂播放的選?。?/p>

當(dāng)臉部動(dòng)作數(shù)據(jù)與目標(biāo)臉部動(dòng)作數(shù)據(jù)匹配，播放一小節(jié)前景音樂，一小節(jié)前景音樂為與目標(biāo)臉部動(dòng)作數(shù)據(jù)唯一對(duì)應(yīng)的前景音樂；

當(dāng)臉部動(dòng)作數(shù)據(jù)與目標(biāo)臉部動(dòng)作數(shù)據(jù)不匹配，不播放臉部動(dòng)作數(shù)據(jù)對(duì)應(yīng)的一小節(jié)前景音樂。

具體地，設(shè)置多小節(jié)的前景音樂，每小節(jié)前景音樂對(duì)應(yīng)唯一一個(gè)臉部動(dòng)作，對(duì)應(yīng)的在第一個(gè)臉部動(dòng)作與第一個(gè)目標(biāo)臉部動(dòng)作匹配成功后，進(jìn)行下一個(gè)臉部動(dòng)作與下一個(gè)目標(biāo)臉部動(dòng)作的匹配，這樣可以根據(jù)不同的目標(biāo)臉部動(dòng)作，實(shí)現(xiàn)前景音樂的連續(xù)播放。

具體地，步驟S2之后，還包括：

將背景音樂數(shù)據(jù)進(jìn)行持續(xù)播放，獲得虛擬場(chǎng)景數(shù)據(jù)，虛擬場(chǎng)景數(shù)據(jù)為向人面部中各個(gè)部位移動(dòng)物體的虛擬場(chǎng)景數(shù)據(jù)；

根據(jù)向人面部中各個(gè)部位移動(dòng)物體的虛擬場(chǎng)景數(shù)據(jù)，獲得對(duì)應(yīng)的臉部動(dòng)作數(shù)據(jù)，對(duì)應(yīng)的臉部動(dòng)作數(shù)據(jù)的獲取在移動(dòng)物體到達(dá)人面部中的部位之前；

將臉部動(dòng)作數(shù)據(jù)與虛擬場(chǎng)景數(shù)據(jù)進(jìn)行匹配判定，進(jìn)行虛擬場(chǎng)景數(shù)據(jù)中對(duì)應(yīng)移動(dòng)物體的處理：

當(dāng)臉部動(dòng)作數(shù)據(jù)與虛擬場(chǎng)景數(shù)據(jù)匹配，將虛擬場(chǎng)景數(shù)據(jù)中對(duì)應(yīng)移動(dòng)物體移除；

當(dāng)臉部動(dòng)作數(shù)據(jù)與虛擬場(chǎng)景數(shù)據(jù)不匹配，對(duì)虛擬場(chǎng)景數(shù)據(jù)中對(duì)應(yīng)移動(dòng)物體不作處理；

在每小節(jié)開始的后一拍時(shí)間后，沒有對(duì)應(yīng)的臉部動(dòng)作與目標(biāo)臉部動(dòng)作數(shù)據(jù)匹配，將虛擬場(chǎng)景數(shù)據(jù)中對(duì)應(yīng)移動(dòng)物體移除。

結(jié)合AR技術(shù)，于真實(shí)場(chǎng)景中對(duì)應(yīng)人臉面部位置設(shè)置不同的虛擬物品向人臉移動(dòng)，在虛擬物品移動(dòng)到人臉面部位置上之時(shí)間點(diǎn)前后一拍時(shí)間為時(shí)間界限，對(duì)應(yīng)做出每個(gè)虛擬物品對(duì)應(yīng)的消除動(dòng)作，人所做的臉部動(dòng)作與消除動(dòng)作匹配成功后，接著做下一個(gè)動(dòng)作，增加了趣味性，同時(shí)匹配成功或失敗會(huì)有不同的音效和動(dòng)畫。經(jīng)過一段時(shí)間后，匹配時(shí)間縮短，匹配消除動(dòng)作速度會(huì)加快。

具體地，將虛擬場(chǎng)景數(shù)據(jù)中對(duì)應(yīng)移動(dòng)物體移除之后，包括：

獲得虛擬場(chǎng)景數(shù)據(jù)中對(duì)應(yīng)移動(dòng)物體移除的效果數(shù)據(jù)；

根據(jù)虛擬場(chǎng)景數(shù)據(jù)中對(duì)應(yīng)移動(dòng)物體移除的效果數(shù)據(jù)，對(duì)與虛擬場(chǎng)景數(shù)據(jù)匹配的臉部動(dòng)作數(shù)據(jù)進(jìn)行評(píng)價(jià)，得到評(píng)價(jià)結(jié)果。

如圖2所示，橫軸為時(shí)間軸，左邊代表較早的時(shí)間、右邊代表較晚的時(shí)間。較粗長(zhǎng)的縱軸為小節(jié)分隔點(diǎn)，較細(xì)短的代表拍點(diǎn)的分隔點(diǎn)。在此圖例中，驅(qū)動(dòng)范圍為每小節(jié)開始的前兩拍皆為正確驅(qū)動(dòng)，以每小節(jié)開始前一拍前后0.5拍為完美驅(qū)動(dòng)，如圖2中，e顯示的部份，e的前后0.5拍為普通驅(qū)動(dòng)，如f顯示的部份。完美、普通的驅(qū)動(dòng)時(shí)間及范圍皆可自由替換。以此方法來做對(duì)虛擬場(chǎng)景數(shù)據(jù)匹配臉部動(dòng)作數(shù)據(jù)的評(píng)價(jià)標(biāo)準(zhǔn)。

具體地，通過人臉關(guān)鍵點(diǎn)識(shí)別和模糊控制理論進(jìn)行臉部動(dòng)作的識(shí)別。

本發(fā)明中，基于上述的音樂數(shù)據(jù)處理，是以人臉關(guān)鍵點(diǎn)識(shí)別為基礎(chǔ)，建立一可靠之臉部追蹤系統(tǒng)，最后結(jié)合模糊控制理論精確識(shí)別臉部動(dòng)作：眨眼、斗雞眼、挑眉、皺眉、皺鼻、伸舌、嘟嘴、張嘴、歪嘴、舔唇、抿唇、點(diǎn)頭、頭部左右旋轉(zhuǎn)、頭部上下旋轉(zhuǎn)等等。其中人臉關(guān)鍵點(diǎn)識(shí)別技術(shù)為公知的現(xiàn)有技術(shù)，在此不做過多敘述。

具體地，還包括：

將背景音樂數(shù)據(jù)進(jìn)行持續(xù)播放，獲得目標(biāo)臉部動(dòng)作數(shù)據(jù)，目標(biāo)臉部動(dòng)作數(shù)據(jù)對(duì)應(yīng)一小節(jié)前景音樂，前景音樂分為第一前景音樂和第二前景音樂，第一前景音樂與背景音樂匹配播放，第二前景音樂與背景音樂不匹配播放；

根據(jù)目標(biāo)臉部動(dòng)作數(shù)據(jù)，獲得在每小節(jié)開始的前后一拍時(shí)間內(nèi)的臉部動(dòng)作數(shù)據(jù)；

將臉部動(dòng)作數(shù)據(jù)與目標(biāo)臉部動(dòng)作數(shù)據(jù)進(jìn)行匹配判定，進(jìn)行目標(biāo)臉部動(dòng)作數(shù)據(jù)對(duì)應(yīng)一小節(jié)前景音樂的播放選?。?/p>

當(dāng)臉部動(dòng)作數(shù)據(jù)與目標(biāo)臉部動(dòng)作數(shù)據(jù)匹配，播放目標(biāo)臉部動(dòng)作數(shù)據(jù)對(duì)應(yīng)一小節(jié)前景音樂，且一小節(jié)前景音樂為與目標(biāo)臉部動(dòng)作數(shù)據(jù)對(duì)應(yīng)的第一前景音樂；

當(dāng)臉部動(dòng)作數(shù)據(jù)與目標(biāo)臉部動(dòng)作數(shù)據(jù)不匹配，播放目標(biāo)臉部動(dòng)作數(shù)據(jù)對(duì)應(yīng)一小節(jié)前景音樂，且一小節(jié)前景音樂為與目標(biāo)臉部動(dòng)作數(shù)據(jù)對(duì)應(yīng)的第二前景音樂。

在臉部動(dòng)作數(shù)據(jù)與目標(biāo)動(dòng)作數(shù)據(jù)匹配目標(biāo)臉部動(dòng)作數(shù)據(jù)成功匹配后，對(duì)應(yīng)播放該目標(biāo)臉部動(dòng)作對(duì)應(yīng)的一小節(jié)前景音樂，并且，第一前景音樂與背景音樂相匹配和諧的播放，反之，如果用戶做出的臉部動(dòng)作數(shù)據(jù)與目標(biāo)臉部動(dòng)作數(shù)據(jù)不匹配，則對(duì)應(yīng)播放目標(biāo)臉部動(dòng)作對(duì)應(yīng)的第二前景音樂，第二前景音樂與背景音樂是不相匹配和諧播放的，這樣通過播放音樂的不同就可判斷出用戶做出的臉部動(dòng)作數(shù)據(jù)是否與目標(biāo)臉部動(dòng)作數(shù)據(jù)匹配成功，提高了用戶體驗(yàn)。

具體地，第一前景音樂可設(shè)置為表示成功的音樂，第二前景音樂可設(shè)置成表示失敗的前景音樂，這樣使音樂更有區(qū)別性。

如圖3所示，橫軸為時(shí)間軸，左邊代表較早的時(shí)間、右邊代表較晚的時(shí)間。較粗長(zhǎng)的縱軸為小節(jié)分隔點(diǎn)，較細(xì)短的代表拍點(diǎn)的分隔點(diǎn)。以圖3中的例子，c的范圍為一小節(jié)，d的范圍為一拍。a為偵測(cè)時(shí)間點(diǎn)，圖3中代表在每小節(jié)開始的前后一拍為偵測(cè)時(shí)間點(diǎn)，任何在此時(shí)間點(diǎn)做的臉部動(dòng)作會(huì)被偵測(cè)到。b為作用范圍，通常以一小節(jié)為單位，在此圖中代表在此小節(jié)的前后一拍范圍內(nèi)做表情，皆會(huì)驅(qū)動(dòng)此小節(jié)做出反饋。每小節(jié)幾拍、偵測(cè)時(shí)間點(diǎn)及作用范圍皆可自由替換。

本發(fā)明一種基于臉部動(dòng)作識(shí)別的音樂數(shù)據(jù)處理方法，基于臉部關(guān)鍵點(diǎn)識(shí)別技術(shù)，將音樂數(shù)據(jù)和真實(shí)影像相結(jié)合的方式，實(shí)現(xiàn)人與相應(yīng)場(chǎng)景的交互，即通過人臉不動(dòng)作的識(shí)別，與對(duì)應(yīng)場(chǎng)景的音樂數(shù)據(jù)進(jìn)行匹配，實(shí)現(xiàn)音樂的創(chuàng)作，音樂的播放及場(chǎng)景中對(duì)應(yīng)虛擬物品的消除，以動(dòng)畫的方式展現(xiàn)在用戶眼前，不需要借助外部設(shè)置進(jìn)行輔助，實(shí)現(xiàn)方式簡(jiǎn)單，提高了用戶體驗(yàn)。

實(shí)施例二

圖4示出了本發(fā)明第二實(shí)施例所提供的一種基于臉部動(dòng)作識(shí)別的音樂數(shù)據(jù)處理系統(tǒng)的示意圖；如圖4所示，本發(fā)明實(shí)施例二提供了一種基于臉部動(dòng)作識(shí)別的音樂數(shù)據(jù)處理系統(tǒng)10，包括：

音樂數(shù)據(jù)獲取模塊101，用于獲得背景音樂數(shù)據(jù)和前景音樂數(shù)據(jù)，背景音樂數(shù)據(jù)和前景音樂數(shù)據(jù)分別為一段數(shù)秒鐘至數(shù)分鐘長(zhǎng)的音樂；

音樂數(shù)據(jù)處理模塊102，用于將前景音樂數(shù)據(jù)按節(jié)拍分成多段小節(jié)，每小節(jié)包含多個(gè)拍子；

臉部動(dòng)作獲取模塊103，用于在前景音樂時(shí)間內(nèi)檢測(cè)人的面部動(dòng)作，獲得在前景音樂時(shí)間內(nèi)的多個(gè)臉部動(dòng)作數(shù)據(jù)，每個(gè)臉部動(dòng)作對(duì)應(yīng)一小節(jié)時(shí)間長(zhǎng)度的前景音樂數(shù)據(jù)；

音樂創(chuàng)作模塊104，用于將背景音樂數(shù)據(jù)進(jìn)行持續(xù)播放，并將每個(gè)臉部動(dòng)作數(shù)據(jù)與其對(duì)應(yīng)的一小節(jié)時(shí)間長(zhǎng)度的前景音樂數(shù)據(jù)進(jìn)行匹配，與背景音樂結(jié)合，生成新的音樂。

本發(fā)明的技術(shù)方案為：先通過音樂數(shù)據(jù)獲取模塊101，獲得背景音樂數(shù)據(jù)和前景音樂數(shù)據(jù)，背景音樂數(shù)據(jù)和前景音樂數(shù)據(jù)分別為一段數(shù)秒鐘至數(shù)分鐘長(zhǎng)的音樂；然后通過音樂數(shù)據(jù)處理模塊102，將前景音樂數(shù)據(jù)按節(jié)拍分成多段小節(jié)，每小節(jié)包含多個(gè)拍子；

接著通過臉部動(dòng)作獲取模塊103，在前景音樂時(shí)間內(nèi)檢測(cè)人的面部動(dòng)作，獲得在前景音樂時(shí)間內(nèi)的多個(gè)臉部動(dòng)作數(shù)據(jù)，每個(gè)臉部動(dòng)作對(duì)應(yīng)一小節(jié)時(shí)間長(zhǎng)度的前景音樂數(shù)據(jù)；最后通過音樂創(chuàng)作模塊104，將背景音樂數(shù)據(jù)進(jìn)行持續(xù)播放，并將每個(gè)臉部動(dòng)作數(shù)據(jù)與其對(duì)應(yīng)的一小節(jié)時(shí)間長(zhǎng)度的前景音樂數(shù)據(jù)進(jìn)行匹配，與背景音樂結(jié)合，生成新的音樂。

本發(fā)明一種基于臉部動(dòng)作識(shí)別的音樂數(shù)據(jù)處理系統(tǒng)10，采用了基于臉部關(guān)鍵點(diǎn)識(shí)別技術(shù)，將音樂數(shù)據(jù)和真實(shí)影像相結(jié)合的方式，實(shí)現(xiàn)人與相應(yīng)場(chǎng)景的交互，不需要借助外部設(shè)置進(jìn)行輔助，實(shí)現(xiàn)方式簡(jiǎn)單，提高了用戶體驗(yàn)。

具體地，音樂數(shù)據(jù)處理模塊102之后，還包括音樂選擇播放模塊，用于：

將背景音樂數(shù)據(jù)進(jìn)行持續(xù)播放，獲得目標(biāo)臉部動(dòng)作數(shù)據(jù)，目標(biāo)臉部動(dòng)作數(shù)據(jù)對(duì)應(yīng)唯一一小節(jié)前景音樂；

根據(jù)目標(biāo)臉部動(dòng)作數(shù)據(jù)，獲得在每小節(jié)開始的前后一拍時(shí)間內(nèi)的臉部動(dòng)作數(shù)據(jù)；

將臉部動(dòng)作數(shù)據(jù)與目標(biāo)臉部動(dòng)作數(shù)據(jù)進(jìn)行匹配判定，進(jìn)行一小節(jié)前景音樂播放的選?。?/p>

當(dāng)臉部動(dòng)作數(shù)據(jù)與目標(biāo)臉部動(dòng)作數(shù)據(jù)匹配，播放一小節(jié)前景音樂，一小節(jié)前景音樂為與目標(biāo)臉部動(dòng)作數(shù)據(jù)唯一對(duì)應(yīng)的前景音樂；

當(dāng)臉部動(dòng)作數(shù)據(jù)與目標(biāo)臉部動(dòng)作數(shù)據(jù)不匹配，不播放臉部動(dòng)作數(shù)據(jù)對(duì)應(yīng)的一小節(jié)前景音樂。

具體地，音樂數(shù)據(jù)處理模塊102之后，還包括音樂虛擬場(chǎng)景模塊，用于：

將背景音樂數(shù)據(jù)進(jìn)行持續(xù)播放，獲得虛擬場(chǎng)景數(shù)據(jù)，虛擬場(chǎng)景數(shù)據(jù)為向人面部中各個(gè)部位移動(dòng)物體的虛擬場(chǎng)景數(shù)據(jù)；

根據(jù)向人面部中各個(gè)部位移動(dòng)物體的虛擬場(chǎng)景數(shù)據(jù)，獲得對(duì)應(yīng)的臉部動(dòng)作數(shù)據(jù)，對(duì)應(yīng)的臉部動(dòng)作數(shù)據(jù)的獲取在移動(dòng)物體到達(dá)人面部中的部位之前；

將臉部動(dòng)作數(shù)據(jù)與虛擬場(chǎng)景數(shù)據(jù)進(jìn)行匹配判定，進(jìn)行虛擬場(chǎng)景數(shù)據(jù)中對(duì)應(yīng)移動(dòng)物體的處理：

當(dāng)臉部動(dòng)作數(shù)據(jù)與虛擬場(chǎng)景數(shù)據(jù)匹配，將虛擬場(chǎng)景數(shù)據(jù)中對(duì)應(yīng)移動(dòng)物體移除；

當(dāng)臉部動(dòng)作數(shù)據(jù)與虛擬場(chǎng)景數(shù)據(jù)不匹配，對(duì)虛擬場(chǎng)景數(shù)據(jù)中對(duì)應(yīng)移動(dòng)物體不作處理；

在每小節(jié)開始的后一拍時(shí)間后，沒有對(duì)應(yīng)的臉部動(dòng)作與目標(biāo)臉部動(dòng)作數(shù)據(jù)匹配，將虛擬場(chǎng)景數(shù)據(jù)中對(duì)應(yīng)移動(dòng)物體移除。

具體地，音樂虛擬場(chǎng)景模塊104中，包括效果評(píng)價(jià)子模塊，在將虛擬場(chǎng)景數(shù)據(jù)中對(duì)應(yīng)移動(dòng)物體移除之后，效果評(píng)價(jià)子模塊用于：

獲得虛擬場(chǎng)景數(shù)據(jù)中對(duì)應(yīng)移動(dòng)物體移除的效果數(shù)據(jù)；

根據(jù)虛擬場(chǎng)景數(shù)據(jù)中對(duì)應(yīng)移動(dòng)物體移除的效果數(shù)據(jù)，對(duì)與虛擬場(chǎng)景數(shù)據(jù)匹配的臉部動(dòng)作數(shù)據(jù)進(jìn)行評(píng)價(jià)，得到評(píng)價(jià)結(jié)果。

具體地，還包括臉部動(dòng)作識(shí)別模塊100，用于通過人臉關(guān)鍵點(diǎn)識(shí)別和模糊控制理論進(jìn)行臉部動(dòng)作的識(shí)別。

具體地，還包括音樂選擇播放模塊，用于：

將背景音樂數(shù)據(jù)進(jìn)行持續(xù)播放，獲得目標(biāo)臉部動(dòng)作數(shù)據(jù)，目標(biāo)臉部動(dòng)作數(shù)據(jù)對(duì)應(yīng)一小節(jié)前景音樂，前景音樂分為第一前景音樂和第二前景音樂，第一前景音樂與背景音樂匹配播放，第二前景音樂與背景音樂不匹配播放；

根據(jù)目標(biāo)臉部動(dòng)作數(shù)據(jù)，獲得在每小節(jié)開始的前后一拍時(shí)間內(nèi)的臉部動(dòng)作數(shù)據(jù)；

將臉部動(dòng)作數(shù)據(jù)與目標(biāo)臉部動(dòng)作數(shù)據(jù)進(jìn)行匹配判定，進(jìn)行目標(biāo)臉部動(dòng)作數(shù)據(jù)對(duì)應(yīng)一小節(jié)前景音樂的播放選?。?/p>

當(dāng)臉部動(dòng)作數(shù)據(jù)與目標(biāo)臉部動(dòng)作數(shù)據(jù)匹配，播放目標(biāo)臉部動(dòng)作數(shù)據(jù)對(duì)應(yīng)一小節(jié)前景音樂，且一小節(jié)前景音樂為與目標(biāo)臉部動(dòng)作數(shù)據(jù)對(duì)應(yīng)的第一前景音樂；

當(dāng)臉部動(dòng)作數(shù)據(jù)與目標(biāo)臉部動(dòng)作數(shù)據(jù)不匹配，播放目標(biāo)臉部動(dòng)作數(shù)據(jù)對(duì)應(yīng)一小節(jié)前景音樂，且一小節(jié)前景音樂為與目標(biāo)臉部動(dòng)作數(shù)據(jù)對(duì)應(yīng)的第二前景音樂。

在臉部動(dòng)作數(shù)據(jù)與目標(biāo)動(dòng)作數(shù)據(jù)匹配目標(biāo)臉部動(dòng)作數(shù)據(jù)成功匹配后，對(duì)應(yīng)播放該目標(biāo)臉部動(dòng)作對(duì)應(yīng)的一小節(jié)前景音樂，并且，第一前景音樂與背景音樂相匹配和諧的播放，反之，如果用戶做出的臉部動(dòng)作數(shù)據(jù)與目標(biāo)臉部動(dòng)作數(shù)據(jù)不匹配，則對(duì)應(yīng)播放目標(biāo)臉部動(dòng)作對(duì)應(yīng)的第二前景音樂，第二前景音樂與背景音樂是不相匹配和諧播放的，這樣通過播放音樂的不同就可判斷出用戶做出的臉部動(dòng)作數(shù)據(jù)是否與目標(biāo)臉部動(dòng)作數(shù)據(jù)匹配成功，提高了用戶體驗(yàn)。

具體地，第一前景音樂可設(shè)置為表示成功的音樂，第二前景音樂可設(shè)置成表示失敗的前景音樂，這樣使音樂更有區(qū)別性。

本發(fā)明一種基于臉部動(dòng)作識(shí)別的音樂數(shù)據(jù)處理系統(tǒng)，基于臉部關(guān)鍵點(diǎn)識(shí)別技術(shù)，將音樂數(shù)據(jù)和真實(shí)影像相結(jié)合的方式，實(shí)現(xiàn)人與相應(yīng)場(chǎng)景的交互，即通過人臉部動(dòng)作的識(shí)別，與對(duì)應(yīng)場(chǎng)景的音樂數(shù)據(jù)進(jìn)行匹配，實(shí)現(xiàn)音樂的創(chuàng)作，音樂的播放及場(chǎng)景中對(duì)應(yīng)虛擬物品的消除，以動(dòng)畫的方式展現(xiàn)在用戶眼前，不需要借助外部設(shè)置進(jìn)行輔助，實(shí)現(xiàn)方式簡(jiǎn)單，提高了用戶體驗(yàn)。

實(shí)施例三

結(jié)合本發(fā)明實(shí)施例一中的一種基于臉部動(dòng)作識(shí)別的音樂數(shù)據(jù)處理方法，及實(shí)施例二中的一種基于臉部動(dòng)作識(shí)別的音樂數(shù)據(jù)處理系統(tǒng)，結(jié)合具體的游戲場(chǎng)景進(jìn)行說明。

場(chǎng)景一

樂曲創(chuàng)作：背景音樂持續(xù)播放，而每個(gè)臉部動(dòng)作對(duì)應(yīng)到一段一小節(jié)時(shí)間長(zhǎng)度的前景音樂，在每小節(jié)開始的前后一拍時(shí)間內(nèi)偵測(cè)到的臉部動(dòng)作，皆會(huì)驅(qū)動(dòng)該小節(jié)播放對(duì)應(yīng)的前景音樂。比如設(shè)置一系列臉部動(dòng)作，眨眼、挑眉、皺眉、皺鼻等，然后識(shí)別人的臉部動(dòng)作，根據(jù)識(shí)別的臉部動(dòng)作的不同，對(duì)應(yīng)的播放不同的音樂，每次播放的小節(jié)音樂組成不同的音樂，使用戶根據(jù)自己的心情創(chuàng)做不同的音樂。

場(chǎng)景二

音樂游戲：背景音樂及前景音樂為一段數(shù)分鐘的音樂，背景音樂持續(xù)播放，游戲依然以小節(jié)為單位，每小節(jié)會(huì)由游戲隨機(jī)產(chǎn)生指定臉部動(dòng)作，玩家必須在驅(qū)動(dòng)時(shí)間內(nèi)(每小節(jié)開始前后一拍時(shí)間)完成指定臉部動(dòng)作，該小節(jié)的前景音樂會(huì)持續(xù)播放；若有多于一個(gè)前景音樂，亦可能在做了正確表情越多次后將音樂疊加上去。將動(dòng)感音樂與人臉動(dòng)作結(jié)合，使游戲更有挑戰(zhàn)性和趣味性。

場(chǎng)景三

AR節(jié)奏游戲：背景音樂持續(xù)播放，畫面上會(huì)有不同物品有節(jié)奏性的往臉上各個(gè)部位移動(dòng)，玩家必須在物品移動(dòng)到該部位時(shí)，做對(duì)應(yīng)的表情移除該物品。例如：蚊子往眼睛飛過去，必須在蚊子到達(dá)眼睛時(shí)眨眼將它殺掉。成功(分為完美、普通)或失敗會(huì)有不同的音效、動(dòng)畫及計(jì)分。經(jīng)過一段時(shí)間后，節(jié)奏速度會(huì)加快，增加游戲困難度。

直接利用攝像頭取得的影像作臉部動(dòng)作識(shí)別來操作游戲，并能實(shí)時(shí)與真實(shí)臉部影像結(jié)合產(chǎn)生有趣的動(dòng)畫效果。此操作方式不需另外購(gòu)買設(shè)備，即可實(shí)時(shí)、準(zhǔn)確地分辨臉部動(dòng)作；且不需要四肢的操作方式，亦可造福行動(dòng)不便的人，讓他們也能享受到游戲的樂趣。

最后應(yīng)說明的是：以上各實(shí)施例僅用以說明本發(fā)明的技術(shù)方案，而非對(duì)其限制；盡管參照前述各實(shí)施例對(duì)本發(fā)明進(jìn)行了詳細(xì)的說明，本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解：其依然可以對(duì)前述各實(shí)施例所記載的技術(shù)方案進(jìn)行修改，或者對(duì)其中部分或者全部技術(shù)特征進(jìn)行等同替換；而這些修改或者替換，并不使相應(yīng)技術(shù)方案的本質(zhì)脫離本發(fā)明各實(shí)施例技術(shù)方案的范圍，其均應(yīng)涵蓋在本發(fā)明的權(quán)利要求和說明書的范圍當(dāng)中。