1.基于臉部動(dòng)作識(shí)別的音樂數(shù)據(jù)處理方法,其特征在于,包括:
步驟S1,獲得背景音樂數(shù)據(jù)和前景音樂數(shù)據(jù),所述背景音樂數(shù)據(jù)和所述前景音樂數(shù)據(jù)分別為一段數(shù)秒鐘至數(shù)分鐘長(zhǎng)的音樂;
步驟S2,將所述前景音樂數(shù)據(jù)按節(jié)拍分成多段小節(jié),每小節(jié)包含多個(gè)拍子;
步驟S3,在前景音樂時(shí)間內(nèi)檢測(cè)人的面部動(dòng)作,獲得在所述前景音樂時(shí)間內(nèi)的多個(gè)臉部動(dòng)作數(shù)據(jù),每個(gè)臉部動(dòng)作對(duì)應(yīng)一小節(jié)時(shí)間長(zhǎng)度的前景音樂數(shù)據(jù);
步驟S4,將所述背景音樂數(shù)據(jù)進(jìn)行持續(xù)播放,并將所述每個(gè)臉部動(dòng)作數(shù)據(jù)與其對(duì)應(yīng)的所述一小節(jié)時(shí)間長(zhǎng)度的前景音樂數(shù)據(jù)進(jìn)行匹配,與所述背景音樂結(jié)合,生成新的音樂。
2.根據(jù)權(quán)利要求1所述基于臉部動(dòng)作識(shí)別的音樂數(shù)據(jù)處理方法,其特征在于,所述步驟S2之后,還包括:
將所述背景音樂數(shù)據(jù)進(jìn)行持續(xù)播放,獲得目標(biāo)臉部動(dòng)作數(shù)據(jù),目標(biāo)臉部動(dòng)作數(shù)據(jù)對(duì)應(yīng)唯一一小節(jié)前景音樂;
根據(jù)所述目標(biāo)臉部動(dòng)作數(shù)據(jù),獲得在所述每小節(jié)開始的前后一拍時(shí)間內(nèi)的臉部動(dòng)作數(shù)據(jù);
將所述臉部動(dòng)作數(shù)據(jù)與所述目標(biāo)臉部動(dòng)作數(shù)據(jù)進(jìn)行匹配判定,進(jìn)行一小節(jié)前景音樂播放的選?。?/p>
當(dāng)所述臉部動(dòng)作數(shù)據(jù)與所述目標(biāo)臉部動(dòng)作數(shù)據(jù)匹配,播放所述一小節(jié)前景音樂,所述一小節(jié)前景音樂為與所述目標(biāo)臉部動(dòng)作數(shù)據(jù)唯一對(duì)應(yīng)的前景音樂;
當(dāng)所述臉部動(dòng)作數(shù)據(jù)與所述目標(biāo)臉部動(dòng)作數(shù)據(jù)不匹配,不播放所述臉部動(dòng)作數(shù)據(jù)對(duì)應(yīng)的一小節(jié)前景音樂。
3.根據(jù)權(quán)利要求1所述基于臉部動(dòng)作識(shí)別的音樂數(shù)據(jù)處理方法,其特征在于,
所述步驟S2之后,還包括:
將所述背景音樂數(shù)據(jù)進(jìn)行持續(xù)播放,獲得虛擬場(chǎng)景數(shù)據(jù),所述虛擬場(chǎng)景數(shù)據(jù)為向人面部中各個(gè)部位移動(dòng)物體的虛擬場(chǎng)景數(shù)據(jù);
根據(jù)所述向人面部中各個(gè)部位移動(dòng)物體的虛擬場(chǎng)景數(shù)據(jù),獲得對(duì)應(yīng)的臉部動(dòng)作數(shù)據(jù),所述對(duì)應(yīng)的臉部動(dòng)作數(shù)據(jù)的獲取在所述移動(dòng)物體到達(dá)所述人面部中的部位之前;
將所述臉部動(dòng)作數(shù)據(jù)與所述虛擬場(chǎng)景數(shù)據(jù)進(jìn)行匹配判定,進(jìn)行所述虛擬場(chǎng)景數(shù)據(jù)中對(duì)應(yīng)移動(dòng)物體的處理:
當(dāng)所述臉部動(dòng)作數(shù)據(jù)與所述虛擬場(chǎng)景數(shù)據(jù)匹配,將所述虛擬場(chǎng)景數(shù)據(jù)中對(duì)應(yīng)移動(dòng)物體移除;
當(dāng)所述臉部動(dòng)作數(shù)據(jù)與所述虛擬場(chǎng)景數(shù)據(jù)不匹配,對(duì)所述虛擬場(chǎng)景數(shù)據(jù)中對(duì)應(yīng)移動(dòng)物體不作處理;
在所述每小節(jié)開始的后一拍時(shí)間后,沒有對(duì)應(yīng)的臉部動(dòng)作與目標(biāo)臉部動(dòng)作數(shù)據(jù)匹配,將所述虛擬場(chǎng)景數(shù)據(jù)中對(duì)應(yīng)移動(dòng)物體移除。
4.根據(jù)權(quán)利要求3所述基于臉部動(dòng)作識(shí)別的音樂數(shù)據(jù)處理方法,其特征在于,
將所述虛擬場(chǎng)景數(shù)據(jù)中對(duì)應(yīng)移動(dòng)物體移除之后,包括:
獲得所述虛擬場(chǎng)景數(shù)據(jù)中對(duì)應(yīng)移動(dòng)物體移除的效果數(shù)據(jù);
根據(jù)所述虛擬場(chǎng)景數(shù)據(jù)中對(duì)應(yīng)移動(dòng)物體移除的效果數(shù)據(jù),對(duì)與所述虛擬場(chǎng)景數(shù)據(jù)匹配的所述臉部動(dòng)作數(shù)據(jù)進(jìn)行評(píng)價(jià),得到評(píng)價(jià)結(jié)果。
5.根據(jù)權(quán)利要求1所述基于臉部動(dòng)作識(shí)別的音樂數(shù)據(jù)處理方法,其特征在于,
通過人臉關(guān)鍵點(diǎn)識(shí)別和模糊控制理論進(jìn)行臉部動(dòng)作的識(shí)別。
6.根據(jù)權(quán)利要求1或2所述基于臉部動(dòng)作識(shí)別的音樂數(shù)據(jù)處理方法,其特征在于,
還包括:
將所述背景音樂數(shù)據(jù)進(jìn)行持續(xù)播放,獲得目標(biāo)臉部動(dòng)作數(shù)據(jù),所述目標(biāo)臉部動(dòng)作數(shù)據(jù)對(duì)應(yīng)一小節(jié)前景音樂,所述前景音樂分為第一前景音樂和第二前景音樂,所述第一前景音樂與所述背景音樂匹配播放,所述第二前景音樂與所述背景音樂不匹配播放;
根據(jù)所述目標(biāo)臉部動(dòng)作數(shù)據(jù),獲得在所述每小節(jié)開始的前后一拍時(shí)間內(nèi)的臉部動(dòng)作數(shù)據(jù);
將所述臉部動(dòng)作數(shù)據(jù)與所述目標(biāo)臉部動(dòng)作數(shù)據(jù)進(jìn)行匹配判定,進(jìn)行所述目標(biāo)臉部動(dòng)作數(shù)據(jù)對(duì)應(yīng)一小節(jié)前景音樂的播放選?。?/p>
當(dāng)所述臉部動(dòng)作數(shù)據(jù)與所述目標(biāo)臉部動(dòng)作數(shù)據(jù)匹配,播放所述目標(biāo)臉部動(dòng)作數(shù)據(jù)對(duì)應(yīng)一小節(jié)前景音樂,且所述一小節(jié)前景音樂為與所述目標(biāo)臉部動(dòng)作數(shù)據(jù)對(duì)應(yīng)的第一前景音樂;
當(dāng)所述臉部動(dòng)作數(shù)據(jù)與所述目標(biāo)臉部動(dòng)作數(shù)據(jù)不匹配,播放所述目標(biāo)臉部動(dòng)作數(shù)據(jù)對(duì)應(yīng)一小節(jié)前景音樂,且所述一小節(jié)前景音樂為與所述目標(biāo)臉部動(dòng)作數(shù)據(jù)對(duì)應(yīng)的第二前景音樂。
7.基于臉部動(dòng)作識(shí)別的音樂數(shù)據(jù)處理系統(tǒng),其特征在于,包括:
音樂數(shù)據(jù)獲取模塊,用于獲得背景音樂數(shù)據(jù)和前景音樂數(shù)據(jù),所述背景音樂數(shù)據(jù)和所述前景音樂數(shù)據(jù)分別為一段數(shù)秒鐘至數(shù)分鐘長(zhǎng)的音樂;
音樂數(shù)據(jù)處理模塊,用于將所述前景音樂數(shù)據(jù)按節(jié)拍分成多段小節(jié),每小節(jié)包含多個(gè)拍子;
臉部動(dòng)作獲取模塊,用于在前景音樂時(shí)間內(nèi)檢測(cè)人的面部動(dòng)作,獲得在所述前景音樂時(shí)間內(nèi)的多個(gè)臉部動(dòng)作數(shù)據(jù),每個(gè)臉部動(dòng)作對(duì)應(yīng)一小節(jié)時(shí)間長(zhǎng)度的前景音樂數(shù)據(jù);
音樂創(chuàng)作模塊,用于將所述背景音樂數(shù)據(jù)進(jìn)行持續(xù)播放,并將所述每個(gè)臉部動(dòng)作數(shù)據(jù)與其對(duì)應(yīng)的所述一小節(jié)時(shí)間長(zhǎng)度的前景音樂數(shù)據(jù)進(jìn)行匹配,與所述背景音樂結(jié)合,生成新的音樂。
8.根據(jù)權(quán)利要求7所述基于臉部動(dòng)作識(shí)別的音樂數(shù)據(jù)處理系統(tǒng),其特征在于,
所述音樂數(shù)據(jù)處理模塊之后,還包括音樂選擇播放模塊,用于:
將所述背景音樂數(shù)據(jù)進(jìn)行持續(xù)播放,獲得目標(biāo)臉部動(dòng)作數(shù)據(jù),目標(biāo)臉部動(dòng)作數(shù)據(jù)對(duì)應(yīng)唯一一小節(jié)前景音樂;
根據(jù)所述目標(biāo)臉部動(dòng)作數(shù)據(jù),獲得在所述每小節(jié)開始的前后一拍時(shí)間內(nèi)的臉部動(dòng)作數(shù)據(jù);
將所述臉部動(dòng)作數(shù)據(jù)與所述目標(biāo)臉部動(dòng)作數(shù)據(jù)進(jìn)行匹配判定,進(jìn)行一小節(jié)前景音樂播放的選?。?/p>
當(dāng)所述臉部動(dòng)作數(shù)據(jù)與所述目標(biāo)臉部動(dòng)作數(shù)據(jù)匹配,播放所述一小節(jié)前景音樂,所述一小節(jié)前景音樂為與所述目標(biāo)臉部動(dòng)作數(shù)據(jù)唯一對(duì)應(yīng)的前景音樂;
當(dāng)所述臉部動(dòng)作數(shù)據(jù)與所述目標(biāo)臉部動(dòng)作數(shù)據(jù)不匹配,不播放所述臉部動(dòng)作數(shù)據(jù)對(duì)應(yīng)的一小節(jié)前景音樂。
9.根據(jù)權(quán)利要求7所述基于臉部動(dòng)作識(shí)別的音樂數(shù)據(jù)處理系統(tǒng),其特征在于,
所述音樂數(shù)據(jù)處理模塊之后,還包括音樂虛擬場(chǎng)景模塊,用于:
將所述背景音樂數(shù)據(jù)進(jìn)行持續(xù)播放,獲得虛擬場(chǎng)景數(shù)據(jù),所述虛擬場(chǎng)景數(shù)據(jù)為向人面部中各個(gè)部位移動(dòng)物體的虛擬場(chǎng)景數(shù)據(jù);
根據(jù)所述向人面部中各個(gè)部位移動(dòng)物體的虛擬場(chǎng)景數(shù)據(jù),獲得對(duì)應(yīng)的臉部動(dòng)作數(shù)據(jù),所述對(duì)應(yīng)的臉部動(dòng)作數(shù)據(jù)的獲取在所述移動(dòng)物體到達(dá)所述人面部中的部位之前;
將所述臉部動(dòng)作數(shù)據(jù)與所述虛擬場(chǎng)景數(shù)據(jù)進(jìn)行匹配判定,進(jìn)行所述虛擬場(chǎng)景數(shù)據(jù)中對(duì)應(yīng)移動(dòng)物體的處理:
當(dāng)所述臉部動(dòng)作數(shù)據(jù)與所述虛擬場(chǎng)景數(shù)據(jù)匹配,將所述虛擬場(chǎng)景數(shù)據(jù)中對(duì)應(yīng)移動(dòng)物體移除;
當(dāng)所述臉部動(dòng)作數(shù)據(jù)與所述虛擬場(chǎng)景數(shù)據(jù)不匹配,對(duì)所述虛擬場(chǎng)景數(shù)據(jù)中對(duì)應(yīng)移動(dòng)物體不作處理;
在所述每小節(jié)開始的后一拍時(shí)間后,沒有對(duì)應(yīng)的臉部動(dòng)作與目標(biāo)臉部動(dòng)作數(shù)據(jù)匹配,將所述虛擬場(chǎng)景數(shù)據(jù)中對(duì)應(yīng)移動(dòng)物體移除。
10.根據(jù)權(quán)利要求9所述基于臉部動(dòng)作識(shí)別的音樂數(shù)據(jù)處理系統(tǒng),其特征在于,
所述音樂虛擬場(chǎng)景模塊中,包括效果評(píng)價(jià)子模塊,在將所述虛擬場(chǎng)景數(shù)據(jù)中對(duì)應(yīng)移動(dòng)物體移除之后,所述效果評(píng)價(jià)子模塊用于:
獲得所述虛擬場(chǎng)景數(shù)據(jù)中對(duì)應(yīng)移動(dòng)物體移除的效果數(shù)據(jù);
根據(jù)所述虛擬場(chǎng)景數(shù)據(jù)中對(duì)應(yīng)移動(dòng)物體移除的效果數(shù)據(jù),對(duì)與所述虛擬場(chǎng)景數(shù)據(jù)匹配的所述臉部動(dòng)作數(shù)據(jù)進(jìn)行評(píng)價(jià),得到評(píng)價(jià)結(jié)果。