本發(fā)明涉及音樂編輯領(lǐng)域技術(shù)領(lǐng)域，具體涉及一種基于手勢識別的音樂編輯器及音樂編輯方法。

背景技術(shù)：

隨著社會的不斷發(fā)展，人們對于工作效率及靈活度提出了更高的要求。本申請旨在提高音樂編輯與記錄的靈活性，為廣大音樂愛好者提供更多便利。不同于傳統(tǒng)的音樂編輯方式，本申請希望通過手勢識別技術(shù)，借助攝像頭等輸入工具將手勢與音樂編輯結(jié)合起來，以不同的手勢代表不同的音符，從而完成音樂的譜寫。

相較于傳統(tǒng)方式需要大量設(shè)備的不足，本申請僅需使用攝像記錄功能，如可使用手機相機等移動設(shè)備，因此更加方便戶外攜帶，且適用于各種場合。大大避免了設(shè)備使用的局限性，使音樂記錄更加隨心所欲，編輯工作更加方便快捷。同時本產(chǎn)品操作簡單且易于學(xué)習，僅需記憶少量手勢便可進行音樂的編輯工作，給予初學(xué)者和業(yè)余愛好者極大地便利。同時簡化了工作的復(fù)雜度，使音樂編輯更加靈活便捷且貼近生活，吸引更多有興趣的人關(guān)注并嘗試音樂編輯工作，為生活帶來更多樂趣。

此外，作為一款新型音樂編輯方法，該音樂編輯方法可推廣應(yīng)用到電腦軟件及手機app兩個版本，尤其是手機app方便大家隨時隨地進行音樂編輯工作，這也使音樂編輯更加方便。在電子發(fā)展如此迅速的今天，人們對于電子設(shè)備的廣泛使用更將推進軟件的普及度和實用性，發(fā)展前景廣闊。

技術(shù)實現(xiàn)要素：

本發(fā)明的目的是為了解決現(xiàn)有技術(shù)中的上述缺陷，提供一種基于手勢識別的音樂編輯器及音樂編輯方法。

根據(jù)公開的實施例，本發(fā)明一方面公開了一種基于手勢識別的音樂編輯器，所述音樂編輯器包括用于接收手勢信號的攝像頭模塊、用于顯示手勢的顯示器模塊、用于檢測、識別與處理手勢信號的主控模塊和用于播放音樂的揚聲器；

所述攝像頭模塊設(shè)置在所述顯示器模塊的上方，攝像頭可以根據(jù)用戶的使用習慣放置和調(diào)整；所述攝像頭模塊、所述顯示器模塊、所述揚聲器均與所述主控模塊相連，并且均受所述主控模塊控制。

進一步地，所述顯示器模塊水平平均劃分為若干不同高度區(qū)域的手勢位置，不同高度區(qū)域的位置對應(yīng)不同的音色高低。

根據(jù)公開的實施例，本發(fā)明另一方面公開了一種基于手勢識別的音樂編方法，所述音樂編輯方法包括以下步驟：

s1、通過攝像頭模塊實時錄入用戶手勢，獲取手勢圖像并傳遞給主控模塊；

s2、主控模塊對用戶手勢進行實時識別與處理，對于獲取的每個手勢圖像通過opencv算法進行二值化和中值濾波處理并計算其hog特征，然后利用手勢分類器匹配產(chǎn)生識別結(jié)果，并利用事先設(shè)定的音色調(diào)用關(guān)系調(diào)用音色；

s3、調(diào)用與識別結(jié)果對應(yīng)的音色文件控制揚聲器輸出音頻。

進一步地，所述步驟s2包括以下子步驟：

r1、識別手勢類型，調(diào)用與手勢類型相應(yīng)的樂器；

r2、將顯示器模塊水平平均劃分為若干不同高度區(qū)域的手勢位置，不同高度區(qū)域的位置對應(yīng)不同的音色高低，判別手勢位置，調(diào)用與手勢位置對應(yīng)的音色；

r3、判別手勢移動速率，根據(jù)移動速率確定樂聲的頻率。

進一步地，所述步驟r2中，當手部同時處于兩個劃分位置的時候，判斷手部在哪一部分的占比較大，最終對應(yīng)于占比較大部分的音色。

進一步地，所述步驟s1之前還包括以下步驟：

主控模塊中運行算法對手勢樣本庫中的圖像進行訓(xùn)練，得到手勢分類器，并將手勢分類器中各類別手勢與其對應(yīng)音色文件建立音色調(diào)用關(guān)系。

進一步地，所述主控模塊利用opencv對手勢樣本圖像進行二值化和中值濾波處理，對處理過后的樣本計算其hog特征，并用svm對樣本特征進行訓(xùn)練，得到所述手勢分類器。

進一步地，所述步驟s1之前還包括以下步驟：

基于攝像頭模塊獲取的手勢圖像，主控模塊通過顯示器模塊將攝像頭的實時圖像反饋給使用者，并與使用者配合調(diào)節(jié)手勢在圖像中的大小并建立參考平面。

進一步地，所述基于攝像頭模塊獲取的手勢圖像，主控模塊通過顯示器模塊將攝像頭的實時圖像反饋給使用者，并與使用者配合調(diào)節(jié)手勢在圖像中的大小并建立參考平面具體過程如下：

t1、標校用戶手部活動距離，使用戶的手部活動區(qū)域位于顯示屏所能顯示的區(qū)域?qū)?yīng)的物理區(qū)域。

t2、建立以中央手勢為基準建立參考平面。

本發(fā)明相對于現(xiàn)有技術(shù)具有如下的優(yōu)點及效果：

相較于傳統(tǒng)方式需要大量設(shè)備的不足，本發(fā)明僅需使用攝像記錄功能，如可使用手機相機等移動設(shè)備，因此更加方便戶外攜帶，且適用于各種場合。大大避免了設(shè)備使用的局限性，使音樂記錄更加隨心所欲，編輯工作更加方便快捷。同時該音樂編輯器操作簡單且易于學(xué)習，僅需記憶少量手勢便可進行音樂的編輯工作，給予初學(xué)者和業(yè)余愛好者極大地便利。同時簡化了工作的復(fù)雜度，使音樂編輯更加靈活便捷且貼近生活，吸引更多有興趣的人關(guān)注并嘗試音樂編輯工作，為生活帶來更多樂趣。

附圖說明

圖1是本發(fā)明中基于手勢識別的音樂編輯器的結(jié)構(gòu)示意圖；

圖2為本發(fā)明中產(chǎn)生不同聲音的流程示意圖；

圖3為本發(fā)明中調(diào)制音色的流程示意圖；

圖4為本發(fā)明中控制發(fā)音頻率的流程示意圖；

其中，101—攝像頭模塊，102—顯示器模塊，103—主控模塊，104—揚聲器，105—手部活動距離，106—手部活動區(qū)域，201—手勢，301—手勢位置，401—手勢軌跡。

具體實施方式

為使本發(fā)明實施例的目的、技術(shù)方案和優(yōu)點更加清楚，下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進行清楚、完整地描述，顯然，所描述的實施例是本發(fā)明一部分實施例，而不是全部的實施例?；诒景l(fā)明中的實施例，本領(lǐng)域普通技術(shù)人員在沒有作出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。

實施例一

本實施例公開了一種基于手勢識別的音樂編輯器包括用于接收手勢信號的攝像頭模塊101、用于顯示手勢的顯示器模塊102、用于檢測、識別與處理手勢信號的主控模塊103和用于播放音樂的揚聲器104。

請參見圖1，圖1是本實施例一中公開的一種基于手勢識別的音樂編輯器的結(jié)構(gòu)示意圖，如圖所示，攝像頭模塊101在顯示器模塊102的上方，攝像頭可以根據(jù)用戶的使用習慣放置和調(diào)整。主控模塊103與顯示器模塊102、攝像頭模塊101和揚聲器104相連。手部活動距離105根據(jù)攝像頭的不同和顯示器的分辨率大小進行配置。配置方法為：首先將主控模塊103中電腦初始化，顯示器模塊102中顯示屏會顯示一個矩形區(qū)域，將手移動到矩形框內(nèi)顯示的手掌位置即可配置成功。此時的位置位于手部活動距離105，手部活動區(qū)域106位于顯示屏所能顯示的區(qū)域?qū)?yīng)的物理區(qū)域。

攝像頭模塊101、顯示器模塊102、揚聲器104均與主控模塊103相連，并且均受主控模塊103控制。

主控模塊103是音樂編輯器的控制中心，負責協(xié)調(diào)與直接控制各模塊正常運行，攝像頭模塊101主要接收位于有效的手部活動區(qū)域106內(nèi)不同的手勢信號，并將所接收到的手勢信號傳輸?shù)剿龅闹骺啬K103，讓主控模塊103對手勢信號進行相應(yīng)的檢測、識別與處理，主控模塊103將手勢識別處理的結(jié)果分別傳輸?shù)斤@示模塊102與揚聲器104，顯示器模塊102根據(jù)主控模塊103的反饋信號，顯示出所識別的手勢信號，揚聲器104根據(jù)主控模塊103的處理結(jié)果，播放相應(yīng)的音頻信號。

請參見圖3，圖3是本實施例一中公開的基于手勢識別的音樂編輯器中控制聲音音色的方法。通過將顯示器模塊102水平平均劃分為若干不同高度區(qū)域的手勢位置301，不同高度區(qū)域的位置對應(yīng)不同的音色高低。判斷手勢的位置，位置低到高對應(yīng)音色由低到高。當手部處于兩個劃分位置的時候，判斷手部在哪一部分的占比較大，最終對應(yīng)于占比較大部分的音色。判斷出手勢位置后，通過調(diào)制聲音，使聲音的音色發(fā)生變化。比如，音調(diào)較高的大鼓和音調(diào)較底的大鼓。

請參見圖4，圖4是本實施例一中公開的基于手勢識別的音樂編輯器中控制聲音發(fā)出頻率的控制方法。通過在一定的時間內(nèi)檢測手部在水平方向上的移動軌跡——手勢軌跡401，確定移動的速度。通過判斷速度，決定發(fā)出聲音的頻率。如手在水平位置上移動的速度越快，在一定時間內(nèi)大鼓發(fā)出聲音的次數(shù)越多。

綜上所述，基于手勢識別的音樂編輯器可以在多種場合進行使用。通過將手掌移動到指定位置，可以進行編輯器的初始化工作，同時通過識別不同的手勢，選擇所對應(yīng)的樂器，進行聲音的調(diào)用。此外，通過對手勢位置，移動軌跡等進行檢測，可以對聲音的音調(diào)高低以及頻率大小進行調(diào)整，以滿足用戶的需求。

實施例二

本實施例公開了一種基于手勢識別的音樂編輯方法，包含以下步驟：

s1、通過攝像頭模塊101實時錄入用戶手勢，獲取手勢圖像并傳遞給主控模塊103；

具體步驟中，用戶開啟電腦或移動設(shè)備中相應(yīng)的音樂編輯器應(yīng)用程序，通過電腦或移動設(shè)備中的攝像頭模塊101實時錄入用戶手勢，獲取手勢圖像并傳遞給主控模塊103。

s2、主控模塊103對用戶手勢進行實時識別與處理，對于獲取的每個手勢圖像通過opencv算法進行二值化和中值濾波處理并計算其hog特征，然后利用手勢分類器匹配產(chǎn)生識別結(jié)果，并利用事先設(shè)定的音色調(diào)用關(guān)系調(diào)用音色；

該步驟具體包括以下步驟：

r1、識別手勢類型，調(diào)用與手勢類型相應(yīng)的樂器；

r2、通過將顯示器模塊102水平平均劃分為若干不同高度區(qū)域的手勢位置301，不同高度區(qū)域的位置對應(yīng)不同的音色高低，判別手勢位置301，調(diào)用與手勢位置對應(yīng)的音色；

通過將顯示器模塊102水平平均劃分為若干部分的手勢位置301。判斷手勢的位置，位置低到高對應(yīng)音色由低到高(或者位置低到高對應(yīng)音色由高到低，此處音色設(shè)置方案不構(gòu)成本發(fā)明技術(shù)方案的限制)。當手部處于兩個劃分位置的時候，判斷手部在哪一部分的占比較大，最終對應(yīng)于占比較大部分的音色。判斷出手勢位置后，通過調(diào)制聲音，使聲音的音色發(fā)生變化。比如，音調(diào)較高的大鼓和音調(diào)較底的大鼓。

若干不同高度區(qū)域的手勢位置301，不同高度區(qū)域的位置對應(yīng)不同的音色高低

r3、判別手勢移動速率，根據(jù)移動速率確定樂聲的頻率。

通過在一定的時間內(nèi)檢測手部在水平方向上的移動軌跡——手勢軌跡401，確定移動的速度。通過判斷速度，決定發(fā)出聲音的頻率。如手在水平位置上移動的速度越快，在一定時間內(nèi)大鼓發(fā)出聲音的次數(shù)越多。

s3、調(diào)用與識別結(jié)果對應(yīng)的音色文件控制揚聲器104輸出音頻。

在另一優(yōu)選的實施方式中，本實施例公開的一種基于手勢識別的音樂編輯方法，所述步驟s1之前還包括以下步驟：

主控模塊103中運行算法對手勢樣本庫中的圖像進行訓(xùn)練，得到手勢分類器，并將手勢分類器中各類別手勢與其對應(yīng)音色文件建立音色調(diào)用關(guān)系。

該步驟為本實施例公開的基于手勢識別的音樂編輯方法的配置步驟，用戶首次運行該音樂編輯方法，均需要進行前期配置，訓(xùn)練手勢分類器。

主控模塊103利用opencv對手勢樣本圖像進行二值化和中值濾波處理，對處理過后的樣本計算其hog特征，并用svm對樣本特征進行訓(xùn)練，得到手勢分類器。其中手勢樣本圖像分為正樣本和負樣本，通過調(diào)整正樣本和負樣本的數(shù)量、比例及手勢的代表性可以使手勢分類器更加高效準確。

在另一優(yōu)選的實施方式中，本實施例公開的一種基于手勢識別的音樂編輯方法，所述步驟s1之前還包括以下步驟：

基于攝像頭模塊101獲取的手勢圖像，主控模塊103通過顯示器模塊102將攝像頭103的實時圖像反饋給使用者，并與使用者配合調(diào)節(jié)手勢在圖像中的大小并建立參考平面。

該步驟為本實施例公開的基于手勢識別的音樂編輯方法的標校步驟，用戶首次運行該音樂編輯方法，均需要進行手勢距離以及位置標校。

標校模式下，基于攝像頭模塊101獲取的手勢圖像，主控模塊103通過顯示器模塊102將攝像頭103的實時圖像反饋給使用者，并與使用者配合調(diào)節(jié)手勢在圖像中的大小并建立參考平面。

該步驟具體包括兩個子步驟。

t1、標校用戶手部活動距離105，使用戶的手部活動區(qū)域106位于顯示屏所能顯示的區(qū)域?qū)?yīng)的物理區(qū)域。

如果手勢在圖像中所占面積過小即手部活動距離105過大，則主控模塊103通過顯示器模塊102提示使用者將縮小手部活動距離105或者提高攝像頭模塊101的攝像倍率。相反，如果手勢在圖像中所占面積過大甚至不能顯示完整手部即手部活動距離105過小，則主控模塊103通過顯示器模塊102提示使用者將增大手部活動距離105或者降低攝像頭模塊101的攝像倍率。按如上方法調(diào)整圖像中手勢大小至合適范圍。

t2、建立以中央手勢為基準建立參考平面。

主控模塊103通過顯示器模塊102提示用戶將手部調(diào)整至圖像中央后，主控模塊103以中央手勢為基準建立參考平面。

在另一優(yōu)選的實施方式中，本實施例公開的一種基于手勢識別的音樂編輯方法，還包含以下步驟：

顯示模塊102實時顯示用戶手勢；

實時顯示用戶的手勢，可方便用戶及時了解當前音樂編輯信息，掌握當前音樂編輯進程，同時，方便用戶決定如何進行下一步手勢操作。

當用戶通過音樂編輯器完成音樂編輯之后，用戶編輯完成的音樂文件存儲于電腦或移動設(shè)備，可通過調(diào)用已完成的音樂文件進行再編輯操作。

上述實施例為本發(fā)明較佳的實施方式，但本發(fā)明的實施方式并不受上述實施例的限制，其他的任何未背離本發(fā)明的精神實質(zhì)與原理下所作的改變、修飾、替代、組合、簡化，均應(yīng)為等效的置換方式，都包含在本發(fā)明的保護范圍之內(nèi)。