本發(fā)明涉及一種基于AR增強(qiáng)現(xiàn)實(shí)的樂器輔助演奏和協(xié)奏體驗(yàn)系統(tǒng)。

背景技術(shù)：

一直以來，都需要大量的重復(fù)性練習(xí)，才能夠掌握樂器這一演奏難度非常大的樂器。而在學(xué)習(xí)過程中，需要音樂老師實(shí)時(shí)輔導(dǎo)監(jiān)督學(xué)生的練習(xí)，同時(shí)，需要學(xué)生從基礎(chǔ)技法開始不間斷的大量重復(fù)訓(xùn)練，直至形成肌肉記憶，才算真正習(xí)得樂器演奏技法，整個(gè)學(xué)習(xí)過程異常漫長(zhǎng)而枯燥，需要極大的毅力和習(xí)慣才能完成。這種高門檻，將許多音樂、尤其是樂器愛好者望而卻步，極大的阻礙了樂器的普及，影響了全面音樂素養(yǎng)的普及。

AR增強(qiáng)顯示技術(shù)，能夠在人眼的正常視野范圍內(nèi)，通過互聯(lián)網(wǎng)技術(shù)，獲得周邊目標(biāo)的信息，并將周邊的目標(biāo)的信息在顯示在特定的顯示界面上，增加特定范圍內(nèi)的人群交互。結(jié)合大數(shù)據(jù)分析、計(jì)算機(jī)人工智能算法等技術(shù)，可以在顯示界面上顯示特定的內(nèi)容，極大的拓展了人類的視野。

由于樂器等樂器的演奏都具有相對(duì)固定的方法，主要是運(yùn)弓方法和持琴手指按壓琴弦兩部分動(dòng)作，而且盡管不同的演奏者手型和運(yùn)弓方式都有一定區(qū)別，但是總體上都需要完成核心的手指按壓和琴弦運(yùn)行動(dòng)作，這就帶來了動(dòng)作標(biāo)準(zhǔn)化的可能性，如果利用AR增強(qiáng)顯示技術(shù)，給出樂譜對(duì)應(yīng)的提示，將有望擺脫傳統(tǒng)的演奏學(xué)習(xí)過程，降低樂器演奏的門檻。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明針對(duì)以上問題的提出，而研制的一種基于AR增強(qiáng)現(xiàn)實(shí)的樂器輔助演奏和協(xié)奏體驗(yàn)系統(tǒng)，包括：

圖像采集單元，實(shí)時(shí)采集當(dāng)前使用者握持樂器的視頻圖像，視頻圖像還包含握持手指甲；

圖像分析單元，分析當(dāng)前的樂器的圖像，識(shí)別當(dāng)前樂器的輪廓和操作區(qū)域，識(shí)別定位樂器的琴弦或按鍵；

第二存儲(chǔ)單元，該單元存儲(chǔ)樂譜，以及音節(jié)和音符對(duì)應(yīng)的手指動(dòng)作和輔助器械運(yùn)行的虛擬動(dòng)畫元素；以及操作單元、處理單元和顯示單元；

使用時(shí)，使用者通過操作單元控制系統(tǒng)啟動(dòng)，選擇當(dāng)前演奏曲目；處理單元根據(jù)所述的當(dāng)前樂器的輪廓和操作區(qū)域，定位后的樂器的琴弦、按鍵或打擊區(qū)域，在所述的顯示單元上顯示，并設(shè)定所述的動(dòng)畫元素顯示區(qū)域；處理單元調(diào)取第二存儲(chǔ)單元中的對(duì)應(yīng)的樂譜和對(duì)應(yīng)的按壓動(dòng)作和輔助器械運(yùn)行的虛擬動(dòng)畫元素，在所述的動(dòng)畫元素顯示區(qū)域中顯示；

使用者根據(jù)所述的虛擬動(dòng)畫元素引導(dǎo)，完成當(dāng)前樂曲的演奏，即學(xué)習(xí)體驗(yàn)過程。

還包括遠(yuǎn)程服務(wù)器和服務(wù)器中集成的第三存儲(chǔ)單元，該服務(wù)器收集系統(tǒng)內(nèi)注冊(cè)用戶的評(píng)分和樂曲，根據(jù)樂器種類，生成針對(duì)每個(gè)樂器的等級(jí)分組；所述的第三存儲(chǔ)單元中存儲(chǔ)有構(gòu)成合奏樂曲的每個(gè)樂器的分樂譜；

系統(tǒng)內(nèi)注冊(cè)用戶根據(jù)各自樂器種類和等級(jí)，通過各自系統(tǒng)中的通信單元，下載所述的分樂譜，按系統(tǒng)輔助或自行完成分樂譜的演奏；分樂器的演奏過程由所述的聲音采集單元采集通過所述的演奏過程，傳輸至遠(yuǎn)程服務(wù)器；

服務(wù)器收集所述合奏樂曲的全部演奏過程在分布式工作站中合成生成合奏樂曲，存儲(chǔ)并返回至合奏樂曲分樂譜的演奏者；存儲(chǔ)的合奏樂曲向系統(tǒng)內(nèi)公開。

演奏過程中，所述的處理單元通過聲音采集單元獲取演奏曲目的音頻，分析得到音頻曲線，與第二存儲(chǔ)單元中存儲(chǔ)的音頻曲線比對(duì)，給出當(dāng)前使用者演奏水準(zhǔn)的評(píng)分。

作為優(yōu)選的實(shí)施方式，所述的圖像采集單元、圖像分析單元、操作單元和處理單元以及顯示單元集成在智能終端或智能頭盔/眼鏡上。

作為優(yōu)選的實(shí)施方式，使用過程中，所述的處理單元通過圖像采集單元收集到的圖像，追蹤當(dāng)前使用者的輔助器械運(yùn)行軌跡和指甲的位置，尤其是按下琴弦的指甲的位置，與所述的第二存儲(chǔ)單元中存儲(chǔ)的虛擬動(dòng)畫元素進(jìn)行比較；

當(dāng)判定使用者的輔助器械運(yùn)行軌跡和指甲位置與虛擬動(dòng)畫元素在閾值范圍內(nèi)接近時(shí)，判定當(dāng)前使用者完成當(dāng)前音符或音節(jié)的正確演奏，并給出提示。

作為優(yōu)選的實(shí)施方式，所述的琴弦和輔助器械表面設(shè)有軸線延伸的等間距標(biāo)志。

作為優(yōu)選的實(shí)施方式，使用者握持手指甲分別設(shè)有相互區(qū)分的區(qū)別標(biāo)識(shí)。

更進(jìn)一步的，所述的區(qū)別標(biāo)識(shí)集成在一輔助手套上；

所述的手套指尖位置設(shè)有電刺激貼片；當(dāng)所述的處理單元根據(jù)當(dāng)前音符給出手指的對(duì)應(yīng)的虛擬動(dòng)畫元素時(shí)，控制對(duì)應(yīng)手指的電刺激貼片通電。

作為優(yōu)選的實(shí)施方式，樂器緊弦板上方設(shè)有固定智能終端的夾具。

通過采用上述技術(shù)方案，本發(fā)明提出的基于AR增強(qiáng)現(xiàn)實(shí)的樂器輔助演奏和協(xié)奏體驗(yàn)系統(tǒng)，利用現(xiàn)有的硬件設(shè)備，比如智能終端(手機(jī))或者AR眼鏡等設(shè)備，基于成熟的識(shí)別算法和定位顯示技術(shù)，實(shí)現(xiàn)了對(duì)樂器使用者的虛擬輔助，極大的降低了樂器演奏的門檻，技術(shù)成熟可靠，十分適于大范圍的推廣和使用。

附圖說明

為了更清楚的說明本發(fā)明的實(shí)施例或現(xiàn)有技術(shù)的技術(shù)方案，下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖做一簡(jiǎn)單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖獲得其他的附圖。

圖1為本發(fā)明的系統(tǒng)模塊圖

具體實(shí)施方式

為使本發(fā)明的實(shí)施例的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚完整的描述：

如圖1所示：一種基于AR增強(qiáng)現(xiàn)實(shí)的樂器輔助演奏和協(xié)奏體驗(yàn)系統(tǒng)，主要包括圖像采集單元，在使用過程中，該單元實(shí)時(shí)采集當(dāng)前使用者握持樂器的視頻圖像，同時(shí)為了后續(xù)的視頻識(shí)別，所述的視頻圖像還包含握持手指甲。

圖像分析單元，分析當(dāng)前的樂器的圖像，識(shí)別當(dāng)前樂器的輪廓和操作區(qū)域，識(shí)別定位樂器的琴弦或按鍵，即劃分特定的圖像區(qū)域，作為后續(xù)的算法依據(jù)。在后續(xù)的運(yùn)行過程中，圖像分析單元始終工作追蹤所述的琴弦、輪廓和操作區(qū)域。

第二存儲(chǔ)單元，該單元存儲(chǔ)樂譜，以及印譜中最小演奏單位音節(jié)和音符對(duì)應(yīng)的手指動(dòng)作的位置和輔助器械運(yùn)行的虛擬動(dòng)畫元素，比如當(dāng)一個(gè)演奏單元音列需要按下一弦，同時(shí)輔助器械需要在一弦上運(yùn)行全弓時(shí)，虛擬動(dòng)畫顯示表示食指的動(dòng)畫元素，比如帶有數(shù)字(比如為食指設(shè)定標(biāo)號(hào)1)或區(qū)別于其它手指的圖形，向下運(yùn)動(dòng)的動(dòng)畫元素，同時(shí)在設(shè)定的一弦時(shí)的運(yùn)弓角度區(qū)域顯示輔助器械圖形和帶有特定角度的運(yùn)行方向的動(dòng)畫。同時(shí)，也可以給出相應(yīng)的文字提示或者語(yǔ)音提示等信息。

在使用過程中，使用者通過操作單元控制系統(tǒng)啟動(dòng)，選擇當(dāng)前演奏曲目；處理單元根據(jù)所述的當(dāng)前樂器的輪廓和操作區(qū)域，定位后的樂器的琴弦、按鍵或打擊區(qū)域，在所述的顯示單元上顯示。

在顯示區(qū)域上劃定所述的動(dòng)畫元素顯示區(qū)域。同時(shí)，處理單元調(diào)取第二存儲(chǔ)單元中的對(duì)應(yīng)的樂譜和對(duì)應(yīng)的按壓動(dòng)作和輔助器械運(yùn)行的虛擬動(dòng)畫元素，在所述的動(dòng)畫元素顯示區(qū)域中顯示；使用者根據(jù)所述的虛擬動(dòng)畫元素引導(dǎo)，完成當(dāng)前樂曲的演奏，即學(xué)習(xí)體驗(yàn)過程。

為了擴(kuò)張相應(yīng)的功能，在演奏過程中，所述的處理單元通過聲音采集單元獲取演奏曲目的音頻，分析得到音頻曲線，與第二存儲(chǔ)單元中存儲(chǔ)的音頻曲線比對(duì)，給出當(dāng)前使用者演奏水準(zhǔn)的評(píng)分。

作為可選的實(shí)施方式，聲音采集單元可采用智能手機(jī)的聽筒，或者使用集成有聲音采集設(shè)備的AR眼鏡或者采用無線/有線聲音采集設(shè)備接入現(xiàn)有設(shè)備。評(píng)分算法，可以利用現(xiàn)有的類似KTV中的演唱評(píng)分算法等類似算法即可實(shí)現(xiàn)，處于鼓勵(lì)的目的，采集關(guān)鍵音即可。

相應(yīng)的，也可設(shè)置不同難度的評(píng)價(jià)標(biāo)準(zhǔn)，針對(duì)不同層次的使用者，設(shè)定不同級(jí)別的算法，增加系統(tǒng)的可持續(xù)性操作。

為了能夠盡可能的利用現(xiàn)有成熟的技術(shù)設(shè)備，增加設(shè)備集成度，減少使用者佩戴物品數(shù)量，作為優(yōu)選的實(shí)施方式，所述的圖像采集單元、圖像分析單元、操作單元和處理單元以及顯示單元集成在智能終端或智能頭盔/眼鏡上。作為系統(tǒng)的核心，替換運(yùn)算核心和相應(yīng)的算法即可實(shí)現(xiàn)本專利提出的方案。

為了能夠識(shí)別當(dāng)前使用者的操作是否正確，作為優(yōu)選的實(shí)施方式，所述的處理單元通過圖像采集單元收集到的圖像，追蹤當(dāng)前使用者的輔助器械運(yùn)行軌跡和指甲的位置，尤其是按下琴弦的指甲的位置，與所述的第二存儲(chǔ)單元中存儲(chǔ)的虛擬動(dòng)畫元素進(jìn)行比較。

較為可行的實(shí)施方式，當(dāng)判定使用者的輔助器械運(yùn)行軌跡和指甲位置與虛擬動(dòng)畫元素在閾值范圍內(nèi)接近時(shí)，在顯示界面，可以理解為虛擬動(dòng)畫元素和手指甲基本出現(xiàn)在相似的區(qū)域，能夠大幅度的重合，即可判定當(dāng)前使用者根據(jù)系統(tǒng)提示，完成了當(dāng)前音符或音節(jié)的正確演奏，并給出正確演奏的提示。

此處，可以借鑒其它游戲中的連擊提示機(jī)制，當(dāng)正確完成一個(gè)音符的演奏時(shí)，即可給出+1的提示，當(dāng)連續(xù)的正確完成演奏時(shí)，即給出+N的提示，并給出相應(yīng)的鼓勵(lì)詞語(yǔ)或者類似提示。

為了能夠通過網(wǎng)絡(luò)協(xié)作，使得遠(yuǎn)程交響協(xié)奏成為可能，作為優(yōu)選的實(shí)施方式，系統(tǒng)包括遠(yuǎn)程服務(wù)器和服務(wù)器中集成的第三存儲(chǔ)單元，該服務(wù)器收集系統(tǒng)內(nèi)注冊(cè)用戶的評(píng)分和樂曲，根據(jù)樂器種類，生成針對(duì)每個(gè)樂器的等級(jí)分組，所述的第三存儲(chǔ)單元中存儲(chǔ)有構(gòu)成合奏樂曲的每個(gè)樂器的分樂譜。按演奏等級(jí)劃分系統(tǒng)用戶，能夠避免在協(xié)奏過程中因成員水平差異過大，導(dǎo)致合奏結(jié)果不理想。同時(shí)，可以在一定等級(jí)以上再開放協(xié)奏。

系統(tǒng)內(nèi)注冊(cè)用戶根據(jù)各自樂器種類和等級(jí)，通過各自系統(tǒng)中的通信單元，下載所述的分樂譜，按系統(tǒng)輔助或自行完成分樂譜的演奏；分樂器的演奏過程由所述的聲音采集單元采集通過所述的演奏過程，傳輸至遠(yuǎn)程服務(wù)器；服務(wù)器收集所述合奏樂曲的全部演奏過程在分布式工作站中合成生成合奏樂曲，存儲(chǔ)并返回至合奏樂曲分樂譜的演奏者；存儲(chǔ)的合奏樂曲向系統(tǒng)內(nèi)公開。

更進(jìn)一步的，考慮到輔助器械的色彩與樂器琴身色彩較為接近，導(dǎo)致識(shí)別算法過于復(fù)雜，作為優(yōu)選的實(shí)施方式，所述的琴弦和輔助器械表面設(shè)有軸線延伸的等間距標(biāo)志?？蛇x間隔設(shè)置的黑白色塊，便于算法識(shí)別，減少算法的識(shí)別運(yùn)行時(shí)間。

同樣的，使用者握持手指甲分別設(shè)有相互區(qū)分的區(qū)別標(biāo)識(shí)。比如為分別對(duì)應(yīng)1/2/3/4琴弦的食指、中指、無名指和小指分別設(shè)置1/2/3/4的編號(hào)，便于計(jì)算機(jī)識(shí)別。

作為優(yōu)選的實(shí)施方式，所述的區(qū)別標(biāo)識(shí)集成在一輔助手套上與指甲對(duì)應(yīng)的位置。

為了能夠?qū)κ褂谜叨喾矫娴拇碳ず鸵龑?dǎo)，作為優(yōu)選的實(shí)施方式，所述的處理單元根據(jù)當(dāng)前音符給出手指的對(duì)應(yīng)的虛擬動(dòng)畫元素時(shí)，控制對(duì)應(yīng)手指的電刺激貼片通電。

樂器緊弦板上方，靠近微調(diào)器的位置設(shè)有固定智能終端的夾具，方便固定手機(jī)等設(shè)備。

以上所述，僅為本發(fā)明較佳的具體實(shí)施方式，但本發(fā)明的保護(hù)范圍并不局限于此，任何熟悉本技術(shù)領(lǐng)域的技術(shù)人員在本發(fā)明揭露的技術(shù)范圍內(nèi)，根據(jù)本發(fā)明的技術(shù)方案及其發(fā)明構(gòu)思加以等同替換或改變，都應(yīng)涵蓋在本發(fā)明的保護(hù)范圍之內(nèi)。