1.一種基于AR增強(qiáng)現(xiàn)實(shí)的樂器輔助演奏和協(xié)奏體驗(yàn)系統(tǒng),其特征在于包括:
圖像采集單元,實(shí)時采集當(dāng)前使用者握持樂器的視頻圖像,視頻圖像還包含握持手指甲;
圖像分析單元,分析當(dāng)前的樂器的圖像,與第一存儲單元中存儲的樂器圖像進(jìn)行比對,識別當(dāng)前樂器的輪廓和操作區(qū)域,識別定位樂器的琴弦、按鍵或打擊區(qū)域;
第二存儲單元,該單元存儲樂譜,以及音節(jié)和音符對應(yīng)的手指動作和輔助器械運(yùn)行的虛擬動畫元素;以及操作單元、處理單元和顯示單元;
使用時,使用者通過操作單元控制系統(tǒng)啟動,選擇當(dāng)前演奏曲目;處理單元根據(jù)所述的當(dāng)前樂器的輪廓和操作區(qū)域,定位后的樂器的琴弦、按鍵或打擊區(qū)域,在所述的顯示單元上顯示,并設(shè)定所述的動畫元素顯示區(qū)域;處理單元調(diào)取第二存儲單元中的對應(yīng)的樂譜和對應(yīng)的按壓動作和輔助器械運(yùn)行的虛擬動畫元素,在所述的動畫元素顯示區(qū)域中顯示;
使用者根據(jù)所述的虛擬動畫元素引導(dǎo),完成當(dāng)前樂曲的演奏;
演奏過程中,所述的處理單元通過聲音采集單元獲取演奏曲目的音頻,分析得到音頻曲線,與第二存儲單元中存儲的音頻曲線比對,給出當(dāng)前使用者演奏水準(zhǔn)的評分;
還包括遠(yuǎn)程服務(wù)器和服務(wù)器中集成的第三存儲單元,該服務(wù)器收集系統(tǒng)內(nèi)注冊用戶的評分和樂曲,根據(jù)樂器種類,生成針對每個樂器的等級分組;所述的第三存儲單元中存儲有構(gòu)成合奏樂曲的每個樂器的分樂譜;
系統(tǒng)內(nèi)注冊用戶根據(jù)各自樂器種類和等級,通過各自系統(tǒng)中的通信單元,下載所述的分樂譜,按系統(tǒng)輔助或自行完成分樂譜的演奏;分樂器的演奏過程由所述的聲音采集單元采集通過所述的演奏過程,傳輸至遠(yuǎn)程服務(wù)器;
服務(wù)器收集所述合奏樂曲的全部演奏過程在分布式工作站中合成生成合奏樂曲,存儲并返回至合奏樂曲分樂譜的演奏者;存儲的合奏樂曲向系統(tǒng)內(nèi)公開。
2.根據(jù)權(quán)利要求1所述的基于AR增強(qiáng)現(xiàn)實(shí)的樂器輔助演奏和協(xié)奏體驗(yàn)系統(tǒng),其特征還在于所述的圖像采集單元、圖像分析單元、操作單元和處理單元以及顯示單元集成在智能終端或智能頭盔/眼鏡上。
3.根據(jù)權(quán)利要求1所述的基于AR增強(qiáng)現(xiàn)實(shí)的樂器輔助演奏和協(xié)奏體驗(yàn)系統(tǒng),其特征還在于使用過程中,所述的處理單元通過圖像采集單元收集到的圖像,追蹤當(dāng)前使用者的輔助器械運(yùn)行軌跡和指甲的位置,尤其是按下琴弦的指甲的位置,與所述的第二存儲單元中存儲的虛擬動畫元素進(jìn)行比較;
當(dāng)判定使用者的輔助器械運(yùn)行軌跡和指甲位置與虛擬動畫元素在閾值范圍內(nèi)接近時,判定當(dāng)前使用者完成當(dāng)前音符或音節(jié)的正確演奏,并給出提示。
4.根據(jù)權(quán)利要求1所述的基于AR增強(qiáng)現(xiàn)實(shí)的樂器輔助演奏和協(xié)奏體驗(yàn)系統(tǒng),其特征還在于所述的琴弦和輔助器械表面設(shè)有軸線延伸的等間距標(biāo)志。
5.根據(jù)權(quán)利要求1所述的基于AR增強(qiáng)現(xiàn)實(shí)的樂器輔助演奏和協(xié)奏體驗(yàn)系統(tǒng),其特征還在于使用者握持手指甲分別設(shè)有相互區(qū)分的區(qū)別標(biāo)識。
6.根據(jù)權(quán)利要求2所述的基于AR增強(qiáng)現(xiàn)實(shí)的樂器輔助演奏和協(xié)奏體驗(yàn)系統(tǒng),其特征還在于所述的區(qū)別標(biāo)識集成在一輔助手套上;
所述的手套指尖位置設(shè)有電刺激貼片;當(dāng)所述的處理單元根據(jù)當(dāng)前音符給出手指的對應(yīng)的虛擬動畫元素時,控制對應(yīng)手指的電刺激貼片通電。
7.根據(jù)權(quán)利要求1所述的基于AR增強(qiáng)現(xiàn)實(shí)的樂器輔助演奏和協(xié)奏體驗(yàn)系統(tǒng),其特征還在于樂器緊弦板上方,靠近微調(diào)器的位置設(shè)有固定智能終端的夾具。