1.一種用于樂譜圖像識別的電子設(shè)備,其特征在于,包括殼體、發(fā)聲部件、設(shè)置在殼體內(nèi)的主板以及設(shè)置在所述殼體第一端部的圖像掃描部件;
所述主板上設(shè)置有主控電路及分別與主控電路電連接的聲卡電路和電源電路;
所述圖像掃描部件包括掃描滾輪以及設(shè)置在掃描滾輪上方的攝像頭,所述掃描滾輪和攝像頭均與所述主控電路電連接;所述攝像頭將拍攝的樂譜圖像發(fā)送給主控電路進(jìn)行處理;
所述發(fā)聲部件與所述聲卡電路相連,按主控電路發(fā)送的聲音信號發(fā)出聲音;
所述電源電路分別與所述掃描滾輪、攝像頭及發(fā)聲部件電連接為其供電;
所述殼體的第二端部設(shè)置有電池艙及艙蓋,電池艙與主板上的電源電路相連。
2.根據(jù)權(quán)利要求1所述的用于樂譜圖像識別的電子設(shè)備,其特征在于,所述殼體為筆狀殼體;所述圖像掃描部件設(shè)置在筆狀殼體的第一端部;
所述發(fā)聲部件安裝在所述圖像掃描部件上方,所述圖像掃描部件和發(fā)聲部件使第一端部形成為筆尖狀;
所述主板安裝在筆狀殼體內(nèi)靠近筆尖的位置;
所述筆狀殼體內(nèi)設(shè)置有至少2個主板安裝柱;所述主板通過所述至少2個主板安裝柱固定在筆狀殼體內(nèi)。
3.根據(jù)權(quán)利要求2所述的用于樂譜圖像識別的電子設(shè)備,其特征在于,所述筆狀殼體的第二端部設(shè)置有電池艙及艙蓋,電池艙與主板上的電源電路相連。
4.根據(jù)權(quán)利要求2所述的用于樂譜圖像識別的電子設(shè)備,其特征在于,所述筆狀殼體的第二端部設(shè)置有外接電源線,外接電源線與主板上的電源電路相連。
5.一種基于權(quán)利要求1-4任意一項(xiàng)所述電子設(shè)備的樂譜圖像識別方法,其特征在于,包括,
通過攝像頭獲取待處理的五線譜圖像傳遞給主控電路;
主控電路對待處理的五線譜圖像進(jìn)行識別,識別出每個完整音符;
主控電路根據(jù)識別出的完整音符,發(fā)送對應(yīng)的聲音數(shù)字信號給聲卡電路,聲卡電路將收到的聲音數(shù)字信號轉(zhuǎn)換成可播放的模擬信號,傳遞給發(fā)聲部件進(jìn)行播放;
所述的主控電路對待處理的五線譜圖像進(jìn)行識別,包括,
對待處理的五線譜圖像采用邊緣檢測方法描繪出圖像的邊緣信息,再通過直線檢測方法檢測出五線位置坐標(biāo);
采用預(yù)設(shè)的音符分類器,對待處理的五線譜圖像進(jìn)行音符定位分割,得到每個完整音符在圖像中的位置;
采用預(yù)設(shè)的卷積神經(jīng)網(wǎng)絡(luò)對分割獲得的音符符頭進(jìn)行識別,判斷是實(shí)心符頭還是空心符頭,并得到符頭的位置;
根據(jù)所述得到的五線位置坐標(biāo)、每個完整音符的相對位置、是實(shí)心符頭還是空心符頭及符頭的位置,識別出每個完整音符。
6.根據(jù)權(quán)利要求5所述的樂譜圖像識別方法,其特征在于,所述的音符分類器的訓(xùn)練過程,包括:
建立正樣本數(shù)據(jù)集和負(fù)樣本數(shù)據(jù)集,數(shù)據(jù)集中包括定位框的位置數(shù)據(jù)及定位框內(nèi)的五線譜圖像的圖像數(shù)據(jù),正樣本數(shù)據(jù)集為包括完整音符的圖像數(shù)據(jù),負(fù)樣本數(shù)據(jù)集為包括除過完整音符之外的其余樂譜可能出現(xiàn)的圖像數(shù)據(jù);
提取正樣本數(shù)據(jù)集和負(fù)樣本數(shù)據(jù)集中每個樣本的通道特征,訓(xùn)練音符分類器。
7.根據(jù)權(quán)利要求6所述的樂譜圖像識別方法,其特征在于,所述的對待處理的五線譜圖像進(jìn)行音符定位分割,包括,
在待處理的五線譜圖像上隨機(jī)選取若干個候選定位框,逐個掃描定位框,對每個定位框內(nèi)的圖像提取所述的通道特征,將提取的通道特征輸入到音符分類器中,判斷定位框內(nèi)的圖像為正樣本或者為負(fù)樣本,正樣本判定為樂譜中的完整音符,負(fù)樣本判定為樂譜背景舍棄,從而得到待處理的五線譜圖像中的完整音符,對照音符分類器中定位框的位置數(shù)據(jù)得到每個完整音符在圖像中的位置。
8.根據(jù)權(quán)利要求5所述的樂譜圖像識別方法,其特征在于,所述的卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程,包括,
建立音符符頭數(shù)據(jù)集,包括實(shí)心符頭、空心符頭和背景三種分類數(shù)據(jù);
構(gòu)建卷積神經(jīng)網(wǎng)絡(luò),包括2個卷積層,2個下采樣層和1個全連接層;
將音符符頭數(shù)據(jù)集中的符頭圖像數(shù)據(jù)輸入到卷積神經(jīng)網(wǎng)絡(luò)中,完成訓(xùn)練。
9.根據(jù)權(quán)利要求8所述的樂譜圖像識別方法,其特征在于,所述的采用卷積神經(jīng)網(wǎng)絡(luò)對分割獲得的音符符頭進(jìn)行識別,包括,
將音符定位分割得到的完整音符,輸入到卷積神經(jīng)網(wǎng)絡(luò)中,通過和音符符頭數(shù)據(jù)集里的數(shù)據(jù)對比,得出是實(shí)心符頭、空心符頭或者背景,舍棄背景,同時對照音符符頭數(shù)據(jù)集里的符頭的位置數(shù)據(jù),確定完整音符中符頭的位置。
10.根據(jù)權(quán)利要求5所述的樂譜圖像識別方法,其特征在于,所述的待處理的五線譜圖像,具體為:對五線譜圖像進(jìn)行去噪、對比度增強(qiáng)、灰度化、減少噪聲或光照不均勻的處理,得到的二值圖像。