本發(fā)明涉及鋼琴以及鋼琴教學(xué)系統(tǒng)領(lǐng)域，具體涉及一種智能鋼琴教學(xué)系統(tǒng)。
背景技術(shù)：
智能教學(xué)系統(tǒng)是教育技術(shù)學(xué)中重要的研究領(lǐng)域，它借助人工智能技術(shù)，在沒有人類導(dǎo)師指導(dǎo)的情況下幫助學(xué)習(xí)者獲取知識和技能方面起著重要的作用。自從20世紀(jì)70年代以來，許多國家和地區(qū)都十分重視智能教學(xué)系統(tǒng)的研究、開發(fā)和應(yīng)用。智能教學(xué)，是通過互聯(lián)網(wǎng)計算機人工模擬技術(shù)整合全國工作在一線的特、高級教師和教學(xué)專家的教學(xué)資源和教研成果進行科學(xué)分析、智能判斷及有目的地提供即時、有效、全面且針對性的教學(xué)。智能教學(xué)可以智能發(fā)現(xiàn)學(xué)生和教師在學(xué)習(xí)和教學(xué)中的不易發(fā)現(xiàn)的盲點，并智能掃除盲點，可以減輕學(xué)生的學(xué)習(xí)負擔(dān)，提高教師的教學(xué)效率，最終達到提高學(xué)生學(xué)習(xí)成績的目的，是更精準(zhǔn)、即時進行學(xué)習(xí)診斷和智能化提分的智能教學(xué)系統(tǒng)，能減輕學(xué)生的負擔(dān)，提高學(xué)生的成績，必將成為提高教學(xué)效率的主流方式。
鋼琴教育，是通過基本技能及藝術(shù)實踐知識的傳授培養(yǎng)高等技術(shù)應(yīng)用型人才，教育的一個最終目的是使學(xué)生具有較強的聲樂、器樂表演能力和音樂鑒賞及辨別能力，掌握音樂作品的分析方法，現(xiàn)有的鋼琴教學(xué)模式中，由于教師要面對多數(shù)學(xué)生，所以在講解課題的時候，往往缺乏針對性，同時由于授課時間的規(guī)定，多數(shù)學(xué)生會存在對上課所授知識不理解的情況，同時每個學(xué)生的學(xué)生接受能力都是不同，采用教師人為判斷的評估方式，進行學(xué)生學(xué)習(xí)情況的評估，容易缺乏一定的專業(yè)性。缺乏采集學(xué)生或教師手指動作的裝置，也缺乏采集鋼琴鍵所受到的壓力值的檢測裝置，且無法很好地演示彈奏過程，教學(xué)智能化程度低。
技術(shù)實現(xiàn)要素：
為解決上述問題，本發(fā)明提供了一種智能鋼琴教學(xué)系統(tǒng)，同時通過壓力傳感器的設(shè)置，進一步提高了鋼琴訓(xùn)練的音準(zhǔn)度；采用動態(tài)的三維形式進行教學(xué)視頻和訓(xùn)練視頻的投放，使得學(xué)生具有一種身臨其境的感覺，大大提高了學(xué)生的學(xué)習(xí)興趣和學(xué)習(xí)效率，通過多個人機交互模塊的使用，實現(xiàn)了在整個教學(xué)過程各個學(xué)生學(xué)習(xí)情況的采集和評估，并可以選擇性的對某個學(xué)生的彈奏作品進行講解，智能化程度高，同時將學(xué)習(xí)、練習(xí)以及考核完美的結(jié)合起來，每個學(xué)生采用不同的試題，使得教學(xué)更有針對性，進一步提高了教學(xué)效率。
為實現(xiàn)上述目的，本發(fā)明采取的技術(shù)方案為：
一種智能鋼琴教學(xué)系統(tǒng)，包括
聲音采集模塊，通過安裝在鋼琴上的多個麥克風(fēng)采集鋼琴發(fā)出的音頻，并將采集到的音頻數(shù)據(jù)發(fā)送到聲音處理模塊；
視頻采集模塊，通過安裝在鋼琴上的攝像頭進行教師教學(xué)彈奏過程以及學(xué)生練習(xí)彈奏的手指狀態(tài)視頻數(shù)據(jù)的采集，并將采集到的視頻數(shù)據(jù)發(fā)送到視頻數(shù)據(jù)處理模塊；
人機交互模塊，采用觸摸電子屏，安裝在鋼琴上，用于接收壓力傳感器檢測到的壓力值，并將壓力值發(fā)送到專家評估模塊和教師終端；還用于控制背景生產(chǎn)模塊，并用于輸入人為調(diào)用命令，調(diào)用數(shù)據(jù)庫中的數(shù)據(jù)；
聲音處理模塊，用于對采集到的音頻進行消噪處理，并將獲得消噪處理聲音信號導(dǎo)入系統(tǒng)，并傳送到音高提取器和數(shù)據(jù)庫；
壓力傳感器，安裝在每個鋼琴鍵下端，用于檢測彈奏過程中每個鋼琴鍵受到的壓力值；
音高提取器，用于從消噪處理聲音信號逐音頻幀提取音高；
節(jié)拍提取器，用于從音高提取器獲取語音的音幀的音高，累積分析音頻幀的音高變化情況，判斷出其中包含的旋律段后提取該旋律段的節(jié)拍信息；
樂理信息解碼器，用于根據(jù)預(yù)先建立的音符音高模型集，利用提取的音高分別計算出當(dāng)前音頻幀屬于所述音符音高模型集中各個音符音高模型的概率值，根據(jù)計算的概率值以及音符音高模型集對當(dāng)前音頻幀進行音符音高模型匹配識別，若當(dāng)前音頻幀與其前一相鄰音頻幀分屬不同的音符音高模型時，記錄下當(dāng)前音頻幀號；在按照上述方式依序處理完采集到的音頻的所有音頻幀后，確定出采集到的音頻所對應(yīng)的音符音高模型序列以及序列中各個音符音高模型的起始音頻幀號，計算出所述各個音符音高模型各自所持續(xù)的音頻幀數(shù)，并通過節(jié)拍提取器提取采集到的音頻包含的節(jié)拍信息；根據(jù)預(yù)先建立的音符時值模型集，從確定的音符音高模型序列中依次選取出一個音符音高模型，利用其所持續(xù)的音頻幀數(shù)分別計算出所述音符音高模型屬于所述音符時值模型集中各個音符時值模型的概率值，進行音符時值模型匹配識別；在按照上述方式依序處理完所確定的全部音符音高模型序列后，得出采集到的音頻所包含的各個音符音高模型序列以及各個音符音高模型持續(xù)音頻幀數(shù)所對應(yīng)的音符時值模型，形成一組<音符音高模型，音符時值模型>序列；樂理處理與變換器，用于根據(jù)音高提取器提取的音高和節(jié)拍提取器提取的節(jié)拍信息，對確定出的采集到的音頻的<音符音高模型，音符時值模型>序列進行樂理轉(zhuǎn)換處理，得到對應(yīng)的<標(biāo)準(zhǔn)音符，標(biāo)準(zhǔn)時值>序列；
樂譜生成器，用于根據(jù)所述<標(biāo)準(zhǔn)音符，標(biāo)準(zhǔn)時值>序列生成對應(yīng)的樂譜，并將樂譜發(fā)送到教師終端、數(shù)據(jù)庫以及對應(yīng)的學(xué)生終端；
視頻數(shù)據(jù)處理模塊，通過kinect深度傳感器進行骨骼信息獲?。贿€用于消除所獲得骨骼信息的抖動和噪聲干擾，并計算獲取所有骨骼對的角度旋轉(zhuǎn)移動s03矩陣信息；
動作標(biāo)準(zhǔn)判斷模塊，用于將計算所得的骨骼對的角度旋轉(zhuǎn)移動s03矩陣信息與標(biāo)準(zhǔn)動作數(shù)據(jù)庫內(nèi)錄制的標(biāo)準(zhǔn)動作信息進行比較，如果差距小于某個門限，則認為標(biāo)準(zhǔn)，否則認為不標(biāo)準(zhǔn)；
動作指導(dǎo)建議輸出模塊，根據(jù)動作標(biāo)準(zhǔn)判斷模塊的評估結(jié)果進行指導(dǎo)，并輸出指導(dǎo)意見到學(xué)生終端進行顯示；
三維教學(xué)模塊，包括空氣屏幕生成系統(tǒng)、若干組3d投影儀、音樂背景播放模塊和素材數(shù)據(jù)庫，用于根據(jù)中央處理器發(fā)送的控制命令從素材數(shù)據(jù)庫以及數(shù)據(jù)庫內(nèi)調(diào)用相應(yīng)的數(shù)據(jù)建立各種場景、動態(tài)三維模型、互動三維模型；
專家評估模塊，用于將接收到的壓力值數(shù)據(jù)，通過人工并對其進行評估，給出針對性的訓(xùn)練建議；
每日任務(wù)接收模塊，用于接收教師終端輸入的每天需要完成的任務(wù)數(shù)據(jù)，并按學(xué)生信息分類后發(fā)送到指定的學(xué)生終端；
每日任務(wù)完成情況匯總模塊，用于接收學(xué)生終端上傳以及輸入的任務(wù)完成數(shù)據(jù)，并按學(xué)生信息分類后發(fā)送到指定的教師終端；
疑難問題匯總模塊，用于進行學(xué)生學(xué)習(xí)過程中疑難問題的匯總，并將所接收的疑難問題按照學(xué)生的信息進行分類后發(fā)送到指定的教師終端；
疑難問題解答模塊，用于接收教師輸入的疑難問題解答數(shù)據(jù)，并按照學(xué)生的信息分類后發(fā)送到指定的學(xué)生終端；
教師終端，用于接收樂譜生產(chǎn)器、人機交互模塊、動作標(biāo)準(zhǔn)判斷模塊、專家評估模塊發(fā)送的數(shù)據(jù)，并針對性的安排訓(xùn)練任務(wù)；同時用于根據(jù)每天的課程發(fā)送鋼琴樂理知識數(shù)據(jù)；
學(xué)生終端，用于接收樂譜生產(chǎn)器、專家評估模塊以及教師終端發(fā)送的數(shù)據(jù)，并完成訓(xùn)練任務(wù)；
中央處理器，用于協(xié)調(diào)上述模塊工作，用于接收人機操作模塊輸入的各種控制命令，并按照預(yù)設(shè)的算法發(fā)送到指定模塊；還用于用戶注冊、權(quán)限管理以及密碼修改。
優(yōu)選地，所述音符音高模型集包含分別為處于低八度、中八度、高八度區(qū)段中的各個標(biāo)準(zhǔn)音符以及一個靜音所建立的模型。
優(yōu)選地，還包括一數(shù)據(jù)庫，用于儲存樂譜生成器生成的樂譜，采集的到的音頻數(shù)據(jù)、視頻數(shù)據(jù)以及相關(guān)的鋼琴樂理知識。
優(yōu)選地，還包括
一數(shù)據(jù)傳送模塊，包括wife傳送模塊、藍牙傳送模塊以及有線網(wǎng)絡(luò)傳送模塊。
一數(shù)據(jù)共享模塊，用于通過下載或無線的方式進行數(shù)據(jù)庫內(nèi)數(shù)據(jù)的共享。
優(yōu)選地，所述音樂背景播放模塊包括多個播音單元，播音單元內(nèi)嵌于室內(nèi)的墻壁、頂板和地板內(nèi)，播音單元沿墻壁四周均勻布置；頂板上的播音單元沿頂板均勻布置；地板上的播音單元沿地板均勻布置。
優(yōu)選地，還包括一訓(xùn)練結(jié)果評估模塊，用于按月按季度的進行訓(xùn)練結(jié)果的匯總，方便訓(xùn)練者查詢訓(xùn)練情況，包含每個樂譜訓(xùn)練的次數(shù)、動作標(biāo)準(zhǔn)評估結(jié)果、動作糾正指導(dǎo)意見。
優(yōu)選地，還包括一語音模塊，用于進行音頻數(shù)據(jù)的播放，并用于根據(jù)中央處理器的控制命令通過從數(shù)據(jù)庫中調(diào)用相應(yīng)的音頻進行教學(xué)講解。
優(yōu)選地，還包括一模擬訓(xùn)練模塊，用于從模擬訓(xùn)練試題數(shù)據(jù)庫內(nèi)隨機選取一定的試題進行模擬訓(xùn)練，并進行模擬訓(xùn)練結(jié)果的評估，將評估結(jié)果發(fā)送到顯示屏進行顯示。
優(yōu)選地，所述人機交互模塊的數(shù)量為多個，分別用于教師和學(xué)生使用。
本發(fā)明具有以下有益效果：
采用動態(tài)的三維形式進行教學(xué)視頻和訓(xùn)練視頻的投放，使得學(xué)生具有一種身臨其境的感覺，大大提高了學(xué)生的學(xué)習(xí)興趣和學(xué)習(xí)效率，通過多個人機交互模塊的使用，實現(xiàn)了在整個教學(xué)過程各個學(xué)生學(xué)習(xí)情況的采集和評估，并可以選擇性的對某個學(xué)生的彈奏作品進行講解，智能化程度高，同時將學(xué)習(xí)、練習(xí)以及考核完美的結(jié)合起來，每個學(xué)生采用不同的試題，使得教學(xué)更有針對性，進一步提高了教學(xué)效率；通過抗噪音的音高特征提取、音符音高模型集及音符時值模型集參數(shù)訓(xùn)練、樂理信息解碼識別，具有較高的識別率和計算速度，適應(yīng)性強，能夠滿足不同水平的鋼琴學(xué)習(xí)人員的使用需求，能夠針對多數(shù)人的彈奏行為以及不同的音頻數(shù)據(jù)保持高識別率，使得教學(xué)更具有針對性，全面性，達到了數(shù)據(jù)共享，可以營造不同的學(xué)習(xí)氛圍，進一步提高了學(xué)習(xí)的效率，同時通過壓力傳感器的設(shè)置，進一步提高了鋼琴訓(xùn)練的音準(zhǔn)度。
附圖說明
圖1為本發(fā)明實施例一種智能鋼琴教學(xué)系統(tǒng)的系統(tǒng)框圖。
具體實施方式
為了使本發(fā)明的目的及優(yōu)點更加清楚明白，以下結(jié)合實施例對本發(fā)明進行進一步詳細說明。應(yīng)當(dāng)理解，此處所描述的具體實施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。
如圖1所示，本發(fā)明實施例提供了一種智能鋼琴教學(xué)系統(tǒng)，包括
聲音采集模塊，通過安裝在鋼琴上的多個麥克風(fēng)采集鋼琴發(fā)出的音頻，并將采集到的音頻數(shù)據(jù)發(fā)送到聲音處理模塊；
視頻采集模塊，通過安裝在鋼琴上的攝像頭進行教師教學(xué)彈奏過程以及學(xué)生練習(xí)彈奏的手指狀態(tài)視頻數(shù)據(jù)的采集，并將采集到的視頻數(shù)據(jù)發(fā)送到視頻數(shù)據(jù)處理模塊；
人機交互模塊，采用觸摸電子屏，安裝在鋼琴上，用于接收壓力傳感器檢測到的壓力值，并將壓力值發(fā)送到專家評估模塊和教師終端；還用于控制背景生產(chǎn)模塊，并用于輸入人為調(diào)用命令，調(diào)用數(shù)據(jù)庫中的數(shù)據(jù)；
聲音處理模塊，用于對采集到的音頻進行消噪處理，并將獲得消噪處理聲音信號導(dǎo)入系統(tǒng)，并傳送到音高提取器和數(shù)據(jù)庫；
壓力傳感器，安裝在每個鋼琴鍵下端，用于檢測彈奏過程中每個鋼琴鍵受到的壓力值；
音高提取器，用于從消噪處理聲音信號逐音頻幀提取音高；
節(jié)拍提取器，用于從音高提取器獲取語音的音幀的音高，累積分析音頻幀的音高變化情況，判斷出其中包含的旋律段后提取該旋律段的節(jié)拍信息；
樂理信息解碼器，用于根據(jù)預(yù)先建立的音符音高模型集，利用提取的音高分別計算出當(dāng)前音頻幀屬于所述音符音高模型集中各個音符音高模型的概率值，根據(jù)計算的概率值以及音符音高模型集對當(dāng)前音頻幀進行音符音高模型匹配識別，若當(dāng)前音頻幀與其前一相鄰音頻幀分屬不同的音符音高模型時，記錄下當(dāng)前音頻幀號；在按照上述方式依序處理完采集到的音頻的所有音頻幀后，確定出采集到的音頻所對應(yīng)的音符音高模型序列以及序列中各個音符音高模型的起始音頻幀號，計算出所述各個音符音高模型各自所持續(xù)的音頻幀數(shù)，并通過節(jié)拍提取器提取采集到的音頻包含的節(jié)拍信息；根據(jù)預(yù)先建立的音符時值模型集，從確定的音符音高模型序列中依次選取出一個音符音高模型，利用其所持續(xù)的音頻幀數(shù)分別計算出所述音符音高模型屬于所述音符時值模型集中各個音符時值模型的概率值，進行音符時值模型匹配識別；在按照上述方式依序處理完所確定的全部音符音高模型序列后，得出采集到的音頻所包含的各個音符音高模型序列以及各個音符音高模型持續(xù)音頻幀數(shù)所對應(yīng)的音符時值模型，形成一組<音符音高模型，音符時值模型>序列；樂理處理與變換器，用于根據(jù)音高提取器提取的音高和節(jié)拍提取器提取的節(jié)拍信息，對確定出的采集到的音頻的<音符音高模型，音符時值模型>序列進行樂理轉(zhuǎn)換處理，得到對應(yīng)的<標(biāo)準(zhǔn)音符，標(biāo)準(zhǔn)時值>序列；
樂譜生成器，用于根據(jù)所述<標(biāo)準(zhǔn)音符，標(biāo)準(zhǔn)時值>序列生成對應(yīng)的樂譜，并將樂譜發(fā)送到教師終端、數(shù)據(jù)庫以及對應(yīng)的學(xué)生終端；
視頻數(shù)據(jù)處理模塊，通過kinect深度傳感器進行骨骼信息獲?。贿€用于消除所獲得骨骼信息的抖動和噪聲干擾，并計算獲取所有骨骼對的角度旋轉(zhuǎn)移動s03矩陣信息；
動作標(biāo)準(zhǔn)判斷模塊，用于將計算所得的骨骼對的角度旋轉(zhuǎn)移動s03矩陣信息與標(biāo)準(zhǔn)動作數(shù)據(jù)庫內(nèi)錄制的標(biāo)準(zhǔn)動作信息進行比較，如果差距小于某個門限，則認為標(biāo)準(zhǔn)，否則認為不標(biāo)準(zhǔn)；
動作指導(dǎo)建議輸出模塊，根據(jù)動作標(biāo)準(zhǔn)判斷模塊的評估結(jié)果進行指導(dǎo)，并輸出指導(dǎo)意見到學(xué)生終端進行顯示；
三維教學(xué)模塊，包括空氣屏幕生成系統(tǒng)、若干組3d投影儀、音樂背景播放模塊和素材數(shù)據(jù)庫，用于根據(jù)中央處理器發(fā)送的控制命令從素材數(shù)據(jù)庫以及數(shù)據(jù)庫內(nèi)調(diào)用相應(yīng)的數(shù)據(jù)建立各種場景、動態(tài)三維模型、互動三維模型；
專家評估模塊，用于將接收到的壓力值數(shù)據(jù)，通過人工并對其進行評估，給出針對性的訓(xùn)練建議；
每日任務(wù)接收模塊，用于接收教師終端輸入的每天需要完成的任務(wù)數(shù)據(jù)，并按學(xué)生信息分類后發(fā)送到指定的學(xué)生終端；
每日任務(wù)完成情況匯總模塊，用于接收學(xué)生終端上傳以及輸入的任務(wù)完成數(shù)據(jù)，并按學(xué)生信息分類后發(fā)送到指定的教師終端；
疑難問題匯總模塊，用于進行學(xué)生學(xué)習(xí)過程中疑難問題的匯總，并將所接收的疑難問題按照學(xué)生的信息進行分類后發(fā)送到指定的教師終端；
疑難問題解答模塊，用于接收教師輸入的疑難問題解答數(shù)據(jù)，并按照學(xué)生的信息分類后發(fā)送到指定的學(xué)生終端；
教師終端，用于接收樂譜生產(chǎn)器、人機交互模塊、動作標(biāo)準(zhǔn)判斷模塊、專家評估模塊發(fā)送的數(shù)據(jù)，并針對性的安排訓(xùn)練任務(wù)；同時用于根據(jù)每天的課程發(fā)送鋼琴樂理知識數(shù)據(jù)；
學(xué)生終端，用于接收樂譜生產(chǎn)器、專家評估模塊以及教師終端發(fā)送的數(shù)據(jù)，并完成訓(xùn)練任務(wù)；
中央處理器，用于協(xié)調(diào)上述模塊工作，用于接收人機操作模塊輸入的各種控制命令，并按照預(yù)設(shè)的算法發(fā)送到指定模塊；還用于用戶注冊、權(quán)限管理以及密碼修改。
所述音符音高模型集包含分別為處于低八度、中八度、高八度區(qū)段中的各個標(biāo)準(zhǔn)音符以及一個靜音所建立的模型。
還包括一數(shù)據(jù)庫，用于儲存樂譜生成器生成的樂譜，采集的到的音頻數(shù)據(jù)、視頻數(shù)據(jù)以及相關(guān)的鋼琴樂理知識。
還包括
一數(shù)據(jù)傳送模塊，包括wife傳送模塊、藍牙傳送模塊以及有線網(wǎng)絡(luò)傳送模塊。
一數(shù)據(jù)共享模塊，用于通過下載或無線的方式進行數(shù)據(jù)庫內(nèi)數(shù)據(jù)的共享。
優(yōu)選地，所述音樂背景播放模塊包括多個播音單元，播音單元內(nèi)嵌于室內(nèi)的墻壁、頂板和地板內(nèi)，播音單元沿墻壁四周均勻布置；頂板上的播音單元沿頂板均勻布置；地板上的播音單元沿地板均勻布置。
還包括一訓(xùn)練結(jié)果評估模塊，用于按月按季度的進行訓(xùn)練結(jié)果的匯總，方便訓(xùn)練者查詢訓(xùn)練情況，包含每個樂譜訓(xùn)練的次數(shù)、動作標(biāo)準(zhǔn)評估結(jié)果、動作糾正指導(dǎo)意見。
還包括一語音模塊，用于進行音頻數(shù)據(jù)的播放，并用于根據(jù)中央處理器的控制命令通過從數(shù)據(jù)庫中調(diào)用相應(yīng)的音頻進行教學(xué)講解。
還包括一模擬訓(xùn)練模塊，用于從模擬訓(xùn)練試題數(shù)據(jù)庫內(nèi)隨機選取一定的試題進行模擬訓(xùn)練，并進行模擬訓(xùn)練結(jié)果的評估，將評估結(jié)果發(fā)送到顯示屏進行顯示。
所述人機交互模塊的數(shù)量為多個，分別用于教師和學(xué)生使用。
以上所述僅是本發(fā)明的優(yōu)選實施方式，應(yīng)當(dāng)指出，對于本技術(shù)領(lǐng)域的普通技術(shù)人員來說，在不脫離本發(fā)明原理的前提下，還可以作出若干改進和潤飾，這些改進和潤飾也應(yīng)視為本發(fā)明的保護范圍。