專利名稱：一種演唱和演奏的計(jì)算機(jī)實(shí)時(shí)分析系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
發(fā)明涉及-一種演唱和演奏的計(jì)算機(jī)實(shí)時(shí)分析系統(tǒng)。
背景技術(shù)：
長(zhǎng)期以來(lái)，由于科技水平的局限，又由于聲樂(lè)(演唱)和器樂(lè)(演奏)學(xué)科本身固有的復(fù)雜性(涉及音樂(lè)學(xué)、數(shù)學(xué)、物理學(xué)、生理解剖學(xué)、心理學(xué)等多學(xué)科)和主觀性(難以觀察人的活動(dòng)的內(nèi)部腔體、個(gè)人對(duì)美學(xué)的自我判斷不一、聽(tīng)眾受人耳生理閾限的限制無(wú)法準(zhǔn)確地聽(tīng)到歌手實(shí)際演唱的聲音的全域等)，人們對(duì)聲樂(lè)和器樂(lè)的研究一直只是停留在定性或稍許定量方面，在聲樂(lè)和器樂(lè)的計(jì)算機(jī)處理實(shí)時(shí)可視化、系統(tǒng)而定量地測(cè)量和測(cè)試等方面一直非常欠缺，采用計(jì)算機(jī)圖像和視頻自動(dòng)識(shí)別并指導(dǎo)演唱狀態(tài)和演奏狀態(tài)就更是至今都鮮有研究。
近兩百年以來(lái)，人們逐步開(kāi)始從理性和科學(xué)的角度來(lái)分析和研究聲樂(lè)和器樂(lè)，以便更好更科學(xué)地獲得所需的音色，也為創(chuàng)立各種民族聲樂(lè)學(xué)派提供基礎(chǔ)理論。自從半個(gè)多世紀(jì)前世界上第一部真正的計(jì)算機(jī)得以發(fā)明以來(lái)，計(jì)算機(jī)和其他學(xué)科的緊密結(jié)合并廣泛應(yīng)用，逐歩在影響和改變著人們的生活和工作，并為其他各學(xué)科的高速發(fā)展提供了現(xiàn)代化的有力工具，聲樂(lè)和器樂(lè)學(xué)科便是其中受益的學(xué)科之-一。
在聲樂(lè)(演唱)和器樂(lè)(演奏)中，需要結(jié)合計(jì)算機(jī)、數(shù)學(xué)、物理學(xué)等學(xué)科的相關(guān)知識(shí)，以便對(duì)聲音進(jìn)行實(shí)時(shí)分析，獲得對(duì)聲音的真實(shí)情況和定量情況的掌握，其原因是由于人、樂(lè)器和演奏方法等本身就存在一些聽(tīng)覺(jué)上難以克服的問(wèn)題
1.在演唱時(shí)，演唱者自身聽(tīng)不到自己的聲音的真實(shí)情況，其原因主要是演唱者的各個(gè)發(fā)聲器官的振動(dòng)影響到其聽(tīng)覺(jué)神經(jīng)，使演唱者產(chǎn)生錯(cuò)誤聽(tīng)覺(jué)；同時(shí)，演唱者所發(fā)聲音的聲波是向前傳播(特別是較高頻的聲音)，而不是向演唱者的兩旁耳朵傳播的，所以導(dǎo)致演唱者在演唱時(shí)聽(tīng)不到自身真正真實(shí)性的聲音情況，從而使演唱者產(chǎn)生錯(cuò)誤聽(tīng)覺(jué)；另夕卜，人本身對(duì)于以前自身和別人演唱的聽(tīng)覺(jué)記憶、多次演唱的疲憊或產(chǎn)生的麻木等主觀情況也影響演唱時(shí)的演唱者聽(tīng)覺(jué)的真實(shí)反i^;2.在演奏時(shí)，演奏者自身聽(tīng)不到自己的聲音的真實(shí)情況，其原因主要是演奏的樂(lè)器的振動(dòng)通過(guò)樂(lè)器與人的振動(dòng)接觸影響到其聽(tīng)覺(jué)神經(jīng)，使演唱者產(chǎn)生錯(cuò)誤聽(tīng)覺(jué)；同時(shí)，樂(lè)器所發(fā)聲音的聲波是往往是背對(duì)演奏者
傳播的，而不是向演唱者的兩旁耳朵傳播的，所以導(dǎo)致演奏者在演奏
時(shí)聽(tīng)不到真正真實(shí)性的聲音情況，從而使演奏者產(chǎn)生錯(cuò)誤聽(tīng)覺(jué)；另外，人本身對(duì)于以前自身和別人演奏的聽(tīng)覺(jué)記憶、多次演奏的疲憊或產(chǎn)生的麻木等主觀情況也影響演奏時(shí)的演奏者聽(tīng)覺(jué)的真實(shí)反應(yīng)。
本發(fā)明中，音樂(lè)的"節(jié)奏、音準(zhǔn)、音色"及相關(guān)名詞的含義分別是
1. ，節(jié)奏指的是音樂(lè)中交替出現(xiàn)的有規(guī)律的強(qiáng)弱、長(zhǎng)短的現(xiàn)象；
2. 音準(zhǔn)指的是音高(聲音的高低，由音波振動(dòng)的頻率來(lái)決定)的準(zhǔn)確程度；
3. —般的樂(lè)音都是復(fù)合音(Compound Tone,亦簡(jiǎn)稱復(fù)音)， 一個(gè)復(fù)合音中，頻率最低的純音叫做基音(Fundamental Tone)，基音是聲音的最主要成分，由發(fā)聲體整體振動(dòng)所產(chǎn)生)；除去基音外，所有其余的純音叫做泛音(Harmonics)，也叫倍音(Overtone)、分音(Partial);一個(gè)復(fù)合音中的泛音按次序分別稱為"二倍音"(第一泛音)、"三倍音"(第二泛音)、"四倍音"(第三泛音)等等；
4. ^ (Musical Quality):音色指音的感覺(jué)特性，主要由其泛音的多寡及各泛音的相對(duì)強(qiáng)度所決定；音色也稱音品、音質(zhì)；音色是音樂(lè)中極為吸引人、能直接觸動(dòng)感官的重要表現(xiàn)手段；每個(gè)人的聲音以及各種樂(lè)器所發(fā)出的聲音的區(qū)別，就是由音色不同造成的；
5. 共振峰(Formant):對(duì)于兩個(gè)振動(dòng)頻率相同的物體，-'個(gè)物體發(fā)生振動(dòng)時(shí)將引起另一個(gè)物體振動(dòng)，從而形成共振，也稱共鳴。共振的產(chǎn)生能使音量顯著增強(qiáng)，并使聲音更為飽滿。共振峰指的是聲音的產(chǎn)生由于存在共振現(xiàn)象，從而使得聲音頻譜的泛音列在某一特定段所形成的局部高峰。

發(fā)明內(nèi)容
本發(fā)明的演唱和演奏的計(jì)算機(jī)實(shí)時(shí)分析系統(tǒng)，包括
聲音信號(hào)的分段檢包裝置，用于根據(jù)聲音信號(hào)，檢測(cè)某個(gè)音到哪個(gè)位置轉(zhuǎn)換成了另外一個(gè)音，或者嚴(yán)格限定分段步長(zhǎng)，然后按照一定規(guī)則進(jìn)行分段；
聲音信號(hào)時(shí)間域數(shù)據(jù)的實(shí)時(shí)記錄、存儲(chǔ)、顯示和播放裝置，用于根據(jù)聲音信號(hào)的分段檢包得到的數(shù)據(jù)序列，實(shí)時(shí)記錄在內(nèi)存中，并對(duì)這些數(shù)據(jù)進(jìn)行存儲(chǔ)和顯示，獲得聲音的時(shí)間一幅度序列圖，并實(shí)時(shí)發(fā)送給揚(yáng)聲器等
發(fā)生設(shè)備進(jìn)行播放；
短時(shí)快速傅里葉變換，繪制"時(shí)間一頻率一強(qiáng)度"的聯(lián)合圖的裝置，對(duì)聲音的時(shí)間域數(shù)據(jù)進(jìn)行短時(shí)快速傅里葉變換，并由此得到"時(shí)間一頻率一強(qiáng)度/功率"，即(聲音音色)的聯(lián)合圖，其中"時(shí)間一頻率一強(qiáng)度"的
聯(lián)合圖用亍反應(yīng)聲音音色的如下信息
聲音的穩(wěn)定性和抖動(dòng)范圍情況；
聲音的共振峰位置及其強(qiáng)度情況；
聲音的連續(xù)行進(jìn)中，兩個(gè)基音之間滑音的粘連情況；
聲音的基音和各泛音的強(qiáng)弱對(duì)比情況；
聲音的基音和各泛音的頻率隨時(shí)間的行進(jìn)情況；短時(shí)快速傅里葉變換，繪制"時(shí)間一頻率"的實(shí)時(shí)頻譜圖的裝置,用于對(duì)聲音的時(shí)間域數(shù)據(jù)，分段取數(shù)據(jù)，進(jìn)行短時(shí)快速傅里葉變換，繪制"時(shí)間一頻率"的實(shí)時(shí)頻譜聲音的基音、泛音和共振峰的識(shí)別、分析處理和顯示的裝置，用
于
對(duì)聲音的時(shí)間域分段數(shù)據(jù)進(jìn)行基音搜索、剔除噪聲等一系列識(shí)別和分析處理之后，顯示聲音的基音的值，以及聲音的基音跟所選定的律制下的最接近的音的頻率偏差值，同時(shí)，根據(jù)音樂(lè)學(xué)中音分的定義，即時(shí)把這個(gè)頻率偏差值轉(zhuǎn)換為音分值，并加以顯示；
通過(guò)對(duì)頻率曲線各個(gè)局部峰的搜索，并且根據(jù)音樂(lè)學(xué)的規(guī)律進(jìn)行推算，可以實(shí)時(shí)分析獲得聲音的泛音信息，從而得到聲音的共振峰狀況；聲音的節(jié)奏識(shí)別、分析處理和顯示裝置，用于對(duì)聲音的時(shí)間域數(shù)據(jù)，采用時(shí)間域分析、頻率域分析或"時(shí)一頻"聯(lián)合分析，實(shí)時(shí)獲得聲音的節(jié)奏及其變化；
聲音的基音序列的律制分析裝置，用于由聲音的基音序列對(duì)聲音的律制進(jìn)行分析，分析得到聲音的曲譜是十二平均律、五度相生律、純律，還是其他特別的律制體系；
根據(jù)基音、唱詞、節(jié)奏和律制等信息，分析整理成曲譜并顯示的裝置由前述所獲得的基音、唱詞、節(jié)奏和律制等的信息，實(shí)時(shí)分析整理，獲得含有各個(gè)音偏移的律制信息的曲譜序列；聲音時(shí)間域和頻率域信號(hào)修改、記錄、存儲(chǔ)、評(píng)估、顯示、播放和傳輸?shù)难b置，用于
對(duì)聲音的時(shí)間域和頻率域信號(hào)，不做任何修改，直接進(jìn)行記錄、存儲(chǔ)、評(píng)估、顯示、播放和傳輸；或
基于一定的修改規(guī)則，對(duì)聲音的時(shí)間域和頻率域信號(hào)進(jìn)fiH己錄、
存儲(chǔ)、評(píng)估、顯示、播放和傳輸。
本發(fā)明的目的是對(duì)聲樂(lè)(演唱)和器樂(lè)(演奏)進(jìn)行計(jì)算機(jī)實(shí)時(shí)可視化、系統(tǒng)而定量地測(cè)量和測(cè)試，并采用計(jì)算機(jī)圖像和視頻自動(dòng)識(shí)別技術(shù)識(shí)別并指導(dǎo)演唱狀態(tài)和演奏狀態(tài)，形成- 套"演唱和演奏的計(jì)算機(jī)實(shí)時(shí)分析系統(tǒng)"。本發(fā)明的"演唱和演奏的計(jì)算機(jī)實(shí)時(shí)分析系統(tǒng)"主要實(shí)時(shí)分析聲
樂(lè)(演唱)和器樂(lè)(演奏)的聲音和視頻，解決音樂(lè)的三個(gè)基本要素問(wèn)題:節(jié)奏、音準(zhǔn)、音色。使用本發(fā)明的演唱和演奏的計(jì)算機(jī)實(shí)時(shí)分析系統(tǒng)后，用戶能夠在短時(shí)間內(nèi)迅速提高對(duì)于"節(jié)奏、音準(zhǔn)、音色"三者的把握。
從計(jì)算機(jī)輔助聲樂(lè)和器樂(lè)的角度出發(fā)，在總結(jié)國(guó)內(nèi)外研究現(xiàn)^^的基礎(chǔ)上，從音樂(lè)學(xué)、物理學(xué)、聲學(xué)、數(shù)學(xué)的角度出發(fā)，對(duì)現(xiàn)場(chǎng)及錄音音頻材料做精確測(cè)量和分析，將聲音以數(shù)據(jù)、圖、表和數(shù)據(jù)視頻等聲音用可視化方式詳盡顯示，精確測(cè)量、實(shí)時(shí)分析出聲音的各個(gè)物理學(xué)參數(shù)(包括聲音的音準(zhǔn)和強(qiáng)度/功率、基音的位置及其強(qiáng)弱、泛音的位置及其強(qiáng)弱、共振峰的位置及其強(qiáng)弱、頻譜圖、時(shí)頻圖等)和各個(gè)音樂(lè)學(xué)參數(shù)(包括音樂(lè)序列的節(jié)奏、音樂(lè)序列的律制、音樂(lè)序列的曲譜等)，使得聲音視頻化后使得聲音既可以聽(tīng)得見(jiàn)，還可以看得見(jiàn)；這些信息的分析和輸出(音樂(lè)信息化)
用以構(gòu)建一個(gè)智能音樂(lè)分析專家系統(tǒng)——"演唱和演奏的計(jì)算機(jī)實(shí)時(shí)分析
系統(tǒng)"，使得聲音"百聞不如一見(jiàn)"；在聲樂(lè)(演唱)和器樂(lè)(演奏)中實(shí)時(shí)指導(dǎo)演唱者和演奏者，展現(xiàn)聲音的可視化信息，從而可以實(shí)時(shí)調(diào)節(jié)歌唱的發(fā)聲狀態(tài)和腔體、器樂(lè)的演奏狀態(tài)和演奏方法等而獲得所需的聲情并茂的音色。
本發(fā)明對(duì)亍演唱的聲音，采用語(yǔ)音模式識(shí)別，對(duì)聲音中演唱的唱詞的語(yǔ)音進(jìn)行識(shí)別和顯示，識(shí)別出來(lái)的唱詞用于后續(xù)曲譜的整理和分析。
本發(fā)明由聲音實(shí)時(shí)分析所獲得的基音、唱詞、節(jié)奏和律制等的信息，實(shí)時(shí)分析整理，獲得含有各個(gè)音偏移的律制信息的曲譜序列。
本發(fā)明采用計(jì)算機(jī)圖像和視頻自動(dòng)識(shí)別技術(shù)，對(duì)演唱的發(fā)聲狀態(tài)或器樂(lè)的演奏狀態(tài)進(jìn)行識(shí)別，結(jié)合前述對(duì)于聲音的"節(jié)奏、音準(zhǔn)、音色"的分析，根據(jù)演唱或演奏的狀況，實(shí)時(shí)給出指導(dǎo)建議。
因?yàn)檎f(shuō)話語(yǔ)音的聲音與聲樂(lè)(演唱)和器樂(lè)(演奏)的聲音在本質(zhì)上沒(méi)有什么區(qū)別，所以本發(fā)明對(duì)于說(shuō)話語(yǔ)音的計(jì)算機(jī)實(shí)時(shí)分析也是適用的。


圖1 一種演唱和演奏的計(jì)算機(jī)實(shí)時(shí)分析系統(tǒng)的系統(tǒng)結(jié)構(gòu)圖。
具體實(shí)施例方式
本發(fā)明的"演唱和演奏的計(jì)算機(jī)實(shí)時(shí)分析系統(tǒng)"由聲音采集輸入設(shè)備和計(jì)算機(jī)軟件系統(tǒng)等組成。本發(fā)明的聲音采集輸入設(shè)備包括但不限于麥克
風(fēng)、錄音線路和CD (CompactDisc,光盤(pán))等。本發(fā)明的"演唱和演奏的計(jì)算機(jī)實(shí)時(shí)分析系統(tǒng)"的軟件系統(tǒng)部分可以運(yùn)行于包括但不限于臺(tái)式計(jì)算機(jī)、智能設(shè)備(如手機(jī)、掌上電腦、個(gè)人數(shù)字助理PDA等)、智能家電(如電視電腦一體機(jī)等)等平臺(tái)上。
在律制方面，本發(fā)明的"演唱和演奏的計(jì)算機(jī)實(shí)時(shí)分析系統(tǒng)"支持十二平均律、五度相生律、純律等律制體系，也支持用戶自定義律制體系；在音準(zhǔn)顯示方面，本發(fā)明的"演唱和演奏的計(jì)算機(jī)實(shí)時(shí)分析系統(tǒng)"支持簡(jiǎn)譜顯示方式、五線譜顯示方式、國(guó)際鋼琴標(biāo)準(zhǔn)標(biāo)記法、中國(guó)大字組小字組記譜法、MDI標(biāo)記法等。本發(fā)明的"演唱和演奏的計(jì)算機(jī)實(shí)時(shí)分析系統(tǒng)"在保證精度的同時(shí)，具有實(shí)時(shí)分析的優(yōu)點(diǎn)，所以具有測(cè)量精確(精度為0.5Hz)、實(shí)時(shí)(時(shí)延50ms)、可視化和方便等特點(diǎn)。本發(fā)明的"演唱和演奏的計(jì)算機(jī)實(shí)時(shí)分析系統(tǒng)"的軟件界面主要由聲音的響度窗口、聲音的音色窗口、聲音的頻率窗口、聲音的音準(zhǔn)窗口、聲音的曲譜窗口、聲音的節(jié)奏窗口、聲音的信號(hào)修改窗口等組成。
聲音的各個(gè)物理學(xué)參數(shù)和各個(gè)音樂(lè)學(xué)參數(shù)的精確檢測(cè)，幫助人們理性和感性相結(jié)合來(lái)認(rèn)識(shí)聲音，擺脫傳統(tǒng)研究中人作為研究主體因生理閾限制及主觀審美差異等原因造成的誤差甚至錯(cuò)誤。
圖1是本發(fā)明的系統(tǒng)結(jié)構(gòu)圖。本發(fā)明的演唱和演奏的計(jì)算機(jī)實(shí)時(shí)分析系統(tǒng)組成及其功能分別是
1. 聲音信號(hào)的采集裝置:這里的采集裝置和線路包含但并不僅限于麥克風(fēng)、錄音線路和CD (CompactDisc，光盤(pán))等；
2. 聲音信號(hào)數(shù)字化裝置，用于在時(shí)間和幅度上都連續(xù)的模擬聲音信號(hào)，經(jīng)過(guò)采樣、量化和編碼后，得到用離散的數(shù)字表示的數(shù)字信號(hào)，然后才可以傳遞給計(jì)算機(jī)做進(jìn)一步處理；
3. 聲音信號(hào)數(shù)字化后存儲(chǔ)的文件，聲音信號(hào)在數(shù)字化以后，以一定的壓縮或非壓縮存儲(chǔ)格式保存在文件中。其中，常見(jiàn)的數(shù)字聲音信號(hào)存儲(chǔ)格式有WAV、 MP3、 WMA、 CDA、 APE、 MJF、 VOC、 PCM、 AIF、 RA、 RM、 RMX、 VQF、 MIDI、 RMI等；還包括含有聲音和視頻的合成文 件格式，如AVI、 MPG、 MPEG、 DAT、 FLV、 MP4、 DivX、 MOV、 QT、 ASF、 WMV、 RM、畫(huà)VB等；
4. 聲音信號(hào)的分段檢包裝置，用于根據(jù)聲音信號(hào)的數(shù)字化數(shù)據(jù)，按照第 16項(xiàng)的系統(tǒng)設(shè)置與選項(xiàng)中的設(shè)置，檢測(cè)某個(gè)音到哪個(gè)大概位置轉(zhuǎn)換成 了另外一個(gè)音，或者嚴(yán)格限定分段步長(zhǎng)，然后按照一定規(guī)則進(jìn)行分段；
5. 聲音信號(hào)時(shí)間域數(shù)據(jù)的實(shí)時(shí)記錄、存儲(chǔ)、顯示和播放裝置，用于根據(jù)聲 音信號(hào)的分段檢包得到的數(shù)據(jù)序列，實(shí)時(shí)記錄在內(nèi)存中，并對(duì)這些數(shù)據(jù) 進(jìn)行存儲(chǔ)和顯示，獲得聲音的時(shí)間一幅度序列圖，并可以實(shí)時(shí)發(fā)送給揚(yáng) 聲器等發(fā)生設(shè)備進(jìn)行播放；
6. 短時(shí)快速傅里葉變換，繪制"時(shí)間一頻率一強(qiáng)度"的聯(lián)合圖的裝置，對(duì) 聲音的時(shí)間域數(shù)據(jù)進(jìn)行短時(shí)快速傅里葉變換，并由此得到"時(shí)間一頻率 —強(qiáng)度/功率"，即(聲音音色)的聯(lián)合圖。時(shí)間軸與頻率軸組成垂直 正交平面A;強(qiáng)度/功率數(shù)據(jù)的表示可以是用深淺顏色數(shù)據(jù)表示數(shù)據(jù)的 大??；強(qiáng)度/功率數(shù)據(jù)也可以使用笛卡兒坐標(biāo)系統(tǒng)中與平面A相垂直正 交的第三軸表示，從而繪制出三維圖；"時(shí)間一頻率一強(qiáng)度"的聯(lián)合圖 主要用于反應(yīng)聲音音色的如下信息
1) 聲音的穩(wěn)定性和抖動(dòng)范圍情況(音色穩(wěn)定性和豐富不單薄性的指 標(biāo))s
2) 聲音的共振峰位置及其強(qiáng)度情況(音色光澤度、亮度和穿透力的指 標(biāo))5
3) 聲音的連續(xù)行進(jìn)中，兩個(gè)基音之間滑音的粘連情況(音色行腔韻味 的指標(biāo))；
4) 聲音的基音和各泛音的強(qiáng)弱對(duì)比情況(音色力度、圓潤(rùn)度、柔和度、 厚度、飽滿度與和諧度的指標(biāo))；
5) 聲音的基音和各泛音的頻率隨時(shí)間的行進(jìn)情況(音色協(xié)調(diào)性的指 標(biāo))；
7. 短時(shí)快速傅里葉變換，繪制"時(shí)間一頻率"的實(shí)時(shí)頻譜圖的裝置.用于
對(duì)聲音的時(shí)間域數(shù)據(jù)，分段取數(shù)據(jù)，進(jìn)行短時(shí)快速傅里葉變換，繪制"時(shí) 間一頻率"的實(shí)時(shí)頻譜圖，為便于用戶實(shí)時(shí)觀看，頻率值可以繪制成 Decibel (分貝)的形式，也可以繪制成Decibel-Log-Frequency (分貝對(duì) 數(shù)頻率)的形式，還可以繪制成數(shù)據(jù)傅里葉變換后實(shí)部與虛部的平方和 的形式；
8. 聲音的基音、泛音和共振峰的識(shí)別、分析處理和顯示的裝置:
1)大多數(shù)人聲和樂(lè)器所發(fā)出的聲音都包含有泛音，而且有時(shí)泛音的能 量可能超過(guò)基音，尤其是頻率較低的時(shí)候。對(duì)聲音的時(shí)間域分段數(shù)據(jù)進(jìn)行基音搜索、剔除噪聲等一系列識(shí)別和分析處理之后，以數(shù)據(jù) 和指針盤(pán)等方式，顯示聲音的基音的值，以及聲音的基音跟所選定 的律制下的最接近的音的頻率偏差值(單位為赫茲，Hz)，同時(shí)， 根據(jù)音樂(lè)學(xué)中音分的定義，即日寸把這個(gè)頻率偏差值轉(zhuǎn)換為音分值(單
位為音分，Cent)，并加以顯示；
2) 由于在聲音的各頻率中，比基音頻率高的頻段中可能包含有整數(shù)倍 頻率和分?jǐn)?shù)倍頻率，比基音頻率低的頻段中也可能包含有整數(shù)倍頻 率和分?jǐn)?shù)倍頻率，通過(guò)對(duì)頻率曲線各個(gè)局部峰的搜索，并且根據(jù)音 樂(lè)學(xué)的規(guī)律進(jìn)行推算，可以實(shí)時(shí)分析獲得聲音的泛音信息(泛音的 多少、泛音的位置、泛音的強(qiáng)度/功率等)，從而得到聲音的共振峰 狀況；
3) 在顯示基音、泛音及其偏差的時(shí)候，用戶可以更改音樂(lè)的調(diào)式、顯 示方式、律制等音符顯示選項(xiàng)，以便于對(duì)聲音的音準(zhǔn)信息進(jìn)行實(shí)時(shí) 觀察。這些處理，也有利于后續(xù)曲譜的整理和分析；
4) 該模塊還可以發(fā)出MIDI (Musical Instrument Digital Interface,樂(lè)器 數(shù)字接口)的標(biāo)準(zhǔn)音準(zhǔn)，也可以發(fā)出由數(shù)學(xué)函數(shù)(如正弦函數(shù)、余 弦函數(shù)等)構(gòu)造的標(biāo)準(zhǔn)音準(zhǔn)，以便將標(biāo)準(zhǔn)音和用戶演唱或演奏的音 進(jìn)行核對(duì)；
5) 在精度方面，采用頻率拓展技術(shù)，頻率偏差值小于0.5 Hz，音分偏 差值小于0.5 Cent;在實(shí)時(shí)性方面，采用多線程與算法優(yōu)化技術(shù)， 對(duì)于目前一般的個(gè)人計(jì)算機(jī)配置而言，兩次聲音信號(hào)時(shí)間域數(shù)據(jù)的 檢包與后續(xù)處理之間的時(shí)間間隔小于50毫秒，從而可以達(dá)到每秒 20次運(yùn)算的高實(shí)時(shí)性；
9. 聲音中演唱的唱詞的語(yǔ)音識(shí)別裝置，用于對(duì)于演唱的聲音，采用語(yǔ)音模 式識(shí)別，對(duì)聲音中演唱的唱詞的語(yǔ)音進(jìn)行識(shí)別和顯示，識(shí)別出來(lái)的唱詞 用于后續(xù)曲譜的整理和分析；
10. 聲音的節(jié)奏識(shí)別、分析處理和顯示裝置，用于對(duì)聲音的時(shí)間域數(shù)據(jù)， 采用時(shí)間域分析、頻率域分析或"時(shí)一頻"聯(lián)合分析，實(shí)時(shí)獲得聲音的 節(jié)奏及其變化，使得演唱者和演奏者實(shí)時(shí)"看到"聲音的節(jié)奏。這也以 便于后續(xù)曲譜的整理和分析。也可以由用戶自定義節(jié)奏(音樂(lè)的速度)， 使得該模塊成為一個(gè)節(jié)拍器，以節(jié)奏運(yùn)動(dòng)視頻的方式顯示節(jié)拍，或者以 節(jié)奏聲音播放的方式表達(dá)節(jié)拍；
11. 聲音的基音序列的律制分析裝置:由聲音的基音序列對(duì)聲音的律制 進(jìn)行分析，分析得到聲音的曲譜是十二平均律、五度相生律、純律，還 是其他特別的律制體系；
12. 根據(jù)基音、唱詞、節(jié)奏和律制等信息，分析整理成曲譜并顯示的裝1) 由前述所獲得的基音、唱詞、節(jié)奏和律制等的信息，實(shí)時(shí)分析整理， 獲得含有各個(gè)音偏移的律制信息的曲譜序列；
2) 在顯示時(shí)，可以使用簡(jiǎn)譜方式、五線譜方式、國(guó)際鋼琴標(biāo)準(zhǔn)標(biāo)記法、
中國(guó)大字組小字組記譜法、MIDI標(biāo)記法等；
3) 所獲得的曲譜允許用戶進(jìn)行剪切、復(fù)制、粘貼、刪除、查找、替換、 新建、打開(kāi)、保存等編輯處理；
4) 用戶可以設(shè)置曲譜的演唱和演奏模版，可以將實(shí)時(shí)分析獲得的曲譜 與設(shè)置的曲譜模版進(jìn)行對(duì)比分析，得到模版和實(shí)時(shí)聲音數(shù)據(jù)之間的 節(jié)奏、音準(zhǔn)、音色等對(duì)比分析信息；
13. 聲音時(shí)間域和頻率域信號(hào)修改、記錄、存儲(chǔ)、評(píng)估、顯示、播放和
傳輸?shù)难b置
1) 這個(gè)裝置主要有兩個(gè)功能，--是對(duì)聲音的時(shí)間域和頻率域信號(hào)，不 做任何修改，直接進(jìn)行記錄、存儲(chǔ)、評(píng)估、顯示、播放和傳輸；二 是可以基于一定的修改規(guī)則(如演唱和演奏的模版、實(shí)時(shí)調(diào)整節(jié)奏、 實(shí)時(shí)調(diào)整音準(zhǔn)、實(shí)時(shí)調(diào)整音色、實(shí)時(shí)自動(dòng)配和弦等)，對(duì)聲音的時(shí) 間域和頻率域信號(hào)進(jìn)行記錄、存儲(chǔ)、評(píng)估、顯示、播放和傳輸；
2) 這里的評(píng)估指的是對(duì)聲音的節(jié)奏、音準(zhǔn)、音色進(jìn)行評(píng)價(jià)分析；
3) 這里第二個(gè)功能的一個(gè)應(yīng)用是當(dāng)用戶跟隨伴奏進(jìn)行演唱或演奏時(shí)， 本發(fā)明的"演唱和演奏的計(jì)算機(jī)實(shí)時(shí)分析系統(tǒng)"能夠根據(jù)演唱和演 奏的模版、實(shí)時(shí)調(diào)整節(jié)奏、實(shí)時(shí)調(diào)整音準(zhǔn)、實(shí)時(shí)調(diào)整音色、實(shí)時(shí)自 動(dòng)配和弦等處理后，然后播放輸出，這將給人感覺(jué)節(jié)奏準(zhǔn)確、聲音 準(zhǔn)確、音色純正、和聲動(dòng)聽(tīng)；
14. 視頻信號(hào)和聲音信號(hào)混合的實(shí)時(shí)采集、記錄、存儲(chǔ)、顯示、播放和 傳輸?shù)难b置:在對(duì)聲音實(shí)時(shí)進(jìn)行數(shù)據(jù)采集和記錄的同時(shí)，對(duì)演唱和演奏 的視頻信號(hào)實(shí)時(shí)進(jìn)行數(shù)據(jù)采集和記錄，然后，將視頻信號(hào)和聲音信號(hào)進(jìn) 行混合，然后存儲(chǔ)、顯示、播放和傳輸，有利于用戶回放現(xiàn)場(chǎng)、回放測(cè) 量分析聲音信號(hào)、從回放中總結(jié)演唱和演奏的經(jīng)驗(yàn)等；
15. 從視頻信號(hào)中識(shí)別演唱的發(fā)聲狀態(tài)或器樂(lè)的演奏狀態(tài)，實(shí)時(shí)給出指
導(dǎo)建議的裝置:采用計(jì)算機(jī)圖像和視頻自動(dòng)識(shí)別技術(shù)，對(duì)演唱的發(fā)聲狀 態(tài)或器樂(lè)的演奏狀態(tài)進(jìn)行實(shí)時(shí)識(shí)別，結(jié)合前述對(duì)于聲音的"節(jié)奏、音準(zhǔn)、 音色"的分析，根據(jù)演唱或演奏的狀況，實(shí)時(shí)給出指導(dǎo)建議；
16. 系統(tǒng)設(shè)置與選項(xiàng):用于對(duì)聲音的采集選項(xiàng)、數(shù)字化選項(xiàng)、數(shù)字化文 件錄入選項(xiàng)、顯示顏色信息選項(xiàng)、強(qiáng)度顯示選項(xiàng)、頻率顯示選項(xiàng)、音符 顯示選項(xiàng)、語(yǔ)音識(shí)別選項(xiàng)、節(jié)奏選項(xiàng)、曲譜選項(xiàng)、視頻采集選項(xiàng)、視頻 識(shí)別選項(xiàng)、自動(dòng)更新等等系統(tǒng)必要選項(xiàng)進(jìn)行設(shè)置；
17. 幫助和使用指南等文件:主要包括本發(fā)明的"演唱和演奏的計(jì)算機(jī) 實(shí)時(shí)分析系統(tǒng)"的幫助文件和使用指南等文件，方便用戶操作使用，也包含常見(jiàn)問(wèn)題解答等信息。 應(yīng)當(dāng)理解，上述的聲音信號(hào)采集裝置、聲音信號(hào)數(shù)字化裝置、聲音信
號(hào)數(shù)字化后存儲(chǔ)的文件對(duì)于本發(fā)明并不是必要的。這些裝置和文件在聲音
信號(hào)是模擬信號(hào)的情況下才會(huì)采用。對(duì)于己經(jīng)是數(shù)字化的音源來(lái)說(shuō)，則可
直接將輸入的數(shù)字化音頻信號(hào)用于本發(fā)明的演唱和演奏的實(shí)時(shí)分析。
本發(fā)明中涉及語(yǔ)音識(shí)別的部分也是可選的。對(duì)沒(méi)有演唱的樂(lè)曲或演奏， 則可不采用語(yǔ)言識(shí)別分析。
本發(fā)明中涉及視頻信號(hào)的部分也是可選的。在沒(méi)有視頻信號(hào)的情況下， 則可不采用與視頻信號(hào)相關(guān)的分析和處理。
以上對(duì)本發(fā)明進(jìn)行了詳細(xì)描述。應(yīng)當(dāng)理解，上述描述是示意性的，而 非用于限定本發(fā)明。本領(lǐng)域的普通技術(shù)人員能夠在上述描述的基礎(chǔ)上進(jìn)行 各種修改，這些修改應(yīng)該屬于本發(fā)明的保護(hù)范圍。
權(quán)利要求
1.一種演唱和演奏的計(jì)算機(jī)實(shí)時(shí)分析系統(tǒng)，包括聲音信號(hào)的分段檢包裝置，用于根據(jù)聲音信號(hào)，檢測(cè)某個(gè)音到哪個(gè)位置轉(zhuǎn)換成了另外一個(gè)音，或者嚴(yán)格限定分段步長(zhǎng)，然后按照一定規(guī)則進(jìn)行分段；聲音信號(hào)時(shí)間域數(shù)據(jù)的實(shí)時(shí)記錄、存儲(chǔ)、顯示和播放裝置，用于根據(jù)聲音信號(hào)的分段檢包得到的數(shù)據(jù)序列，實(shí)時(shí)記錄在內(nèi)存中，并對(duì)這些數(shù)據(jù)進(jìn)行存儲(chǔ)和顯示，獲得聲音的時(shí)間-幅度序列圖，并實(shí)時(shí)發(fā)送給揚(yáng)聲器等發(fā)生設(shè)備進(jìn)行播放；短時(shí)快速傅里葉變換，繪制“時(shí)間-頻率-強(qiáng)度”的聯(lián)合圖的裝置，對(duì)聲音的時(shí)間域數(shù)據(jù)進(jìn)行短時(shí)快速傅里葉變換，并由此得到“時(shí)間-頻率-強(qiáng)度/功率”，即(聲音音色)的聯(lián)合圖，其中“時(shí)間-頻率-強(qiáng)度”的聯(lián)合圖用于反應(yīng)聲音音色的如下信息聲音的穩(wěn)定性和抖動(dòng)范圍情況；聲音的共振峰位置及其強(qiáng)度情況；聲音的連續(xù)行進(jìn)中，兩個(gè)基音之間滑音的粘連情況；聲音的基音和各泛音的強(qiáng)弱對(duì)比情況；聲音的基音和各泛音的頻率隨時(shí)間的行進(jìn)情況；短時(shí)快速傅里葉變換，繪制“時(shí)間-頻率”的實(shí)時(shí)頻譜圖的裝置，用于對(duì)聲音的時(shí)間域數(shù)據(jù)，分段取數(shù)據(jù)，進(jìn)行短時(shí)快速傅里葉變換，繪制“時(shí)間-頻率”的實(shí)時(shí)頻譜圖；聲音的基音、泛音和共振峰的識(shí)別、分析處理和顯示的裝置，用于對(duì)聲音的時(shí)間域分段數(shù)據(jù)進(jìn)行基音搜索、剔除噪聲等一系列識(shí)別和分析處理之后，顯示聲音的基音的值，以及聲音的基音跟所選定的律制下的最接近的音的頻率偏差值，同時(shí)，根據(jù)音樂(lè)學(xué)中音分的定義，即時(shí)把這個(gè)頻率偏差值轉(zhuǎn)換為音分值，并加以顯示；通過(guò)對(duì)頻率曲線各個(gè)局部峰的搜索，并且根據(jù)音樂(lè)學(xué)的規(guī)律進(jìn)行推算，可以實(shí)時(shí)分析獲得聲音的泛音信息，從而得到聲音的共振峰狀況；聲音的節(jié)奏識(shí)別、分析處理和顯示裝置，用于對(duì)聲音的時(shí)間域數(shù)據(jù)，采用時(shí)間域分析、頻率域分析或“時(shí)-頻”聯(lián)合分析，實(shí)時(shí)獲得聲音的節(jié)奏及其變化；聲音的基音序列的律制分析裝置，用于由聲音的基音序列對(duì)聲音的律制進(jìn)行分析，分析得到聲音的曲譜是十二平均律、五度相生律、純律，還是其他特別的律制體系；根據(jù)基音、唱詞、節(jié)奏和律制等信息，分析整理成曲譜并顯示的裝置由前述所獲得的基音、唱詞、節(jié)奏和律制等的信息，實(shí)時(shí)分析整理，獲得含有各個(gè)音偏移的律制信息的曲譜序列；聲音時(shí)間域和頻率域信號(hào)修改、記錄、存儲(chǔ)、評(píng)估、顯示、播放和傳輸?shù)难b置，用于對(duì)聲音的時(shí)間域和頻率域信號(hào)，不做任何修改，直接進(jìn)行記錄、存儲(chǔ)、評(píng)估、顯示、播放和傳輸；或基于一定的修改規(guī)則，對(duì)聲音的時(shí)間域和頻率域信號(hào)進(jìn)行記錄、存儲(chǔ)、評(píng)估、顯示、播放和傳輸。
2. 根據(jù)權(quán)利要求1的演唱和演奏的計(jì)算機(jī)實(shí)時(shí)分析系統(tǒng)，進(jìn)一步包括:視頻信號(hào)和聲音信號(hào)混合的實(shí)時(shí)—采集、記錄、存儲(chǔ)、顯示、播放和傳輸?shù)难b置，用于在對(duì)聲音實(shí)時(shí)進(jìn)行數(shù)據(jù)采集和記錄的同時(shí)，對(duì)演唱和演奏的視頻信號(hào)實(shí)時(shí)進(jìn)行數(shù)據(jù)采集和記錄，然后，將視頻信號(hào)和聲音信號(hào)進(jìn)行混合，然后存儲(chǔ)、顯示、播放和傳輸。
3. 根據(jù)權(quán)利要求1的演唱和演奏的計(jì)算機(jī)實(shí)時(shí)分析系統(tǒng)，進(jìn)一步包括從視頻信號(hào)中識(shí)別演唱的發(fā)聲狀態(tài)或器樂(lè)的演奏狀態(tài)，實(shí)時(shí)給出指導(dǎo)建議的裝置采用計(jì)算機(jī)圖像和視頻自動(dòng)識(shí)別技術(shù)，對(duì)演唱的發(fā)聲狀態(tài)或器樂(lè)的演奏狀態(tài)進(jìn)行實(shí)時(shí)識(shí)別，結(jié)合前述對(duì)于聲音的"節(jié)奏、音準(zhǔn)、音色"的分析，根據(jù)演唱或演奏的狀況，實(shí)時(shí)給出指導(dǎo)建議。
4. 根據(jù)權(quán)利要求1的演唱和演奏的計(jì)算機(jī)實(shí)時(shí)分析系統(tǒng)，進(jìn)一歩包括聲音中演唱的唱詞的語(yǔ)音識(shí)別裝置，用于對(duì)于演唱的聲音，采用語(yǔ)音模式識(shí)別，對(duì)聲音中演唱的唱詞的語(yǔ)音進(jìn)行識(shí)別和顯示，識(shí)別出來(lái)的唱詞用于后續(xù)曲譜的整理和分析。
全文摘要
本發(fā)明涉及一種演唱和演奏的計(jì)算機(jī)實(shí)時(shí)分析系統(tǒng)，包括聲音信號(hào)的分段檢包裝置，聲音信號(hào)時(shí)間域數(shù)據(jù)的實(shí)時(shí)記錄、存儲(chǔ)、顯示和播放裝置，短時(shí)快速傅里葉變換，繪制“時(shí)間—頻率—強(qiáng)度”的聯(lián)合圖的裝置，短時(shí)快速傅里葉變換，繪制“時(shí)間—頻率”的實(shí)時(shí)頻譜圖的裝置，聲音的基音、泛音和共振峰的識(shí)別、分析處理和顯示的裝置，聲音的節(jié)奏識(shí)別、分析處理和顯示裝置，根據(jù)基音、唱詞、節(jié)奏和律制等信息，分析整理成曲譜并顯示的裝置聲音時(shí)間域和頻率域信號(hào)修改、記錄、存儲(chǔ)、評(píng)估、顯示、播放和傳輸?shù)难b置。本發(fā)明對(duì)聲樂(lè)和器樂(lè)進(jìn)行計(jì)算機(jī)實(shí)時(shí)可視化、系統(tǒng)而定量地測(cè)量和測(cè)試，并采用計(jì)算機(jī)圖像和視頻自動(dòng)識(shí)別技術(shù)識(shí)別并指導(dǎo)演唱狀態(tài)和演奏狀態(tài)。
文檔編號(hào)G10L15/00GK101645268SQ20091016290
公開(kāi)日2010年2月10日 申請(qǐng)日期2009年8月19日 優(yōu)先權(quán)日2009年8月19日
發(fā)明者宋 李 申請(qǐng)人:宋 李