專利名稱：一種將midi音樂生成動畫的方法和系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及電子音樂數(shù)據(jù)處理技術(shù)領(lǐng)域，特別是涉及一種將MIDI音樂生成動畫 的方法和系統(tǒng)。
背景技術(shù)：
隨著生活水平的提高，人們對于音樂的欣賞已經(jīng)漸漸進入日常生活中，成為休閑 娛樂的重要方式。通常，人們播放音樂只是滿足聽覺上的享受，但是用眼睛感受音樂表達的 信息，卻有待于人們開發(fā)和研究。通常的一種方法是使組成音樂的不同結(jié)構(gòu)元素與不同的顏色相對應(yīng)，將音樂的變 化轉(zhuǎn)變?yōu)轭伾淖兓鶕?jù)不同顏色代表的音樂屬性，通過顏色種類的變化和顏色的深淺 變化，反映出音樂的表現(xiàn)內(nèi)容，例如歡快還是憂郁，舒緩還是激烈。還有一種方法，是將音樂 與顏色和幾何圖像相結(jié)合，隨著音樂的播放，產(chǎn)生顏色的變化以及幾何圖像的變形和重組， 該方法增加了幾何圖形的變化，比起單獨的顏色變化，增加了表現(xiàn)方式，比較直觀，用戶可 以根據(jù)圖形的變化樣式和的快慢，獲得音樂表現(xiàn)內(nèi)容。上述方法僅得到音樂表達的風(fēng)格和 節(jié)奏等，表現(xiàn)內(nèi)容單調(diào)，無法將音樂中的人物、場景、動作等內(nèi)容表達出來，缺乏表現(xiàn)力。樂器設(shè)備數(shù)字接口(MIDI，MusicalInstrument Digital Interface)技術(shù)是電 腦多媒體技術(shù)在音頻領(lǐng)域中的一項應(yīng)用。不同于MP3、WAV等數(shù)字波形音頻文件，對聲音的 波形進行采樣，MIDI文件本身不記錄任何聲音波形，只記錄如下信息某個MIDI通道與某 個時間向MIDI合成器等發(fā)聲裝置發(fā)送某個樂器需要以什么狀態(tài)(包括音高、力度、音量、混 響等)來發(fā)聲的信息。MIDI傳輸?shù)牟皇锹曇粜盘?，而是音符、控制參?shù)等指令，它指示MIDI 設(shè)備要做什么、怎么做，例如演奏哪個音符、多大音量、什么音調(diào)結(jié)束、加以什么伴奏等等。 MIDI系統(tǒng)實際就是一個作曲、配器、電子模擬的演奏系統(tǒng)。因此，MIDI音樂中包含了大量的 數(shù)據(jù)信息，易于進行操作處理?；贛IDI音樂的特點，目前需要本領(lǐng)域技術(shù)人員解決的問題就是怎樣將MIDI音 樂生成為內(nèi)容豐富、與音樂表達的內(nèi)容相對應(yīng)的可視信息。

發(fā)明內(nèi)容
本發(fā)明所要解決的技術(shù)問題是提供一種將MIDI音樂生成動畫的方法和系統(tǒng)，能 夠?qū)IDI音樂生成為內(nèi)容豐富、與音樂表達的內(nèi)容相對應(yīng)的可視信息。為了解決上述問題，本發(fā)明公開了一種將MIDI音樂生成動畫的方法，包括對MIDI音樂進行音樂結(jié)構(gòu)的分析，獲得音樂分析結(jié)果以及音樂的時間屬性；根據(jù)預(yù)置的動畫素材庫和上述音樂分析結(jié)果通過預(yù)置規(guī)則或者用戶輸入的參數(shù) 構(gòu)建各個動畫元素及其對應(yīng)關(guān)系；根據(jù)所述時間屬性將各個動畫元素及其對應(yīng)關(guān)系組合成動畫。優(yōu)選的，所述音樂結(jié)構(gòu)的分析包括音符分析、音節(jié)分析、樂句分析、樂段分析、音 軌分析中的一個或多個。
4
優(yōu)選的，當(dāng)所述MIDI音樂中有歌詞時，所述方法還包括進行歌詞信息的分析，獲得歌詞分析結(jié)果；將所述歌詞分析結(jié)果引入到各個動畫元素及其對應(yīng)關(guān)系的構(gòu)建中。優(yōu)選的，所述歌詞信息的分析包括詞元分析、語法分析、語句分析、段落分析、章 節(jié)分析中的一個或多個。進一步，所述構(gòu)建各個動畫元素及其對應(yīng)關(guān)系具體包括通過音符分析、音節(jié)分析和詞元分析中的一個或者多個組合構(gòu)建包括角色、行為、 子場景的動畫元素，通過語法分析構(gòu)建上述各個動畫元素的對應(yīng)關(guān)系；通過樂句分析、樂段分析、音軌分析和語句分析、段落分析、章節(jié)分析中的一個或 者多個組合構(gòu)建由相應(yīng)的子場景組成的總場景。進一步，所述將各個動畫元素及其對應(yīng)關(guān)系組合成動畫具體包括在所述總場景中加入相應(yīng)的角色、行為并進行整體合成；根據(jù)所述時間屬性設(shè)定各個動畫元素出現(xiàn)的時間，使動畫與MIDI音樂的播放時 間同步。優(yōu)選的，所述將各個動畫元素及其對應(yīng)關(guān)系組合成動畫具體還包括設(shè)定視角轉(zhuǎn)變路徑，將各個動畫元素之間的視角轉(zhuǎn)變進行銜接。此外，本發(fā)明還公開了一種將MIDI音樂生成動畫的系統(tǒng)，包括音樂分析模塊，用于對MIDI音樂進行音樂結(jié)構(gòu)的分析，獲得音樂分析結(jié)果以及音 樂的時間屬性；元素構(gòu)建模塊，用于根據(jù)預(yù)置的動畫素材庫和上述音樂分析結(jié)果通過預(yù)置規(guī)則或 者用戶輸入的參數(shù)構(gòu)建各個動畫元素及其對應(yīng)關(guān)系；動畫合成模塊，用于根據(jù)所述時間屬性將各個動畫元素及其對應(yīng)關(guān)系組合成動 畫。優(yōu)選的，所述系統(tǒng)還包括歌詞分析模塊，用于當(dāng)所述MIDI音樂中有歌詞時，進行歌詞信息的分析，獲得歌 詞分析結(jié)果；則歌詞分析模塊將所述歌詞分析結(jié)果輸入到元素構(gòu)建模塊中，元素構(gòu)建模塊根據(jù) 預(yù)置的動畫素材庫、音樂分析結(jié)果和所述歌詞分析結(jié)果進行各個動畫元素及其對應(yīng)關(guān)系的 構(gòu)建。優(yōu)選的，所述元素構(gòu)建模塊包括子元素構(gòu)建單元，用于通過音符分析、音節(jié)分析和詞元分析中的一個或者多個組 合構(gòu)建包括角色、行為、子場景的動畫元素，通過語法分析構(gòu)建上述各個動畫元素的對應(yīng)關(guān) 系；總場景構(gòu)建單元，用于通過樂句分析、樂段分析、音軌分析和語句分析、段落分析、 章節(jié)分析中的一個或者多個組合構(gòu)建由相應(yīng)的子場景組成的總場景。優(yōu)選的，所述動畫合成模塊包括元素整合單元，用于在所述總場景中加入相應(yīng)的角色、行為并進行整體合成；時間同步單元，用于根據(jù)所述時間屬性設(shè)定各個動畫元素出現(xiàn)的時間，使動畫與 MIDI音樂的播放時間同步。
優(yōu)選的，所述動畫合成模塊還包括視角轉(zhuǎn)變單元，用于設(shè)定視角轉(zhuǎn)變路徑，將各 個動畫元素之間的視角轉(zhuǎn)變進行銜接。與現(xiàn)有技術(shù)相比，本發(fā)明具有以下優(yōu)點本發(fā)明對MIDI音樂進行音樂結(jié)構(gòu)的分析，通過預(yù)置規(guī)則或者用戶輸入的參數(shù)從 動畫素材庫中選取各個動畫元素及其對應(yīng)關(guān)系；最后根據(jù)MIDI音樂的時間屬性將各個 動畫元素及其對應(yīng)關(guān)系組合成動畫。本發(fā)明將MIDI音樂與動畫元素相聯(lián)系，對于沒有 歌詞的音樂，通過系統(tǒng)定義或者用戶設(shè)置生成相應(yīng)的動畫，最終形成音樂電視(MV，Music Television)動畫，實現(xiàn)動畫與音樂的視聽綁定，滿足聽覺與視覺同時享受、相互統(tǒng)一的需 求。此外，對于有歌詞的音樂，通過歌詞分析構(gòu)建動畫元素及其關(guān)系，生成的動畫能夠表達 出歌詞的內(nèi)容，表現(xiàn)形式豐富，與音樂的表現(xiàn)更為貼切?？傊?，本發(fā)明根據(jù)MIDI音樂的特點，能夠?qū)IDI音樂生成與音樂相匹配的動畫， 實現(xiàn)了視聽綁定，提高了用戶的體驗度，增加了音樂的娛樂性。


圖1是本發(fā)明一種將MIDI音樂生成動畫的方法實施例的流程圖；圖2是本發(fā)明一種將MIDI音樂生成動畫的方法優(yōu)選實施例的流程圖；圖3是本發(fā)明一種將MIDI音樂生成動畫的系統(tǒng)實施例的示意圖； 圖4是本發(fā)明方法優(yōu)選實施例所述的一段MIDI音樂對應(yīng)的樂譜示意圖。
具體實施例方式為使本發(fā)明的上述目的、特征和優(yōu)點能夠更加明顯易懂，下面結(jié)合附圖和具體實 施方式對本發(fā)明作進一步詳細(xì)的說明。本發(fā)明通過對MIDI音樂的分析，將音樂與動畫元素進行匹配，最終將MIDI音樂生 成相應(yīng)內(nèi)容的動畫，使用戶能夠觀看到不同音樂呈現(xiàn)的動畫，實現(xiàn)了音頻和視頻的統(tǒng)一。參照圖1，示出了本發(fā)明一種將MIDI音樂生成動畫的方法實施例的流程圖，包括 如下步驟步驟101，對MIDI音樂進行音樂結(jié)構(gòu)的分析，獲得音樂分析結(jié)果以及音樂的時間 屬性；音樂結(jié)構(gòu)的最小單位是音符，由音符組成音節(jié)，音節(jié)組成樂句，樂句再組成樂段， 各個樂段組成一個音軌，音軌分為旋律軌、伴奏軌和背景軌，由各個音軌組成一首完整的音 樂。相應(yīng)的，音樂結(jié)構(gòu)的分析包括音符分析、音節(jié)分析、樂句分析、樂段分析、音軌分析。對于音符分析是確定各個音符在整個MIDI音樂中出現(xiàn)的時間，使音符與時間相 對應(yīng)，得到音樂的時間屬性。音節(jié)的分析是分析每一小節(jié)音節(jié)所包含的音符，根據(jù)音符確定 音節(jié)所屬的和弦結(jié)構(gòu)。對于樂句的分析是分析符合和弦規(guī)律的音節(jié)組成。對于樂段的分析 是分析符合和弦規(guī)律的樂句的組成，從而確定和弦隨著音樂的變化情況，進一步得到音樂 的穩(wěn)定程度的變化。一般來說，I和弦與VI和弦穩(wěn)定，II和弦與IV和弦比較穩(wěn)定，V和弦 與III和弦不穩(wěn)定。對于音軌的分析，是分析旋律軌、伴奏軌和節(jié)奏軌的長短、高低、強弱的 音符組成，得到音樂的表現(xiàn)風(fēng)格，例如是舒緩還是歡快。步驟102，根據(jù)預(yù)置的動畫素材庫和上述音樂分析結(jié)果通過預(yù)置規(guī)則或者用戶輸 入的參數(shù)構(gòu)建各個動畫元素及其對應(yīng)關(guān)系；
預(yù)置的動畫素材庫中存儲有大量的圖形素材，例如標(biāo)準(zhǔn)人圖形庫、演唱樂隊圖形 庫、各類動物圖形庫、背景圖形庫、文字圖形庫等。根據(jù)步驟101的音樂分析結(jié)果和預(yù)置的 動畫素材庫構(gòu)建各個動畫元素及其對應(yīng)關(guān)系，可以按照系統(tǒng)預(yù)置的規(guī)則，也可以按照用戶 輸入的參數(shù)。例如，根據(jù)音樂的分析，判斷該音樂為交響樂演奏，則按照系統(tǒng)預(yù)置的規(guī)則，從動 畫素材庫中選擇演奏樂團圖形、指揮家圖形、鼓手圖形、小號手圖形等角色構(gòu)建角色列表； 同時，選擇具有演奏大廳的圖形構(gòu)建場景列表；并且確定各個角色相應(yīng)的動作構(gòu)建行為動 作列表，如指揮動作、敲鼓動作、吹奏動作等。可以按照系統(tǒng)預(yù)置的規(guī)則將上述音樂分析結(jié) 果中和弦的變化與背景顏色變化相對應(yīng)，例如對于穩(wěn)定的I和弦賦予黃色的舞臺背景；對 于不穩(wěn)定的V和弦賦予紅色的舞臺背景等。還可以根據(jù)用戶輸入的參數(shù)進行設(shè)置，如按照 演奏樂隊的規(guī)模、演奏大廳的背景顏色等進行圖形的選擇。最后，將角色列表中的元素與動 作列表中的元素進行對應(yīng)指揮家與指揮動作相對應(yīng)；鼓手與敲鼓動作相對應(yīng)；小號手與 吹奏動作相對應(yīng)等。此外，還可以根據(jù)音樂分析結(jié)果，靈活設(shè)定其他的動畫元素，例如演奏舞臺的燈光 效果，假設(shè)通過音軌的分析得到，前一段音樂的旋律舒緩，設(shè)置燈光為表示柔和的黃色；中 間一段音樂的旋律歡快，設(shè)置燈光為表示激烈的紅色，最后一段音樂的旋律寧靜，則設(shè)置燈 光的顏色為藍色。步驟103，根據(jù)所述時間屬性將各個動畫元素及其對應(yīng)關(guān)系組合成動畫。根據(jù)音符確定的時間，對于每小段音樂，確定場景中不同角色和其對應(yīng)的行為的 出現(xiàn)時間，可以將某一角色的出現(xiàn)對應(yīng)到某一指定音符的時間上，或者將某一角色的行為 動作與另一個指定音符的時間相對應(yīng)。該步驟根據(jù)時間屬性設(shè)定不同角色出現(xiàn)的時間，例 如開始時，根據(jù)第一樂句第一個音符的時間，在演奏大廳場景中出現(xiàn)演奏樂隊一起演奏的 動畫；之后，根據(jù)第二樂句第一個音符的時間，將動畫角色替換為指揮家，畫面轉(zhuǎn)換為指揮 家指揮樂隊的動畫；然后，根據(jù)第三樂句第一個音符的時間，將動畫角色替換為鼓手，畫面 轉(zhuǎn)換為鼓手敲鼓的動畫場景，最終使音樂的播放時間與動畫的播放時間一致。最后，通過 MIDI音樂的整體分析，設(shè)定試點轉(zhuǎn)變路徑，將各個角色、場景的轉(zhuǎn)變進行銜接。本發(fā)明實施例對MIDI音樂進行音樂結(jié)構(gòu)的分析，對于沒有歌詞的音樂，通過預(yù)置 規(guī)則或者用戶輸入的參數(shù)，提取具有音樂表達特性的動畫素材，通過各個動畫元素及其對 應(yīng)關(guān)系將其組合成動畫。該方法能夠用視覺感知音樂的變化信息，通過將MIDI音樂與轉(zhuǎn)換 的動畫相結(jié)合，生成MV動畫，實現(xiàn)了動畫與音樂的視聽綁定，滿足聽覺與視覺同時享受、相 互統(tǒng)一的需求。對于MIDI音樂中包含歌詞的情況，除了音樂結(jié)構(gòu)的分析，還可以對歌詞進行分 析，按照歌詞的分析結(jié)果構(gòu)建相應(yīng)的動畫元素，使動畫的表現(xiàn)與歌詞表達的內(nèi)容相對應(yīng)。參照圖2，示出了本發(fā)明一種將MIDI音樂生成動畫的方法優(yōu)選實施例的流程圖。 以歌曲《讓我們蕩起雙槳》為例選取一段MIDI音樂，如圖4所示，為本發(fā)明方法優(yōu)選實施例所述的一段MIDI音樂 對應(yīng)的樂譜示意圖，其對應(yīng)歌詞為“讓我們蕩起雙槳，小船兒推開波浪，海面倒映著美麗的 白塔，四周環(huán)繞著綠樹紅墻。小船兒輕輕，飄蕩在水中，迎面吹來了涼爽的風(fēng)?！睂⑸鲜雠溆?歌詞的MIDI音樂生成動畫。下面根據(jù)上述音樂詳細(xì)說明本發(fā)明優(yōu)選實施例，包括步驟
步驟201，對MIDI音樂進行音樂結(jié)構(gòu)的分析，獲得音樂分析結(jié)果以及音樂的時間 屬性；所述音樂結(jié)構(gòu)的分析包括音符分析、音節(jié)分析、樂句分析、樂段分析、音軌分析。 根據(jù)音符分析確定各個音符在整個MIDI音樂中出現(xiàn)的時間，使音符與時間相對應(yīng)。對MIDI 音樂進行音節(jié)分析，通常是分析旋律軌，即音符重疊比較少的那一軌。每一個音節(jié)按照音 符的組成賦予一個或多個和弦屬性，本實施例中對一個音節(jié)賦予一個和弦屬性。如音節(jié) 66 12賦予VI和弦，3.55賦予III和弦。對每個音節(jié)的和弦屬性進行樂句分析，得
到符合音樂規(guī)律的樂句，音樂規(guī)律為和弦進行規(guī)律，如下面幾個音節(jié) 是一個VI-III-III-VI和弦進行，分析得到和旋的變化為穩(wěn)定和弦_不穩(wěn)定和 弦-不穩(wěn)定和弦-穩(wěn)定和弦，即為一個規(guī)律的和弦進行。本步驟中，對音樂結(jié)構(gòu)的分析可以 結(jié)合歌詞信息，通過歌詞的標(biāo)點符號對MIDI音樂的樂句進行預(yù)處理。在本實施例中，通過 標(biāo)點符號分析得出上述前四個音節(jié)組成一個合理樂句，其它樂句的分析類似。根據(jù)樂句的重復(fù)度及歌詞的重復(fù)度大致確定樂段，幾個樂句組成樂段。在本歌曲 中整首音樂可以分為三個樂段，本實施例僅針對前一個樂段進行分析。此外，MIDI音樂不 僅僅包含旋律軌，通常還包含節(jié)奏軌(鼓軌，低音軌等)、伴奏軌等。這類音軌中某一個音 符重復(fù)度比較高，對這些音軌的分析可得到節(jié)奏信息，為動畫圖形的構(gòu)建提供了參考依據(jù)。 對于音軌的分析，得到音樂的表現(xiàn)風(fēng)格為舒緩。此外，MIDI音樂中通常已經(jīng)包括了速度、節(jié) 拍、樂器等信息，這些信息也是以上各個音樂結(jié)構(gòu)分析的基礎(chǔ)。步驟202，進行歌詞信息的分析，獲得歌詞分析結(jié)果；所述歌詞信息的分析包括詞元分析、語法分析、語句分析。一個歌詞文本從形式 上看是由漢字(包括標(biāo)點符號等)組成的一個字符串。由字可組成詞元，由詞元可組成句 子，進而由一些句子組成段落、章節(jié)。對詞元的分析，可以利用基于字符串匹配的分詞方法，按照一定的策略將待分析 的漢字串與預(yù)置詞典中的詞條進行匹配，若在詞典中找到某個字符串，則匹配成功，識別出 一個詞元；也可以利用基于理解的分詞方法，讓計算機模擬人對句子的理解，其基本思想是 在分詞的同時進行句法、語義分析，利用句法信息和語義信息來處理歧義現(xiàn)象，達到識別詞 的效果；還可以利用基于統(tǒng)計的分詞方法，由于詞元是穩(wěn)定的字的組合，因此相鄰的字同時 出現(xiàn)的次數(shù)越多，就越有可能構(gòu)成一個詞，利用字與字相鄰共現(xiàn)的頻率或概率反映的詞的 可信度，對相鄰共現(xiàn)的各個字的組合的頻度進行統(tǒng)計，計算它們的互現(xiàn)信息，從而進行詞元 識別。通過詞元分析，獲得各個詞元表達的含義，例如是什么人、什么事物、什么行為、什么 場景等。語法分析，是分析按確定用法來運用的詞類、詞的屈折變化或表示相互關(guān)系的其 他手段以及分析詞在句中的功能和關(guān)系。通過分析句子的組成成分，確定定語、狀語、補語、 主語、謂語、賓語，來理解詞元之間的關(guān)系，從而確定句子表達的意思。語句是由一個詞或句法上有關(guān)聯(lián)的一組詞構(gòu)成，通過語句分析，能夠得出歌詞的 每一小句表達的主張、愿望或意境等。段落和章節(jié)，是文章思想內(nèi)容在表達時由于轉(zhuǎn)折、強調(diào)、間歇等情況所造成的文字停頓。通過段落和章節(jié)的分析，對歌詞內(nèi)容進行劃分，確定出 每一部分所要表達的情感、意境等內(nèi)容。步驟203，通過音符分析、音節(jié)分析、旋律分析和詞元分析構(gòu)建包括角色、行為、子 場景的動畫元素，通過語法分析構(gòu)建上述各個動畫元素的對應(yīng)關(guān)系；MIDI音樂中的音符、樂句、樂段分別對應(yīng)歌詞的字或詞元、語句、語段或章節(jié)。音 樂分析中的得到的速度、風(fēng)格信息可以結(jié)合歌詞的情感作為圖形風(fēng)格的構(gòu)建依據(jù)。通過“我 們、雙槳、小船兒、波浪、海面、白塔、綠樹、紅墻、水、風(fēng)”，這些詞元分析，可以從動畫素材庫 中選取相對應(yīng)的人、物、景等圖形，例如紅領(lǐng)巾少年，船槳、小船、垂柳、紅墻等角色圖形，藍 色水面、青山綠樹的子場景圖形，進一步將這些圖形添加到角色列表和子場景列表中。通過 “蕩起、推開、飄、吹”這些詞元的分析，構(gòu)建劃船、推開、吹等行為列表。通過語法分析，構(gòu)建角色列表、子場景列表、行為列表之間列表元素的對應(yīng)關(guān)系。 如紅領(lǐng)巾少年、船槳與劃船的行為相對應(yīng)；小船兒、波浪與推開的動作相對應(yīng)；風(fēng)與吹的動 作相對應(yīng)；小船、白塔與藍色水面的子場景相對應(yīng)；垂柳、紅墻與青山綠樹的子場景相對應(yīng)寸。步驟204，通過樂句分析、樂段分析和語句分析、段落分析、章節(jié)分析中的一個或者 多個組合構(gòu)建由相應(yīng)的子場景組成的總場景；音樂結(jié)構(gòu)分析中得到的節(jié)奏信息可以為圖形的節(jié)奏變化提供依據(jù)。通過對歌詞的 每一句進行分析，得到每一句表達的情境，對本例中給出的歌詞段進行分析，獲得該段落表 達的內(nèi)容，按照每一歌詞語句與MIDI音樂樂句的對應(yīng)關(guān)系，在子場景列表中提取各個子場 景，按照歌詞段落與音樂樂段的對應(yīng)關(guān)系，將各個子場景組合成一個總場景，該總場景按照 子場景的出現(xiàn)具有轉(zhuǎn)換視角藍色水面-水面周圍-青山綠樹-藍色水面。步驟205，在所述總場景中加入相應(yīng)的角色、行為并進行整體合成；將紅領(lǐng)巾少年、船槳的角色圖形與劃船的行為相對應(yīng)加入到總場景；將小船兒、波 浪的角色圖形與推開的動作相對應(yīng)加入到總場景；將風(fēng)的圖形與吹的動作相對應(yīng)加入到總 場景中。其他角色如白塔、垂柳、紅墻等作為靜態(tài)圖形依次加入到總場景中。最后整合形成 動畫小船中坐著幾個紅領(lǐng)巾少年，少年手中拿著船槳劃船，小船飄蕩在水面中泛起波浪； 水面倒映著白塔，水的四周種著垂柳、環(huán)繞著紅墻；微風(fēng)吹起，小船兒飄蕩在水中，船里少年 的紅領(lǐng)巾隨風(fēng)飄揚。步驟206，根據(jù)時間屬性設(shè)定各個動畫元素出現(xiàn)的時間，使動畫與MIDI音樂的播 放時間同步；按照根據(jù)音符設(shè)置的時間，對于每小段音樂，確定場景中不同角色和其對應(yīng)的行 為的出現(xiàn)時間。本實施例中，根據(jù)第一小節(jié)的第二個音符低音6的時間，確定紅領(lǐng)巾少年和 劃槳動作的出現(xiàn)時間；根據(jù)第五小節(jié)的第二個音符1的時間，確定小船兒的出現(xiàn)時間，根據(jù) 第六小節(jié)第一個音符5的時間，確定波浪和小船推開波浪動作。其他角色、行為、場景的時 間設(shè)置與上述類似。步驟207，設(shè)定視角轉(zhuǎn)變路徑，將各個動畫元素之間的視角轉(zhuǎn)變相銜接。該步驟設(shè)置視角轉(zhuǎn)變路徑，確定各個動畫元素的視角以及元素之間的過度關(guān)系， 進行視覺效果的加工、優(yōu)化處理，使動畫的播放順暢自然。進一步，還可以在動畫素材庫中提取相應(yīng)的文字信息，進行藝術(shù)處理后加入到動
9畫中，實現(xiàn)對動畫的解釋、凸顯內(nèi)容等作用。還可以根據(jù)歌詞信息進行文字提取，生成相應(yīng) 的字幕進行顯示，將MIDI音樂中的伴奏軌加入動畫中，形成卡拉OK音樂文件。本發(fā)明實施例，對于有歌詞的音樂，通過歌詞分析構(gòu)建動畫元素及其對應(yīng)關(guān)系，通 過動畫的播放顯示出歌詞表達的內(nèi)容，表現(xiàn)內(nèi)容豐富。此外，生成的動畫增加了音樂的娛樂 性，提高了用戶的體驗度。參照圖3，示出了本發(fā)明一種將MIDI音樂生成動畫的系統(tǒng)實施例的示意圖，包括音樂分析模塊301，用于對MIDI音樂進行音樂結(jié)構(gòu)的分析，獲得音樂分析結(jié)果以 及音樂的時間屬性；元素構(gòu)建模塊302，用于根據(jù)預(yù)置的動畫素材庫和上述音樂分析結(jié)果通過預(yù)置規(guī) 則或者用戶輸入的參數(shù)構(gòu)建各個動畫元素及其對應(yīng)關(guān)系；動畫合成模塊303，用于根據(jù)所述時間屬性將各個動畫元素及其對應(yīng)關(guān)系組合成 動畫。首先，音樂分析模塊301對所要轉(zhuǎn)換的MIDI音樂進行關(guān)于音符、音節(jié)、樂句、樂段、 音軌的音樂結(jié)構(gòu)分析，并確定音符對應(yīng)的播放時間，獲得時間屬性，然后將音樂結(jié)構(gòu)分析結(jié) 果輸入到元素構(gòu)建模塊302 ；元素構(gòu)建模塊302利用音樂分析結(jié)果和動畫素材庫中通過預(yù) 置規(guī)則或者用戶輸入的參數(shù)確定動畫的角色、行為、場景，生成動畫元素列表及其對應(yīng)關(guān) 系；最后，動畫合成模塊303根據(jù)音樂分析模塊301獲得的時間屬性和元素構(gòu)建模塊302生 成的動畫元素列表及其對應(yīng)關(guān)系將各個動畫元素及其對應(yīng)關(guān)系進行組合，最終形成動畫。在本發(fā)明的優(yōu)選實施例中，所述系統(tǒng)還包括歌詞分析模塊304，用于當(dāng)所述MIDI音樂中有歌詞時，進行歌詞信息的分析，獲得 歌詞分析結(jié)果；則歌詞分析模塊304將所述歌詞分析結(jié)果輸入到元素構(gòu)建模塊302中，元素構(gòu)建 模塊302根據(jù)預(yù)置的動畫素材庫、音樂分析結(jié)果和所述歌詞分析結(jié)果進行各個動畫元素及 其對應(yīng)關(guān)系的構(gòu)建。進一步，在本發(fā)明優(yōu)選實施例中所述元素構(gòu)建模塊302包括子元素構(gòu)建單元3021，用于通過音符分析、音節(jié)分析和詞元分析中的一個或者多 個組合構(gòu)建包括角色、行為、子場景的動畫元素，通過語法分析構(gòu)建上述各個動畫元素的對 應(yīng)關(guān)系；總場景構(gòu)建單元3022，用于通過樂句分析、樂段分析、音軌分析和語句分析、段落 分析、章節(jié)分析中的一個或者多個組合構(gòu)建由相應(yīng)的子場景組成的總場景。優(yōu)選的，所述動畫合成模塊303包括元素整合單元3031，用于在所述總場景中加入相應(yīng)的角色、行為并進行整體合 成；時間同步單元3032，用于根據(jù)所述時間屬性設(shè)定各個動畫元素出現(xiàn)的時間，使動 畫與MIDI音樂的播放時間同步。進一步，所述動畫合成模塊303還包括視角轉(zhuǎn)變單元3033，用于設(shè)定視角轉(zhuǎn)變路徑，將各個動畫元素之間的視角轉(zhuǎn)變進 行銜接。本說明書中的各個實施例均采用遞進的方式描述，每個實施例重點說明的都是與其他實施例的不同之處，各個實施例之間相同相似的部分互相參見即可。對于系統(tǒng)實施例 而言，由于其與方法實施例基本相似，所以描述的比較簡單，相關(guān)之處參見方法實施例的部 分說明即可。 以上對本發(fā)明所提供的一種將MIDI音樂生成動畫的方法和系統(tǒng)，進行了詳細(xì)介 紹，本文中應(yīng)用了具體個例對本發(fā)明的原理及實施方式進行了闡述，以上實施例的說明只 是用于幫助理解本發(fā)明的方法及其核心思想；同時，對于本領(lǐng)域的一般技術(shù)人員，依據(jù)本發(fā) 明的思想，在具體實施方式
及應(yīng)用范圍上均會有改變之處，綜上所述，本說明書內(nèi)容不應(yīng)理 解為對本發(fā)明的限制。
1權(quán)利要求
一種將MIDI音樂生成動畫的方法，其特征在于，包括對MIDI音樂進行音樂結(jié)構(gòu)的分析，獲得音樂分析結(jié)果以及音樂的時間屬性；根據(jù)預(yù)置的動畫素材庫和上述音樂分析結(jié)果通過預(yù)置規(guī)則或者用戶輸入的參數(shù)構(gòu)建各個動畫元素及其對應(yīng)關(guān)系；根據(jù)所述時間屬性將各個動畫元素及其對應(yīng)關(guān)系組合成動畫。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述音樂結(jié)構(gòu)的分析包括音符分析、音 節(jié)分析、樂句分析、樂段分析、音軌分析中的一個或多個。
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，當(dāng)所述MIDI音樂中有歌詞時，所述方法還 包括進行歌詞信息的分析，獲得歌詞分析結(jié)果；將所述歌詞分析結(jié)果引入到各個動畫元素及其對應(yīng)關(guān)系的構(gòu)建中。
4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述歌詞信息的分析包括詞元分析、語 法分析、語句分析、段落分析、章節(jié)分析中的一個或多個。
5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述構(gòu)建各個動畫元素及其對應(yīng)關(guān)系具 體包括通過音符分析、音節(jié)分析和詞元分析中的一個或者多個組合構(gòu)建包括角色、行為、子場 景的動畫元素，通過語法分析構(gòu)建上述各個動畫元素的對應(yīng)關(guān)系；通過樂句分析、樂段分析、音軌分析和語句分析、段落分析、章節(jié)分析中的一個或者多 個組合構(gòu)建由相應(yīng)的子場景組成的總場景。
6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述將各個動畫元素及其對應(yīng)關(guān)系組合 成動畫具體包括在所述總場景中加入相應(yīng)的角色、行為并進行整體合成；根據(jù)所述時間屬性設(shè)定各個動畫元素出現(xiàn)的時間，使動畫與MIDI音樂的播放時間同止少o
7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述將各個動畫元素及其對應(yīng)關(guān)系組合 成動畫具體還包括設(shè)定視角轉(zhuǎn)變路徑，將各個動畫元素之間的視角轉(zhuǎn)變進行銜接。
8.一種將MIDI音樂生成動畫的系統(tǒng)，其特征在于，包括音樂分析模塊，用于對MIDI音樂進行音樂結(jié)構(gòu)的分析，獲得音樂分析結(jié)果以及音樂的 時間屬性；元素構(gòu)建模塊，用于根據(jù)預(yù)置的動畫素材庫和上述音樂分析結(jié)果通過預(yù)置規(guī)則或者用 戶輸入的參數(shù)構(gòu)建各個動畫元素及其對應(yīng)關(guān)系；動畫合成模塊，用于根據(jù)所述時間屬性將各個動畫元素及其對應(yīng)關(guān)系組合成動畫。
9.根據(jù)權(quán)利要求8所述的系統(tǒng)，其特征在于，所述系統(tǒng)還包括歌詞分析模塊，用于當(dāng)所述MIDI音樂中有歌詞時，進行歌詞信息的分析，獲得歌詞分 析結(jié)果；則歌詞分析模塊將所述歌詞分析結(jié)果輸入到元素構(gòu)建模塊中，元素構(gòu)建模塊根據(jù)預(yù) 置的動畫素材庫、音樂分析結(jié)果和所述歌詞分析結(jié)果進行各個動畫元素及其對應(yīng)關(guān)系的構(gòu)
10.根據(jù)權(quán)利要求9所述的系統(tǒng)，其特征在于，所述元素構(gòu)建模塊包括子元素構(gòu)建單元，用于通過音符分析、音節(jié)分析和詞元分析中的一個或者多個組合構(gòu) 建包括角色、行為、子場景的動畫元素，通過語法分析構(gòu)建上述各個動畫元素的對應(yīng)關(guān)系；總場景構(gòu)建單元，用于通過樂句分析、樂段分析、音軌分析和語句分析、段落分析、章節(jié) 分析中的一個或者多個組合構(gòu)建由相應(yīng)的子場景組成的總場景。
11.根據(jù)權(quán)利要求10所述的系統(tǒng)，其特征在于，所述動畫合成模塊包括 元素整合單元，用于在所述總場景中加入相應(yīng)的角色、行為并進行整體合成；時間同步單元，用于根據(jù)所述時間屬性設(shè)定各個動畫元素出現(xiàn)的時間，使動畫與MIDI 音樂的播放時間同步。
12.根據(jù)權(quán)利要求11所述的系統(tǒng)，其特征在于，所述動畫合成模塊還包括視角轉(zhuǎn)變單 元，用于設(shè)定視角轉(zhuǎn)變路徑，將各個動畫元素之間的視角轉(zhuǎn)變進行銜接。
全文摘要
本發(fā)明提供了一種將MIDI音樂生成動畫的方法和系統(tǒng)，所述方法包括對MIDI音樂進行音樂結(jié)構(gòu)的分析，獲得音樂分析結(jié)果以及音樂的時間屬性；根據(jù)預(yù)置的動畫素材庫和上述音樂分析結(jié)果通過預(yù)置規(guī)則或者用戶輸入的參數(shù)構(gòu)建各個動畫元素及其對應(yīng)關(guān)系；根據(jù)所述時間屬性將各個動畫元素及其對應(yīng)關(guān)系組合成動畫。通過本發(fā)明，將MIDI音樂生成為內(nèi)容豐富、與音樂表達的內(nèi)容相對應(yīng)的可視信息，實現(xiàn)動畫與音樂的視聽綁定，滿足聽覺與視覺同時享受、相互統(tǒng)一的需求。
文檔編號G10L21/06GK101853668SQ20101013657
公開日2010年10月6日 申請日期2010年3月29日 優(yōu)先權(quán)日2010年3月29日
發(fā)明者儲信鵬, 呂博學(xué), 艾國 申請人:北京中星微電子有限公司