專利名稱：便攜式終端裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及通過聲音合成把基于翻譯部件的翻譯結(jié)果或字典檢索結(jié)果發(fā)音的便攜式終端裝置。
背景技術(shù)：
近年，對(duì)于移動(dòng)電話(Cellular Phone等)提供各種服務(wù)或功能，例如實(shí)施只通過輸入用某語言記述的文章，就自動(dòng)機(jī)械翻譯為其他語言，把翻譯結(jié)果作為聲音發(fā)音，使用戶能夠聽到的無線通信網(wǎng)的服務(wù)?，F(xiàn)在，使用這樣的移動(dòng)電話，除了作為電話機(jī)的通信功能，也實(shí)現(xiàn)了通過所述服務(wù)等提供的其他語言間的翻譯、口譯功能。
此外，關(guān)于所述翻譯服務(wù)的專利文獻(xiàn)也存在，在日本專利申請(qǐng)公開編號(hào)“特開2002-125050號(hào)公報(bào)”中，描述了從移動(dòng)電話經(jīng)由因特網(wǎng)，把用戶的輸入聲音向翻譯服務(wù)器發(fā)送，把由該翻譯服務(wù)器機(jī)械翻譯(或自動(dòng)翻譯)的聲音發(fā)回給移動(dòng)電話的技術(shù)。
可是，在所述服務(wù)或?qū)＠墨I(xiàn)記載的技術(shù)中，為了提供基于聲音的翻譯結(jié)果，因利用了公共電話線路，所以移動(dòng)電話的聲音數(shù)據(jù)(或聲音信號(hào))的收發(fā)必須受到給定線路容量的使用限制。因此，所述以往的技術(shù)，還無法說能有效利用近年已寬帶化的、具有高速化和大容量化傾向的通信資源。
此外，在所述以往的技術(shù)中，在移動(dòng)電話中，只能實(shí)現(xiàn)作為翻譯結(jié)果的文本顯示或作為翻譯結(jié)果的聲音輸出，除了這些翻譯信息的提供，并未設(shè)計(jì)為也同時(shí)提供關(guān)聯(lián)的圖象或聲音信息，無法說是能對(duì)應(yīng)于伴隨著今后的通信技術(shù)發(fā)展的用戶一側(cè)的期待和希望。

發(fā)明內(nèi)容
本發(fā)明是鑒于所述問題而提出的，其目的在于在通過聲音合成輸出翻譯結(jié)果或字典檢索結(jié)果的便攜式終端裝置中，能減少翻譯和字典檢索結(jié)果的信息的收發(fā)所需的容量，并且關(guān)于關(guān)聯(lián)信息，能以實(shí)時(shí)，至少使用聲音(進(jìn)而圖象)對(duì)用戶提供。
本發(fā)明的便攜式終端裝置，向把輸入的文本翻譯為其他語言的翻譯部件(例如，外部的翻譯發(fā)送服務(wù)器)發(fā)送翻譯對(duì)象的文本，使其進(jìn)行翻譯處理，然后使其發(fā)回包含與翻譯結(jié)果有關(guān)的文本和表示發(fā)音方法的發(fā)音數(shù)據(jù)的翻譯結(jié)果信息，并根據(jù)接收的發(fā)音數(shù)據(jù)，用所需的語言和自然的聲調(diào)把翻譯結(jié)果的文本發(fā)音。這里，作為發(fā)音數(shù)據(jù)，使用共振峰參數(shù)。
這樣，能把翻譯結(jié)果作為聲音發(fā)音，所以便攜式終端裝置的用戶通過聽覺能容易識(shí)別和把握輸入的文本的翻譯結(jié)果。此外，從翻譯部件發(fā)回的發(fā)音數(shù)據(jù)，指示和決定各音素的合成中使用的共振峰參數(shù)(例如，共振峰頻率、共振峰水平、帶寬等)，其數(shù)據(jù)容量比通常的聲音信號(hào)小，因此，當(dāng)在便攜式終端裝置中通過通信網(wǎng)接收發(fā)音數(shù)據(jù)的回信時(shí)，用比以往的聲音信號(hào)的回信小的傳輸容量就可以了。
此外，當(dāng)便攜式終端裝置中具有顯示部件(例如液晶顯示器)時(shí)，能顯示翻譯結(jié)果的文本，因此，用戶能在視覺上識(shí)別和把握翻譯結(jié)果。
可以在便攜式終端裝置的外部設(shè)置所述翻譯部件，通過通信網(wǎng)進(jìn)行翻譯處理的執(zhí)行指示和翻譯結(jié)果的接收等，此外，可以把翻譯部件設(shè)置在便攜式終端裝置內(nèi)部。
此外，本發(fā)明的便攜式終端裝置，輸入給定的聲音數(shù)據(jù)后發(fā)出聲音，對(duì)于字典數(shù)據(jù)庫(kù)把詞條信息作為檢索關(guān)鍵字發(fā)送，檢索它的意思信息，把包含表示該意思信息的發(fā)音方法的聲音數(shù)據(jù)的檢索結(jié)果信息發(fā)回，根據(jù)接收的發(fā)音數(shù)據(jù)，用聲音讀出檢索結(jié)果。這里，使用共振峰參數(shù)構(gòu)成發(fā)音數(shù)據(jù)。
這樣，能把使用詞條信息作為檢索關(guān)鍵字檢索的意思信息作為聲音讀出，能通過聽覺容易地識(shí)別和把握該意思信息。此外，從字典數(shù)據(jù)庫(kù)發(fā)回的檢索結(jié)果信息表示共振峰參數(shù)，因此，關(guān)于檢索結(jié)果的回信，只用小的傳輸容量就可以了。
所述檢索結(jié)果信息包含表示所述意思信息的文本、表示與檢索關(guān)鍵字的詞條信息關(guān)聯(lián)的圖象的圖象數(shù)據(jù)、表示與詞條信息關(guān)聯(lián)的聲音的第二發(fā)音數(shù)據(jù)。這時(shí)，通過便攜式終端裝置中具備的顯示部件，能顯示文本和圖象。此外，根據(jù)第二發(fā)音數(shù)據(jù)，能發(fā)出與詞條信息關(guān)聯(lián)的聲音。據(jù)此，便攜式終端裝置的用戶不僅能取得檢索關(guān)鍵字的詞條信息的意思，還能取得豐富的關(guān)聯(lián)信息。
所述發(fā)音數(shù)據(jù)包含表示翻譯結(jié)果或檢索結(jié)果的發(fā)音文字列、和規(guī)定把該發(fā)音文字列聲音化時(shí)的發(fā)音的抑揚(yáng)(聲調(diào)或重音)的韻律記號(hào)。具體而言，由通過通常的文字(當(dāng)為日語時(shí)，平假名和片假名)、數(shù)字、給定記號(hào)的組合規(guī)定的所謂的HV-Script記述。


下面簡(jiǎn)要說明附圖。
圖1表示本發(fā)明的實(shí)施例中的移動(dòng)電話和通過通信網(wǎng)連接的發(fā)送服務(wù)器構(gòu)成的系統(tǒng)的概略結(jié)構(gòu)。
圖2表示字典數(shù)據(jù)庫(kù)中登記的字典內(nèi)容例。
圖3表示各序列數(shù)據(jù)中的事件數(shù)據(jù)和持續(xù)時(shí)間數(shù)據(jù)的關(guān)系。
圖4是用于說明SMAF的數(shù)據(jù)存儲(chǔ)和處理構(gòu)造的圖。
圖5表示對(duì)以往的SMAF文件追加HV磁道塊(Track Chunk)，用于本發(fā)明實(shí)施例的例子。
圖6表示3種聲音再現(xiàn)用格式，(a)表示TSeq型，(b)表示PSeq型，(c)表示FSeq型。
圖7表示聲音再現(xiàn)序列數(shù)據(jù)的數(shù)據(jù)交換格式的一例。
圖8A表示序列數(shù)據(jù)的結(jié)構(gòu)。
圖8B表示持續(xù)時(shí)間和控制時(shí)間的關(guān)系。
圖9是用于說明韻律控制信息的圖。
圖10是表示控制時(shí)間和延遲時(shí)間的關(guān)系的圖。
圖11表示各共振峰波形的水平和中心頻率。
圖12表示FSeq數(shù)據(jù)塊的主體部的數(shù)據(jù)例。
圖13A表示HV-Script的記號(hào)的意思。
圖13B表示由HV-Script的記號(hào)指示的定調(diào)變化。
圖14表示給共振峰付與特征的參數(shù)。
圖15是表示本實(shí)施例的移動(dòng)電話的概略結(jié)構(gòu)的框圖。
圖16表示聲音合成部件的結(jié)構(gòu)。
圖17表示圖16所示的共振峰生成部的結(jié)構(gòu)。
圖18是說明執(zhí)行翻譯處理時(shí)的移動(dòng)電話的動(dòng)作的程序流程圖。
圖19是說明執(zhí)行翻譯處理時(shí)的發(fā)送服務(wù)器的動(dòng)作的程序流程圖。
圖20是說明執(zhí)行字典檢索處理時(shí)的移動(dòng)電話的動(dòng)作的程序流程圖。
圖21是說明執(zhí)行字典檢索處理時(shí)的發(fā)送服務(wù)器的動(dòng)作的程序流程圖。
圖22表示格式類型的一例。
圖23表示語言類型的一例。
圖24表示時(shí)基的一例。
圖25表示HV聲音參數(shù)的一例。
圖26表示韻律控制信息的構(gòu)造的一例。
圖27表示FSeq型的幀數(shù)據(jù)列的一例。
具體實(shí)施例方式
下面，參照附圖詳細(xì)說明本發(fā)明實(shí)施例。
圖1表示由本發(fā)明的實(shí)施例的移動(dòng)電話1、和對(duì)該移動(dòng)電話1通過通信網(wǎng)(包含無線通信網(wǎng)和數(shù)字?jǐn)?shù)據(jù)網(wǎng))提供翻譯服務(wù)和字典檢索信息的發(fā)送服務(wù)器2構(gòu)成的系統(tǒng)的概略結(jié)構(gòu)。
移動(dòng)電話1具有用所需的語言念出翻譯結(jié)果或檢索結(jié)果的功能，與給定的內(nèi)容提供者管理的發(fā)送服務(wù)器2通過所述通信網(wǎng)連接。發(fā)送服務(wù)器2包含控制該發(fā)送服務(wù)器的各部的控制部2a和字典數(shù)據(jù)庫(kù)2b。
字典數(shù)據(jù)庫(kù)2b存儲(chǔ)由控制部2a執(zhí)行的翻譯處理中使用的翻譯字典和用于檢索單詞的意思的各種字典。在翻譯字典中登記有對(duì)于翻譯對(duì)象的文章或單詞(文本數(shù)據(jù))的翻譯結(jié)果、用基于給定語言的發(fā)音方法(例如讀法)進(jìn)行聲音合成的發(fā)音數(shù)據(jù)(以下，稱作“第一發(fā)音數(shù)據(jù)”)。此外，在各種字典中，把表示與成為檢索關(guān)鍵字的詞條信息對(duì)應(yīng)的意思信息(即檢索對(duì)象的詞條的意思)的文本、讀法的發(fā)音數(shù)據(jù)(以下稱作“第二發(fā)音數(shù)據(jù)”)、關(guān)聯(lián)的信息(圖象、聲音)關(guān)聯(lián)登記。
控制部2a按照來自移動(dòng)電話1的翻譯要求或檢索要求進(jìn)行給定的處理，當(dāng)是翻譯要求時(shí)，使用所述翻譯字典執(zhí)行從移動(dòng)電話1發(fā)送的翻譯對(duì)象的文本的翻譯處理，生成包含與翻譯結(jié)果相關(guān)的文本和與讀法相關(guān)的發(fā)音數(shù)據(jù)的翻譯結(jié)果信息，發(fā)回給移動(dòng)電話1。而當(dāng)是檢索要求時(shí)，把該檢索要求中包含的檢索對(duì)象的詞條作為檢索關(guān)鍵字，使用指定的字典執(zhí)行檢索處理，生成包含表示檢索結(jié)果的文本、讀法的發(fā)音數(shù)據(jù)、表示與詞條關(guān)聯(lián)的音的發(fā)音數(shù)據(jù)、表示關(guān)聯(lián)的圖象的圖像數(shù)據(jù)的檢索結(jié)果信息，發(fā)回給移動(dòng)電話1。
下面，詳細(xì)說明字典數(shù)據(jù)庫(kù)2b的結(jié)構(gòu)。
字典數(shù)據(jù)庫(kù)2b如上所述，存儲(chǔ)有翻譯字典和各種字典。例如，當(dāng)存儲(chǔ)在字典數(shù)據(jù)庫(kù)2b中的翻譯字典具有英日字典的功能時(shí)，作為與英文“It’svery fine，isn’t it？”對(duì)應(yīng)的譯文的文本，登記有“とてもいい天気ですね?！?天氣非常好)，作為讀法的發(fā)音數(shù)據(jù)，登記有“とつ’ても、S54’い/いて$ん_き/です_ね-2*-”這樣的文字和記號(hào)的混合數(shù)據(jù)。須指出的是，在翻譯字典中雖然也登記有后面描述的發(fā)音用序列數(shù)據(jù)，但是這里省略說明。這樣，與本實(shí)施例的聲音(即人的聲音)有關(guān)的發(fā)音數(shù)據(jù)中，包含了規(guī)定基于聲音合成的發(fā)音時(shí)的聲音的抑揚(yáng)的韻律記號(hào)。
如上所述，后面描述由文本記述的發(fā)音數(shù)據(jù)的記述規(guī)則(在本實(shí)施例中，稱作“HV-Script”。此外，在本實(shí)施例中，移動(dòng)電話1把從發(fā)送服務(wù)器2接收的基于HV-Script的發(fā)音數(shù)據(jù)變換為各音素的共振峰參數(shù)，并且根據(jù)附加的韻律記號(hào)，變更改共振峰參數(shù)，形成幀數(shù)據(jù)類，使用它執(zhí)行聲音合成。這時(shí)，能利用基于音素記述類型的數(shù)據(jù)和基于共振峰幀記述類型的數(shù)據(jù)。
如上所述，在翻譯字典中登記有與短文章或單詞對(duì)應(yīng)的譯文的文本和讀法的發(fā)音數(shù)據(jù)。當(dāng)翻譯比較長(zhǎng)的文章時(shí)，進(jìn)行基于眾所周知的手法的構(gòu)文分析等，在翻譯字典中包含用于進(jìn)行翻譯的各種數(shù)據(jù)。此外，在翻譯字典中登記有與構(gòu)成文章的分段或各單詞對(duì)應(yīng)的發(fā)音數(shù)據(jù)，通過構(gòu)成文章的分段或單詞依次置換為對(duì)應(yīng)的發(fā)音數(shù)據(jù)，生成與文章全體對(duì)應(yīng)的發(fā)音數(shù)據(jù)。在字典數(shù)據(jù)庫(kù)2b中登記有從使用文章或單詞的條件(與文章開頭、文中、疑問文等種類有關(guān)的條件)選出和決定的韻律記號(hào)的選出和決定規(guī)則，據(jù)此，能決定、追加所需的韻律記號(hào)，或者適當(dāng)變更該韻律記號(hào)。
在所述字典數(shù)據(jù)庫(kù)2b中也存儲(chǔ)有各種字典，各字典如圖2所示，集中多個(gè)把詞條信息(索引)、與該詞條信息對(duì)應(yīng)的意思信息作為一組的字典項(xiàng)目信息而構(gòu)成。意思信息由表示詞條信息的意思的數(shù)據(jù)(“數(shù)據(jù)1”)、表示詞條的發(fā)音方法的第一發(fā)音數(shù)據(jù)(“數(shù)據(jù)2”)、表示與詞條關(guān)聯(lián)的音的第二發(fā)音數(shù)據(jù)(“數(shù)據(jù)3”)、表示與詞條關(guān)聯(lián)的圖象的圖象數(shù)據(jù)(“數(shù)據(jù)4”)構(gòu)成。
例如，當(dāng)翻譯字典具有英日字典的功能時(shí)，如圖2所示，在索引欄目中登記有作為檢索關(guān)鍵字而指定的英語單詞。作為與各詞條的英語單詞對(duì)應(yīng)的數(shù)據(jù)1，登記有表示其意思信息的單詞的翻譯(例如當(dāng)詞條為“Duck”時(shí)，登記有“あひゐ”(鴨子)，作為數(shù)據(jù)2，登記翻譯的發(fā)音數(shù)據(jù)，作為數(shù)據(jù)3，登記與詞條的英語單詞關(guān)聯(lián)的音的發(fā)音數(shù)據(jù)(例如當(dāng)詞條為“Duck”時(shí)，登記與鴨子的鳴叫聲有關(guān)的發(fā)音數(shù)據(jù))，作為數(shù)據(jù)4，登記與詞條的英語單詞關(guān)聯(lián)的圖象數(shù)據(jù)(當(dāng)詞條為“Duck”時(shí)，例如鴨子的圖象數(shù)據(jù))。
須指出的是，在索引和數(shù)據(jù)1的欄目中登記有文本序列數(shù)據(jù)，它由事件數(shù)據(jù)(表示文本文字列、再現(xiàn)位置等)和持續(xù)時(shí)間數(shù)據(jù)構(gòu)成。后面描述它的細(xì)節(jié)。
在數(shù)據(jù)2的欄目中，當(dāng)只登記一個(gè)單詞時(shí)，只記述基于HV-Script的發(fā)音數(shù)據(jù)，而當(dāng)?shù)怯浺幌盗械亩鄠€(gè)單詞時(shí)，記述聲音序列數(shù)據(jù)。
聲音序列數(shù)據(jù)由多個(gè)聲音數(shù)據(jù)(由HV-Script表現(xiàn)的數(shù)據(jù))和發(fā)音用序列數(shù)據(jù)構(gòu)成，對(duì)各發(fā)音數(shù)據(jù)分配發(fā)音編號(hào)。發(fā)音用序列數(shù)據(jù)如圖3所示，由事件數(shù)據(jù)和表示事件間隔的持續(xù)時(shí)間數(shù)據(jù)構(gòu)成。該事件數(shù)據(jù)具有表示指示對(duì)應(yīng)的發(fā)音數(shù)據(jù)的發(fā)音編號(hào)的數(shù)據(jù)、表示基于該發(fā)音數(shù)據(jù)的發(fā)音期間的數(shù)據(jù)。通過再現(xiàn)發(fā)音用序列數(shù)據(jù)，在根據(jù)持續(xù)時(shí)間數(shù)據(jù)的時(shí)刻再現(xiàn)與各事件數(shù)據(jù)對(duì)應(yīng)的發(fā)音數(shù)據(jù)，所以一系列的多個(gè)單詞就被依次發(fā)音。
在數(shù)據(jù)3的欄目中記述有PCM(Pulse-Code Modulation)序列數(shù)據(jù)或FM(Frequency Modulation)序列數(shù)據(jù)，PCM序列數(shù)據(jù)，由相當(dāng)于發(fā)音數(shù)據(jù)的波形數(shù)據(jù)和PCM用序列數(shù)據(jù)構(gòu)成。波形數(shù)據(jù)由波形編號(hào)指定。PCM用序列數(shù)據(jù)如圖3所示，由事件數(shù)據(jù)(即表示波形編號(hào)、發(fā)音時(shí)間)和持續(xù)時(shí)間數(shù)據(jù)(表示事件間隔)構(gòu)成。此外，F(xiàn)M序列數(shù)據(jù)由依據(jù)MIDI(Musical Instrument Digital Interface)規(guī)格的發(fā)音數(shù)據(jù)即音色數(shù)據(jù)、FM用序列數(shù)據(jù)構(gòu)成。音色數(shù)據(jù)是表示FM合成算法的數(shù)據(jù)，由給定的音色編號(hào)指定。FM用序列數(shù)據(jù)如圖3所示，由事件數(shù)據(jù)(即表示音色編號(hào)、音程(例如定調(diào))、音長(zhǎng)等)和持續(xù)時(shí)間數(shù)據(jù)(表示事件間隔)構(gòu)成。
須指出的是，PCM序列數(shù)據(jù)的波形數(shù)據(jù)是錄音采取的聲音數(shù)據(jù)，而FM序列數(shù)據(jù)是用于控制FM音源，合成樂音的數(shù)據(jù)。因此，當(dāng)使用PCM序列數(shù)據(jù)時(shí)，樂音和聲音都能再現(xiàn)真正的音，但是數(shù)據(jù)量大，因此，存儲(chǔ)器的使用容量比FM序列數(shù)據(jù)大。而FM序列數(shù)據(jù)適合于真實(shí)再現(xiàn)樂器的音，并且有數(shù)據(jù)量小，存儲(chǔ)器的使用容量小的優(yōu)點(diǎn)。
在數(shù)據(jù)4的欄目中記述圖象序列數(shù)據(jù)。該圖象序列數(shù)據(jù)由給定形式(例如JPEG(Joint Photograph Experts Group)規(guī)格)的圖象數(shù)據(jù)和圖象顯示用的序列數(shù)據(jù)構(gòu)成。圖象數(shù)據(jù)由給定的圖象編號(hào)指定。圖象顯示用的序列數(shù)據(jù)如圖3所示，由事件數(shù)據(jù)(即表示圖象編號(hào)、顯示時(shí)間、顯示形態(tài)等)和持續(xù)時(shí)間數(shù)據(jù)(表示事件間隔)構(gòu)成。
此外，各字典如上所述，由多個(gè)字典項(xiàng)目構(gòu)成，但是除此之外，還可以對(duì)各字典項(xiàng)目付與給定的鏈接地址，以便從以各字典為鏈接目標(biāo)的其他帶鏈接的字典的文章能跳到該字典的給定的字典項(xiàng)目。
此外，當(dāng)向移動(dòng)電話1發(fā)回檢索結(jié)果信息時(shí)，在移動(dòng)電話1一側(cè)再現(xiàn)該檢索結(jié)果信息中包含的再現(xiàn)用數(shù)據(jù)，所以具有給定的數(shù)據(jù)交換格式。它是由本申請(qǐng)人把已經(jīng)公開的SMAF規(guī)格Ver.3.06，雅馬哈公司“平成14年10月18日檢索”，因特網(wǎng)<URLhttp//smaf.yamaha.co.jp>的格式擴(kuò)張為能對(duì)應(yīng)聲音(即人的聲音)的發(fā)音。
該SMAF(Synthetic Music Mobile Application Format)是用于在便攜式終端等中表現(xiàn)多媒體內(nèi)容的數(shù)據(jù)格式規(guī)格。
這里，參照?qǐng)D4說明SMAF。
在圖4中，符號(hào)100表示SMAF文件，稱作塊的數(shù)據(jù)塊成為基本構(gòu)造。塊由固定長(zhǎng)度(8字節(jié))的標(biāo)題部和任意長(zhǎng)度的主體部構(gòu)成，標(biāo)題部劃進(jìn)一步分為4字節(jié)的塊ID和4字節(jié)的塊尺寸。塊ID作為塊的標(biāo)識(shí)符使用，塊尺寸表示主體部的長(zhǎng)度。SMAF文件100自身和其中包含的各種數(shù)據(jù)都為塊構(gòu)造。
如圖4所示，SMAF文件100由記述管理用的信息的內(nèi)容信息塊(Contents Info Chunk)101、包含對(duì)于輸出設(shè)備的序列數(shù)據(jù)的一個(gè)以上的磁道塊102～108構(gòu)成。序列數(shù)據(jù)是按照時(shí)間定義和表現(xiàn)對(duì)于輸出設(shè)備的控制內(nèi)容的數(shù)據(jù)。一個(gè)SMAF文件100中包含的全部序列數(shù)據(jù)定義為在時(shí)刻0同時(shí)開始再現(xiàn)，結(jié)果，全部的序列數(shù)據(jù)同步再現(xiàn)。
序列數(shù)據(jù)由事件和持續(xù)時(shí)間的組合表現(xiàn)。事件是表示對(duì)于序列數(shù)據(jù)所對(duì)應(yīng)的輸出設(shè)備的控制內(nèi)容的數(shù)據(jù)，持續(xù)時(shí)間數(shù)據(jù)是表示事件和事件間的經(jīng)過時(shí)間的數(shù)據(jù)。事件的處理時(shí)間實(shí)際上不是0，但是在SMAF中，視為實(shí)質(zhì)為0，時(shí)間流全部由持續(xù)時(shí)間表示。通過累計(jì)從該序列數(shù)據(jù)的開頭的持續(xù)時(shí)間，能唯一決定執(zhí)行某事件的時(shí)刻。事件的處理時(shí)間不影響下一事件的處理開始時(shí)間是原則。因此，解釋為同時(shí)執(zhí)行夾著值為0的持續(xù)時(shí)間連續(xù)的事件。
在SMAF中，作為輸出設(shè)備，定義有用相當(dāng)于MIDI的控制數(shù)據(jù)進(jìn)行發(fā)音的FM音源設(shè)備、進(jìn)行PCM數(shù)據(jù)的再現(xiàn)的PCM音源設(shè)備、進(jìn)行文本或圖象的顯示的LCD(Liquid Crystal Display)等。
作為所述磁道塊，與定義的各輸出設(shè)備對(duì)應(yīng)，設(shè)置有樂譜磁道塊102～105、PCM音頻磁道塊106、圖形磁道塊107、主磁道塊108。這里，除了主磁道塊108，關(guān)于樂譜磁道塊102～105、PCM音頻磁道塊106、圖形磁道塊107，分別能記述最多256磁道。
在圖4的例子中，樂譜磁道塊102～105存儲(chǔ)用于在FM音源設(shè)備(音源111)中執(zhí)行再現(xiàn)處理的序列數(shù)據(jù)，PCM磁道塊106以事件形式存儲(chǔ)用PCM音源設(shè)備(PCM解碼器)發(fā)音的ADPCM(Adaptive Differential Pulse-Code Modulation)或MP3(MPEG Audio Layer3)、TwinVQ等波形數(shù)據(jù)，圖形磁道塊107存儲(chǔ)背景畫面或中斷靜止畫面等的圖象數(shù)據(jù)、文本數(shù)據(jù)、用于使顯示設(shè)備(LDC顯示器113)再它們的序列數(shù)據(jù)。此外，主磁道塊108存儲(chǔ)用于控制SMAM音序器自身的序列數(shù)據(jù)。
SMAM具有所述的格式，包含相當(dāng)于MIDI的數(shù)據(jù)(樂曲數(shù)據(jù))、PCM音頻數(shù)據(jù)、文本或圖象的顯示用數(shù)據(jù)等各種序列數(shù)據(jù)，能同步再現(xiàn)全部序列。可是，關(guān)于表現(xiàn)人的聲音，并未特別定義，所以在本實(shí)施例中，把以往的SMAF的功能擴(kuò)張如下。
即如圖5所示，擴(kuò)張SMAF文件100，還具有存儲(chǔ)使用給定的音源再現(xiàn)聲音(人的聲音)的聲音再現(xiàn)序列數(shù)據(jù)的HV(Human Voice)磁道塊h4。該聲音再現(xiàn)序列數(shù)據(jù)把指示基于表示共振峰參數(shù)的發(fā)音數(shù)據(jù)的聲音再現(xiàn)的聲音再現(xiàn)事件、指定從執(zhí)行該聲音再現(xiàn)事件的時(shí)刻之前的聲音再現(xiàn)事件開始的經(jīng)過時(shí)間的持續(xù)時(shí)間數(shù)據(jù)作為組，按時(shí)間順序配置它們。
根據(jù)所述擴(kuò)張，與使用以往的SMAF文件100的再現(xiàn)同樣，通過同時(shí)開始各序列數(shù)據(jù)的再現(xiàn)，能在相同的時(shí)間軸上同步再現(xiàn)各數(shù)據(jù)。
須指出的是，作為所述聲音再現(xiàn)事件，可以使用以下的3種再現(xiàn)指示信息中的任意一個(gè)。
(1)由表示合成的聲音的讀法的文字列和指定聲音表現(xiàn)(發(fā)音的抑揚(yáng))的韻律符號(hào)構(gòu)成的文本記述型的信息。
(2)由表示合成的聲音的音素信息和韻律控制信息構(gòu)成的音素記述型的信息。
(3)由表示再現(xiàn)的聲音的各幀時(shí)間的共振峰參數(shù)構(gòu)成的共振峰幀記述型的信息。
文本記述型(稱為“TSeq”)是通過文本記述應(yīng)該發(fā)音的聲音的格式，包含基于各語言的文字代碼的文字列和指示重音等聲音表現(xiàn)的記號(hào)(韻律記號(hào))。在移動(dòng)電話1一側(cè)的再現(xiàn)時(shí)，如圖6(a)所示，通過中間件處理，(通過第一轉(zhuǎn)換處理)把該TSeq型的序列數(shù)據(jù)變換為PSeq型，接著，(通過第二轉(zhuǎn)換處理)把PSeq型變換為FSeq型，輸出到聲音合成設(shè)備。
通過參照存儲(chǔ)了依存于語言的信息的文字列(例如日語的平假名和片假名等的文本)和韻律符號(hào)、表示與此對(duì)應(yīng)的不依存于語言的發(fā)音的信息(音素)和用于控制韻律的韻律控制信息的第一字典，執(zhí)行從TSeq型變換為PSeq型的第一轉(zhuǎn)換處理。而通過參照存儲(chǔ)了各音素和與此對(duì)應(yīng)的共振峰參數(shù)(用于生成各共振峰的共振峰頻率、帶寬、水平等參數(shù))的第二字典，執(zhí)行從PSeq型變換為FSeq型的第二轉(zhuǎn)換處理，根據(jù)韻律控制信息，變更變換結(jié)果的共振峰參數(shù)。
音素記述型(PSeq型)通過類似于由SMF(Standard MIDI FILE)定義的MIDI事件的形式記述關(guān)于應(yīng)該發(fā)音的聲音的信息，作為該聲音記述，以不基于語言依存的音素單位為基礎(chǔ)。如圖6(b)所示，在發(fā)送服務(wù)器2中，把從字典數(shù)據(jù)庫(kù)2b中存儲(chǔ)的字典檢索的TSeq型的發(fā)音數(shù)據(jù)通過第一轉(zhuǎn)換處理變換為PSeq型。當(dāng)用移動(dòng)電話1再現(xiàn)該P(yáng)Seq型的發(fā)音數(shù)據(jù)時(shí)，通過作為中間件處理而執(zhí)行的第二轉(zhuǎn)換處理把PSeq型變換為FSeq型，輸出到聲音合成設(shè)備。
共振峰幀記述型(FSeq型)是把共振峰參數(shù)表現(xiàn)為幀數(shù)據(jù)列的格式。如圖6(c)所示，在發(fā)送服務(wù)器2中，執(zhí)行TSeq型→第一轉(zhuǎn)換處理→PSeq型→第二轉(zhuǎn)換處理→FSeq型的一系列的變換處理。此外，對(duì)于采樣的波形數(shù)據(jù)，執(zhí)行與通常的聲音分析處理同樣的處理即第三轉(zhuǎn)換處理，能生成FSeq型的數(shù)據(jù)。在用移動(dòng)電話1的再現(xiàn)時(shí)，能原封不動(dòng)把提供的FSeq型的文件輸出到聲音合成設(shè)備，再現(xiàn)。
下面，參照?qǐng)D7，詳細(xì)說明HV磁道塊h4的內(nèi)容。
如圖7所示，在各HV磁道塊h4中記述著分別指定表示該塊中包含的聲音再現(xiàn)序列數(shù)據(jù)是上述上種格式中的哪種類型的格式類型(FormatType)、表示使用的語言種類的語言種類(Language Type)、以及時(shí)基(Timebase)的數(shù)據(jù)。
圖22表示格式類型的一例。
圖23表示語言類型的一例。這里，只表示日語(0x00；0x表示16進(jìn)制)和韓語(0x02)，但是關(guān)于中文或英語等其他語言，也能同樣定義。
時(shí)基決定該磁道塊中包含的序列數(shù)據(jù)塊內(nèi)的持續(xù)時(shí)間和控制時(shí)間的基準(zhǔn)時(shí)間。圖25表示時(shí)基的一例，這里，時(shí)間值(例如20msec)能適當(dāng)變更。
下面，詳細(xì)說明所述3種格式類型的數(shù)據(jù)。
(a)TSeq型(格式類型0x00)如上所述，該格式類型是使用基于文本的序列表現(xiàn)(TSeqTextSequence)的格式，包含序列數(shù)據(jù)塊h5和n個(gè)(n是1以上的整數(shù))TSeq數(shù)據(jù)塊(TSeq#00～TSeq#n)h6、h7、h8(參照?qǐng)D7)。通過序列數(shù)據(jù)中包含的聲音再現(xiàn)事件(音符基事件(note-on-event))，指示TSeq數(shù)據(jù)塊中包含的數(shù)據(jù)的再現(xiàn)。
(a-1)序列數(shù)據(jù)塊序列數(shù)據(jù)塊h5與SMAF中的序列數(shù)據(jù)塊同樣，包含按時(shí)間順序配置持續(xù)時(shí)間和事件的組合的序列數(shù)據(jù)。圖8A表示序列數(shù)據(jù)的結(jié)構(gòu)，這里，持續(xù)時(shí)間表示事件和事件之間的時(shí)間。開始的持續(xù)時(shí)間(Durationl)表示從時(shí)刻0開始經(jīng)過的時(shí)間。圖8B表示事件為音符信息時(shí)，持續(xù)時(shí)間和音符信息中包含的控制時(shí)間的關(guān)系，這里，控制時(shí)間表示該音符信息的發(fā)音時(shí)間。須指出的是，圖8A和圖8B所示的序列數(shù)據(jù)塊的構(gòu)造在PSeq和FSeq型的序列數(shù)據(jù)塊中也同樣。
作為由該序列數(shù)據(jù)塊支持的事件，存在以下三種事件。須指出的是，以下記述的初始值是沒有事件指定時(shí)的缺省值。
(a-1-1)音符信息“0x9n kk gt”這里，“n”表示頻道編號(hào)(0x0[固定])，“kk”表示TSeq數(shù)據(jù)編號(hào)(0x00～0x7F)，“gt”表示控制時(shí)間(1～3字節(jié))。
音符信息是解釋由頻道編號(hào)n指定的頻道中的由TSeq數(shù)據(jù)編號(hào)kk指定的TSeq數(shù)據(jù)塊，開始發(fā)音的信息。須指出的是，關(guān)于控制時(shí)間gt為“0”的音符信息，不進(jìn)行發(fā)音。
(a-1-2)音量“0xBn 0x07 vv”這里，“n”表示頻道編號(hào)(0x0[固定])，“vv”表示控制值(0x00～0x7F)。須指出的是，頻道音量的初始值為“0x64”。
此外，音量是指定給定頻道的音量的信息。
(a-1-3)假立體聲錄音法(panpot)“0xBn 0x0A vv”這里，“n”表示頻道編號(hào)(0x0[固定])，“vv”表示控制值(0x00～0x7F)。須指出的是，假立體聲錄音法的初始值為“0x40(中心)”。
此外，假立體聲錄音法信息是對(duì)于具有立體聲的音響系統(tǒng)的利用裝置指定給定頻道的立體聲音場(chǎng)位置的信息。
(a-2)TSeq數(shù)據(jù)塊(TSeq#00～TSeq#n)TSeq數(shù)據(jù)塊(h6、h7、h8)是作為聲音合成用的信息，包含關(guān)于語言或文字代碼的信息、發(fā)的音(抑揚(yáng)等)的設(shè)定、(基于聲音合成的)讀信息的說話(chat)用格式，由HV-Script記述。
(b)PSeq型(格式類型0x01)PSeq型是使用基于類似于MIDI事件的形式的音素的序列表現(xiàn)(PSeqPhoneme Sequence)的格式類型。該形式記述音素，所以不依存于語言。此外，音素能通過表示發(fā)音的文字信息表現(xiàn)，例如在多個(gè)語言間能使用公共的美國(guó)信息交換標(biāo)準(zhǔn)碼。
如圖7所是，PSeq型包含設(shè)置數(shù)據(jù)塊h9、字典數(shù)據(jù)塊h10、序列數(shù)據(jù)塊h11，指示由序列數(shù)據(jù)塊中的聲音再現(xiàn)事件(音符信息)指定的頻道的音素和韻律控制信息的再現(xiàn)。
(b-1)設(shè)置數(shù)據(jù)塊(Setup Data Chunk)(選項(xiàng))它是存儲(chǔ)音源部分的音色數(shù)據(jù)的塊，存儲(chǔ)獨(dú)占信息的并列。在本實(shí)施例中，作為獨(dú)占信息，存儲(chǔ)有HV音色參數(shù)登記信息。
HV音色參數(shù)登記信息例如為“0xF0 Size 0x43 0x79 0x07 0x7F 0x01PCdata…0xF7”的格式，這里，“PC”表示程序編號(hào)(0x02～0x0F)，“data”表示HV聲音參數(shù)。在該信息中，登記相應(yīng)的程序編號(hào)“PC”的HV音色參數(shù)。
圖25表示HV音色參數(shù)的一例。
如圖25所示，在HV音色參數(shù)中包含有定調(diào)移動(dòng)量、對(duì)于第一～第二(n是2以上的整數(shù))的共振峰的共振峰頻率移動(dòng)量、共振峰水平移動(dòng)量、操作者波形選擇信息。在利用裝置即移動(dòng)電話1中，存儲(chǔ)著記述各音素和與它對(duì)應(yīng)的共振峰參數(shù)(即共振峰頻率、帶寬、水平等)的預(yù)置字典(所述的“第二字典”)，HV音色參數(shù)規(guī)定對(duì)于存儲(chǔ)存儲(chǔ)在該預(yù)置字典中的參數(shù)的移動(dòng)量。據(jù)此，關(guān)于全部音素進(jìn)行同樣移動(dòng)，因此，能改變合成的聲音的質(zhì)量。
須指出的是，通過該HV音色參數(shù)，能登記與0x02～0x0F對(duì)應(yīng)的數(shù)(即程序編號(hào)的數(shù)值)的音色。
(b-2)字典數(shù)據(jù)塊(Dictionary Data Chunk)在該塊中存儲(chǔ)與語言種類對(duì)應(yīng)的字典數(shù)據(jù)，例如包含與所述預(yù)置字典比較的差分?jǐn)?shù)據(jù)或預(yù)置字典中未定義的音素?cái)?shù)據(jù)等的字典數(shù)據(jù)。據(jù)此，能合成音色不同的具有個(gè)性的聲音。
(b-3)序列數(shù)據(jù)塊(Sequence Data Chunk)與所述序列數(shù)據(jù)塊同樣，包含按時(shí)間順序配置持續(xù)時(shí)間和事件的組合的序列數(shù)據(jù)。
下面，列舉由該P(yáng)Seq型的序列數(shù)據(jù)塊h11支持的事件(或信息)。在讀入一側(cè)，忽視這些信息意外。此外，以下記載的所需設(shè)定值是沒有事件指定時(shí)的缺省值。
(b-3-1)音符信息“0x9n Nt Vel Gatetime Size data…”這里，“n”表示頻道編號(hào)(0x0[固定])，“Nt”音符編號(hào)(絕對(duì)值音符的指定0x00～0x7F、相對(duì)值音符的指定、0x80～0xFF)，“Vel”表示速度(0x00～0x7F)，“Gatetime”表示控制時(shí)間長(zhǎng)度(可變)，“Size”表示數(shù)據(jù)部的尺寸(可變長(zhǎng)度)。
通過該音符信息，開始指定頻道的聲音的發(fā)音。
須指出的是，音符編號(hào)的MSB(Most Significant Bit)是把解釋切換為“絕對(duì)值”和“相對(duì)值”的標(biāo)志。通過該MSB以外的7位，表示音符編號(hào)。須指出的是，聲音的發(fā)音只是非立體聲的，所以在控制時(shí)間重疊時(shí)，作為后到的優(yōu)先，進(jìn)行發(fā)音處理。
此外，數(shù)據(jù)部包含音素和與它對(duì)應(yīng)的韻律控制信息(定調(diào)傾向、音量)，成為圖26所示的數(shù)據(jù)構(gòu)造。
如圖26所示，數(shù)據(jù)部由音素的數(shù)(#1)例如用美國(guó)信息交換標(biāo)準(zhǔn)碼記述的各音素(音素1～音素n)(#2～#4)、韻律控制信息構(gòu)成。在韻律控制信息中具有定調(diào)傾向、音量。關(guān)于定調(diào)傾向，把該發(fā)音區(qū)間劃分為由音素定調(diào)傾向(#5)規(guī)定的N個(gè)區(qū)間，作為指定各區(qū)間中的定調(diào)傾向的定調(diào)傾向信息，記述音素定調(diào)傾向1(#6、#7)～音素定調(diào)傾向位置1和音素定調(diào)傾向N(#9、#10)。此外，關(guān)于音量，把發(fā)音區(qū)間劃分為由音素音量數(shù)(#11)規(guī)定的M個(gè)區(qū)間，作為指定各區(qū)間中的音量的音量信息，記述音素音量位置和音素音量的組(即音素音量位置1和音素音量1(#12、#13)～音素音量位置和音素音量M(#15、#16)。
圖9是用于說明韻律控制信息的圖。這里，表示發(fā)音的文字信息為“你好”(“ohayou”)時(shí)的例子。(ohayou)的發(fā)音區(qū)間劃分為129(＝N＝M)個(gè)區(qū)間，用所述的定調(diào)傾向信息和音量信息表現(xiàn)各區(qū)間的定調(diào)和音量，控制韻律。
圖10表示控制時(shí)間長(zhǎng)度(Gatetime)和延遲時(shí)間(Delay Time(#0))的關(guān)系。如圖10所示，能使實(shí)際的發(fā)音比由持續(xù)時(shí)間規(guī)定的時(shí)刻晚延遲時(shí)間。須指出的是，在本實(shí)施例中，Gatetime＝0為禁止。
(b-3-2)程序變化“0xCn pp”這里，“n”表示頻道編號(hào)(0x0(固定))，“pp”表示程序編號(hào)“0x00～0xFF”。此外，程序編號(hào)的初始值設(shè)定為0x00。
設(shè)定由該程序變化信息指定的頻道的音色。這里，作為頻道編號(hào)的設(shè)定值，有“0x00”(男性的預(yù)置音色)、“0x01”(女性的預(yù)置音色)、“0x02”～“0x0F”。
(b-3-3)控制變化本實(shí)施例使用以下的控制變化信息。
(b-3-3-1)頻道音量“0xBn 0x07 vv”這里，“n”表示頻道編號(hào)(0x0(固定))，“vv”表示控制值(0x00～0x7F)。此外，頻道音量的初始值設(shè)定為0x64。
該頻道音量信息指定給定頻道的音量，其目的在于設(shè)定頻道間的音量平衡。
(b-3-3-2)假立體聲錄音法(panpot)“0xBn 0x0A vv”這里，“n”表示頻道編號(hào)(0x0(固定))，“vv”表示控制值(0x00～0x7F)。假立體聲錄音法的初始值設(shè)定為0x40(中心)。
該信息對(duì)于具有立體聲的音響系統(tǒng)的利用裝置，指定給定頻道的立體聲音場(chǎng)位置。
(b-3-3-3)聲調(diào)“0xBn 0x0B vv”這里，“n”表示頻道編號(hào)(0x0(固定))，“vv”表示控制值(0x00～0x7F)。該聲調(diào)信息的初始值設(shè)定為0x7F(最大值)。
該信息指示在給定頻道中用頻道音量指定的音量變化。它是為了改變樂曲中的音量而使用的。
(b-3-3-4)定調(diào)傾向“0xEn ll mm”這里，“n”表示頻道編號(hào)(0x0(固定))，“l(fā)l”表示傾向值LSB(0x00～0x7F)，“mm”表示傾向值MSB(0x00～0x7F)。定調(diào)傾向的初始值為MSB(或高位字節(jié))設(shè)定為0x40，LSB(或低位字節(jié))設(shè)定為0x00。
該信息使給定頻道的定調(diào)上下(即頻率的高低方向)變化。變化幅度(即定調(diào)傾向范圍)的初始值為±2半音，所述傾向值的組合為0x00/0x00時(shí)，向下的定調(diào)傾向變?yōu)樽畲蟆?br> (b-3-3-5)定調(diào)傾向靈敏度“0x8n bb”這里，“n”表示頻道編號(hào)(0x0(固定))，“bb”表示數(shù)據(jù)值(0x00～0x18)。該定調(diào)傾向靈敏度的初始值設(shè)定為0x02。
該信息進(jìn)行給定頻道的定調(diào)傾向的靈敏度的設(shè)定，其單位為伴音。例如，當(dāng)bb＝01時(shí)，變?yōu)椤?半音(變化范圍合計(jì)2半音)。
這樣，PSeq型的格式類型把用表示發(fā)音的文字信息表現(xiàn)的音素單位作為基準(zhǔn)，用類似與MIDI事件的形式記述聲音信息，該數(shù)據(jù)尺寸比TSeq型大，但是比FSeq型小。
據(jù)此，與MIDI規(guī)格同樣，能在時(shí)間軸上細(xì)致控制定調(diào)和音量，此外，用音素基準(zhǔn)描述，所以沒有語言依存性，能細(xì)致編輯音色(音質(zhì))。即在本實(shí)施例中，能進(jìn)行類似于MIDI規(guī)格的聲音控制，所以對(duì)于以往的MIDI儀器，具有容易追加安裝的優(yōu)點(diǎn)。
(c)共振峰幀記述(FSeq)型(格式類型0x02)它是把共振峰參數(shù)(即用于生成各共振峰的共振峰頻率、增益等參數(shù))表現(xiàn)為幀數(shù)據(jù)列的格式。即在一定時(shí)間(幀)中發(fā)音的聲音的共振峰一定，使用更新與各幀中發(fā)的聲音對(duì)應(yīng)的共振峰參數(shù)(共振峰頻率或增益)的序列表現(xiàn)(FSeqFormant Sequence)。據(jù)此，指示由序列數(shù)據(jù)中包含的音符信息指定的FSeq數(shù)據(jù)塊的數(shù)據(jù)再現(xiàn)。
該格式類型包含序列數(shù)據(jù)塊h12和n個(gè)(n為1以上的整數(shù))的FSeq數(shù)據(jù)塊(FSeq#00～FSeq#nh13、h14、h15)。
(c-1)序列數(shù)據(jù)塊FSeq數(shù)據(jù)塊由FSeq幀數(shù)據(jù)列構(gòu)成。即是把聲音數(shù)據(jù)分割為具有給定時(shí)間長(zhǎng)度(例如20msec)的各幀，把分析各幀期間內(nèi)的聲音數(shù)據(jù)而取得的共振峰參數(shù)(共振峰頻率或增益)表現(xiàn)為表示各幀的聲音數(shù)據(jù)的幀數(shù)據(jù)列的格式。
圖27表示FSeq型的幀數(shù)據(jù)列的一例。
在圖27中，#0～#3表示指定聲音合成中使用的多個(gè)(在本實(shí)施例中n個(gè))共振峰波形的種類(即正弦波、矩形波)的數(shù)據(jù)。#4～#11表示通過共振峰水平(振幅)(#4～#7)和中心頻率(#8～#11)的組合規(guī)定n個(gè)共振峰的參數(shù)。即#4和#8表示規(guī)定第一共振峰波形(#0)的參數(shù)，#5和#9表示規(guī)定第二共振峰波形(#1)的參數(shù)。以下同樣，#7和#11表示規(guī)定第n共振峰波形(#3)的參數(shù)。此外，#12是表示無聲/有聲的切換的標(biāo)志。
圖11表示各共振峰波形的水平和中心頻率。在本實(shí)施例中，使用第一～第n共振峰的n個(gè)共振峰數(shù)據(jù)。關(guān)于各鎮(zhèn)的第一～第n共振峰的參數(shù)和關(guān)于定調(diào)頻率的參數(shù)提供給移動(dòng)電話1具有的聲音合成設(shè)備，如上所述，生成輸出關(guān)于各幀的聲音合成輸出。
圖12表示FSeq數(shù)據(jù)塊的主體部的數(shù)據(jù)。在圖27所示的FSeq型的幀數(shù)據(jù)列內(nèi)，#0～#3是指定各共振峰波形的種類的數(shù)據(jù)，因此，沒必要對(duì)各幀指定。此外，如圖12所示，關(guān)于最初的幀，設(shè)定圖27所示的全部數(shù)據(jù)，關(guān)于后續(xù)的幀，只設(shè)定圖27的#4以后的數(shù)據(jù)。通過使FSeq數(shù)據(jù)塊如圖12所示，能減少總數(shù)據(jù)數(shù)。
這樣，F(xiàn)Seq型是把共振峰參數(shù)(共振峰頻率或增益)表現(xiàn)為幀數(shù)據(jù)列的格式，所以通過原封不動(dòng)把FSeq型的文件輸出到聲音合成設(shè)備，能再現(xiàn)聲音。因此，在處理一側(cè)，沒必要象TSeq型或PSeq型那樣進(jìn)行變換處理，CPU(中央處理單元)每隔給定時(shí)間進(jìn)行幀的更新處理。須指出的是，對(duì)于已經(jīng)存儲(chǔ)的發(fā)音數(shù)據(jù)，通過考慮一定的格式，能變更它的音色(音質(zhì))。
把按如上生成的任意類型的文件發(fā)送給移動(dòng)電話1。據(jù)此，在具有在由序列數(shù)據(jù)中包含的持續(xù)時(shí)間規(guī)定的時(shí)刻對(duì)聲音合成設(shè)備供給控制參數(shù)的發(fā)音用音序器、根據(jù)由在發(fā)音用音序器供給的控制數(shù)據(jù)再現(xiàn)輸出聲音的聲音合成設(shè)備的利用裝置即移動(dòng)電話1中，與其它信息(意思信息、關(guān)聯(lián)的聲音或圖象等信息)一起，同步再現(xiàn)聲音。
下面，如上所述，使用基于HV-Script的文本記述型的聲音再現(xiàn)序列數(shù)據(jù)，說明本實(shí)施例。
首先，詳細(xì)說明基于HV-Script的發(fā)音數(shù)據(jù)(可是除了發(fā)音用序列數(shù)據(jù))。
例如，基于HV-Script的發(fā)音數(shù)據(jù)的一例“か_3さがほ^し_い’4ね-$2”是在“かさがほしいね-”(需要雨傘)的文章中附加給定的聲調(diào)，用于進(jìn)行聲音合成的基于HV-Script的記述。本例子中記述的記號(hào)“’”、“^”、“_”、“$”等是表示對(duì)文字(假名)附加的聲調(diào)的種類的韻律記號(hào)，對(duì)于該韻律記號(hào)的后續(xù)文字(當(dāng)在后續(xù)文字后面存在數(shù)值時(shí)，接著該數(shù)值的文字)，附加給定的重音。
圖13A表示基于HV-Script的各記號(hào)(代表例)的意思。
即記號(hào)意味著進(jìn)行聲音合成，使“’”表示在詞頭把定調(diào)上揚(yáng)(參照?qǐng)D13B的①)，記號(hào)“^”表示把發(fā)音中的定調(diào)上揚(yáng)(參照?qǐng)D13C的③)，記號(hào)“_”表示在詞頭把定調(diào)下(降參照?qǐng)D13B的②)，記號(hào)“$”表示把把發(fā)音中的定調(diào)下降(參照?qǐng)D13C的④)。
當(dāng)在記號(hào)的后面附加數(shù)值時(shí)，數(shù)值指定附加的重音的變化量。例如在“か_3さが”的詞匯中，最初的文字“か”以標(biāo)準(zhǔn)的定調(diào)發(fā)音，在接著的“さ”的詞頭把定調(diào)下降3的量，在接著的“が”，用該下降的定調(diào)發(fā)音。
這樣，在HV-Script中，當(dāng)對(duì)發(fā)音的詞中包含的文字附加重音(聲調(diào))時(shí)，成為在文字之前附加韻律記號(hào)(表示聲調(diào)的變化量的數(shù)值)，記述的結(jié)構(gòu)。須指出的是，所述說明只記載了控制定調(diào)的記號(hào)，但是此外，也能使用控制聲音的強(qiáng)弱、速度、音質(zhì)的記號(hào)。
例如，與所述“It’s very fine，isn’t it？”對(duì)應(yīng)的譯文“とてもいいてんきですね。”(天氣非常好)，對(duì)應(yīng)的發(fā)音數(shù)據(jù)“とつ’ても、S54’い/いて$ん_き/です_ね-2*-”中包含的記號(hào)“S54”的“S”是使速度變化的控制文字之一，從該控制文字以后進(jìn)行改變說話速度的工作。接著該控制文字“S”的“54”是表示速度的數(shù)值，初始值為50，所以指示把速度比初始值提高4的量。如果根據(jù)該控制文字S，一旦改變說話速度，則維持相同的速度直到速度變更。
此外，“/”是聲調(diào)變化清除記號(hào)(即用于使變化的聲調(diào)恢復(fù)的記號(hào))之一，使由韻律記號(hào)改變的定調(diào)回0。須指出的是，控制由韻律記號(hào)改變的定調(diào)或音量，使該定調(diào)或音量持續(xù)到“、”或“?！钡缺硎径温鋭澐值挠浱?hào)(以下稱作段落劃分記號(hào))產(chǎn)生。此外，“*”是指示在下一文字的后半把定調(diào)和音量下降的記號(hào)，“-”是指示把之前的音節(jié)延伸發(fā)音的記號(hào)。
此外，詞匯“ね-2*-”中的“2”與之前的長(zhǎng)音符號(hào)“-”有關(guān)，指示該長(zhǎng)音為2倍。即“ね-2*-”把“ね”的發(fā)音期間延伸為合計(jì)3的量，通過“*”，指示最后把定調(diào)和音量下降(1的量)。此外，關(guān)于記號(hào)“’”、“$”，如上所述。
如上所述，表示共振峰參數(shù)的數(shù)據(jù)之一的基于HV-Script的發(fā)音數(shù)據(jù)能以較少的信息量更自然地發(fā)出聲音，所以適合于念出翻譯結(jié)果那樣的用途。須指出的是，這里說明的HV-Script適合于日語的聲音合成，關(guān)于其他語言的聲音合成，可以利用所述的PSeq型或FSeq型。
下面，詳細(xì)說明所述的共振峰和共振峰參數(shù)。
共振峰為圖14所示的形態(tài)，由共振峰頻率、共振峰水平、共振峰帶寬等各種參數(shù)(即共振峰參數(shù))決定。因此，人的聲音中包含的共振峰的數(shù)、各共振峰的頻率、振幅、帶寬等是決定聲音的性質(zhì)的重要要素，根據(jù)發(fā)出聲音的人的性格、體格、年齡等，大大不同。
可是，無論是誰說話，詞匯“あ”就發(fā)“あ”的音，詞匯“い”就發(fā)“い”的音，所以，如果是相同的詞匯，聽起來就相同。即這是因?yàn)閷?duì)于用人的聲音發(fā)音的詞匯的各種類，決定特征的共振峰的組合。如果根據(jù)種類把共振峰分類，則能分類為用于合成有聲音的具有定調(diào)信息的有聲共振峰、用于合成無聲音的不具有定調(diào)信息的無聲共振峰。
這里，有聲音表示在發(fā)聲時(shí)聲帶振動(dòng)的聲，例如元音和半元音，包含日語的“バ行”、“ガ行”、“マ行”、“ラ行”等中使用的有聲輔音。此外，無聲音表示在發(fā)聲時(shí)聲帶不振動(dòng)的聲，例如包含日語的“ハ行”、“カ行”、“サ行”中使用的輔音。一個(gè)音素如圖11所示，由多個(gè)共振峰構(gòu)成。
因此，在移動(dòng)電話1中預(yù)先登記某特定人的聲音的各詞匯的共振峰，根據(jù)文本記述型的基于HV-Script的韻律記號(hào)，把對(duì)于各共振峰形成所述共振峰參數(shù)(即共振峰頻率、共振峰水平、共振峰帶寬)和共振峰的基本波形進(jìn)行聲音合成，或者根據(jù)所述音素記述型的韻律控制信息變更，進(jìn)行聲音合成，能發(fā)出具有各種聲調(diào)的聲音。
須指出的是，在所述發(fā)送服務(wù)器2中，當(dāng)由存儲(chǔ)器和CPU(中央處理單元)構(gòu)成的控制部2a執(zhí)行翻譯處理時(shí)，通過把由用于翻譯對(duì)象的文本的翻譯和翻譯結(jié)果信息的回信的處理步驟構(gòu)成的程序加載到存儲(chǔ)器中執(zhí)行，實(shí)現(xiàn)該功能。此外，當(dāng)執(zhí)行字典檢索時(shí)，通過把由用于以提供的詞條作為檢索關(guān)鍵字的相應(yīng)字典的檢索和檢索結(jié)果信息的回信的處理步驟構(gòu)成的程序加載到存儲(chǔ)器中執(zhí)行，實(shí)現(xiàn)該功能。
此外，在發(fā)送服務(wù)器2上，作為外圍設(shè)備，連接輸入裝置、顯示裝置(都未圖示)。這里，輸入裝置意味著鍵盤、鼠標(biāo)等輸入設(shè)備，顯示裝置意味著CRT(Cathode Ray Tube)或液晶顯示裝置。
此外，字典數(shù)據(jù)庫(kù)2b由硬盤、光盤等非易失性的存儲(chǔ)裝置構(gòu)成，可以在發(fā)送服務(wù)器2的內(nèi)部設(shè)置它，或者在能從發(fā)送服務(wù)器2訪問的外部或其他服務(wù)器內(nèi)設(shè)置。
下面，說明本實(shí)施例的移動(dòng)電話1的結(jié)構(gòu)和動(dòng)作。
須指出的是，本發(fā)明并不局限于移動(dòng)電話(Cellar Phone)，也能應(yīng)用于PHS(注冊(cè)商標(biāo))(Personal Handyphone System)或能進(jìn)行無線通信的便攜式信息終端(PDAPersonal Digital Assistant)等。
在圖15中，符號(hào)11表示CPU(中央處理單元)，通過執(zhí)行各種程序，控制移動(dòng)電話1的各部的動(dòng)作。
符號(hào)12表示通信部，進(jìn)行用該通信部12中具備的天線12a接收的信號(hào)的解調(diào)，并且把發(fā)送的信號(hào)調(diào)制，提供給天線12a。
所述CPU11根據(jù)給定的協(xié)議把由通信部12解調(diào)的來自發(fā)送服務(wù)器2的信號(hào)譯碼，對(duì)于基于HV-Script的文本記述型的聲音再現(xiàn)序列數(shù)據(jù)，執(zhí)行所述的第一轉(zhuǎn)換處理和第二轉(zhuǎn)換處理，生成由共振峰參數(shù)構(gòu)成的幀數(shù)據(jù)列。此外，通信部12按照接收的文件中的數(shù)據(jù)為顯示用數(shù)據(jù)還是發(fā)音用數(shù)據(jù)，把該信號(hào)提供給顯示用音序器21a或發(fā)音用音序器16a。
符號(hào)13表示聲音處理部。即由通信部12解調(diào)的經(jīng)由電話線的聲音信號(hào)在聲音處理部13譯碼，據(jù)此，由揚(yáng)聲器14發(fā)出對(duì)應(yīng)的聲音。而把由麥克風(fēng)采集的聲音信號(hào)數(shù)字化，在聲音處理部13中壓縮編碼。然后，由通信部12調(diào)制，從天線12a向移動(dòng)電話網(wǎng)的基站(未圖示)發(fā)送。聲音處理部13例如通過CELP(Code Excited Linear Predictive Coding)方式或ADPCM(Adaptive Differential Pulse-Code Modulation)方式，高效率把聲音數(shù)據(jù)壓縮編碼/譯碼。
符號(hào)16a表示發(fā)音用音序器，接收指示在給定的時(shí)刻使音響系統(tǒng)發(fā)出給定的聲音或樂音的發(fā)音控制用序列數(shù)據(jù)，據(jù)此，控制帶聲音合成功能的音源16b。
符號(hào)16b表示帶聲音合成功能的音源，由未圖示的聲音合成部件和FM音源設(shè)備和/或PCM音源設(shè)備過程。該帶聲音合成功能的音源16b除了執(zhí)行后面描述的聲音合成處理，還把作為收信音而選擇的樂曲數(shù)據(jù)再現(xiàn)，從揚(yáng)聲器17播出。須指出的是，后面描述該聲音合成部件的結(jié)構(gòu)的細(xì)節(jié)。此外，F(xiàn)M音源設(shè)備可以是WT(Wave Table)音源、高頻合成音源、矩形波音源，PCM音源可以是MP3解碼器。
符號(hào)18表示操作部，它是檢測(cè)來自設(shè)置在移動(dòng)電話1的主體(housing)中的包含英文數(shù)字的各種按鈕(未圖示)或其他輸入設(shè)備的輸入的輸入部件。
符號(hào)19表示RAM(Random-Access Memory)，這里，設(shè)定有所述CPU11的工作區(qū)、下載的樂曲數(shù)據(jù)或伴奏數(shù)據(jù)(它們?cè)谑招乓粽{(diào)的再現(xiàn)等中使用)的存儲(chǔ)區(qū)、存儲(chǔ)接收的電子郵件的數(shù)據(jù)的郵件數(shù)據(jù)存儲(chǔ)區(qū)、存儲(chǔ)由發(fā)送服務(wù)器2接收的翻譯結(jié)果信息或檢索結(jié)果信息的區(qū)域。
符號(hào)20表示ROM(Read-Only Memory)，在這里存儲(chǔ)CPU11執(zhí)行的發(fā)送和接收等控制的各種電話功能程序和輔助樂曲再現(xiàn)處理的程序、控制電子郵件的收發(fā)的郵件收發(fā)功能程序、輔助聲音合成處理的程序，并且存儲(chǔ)所述第一字典、第二字典的內(nèi)容和樂曲數(shù)據(jù)等各種數(shù)據(jù)。
符號(hào)21a表示顯示用音序器，接收指示在給定時(shí)刻使顯示部21b顯示給定的圖象或文本的顯示控制用序列數(shù)據(jù)，控制顯示部21b。
顯示部21b由液晶顯示器(LCDLiquid Crystal Display)構(gòu)成，在CPU11和顯示用音序器21a的控制下，進(jìn)行所需文本或圖象的顯示、與操作部18的操作相應(yīng)的顯示。
符號(hào)22表示在收信時(shí)，代替收信音，通過使移動(dòng)電話1的主體振動(dòng)，對(duì)用戶通知收信的振動(dòng)器。
須指出的是，所述功能塊通過總線30相互連接，據(jù)此，進(jìn)行數(shù)據(jù)或命令的收發(fā)。
下面，詳細(xì)說明帶聲音合成功能的音源16b中包含的聲音合成部件的結(jié)構(gòu)。
圖16表示聲音合成部件的概略結(jié)構(gòu)。
圖16所示的聲音合成部件具有多個(gè)共振峰生成部40a～40m和一個(gè)定調(diào)生成部50。共振峰生成部40a～40m根據(jù)從發(fā)音用音序器16a輸出的共振峰參數(shù)(用于生成各共振峰的共振峰頻率、共振峰水平等)和定調(diào)信息，生成共振峰信號(hào)。這些共振峰信號(hào)在混合部60中合成，據(jù)此，生成給定的音素。須指出的是，各共振峰生成部40a～40m產(chǎn)生成為用于生成共振峰信號(hào)的基礎(chǔ)的基本波形，但是關(guān)于該基本波形的發(fā)生，例如能利用眾所周知的FM音源的波形發(fā)生器。此外，定調(diào)生成部50具有通過給定的演算生成定調(diào)(音程)的功能，只當(dāng)發(fā)音的音素為有聲音時(shí)，對(duì)生成的音素附加演算的定調(diào)。
下面，參照?qǐng)D17說明所述共振峰生成部40a～40m的結(jié)構(gòu)。
如圖17所示，各共振峰生成部40a～40m由波形發(fā)生器41、噪聲發(fā)生器42、加法器43、放大器44構(gòu)成。
波形發(fā)生器41根據(jù)為各音素的共振峰指定的共振峰頻率、共振峰基本波形(正弦波、三角波)和波形的相位，發(fā)聲構(gòu)成一個(gè)音素的一個(gè)共振峰。噪聲發(fā)生器42按照波形發(fā)生器41中發(fā)聲的共振峰為有聲音還是無聲音工作，當(dāng)為無聲音時(shí)，產(chǎn)生噪聲，提供給加法公共電極43。
加法器43對(duì)于在波形發(fā)生器中生成的共振峰，加上從噪聲發(fā)生器42供給的噪聲。該加法器43的輸出由放大器44方達(dá)到給定的共振峰水平，輸出。
各共振峰生成部40a～40m關(guān)于構(gòu)成音素的一個(gè)共振峰。須指出的是，關(guān)于一個(gè)音素，合成形成多個(gè)共振峰。因此，為了生成一個(gè)音素，生成構(gòu)成音素的多個(gè)共振峰，有必要合成它們。因此，如圖16所示，設(shè)置多個(gè)共振峰生成部40a～40m。
下面，詳細(xì)說明按上述構(gòu)成的本實(shí)施例的移動(dòng)電話1和翻譯服務(wù)器2的動(dòng)作。須指出的是，這里，關(guān)于基于通常的電話功能的發(fā)信和收信時(shí)的動(dòng)作等眾所周知的動(dòng)作，省略說明。
首先，參照?qǐng)D18和圖19所示的程序流程圖，說明進(jìn)行反一時(shí)的移動(dòng)電話1和翻譯服務(wù)器2的動(dòng)作。
移動(dòng)電話1的用戶輸入想翻譯的文本(例如英文“It’s very fine，isn’tit？”)，并且，指定翻譯語言(這里，把英語反譯成日語)，發(fā)送包含這些信息的翻譯要求(步驟S101)。
發(fā)送服務(wù)器2在接收來自移動(dòng)電話1的翻譯要求之前，反復(fù)執(zhí)行步驟S201的判定步驟，處于待機(jī)狀態(tài)，但是如果從移動(dòng)電話1接收到翻譯要求，就使用字典數(shù)據(jù)庫(kù)2b的翻譯字典翻譯該翻譯要求中包含的翻譯對(duì)象的文本(步驟S202)。
這時(shí)，移動(dòng)電話1在收到翻譯結(jié)果數(shù)據(jù)之前，重復(fù)執(zhí)行步驟S101的判定步驟，變?yōu)榇龣C(jī)狀態(tài)。
發(fā)送服務(wù)器2使用字典數(shù)據(jù)庫(kù)2b的翻譯字典，把翻譯的文本變換為基于HV-Script的發(fā)音數(shù)據(jù)(步驟S203)。這里，變換為與翻譯后的文書、段落或單詞單位對(duì)應(yīng)基于HV-Script的發(fā)音數(shù)據(jù)。
然后，生成具有包含翻譯結(jié)果的文本和發(fā)音數(shù)據(jù)的所述數(shù)據(jù)變換格式的翻譯結(jié)果信息，把該翻譯結(jié)果信息發(fā)回給移動(dòng)電話1(步驟S204)。
移動(dòng)電話1如果從發(fā)送服務(wù)器2收到翻譯結(jié)果信息，步驟S120的判定結(jié)果就變?yōu)椤癥ES”，流程轉(zhuǎn)移到步驟S103，把接收數(shù)據(jù)存儲(chǔ)到RAM19中。
然后，在移動(dòng)電話1的用戶進(jìn)行給定鍵的操作之前，重復(fù)步驟S104的判定，變?yōu)榇龣C(jī)狀態(tài)。
當(dāng)移動(dòng)電話1的用戶操作給定鍵，再現(xiàn)翻譯結(jié)果時(shí)，步驟S104的判定結(jié)果變?yōu)椤癥ES”，流程轉(zhuǎn)移到步驟S105。
CPU11在步驟S105中，從RAM19讀出從發(fā)送服務(wù)器2接收的翻譯結(jié)果信息，把翻譯結(jié)果信息中包含的文本數(shù)據(jù)內(nèi)容在顯示部21b顯示，并且在帶聲音合成功能的音源16b把發(fā)音數(shù)據(jù)進(jìn)行聲音合成。在所述翻譯結(jié)果信息的再現(xiàn)結(jié)束前(即步驟S106的判定結(jié)果變?yōu)椤癥ES”之前)，執(zhí)行翻譯結(jié)果的文本顯示和基于發(fā)音數(shù)據(jù)的發(fā)音。
這樣，在移動(dòng)電話1和發(fā)送服務(wù)器2之間進(jìn)行翻譯作業(yè)。
下面，說參照?qǐng)D20和圖21所示的程序流程圖，說明利用發(fā)送服務(wù)器 2的字典檢索功能時(shí)的移動(dòng)電話1和發(fā)送服務(wù)器2的動(dòng)作。
首先，移動(dòng)電話1的用戶輸入想檢索的文本(例如，英語單詞的“Duck”)，指定使用的字典種類(這里，為英日字典)，發(fā)送包含這些信息的檢索要求(步驟S111)。
發(fā)送服務(wù)器2在收到來自移動(dòng)電話1的檢索要求之前，重復(fù)步驟S211的判定，處于待機(jī)狀態(tài)，如果從移動(dòng)電話1收到所述檢索要求，就把該檢索要求中包含的詞條作為檢索關(guān)鍵字，使用字典數(shù)據(jù)庫(kù)2b的英日字典，關(guān)于指定的詞條執(zhí)行檢索(步驟S212)。
這時(shí)，移動(dòng)電話1在收到檢索結(jié)果數(shù)據(jù)(即檢索結(jié)果信息)之前，重復(fù)步驟S112的判定，處于待機(jī)狀態(tài)。
發(fā)送服務(wù)器2如果檢索處理結(jié)束，就把包含表示該檢索結(jié)果的意思信息的文本(例如“Duck”的翻譯“あひゐ”)、讀法的發(fā)音數(shù)據(jù)、作為與詞條(“Duck”)關(guān)聯(lián)的聲音的鴨子叫聲的聲音數(shù)據(jù)、作為關(guān)聯(lián)信息的鴨子的圖象數(shù)據(jù)具有所述數(shù)據(jù)變換格式的檢索結(jié)果信息發(fā)送給移動(dòng)電話1(步驟S213)。
移動(dòng)電話1如果從發(fā)送服務(wù)器2接收到所述檢索結(jié)果信息，則步驟S112的判定結(jié)果變?yōu)椤癥ES”，流程轉(zhuǎn)移到步驟S113，把該數(shù)據(jù)存儲(chǔ)到RAM中。
然后，在移動(dòng)電話1的用戶操作給定鍵之前，重復(fù)步驟S114的判定，處于待機(jī)狀態(tài)。
如果移動(dòng)電話1的用戶操作給定鍵，則步驟S114的判定結(jié)果變?yōu)椤癥ES”，流程轉(zhuǎn)移到步驟S115。
CPU11在步驟S115中，從RAM19讀入從發(fā)送服務(wù)器2接收的內(nèi)由用戶指定的信息，執(zhí)行它的再現(xiàn)。把包含在檢索結(jié)果信息中，由用戶指定的序列數(shù)據(jù)提供給對(duì)應(yīng)的線使用音序器21a、發(fā)音用音序器16a，適當(dāng)控制它們，進(jìn)行所需的顯示、聲音輸出。例如，當(dāng)移動(dòng)電話1的用戶使用英日字典檢索英語單詞“Duck”時(shí)，如果用戶指定檢索結(jié)果的文本顯示，則文本的“あひゐ”(鴨子)在顯示部21b上顯示，此外如果指定發(fā)音，就在帶聲音合成功能的音源16b中執(zhí)行聲音合成，進(jìn)行發(fā)音。此外，如果用戶指定關(guān)聯(lián)的聲音的再現(xiàn)，就用帶聲音合成功能的音源16b再現(xiàn)作為關(guān)聯(lián)聲音的鴨子叫聲，如果指示關(guān)聯(lián)的圖象的再現(xiàn)，就在顯示部21b顯示作為關(guān)聯(lián)圖象的鴨子圖象。此外，當(dāng)由移動(dòng)電話1的用戶指示所述數(shù)據(jù)的同時(shí)再現(xiàn)時(shí)，通過發(fā)音用音序器和顯示用音序器21a的控制，同步再現(xiàn)各數(shù)據(jù)(即文本、第一和第二發(fā)音數(shù)據(jù)、圖象數(shù)據(jù))。
在指定的檢索結(jié)果信息的再現(xiàn)結(jié)束之前，重復(fù)所述步驟S115和S116的處理。
須指出的是，所述說明中使用的流程和步驟是一個(gè)例子，因此，本發(fā)明并不局限于所述處理流。
以上參照

了本發(fā)明的實(shí)施例，但是本發(fā)明的具體結(jié)構(gòu)并不局限于本實(shí)施例，因此，也包含不脫離本發(fā)明的宗旨的范圍內(nèi)的結(jié)構(gòu)。例如，在移動(dòng)電話1中存儲(chǔ)發(fā)送服務(wù)器2的字典數(shù)據(jù)庫(kù)2b的內(nèi)容，在移動(dòng)電話1內(nèi)設(shè)置翻譯功能和字典檢索功能。這時(shí)，移動(dòng)電話1在進(jìn)行翻譯或字典檢索時(shí)，沒必要進(jìn)行與發(fā)送服務(wù)器2的通信。
如上所述，在本發(fā)明中存在各種效果和技術(shù)上的特征，下面簡(jiǎn)單記述。
(1)在本發(fā)明中，能通過便攜式終端裝置用聲音再現(xiàn)翻譯結(jié)果，所以用戶能通過聽覺識(shí)別和把握翻譯結(jié)果。此外，從翻譯部件(例如，外部的發(fā)送服務(wù)器)發(fā)回的發(fā)音數(shù)據(jù)表示共振峰參數(shù)，這時(shí)，本發(fā)明不以往技術(shù)那樣的聲音信號(hào)的回信形式，所以在來自外部裝置的發(fā)音數(shù)據(jù)的接收中，不需要大的傳輸容量。
(2)在本發(fā)明中，能在便攜式終端裝置中具備的顯示部件中顯示代表翻譯結(jié)果的文本，所以用戶通過視覺也能識(shí)別翻譯結(jié)果。
(3)在本發(fā)明中，把詞條信息作為檢索關(guān)鍵字檢索的意思信息作為聲音發(fā)音，用戶通過聽覺能識(shí)別該意思信息。此外，從字典數(shù)據(jù)庫(kù)發(fā)回的檢索結(jié)果信息表示共振峰參數(shù)，當(dāng)從便攜式終端裝置的外部裝置接收檢索結(jié)果信息時(shí)，需要的傳輸容量小。
(4)在本發(fā)明中，不僅能看到檢索結(jié)果的意思信息，還能看到關(guān)聯(lián)的圖象。通過發(fā)音部件，不僅是表示意思信息的文本的聲音，還能發(fā)出與詞條關(guān)聯(lián)的聲音，所以用戶不僅能取得檢索關(guān)鍵字的詞條的意思，而且能取得關(guān)聯(lián)的豐富的信息。
權(quán)利要求
1.一種便攜式終端裝置，包括把用給定的語言輸入的文本數(shù)據(jù)通過通信線路向給定的服務(wù)器(2)發(fā)送的發(fā)送部件(12)；從所述服務(wù)器通過通信線路接收包含表示把輸入的文本數(shù)據(jù)翻譯為其他語言的翻譯結(jié)果的文字列和用于控制其讀法的抑揚(yáng)的數(shù)據(jù)的翻譯結(jié)果信息的接收部件(12)；和根據(jù)所述翻譯結(jié)果信息中包含的數(shù)據(jù)具有抑揚(yáng)地發(fā)出與所述文字列對(duì)應(yīng)的聲音的發(fā)音部件(16a、16b)。
2.根據(jù)權(quán)利要求1所述的便攜式終端裝置，其中還具有顯示部件(21a、21b)，顯示與所述文字列對(duì)應(yīng)的文本數(shù)據(jù)。
3.根據(jù)權(quán)利要求1所述的便攜式終端裝置，其中所述服務(wù)器具有把詞條信息和意思信息關(guān)聯(lián)的字典數(shù)據(jù)庫(kù)，所述文字列是通過檢索與在字典數(shù)據(jù)庫(kù)中輸入的文本數(shù)據(jù)對(duì)應(yīng)的所述詞條信息而取得的意思信息。
4.根據(jù)權(quán)利要求3所述的便攜式終端裝置，其中還具有顯示部件(21a、21b)，顯示表示所述翻譯結(jié)果信息中包含的所述意思信息的文本數(shù)據(jù)和與所述詞條信息對(duì)應(yīng)的圖象數(shù)據(jù)。
5.根據(jù)權(quán)利要求4所述的便攜式終端裝置，其中所述翻譯結(jié)果信息還包含表示與所述詞條信息關(guān)聯(lián)的音的數(shù)據(jù)。
6.根據(jù)權(quán)利要求1所述的便攜式終端裝置，其中把所述翻譯結(jié)果信息中包含的數(shù)據(jù)變換為共振峰參數(shù)，因此，所述發(fā)音部件具有根據(jù)該共振峰參數(shù)的抑揚(yáng)地發(fā)出與所述文字列對(duì)應(yīng)的聲音。
7.一種便攜式終端裝置，包括把用給定語言輸入的文本數(shù)據(jù)翻譯為其他語言，生成包含表示翻譯結(jié)果的文字列和用于控制其讀法的抑揚(yáng)的數(shù)據(jù)的翻譯結(jié)果信息的翻譯部件(11、19、20)；和具有根據(jù)所述翻譯結(jié)果信息中包含的數(shù)據(jù)的抑揚(yáng)地發(fā)出與所述文字列對(duì)應(yīng)的聲音的發(fā)音部件(16a、16b)。
8.根據(jù)權(quán)利要求7所述的便攜式終端裝置，其中還具有顯示部件(21a、21b)，顯示表示所述翻譯結(jié)果信息中包含的翻譯結(jié)果的文本數(shù)據(jù)。
9.根據(jù)權(quán)利要求7所述的便攜式終端裝置，其中還具有把詞條信息和意思信息關(guān)聯(lián)的字典數(shù)據(jù)庫(kù)，把檢索與在字典數(shù)據(jù)庫(kù)中輸入的文本數(shù)據(jù)對(duì)應(yīng)的詞條信息而取得的意思信息作為所述文字列生成。
10.根據(jù)權(quán)利要求9所述的便攜式終端裝置，其中還具有所述顯示部件(21a、21b)，顯示表示所述翻譯結(jié)果信息中包含的所述意思信息的文本數(shù)據(jù)和與所述詞條信息對(duì)應(yīng)的圖象數(shù)據(jù)。
11.根據(jù)權(quán)利要求10所述的便攜式終端裝置，其中所述翻譯結(jié)果信息包含表示與所述詞條信息關(guān)聯(lián)的音的發(fā)音數(shù)據(jù)。
12.根據(jù)權(quán)利要求7所述的便攜式終端裝置，其中把所述翻譯結(jié)果信息中包含的數(shù)據(jù)變換為共振峰數(shù)據(jù)，因此，所述發(fā)音部件具有根據(jù)該共振峰參數(shù)的抑揚(yáng)地發(fā)出與所述文字列對(duì)應(yīng)的聲音。
13.根據(jù)權(quán)利要求1或7所述的便攜式終端裝置，其中所述發(fā)音部件具有多個(gè)共振峰生成部(40)，合成由各共振峰生成部生成的特定共振峰頻率的波形。
14.一種便攜式終端裝置中的翻譯方法，其中通過便攜式終端裝置，把用給定的語言輸入的文本數(shù)據(jù)通過通信線路向給定的服務(wù)器(2)發(fā)送；從所述服務(wù)器通過通信線路接收包含表示把輸入的文本數(shù)據(jù)翻譯為其他語言的翻譯結(jié)果的文字列和用于控制其讀法的抑揚(yáng)的數(shù)據(jù)的翻譯結(jié)果信息；根據(jù)所述翻譯結(jié)果信息中包含的數(shù)據(jù)具有抑揚(yáng)地發(fā)出與所述文字列對(duì)應(yīng)的聲音。
15.一種便攜式終端裝置中的翻譯方法，其中把用給定語言輸入的文本數(shù)據(jù)翻譯為其他語言，生成包含表示翻譯結(jié)果的文字列和用于控制其讀法的抑揚(yáng)的數(shù)據(jù)的翻譯結(jié)果信息；具有根據(jù)所述翻譯結(jié)果信息中包含的數(shù)據(jù)的抑揚(yáng)地發(fā)出與所述文字列對(duì)應(yīng)的聲音。
16.一種應(yīng)用于存儲(chǔ)程序的便攜式終端裝置的存儲(chǔ)媒體，存儲(chǔ)由便攜式終端裝置中具備的處理裝置執(zhí)行的程序，該程序通過便攜式終端裝置，把用給定的語言輸入的文本數(shù)據(jù)通過通信線路向給定的服務(wù)器(2)發(fā)送；從所述服務(wù)器通過通信線路接收包含表示把輸入的文本數(shù)據(jù)翻譯為其他語言的翻譯結(jié)果的文字列和用于控制其讀法的抑揚(yáng)的數(shù)據(jù)的翻譯結(jié)果信息；根據(jù)所述翻譯結(jié)果信息中包含的數(shù)據(jù)具有抑揚(yáng)地發(fā)出與所述文字列對(duì)應(yīng)的聲音。
17.一種應(yīng)用于存儲(chǔ)程序的便攜式終端裝置的存儲(chǔ)媒體，存儲(chǔ)由便攜式終端裝置中具備的處理裝置執(zhí)行的程序，該程序把用給定語言輸入的文本數(shù)據(jù)翻譯為其他語言，生成包含表示翻譯結(jié)果的文字列和用于抑制其讀法的抑揚(yáng)的數(shù)據(jù)的翻譯結(jié)果信息；具有根據(jù)所述翻譯結(jié)果信息中包含的數(shù)據(jù)的抑揚(yáng)地發(fā)出與所述文字列對(duì)應(yīng)的聲音。
全文摘要
一種便攜式終端裝置，對(duì)于把以給定語言輸入的文本翻譯為其他語言的翻譯部件(發(fā)送服務(wù)器)，發(fā)送該文本，使其進(jìn)行翻譯處理，把包含翻譯結(jié)果的文本和表示發(fā)音方法的發(fā)音數(shù)據(jù)的翻譯結(jié)果信息發(fā)回，根據(jù)該發(fā)音數(shù)據(jù)把翻譯結(jié)果的文本發(fā)音，使用共振峰參數(shù)作為所述發(fā)音數(shù)據(jù)，進(jìn)行聲音合成。據(jù)此，通過比較少的通信容量，翻譯結(jié)果信息的通信成為可能，此外，在便攜式終端裝置一側(cè)也能接收聲音和圖象。
文檔編號(hào)G10L19/00GK1534955SQ20041003178
公開日2004年10月6日 申請(qǐng)日期2004年3月25日 優(yōu)先權(quán)日2003年3月27日
發(fā)明者川合雅彥 申請(qǐng)人:雅馬哈株式會(huì)社