專利名稱：多模態(tài)語音－語音語言翻譯和顯示的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及語言翻譯系統(tǒng)，更具體地說，涉及一種多模態(tài)語音-語音語言翻譯系統(tǒng)和方法，其中源語言被輸入系統(tǒng)中，被翻譯成目標(biāo)語言，并由各種模態(tài)(modality)，例如顯示器、語音合成器等輸出。
背景技術(shù)：
可見圖像用于人類交流非常古老和基本。從洞穴壁畫到今天的兒童圖畫，圖畫、符號(hào)和圖象表示在人類表達(dá)中一直起著重要的作用。圖像和空間形體不僅被用于表現(xiàn)場(chǎng)景和物理對(duì)象，而且還被用于表現(xiàn)過程和更抽象的概念。隨著時(shí)間的過去，象形文字體系，即可視語言已進(jìn)化成更多地依賴于約定俗成，而不是依賴于它們的表現(xiàn)力的相似性的字母表和符號(hào)體系。
可視語言在有限的領(lǐng)域中被廣泛使用。例如，在世界的多數(shù)地方，交通符號(hào)和公共場(chǎng)所中的國(guó)際性設(shè)施圖標(biāo)，例如電話，公共廁所，飯店，緊急出口等得到廣泛接受和理解。
在過去的二三十年內(nèi)，人們一直對(duì)用于人/機(jī)交互作用的可視語言，例如圖形界面，圖形編程語言等興趣強(qiáng)烈。例如，微軟的WindowsTM界面使用帶有文件夾，文件柜，垃圾桶，繪圖工具和已成為個(gè)人計(jì)算機(jī)的標(biāo)準(zhǔn)的其它慣用對(duì)象的桌面隱喻，因?yàn)樗鼈兪褂?jì)算機(jī)更易于使用和更易于學(xué)習(xí)。但是，隨著由于旅行的便利，通信媒體，例如因特網(wǎng)的速度的提高，和市場(chǎng)的全球化的結(jié)果，全球社會(huì)變得越來越小，可視語言將在語言不同的人們之間的交流中起日益重要的作用。另外，可視語言能夠方便根本不能說話的人(例如聾人)，或者文盲間的交流。
由于可視語言的下述特征(1)國(guó)際性-可視語言不依賴于特定的口頭語言或書面語言；(2)由可視表示法的使用而產(chǎn)生的易學(xué)性；(3)便于繪圖能力受損者使用的計(jì)算機(jī)輔助創(chuàng)作和顯示；(4)自適應(yīng)性(例如對(duì)于視力受損者的更大顯示，對(duì)于色盲者的重新著色，對(duì)于初學(xué)者的消息的更明確表達(dá))，和(5)高級(jí)的可視化技術(shù)，例如動(dòng)畫的應(yīng)用(參見Tanimoto，StevenL.，“Representation and Learnability in Visual Languages for Web-basedInterpersonal Communication”，IEEE Proceedings of VL 1997，1997年9月23-26)，可視語言用于人類間的交流的潛力巨大。

發(fā)明內(nèi)容
提供一種把源語言的自然語句翻譯成符號(hào)表現(xiàn)和/或目標(biāo)語言的多模態(tài)語音-語音語言翻譯系統(tǒng)和方法。本發(fā)明使用自然語言理解技術(shù)對(duì)口語句子中的概念和語義分類，把句子翻譯成目標(biāo)語言，并使用可視顯示(例如圖畫，圖像，圖標(biāo)或任何視頻片段)向雙方，例如講話者和聽者表示句子中的主要概念和語義，以幫助用戶相互理解，并幫助源語言用戶核實(shí)翻譯的正確性。
旅行者熟悉可視描述(例如在關(guān)于行李和出租車的機(jī)場(chǎng)標(biāo)記中使用的那些可視描述)的有效性。本發(fā)明通過連同口語輸出一起，把這些及其它這樣的圖像包含到要顯示的符號(hào)表現(xiàn)中，把同樣的特征引入到交互式談話模型中。符號(hào)表現(xiàn)甚至可包含動(dòng)畫，以靜態(tài)顯示所不能的方式指示主語/賓語和動(dòng)作關(guān)系。
根據(jù)本發(fā)明的一個(gè)方面，語言翻譯系統(tǒng)包括把源語言的自然語句輸入系統(tǒng)的輸入裝置；接收呈機(jī)器可讀形式的自然語句，并把自然語句翻譯成符號(hào)表現(xiàn)的翻譯器；和顯示自然語句的符號(hào)表現(xiàn)的圖像顯示器。系統(tǒng)還包括以可聽見的方式產(chǎn)生目標(biāo)語言的自然語句的文本-語音合成器。
翻譯器包括對(duì)自然語句的元素分類，并依據(jù)類別標(biāo)記元素的自然語言理解統(tǒng)計(jì)分類器；和從分類句子分析結(jié)構(gòu)信息，并輸出分類句子的語義分析樹表示的自然語言理解分析器。翻譯器還包括抽取自然語句的獨(dú)立于語言的表現(xiàn)的國(guó)際語信息抽取器，和通過使獨(dú)立于語言的表現(xiàn)的元素與可視描述相聯(lián)系，產(chǎn)生自然語句的符號(hào)表現(xiàn)的符號(hào)圖像生成器。
根據(jù)本發(fā)明的另一方面，翻譯器把自然語句翻譯成目標(biāo)語言的文本，圖像顯示器顯示目標(biāo)語言的文本，符號(hào)表現(xiàn)和源語言的文本，其中圖像顯示器指示目標(biāo)語言的文本，符號(hào)表現(xiàn)和源語言的文本之間的相關(guān)性。
根據(jù)本發(fā)明的另一方面，提供一種翻譯語言的方法。所述方法包括下述步驟接收源語言的自然語句；把自然語句翻譯成符號(hào)表現(xiàn)，并顯示自然語句的符號(hào)表現(xiàn)。
接收步驟包括下述步驟以聲學(xué)信號(hào)的形式接收口語自然語句；和把口語自然語句轉(zhuǎn)換成機(jī)器可識(shí)別的文本。
在本發(fā)明的另一方面，所述方法還包括下述步驟對(duì)自然語句的元素分類，并依據(jù)類別標(biāo)記元素；從分類句子分析結(jié)構(gòu)信息，并輸出分類句子的語義分析樹表示；和從語義分析樹抽取自然語句的獨(dú)立于語言的表現(xiàn)。
此外，所述方法還包括通過使獨(dú)立于語言的表現(xiàn)的元素與可視描述相聯(lián)系，產(chǎn)生自然語句的符號(hào)表現(xiàn)的步驟。
在另一方面，所述方法還包括下述步驟使目標(biāo)語言的文本，符號(hào)表現(xiàn)和源語言的文本相關(guān)聯(lián)，并顯示目標(biāo)語言的文本，符號(hào)表現(xiàn)和源語言的文本之間的相關(guān)性。
根據(jù)本發(fā)明的另一方面，提供一種機(jī)器可讀的確實(shí)包含可由機(jī)器執(zhí)行的，從而實(shí)現(xiàn)翻譯語言的方法步驟的指令程序的程序存儲(chǔ)裝置，所述方法步驟包括接收源語言的自然語句；把自然語句翻譯成符號(hào)表現(xiàn)；和顯示自然語句的符號(hào)表現(xiàn)。


結(jié)合附圖，根據(jù)下面的詳細(xì)說明，本發(fā)明的上述及其它方面、特征和優(yōu)點(diǎn)將變得更明顯，其中圖1是根據(jù)本發(fā)明的一個(gè)實(shí)施例的多模態(tài)語音-語音語言翻譯系統(tǒng)的方框圖；圖2是圖解說明根據(jù)本發(fā)明的一個(gè)實(shí)施例的把源語言的自然語句翻譯成符號(hào)表現(xiàn)的方法的流程圖；圖3是圖解說明源語言的自然語句的符號(hào)表現(xiàn)的多模態(tài)語音-語音語言翻譯的例證顯示；圖4是用源語言和目標(biāo)語言如何與符號(hào)表現(xiàn)相關(guān)聯(lián)的指示符，圖解說明源語言的自然語句，該句子的符號(hào)表現(xiàn)和翻譯成目標(biāo)語言的句子的多模態(tài)語音-語音語言翻譯系統(tǒng)的例證顯示。
具體實(shí)施例方式
下面將參考

本發(fā)明的優(yōu)選實(shí)施例。在下面的說明中，未詳細(xì)描述公知的功能或構(gòu)造，以避免使本發(fā)明掩蔽在不必要的細(xì)節(jié)中。
提供一種把源語言的自然語句翻譯成符號(hào)表現(xiàn)和/或目標(biāo)語言的多模態(tài)語音-語音語言翻譯系統(tǒng)和方法。本發(fā)明通過增加設(shè)備顯示的輸入句子的圖形或符號(hào)表現(xiàn)的附加翻譯，延伸了語音識(shí)別技術(shù)，自然語言理解技術(shù)，語義翻譯技術(shù)，自然語言產(chǎn)生技術(shù)和語音合成技術(shù)。通過包括可視描述(例如，圖畫，圖像，圖標(biāo)或視頻片段)，翻譯系統(tǒng)向(源語言的)說話者指示語音被適當(dāng)?shù)刈R(shí)別和理解。另外，可視表現(xiàn)向雙方指出由于翻譯多義性的緣故，可能不正確的語義表現(xiàn)的多個(gè)方面。
任意語言的可視描述本身是一個(gè)挑戰(zhàn)-尤其是對(duì)于抽象對(duì)話來說。但是，由于用于創(chuàng)建“國(guó)際語”(interlingua)表示法，即與語言無關(guān)的表示法的自然語言理解處理的緣故，在翻譯過程中，可獲得匹配適當(dāng)圖像的額外機(jī)會(huì)。在這種意義上，可視語言可被看作語言產(chǎn)生系統(tǒng)以其為目標(biāo)的另一目標(biāo)語言。
要明白可用各種形式的硬件、軟件、固件、專用處理器，或者它們的組合物來實(shí)現(xiàn)本發(fā)明。在一個(gè)實(shí)施例中，本發(fā)明可用軟件實(shí)現(xiàn)成確實(shí)包含在程序存儲(chǔ)裝置上的應(yīng)用程序。所述應(yīng)用程序可被上傳到包含任何適當(dāng)體系結(jié)構(gòu)的機(jī)器上并由所述機(jī)器執(zhí)行。最好，在具有硬件，例如一個(gè)或多個(gè)中央處理器(CPU)，隨機(jī)存取存儲(chǔ)器(RAM)，只讀存儲(chǔ)器(ROM)和輸入/輸出(I/O)接口，比如鍵盤、光標(biāo)控制裝置(例如鼠標(biāo))和顯示裝置的計(jì)算機(jī)平臺(tái)上實(shí)現(xiàn)所述機(jī)器。所述計(jì)算機(jī)平臺(tái)還包括操作系統(tǒng)和微指令代碼。這里描述的各種進(jìn)程和函數(shù)或者是微指令代碼的一部分，或者是通過操作系統(tǒng)執(zhí)行的應(yīng)用程序(或者它們的組合)的一部分。另外，各種其它外圍設(shè)備可與計(jì)算機(jī)平臺(tái)連接，例如附加的數(shù)據(jù)存儲(chǔ)裝置和打印裝置。
還要明白，由于可用軟件實(shí)現(xiàn)在附圖中描述的一些系統(tǒng)組件和方法步驟，因此根據(jù)對(duì)本發(fā)明進(jìn)行程序設(shè)計(jì)的方式，系統(tǒng)組件(或者進(jìn)程步驟)之間的實(shí)際連接可能不同。根據(jù)這里提供的本發(fā)明的教導(dǎo)，本領(lǐng)域的普通技術(shù)人員能夠設(shè)想本發(fā)明的這些及類似的實(shí)現(xiàn)或構(gòu)造。
圖1是根據(jù)本發(fā)明的一個(gè)實(shí)施例的多模態(tài)語音-語音語言翻譯系統(tǒng)100的方框圖，圖2是圖解說明把源語言的自然語句翻譯成符號(hào)表現(xiàn)(representation)的方法的流程圖。下面將參考圖1和2詳細(xì)說明所述系統(tǒng)和方法。
參見圖1和2，語言翻譯系統(tǒng)100包括把自然語句輸入系統(tǒng)100(步驟202)的輸入設(shè)備102，接收呈機(jī)器可讀形式的自然語句并把該自然語句翻譯成符號(hào)表現(xiàn)的翻譯器104，和顯示自然語句的符號(hào)表現(xiàn)的圖像顯示器106?？蛇x的是，系統(tǒng)100將包括以可聽見的方式產(chǎn)生目標(biāo)語言的自然語句的文本-語音合成器108。
最好，輸入裝置102是與用于把口語單詞轉(zhuǎn)換成計(jì)算機(jī)或機(jī)器能夠識(shí)別的文本單詞(步驟204)的自動(dòng)語音識(shí)別器(ASR)耦接的麥克風(fēng)。ASR接收聲音信號(hào)，比較該信號(hào)和輸入源語言的聲學(xué)模型110和語言模型112，從而把口語單詞轉(zhuǎn)換成文本。
可選的是，輸入裝置是直接輸入文本單詞的鍵盤或者把手寫文本轉(zhuǎn)換成計(jì)算機(jī)能夠識(shí)別的文本單詞(步驟204)的數(shù)字寫字板或者掃描儀。
一旦自然語句呈計(jì)算機(jī)/機(jī)器可識(shí)別的形式，翻譯器104就處理所述文本。翻譯器104包括自然語言理解(NLU)統(tǒng)計(jì)分類器114，NLU統(tǒng)計(jì)分析器(parser)116，國(guó)際語信息抽取器120，翻譯和統(tǒng)計(jì)自然語言生成器124和符號(hào)圖像生成器130。
NLU統(tǒng)計(jì)分類器114從ASR102接收計(jì)算機(jī)可識(shí)別文本，查找句子中一般類別的位置，并標(biāo)記某些元素(步驟206)。例如，ASR102可輸入句子“I want to book a one way ticket to Houston，Texas for tomorrowmorning”。NLU分類器114將把Houston，Texas分類為地點(diǎn)“LOC”，并把它替換到輸入句子中。此外，one way將被解釋成票的類型，例如往返或單程(RT-OW)，tomorrow將被“DATE”替換，morning將被“TIME”替換，從而得到句子“I want to book a RT-OW ticket to LOC for DATETIME”。
分類后的句子隨后被發(fā)送給NLU統(tǒng)計(jì)分析器116，抽取結(jié)構(gòu)信息，例如主語/動(dòng)詞(步驟208)。分析器116與分析器模型118交互作用，從而確定輸入句子的語法結(jié)構(gòu)，和輸出語義分析樹?？申P(guān)于特定的領(lǐng)域，例如運(yùn)輸、醫(yī)療等構(gòu)成分析器模型118。
隨后國(guó)際語信息抽取器120處理語義分析樹，確定輸入源句子的獨(dú)立于語言的含義，也稱為樹形結(jié)構(gòu)國(guó)際語(步驟210)。國(guó)際語信息抽取器120與規(guī)范器(canonicalizer)122耦接，規(guī)范器122把由文本表示的數(shù)目轉(zhuǎn)換成由周圍上下文確定的恰當(dāng)格式化的數(shù)字。例如，如果輸入文本“flight number two eighteen”，那么將輸出數(shù)字“218”。此外，如果輸入“time two eighteen”，那么將輸出時(shí)間格式的“2:18”。
一旦確定了樹形結(jié)構(gòu)國(guó)際語，那么初始的輸入源自然語句可被翻譯成任何目標(biāo)語言，例如一種不同的口語，或者翻譯成符號(hào)表示法。對(duì)于口語來說，國(guó)際語被發(fā)送給翻譯&統(tǒng)計(jì)自然語言生成器124，從而把國(guó)際語轉(zhuǎn)換成目標(biāo)語言(步驟212)。生成器124訪問多語言字典126，以便把國(guó)際語翻譯成目標(biāo)語言的文本。隨后用語義相關(guān)字典128處理目標(biāo)語言的文本，明確表達(dá)要輸出的文本的恰當(dāng)含義。最后，用自然語言發(fā)生模型129處理該文本，用按照目標(biāo)語言的可理解句子構(gòu)成所述文本。目標(biāo)語句隨后被發(fā)送給文本-語音合成器108，以便以可聽見的方式產(chǎn)生目標(biāo)語言的自然語句。
國(guó)際語還被發(fā)送給符號(hào)圖像生成器130，以便產(chǎn)生將在圖像顯示器106上顯示的可視描述的符號(hào)表現(xiàn)(步驟214)。符號(hào)圖像生成器130可訪問圖像符號(hào)模型，例如Blissymbolics或Minspeak，以產(chǎn)生符號(hào)表現(xiàn)。這里，生成器130將抽取恰當(dāng)?shù)姆?hào)來創(chuàng)建代表初始源句子的不同元素的“單詞”，并把“單詞”聚集在一起，從而傳達(dá)初始源句子的預(yù)定含義。另一方面，生成器130將訪問圖像目錄134，選擇復(fù)合圖像來表示國(guó)際語的元素。一旦構(gòu)成了符號(hào)表現(xiàn)，它將被顯示在圖像顯示裝置106上。圖3圖解說明源語言的初始輸入的自然語句的符號(hào)表現(xiàn)(步驟216)。
除了本發(fā)明的翻譯系統(tǒng)的功能優(yōu)點(diǎn)之外，共用圖形顯示的存在極大地增加了說話者和聽者的用戶體驗(yàn)。不共用任何語言的人們之間的交流既困難又緊張?？梢暶枋龃龠M(jìn)了共同體驗(yàn)的感覺，并向共同領(lǐng)域提供恰當(dāng)?shù)膱D像，從而通過手勢(shì)或者通過連續(xù)的一系列交互作用簡(jiǎn)化交流。
在本發(fā)明的翻譯系統(tǒng)的另一實(shí)施例中，顯示的符號(hào)表現(xiàn)將指示口語對(duì)話的哪一部分對(duì)應(yīng)于顯示的圖像。圖4中圖解說明了本實(shí)施例的例證屏幕。
圖4圖解說明說話者說出的源語言的自然語句402，源句子的符號(hào)表現(xiàn)404，和源句子406到目標(biāo)語言(這里為中文)的翻譯。線條408指示圖像對(duì)應(yīng)的每種語言中的言語部分，因?yàn)榱鲿车恼Z言翻譯通常要求詞序的改變。通過連接單詞和短語的可視描述，并指示在每種語言中，它們出現(xiàn)在口頭短語中的何處，聽者能夠更好地利用說話者提供的韻律提示，當(dāng)前的語音識(shí)別系統(tǒng)通常未記錄的提示。
可選的是，當(dāng)文本-語音合成器可聽地產(chǎn)生其對(duì)應(yīng)的單詞或概念時(shí)，呈現(xiàn)在圖像顯示器上的每個(gè)圖像被突出。
在另一實(shí)施例中，系統(tǒng)將檢測(cè)講話者的情感，并把“情感”，例如“-)”包含到目標(biāo)語言的文本中。通過關(guān)于音調(diào)和音色分析接收的聲音信號(hào)，可檢測(cè)講話者的情感。另一方面，本領(lǐng)域中已知，通過經(jīng)神經(jīng)網(wǎng)絡(luò)分析捕捉的講話者的圖像，照相機(jī)將捕捉講話者的情感。隨后使講話者的情感與機(jī)器可識(shí)別的文本相聯(lián)系，供稍后翻譯之用。
雖然參考本發(fā)明的一些優(yōu)選實(shí)施例表示和說明了本發(fā)明，不過在不脫離由附加權(quán)利要求限定的本發(fā)明的精神和范圍的情況下，可在細(xì)節(jié)和形式方面做出各種變化。
權(quán)利要求
1.一種語言翻譯系統(tǒng)，包括把源語言的自然語句輸入系統(tǒng)的輸入裝置；接收呈機(jī)器可讀形式的自然語句，并把自然語句翻譯成符號(hào)表現(xiàn)的翻譯器；和顯示自然語句的符號(hào)表現(xiàn)的圖像顯示器。
2.按照權(quán)利要求1所述的系統(tǒng)，還包括以可聽見的方式產(chǎn)生目標(biāo)語言的自然語句的文本-語音合成器。
3.按照權(quán)利要求1所述的系統(tǒng)，其中輸入裝置是把口語單詞轉(zhuǎn)換成機(jī)器可識(shí)別文本的自動(dòng)語音識(shí)別器。
4.按照權(quán)利要求1所述的系統(tǒng)，其中翻譯器還包括從自然語句分析結(jié)構(gòu)信息，并輸出自然語句的語義分析樹表示的自然語言理解分析器。
5.按照權(quán)利要求1所述的系統(tǒng)，其中翻譯器還包括對(duì)自然語句的元素分類，并依據(jù)類別標(biāo)記元素的自然語言理解統(tǒng)計(jì)分類器；和從分類句子分析結(jié)構(gòu)信息，并輸出分類句子的語義分析樹表示的自然語言理解分析器。
6.按照權(quán)利要求5所述的系統(tǒng)，其中翻譯器還包括抽取自然語句的獨(dú)立于語言的表現(xiàn)的國(guó)際語信息抽取器。
7.按照權(quán)利要求6所述的系統(tǒng)，其中翻譯器還包括通過使獨(dú)立于語言的表現(xiàn)的元素與可視描述相聯(lián)系，產(chǎn)生自然語句的符號(hào)表現(xiàn)的符號(hào)圖像生成器。
8.按照權(quán)利要求6所述的系統(tǒng)，其中翻譯器還包括把獨(dú)立于語言的表現(xiàn)轉(zhuǎn)換成目標(biāo)語言的自然語言生成器。
9.按照權(quán)利要求1所述的系統(tǒng)，其中翻譯器把自然語句翻譯成目標(biāo)語言的文本，圖像顯示器顯示目標(biāo)語言的文本以及符號(hào)表現(xiàn)。
10.按照權(quán)利要求3所述的系統(tǒng)，其中翻譯器把自然語句翻譯成目標(biāo)語言的文本，圖像顯示器顯示目標(biāo)語言的文本，符號(hào)表現(xiàn)和源語言的文本。
11.按照權(quán)利要求10所述的系統(tǒng)，其中圖像顯示器指示目標(biāo)語言的文本，符號(hào)表現(xiàn)和源語言的文本之間的相關(guān)性。
12.一種翻譯語言的方法，所述方法包括下述步驟接收源語言的自然語句；把自然語句翻譯成符號(hào)表現(xiàn)；和顯示自然語句的符號(hào)表現(xiàn)。
13.按照權(quán)利要求12所述的方法，其中接收步驟包括下述步驟接收口語自然語句作為聲學(xué)信號(hào)；和把口語自然語句轉(zhuǎn)換成機(jī)器可識(shí)別的文本。
14.按照權(quán)利要求13所述的方法，還包括下述步驟從自然語句分析結(jié)構(gòu)信息，并輸出自然語句的語義分析樹表示。
15.按照權(quán)利要求14所述的方法，還包括從語義分析樹，抽取自然語句的獨(dú)立于語言的表現(xiàn)的步驟。
16.按照權(quán)利要求13所述的方法，還包括下述步驟對(duì)自然語句的元素分類，并依據(jù)類別標(biāo)記元素；和從分類句子分析結(jié)構(gòu)信息，并輸出分類句子的語義分析樹表示。
17.按照權(quán)利要求16所述的方法，還包括從語義分析樹抽取自然語句的獨(dú)立于語言的表現(xiàn)的步驟。
18.按照權(quán)利要求17所述的方法，還包括通過使獨(dú)立于語言的表現(xiàn)的元素與可視描述相聯(lián)系，產(chǎn)生自然語句的符號(hào)表現(xiàn)的步驟。
19.按照權(quán)利要求18所述的方法，還包括下述步驟把獨(dú)立于語言的表現(xiàn)轉(zhuǎn)換成目標(biāo)語言的文本，并顯示目標(biāo)語言的文本以及符號(hào)表現(xiàn)。
20.按照權(quán)利要求19所述的方法，還包括以可聽見的方式產(chǎn)生目標(biāo)語言的文本的步驟。
21.按照權(quán)利要求20所述的方法，還包括突出所顯示符號(hào)表現(xiàn)的和目標(biāo)語言的可聽文本對(duì)應(yīng)的元素的步驟。
22.按照權(quán)利要求19所述的方法，還包括下述步驟使目標(biāo)語言的文本，符號(hào)表現(xiàn)和源語言的文本相關(guān)聯(lián)，和顯示目標(biāo)語言的文本，符號(hào)表現(xiàn)和源語言的文本之間的相關(guān)性。
23.一種機(jī)器可讀的確實(shí)包含可由機(jī)器執(zhí)行，從而實(shí)現(xiàn)翻譯語言的方法步驟的指令程序的程序存儲(chǔ)裝置，所述方法步驟包括接收源語言的自然語句；把自然語句翻譯成符號(hào)表現(xiàn)；和顯示自然語句的符號(hào)表現(xiàn)。
全文摘要
提供一種把源語言的自然語句翻譯成符號(hào)表現(xiàn)和/或目標(biāo)語言的多模態(tài)語音－語音語言翻譯系統(tǒng)和方法。系統(tǒng)(100)包括把源語言的自然語句(402)輸入系統(tǒng)(100)的輸入裝置(102)；接收呈機(jī)器可讀形式的自然語句(402)，并把自然語句(402)翻譯成符號(hào)表現(xiàn)(404)和/或目標(biāo)語言(406)的翻譯器(104)；和顯示自然語句的符號(hào)表現(xiàn)(404)的圖像顯示器(106)。另上，圖像顯示器(106)指示目標(biāo)語言(406)的文本，符號(hào)表現(xiàn)(404)和源語言(402)的文本之間的相關(guān)性(408)。
文檔編號(hào)G06F17/28GK1742273SQ03825926
公開日2006年3月1日 申請(qǐng)日期2003年4月23日 優(yōu)先權(quán)日2002年12月10日
發(fā)明者高雨青, 顧良, 劉富華, 杰弗里·索里森 申請(qǐng)人:國(guó)際商業(yè)機(jī)器公司