專利名稱：基于網(wǎng)絡(luò)的多語種語音、文字信息即時(shí)互譯通信系統(tǒng)及方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種通信系統(tǒng)及方法，尤指一種基于網(wǎng)絡(luò)的通信系統(tǒng)及方法。
背景技術(shù)：
目前，Internet和信息技術(shù)的應(yīng)用已經(jīng)深入到企業(yè)行為和個(gè)人生活的方方面面，許多企業(yè)已經(jīng)基于Internet建立自己的企業(yè)應(yīng)用系統(tǒng)和互聯(lián)網(wǎng)即時(shí)通信系統(tǒng)，用于改善內(nèi)部管理、降低通信成本、提高效率，從而提升企業(yè)的競(jìng)爭(zhēng)力，個(gè)人也可能充分享受Internet和信息技術(shù)帶來的諸如開闊視野、縮短時(shí)空距離等種種好處。尤其近年來即時(shí)通信技術(shù)的發(fā)展及普及應(yīng)用，互聯(lián)網(wǎng)的無國界屬性及國際間通信交流的巨大需求，使得基于Internet的的即時(shí)通信(IM)，PSTN公共電話網(wǎng)，其它無線移動(dòng)電話網(wǎng)(GSM，CDMA，3G，SMS等通信方式)的多語種語音，文字的即時(shí)互譯，語音識(shí)別(ASR)技術(shù)，語音合成(TTS)技術(shù)的應(yīng)用成為可能。
就當(dāng)前而言，互聯(lián)網(wǎng)的即時(shí)通信(IM)，PSTN公共電話網(wǎng)，其它無線移動(dòng)電話網(wǎng)(GSM，CDMA，3G，SMS等通信方式)的多語種語音，文字的即時(shí)互譯、對(duì)企業(yè)產(chǎn)品的售前支持、售中溝通和售后服務(wù)，國際業(yè)務(wù)交流都是極其重要的.
另外，到目前為止，仍然缺乏一種有效的用戶語音或文字信息在進(jìn)行通信時(shí)完成語音及文字的多語種互譯機(jī)制，讓用戶通信中說出的語音或發(fā)出的文字信息讓對(duì)方聽到或收到的是自己選定的語種或文字，基于INTERNET的即時(shí)通信(IM)，PSTN公共電話網(wǎng)，其它無線移動(dòng)電話網(wǎng)(GSM，CDMA，3G，SMS等通信方式)的多語種語音，文字的即時(shí)互譯系統(tǒng)，語音識(shí)別引擎，語音合成引擎，語音通道，翻譯引擎，結(jié)合了Internet、語音CODEC、視頻CODEC、TCP/IP、數(shù)據(jù)庫技術(shù)和軟件技術(shù)的Internet即時(shí)互譯系統(tǒng)。許多企業(yè)和個(gè)人越來越多地認(rèn)識(shí)到國際交流及個(gè)性化服務(wù)的重要性，語音識(shí)別(ASR)技術(shù)，語音合成(TTS)技術(shù)也越來越成熟；即時(shí)互譯，語音CODEC、以及TCP/IP通信技術(shù)也發(fā)展到實(shí)用階段；，基于INTERNET的即時(shí)通信(IM)，PSTN公共電話網(wǎng)，其它無線移動(dòng)電話網(wǎng)(GSM，CDMA，3G，SMS等通信方式)的多語種語音，文字的即時(shí)互譯系統(tǒng)正是適應(yīng)這種應(yīng)用需求和技術(shù)進(jìn)步而提出的一種應(yīng)用系統(tǒng)。

發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種基于網(wǎng)絡(luò)的多語種語音和/或文字信息的即時(shí)互譯通信系統(tǒng)，包括用戶終端設(shè)備和服務(wù)器端設(shè)備，所述用戶終端設(shè)備和服務(wù)器端設(shè)備分別與網(wǎng)絡(luò)聯(lián)通，通過該網(wǎng)絡(luò)進(jìn)行通信，所述服務(wù)器端設(shè)備包括用于通信信令控制和管理、用戶管理、權(quán)限控制、數(shù)據(jù)存儲(chǔ)和中轉(zhuǎn)、客戶端管理、計(jì)費(fèi)管理、數(shù)據(jù)安全管理的控制服務(wù)器；用于語音及文字信息的即時(shí)翻譯的多語種語音文字翻譯服務(wù)器，所述用戶終端設(shè)備包括至少一個(gè)第一發(fā)送/接收端設(shè)備；至少一個(gè)第二發(fā)送/接收端設(shè)備，當(dāng)使用所述第一發(fā)送/接收端設(shè)備通過所述網(wǎng)絡(luò)與所述第二發(fā)送/接收端設(shè)備通信時(shí)，所述控制服務(wù)器控制所述翻譯服務(wù)器將所述第一發(fā)送/接收端設(shè)備發(fā)送的語音或文字信息翻譯成對(duì)應(yīng)語種的語音或文字信息并發(fā)送到所述第二發(fā)送/接收端設(shè)備上，該系統(tǒng)既能實(shí)現(xiàn)一個(gè)語種對(duì)應(yīng)另一語種的即時(shí)語音和/或文字的即時(shí)通信翻譯，也能實(shí)現(xiàn)一個(gè)語種對(duì)多個(gè)語種的語音和/或文字即時(shí)通信翻譯。
本發(fā)明提供的一種基于網(wǎng)絡(luò)的多語種語音和/或文字信息的即時(shí)互譯通信系統(tǒng)，所述翻譯服務(wù)器部署有用于語音及文字信息即時(shí)翻譯的多語種語音文字翻譯引擎軟件、語音識(shí)別(ASR)引擎軟件，語音合成(TTS)引擎軟件，語音通道軟件。
本發(fā)明提供的一種基于網(wǎng)絡(luò)的多語種語音和/或文字信息的即時(shí)互譯通信系統(tǒng)，所述網(wǎng)絡(luò)為互聯(lián)網(wǎng)(internet)；所述第一發(fā)送/接收端設(shè)備和第二發(fā)送/接收端設(shè)備為客戶機(jī)，該客戶機(jī)包括客戶機(jī)主機(jī)，該客戶機(jī)主機(jī)部署有具有通信信令控制和管理、數(shù)據(jù)傳輸控制、數(shù)據(jù)安全管理、語音數(shù)據(jù)處理、視頻數(shù)據(jù)處理、語音及文字信息即時(shí)翻譯、文字?jǐn)?shù)據(jù)處理、文件傳輸、留言(語音、文字和/或視頻)管理、自動(dòng)更新支持、IVR支持和硬件設(shè)備支持等功能，可獨(dú)立運(yùn)行的獨(dú)立客戶端軟件和/或與所述獨(dú)立客戶端軟件功能一致，但需要與瀏覽器結(jié)合運(yùn)行的組件客戶端軟件和用于語音及文字信息即時(shí)翻譯的多語種語音文字翻譯引擎軟件、語音識(shí)別(ASR)引擎軟件，語音合成(TTS)引擎軟件，語音通道軟件；該客戶機(jī)還包括用于語音和視頻信號(hào)的捕獲和轉(zhuǎn)換的語音視頻設(shè)備和與所述互聯(lián)網(wǎng)相聯(lián)接的internet接入設(shè)備；所述服務(wù)器端設(shè)備還包括用于數(shù)據(jù)操作和存儲(chǔ)的數(shù)據(jù)庫服務(wù)器。
本發(fā)明提供的一種基于網(wǎng)絡(luò)的多語種語音和/或文字信息的即時(shí)互譯通信系統(tǒng)，所述數(shù)據(jù)庫服務(wù)器還部署有語音標(biāo)記語言與關(guān)系型數(shù)據(jù)庫相互轉(zhuǎn)換的XML-DB轉(zhuǎn)換模塊，所述服務(wù)器端設(shè)備還包括VoiceXML語音網(wǎng)關(guān)；和用于信息發(fā)布和采集及所述組件客戶端軟件部署的WWW服務(wù)器。
本發(fā)明提供的一種基于網(wǎng)絡(luò)的多語種語音和/或文字信息的即時(shí)互譯通信系統(tǒng)，所述網(wǎng)絡(luò)為PSTN公共電話網(wǎng)或無線移動(dòng)電話網(wǎng)，所述第一發(fā)送/接收端設(shè)備和第二發(fā)送/接收端設(shè)備為固定電話或移動(dòng)電話，所述翻譯服務(wù)器還部署有語音標(biāo)記語言與關(guān)系型數(shù)據(jù)庫相互轉(zhuǎn)換的XML-DB轉(zhuǎn)換模塊。
本發(fā)明提供的一種基于網(wǎng)絡(luò)的多語種語音和/或文字信息的即時(shí)互譯通信系統(tǒng)，所述無線移動(dòng)電話網(wǎng)的通信方式為GSM，CDMA，3G，SMS等通信方式。
本發(fā)明提供的一種基于網(wǎng)絡(luò)的多語種語音和/或文字信息的即時(shí)互譯通信系統(tǒng)，所述瀏覽器為IE瀏覽器，該IE瀏覽器與所述組件客戶端軟件結(jié)合的形式是組件客戶端軟件設(shè)計(jì)為瀏覽器組件或插件元素。
本發(fā)明的另一個(gè)目的在于提供一種基于如權(quán)利要求1所述的基于網(wǎng)絡(luò)的多語種語音和/或文字信息的即時(shí)互譯通信系統(tǒng)的通信方法，一次單向通信包括如下步驟(5)系統(tǒng)初始化；(6)所述第一發(fā)送/接收端設(shè)備發(fā)送語音和/或文字信息通過所述網(wǎng)絡(luò)到達(dá)所述服務(wù)器端設(shè)備；(7)所述控制服務(wù)器控制所述翻譯服務(wù)器將所述語音和/或文字信息翻譯成對(duì)應(yīng)語種的語音和/或文字信息并通過網(wǎng)絡(luò)發(fā)送到第二發(fā)送/接收端設(shè)備；(8)一次單向通信結(jié)束。
本發(fā)明提供的一種基于網(wǎng)絡(luò)的多語種語音和/或文字信息的即時(shí)互譯通信系統(tǒng)的通信方法，所述網(wǎng)絡(luò)為互聯(lián)網(wǎng)(internet)；所述第一發(fā)送/接收端設(shè)備和第二發(fā)送/接收端設(shè)備為客戶機(jī)，該客戶機(jī)部署有可獨(dú)立運(yùn)行的獨(dú)立客戶端軟件和/或與所述獨(dú)立客戶端軟件功能一致，但需要與瀏覽器結(jié)合運(yùn)行的組件客戶端軟件和用于語音及文字信息即時(shí)翻譯的多語種語音文字翻譯引擎軟件、語音識(shí)別(ASR)引擎軟件，語音合成(TTS)引擎軟件，語音通道軟件；該客戶機(jī)還包括用于語音和視頻信號(hào)的捕獲和轉(zhuǎn)換的語音視頻設(shè)備和與所述互聯(lián)網(wǎng)相聯(lián)接的internet接入設(shè)備；所述服務(wù)器端設(shè)備還包括用于數(shù)據(jù)操作和存儲(chǔ)的數(shù)據(jù)庫服務(wù)器。
本發(fā)明提供的一種基于網(wǎng)絡(luò)的多語種語音和/或文字信息的即時(shí)互譯通信系統(tǒng)的通信方法，所述網(wǎng)絡(luò)為PSTN公共電話網(wǎng)或無線移動(dòng)電話網(wǎng)，所述第一發(fā)送/接收端設(shè)備和第二發(fā)送/接收端設(shè)備為固定電話或移動(dòng)電話。
本發(fā)明提供的這種系統(tǒng)及方法為internet網(wǎng)絡(luò)即時(shí)通信用戶，固定電話用戶和移動(dòng)通信用戶提供多語種語音及文字的互譯服務(wù)，突破了人與人之間交流的語言障礙，從而使上述用戶交流更加方便，交流范圍更加廣泛。


圖1為本發(fā)明提供的一種基于網(wǎng)絡(luò)的多語種語音和/或文字信息的即時(shí)互譯通信系統(tǒng)的基于internet的即時(shí)通信系統(tǒng)整體結(jié)構(gòu)方框圖；圖2為本發(fā)明提供的一種基于網(wǎng)絡(luò)的多語種語音和/或文字信息的即時(shí)互譯通信系統(tǒng)的基于internet的即時(shí)通信系統(tǒng)的軟件系統(tǒng)結(jié)構(gòu)方框圖；圖3為本發(fā)明提供的一種基于網(wǎng)絡(luò)的多語種語音和/或文字信息的即時(shí)互譯通信系統(tǒng)的基于internet的即時(shí)通信系統(tǒng)的控制服務(wù)器軟件結(jié)構(gòu)方框圖；圖4為本發(fā)明提供的一種基于網(wǎng)絡(luò)的多語種語音和/或文字信息的即時(shí)互譯通信系統(tǒng)的基于int erne t的即時(shí)通信系統(tǒng)的客戶端結(jié)構(gòu)方框圖；圖5為本發(fā)明提供的一種基于網(wǎng)絡(luò)的多語種語音和/或文字信息的即時(shí)互譯通信系統(tǒng)的基于internet的即時(shí)通信系統(tǒng)的組件客戶端軟件與IE瀏覽器結(jié)合及與獨(dú)立客戶端軟件的通信翻譯方框圖；圖6為本發(fā)明提供的一種基于網(wǎng)絡(luò)的多語種語音和/或文字信息的即時(shí)互譯通信系統(tǒng)的基于internet的即時(shí)通信系統(tǒng)的組件客戶端軟件表現(xiàn)在瀏覽器形式示意圖；圖7為本發(fā)明提供的一種基于網(wǎng)絡(luò)的多語種語音和/或文字信息的即時(shí)互譯通信系統(tǒng)的基于PSTN公共電話網(wǎng)或無線移動(dòng)電話網(wǎng)的系統(tǒng)的電話終端與翻譯服務(wù)器的結(jié)合示意圖；圖8為本發(fā)明提供的一種基于網(wǎng)絡(luò)的多語種語音和/或文字信息的即時(shí)互譯通信系統(tǒng)的通信方法的流程圖。
具體實(shí)施例方式
本發(fā)明提供的一種基于網(wǎng)絡(luò)的多語種語音和/或文字信息的即時(shí)互譯通信系統(tǒng)的一個(gè)具體實(shí)施例是一種基于internet的即時(shí)互譯通信系統(tǒng)，其實(shí)現(xiàn)需要結(jié)合Internet技術(shù)、語音識(shí)別(ASR)技術(shù)，語音合成(TTS)技術(shù)，翻譯引擎技術(shù)，語音CODEC、視頻CODEC、TCP/IP、數(shù)據(jù)庫技術(shù)和軟件技術(shù)等多種技術(shù)，為用戶提供實(shí)時(shí)通信中的語音文字翻譯系統(tǒng)平臺(tái)，從而使用戶從發(fā)起語音訪問或文本信息開始，啟動(dòng)語音識(shí)別引擎，將人說話的語音信號(hào)轉(zhuǎn)換為可被計(jì)算機(jī)程序所識(shí)別的文字信息，從而識(shí)別說話人的語音指令以及文字內(nèi)容。由翻譯引擎服務(wù)器發(fā)起關(guān)聯(lián)，實(shí)現(xiàn)多語錄種語音文字在通信中即時(shí)翻譯。
下面結(jié)合附圖詳細(xì)描述本發(fā)明提供的一種基于網(wǎng)絡(luò)的多語種語音和/或文字信息的即時(shí)互譯通信系統(tǒng)的具體實(shí)施例實(shí)施例一基于internet的即時(shí)互譯通信系統(tǒng)。
1.系統(tǒng)整體結(jié)構(gòu)基于internet的即時(shí)互譯通信系統(tǒng)由控制服務(wù)器、數(shù)據(jù)庫服務(wù)器、多語種語音文字翻譯服務(wù)器構(gòu)成的服務(wù)器端設(shè)備和由客戶機(jī)構(gòu)成的用戶終端設(shè)備通過internet聯(lián)接構(gòu)成。其中客戶機(jī)包括客戶機(jī)主機(jī)、internet接入設(shè)備和語音視頻設(shè)備。
參考圖1，客戶機(jī)主機(jī)1由Internet接入設(shè)備10接入internet。多語種語音文字翻譯服務(wù)器4提供internet即時(shí)通信中的即時(shí)互翻譯服務(wù)；控制服務(wù)器7完成通信過程的信令控制及狀態(tài)管理；數(shù)據(jù)庫服務(wù)器8提供數(shù)據(jù)庫服務(wù)。
語音視頻設(shè)備3為客戶機(jī)主機(jī)1的輸入設(shè)備，負(fù)責(zé)為該客戶機(jī)主機(jī)1輸入語音視頻信息。
在本發(fā)明提供的一個(gè)實(shí)施例中，還提供了用于HTML與VOICEXML轉(zhuǎn)換的VoiceXML語音網(wǎng)關(guān)6，其與提供互聯(lián)網(wǎng)服務(wù)的www服務(wù)器5共同提供用戶訪問www網(wǎng)的服務(wù)。
在多語種語音文字翻譯服務(wù)器4中部署有用于語音及文字信息即時(shí)翻譯的多語種語音文字翻譯引擎軟件、語音識(shí)別(ASR)引擎軟件，語音合成(TTS)引擎軟件，語音通道軟件；客戶機(jī)主機(jī)1中則部署有通信信令控制和管理、數(shù)據(jù)傳輸控制、數(shù)據(jù)安全管理、語音數(shù)據(jù)處理、視頻數(shù)據(jù)處理、語音及文字信息即時(shí)翻譯、文字?jǐn)?shù)據(jù)處理、文件傳輸、留言(語音、文字和/或視頻)管理、自動(dòng)更新支持、IVR支持和硬件設(shè)備支持等功能，可獨(dú)立運(yùn)行的獨(dú)立客戶端軟件和/或與所述獨(dú)立客戶端軟件功能一致，但需要與瀏覽器結(jié)合運(yùn)行的組件客戶端軟件和用于語音及文字信息即時(shí)翻譯的多語種語音文字翻譯引擎軟件、語音識(shí)別(ASR)引擎軟件，語音合成(TTS)引擎軟件，語音通道軟件；數(shù)據(jù)庫服務(wù)器8中還可部署用于語音標(biāo)記語言與關(guān)系型數(shù)據(jù)庫的相互轉(zhuǎn)換的XML-DB轉(zhuǎn)換模塊。
系統(tǒng)通信的過程即客戶機(jī)主機(jī)中的獨(dú)立客戶端軟件或組件客戶端軟件之間的交互通信過程。這一過程即internet即時(shí)通信(IM)過程，該技術(shù)為公知技術(shù)，這里不在贅述。當(dāng)其中任意兩臺(tái)客戶機(jī)主機(jī)通過獨(dú)立客戶端軟件或組件客戶端軟件交互通信時(shí)，發(fā)信息的一方我們稱之為發(fā)送端，接收信息的一方我們稱之為接收端，當(dāng)然，任一客戶機(jī)主機(jī)既可以做發(fā)送端也可以做接收端，因此，我們把通信雙方稱為第一發(fā)送/接收端和第二發(fā)送/接收端。一次單向通信的過程即是第一發(fā)送/接收端發(fā)出信息，在控制服務(wù)器7的控制下，通過多語種語音文字翻譯服務(wù)器4的翻譯，發(fā)送到第二發(fā)送/接收端時(shí)即是經(jīng)過翻譯的語音文字信息了。
需要說明的是該系統(tǒng)的整體組成具有可伸縮性，客戶機(jī)主機(jī)中可以部署翻譯引擎，語音識(shí)別引擎ASR，語音合成引擎TTS，語音通道等軟件，也可以不部署。數(shù)據(jù)庫服務(wù)器8、控制服務(wù)器7、www服務(wù)器5、客戶機(jī)主機(jī)1、VoiceXML語音網(wǎng)關(guān)6在數(shù)量上是不限的。
2.控制服務(wù)器的功能及實(shí)現(xiàn)所述控制服務(wù)器的主要功能包括通信信令控制和管理、用戶管理、權(quán)限控制、數(shù)據(jù)存儲(chǔ)和中轉(zhuǎn)、客戶端管理、計(jì)費(fèi)管理、數(shù)據(jù)安全管理等。通信信令由自主設(shè)計(jì)，用于支持客戶端呼叫、尋找、建立連接、狀態(tài)控制、數(shù)據(jù)交換和中轉(zhuǎn)、防火墻偵測(cè)和穿透等，翻譯引擎，語音識(shí)別引擎ASR，語音合成引擎TTS，語音識(shí)別與轉(zhuǎn)換控制等，采用TCP/IP協(xié)議棧提供的SOCKET接口函數(shù)實(shí)現(xiàn)。用戶管理主要對(duì)用戶的相關(guān)資料和數(shù)據(jù)進(jìn)行管理，應(yīng)用本系統(tǒng)的每個(gè)用戶(包括企業(yè)用戶和個(gè)人用戶)都有至少一個(gè)獨(dú)立的標(biāo)識(shí)號(hào)碼，權(quán)限控制用于實(shí)現(xiàn)權(quán)限管理和控制，數(shù)據(jù)存儲(chǔ)和中轉(zhuǎn)用于管理臨時(shí)數(shù)據(jù)，客戶端管理實(shí)現(xiàn)客戶端版本控制和自動(dòng)版本更新功能，用戶管理、權(quán)限控制、數(shù)據(jù)存儲(chǔ)和中轉(zhuǎn)和客戶端結(jié)合數(shù)據(jù)庫存技術(shù)進(jìn)行實(shí)現(xiàn)。計(jì)費(fèi)管理用于系統(tǒng)訪問量化或可能用于計(jì)費(fèi)的未來部署。數(shù)據(jù)安全管理用于支持?jǐn)?shù)據(jù)的安全傳輸，數(shù)據(jù)的安全傳輸采用通用的對(duì)稱密鑰算法和非對(duì)稱密鑰算法機(jī)制，具體算法涉及RSA、MD5和DES/3DES。
參考圖3，控制服務(wù)器軟件結(jié)構(gòu)方框圖中，控制功能服務(wù)器采用分層結(jié)構(gòu)設(shè)計(jì)，數(shù)據(jù)傳輸控制層C02，通過網(wǎng)絡(luò)傳輸層(TCP/IP協(xié)議棧)C01提供的TCP/IP開發(fā)接口完成數(shù)據(jù)傳輸；數(shù)據(jù)安全管理層C03采用數(shù)據(jù)傳輸控制層C02提供的接口完成數(shù)據(jù)的安全傳輸；通信信令的控制和管理C04采用數(shù)據(jù)安全管理層C03提供的接口完成通信信令和數(shù)據(jù)的傳輸；應(yīng)用功能層部分(包括客戶端管理C07、數(shù)據(jù)存儲(chǔ)和中轉(zhuǎn)C06、用戶管理C10、權(quán)限控制C08、計(jì)費(fèi)管理C09)采用通信信令的控制和管理C04、數(shù)據(jù)安全管理層C03、數(shù)據(jù)傳輸控制層C02實(shí)現(xiàn)具體的功能，同時(shí)應(yīng)用功能層部分還需要結(jié)合數(shù)據(jù)庫系統(tǒng)；系統(tǒng)的獨(dú)立客戶端C13、組件客戶端C14、翻譯引擎，語音識(shí)別引擎ASR，語音合成引擎TTS，語音通道C 15主要通過應(yīng)用功能層和控制服務(wù)器進(jìn)行通信。
3.系統(tǒng)的軟件系統(tǒng)結(jié)構(gòu)系統(tǒng)的軟件系統(tǒng)整體上采用C/S結(jié)構(gòu)，即客戶端/服務(wù)器結(jié)構(gòu)。其中服務(wù)器端軟件作為獨(dú)立的應(yīng)用(或服務(wù))來運(yùn)行，結(jié)合軟件分布式技術(shù)，根據(jù)客戶端數(shù)量，服務(wù)器端軟件可以部署在一臺(tái)或多臺(tái)計(jì)算機(jī)上，從而平衡服務(wù)器端流量，服務(wù)器主要完成一些控制功能，我們把服務(wù)器叫做控制服務(wù)器?？蛻舳塑浖捎脙煞N方式來實(shí)現(xiàn)即可以獨(dú)立運(yùn)行的客戶端(我們稱之為獨(dú)立客戶端)和作為軟件組件形式的客戶端(我們稱之為組件客戶端)。獨(dú)立客戶端是一個(gè)獨(dú)立的應(yīng)用程序，可以單獨(dú)運(yùn)行；組件客戶端為一個(gè)ActiveX控件，需要在其他應(yīng)用程序容器中運(yùn)行，如瀏覽器。在本發(fā)明的一個(gè)具體實(shí)施例中，根據(jù)具體的應(yīng)用形式，該ActiveX控件可以部署在IE瀏覽器并與其結(jié)合。
IM即時(shí)通信可以通過啟動(dòng)IE運(yùn)行組件客戶端，也可直接運(yùn)行獨(dú)立客戶端，發(fā)起通信時(shí)與翻譯引擎發(fā)生關(guān)聯(lián)完成翻譯?？蛻舳撕头?wù)器端通過TCP/IP協(xié)議進(jìn)行通信。
參考圖2，軟件系統(tǒng)結(jié)構(gòu)方框圖中，軟件系統(tǒng)整體上包括控制服務(wù)器和客戶端兩部分，控制服務(wù)器采用分層的設(shè)計(jì)結(jié)構(gòu)，即控制服務(wù)器由數(shù)據(jù)傳輸控制B02、數(shù)據(jù)安全管理B03、通信信令控制與管理B04、應(yīng)用處理層(包括語音文字翻譯引擎，語音識(shí)別引擎ASR，語音合成引擎TTS，語音通道(上述這4個(gè)部分本圖未示，詳見圖3)，語音部分B06、視頻部分B07、數(shù)據(jù)存儲(chǔ)和中轉(zhuǎn)B08、權(quán)限控制B09、客戶端管理B10等子系統(tǒng))等部分組成?？蛻魴C(jī)也采用分層設(shè)計(jì)結(jié)構(gòu)，并且和服務(wù)器端具有對(duì)應(yīng)的分層處理?？蛻魴C(jī)和服務(wù)器通過網(wǎng)絡(luò)傳輸層(TCP/IP協(xié)議棧進(jìn)行直接的數(shù)據(jù)通信)，另外，系統(tǒng)還包括數(shù)據(jù)庫服務(wù)器B11。
4.客戶端功能及實(shí)現(xiàn)客戶機(jī)的軟件功能實(shí)現(xiàn)包括獨(dú)立客戶端軟件和組件客戶端軟件兩種方式，兩種方式在功能實(shí)現(xiàn)上基本一致，獨(dú)立客戶端是全功能客戶機(jī)，除擔(dān)負(fù)基本通信功能外，還具備翻譯引擎功能，企業(yè)端還作為語音、視頻、文字、文件等多語種語音文字信息編譯端、組件客戶端不能獨(dú)立運(yùn)行，但可以集成在其它容器當(dāng)中，作為其他客戶機(jī)的一部分。客戶端的功能包括通信信令控制和管理、數(shù)據(jù)傳輸控制、數(shù)據(jù)安全管理、語音數(shù)據(jù)處理、視頻數(shù)據(jù)處理、文字消息處理、文件傳輸、留言(語音、文字和視頻)管理、自動(dòng)更新支持、IVR支持和硬件設(shè)備支持等?？蛻舳送ㄐ判帕羁刂坪凸芾砗头?wù)器端通信信令控制和管理功能配合，完成語音識(shí)別ASR，語音轉(zhuǎn)換TTS，翻譯引擎完成多語種互翻譯，完成VOIP呼叫、尋的，建立連接、狀態(tài)控制、數(shù)據(jù)交換和中轉(zhuǎn)、防火墻偵測(cè)和穿透等功能，數(shù)據(jù)傳輸控制用于完成數(shù)據(jù)的實(shí)時(shí)傳輸控制、自適應(yīng)帶寬控制、非實(shí)時(shí)數(shù)據(jù)的傳輸，客戶端通信信令控制和數(shù)據(jù)傳輸控制采用TCP/IP協(xié)議棧實(shí)現(xiàn)；客戶端數(shù)據(jù)安全管理和服務(wù)器端數(shù)據(jù)安全管理互相配合，完成數(shù)據(jù)安全傳輸，采用通用的對(duì)稱密鑰算法和非對(duì)稱密鑰算法機(jī)制，非對(duì)稱密鑰算法采用RSA，對(duì)稱密鑰算法采用DES/3DES，哈希算法采用MD5；語音數(shù)據(jù)處理包括語音的實(shí)時(shí)捕獲、編碼解碼(CODEC)、傳輸、回放，視頻數(shù)據(jù)處理包括視頻的實(shí)時(shí)捕獲、編碼解碼(CODEC)、傳輸、播放，語音和視頻的編碼遵循國際的語音和視頻編碼解碼算法；文字消息處理完成即時(shí)的文字信息傳輸，文件傳輸用于傳輸文件數(shù)據(jù)，文字消息處理和文件傳輸都采用密文的方式進(jìn)行傳輸；自動(dòng)更新支持完成客戶端軟件的自動(dòng)升級(jí)；IVR支持完成交互式的語音、視頻、圖文響應(yīng)，通信連接的一端根據(jù)另一端的操作，自動(dòng)響應(yīng)，向另一端播放或者顯示語音、視頻、圖文內(nèi)容。
參考圖4，客戶端結(jié)構(gòu)方框圖中，客戶端采用分層結(jié)構(gòu)設(shè)計(jì)，數(shù)據(jù)傳輸層D02、數(shù)據(jù)安全管理D03、通信信令控制和管理D04和控制服務(wù)器基本對(duì)應(yīng)，但在客戶端數(shù)據(jù)傳輸層D02中，實(shí)現(xiàn)實(shí)時(shí)傳輸控制、自適應(yīng)傳輸控制及非實(shí)時(shí)傳輸控制；在功能層D05中，包括版本更新、文字消息、文件傳輸、留言管理、IVR管理；翻譯引擎，語音識(shí)別ASR，語音轉(zhuǎn)換TTS以及音頻和視頻的處理功能。
5.組件客戶端軟件與IE瀏覽器結(jié)合及與獨(dú)立客戶端軟件的通信翻譯基于IM的組件客戶端軟件與獨(dú)立客戶端軟件是系統(tǒng)客戶端軟件的兩種方式，兩種方式在功能實(shí)現(xiàn)上基本一致，在進(jìn)行通信時(shí)，無論是組件客戶端軟件還是獨(dú)立客戶端軟件，都具備一個(gè)獨(dú)立的標(biāo)識(shí)碼，組件客戶端軟件可以直接呼叫組件客戶端軟件，也可呼叫獨(dú)立客戶端軟件，反之也然，INTERNET端對(duì)端通信，二種客戶端軟件都需要數(shù)據(jù)庫服務(wù)器及數(shù)據(jù)控制服務(wù)器常連接，由次完成系統(tǒng)通信信令控制和管理、用戶管理、權(quán)限控制、數(shù)據(jù)存儲(chǔ)和中轉(zhuǎn)、客戶端管理、計(jì)費(fèi)管理、數(shù)據(jù)安全管理等；當(dāng)客戶端對(duì)另一端發(fā)起呼叫、尋找、建立連接時(shí)，除獨(dú)立客戶端之間的通信外，其它的呼叫請(qǐng)求首先被發(fā)往翻譯服務(wù)器，由翻譯引擎執(zhí)行翻譯，如A端的用戶使用的語種是中文，對(duì)端B用戶是用的語種是英文，無論發(fā)出的是語音或文本信息，都有ASR，TTS及翻譯引擎關(guān)聯(lián)完成通信中的翻譯，獨(dú)立客戶端軟件之間的通信其翻譯將根據(jù)發(fā)起端與受話端的語音或文字的語種選擇由本地客戶端完成。
在圖5中企業(yè)可通過部署WWW服務(wù)器為用戶提供語音信息服務(wù)，企業(yè)被訪問時(shí)需要首先播放的語音文件通過VoiceXML語音網(wǎng)關(guān)，XML與DB模塊，語音通道，翻譯引擎等關(guān)聯(lián)即可實(shí)現(xiàn)。
6.組件客戶端軟件與IE瀏覽器結(jié)合組件客戶端軟件可以在IE瀏覽容器環(huán)境運(yùn)行，可以通過客戶端瀏覽器腳本語言，實(shí)現(xiàn)作為軟件組件形式的客戶端與IE瀏覽容器結(jié)合。直接生成于IE框上，當(dāng)IE啟動(dòng)時(shí)組件客戶端被激活。
在圖5中，組件客戶端與IE瀏覽容器結(jié)合中，Internet用戶利用瀏覽器E01在語音通道呼叫目標(biāo)用戶或發(fā)送文本信息，經(jīng)ASR，TTS，翻譯引擎實(shí)現(xiàn)多語種語音及文本信息在通信中完成即時(shí)翻譯，組件客戶端軟件還可關(guān)聯(lián)控制服務(wù)器及數(shù)據(jù)庫服務(wù)器，控制服務(wù)器把數(shù)據(jù)庫服務(wù)器關(guān)于站點(diǎn)的信息由VoiceXML語音網(wǎng)關(guān)把HTML轉(zhuǎn)換成VXML，客戶端獲取語音信息。組件客戶端完成通信中的即時(shí)翻譯。
組件客戶端軟件嵌入到IE瀏覽器，其表現(xiàn)形式是控件元素，控件元素可以是一個(gè)按鈕、圖標(biāo)、圖片、文字、鏈接，也可是其他別的可視的內(nèi)容。參考圖6，組件客戶端軟件以控件的形式表現(xiàn)在IE瀏覽器中。用戶通過直接操作或呼叫或用鼠標(biāo)、鍵盤、或者其他輸入設(shè)備來點(diǎn)擊控件元素發(fā)起關(guān)聯(lián)通信。
實(shí)施例二基于PSTN公共電話網(wǎng)或無線移動(dòng)電話網(wǎng)的即時(shí)互譯通信系統(tǒng)。
本發(fā)明的另一個(gè)實(shí)施例中提供了一種基于傳統(tǒng)的PSTN公共電話網(wǎng)或無線移動(dòng)電話網(wǎng)(GSM，CDMA，3G，SMS等通信方式)的多語種語音，文字的即時(shí)通信翻譯系統(tǒng)，仍按客戶端/服務(wù)器結(jié)構(gòu)形式構(gòu)建，如圖7，圖中PSTN公共電話網(wǎng)及移動(dòng)電話網(wǎng)中的電話終端用戶作為客戶端，在PSTN及移動(dòng)電話網(wǎng)的交換中心部署一臺(tái)或多臺(tái)翻譯服務(wù)器，由控制服務(wù)器實(shí)施管理，服務(wù)器端具有文字消息翻譯傳輸、留言管理、IVR管理；翻譯引擎，翻譯模塊，語音識(shí)別ASR，語音轉(zhuǎn)換TTS以及音頻的處理功能。
當(dāng)終端用戶發(fā)起語音通話時(shí)，經(jīng)電話終端語音通道被送往翻譯服務(wù)器，服務(wù)器根據(jù)主叫用戶或被叫用戶的語種選擇執(zhí)行翻譯，通信中即時(shí)翻譯完成。
當(dāng)終端用戶發(fā)起移動(dòng)網(wǎng)或固網(wǎng)的SMS短信通信時(shí)，短信中心將文本信息送翻譯服務(wù)器，返回結(jié)果由短信中心送達(dá)被叫，用戶回復(fù)短信流程相同。
圖8是本發(fā)明提供的一種基于網(wǎng)絡(luò)的多語種語音和/或文字信息的即時(shí)互譯通信系統(tǒng)的通信方法的流程圖。系統(tǒng)初始化步驟具體實(shí)現(xiàn)為用戶啟動(dòng)組件客戶端軟件或獨(dú)立客戶端軟件或在公共電信網(wǎng)或移動(dòng)通信網(wǎng)中用電話終端執(zhí)行撥號(hào)；第一發(fā)送/接收端發(fā)送信息通過網(wǎng)絡(luò)到服務(wù)器步驟具體實(shí)現(xiàn)為IM用戶使用組件客戶端軟件或獨(dú)立客戶端軟件通過語音視頻設(shè)備發(fā)起語音呼叫，或用鍵盤發(fā)送文本信息，公共電信網(wǎng)中或移動(dòng)通信網(wǎng)電話終端用戶開始通話或發(fā)送SMS短信；服務(wù)器響應(yīng)并將信息翻譯成指定語種信息步驟具體實(shí)現(xiàn)為系統(tǒng)發(fā)起關(guān)聯(lián)通信并激活翻譯引擎，翻譯成對(duì)應(yīng)語種的語音及文字信息；服務(wù)器將翻譯完的信息通過網(wǎng)絡(luò)發(fā)送到第二發(fā)送/接收端步驟具體實(shí)現(xiàn)為IM用戶的信息接收端是獨(dú)立客戶端軟件或組件客戶端軟件，公共電信網(wǎng)或移動(dòng)通信網(wǎng)的用戶的信心接收端是電話終端，各網(wǎng)絡(luò)的服務(wù)器將把翻譯好的信息傳送給各自的接收端；然后一次單向通信結(jié)束。此過程可根據(jù)用戶需要不斷進(jìn)行，所述第一發(fā)送/接收端設(shè)備和第二發(fā)送接收端設(shè)備將交互的發(fā)送和接收信息，各自使用各自的語言，能夠無障礙的交流。
以上所揭露的僅為本發(fā)明較佳實(shí)施例而已，當(dāng)然不能以此來限定本發(fā)明之權(quán)利范圍，因此依本發(fā)明申請(qǐng)專利范圍所作的等同變化，仍屬本發(fā)明所涵蓋的范圍。
權(quán)利要求
1.一種基于網(wǎng)絡(luò)的多語種語音和/或文字信息的即時(shí)互譯通信系統(tǒng)，包括用戶終端設(shè)備和服務(wù)器端設(shè)備，所述用戶終端設(shè)備和服務(wù)器端設(shè)備分別與網(wǎng)絡(luò)聯(lián)通，通過該網(wǎng)絡(luò)進(jìn)行通信，其特征是所述服務(wù)器端設(shè)備包括用于通信信令控制和管理、用戶管理、權(quán)限控制、數(shù)據(jù)存儲(chǔ)和中轉(zhuǎn)、客戶端管理、計(jì)費(fèi)管理、數(shù)據(jù)安全管理的控制服務(wù)器；用于語音及文字信息的即時(shí)翻譯的多語種語音文字翻譯服務(wù)器，所述用戶終端設(shè)備包括至少一個(gè)第一發(fā)送/接收端設(shè)備；至少一個(gè)第二發(fā)送/接收端設(shè)備，當(dāng)使用所述第一發(fā)送/接收端設(shè)備通過所述網(wǎng)絡(luò)與所述第二發(fā)送/接收端設(shè)備通信時(shí)，所述控制服務(wù)器控制所述翻譯服務(wù)器將所述第一發(fā)送/接收端設(shè)備發(fā)送的語音或文字信息翻譯成對(duì)應(yīng)語種的語音或文字信息并發(fā)送到所述第二發(fā)送/接收端設(shè)備上，該系統(tǒng)既能實(shí)現(xiàn)一個(gè)語種對(duì)應(yīng)另一語種的即時(shí)語音和/或文字的即時(shí)通信翻譯，也能實(shí)現(xiàn)一個(gè)語種對(duì)多個(gè)語種的語音和/或文字即時(shí)通信翻譯。
2.如權(quán)利要求1所述的一種基于網(wǎng)絡(luò)的多語種語音和/或文字信息的即時(shí)互譯通信系統(tǒng)，其特征在于所述翻譯服務(wù)器部署有用于語音及文字信息即時(shí)翻譯的多語種語音文字翻譯引擎軟件、語音識(shí)別(ASR)引擎軟件，語音合成(TTS)引擎軟件，語音通道軟件。
3.如權(quán)利要求2所述的一種基于網(wǎng)絡(luò)的多語種語音和/或文字信息的即時(shí)互譯通信系統(tǒng)，其特征在于所述網(wǎng)絡(luò)為互聯(lián)網(wǎng)(internet)；所述第一發(fā)送/接收端設(shè)備和第二發(fā)送/接收端設(shè)備為客戶機(jī)，該客戶機(jī)包括客戶機(jī)主機(jī)，該客戶機(jī)主機(jī)部署有具有通信信令控制和管理、數(shù)據(jù)傳輸控制、數(shù)據(jù)安全管理、語音數(shù)據(jù)處理、視頻數(shù)據(jù)處理、語音及文字信息即時(shí)翻譯、文字?jǐn)?shù)據(jù)處理、文件傳輸、留言(語音、文字和/或視頻)管理、自動(dòng)更新支持、IVR支持和硬件設(shè)備支持等功能，可獨(dú)立運(yùn)行的獨(dú)立客戶端軟件和/或與所述獨(dú)立客戶端軟件功能一致，但需要與瀏覽器結(jié)合運(yùn)行的組件客戶端軟件和用于語音及文字信息即時(shí)翻譯的多語種語音文字翻譯引擎軟件、語音識(shí)別(ASR)引擎軟件，語音合成(TTS)引擎軟件，語音通道軟件；所述客戶機(jī)還包括用于語音和視頻信號(hào)的捕獲和轉(zhuǎn)換的語音視頻設(shè)備和與所述互聯(lián)網(wǎng)相聯(lián)接的internet接入設(shè)備；所述服務(wù)器端設(shè)備還包括用于數(shù)據(jù)操作和存儲(chǔ)的數(shù)據(jù)庫服務(wù)器。
4.如權(quán)利要求3所述的一種基于網(wǎng)絡(luò)的多語種語音和/或文字信息的即時(shí)互譯通信系統(tǒng)，其特征在于所述數(shù)據(jù)庫服務(wù)器還部署有語音標(biāo)記語言與關(guān)系型數(shù)據(jù)庫相互轉(zhuǎn)換的XML-DB轉(zhuǎn)換模塊，所述服務(wù)器端設(shè)備還包括VoiceXML語音網(wǎng)關(guān)；和用于信息發(fā)布和采集及所述組件客戶端軟件部署的WWW服務(wù)器。
5.如權(quán)利要求2所述的一種基于網(wǎng)絡(luò)的多語種語音和/或文字信息的即時(shí)互譯通信系統(tǒng)，其特征在于所述網(wǎng)絡(luò)為PSTN公共電話網(wǎng)或無線移動(dòng)電話網(wǎng)，所述第一發(fā)送/接收端設(shè)備和第二發(fā)送/接收端設(shè)備為固定電話或移動(dòng)電話，所述翻譯服務(wù)器還部署有語音標(biāo)記語言與關(guān)系型數(shù)據(jù)庫相互轉(zhuǎn)換的XML-DB轉(zhuǎn)換模塊。
6.如權(quán)利要求5所述的一種基于網(wǎng)絡(luò)的多語種語音和/或文字信息的即時(shí)互譯通信系統(tǒng)，其特征在于所述無線移動(dòng)電話網(wǎng)的通信方式為GSM，CDMA，3G，SMS通信方式。
7.如權(quán)利要求3所述的一種基于網(wǎng)絡(luò)的多語種語音和/或文字信息的即時(shí)互譯通信系統(tǒng)，其特征在于所述瀏覽器為IE瀏覽器，該IE瀏覽器與所述組件客戶端軟件結(jié)合的形式是組件客戶端軟件設(shè)計(jì)為瀏覽器組件或插件元素。
8.一種基于如權(quán)利要求1所述的基于網(wǎng)絡(luò)的多語種語音和/或文字信息的即時(shí)互譯通信系統(tǒng)的通信方法，其特征在于一次單向通信包括如下步驟(1)系統(tǒng)初始化；(2)所述第一發(fā)送/接收端設(shè)備發(fā)送語音和/或文字信息通過所述網(wǎng)絡(luò)到達(dá)所述服務(wù)器端設(shè)備；(3)所述控制服務(wù)器控制所述翻譯服務(wù)器將所述語音和/或文字信息翻譯成對(duì)應(yīng)語種的語音和/或文字信息并通過網(wǎng)絡(luò)發(fā)送到第二發(fā)送/接收端設(shè)備；(4)一次單向通信結(jié)束。
9.如權(quán)利要求8所述的一種基于網(wǎng)絡(luò)的多語種語音和/或文字信息的即時(shí)互譯通信系統(tǒng)的通信方法，其特征在于所述網(wǎng)絡(luò)為互聯(lián)網(wǎng)(internet)；所述第一發(fā)送/接收端設(shè)備和第二發(fā)送/接收端設(shè)備為客戶機(jī)，該客戶機(jī)部署有可獨(dú)立運(yùn)行的獨(dú)立客戶端軟件和/或與所述獨(dú)立客戶端軟件功能一致，但需要與瀏覽器結(jié)合運(yùn)行的組件客戶端軟件和用于語音及文字信息即時(shí)翻譯的多語種語音文字翻譯引擎軟件、語音識(shí)別(ASR)引擎軟件，語音合成(TTS)引擎軟件，語音通道軟件；該客戶機(jī)還包括用于語音和視頻信號(hào)的捕獲和轉(zhuǎn)換的語音視頻設(shè)備和與所述互聯(lián)網(wǎng)相聯(lián)接的internet接入設(shè)備；所述服務(wù)器端設(shè)備還包括用于數(shù)據(jù)操作和存儲(chǔ)的數(shù)據(jù)庫服務(wù)器。
10.如權(quán)利要求8所述的一種基于網(wǎng)絡(luò)的多語種語音和/或文字信息的即時(shí)互譯通信系統(tǒng)的通信方法，其特征在于所述網(wǎng)絡(luò)為PSTN公共電話網(wǎng)或無線移動(dòng)電話網(wǎng)，所述第一發(fā)送/接收端設(shè)備和第二發(fā)送/接收端設(shè)備為固定電話或移動(dòng)電話。
全文摘要
本發(fā)明提供了一種基于網(wǎng)絡(luò)的多語種語音、文字的即時(shí)互譯通信系統(tǒng)，尤指基于INTERNET的即時(shí)通信(IM)，PSTN公共電話網(wǎng)，其它無線移動(dòng)電話網(wǎng)(GSM，CDMA，3G，SMS等通信方式)的多語種語音、文字的即時(shí)互譯通信系統(tǒng)。該系統(tǒng)由用戶終端設(shè)備和服務(wù)器端設(shè)備組成，兩設(shè)備分別與網(wǎng)絡(luò)聯(lián)通，通過網(wǎng)絡(luò)進(jìn)行通信，服務(wù)器端設(shè)備包括控制服務(wù)器和多語種語音文字翻譯服務(wù)器，用戶終端設(shè)備包括至少一個(gè)第一發(fā)送/接收端設(shè)備和至少一個(gè)第二發(fā)送/接收端設(shè)備。系統(tǒng)能實(shí)現(xiàn)一個(gè)語種對(duì)應(yīng)另一語種的語音或文字的實(shí)時(shí)通信翻譯，也能實(shí)現(xiàn)一個(gè)語種對(duì)多個(gè)語種受眾的語音或文字實(shí)時(shí)通信翻譯。此外本發(fā)明還公開了基于該系統(tǒng)的一種通信方法。
文檔編號(hào)G10L13/00GK1770747SQ200510100298
公開日2006年5月10日 申請(qǐng)日期2005年10月17日 優(yōu)先權(quán)日2005年10月17日
發(fā)明者陳漢奕 申請(qǐng)人:陳漢奕