的漢英翻譯（Chinese-to-English)以及從日語到英語的日英翻譯 (Japanese-to-English)來進(jìn)行。另外，實(shí)驗(yàn)結(jié)果表示在圖3以及圖4中。另外，如將在下 文中進(jìn)行說明的那樣，圖3、圖4表示漢英翻譯以及日英翻譯中各個(gè)模型的翻譯性能評(píng)價(jià)的 實(shí)驗(yàn)結(jié)果。
[0112] 在漢英翻譯（圖3、圖4的"Chinese-to-English"）中，訓(xùn)練數(shù)據(jù)使用了具有240K 譯文對(duì)的FBIS語料庫（新領(lǐng)域）。另外，開發(fā)集（Development Set)使用了 NIST02評(píng)價(jià)數(shù) 據(jù)。開發(fā)測(cè)試數(shù)據(jù)為NIST05。另外，測(cè)試數(shù)據(jù)集使用了 NIST06以及NIST08。此外，NIST02、 NIST05、NIST06、NIST08評(píng)價(jià)數(shù)據(jù)分別由878句、1082句、1664句、1357句構(gòu)成，是從報(bào)紙報(bào) 道和博客等各種話題的報(bào)道中選取出來的，并且是對(duì)各個(gè)句子賦予了四種英語參考譯文的 數(shù)據(jù)。
[0113] 在日英翻譯（圖3、圖4的"Japanese-to-English"）中，訓(xùn)練數(shù)據(jù)使用了 300K 譯文對(duì)。該譯文對(duì)是從NTCIR專利任務(wù)（參照"Atsushi Fujii, Masao Utiyama, Mikio Yamamoto, and TakehitoUtsuro. 2010.0 verview of the patent translation task at the ntcir-8 workshop. In Proceedings of the 8th NTCIR Workshop Meeting on Evaluation of Information Access Technologies:Information Retrieval, Question Answering and Cross-lingual Information Access，pages 293-302·"）中取得的D 另外，開發(fā)集、開 發(fā)測(cè)試數(shù)據(jù)以及兩個(gè)測(cè)試數(shù)據(jù)集是從平均4000個(gè)句子中抽取出來的。設(shè)這四個(gè)數(shù)據(jù)集為 testl、test2、test3、test4。此外，在圖 3、圖 4 中;^出了 test2、test3、test4。
[0114] 在本實(shí)驗(yàn)中，為了取得各個(gè)句子對(duì)中的詞語對(duì)齊（Word Alignment)，在訓(xùn)練 語料庫上雙方向執(zhí)行了 GIZA++(參照 "Franz Josef Och and Hermann Ney. 2000. Improved statistical alignment models. In Proceedings of the 38th Annual Meeting on Association for Computational Linguistics，ACL'00,pages 440-447,Stroudsburg, PA, USA. Association for Computational Linguistics. "）。
[0115] 另外，為了修正 Kneser-Ney 平滑（Kneser-Ney Smoothing)，使用了 SRILM 工具包 (參照 "Andreas Stolcke. 2002. Srilm-an extensible language modeling toolkit. In Proc. of ICSLP. "）D而且，為了漢英翻譯（英文十億詞語料庫（English Gigaword Corpus) 上的新華（Xinhua)部分），學(xué)習(xí)了 4-gram語言模型。另外，為了訓(xùn)練數(shù)據(jù)的目標(biāo)側(cè)中的日 英翻譯，學(xué)習(xí)了 4-gram語言模型。
[0116] 在本實(shí)驗(yàn)中，在翻譯性能的評(píng)價(jià)中使用了區(qū)分大寫字母和小寫字母的BLEU4方法 的測(cè)度 4(Metrics4)(參照 "Kishore Papineni，Salim Roukos，ToddWard，and Wei-Jing Zhu. 2002. Bleu: a method for automatic evaluation of machine translation. In Proceedings of 40th Annual Meeting of the Association for Computational Linguistics,pages 311-318, Philadelphia, Pennsylvania, USA, July. Association for Computational Linguistics. "）另外，顯著性檢驗(yàn)通過一組自展重抽樣（Bootstrap Resampling)(參照"Philipp Koehn. 2004b. Statistical significance tests for machine translation evaluation. In Proc. of EMNLP. ACL. "）進(jìn)行。
[0117] 另外，我們將自制的基于層次化短語的翻譯系統(tǒng)（參照"David Chiang.2005. A hierarchical phrase-based model for statistical machine translation. In Proceedings of the 43rd Annual Meeting on Association for Computational Linguistics，ACLi 05, pages 263-270,Stroudsburg, PA, USA. Association for Computational Linguistics·"）作為基線系統(tǒng)加以使用D該系統(tǒng)設(shè)定"beam-size(柱 尺寸）=100" "k-best-size (k 最優(yōu)尺寸）=100" 等，與 Hiero 系統(tǒng)（參照 "David Chiang. 2005.A hierarchical phrase-based model for statistical machine translation.In Proceedings of the 43rd Annual Meeting on Association for Computational Linguistics，ACL' 05, pages 263-270,Stroudsburg, PA, USA. Association for Computational Linguistics. "）的設(shè)定相同，而為了強(qiáng)調(diào)對(duì)數(shù)線性模型，稱該系統(tǒng)為 L-Hiero (參照?qǐng)D3、圖4)。另外，在本實(shí)驗(yàn)中，利用Moses工具包，通過實(shí)裝的MERT和PRO 兩種方法（參照?qǐng)D3)對(duì)L-Hiero進(jìn)行了優(yōu)化。
[0118] 另外，在本實(shí)驗(yàn)中，在具有L-Hiero中的默認(rèn)特征量的對(duì)數(shù)線性模型中，集成了詞 向量（word embedding)特征量D將其稱為L-Hiero-E (參照?qǐng)D3) D利用Moses的工具包， 通過實(shí)裝的PR〇(參照?qǐng)D3)對(duì)L-Hiero-E進(jìn)行了優(yōu)化。
[0119] 另外，翻譯裝置1實(shí)裝了上述的AddNN模型，在本實(shí)驗(yàn)中，具有與L-Hiero相同的 基于代碼的設(shè)定，稱為AdNN-Hiero-E (參照?qǐng)D3、圖4)。
[0120] 圖3示出了這種情況下的實(shí)驗(yàn)結(jié)果。在圖3中，" + "表示在通過自助法（Bootstrap Method)與AdNN-Hiero-E進(jìn)行的比較中概率"p < 0. 05"，表示差異具有統(tǒng)計(jì)學(xué)意義。
[0121] 另外，還使用AdNN-Hiero-D進(jìn)行了實(shí)驗(yàn)。AdNN-Hiero-D將特征函數(shù)h中的非局部 的部分直接作為h'使用。非局部的部分是指，例如短語對(duì)或規(guī)則對(duì)的個(gè)數(shù)、單詞數(shù)、生成概 率、源語言側(cè)條件概率、目標(biāo)語言側(cè)條件概率、源語言側(cè)詞匯化概率、目標(biāo)語言側(cè)詞匯化概 率等。
[0122] 另外，圖4中不出了對(duì)L-Hiero、AdNN-Hiero-E以及AdNN-Hiero-D進(jìn)行比較的實(shí) 驗(yàn)結(jié)果。在圖4中，" + "表示在通過自助法與AdNN-Hiero-D進(jìn)行的比較中概率"p < 0. 05"， 表示差異具有統(tǒng)計(jì)學(xué)意義。
[0123] 綜上所述，根據(jù)本實(shí)施方式，在機(jī)器翻譯中，能夠高效地計(jì)算候選翻譯的分?jǐn)?shù)。
[0124] 進(jìn)一步具體而言，根據(jù)本實(shí)施方式，通過以短語對(duì)或者規(guī)則對(duì)等為單位導(dǎo)入非線 性模型，并且將非線性模型限定于對(duì)短語對(duì)或者規(guī)則對(duì)封閉的特征，從而能夠?qū)崿F(xiàn)與線性 模型同樣的高速檢索。
[0125] 此外，在本實(shí)施方式中，不限定翻譯裝置1所執(zhí)行的翻譯方法、翻譯算法。另外，不 限定翻譯裝置1所執(zhí)行的翻譯對(duì)象的源語言以及目標(biāo)語言。
[0126] 另外，本實(shí)施方式的翻譯裝置1可被視為對(duì)以往的統(tǒng)計(jì)機(jī)器翻譯系統(tǒng)的各個(gè)短語 對(duì)或規(guī)則對(duì)添加 U維的特征，翻譯裝置1可容易地?cái)U(kuò)展。另外，在翻譯裝置1中，可導(dǎo)入任 意的特征，而且，即使該特征不是以線性模型為前提的特征，也能夠進(jìn)行組合，從而提高了 生成更優(yōu)翻譯的可能性。也就是說，AddNN模型在"W' =0"時(shí)將還原為線性模型，與以往 的基于線性模型的機(jī)器翻譯系統(tǒng)完全相同。因此，AddNN模型可僅通過對(duì)以往的系統(tǒng)添加 非線性模型來實(shí)現(xiàn)。另外，在AddNN模型中，當(dāng)將M以及B設(shè)為某個(gè)固定的固定值時(shí)，能夠 將非線性模型的要素視為u維的特征函數(shù)，且作為整體能夠視為以W、W'為權(quán)重向量的線性 模型。這就相當(dāng)于使短語對(duì)或規(guī)則對(duì)等單位的特征函數(shù)的維數(shù)增加 u維。因此，在翻譯裝 置1中，可容易地對(duì)以往的基于線性模型的機(jī)器翻譯系統(tǒng)進(jìn)行擴(kuò)展。在AddNN模型中，雖然 存在短語對(duì)或規(guī)則對(duì)等單位，但是，由于是非線性模型，因此可導(dǎo)入任意的特征，例如，可容 易地導(dǎo)入詞向量特征等將各個(gè)單詞表現(xiàn)為多維的特征量的特征。
[0127] 該加法型神經(jīng)網(wǎng)絡(luò)以語句單位定義，并將語句整體的線性模型以及要素單位的非 線性模型進(jìn)行線性結(jié)合。因此，在估計(jì)參數(shù)時(shí)，導(dǎo)入語句整體的損失函數(shù)，并且直接將其錯(cuò) 誤傳遞給短語對(duì)或規(guī)則對(duì)等要素單位的參數(shù)，從而能夠估計(jì)出更優(yōu)的參數(shù)。
[0128] 另外，本實(shí)施方式中的處理也可以通過軟件實(shí)現(xiàn)。而且，也可以通過下載軟件等方 式發(fā)布該軟件。另外，還可以將該軟件存儲(chǔ)在CD-ROM等存儲(chǔ)介質(zhì)中傳播。此外，此做法也 適用于本說明書的其他實(shí)施方式。此外，實(shí)現(xiàn)本實(shí)施方式中的翻譯裝置1的軟件是如下的 程序。即，該程序?yàn)?，?jì)算機(jī)可訪問的存儲(chǔ)介質(zhì)具有：參數(shù)存儲(chǔ)部，能夠存儲(chǔ)適用于非局部 特征函數(shù)的權(quán)重向量即第一權(quán)重向量、以及適用于局部特征函數(shù)的權(quán)重向量即第二權(quán)重向 量；特征函數(shù)信息存儲(chǔ)部，能夠存儲(chǔ)與非局部特征函數(shù)相關(guān)的信息即第一特征函數(shù)信息、以 及與局部特征函數(shù)相關(guān)的信息即第二特征函數(shù)信息；以及部分對(duì)信息存儲(chǔ)部，能夠存儲(chǔ)兩 個(gè)以上的部分對(duì)信息，所述部分對(duì)信息具有用于構(gòu)成源語言句部分的源語言部分信息和用 于構(gòu)成目標(biāo)語言句部分的目標(biāo)語言部分信息；并且，該程序用于使計(jì)算機(jī)發(fā)揮接受部、向量 取得部、分?jǐn)?shù)取得部、目標(biāo)語言句取得部以及輸出部的功能，其中，所述接受部接受源語言 句；所述向量取得部將所述接受部接受的源語言句和存儲(chǔ)在所述部分對(duì)信息存儲(chǔ)部中的一 個(gè)以上的部分對(duì)信息適用在由所述第一特征函數(shù)信息表示的非局部特征函數(shù)，從而取得第 一向量，并且，將構(gòu)成所述接受部接受的源語言句的一個(gè)以上的用語和存儲(chǔ)在所述部分對(duì) 信息存儲(chǔ)部中的一個(gè)以上的部分對(duì)信息適用在由所述第二特征函數(shù)信息表示的局部特征 函數(shù)，從而取得第二向量；所述分?jǐn)?shù)取得部使用所述向量取得部取得的第一向量以及所述 第一權(quán)重向量計(jì)算出非局部的分?jǐn)?shù)即非局部分?jǐn)?shù)，并使用所述向量取得部取得的第二向量 以及所述第二權(quán)重向量計(jì)算出局部的分?jǐn)?shù)即局部分?jǐn)?shù)，再使用所述非局部分?jǐn)?shù)和所述局部 分?jǐn)?shù)取得與所述接受部接受的源語言句對(duì)應(yīng)的兩個(gè)以上目標(biāo)語言句的分?jǐn)?shù)；所述目標(biāo)語言 句取得部取得所述分?jǐn)?shù)取得部取得的分?jǐn)?shù)最大的目標(biāo)語言句；所述輸出部輸出所述目標(biāo)語 言句取得部取得的目標(biāo)語言句。
[0129] 另外，優(yōu)選為，在上述程序中