專利名稱：：使用計(jì)算機(jī)的口語(yǔ)水平評(píng)估的制作方法
技術(shù)領(lǐng)域：
：本發(fā)明總的涉及語(yǔ)言評(píng)估，更具體地，涉及使用基于計(jì)算機(jī)的技術(shù)的口語(yǔ)水平(proficiency)評(píng)估。
背景技術(shù)：
：多年來，由于各種原因，例如教育考試或技能評(píng)估，已經(jīng)對(duì)應(yīng)試者進(jìn)行了標(biāo)準(zhǔn)化考試。許多標(biāo)準(zhǔn)化考試需要考試接受者對(duì)構(gòu)答反應(yīng)(constructedresponse)問題提供反應(yīng)。構(gòu)答反應(yīng)問題可以是一種不提供反應(yīng)選擇物(類似多項(xiàng)選擇問題)并且需要考試接受者自己生成反應(yīng)的問題或者用于答復(fù)的指示。例如，高校學(xué)生可以接受跳級(jí)生(AP)考試，如果成功，則可以允許該學(xué)生接受大學(xué)榮譽(yù)。作為另一個(gè)示例，法律學(xué)院畢業(yè)生可以進(jìn)行一次或多次國(guó)家律師業(yè)考試，以便在該國(guó)家成為許可的律師。AP考試和律師業(yè)考試可以包括構(gòu)答反應(yīng)問題，例如問答題(essayquestion)。構(gòu)答反應(yīng)問題也可以要求考試接受者提供口頭反應(yīng)，例如在口語(yǔ)考試中。對(duì)這些構(gòu)答反應(yīng)問題的反應(yīng)通常由一個(gè)或多個(gè)人類分級(jí)者或評(píng)估者來分級(jí)。對(duì)構(gòu)答反應(yīng)問題的反應(yīng)進(jìn)行分級(jí)的努力可能很龐大，尤其是當(dāng)一個(gè)問題由多個(gè)評(píng)估者來分級(jí)?；谟?jì)算機(jī)的自動(dòng)得分系統(tǒng)可以提供一種用于對(duì)構(gòu)答反應(yīng)問題的反應(yīng)進(jìn)行分級(jí)的更快速的方法。已經(jīng)進(jìn)行了一些嘗試來自動(dòng)化分級(jí)書面材料，例如論文式反應(yīng)。然而，不是所有的反應(yīng)是書面的。因此，不犧牲得分的一致性來進(jìn)行對(duì)構(gòu)答反應(yīng)問題的口頭反應(yīng)的分級(jí)處理是有益的。
發(fā)明內(nèi)容描述了一種用于口語(yǔ)水平評(píng)估的方法和系統(tǒng)。所述方法包括接收對(duì)構(gòu)答反應(yīng)問題的運(yùn)行時(shí)間口頭反應(yīng)；將運(yùn)行時(shí)間口頭反應(yīng)轉(zhuǎn)換為語(yǔ)言學(xué)(linguistic)單位的運(yùn)行時(shí)間序列；將語(yǔ)言學(xué)單位的運(yùn)行時(shí)間序列與語(yǔ)言學(xué)特征集進(jìn)行比較；計(jì)算語(yǔ)言學(xué)特征集中的至少一個(gè)特征在運(yùn)行時(shí)間口頭反應(yīng)中的概括計(jì)數(shù)；和基于所述概括計(jì)數(shù)來計(jì)算得分。語(yǔ)音識(shí)別系統(tǒng)可被用來接收運(yùn)行時(shí)間口頭反應(yīng)并且將其轉(zhuǎn)換為語(yǔ)言學(xué)單位的運(yùn)行時(shí)間序列。所述方法還可以包括生成語(yǔ)言學(xué)特征集。生成語(yǔ)言學(xué)特征集可以包括將培訓(xùn)口頭反應(yīng)與至少一個(gè)語(yǔ)言學(xué)模板進(jìn)行比較。至少一個(gè)語(yǔ)言學(xué)模板可以從由W"W2W3、W4W5W6、W7W8W9W10、WnX!W!2和W13X2W14X3W15組成的組中選擇，其中對(duì)于&1，Wj表示任何語(yǔ)言學(xué)單位，并且對(duì)于&1，Xj表示長(zhǎng)度大于或等于0的任何語(yǔ)言學(xué)單位序列。在另一個(gè)示例中，所述語(yǔ)言學(xué)特征集可以通過下列步驟來生成接收對(duì)構(gòu)答反應(yīng)問題的培訓(xùn)口頭反應(yīng)；將培訓(xùn)口頭反應(yīng)轉(zhuǎn)換為語(yǔ)言學(xué)單位的培訓(xùn)序列；將語(yǔ)言學(xué)單位的培訓(xùn)序列與至少一個(gè)語(yǔ)言學(xué)模板進(jìn)行比較；和計(jì)算與至少一個(gè)語(yǔ)言學(xué)模板匹配的、培訓(xùn)口頭反應(yīng)中的至少一個(gè)特征的概括計(jì)數(shù)。一種用于評(píng)估口語(yǔ)水平的系統(tǒng)，包括處理器；數(shù)據(jù)存儲(chǔ)器；和存儲(chǔ)在數(shù)據(jù)存儲(chǔ)器中可由處理器執(zhí)行下列步驟的機(jī)器語(yǔ)言指令接收對(duì)構(gòu)答反應(yīng)問題的口頭反應(yīng)；將口頭反應(yīng)轉(zhuǎn)換為語(yǔ)言學(xué)單位的序列；將語(yǔ)言學(xué)單位的序列與語(yǔ)言學(xué)特征集進(jìn)行比較；計(jì)算語(yǔ)言學(xué)特征集中的至少一個(gè)特征在口頭反應(yīng)中的概括計(jì)數(shù)；和基于所述概括計(jì)數(shù)來計(jì)算得分。通過適當(dāng)參考附圖閱讀下列詳細(xì)描述，這些其他方面和優(yōu)點(diǎn)對(duì)于本領(lǐng)域的普通技術(shù)人員將變得明顯。另外，該概括應(yīng)當(dāng)被理解為僅僅是示例而不意欲如權(quán)利要求要求地限制本發(fā)明的范圍。下面結(jié)合附圖來描述目前優(yōu)選的實(shí)施例，其中，在各個(gè)附圖中相同的附圖標(biāo)記指代相同的元件，其中圖1是根據(jù)示例的用于處理和評(píng)估口語(yǔ)反應(yīng)的系統(tǒng)的方框圖；圖2是^4t示例的用于在培訓(xùn)時(shí)間處理口語(yǔ)反應(yīng)的系統(tǒng)的方框圖；圖3是根據(jù)示例的用于在培訓(xùn)時(shí)間處理口語(yǔ)反應(yīng)的方法的流程圖；圖4是根據(jù)示例的用于在運(yùn)行時(shí)間評(píng)估口語(yǔ)反應(yīng)的系統(tǒng)的方框圖；和圖5是根據(jù)示例的用于在運(yùn)行時(shí)間評(píng)估口語(yǔ)反應(yīng)的方法的流程圖。具體實(shí)施例方式圖1是用于處理和評(píng)估口語(yǔ)反應(yīng)的系統(tǒng)100的方框圖。通常，在培訓(xùn)時(shí)間和運(yùn)行時(shí)間使用系統(tǒng)100，參考圖2至圖5來更詳細(xì)地描述培訓(xùn)時(shí)間和運(yùn)行時(shí)間。系統(tǒng)100包括自動(dòng)得分(scoring)系統(tǒng)104。自動(dòng)得分系統(tǒng)104可以是具有硬件、軟件和/或固件的任意組合的通用計(jì)算機(jī)系統(tǒng)?；蛘?，自動(dòng)得分系統(tǒng)104可以是為了處理和評(píng)估口語(yǔ)反應(yīng)而定制設(shè)計(jì)的。自動(dòng)得分系統(tǒng)104接收來自用戶102的輸入。來自用戶102的輸入可以是對(duì)構(gòu)答反應(yīng)問題的口頭反應(yīng)。所述構(gòu)答反應(yīng)問題也可以被稱作"項(xiàng)目"。該構(gòu)答反應(yīng)問題可通過自動(dòng)得分系統(tǒng)104提供給用戶102?；蛘?，用戶102可以從另一源接收構(gòu)答反應(yīng)問題。用戶102可以是向自動(dòng)得分系統(tǒng)104提供口頭反應(yīng)的任何人。例如，在培訓(xùn)時(shí)間，用戶102可以是向自動(dòng)得分系統(tǒng)104提供培訓(xùn)反應(yīng)的人。作為另一個(gè)示例，在運(yùn)行時(shí)間，用戶102可以是正式教育程序中的學(xué)生(孩子或成年人)、正在進(jìn)行入學(xué)考試或水平考試的某人、或者僅僅對(duì)評(píng)價(jià)他或她的技能感興趣的某人。用戶102可以使用陸上線路通訊電纜電話、移動(dòng)電話、計(jì)算機(jī)、麥克風(fēng)、聲音換能器或者任何其他能夠發(fā)送聲音信號(hào)的通信設(shè)備來訪問自動(dòng)得分系統(tǒng)104。用戶102與自動(dòng)得分系統(tǒng)104之間的連接取決于所使用的通信設(shè)備的類型。例如，用戶102與自動(dòng)得分系統(tǒng)104之間的連接可以是使用電信網(wǎng)絡(luò)和/或數(shù)據(jù)信息網(wǎng)絡(luò)的有線或無線連接。在運(yùn)行時(shí)間，自動(dòng)得分系統(tǒng)104可以基于來自用戶102的輸入提供得分106。得分106可被提供給用戶102或者其他人和/或?qū)嶓w，例如教師或教育機(jī)構(gòu)。得分106可經(jīng)由輸出設(shè)備提供給用戶102或其他人/實(shí)體。例如，得分106可以通過互聯(lián)網(wǎng)呈現(xiàn)在顯示器上。作為另一個(gè)示例，得分106可以被打印在與自動(dòng)得分系統(tǒng)104(有線或無線)連接的打印機(jī)上。作為再一個(gè)示例，如果用戶102已經(jīng)使用電話訪問了自動(dòng)得分系統(tǒng)104,則自動(dòng)得分系統(tǒng)104可以使用交互式聲音反應(yīng)單元將得分106口頭地提供給用戶106。圖2是用于在培訓(xùn)時(shí)間處理口語(yǔ)反應(yīng)的系統(tǒng)200的方框圖。培訓(xùn)時(shí)間被用于培訓(xùn)自動(dòng)得分系統(tǒng)104，以便在運(yùn)行時(shí)間評(píng)估用戶102的口語(yǔ)水平。系統(tǒng)200包括培訓(xùn)口頭反應(yīng)輸入202、自動(dòng)得分系統(tǒng)104和語(yǔ)言學(xué)特征輸出210。自動(dòng)得分系統(tǒng)104包括語(yǔ)音識(shí)別系統(tǒng)204、語(yǔ)言學(xué)特征提取器206和一個(gè)或多個(gè)語(yǔ)言學(xué)模板208。培訓(xùn)口頭反應(yīng)輸入202由至少一個(gè)人(這里被稱作"培訓(xùn)對(duì)象")在自動(dòng)得分系統(tǒng)104的培訓(xùn)時(shí)間提供。對(duì)于將被用來在運(yùn)行時(shí)間評(píng)估口語(yǔ)水平的每一項(xiàng)，培訓(xùn)對(duì)象將至少一個(gè)口頭反應(yīng)提供給自動(dòng)得分系統(tǒng)104。培訓(xùn)對(duì)象可以對(duì)一組項(xiàng)目提供口頭反應(yīng)。優(yōu)選地，可以使用不止一個(gè)培訓(xùn)對(duì)象將口頭反應(yīng)提供給項(xiàng)目組。培訓(xùn)對(duì)象可以參考人口統(tǒng)計(jì)學(xué)、語(yǔ)言學(xué)、自然或社會(huì)變量的分布來選擇，所述變量可以對(duì)自動(dòng)得分系統(tǒng)104接收到的語(yǔ)音的形式或內(nèi)容具有顯著的影響。這些人口統(tǒng)計(jì)學(xué)、語(yǔ)言學(xué)、自然或社會(huì)變量包括培訓(xùn)對(duì)象的年齡、大小、性別、感官靈敏度、種族、方言、教育、生源地或者當(dāng)前位置、社會(huì)經(jīng)濟(jì)低位、職業(yè)、或者專業(yè)培訓(xùn)。語(yǔ)音取樣也可以根據(jù)在培訓(xùn)對(duì)象的位置、信號(hào)傳感器的類型和條件、和通信信道的類型和操作的日期來選擇。語(yǔ)音識(shí)別系統(tǒng)204能夠接收用戶102的語(yǔ)音并且將該語(yǔ)音轉(zhuǎn)換為語(yǔ)言學(xué)單位的序列。語(yǔ)言學(xué)單位的序列是實(shí)際上口頭的一個(gè)或多個(gè)字表示的機(jī)器可讀表示法。語(yǔ)音識(shí)別系統(tǒng)204可以是軟件、硬件和/或固件的任意組合。優(yōu)選地，語(yǔ)音識(shí)別系統(tǒng)204以軟件來實(shí)現(xiàn)。例如，語(yǔ)音識(shí)別系統(tǒng)204可以是HTK軟件產(chǎn)品，該產(chǎn)品由微軟公司所有并且可以從哥倫比亞大學(xué)工程學(xué)院的網(wǎng)頁(yè)(http:〃htk.eng.cam.ac.uk)自由下載而獲得。作為另一個(gè)示例，語(yǔ)音識(shí)別系統(tǒng)204可以是由Nuance通信公司提供的語(yǔ)音識(shí)別系統(tǒng)之一。語(yǔ)音識(shí)別系統(tǒng)204也可以包括例如MXPOST之類的語(yǔ)言學(xué)分析軟件、或者用該語(yǔ)言學(xué)分析軟件來實(shí)現(xiàn)，用于考慮依據(jù)造句法的分析將字轉(zhuǎn)換為更高級(jí)別的語(yǔ)言學(xué)單位。語(yǔ)言學(xué)分析軟件也可以提供更低級(jí)別的語(yǔ)言學(xué)單位，例如音節(jié)、詞素和因素等。語(yǔ)言學(xué)特征提取器206從語(yǔ)音識(shí)別系統(tǒng)204接收語(yǔ)言學(xué)單位的序列。語(yǔ)言學(xué)特征提取器206可以是軟件、硬件和/或固件的任意組合。優(yōu)選地，語(yǔ)言學(xué)特征提取器206以軟件來實(shí)現(xiàn)。語(yǔ)言學(xué)特征提取器206將來自語(yǔ)音識(shí)別系統(tǒng)204的語(yǔ)言學(xué)單位的序列與語(yǔ)言學(xué)模板208進(jìn)行比較，以便生成語(yǔ)言學(xué)特征。語(yǔ)言學(xué)模板208可被存儲(chǔ)在自動(dòng)得分系統(tǒng)104中的數(shù)據(jù)庫(kù)或其他數(shù)據(jù)結(jié)構(gòu)中。優(yōu)選地，在培訓(xùn)時(shí)間和識(shí)別將要由語(yǔ)言學(xué)特征提取器206執(zhí)行的特征集之前，選擇存儲(chǔ)在數(shù)據(jù)庫(kù)中的語(yǔ)言學(xué)模板208。下面是模板的示例，其中Wi表示任何語(yǔ)言學(xué)單位，Xi表示長(zhǎng)度大于或等于0的任何語(yǔ)言學(xué)單位序列，并且單個(gè)字母組合(monogmm)包括單一語(yǔ)言學(xué)單位，兩個(gè)字母組合(bigram)包括兩個(gè)語(yǔ)言學(xué)單位的序列，三個(gè)字母組合(trigram)包括三個(gè)語(yǔ)言學(xué)單位的序列，以及四個(gè)字母組合(quadgram)包括四個(gè)語(yǔ)言學(xué)單位的序列。二次排序字母組合(bi-ordergram)包括由語(yǔ)言學(xué)單位序列隔離的匹配任何事物的兩個(gè)語(yǔ)言學(xué)單位。因此，上面排序字母組合中的Xi可被認(rèn)為是"通配符"。類似于二次排序字母組合，三次排序字母組合(tri-ordergram)是每一個(gè)由通配符隔離的三個(gè)語(yǔ)言學(xué)單位的序列。語(yǔ)言學(xué)特征提取器206提取并量化語(yǔ)言學(xué)特征的出現(xiàn)。所述量化是語(yǔ)言學(xué)特征的概括計(jì)數(shù)。該概括計(jì)數(shù)是反應(yīng)中的特征出現(xiàn)數(shù)目的任何函數(shù)，例如，出現(xiàn)的實(shí)際數(shù)目或者出現(xiàn)的實(shí)際數(shù)目的數(shù)學(xué)變換，例如出現(xiàn)數(shù)目的對(duì)數(shù)、倍數(shù)或者遞增/遞減。作為另一個(gè)示例，概括計(jì)數(shù)可以是反應(yīng)中的特征的出現(xiàn)比缺席。所述量化可以是任何種類的語(yǔ)言學(xué)單位的概括計(jì)數(shù)，包括但不限于區(qū)別性特征、段、因素、音節(jié)、詞素、字、句法短語(yǔ)、句法組成成分、詞組、音位短語(yǔ)、句子、段落和擴(kuò)展段。特征是如果其匹配模板的該模板的實(shí)例。如果該特征對(duì)應(yīng)于模板的格式，則特征匹配該模板。例如，"inthe"是模板W,W2的實(shí)例，其中Wj是字單位，并且&1。所提取的特征和培訓(xùn)集中每一反應(yīng)中的每一特征的概括計(jì)數(shù)被提供作為語(yǔ)言學(xué)特征輸出210。語(yǔ)言學(xué)特征輸出210可以包括項(xiàng)目特定特征集和培訓(xùn)集中所有反應(yīng)上的每一特征的概括計(jì)數(shù)。自動(dòng)得分系統(tǒng)104在運(yùn)行時(shí)間使用-Wi.W2W3.W4W5W6W7W8W9W10WnX2W14X3W(所有一個(gè)字母組合)(所有兩個(gè)字母組合)(所有三個(gè)字母組合)(所有四個(gè)字母組合)(所有二次排序字母組合)(所有三次排序字母組合)語(yǔ)言學(xué)特征輸出210，如參考圖4-5所述。在培訓(xùn)時(shí)間，自動(dòng)得分系統(tǒng)104可以執(zhí)行附加的操作。例如，語(yǔ)言學(xué)特征提取器206也可以從對(duì)所述項(xiàng)目的一組一個(gè)或多個(gè)期望反應(yīng)中提取語(yǔ)言學(xué)特征和概括計(jì)數(shù)，以便豐富培訓(xùn)集。期望反應(yīng)可以包括一個(gè)或多個(gè)正確或錯(cuò)誤的答案。作為另一個(gè)示例，自動(dòng)得分系統(tǒng)104可以將概括計(jì)數(shù)變換到用于符合下列特征模板的特征的簡(jiǎn)化維數(shù)(reduceddimensionality)的矢量空間Wi'W2W3也可以使用其他特征模板。在培訓(xùn)時(shí)間，自動(dòng)得分系統(tǒng)104可以應(yīng)用這樣的函數(shù)，即，其參數(shù)已被估計(jì)來將筒化的維數(shù)矢量空間中的點(diǎn)映射為水平估計(jì)。所述參數(shù)可以根據(jù)培訓(xùn)數(shù)據(jù)來估計(jì)。培訓(xùn)數(shù)據(jù)可以由關(guān)于一組反應(yīng)的人類判斷以及簡(jiǎn)化維數(shù)矢量空間中的其相應(yīng)點(diǎn)組成。自動(dòng)得分系統(tǒng)104可以計(jì)算在培訓(xùn)時(shí)間生成的特征集的子集，所有的其特征匹配特征模塊。自動(dòng)得分系統(tǒng)104可以檢測(cè)同時(shí)在反應(yīng)和在子集中發(fā)生的共享特征集。自動(dòng)得分系統(tǒng)104可以計(jì)算共享特征的概括計(jì)數(shù)之和與特征模板匹配的反應(yīng)中的特征的概括計(jì)數(shù)之和的比率?？梢詫?duì)下列特征模板中的每一個(gè)計(jì)算該比率W2W3W4W5W6-W7W8W9W10也可以使用其他特征模板。自動(dòng)得分系統(tǒng)104也可以計(jì)算培訓(xùn)口頭反應(yīng)202的得分106作為上面計(jì)算的比率的幾何平均值。圖3是用于在培訓(xùn)時(shí)間處理口語(yǔ)反應(yīng)的方法300的流程圖。在方框302,接收口頭反應(yīng)。該口頭反應(yīng)可以是對(duì)構(gòu)答反應(yīng)問題的反應(yīng)。在培訓(xùn)時(shí)間，用戶102可以優(yōu)選地提供非手寫的口頭反應(yīng)。然而，用戶102可以相反地提供先前已手寫的口頭反應(yīng)。在方框304,口頭反應(yīng)^^皮任何已知或開發(fā)的語(yǔ)音識(shí)別系統(tǒng)或程序轉(zhuǎn)換為語(yǔ)言學(xué)單位的序列。在方框306,通過識(shí)別語(yǔ)言學(xué)單位的序列與預(yù)先選擇的模板之間的匹配來提取匹配語(yǔ)言學(xué)模板的特征。除了提取匹配特征外，執(zhí)行所提取的特征的概括計(jì)數(shù)。在方框308，特征集被提供為輸出。特征集包括所提取的特征和概括計(jì)數(shù)。圖4是用于在運(yùn)行時(shí)間評(píng)估口語(yǔ)反應(yīng)的系統(tǒng)400的方框圖。在運(yùn)行時(shí)間，自動(dòng)得分系統(tǒng)104評(píng)估人們的口語(yǔ)水平。系統(tǒng)400包括運(yùn)行時(shí)間口頭反應(yīng)輸入402、自動(dòng)得分系統(tǒng)104和得分輸出408。自動(dòng)得分系統(tǒng)104包括語(yǔ)音識(shí)別系統(tǒng)204、語(yǔ)言學(xué)特征檢測(cè)器404、得分計(jì)算406和在培訓(xùn)時(shí)間識(shí)別的語(yǔ)言學(xué)特征210。運(yùn)行時(shí)間口頭反應(yīng)輸入402由人們(下文中被稱作"考試對(duì)象")在運(yùn)行時(shí)間提供?？荚噷?duì)象可以是任何人?？荚噷?duì)象提供對(duì)構(gòu)答反應(yīng)問題的口頭反應(yīng)?？荚噷?duì)象可以從自動(dòng)得分系統(tǒng)104或其他源接收構(gòu)答反應(yīng)問題。語(yǔ)音識(shí)別系統(tǒng)204處理對(duì)構(gòu)答反應(yīng)問題作出反應(yīng)的考試對(duì)象的語(yǔ)音，并且將語(yǔ)言學(xué)單位的序列提供給語(yǔ)言學(xué)特征檢測(cè)器404。語(yǔ)言學(xué)特征檢測(cè)器404可以是軟件、硬件和/或固件的任意組合。優(yōu)選地，語(yǔ)言學(xué)特征檢測(cè)器404以軟件來實(shí)現(xiàn)。語(yǔ)言學(xué)特征檢測(cè)器404將來自語(yǔ)音識(shí)別系統(tǒng)204的語(yǔ)言學(xué)單位的序列與在培訓(xùn)時(shí)間提取的語(yǔ)言學(xué)特征210進(jìn)行比較。作為該比較的結(jié)果，語(yǔ)言學(xué)特征才全測(cè)器204可以獲得有關(guān)在運(yùn)行時(shí)間口頭反應(yīng)402中有多少特征集210中每一特征的概括計(jì)數(shù)。得分計(jì)算406將概括計(jì)數(shù)轉(zhuǎn)換為得分408?；蛘?，概括計(jì)數(shù)可被提供為得分408。得分408可以表示對(duì)象的口語(yǔ)水平的評(píng)估。得分計(jì)算406可以是軟件、硬件和/或固件的任意組合。優(yōu)選地，得分計(jì)算406以軟件來實(shí)現(xiàn)。得分計(jì)算406可以使用統(tǒng)計(jì)學(xué)分析計(jì)數(shù)來分析概括計(jì)數(shù)。例如，得分計(jì)算406可以將來自語(yǔ)言學(xué)特征檢測(cè)器404的概括計(jì)數(shù)變換到對(duì)于符合下列特征模板的特征的簡(jiǎn)化維數(shù)的矢量空間'W2W3也可以使用其他特征模板。得分計(jì)算406可以應(yīng)用這樣的函數(shù)，即，其參數(shù)在培訓(xùn)時(shí)間被評(píng)估以便將簡(jiǎn)化維數(shù)矢量空間中的點(diǎn)映射為水平評(píng)估。可以根據(jù)培訓(xùn)數(shù)據(jù)來評(píng)估所述參數(shù)。培訓(xùn)數(shù)據(jù)可以由關(guān)于一組反應(yīng)的人類判斷以及簡(jiǎn)化維數(shù)矢量空間中的其相應(yīng)點(diǎn)組成。得分計(jì)算406可以計(jì)算在培訓(xùn)時(shí)間生成的特征集的子集，所有的其特征匹配特征模塊。得分計(jì)算406可以檢測(cè)同時(shí)在反應(yīng)和在子集中出現(xiàn)的共享特征集。得分計(jì)算406可以計(jì)算共享特征的概括計(jì)數(shù)之和與特征模板匹配的反應(yīng)中的特征的概括計(jì)數(shù)之和的比率?？梢詫?duì)下列特征模板中的每一個(gè)計(jì)算該比率<formula>formulaseeoriginaldocumentpage12</formula>也可以使用其他特征模板。得分計(jì)算406也可以計(jì)算運(yùn)行時(shí)間口頭反應(yīng)402的得分106作為上面計(jì)算的比率的幾何平均值。得分計(jì)算406也可以計(jì)算在運(yùn)行時(shí)間口頭反應(yīng)402中檢測(cè)到的被反應(yīng)的程度標(biāo)準(zhǔn)化的特征的數(shù)量。優(yōu)選地，對(duì)于符合特征模板W^^W2的特征執(zhí)行該計(jì)算。然而，也可以使用其他模板。圖5是用于在運(yùn)行時(shí)間評(píng)估口語(yǔ)反應(yīng)的方法500的流程圖。在方框502,接收口頭反應(yīng)。該口頭反應(yīng)是對(duì)構(gòu)答反應(yīng)問題的反應(yīng)。在方框504，口頭反應(yīng)被任何已知或開發(fā)的語(yǔ)音識(shí)別系統(tǒng)或程序轉(zhuǎn)換為語(yǔ)言學(xué)單位序列。在方框506,通過將來自語(yǔ)音識(shí)別系統(tǒng)204的語(yǔ)言學(xué)單位序列與在培訓(xùn)時(shí)間提取的特征進(jìn)行比較來檢測(cè)語(yǔ)言學(xué)特征。該比較產(chǎn)生語(yǔ)言學(xué)特征的概括計(jì)數(shù)。在方框508，使用該概括計(jì)數(shù)來計(jì)算得分408。優(yōu)選地，可以使用維數(shù)簡(jiǎn)化和回歸計(jì)數(shù)來計(jì)算得分。在方框510，得分被提供給考試對(duì)象或者其他感興趣方?？梢允褂檬纠齺韴D解說明用于評(píng)估口語(yǔ)水平的系統(tǒng)和方法。在該示例中，考試對(duì)象撥動(dòng)預(yù)定的電話號(hào)碼以便進(jìn)行口語(yǔ)水平考試。一旦建立了連接，自動(dòng)得分系統(tǒng)104經(jīng)由電話對(duì)考試對(duì)象提供指示，并且考試對(duì)象提供反應(yīng)。例如，自動(dòng)得分系統(tǒng)104可以要求考試對(duì)象復(fù)述一個(gè)故事。一個(gè)示例古文事例》口"Aboyisgoingtocrossthestreetwhenamanseesacarapproaching.Themanyells'carefUl，andgrabstheboybythearmjustintime.Theboyissoscaredthatthemancrossesthestreetwiththeboyandbuyshimanicecreamconetocalmhimdown."長(zhǎng)口果考i式只于象重復(fù)"i亥古丈事長(zhǎng)口"Aboyisgoingtocrossthestreetandamanspeedinginhiscaryells'carefbl"，,貝'J自動(dòng)4尋分系統(tǒng)104識(shí)別該考試對(duì)象沒有完整或準(zhǔn)確地重復(fù)該故事。另外，自動(dòng)得分系統(tǒng)104基于該反應(yīng)而提供得分408。表1示出了對(duì)于該示例的提取的特征和其相關(guān)的概括計(jì)數(shù)。由自動(dòng)得分系統(tǒng)104計(jì)算出的得分是2.85,這相當(dāng)于人類分級(jí)得分2.33。如所描述的，自動(dòng)得分系統(tǒng)104比人類分級(jí)者更有效地對(duì)構(gòu)答反應(yīng)問題提供口頭反應(yīng)的級(jí)別，而不會(huì)犧牲得分的一致性。<table>tableseeoriginaldocumentpage13</column></row><table>表l:特征集和相關(guān)的概括計(jì)數(shù)應(yīng)當(dāng)理解，所圖解的實(shí)施例只是示例并且不應(yīng)當(dāng)被看作限制本發(fā)明的范圍。權(quán)利要求不應(yīng)當(dāng)被閱讀為限于所描述的順序或元素，除非陳述為這樣的效果。因此，所附權(quán)利要求及其等效物的范圍和精神之內(nèi)的所有實(shí)施例被本發(fā)明請(qǐng)求保護(hù)。權(quán)利要求1.一種評(píng)估口語(yǔ)水平的方法，包括接收對(duì)構(gòu)答反應(yīng)問題的運(yùn)行時(shí)間口頭反應(yīng)；將運(yùn)行時(shí)間口頭反應(yīng)轉(zhuǎn)換為語(yǔ)言學(xué)單位的運(yùn)行時(shí)間序列；將語(yǔ)言學(xué)單位的運(yùn)行時(shí)間序列與語(yǔ)言學(xué)特征集進(jìn)行比較；計(jì)算語(yǔ)言學(xué)特征集中的至少一個(gè)特征在運(yùn)行時(shí)間口頭反應(yīng)中的概括計(jì)數(shù)；和基于所述概括計(jì)數(shù)來計(jì)算得分。2.如權(quán)利要求l所述的方法，其中語(yǔ)音識(shí)別系統(tǒng)接收運(yùn)行時(shí)間口頭反應(yīng)并且將其轉(zhuǎn)換為語(yǔ)言學(xué)單位的運(yùn)行時(shí)間序列。3.如權(quán)利要求l所述的方法，還包括生成語(yǔ)言學(xué)特征集。4.如權(quán)利要求3所述的方法，其中生成語(yǔ)言學(xué)特征集包括將培訓(xùn)口頭反應(yīng)與至少一個(gè)語(yǔ)言學(xué)模板進(jìn)行比較。5.如權(quán)利要求4所述的方法，其中至少一個(gè)語(yǔ)言學(xué)模板是從由Wj、W2W3、W4W5W6、W7W8W9W10、WnX!W!2和WnX2WwX3Wi5組成的組中選擇的，其中對(duì)于&1，Wi表示任何語(yǔ)言學(xué)單位，并且對(duì)于&1，Xj表示長(zhǎng)度大于或等于0的任何語(yǔ)言學(xué)單位序列。6.如權(quán)利要求l所述的方法，其中所述語(yǔ)言學(xué)特征集通過下列步驟來生成接收對(duì)構(gòu)答反應(yīng)問題的培訓(xùn)口頭反應(yīng)；將培訓(xùn)口頭反應(yīng)轉(zhuǎn)換為語(yǔ)言學(xué)單位的培訓(xùn)序列；將語(yǔ)言學(xué)單位的培訓(xùn)序列與至少一個(gè)語(yǔ)言學(xué)模板進(jìn)行比較；和計(jì)算與至少一個(gè)語(yǔ)言學(xué)模板匹配的、培訓(xùn)口頭反應(yīng)中的至少一個(gè)特征的概括計(jì)數(shù)。7.如權(quán)利要求6所述的方法，其中語(yǔ)音識(shí)別系統(tǒng)接收培訓(xùn)口頭反應(yīng)并且將其轉(zhuǎn)換為語(yǔ)言學(xué)單位的培訓(xùn)序列。8.如權(quán)利要求6所述的方法，其中至少一個(gè)語(yǔ)言學(xué)模板是從由WpW2W3、W4W5W6、W7W8W9W10、WnXiWu和WnX2WwX3W!5組成的組中選擇的，其中對(duì)于&1，Wi表示任何語(yǔ)言學(xué)單位，并且對(duì)于&1，Xi表示長(zhǎng)度大于或等于0的任何語(yǔ)言學(xué)單位序列。9.如權(quán)利要求6所述的方法，還包括將培訓(xùn)口頭反應(yīng)中的至少一個(gè)特征的概括計(jì)數(shù)變換到簡(jiǎn)化維數(shù)的矢量空間。10.如權(quán)利要求9所述的方法，其中語(yǔ)言學(xué)特征集中的所述至少一個(gè)特征符合特征模板W!和W2W3中的至少一個(gè)，其中對(duì)于&1，Wj表示任何語(yǔ)言學(xué)單位。11.如權(quán)利要求1所述的方法，其中計(jì)算得分包括將語(yǔ)言學(xué)特征集中的至少一個(gè)特征在運(yùn)動(dòng)時(shí)間口頭反應(yīng)中的概括計(jì)數(shù)變換到簡(jiǎn)化維數(shù)的矢量空間。12.如權(quán)利要求11所述的方法，其中語(yǔ)言學(xué)特征集中的所述至少一個(gè)特征符合特征模板W,和W2W3中的至少一個(gè)，其中對(duì)于i21，Wi表示任何語(yǔ)言學(xué)單位。13.如權(quán)利要求11所述的方法，其中將概括計(jì)數(shù)變換到簡(jiǎn)化維數(shù)的矢量空間包括應(yīng)用其參數(shù)已在培訓(xùn)時(shí)間被估計(jì)的函數(shù)，以便將簡(jiǎn)化維數(shù)的矢量空間中的點(diǎn)映射成水平評(píng)估。14.如權(quán)利要求l所述的方法，其中計(jì)算得分包括計(jì)算在反應(yīng)中和在對(duì)應(yīng)于一個(gè)模板的語(yǔ)言學(xué)特征集的子集中出現(xiàn)的共享特征的概括計(jì)數(shù)之和與在該反應(yīng)中匹配特征模板的特征的概括計(jì)數(shù)之和的比率。15.如權(quán)利要求14所述的方法，其中對(duì)于特征才莫板WpW2W3、W4W5W6和W7W8W9W!o中的至少一個(gè)計(jì)算所述比率，其中對(duì)于&1,Wj表示任何語(yǔ)言學(xué)單位。16.如權(quán)利要求15所述的方法，其中計(jì)算得分包括計(jì)算對(duì)于特征沖莫板WpW2W3、W4W5W6和W7WsW9Wu)計(jì)算的比率的幾何平均數(shù)，其中對(duì)于&1,Wj表示任何語(yǔ)言學(xué)單位。17.如權(quán)利要求l所述的方法，其中計(jì)算得分包括計(jì)算在由運(yùn)行時(shí)間口頭反應(yīng)的長(zhǎng)度標(biāo)準(zhǔn)化的運(yùn)行時(shí)間口頭反應(yīng)中檢測(cè)的特征數(shù)目的概括計(jì)數(shù)。18.如權(quán)利要求1所述的方法，還包括將所述得分提供給至少一個(gè)人或?qū)嶓w。19.一種用于評(píng)估口語(yǔ)水平的系統(tǒng)，包括處理器；數(shù)據(jù)存儲(chǔ)器；和存儲(chǔ)在數(shù)據(jù)存儲(chǔ)器中可由處理器執(zhí)行下列步驟的機(jī)器語(yǔ)言指令接收對(duì)構(gòu)答反應(yīng)問題的口頭反應(yīng)；將口頭反應(yīng)轉(zhuǎn)換為語(yǔ)言學(xué)單位的序列；將語(yǔ)言學(xué)單位的序列與語(yǔ)言學(xué)特征集進(jìn)行比較；計(jì)算語(yǔ)言學(xué)特征集中的至少一個(gè)特征在口頭反應(yīng)中的概括計(jì)數(shù)；和基于所述概括計(jì)數(shù)來計(jì)算得分。20.如權(quán)利要求19所述的系統(tǒng)，還包括在數(shù)據(jù)存儲(chǔ)器中存儲(chǔ)的、可由處理器執(zhí)行來生成語(yǔ)言學(xué)特征集的機(jī)器語(yǔ)言指令。21.如權(quán)利要求19所述的系統(tǒng)，還包括在數(shù)據(jù)存儲(chǔ)器中存儲(chǔ)的、可由處理器執(zhí)行來將得分提供給至少一個(gè)人或?qū)嶓w的機(jī)器語(yǔ)言指令。全文摘要描述了一種通過計(jì)算機(jī)的口語(yǔ)水平評(píng)估的系統(tǒng)和方法。用戶對(duì)構(gòu)答反應(yīng)問題提供口頭反應(yīng)。語(yǔ)音識(shí)別系統(tǒng)將口頭反應(yīng)處理為語(yǔ)言學(xué)單位的序列。在培訓(xùn)時(shí)間，通過識(shí)別語(yǔ)言學(xué)單位的培訓(xùn)序列與預(yù)選的模板之間的匹配來提取匹配語(yǔ)言學(xué)模板的特征。另外，計(jì)算所提取的特征的概括計(jì)數(shù)。在運(yùn)行時(shí)間，通過將語(yǔ)言學(xué)單位的運(yùn)行時(shí)間序列與在培訓(xùn)時(shí)間提取的特征集進(jìn)行比較來檢測(cè)語(yǔ)言學(xué)特征。所述比較產(chǎn)生語(yǔ)言學(xué)特征的概括計(jì)數(shù)。該概括計(jì)數(shù)然后被用來計(jì)算得分。文檔編號(hào)G09B19/06GK101300613SQ200680034516公開日2008年11月5日申請(qǐng)日期2006年7月19日優(yōu)先權(quán)日2005年7月20日發(fā)明者布倫特·湯森德,阿尼什·奈爾,馬修·倫尼格申請(qǐng)人:奧迪納特公司