據(jù)權(quán)利要求5所述的方法，其特征在于，所述領(lǐng)域任務(wù)型對(duì)話系統(tǒng)輸出的詢問(wèn)信息 的結(jié)構(gòu)如下：其中，Μ表示所述領(lǐng)域任務(wù)型對(duì)話系統(tǒng)輸出的詢問(wèn)信息的結(jié)構(gòu)，Ask_key_s 1 〇 t表示當(dāng)前 所述領(lǐng)域任務(wù)型對(duì)話系統(tǒng)的詢問(wèn)信息的關(guān)鍵詞，η表示詢問(wèn)信息的關(guān)鍵詞的數(shù)量，~(1 < j < η)表示詢問(wèn)信息中第j個(gè)關(guān)鍵詞，Result_information表示當(dāng)前所述領(lǐng)域任務(wù)型對(duì)話系 統(tǒng)基于預(yù)設(shè)的檢索庫(kù)檢索到的關(guān)鍵詞的實(shí)例，用一個(gè)2列的矩陣表示，所述矩陣的第一列表 示關(guān)鍵詞，第二列表示關(guān)鍵詞的實(shí)例值； 所述領(lǐng)域任務(wù)型對(duì)話系統(tǒng)輸出的詢問(wèn)信息所基于的任務(wù)信息的定義如下： (one dialogue task)D= [si ··· sn] 其中，（one dialogue task)D表示詢問(wèn)信息所基于的任務(wù)信息，n表示詢問(wèn)信息所基于 的任務(wù)信息的關(guān)鍵詞的數(shù)量，~(1 < j <n)表示詢問(wèn)信息所基于的任務(wù)信息中第j個(gè)關(guān)鍵 詞； 所述任務(wù)數(shù)據(jù)庫(kù)的定義如下：其中，T為以矩陣的形式表示的任務(wù)數(shù)據(jù)庫(kù)，矩陣的每一行定義一條任務(wù)信息，矩陣中 的元素是任務(wù)數(shù)據(jù)庫(kù)中任務(wù)信息的關(guān)鍵詞，即S^(l < i <m，l < j <n)表示任務(wù)數(shù)據(jù)庫(kù)中第i 個(gè)任務(wù)信息的第j個(gè)關(guān)鍵詞。7. 根據(jù)權(quán)利要求6所述的方法，其特征在于，所述將領(lǐng)域任務(wù)型對(duì)話系統(tǒng)輸出的詢問(wèn)信 息的數(shù)量及依據(jù)所述任務(wù)數(shù)據(jù)庫(kù)提交的答復(fù)信息的數(shù)量相加后除以所述任務(wù)數(shù)據(jù)庫(kù)中包 括的任務(wù)信息的數(shù)量，得到平均對(duì)話長(zhǎng)度包括：m 其中，al為平均對(duì)話長(zhǎng)度;qsds為領(lǐng)域任務(wù)型對(duì)話系統(tǒng)輸出的詢問(wèn)信息的數(shù)量;qe3val為依 據(jù)所述任務(wù)數(shù)據(jù)庫(kù)提交的答復(fù)信息的數(shù)量;m為以矩陣的形式表示的任務(wù)數(shù)據(jù)庫(kù)T的行數(shù)； 所述將依據(jù)所述任務(wù)數(shù)據(jù)庫(kù)提交的答復(fù)信息及所答復(fù)的詢問(wèn)信息中已完成任務(wù)信息 的數(shù)量除以所述任務(wù)數(shù)據(jù)庫(kù)中包括的任務(wù)信息的數(shù)量，得到對(duì)話完成率包括：其中，dfr為對(duì)話完成率;m為矩陣T的行數(shù);df表示依據(jù)所述任務(wù)數(shù)據(jù)庫(kù)T提交的答復(fù)信 息及所答復(fù)的詢問(wèn)信息中已完成任務(wù)信息的數(shù)量，當(dāng)任務(wù)信息的每一組鍵值對(duì)均已提交答 復(fù)信息時(shí)，所述任務(wù)信息為已完成任務(wù)信息； 所述將所述任務(wù)數(shù)據(jù)庫(kù)中用于生成答復(fù)信息的關(guān)鍵詞準(zhǔn)確的數(shù)量除以所述任務(wù)數(shù)據(jù) 庫(kù)中關(guān)鍵詞用于生成答復(fù)信息的數(shù)量，得到關(guān)鍵詞準(zhǔn)確率包括：其中，ksrs表示關(guān)鍵詞s的準(zhǔn)確率;as表示以矩陣形式表示的任務(wù)數(shù)據(jù)庫(kù)T中關(guān)鍵詞s用 于準(zhǔn)確生成答復(fù)信息的數(shù)量，在每次生成答復(fù)信息時(shí)，將所述結(jié)構(gòu)化信息Μ中的Result_ informat ion與T的當(dāng)前任務(wù)信息進(jìn)行對(duì)比，若對(duì)比結(jié)果相同，則關(guān)鍵詞s準(zhǔn)確;ts表示在所 述任務(wù)數(shù)據(jù)庫(kù)T中關(guān)鍵詞s用于生成答復(fù)信息的總次數(shù)； 所述遍歷所述任務(wù)數(shù)據(jù)庫(kù)中的關(guān)鍵詞，將所述關(guān)鍵詞準(zhǔn)確率進(jìn)行累加，得到對(duì)話系統(tǒng) 準(zhǔn)確率包括：其中，dar表示對(duì)話系統(tǒng)準(zhǔn)確率;ksrs表示關(guān)鍵詞s的準(zhǔn)確率；Σ表示遍歷所有的關(guān)鍵詞 s，將所述ksrs進(jìn)行累加。8. -種測(cè)試領(lǐng)域任務(wù)型對(duì)話系統(tǒng)的裝置，其特征在于，所述裝置包括： 詢問(wèn)信息獲取模塊，用于獲取領(lǐng)域任務(wù)型對(duì)話系統(tǒng)輸出的詢問(wèn)信息； 任務(wù)信息獲取模塊，用于在預(yù)先構(gòu)建的任務(wù)數(shù)據(jù)庫(kù)中獲取單條任務(wù)信息，其中，所述任 務(wù)數(shù)據(jù)庫(kù)包括多條任務(wù)信息，每一條任務(wù)信息包括多組鍵值對(duì)，每組鍵值對(duì)包括關(guān)鍵詞及 關(guān)聯(lián)所述關(guān)鍵詞的實(shí)例； 答復(fù)信息提交模塊，用于向所述領(lǐng)域任務(wù)型對(duì)話系統(tǒng)提交由所述單條任務(wù)信息中的鍵 值對(duì)生成的答復(fù)信息； 測(cè)試數(shù)據(jù)生成模塊，用于根據(jù)領(lǐng)域任務(wù)型對(duì)話系統(tǒng)輸出的詢問(wèn)信息以及依據(jù)所述任務(wù) 數(shù)據(jù)庫(kù)提交的答復(fù)信息，生成對(duì)所述領(lǐng)域任務(wù)型對(duì)話系統(tǒng)的測(cè)試數(shù)據(jù)。9. 根據(jù)權(quán)利要求8所述的裝置，其特征在于，所述答復(fù)信息提交模塊進(jìn)一步用于： 向所述領(lǐng)域任務(wù)型對(duì)話系統(tǒng)提交符合預(yù)設(shè)用戶類型的由所述單條任務(wù)信息中的鍵值 對(duì)生成的答復(fù)信息，其中，所述預(yù)設(shè)用戶類型至少包括以下一項(xiàng)或多項(xiàng)：系統(tǒng)引導(dǎo)類型、核 對(duì)查詢類型和隨機(jī)查詢類型。10. 根據(jù)權(quán)利要求9所述的裝置，其特征在于，所述答復(fù)信息提交模塊至少包括以下一 項(xiàng)或多項(xiàng)： 系統(tǒng)引導(dǎo)提交模塊，用于若所述預(yù)設(shè)用戶類型包括系統(tǒng)引導(dǎo)類型，向所述領(lǐng)域任務(wù)型 對(duì)話系統(tǒng)提交基于從所述單條任務(wù)信息中獲取的關(guān)鍵詞與所述詢問(wèn)信息的關(guān)鍵詞相同的 鍵值對(duì)生成的答復(fù)信息； 核對(duì)查詢提交模塊，用于若所述預(yù)設(shè)用戶類型包括核對(duì)查詢類型，核對(duì)所述詢問(wèn)信息 的關(guān)鍵詞是否符合上一次提交的答復(fù)信息的關(guān)鍵詞，若符合，則向所述領(lǐng)域任務(wù)型對(duì)話系 統(tǒng)提交基于從所述單條任務(wù)信息中獲取的關(guān)鍵詞與所述詢問(wèn)信息的關(guān)鍵詞相同的鍵值對(duì) 生成的答復(fù)信息，若不符合，則向所述領(lǐng)域任務(wù)型對(duì)話系統(tǒng)提交基于上一次答復(fù)信息的鍵 值對(duì)生成的答復(fù)信息； 隨機(jī)查詢提交模塊，用于若所述預(yù)設(shè)用戶類型包括隨機(jī)查詢類型，向所述領(lǐng)域任務(wù)型 對(duì)話系統(tǒng)提交基于從所述單條任務(wù)信息中隨機(jī)獲取的鍵值對(duì)生成的答復(fù)信息。11. 根據(jù)權(quán)利要求9所述的裝置，其特征在于，所述答復(fù)信息提交模塊進(jìn)一步用于： 向所述領(lǐng)域任務(wù)型對(duì)話系統(tǒng)提交符合所述預(yù)設(shè)用戶類型的由所述單條任務(wù)信息中的 鍵值對(duì)套用預(yù)設(shè)的鍵值對(duì)的表達(dá)模板之一生成的答復(fù)信息。12. 根據(jù)權(quán)利要求8-12之一所述的裝置，其特征在于，所述測(cè)試數(shù)據(jù)生成模塊至少包括 以下一項(xiàng)或多項(xiàng)： 平均對(duì)話長(zhǎng)度生成模塊，用于將領(lǐng)域任務(wù)型對(duì)話系統(tǒng)輸出的詢問(wèn)信息的數(shù)量及依據(jù)所 述任務(wù)數(shù)據(jù)庫(kù)提交的答復(fù)信息的數(shù)量相加后除以所述任務(wù)數(shù)據(jù)庫(kù)中包括的任務(wù)信息的數(shù) 量，得到平均對(duì)話長(zhǎng)度； 對(duì)話完成率生成模塊，用于將依據(jù)所述任務(wù)數(shù)據(jù)庫(kù)提交的答復(fù)信息及所答復(fù)的詢問(wèn)信 息中已完成任務(wù)信息的數(shù)量除以所述任務(wù)數(shù)據(jù)庫(kù)中包括的任務(wù)信息的數(shù)量，得到對(duì)話完成 率，其中，所述已完成任務(wù)信息為基于每一組鍵值對(duì)已提交答復(fù)信息的任務(wù)信息； 關(guān)鍵詞準(zhǔn)確率生成模塊，用于響應(yīng)于生成答復(fù)信息的關(guān)鍵詞與當(dāng)前任務(wù)信息中的關(guān)鍵 詞相同，確定關(guān)鍵詞準(zhǔn)確，將所述任務(wù)數(shù)據(jù)庫(kù)中用于生成答復(fù)信息的關(guān)鍵詞準(zhǔn)確的數(shù)量除 以所述任務(wù)數(shù)據(jù)庫(kù)中關(guān)鍵詞用于生成答復(fù)信息的數(shù)量，得到關(guān)鍵詞準(zhǔn)確率； 對(duì)話系統(tǒng)準(zhǔn)確率生成模塊，用于遍歷所述任務(wù)數(shù)據(jù)庫(kù)中的關(guān)鍵詞，將所述關(guān)鍵詞準(zhǔn)確 率進(jìn)行累加，得到對(duì)話系統(tǒng)準(zhǔn)確率。13. 根據(jù)權(quán)利要求12所述的裝置，其特征在于，所述詢問(wèn)信息獲取模塊獲取的所述領(lǐng)域 任務(wù)型對(duì)話系統(tǒng)輸出的詢問(wèn)信息的結(jié)構(gòu)如下：其中，Μ表示所述領(lǐng)域任務(wù)型對(duì)話系統(tǒng)輸出的詢問(wèn)信息的結(jié)構(gòu)，Ask_key_s 1 〇 t表示當(dāng)前 所述領(lǐng)域任務(wù)型對(duì)話系統(tǒng)的詢問(wèn)信息的關(guān)鍵詞，η表示詢問(wèn)信息的關(guān)鍵詞的數(shù)量，~(1 < j < η)表示詢問(wèn)信息中第j個(gè)關(guān)鍵詞，Result_information表示當(dāng)前所述領(lǐng)域任務(wù)型對(duì)話系 統(tǒng)基于預(yù)設(shè)的檢索庫(kù)檢索到的關(guān)鍵詞的實(shí)例，用一個(gè)2列的矩陣表示，所述矩陣的第一列表 示關(guān)鍵詞，第二列表示關(guān)鍵詞的實(shí)例值； 所述詢問(wèn)信息獲取模塊獲取的所述領(lǐng)域任務(wù)型對(duì)話系統(tǒng)輸出的詢問(wèn)信息所基于的任 務(wù)信息的定義如下： (one dialogue task)D= [si ··· sn] 其中，（one dialogue task)D表示詢問(wèn)信息所基于的任務(wù)信息，n表示詢問(wèn)信息所基于 的任務(wù)信息的關(guān)鍵詞的數(shù)量，~(1 < j <n)表示詢問(wèn)信息所基于的任務(wù)信息中第j個(gè)關(guān)鍵 詞； 所述任務(wù)信息獲取模塊獲取所述單條任務(wù)信息所調(diào)用的所述任務(wù)數(shù)據(jù)庫(kù)的定義如下：其中，T為以矩陣的形式表示的任務(wù)數(shù)據(jù)庫(kù)，矩陣的每一行定義一條任務(wù)信息，矩陣中 的元素是任務(wù)數(shù)據(jù)庫(kù)中任務(wù)信息的關(guān)鍵詞，即S^(l < i <m，l < j <n)表示任務(wù)數(shù)據(jù)庫(kù)中第i 個(gè)任務(wù)信息的第j個(gè)關(guān)鍵詞。14.根據(jù)權(quán)利要求13所述的裝置，其特征在于，所述平均對(duì)話長(zhǎng)度生成模塊中的所述將 領(lǐng)域任務(wù)型對(duì)話系統(tǒng)輸出的詢問(wèn)信息的數(shù)量及依據(jù)所述任務(wù)數(shù)據(jù)庫(kù)提交的答復(fù)信息的數(shù) 量相加后除以所述任務(wù)數(shù)據(jù)庫(kù)中包括的任務(wù)信息的數(shù)量，得到平均對(duì)話長(zhǎng)度包括：其中，al為平均對(duì)話長(zhǎng)度;qsds為領(lǐng)域任務(wù)型對(duì)話系統(tǒng)輸出的詢問(wèn)信息的數(shù)量;qe3val為依 據(jù)所述任務(wù)數(shù)據(jù)庫(kù)提交的答復(fù)信息的數(shù)量;m為以矩陣的形式表示的任務(wù)數(shù)據(jù)庫(kù)T的行數(shù)； 所述對(duì)話完成率生成模塊中的所述將依據(jù)所述任務(wù)數(shù)據(jù)庫(kù)提交的答復(fù)信息及所答復(fù) 的詢問(wèn)信息中已完成任務(wù)信息的數(shù)量除以所述任務(wù)數(shù)據(jù)庫(kù)中包括的任務(wù)信息的數(shù)量，得到 對(duì)話完成率包括：其中，dfr為對(duì)話完成率;m為矩陣1 cm」m;uiu《依據(jù)所述任務(wù)數(shù)據(jù)庫(kù)T提交的答復(fù){目 息及所答復(fù)的詢問(wèn)信息中已完成任務(wù)信息的數(shù)量，當(dāng)任務(wù)信息的每一組鍵值對(duì)均已提交答 復(fù)信息時(shí)，所述任務(wù)信息為已完成任務(wù)信息； 所述關(guān)鍵詞準(zhǔn)確率生成模塊中的所述將所述任務(wù)數(shù)據(jù)庫(kù)中用于生成答復(fù)信息的關(guān)鍵 詞準(zhǔn)確的數(shù)量除以所述任務(wù)數(shù)據(jù)庫(kù)中關(guān)鍵詞用于生成答復(fù)信息的數(shù)量，得到關(guān)鍵詞準(zhǔn)確率 包括：其中，ksrs表示關(guān)鍵詞s的準(zhǔn)確率;as表示以矩陣形式表示的任務(wù)數(shù)據(jù)庫(kù)T中關(guān)鍵詞s用 于準(zhǔn)確生成答復(fù)信息的數(shù)量，在每次生成答復(fù)信息時(shí)，將所述結(jié)構(gòu)化信息Μ中的Result_ information與T的當(dāng)前任務(wù)信息進(jìn)行對(duì)比將所述結(jié)構(gòu)化信息Μ中的Result_information與 T的當(dāng)前任務(wù)信息進(jìn)行對(duì)比，若對(duì)比結(jié)果相同，則關(guān)鍵詞s準(zhǔn)確;^表示在所述任務(wù)數(shù)據(jù)庫(kù)T 中關(guān)鍵詞s用于生成答復(fù)信息的總次數(shù)； 所述對(duì)話系統(tǒng)準(zhǔn)確率生成模塊中的所述遍歷所述任務(wù)數(shù)據(jù)庫(kù)中的關(guān)鍵詞，將所述關(guān)鍵 詞準(zhǔn)確率進(jìn)行累加，得到對(duì)話系統(tǒng)準(zhǔn)確率包括：其中，dar表示對(duì)話系統(tǒng)準(zhǔn)確率;ksrs表示關(guān)鍵詞s的準(zhǔn)確率；Σ表示遍歷所有的關(guān)鍵詞 s，將所述ksrs進(jìn)行累加。
【專利摘要】本申請(qǐng)公開(kāi)了測(cè)試領(lǐng)域任務(wù)型對(duì)話系統(tǒng)的方法和裝置。所述方法的一【具體實(shí)施方式】包括：獲取領(lǐng)域任務(wù)型對(duì)話系統(tǒng)輸出的詢問(wèn)信息；在預(yù)先構(gòu)建的任務(wù)數(shù)據(jù)庫(kù)中獲取單條任務(wù)信息，其中，任務(wù)數(shù)據(jù)庫(kù)包括但不限于多條任務(wù)信息，每一條任務(wù)信息包括但不限于多組鍵值對(duì)，每組鍵值對(duì)包括但不限于關(guān)鍵詞及關(guān)聯(lián)關(guān)鍵詞的實(shí)例；向領(lǐng)域任務(wù)型對(duì)話系統(tǒng)提交由單條任務(wù)信息中的鍵值對(duì)生成的答復(fù)信息；根據(jù)領(lǐng)域任務(wù)型對(duì)話系統(tǒng)輸出的詢問(wèn)信息以及依據(jù)任務(wù)數(shù)據(jù)庫(kù)提交的答復(fù)信息，生成對(duì)領(lǐng)域任務(wù)型對(duì)話系統(tǒng)的測(cè)試數(shù)據(jù)。該實(shí)施方式向開(kāi)發(fā)人員推送的測(cè)試結(jié)果較為全面并且富于針對(duì)性。
【IPC分類】G06F17/30, G06F11/36
【公開(kāi)號(hào)】CN105630960
【申請(qǐng)?zhí)枴緾N201510983378
【發(fā)明人】吳世偉, 馮鈺坤
【申請(qǐng)人】百度在線網(wǎng)絡(luò)技術(shù)（北京）有限公司
【公開(kāi)日】2016年6月1日
【申請(qǐng)日】2015年12月24日