一種人工智能應(yīng)答系統(tǒng)測(cè)試方法及系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及人工智能相關(guān)技術(shù)領(lǐng)域，特別是一種人工智能應(yīng)答系統(tǒng)測(cè)試方法及系 統(tǒng)。
【背景技術(shù)】
[0002] 在人工智能領(lǐng)域，目前涌現(xiàn)出了很多優(yōu)秀的產(chǎn)品，這些產(chǎn)品都是基于自然語(yǔ)言處 理的自動(dòng)人工智能應(yīng)答系統(tǒng)，對(duì)于此類(lèi)系統(tǒng)目前有一些開(kāi)源的自動(dòng)化測(cè)試框架，為了解決 基于自然語(yǔ)言處理的自動(dòng)人工智能應(yīng)答系統(tǒng)的自動(dòng)化測(cè)試問(wèn)題，引入了 selenium框架 +python的自動(dòng)化解決方案，可以實(shí)現(xiàn)在web端對(duì)于系統(tǒng)提問(wèn)輸入和回答輸出判斷的自動(dòng) 化測(cè)試，由于大部分自動(dòng)應(yīng)答系統(tǒng)對(duì)于唯一的輸入有唯一的答案，因此可以直接用結(jié)果匹 配的方式判斷測(cè)試執(zhí)行的結(jié)果。
[0003] 現(xiàn)有的自動(dòng)化技術(shù)有基于selenium框架來(lái)實(shí)現(xiàn)web的自動(dòng)化測(cè)試，在web頁(yè)面 的輸入框輸入問(wèn)題，并抓取輸入框的返回結(jié)果，將問(wèn)題和結(jié)果保存到文件中，再進(jìn)行結(jié)果判 斷，再執(zhí)行下一條問(wèn)題。
[0004] 由于智能應(yīng)答系統(tǒng)的問(wèn)題和答案的數(shù)據(jù)非常大，因此將測(cè)試腳本和測(cè)試數(shù)據(jù)分 離，測(cè)試數(shù)據(jù)以一定的結(jié)構(gòu)保存在表格中便于讀取和控制保存形式以行為單位進(jìn)行分割， 一行數(shù)據(jù)是一個(gè)會(huì)話。不同列數(shù)據(jù)代表不同的會(huì)話信息，每一行包含如下的內(nèi)容：
[0005] 表1現(xiàn)有技術(shù)的問(wèn)題和答案保存方法
[0006]
[0007] 然而，對(duì)于高頻問(wèn)題，有可能出現(xiàn)多個(gè)答案，即出現(xiàn)話術(shù)輪播場(chǎng)景。然而現(xiàn)有的自 動(dòng)化測(cè)試流程和測(cè)試數(shù)據(jù)保存方式無(wú)法滿足話術(shù)輪播場(chǎng)景下的結(jié)果判斷。

【發(fā)明內(nèi)容】

[0008] 基于此，有必要針對(duì)現(xiàn)有技術(shù)的自動(dòng)化測(cè)試流程和測(cè)試數(shù)據(jù)保存方式無(wú)法滿足話 術(shù)輪播場(chǎng)景下的結(jié)果判斷的技術(shù)問(wèn)題，提供一種人工智能應(yīng)答系統(tǒng)測(cè)試方法及系統(tǒng)。
[0009] -種人工智能應(yīng)答系統(tǒng)測(cè)試方法，包括：
[0010] 測(cè)試數(shù)據(jù)獲取步驟，包括：獲取包括至少一個(gè)問(wèn)題以及與每個(gè)問(wèn)題關(guān)聯(lián)的多個(gè)輪 播答案；
[0011] 測(cè)試用例獲取步驟，包括：獲取測(cè)試用例，選擇與所述測(cè)試用例關(guān)聯(lián)的問(wèn)題作為測(cè) 試問(wèn)題并輸出；
[0012] 比較步驟，包括：獲取人工智能應(yīng)答系統(tǒng)對(duì)所述測(cè)試問(wèn)題的話術(shù)作為測(cè)試話術(shù)，如 果所述測(cè)試話術(shù)與其中一個(gè)所述測(cè)試問(wèn)題關(guān)聯(lián)的輪播答案匹配，則判斷該測(cè)試用例測(cè)試通 過(guò)。
[0013] -種人工智能應(yīng)答系統(tǒng)測(cè)試系統(tǒng)，包括：
[0014] 測(cè)試數(shù)據(jù)獲取模塊，用于：獲取包括至少一個(gè)問(wèn)題以及與每個(gè)問(wèn)題關(guān)聯(lián)的多個(gè)輪 播答案；
[0015] 測(cè)試用例獲取模塊，用于：獲取測(cè)試用例，選擇與所述測(cè)試用例關(guān)聯(lián)的問(wèn)題作為測(cè) 試問(wèn)題并輸出；
[0016] 比較模塊，用于：獲取人工智能應(yīng)答系統(tǒng)對(duì)所述測(cè)試問(wèn)題的話術(shù)作為測(cè)試話術(shù)，如 果所述測(cè)試話術(shù)與其中一個(gè)所述測(cè)試問(wèn)題關(guān)聯(lián)的輪播答案匹配，則判斷該測(cè)試用例測(cè)試通 過(guò)。
[0017] 本發(fā)明通過(guò)獲取一個(gè)問(wèn)題及與該問(wèn)題相關(guān)的多個(gè)輪播答案，并在測(cè)試人工智能應(yīng) 答系統(tǒng)時(shí)，將測(cè)試話術(shù)與多個(gè)輪播答案進(jìn)行匹配，以實(shí)現(xiàn)對(duì)話術(shù)輪播場(chǎng)景下進(jìn)行測(cè)試。
【附圖說(shuō)明】
[0018] 圖1為本發(fā)明一種人工智能應(yīng)答系統(tǒng)測(cè)試方法的工作流程圖；
[0019] 圖2為本發(fā)明最佳實(shí)施例的工作流程圖；
[0020] 圖3為本發(fā)明一種人工智能應(yīng)答系統(tǒng)測(cè)試系統(tǒng)的模塊結(jié)構(gòu)圖。
【具體實(shí)施方式】
[0021] 下面結(jié)合附圖和具體實(shí)施例對(duì)本發(fā)明做進(jìn)一步詳細(xì)的說(shuō)明。
[0022] 如圖1所示為本發(fā)明一種人工智能應(yīng)答系統(tǒng)測(cè)試方法的工作流程圖，包括：
[0023] 步驟S101，包括：獲取包括至少一個(gè)問(wèn)題以及與每個(gè)問(wèn)題關(guān)聯(lián)的多個(gè)輪播答案；
[0024] 步驟S102,包括：獲取測(cè)試用例，選擇與所述測(cè)試用例關(guān)聯(lián)的問(wèn)題作為測(cè)試問(wèn)題 并輸出；
[0025] 步驟S103,包括：獲取人工智能應(yīng)答系統(tǒng)對(duì)所述測(cè)試問(wèn)題的話術(shù)作為測(cè)試話術(shù)， 如果所述測(cè)試話術(shù)與其中一個(gè)所述測(cè)試問(wèn)題關(guān)聯(lián)的輪播答案匹配，則判斷該測(cè)試用例測(cè)試 通過(guò)。
[0026] 步驟SlOl中獲取到的每個(gè)問(wèn)題，均關(guān)聯(lián)對(duì)應(yīng)的輪播答案。由于輪播答案為多個(gè)， 因此，在步驟S103中，當(dāng)人工智能應(yīng)答系統(tǒng)給出不同的話術(shù)時(shí)，本發(fā)明的測(cè)試方法也能很 好地適應(yīng)。在話術(shù)輪播場(chǎng)景中，人工智能應(yīng)答系統(tǒng)針對(duì)同一問(wèn)題可能會(huì)給出不同的答案，因 此同一個(gè)測(cè)試用例，現(xiàn)有技術(shù)也很可能會(huì)出現(xiàn)第一次測(cè)試通過(guò)而第二次測(cè)試失敗的情況， 而本發(fā)明由于將多個(gè)輪播答案與同一問(wèn)題關(guān)聯(lián)，因此能很好地克服現(xiàn)有技術(shù)所出現(xiàn)的問(wèn) 題，使得測(cè)試結(jié)果在話術(shù)輪播場(chǎng)景下穩(wěn)定統(tǒng)一。
[0027] 通過(guò)本發(fā)明解決了自動(dòng)化測(cè)試中一個(gè)問(wèn)題對(duì)應(yīng)多個(gè)答案的結(jié)果判斷問(wèn)題，此方案 可以適用于所有類(lèi)似的場(chǎng)景，可以大幅度提升基于人工智能的自動(dòng)應(yīng)答系統(tǒng)的自動(dòng)化測(cè)試 用例覆蓋率，降低測(cè)試成本。
[0028] 在其中一個(gè)實(shí)施例中，所述問(wèn)題還與用于表示所關(guān)聯(lián)的輪播答案數(shù)量的輪播答案 條數(shù)進(jìn)彳T關(guān)聯(lián)保存。
[0029] 輪播答案條數(shù)可以在步驟SlOl時(shí)通過(guò)分析獲取的問(wèn)題以及與每個(gè)問(wèn)題關(guān)聯(lián)的多 個(gè)輪播答案計(jì)算得到，也可以由用戶在提供問(wèn)題及輪播答案時(shí)一同提供。
[0030] 在其中一個(gè)實(shí)施例中，所述步驟S103,具體包括：獲取人工智能應(yīng)答系統(tǒng)對(duì)所述 測(cè)試問(wèn)題的話術(shù)作為測(cè)試話術(shù)，獲取所述測(cè)試問(wèn)題關(guān)聯(lián)的輪播答案條數(shù)作為測(cè)試輪播答案 條數(shù)，將所述測(cè)試答案與所述測(cè)試問(wèn)題關(guān)聯(lián)的輪播答案進(jìn)行比較匹配，如果所述測(cè)試話術(shù) 與其中一個(gè)輪播答案匹配，則判斷該測(cè)試用例測(cè)試通過(guò)并結(jié)束所述比較匹配，否則所述測(cè) 試話術(shù)與另一個(gè)輪播答案進(jìn)行比較匹配，如果所述測(cè)試話術(shù)與輪播答案比較匹配的次數(shù)超 過(guò)所述測(cè)試輪播答案條數(shù)，則判斷該測(cè)試用例測(cè)試失敗。
[0031] 由于將問(wèn)題與輪播答案條數(shù)關(guān)聯(lián)保存，因此可以知道一個(gè)問(wèn)題具有多少的輪播答 案，從而將測(cè)試話術(shù)與所有的輪播答案進(jìn)行比較匹配，使得測(cè)試更為準(zhǔn)確。
[0032] 在其中一個(gè)實(shí)施例中，所述問(wèn)題、以及關(guān)聯(lián)的輪播答案和輪播答案條數(shù)采用二維 表保存，所述二維表的每一行保存一個(gè)問(wèn)題、以及相關(guān)聯(lián)的輪播答案和輪播答案條數(shù)。
[0033] 在其中一個(gè)實(shí)施例中：
[0034] 所述步驟S101，具體包括：獲取測(cè)試賬號(hào)，獲取包括至少一個(gè)問(wèn)題以及與每個(gè)問(wèn) 題關(guān)聯(lián)的多個(gè)輪播答案，所述問(wèn)題以及所述輪播答案與所述測(cè)試賬號(hào)關(guān)聯(lián)；
[0035] 所述步驟S102,具體包括：通過(guò)測(cè)試賬號(hào)登錄人工智能應(yīng)答系統(tǒng)，獲取測(cè)試用例， 選擇與所述測(cè)試用例關(guān)聯(lián)的問(wèn)題作為測(cè)試問(wèn)題并輸出。
[0036] 作為本發(fā)明的最佳實(shí)施例，問(wèn)題、輪播答案、輪播答案條數(shù)的保存方式如下表2所 示：
[0037] 表2本發(fā)明最佳實(shí)施例的問(wèn)題和答案保存方式
[0038]
[0040] 通過(guò)增加輪播答案條數(shù)和多個(gè)輪播答案的方式來(lái)解決輪播話術(shù)數(shù)據(jù)組織形式的 問(wèn)題，η = 1時(shí)可以兼容以前的方案，η>1時(shí)支持答案話術(shù)輪播。其中，場(chǎng)景結(jié)束標(biāo)識(shí)用于表 示為一個(gè)測(cè)試用例的結(jié)束。
[0041] 如圖2所示為本發(fā)明最佳實(shí)施例的工作流程圖，包括：
[0042] 步驟S201，讀取測(cè)試用例；
[0043] 步驟S202,打開(kāi)瀏覽器；
[0044] 步驟S203,輸入待測(cè)試的人工智能應(yīng)答系統(tǒng)的URL地址；
[0045] 步驟S204,從表2所示的二維表中獲取測(cè)試賬號(hào)，通過(guò)測(cè)試賬號(hào)登錄人工智能應(yīng) 答系統(tǒng)；
[0046] 步驟S205,從表2所示的二維表中獲取問(wèn)題，并輸入人工智