0094]測試執(zhí)行驅(qū)動(dòng)170，用于驅(qū)動(dòng)測試執(zhí)行模塊114 ;
[0095]測試結(jié)果報(bào)告和分析模塊180，用于匯總測試結(jié)果模塊115中測試結(jié)果生成報(bào)告，報(bào)告的形式可選。針對(duì)結(jié)果中的問題，可以進(jìn)行問題匯總、圖表顯示，提示產(chǎn)生問題的位置和原因，以方便定位問題；
[0096]交叉事件庫190，包括正常事件交叉關(guān)系庫140和異常操作事件庫150，可以理解的是，正常事件交叉關(guān)系庫140和異常操作事件庫150既可共同設(shè)置在交叉事件庫190中，或者，獨(dú)立地進(jìn)行設(shè)置。
[0097]基于圖1所示的交叉事件自動(dòng)化測試系統(tǒng)，圖2是本發(fā)明實(shí)施例提供的交叉事件自動(dòng)化測試方法的流程示意圖。如圖2所示，包括如下步驟:
[0098]步驟21，確定正常事件交叉關(guān)系庫和異常操作事件庫。
[0099]在本步驟中，正常事件交叉關(guān)系生成模塊根據(jù)測試經(jīng)驗(yàn)生成用于存儲(chǔ)交叉模塊在時(shí)間、空間和功能上的相互關(guān)系事件的正常事件交叉關(guān)系庫；異常操作事件生成模塊根據(jù)測試經(jīng)驗(yàn)生成用于存儲(chǔ)影響交叉模塊正常運(yùn)行的異常操作事件的異常操作事件庫。正常事件交叉關(guān)系庫的事件都包括必選項(xiàng)事件和可選項(xiàng)事件，正常事件交叉關(guān)系庫和異常操作事件庫可以供執(zhí)行測試的模塊共享和調(diào)用。
[0100]步驟22，根據(jù)正常事件交叉關(guān)系庫和異常操作事件庫，生成自動(dòng)化測試用例集。
[0101]在本步驟中，指定交叉事件來源于正常事件交叉關(guān)系庫包括的必選項(xiàng)事件和異常操作事件庫包括的必選項(xiàng)事件；隨機(jī)交叉事件來源于正常事件交叉關(guān)系庫包括的可選項(xiàng)事件和異常操作事件庫包括的可選項(xiàng)事件。將指定交叉事件和隨機(jī)交叉事件導(dǎo)入自動(dòng)化測試系統(tǒng)的模型庫中，模型庫分別生成指定交叉事件的自動(dòng)化測試用例和隨機(jī)交叉事件的自動(dòng)化測試用例，指定交叉事件的自動(dòng)化測試用例和隨機(jī)交叉事件的自動(dòng)化測試用例構(gòu)成所述自動(dòng)化測試用例集。此外，根據(jù)自動(dòng)化測試用例集和設(shè)備的配置，生成設(shè)備可以識(shí)別的配置文件，作為后續(xù)自動(dòng)化測試的輸入，如何生成配置文件屬于本領(lǐng)域技術(shù)人員的公知，在此不贅述。
[0102]本發(fā)明的優(yōu)選實(shí)施里中，拓?fù)渑判蛩惴▽儆谏疃葍?yōu)先算法，指在事件關(guān)系用例中對(duì)有順序無回路的關(guān)系事件進(jìn)行排序，形成順序序列指示事件發(fā)生。
[0103]例如，參考圖3所示，電信設(shè)備需要網(wǎng)管管理，網(wǎng)管管理系統(tǒng)分為兩大部分:網(wǎng)管服務(wù)器和網(wǎng)管客戶端，這里以網(wǎng)管分布式安裝系統(tǒng)的啟動(dòng)為例，在網(wǎng)管系統(tǒng)已經(jīng)正確安裝，且系統(tǒng)電腦已經(jīng)正常啟動(dòng)后開始，A為服務(wù)器啟動(dòng)，B為服務(wù)器關(guān)閉，C為服務(wù)器啟動(dòng)的情況下客戶端I開啟，D為客戶端I關(guān)閉，E為服務(wù)器啟動(dòng)的情況下客戶端2開啟，F(xiàn)為客戶端2關(guān)閉，G為選定服務(wù)器，H為選定客戶端1，I為選定客戶端2，J為在網(wǎng)管服務(wù)器啟動(dòng)的情況下查看網(wǎng)管進(jìn)程運(yùn)行情況，K為取消選定。例如，可以選擇A經(jīng)過C到達(dá)B的路徑，路徑為ACHDGB，表示了一個(gè)服務(wù)器和客戶端啟動(dòng)和關(guān)閉的流程:服務(wù)器啟動(dòng)_>服務(wù)器啟動(dòng)情況下客戶端I開啟_>選定客戶端1_>客戶端I關(guān)閉_>選定服務(wù)器_>服務(wù)器關(guān)閉；進(jìn)一步地，也可以選擇其他的路徑依次遍歷，例如，另外一種路徑可以是:ACHK，代表一種異常的操作流程:服務(wù)器啟動(dòng)_>服務(wù)器啟動(dòng)情況下客戶端I開啟_>選定客戶端1_>取消選定。
[0104]步驟23，獲取測試項(xiàng)目需要測試的待測試項(xiàng)，根據(jù)待測試項(xiàng)的組合關(guān)系查找自動(dòng)化測試用例集，獲取與每個(gè)待測試項(xiàng)匹配的自動(dòng)化測試用例，根據(jù)與每個(gè)待測試項(xiàng)匹配的自動(dòng)化測試用例，確定與測試項(xiàng)目對(duì)應(yīng)的自動(dòng)化測試用例，執(zhí)行與測試項(xiàng)目對(duì)應(yīng)的自動(dòng)化測試用例以實(shí)現(xiàn)對(duì)測試項(xiàng)目進(jìn)行測試。
[0105]步驟24，根據(jù)測試結(jié)果生成測試報(bào)告，并對(duì)測試報(bào)告進(jìn)行分析，根據(jù)對(duì)測試報(bào)告的分析更新正常事件交叉關(guān)系庫和異常操作事件庫。
[0106]在本步驟中，測試完成后，測試結(jié)果報(bào)告和分析模塊根據(jù)測試結(jié)果自動(dòng)生成測試報(bào)告，其中測試是否完成可以根據(jù)校驗(yàn)輸出狀態(tài)是否完成測試完成的輸出狀態(tài)來判斷。
[0107]測試報(bào)告包括組合的測試用例數(shù)目和通過率、每個(gè)測試用例的具體配置和事件，每個(gè)測試用例的執(zhí)行情況以及每個(gè)測試用例的具體的驗(yàn)證點(diǎn)的詳細(xì)情況等信息。
[0108]根據(jù)測試結(jié)果生成測試報(bào)告，可以周期性的對(duì)測試報(bào)告進(jìn)行分析，也可以選擇某些測試報(bào)告進(jìn)行分析，例如，每20次測試報(bào)告進(jìn)行統(tǒng)計(jì)、或者選定5次測試結(jié)果進(jìn)行統(tǒng)計(jì)，可以采用數(shù)組的方式計(jì)算得出自動(dòng)化測試用例集中交叉事件的執(zhí)行率、失敗率、平均執(zhí)行時(shí)間等，利用冒泡法分別進(jìn)行排序，形成帶有不同權(quán)重值的交叉事件關(guān)系，對(duì)正常事件交叉關(guān)系庫和異常操作事件庫進(jìn)行更新。
[0109]此外，可以依次對(duì)比失敗率由高到低的用例若不包含可以進(jìn)行添加、并記錄失敗的概率。進(jìn)行版本升級(jí)的測試或發(fā)布前測試時(shí)，可以按權(quán)重值選擇進(jìn)行覆蓋測試，大大提高測試覆蓋度的同時(shí)，也有效的節(jié)省了時(shí)間成本。
[0110]圖4本發(fā)明實(shí)施例提供的自動(dòng)化測試的流程示意圖，該自動(dòng)化測試的流程是對(duì)上述步驟23的具體說明。如圖4所示，包括如下步驟:
[0111]步驟231，建立測試項(xiàng)目。
[0112]具體地，交叉事件自動(dòng)化測試系統(tǒng)在客戶端設(shè)備上運(yùn)行，并通過人機(jī)交互模塊接收用戶的控制信息，用戶需要測試時(shí)，新建一個(gè)測試項(xiàng)目，該測試項(xiàng)目至少包括一個(gè)交叉模塊。
[0113]步驟232，確定測試項(xiàng)目需要測試的待測試項(xiàng)。
[0114]具體地，測試項(xiàng)目包括至少一個(gè)待測試項(xiàng)，根據(jù)測試需求在交叉事件庫中選擇事件作為測試項(xiàng)目需要測試的待測試項(xiàng)。交叉事件庫中的事件包括必選項(xiàng)事件和可選項(xiàng)事件，在實(shí)際應(yīng)用中，可以設(shè)定默認(rèn)為選擇必選項(xiàng)事件。
[0115]根據(jù)設(shè)備配置和在交叉事件庫中選擇的事件分別生成待測試項(xiàng)的配置文件。在實(shí)際應(yīng)用中，如果沒有選擇交叉事件庫可選項(xiàng)事件，設(shè)定默認(rèn)使用已經(jīng)生成的自動(dòng)化測試用例集的配置文件，以節(jié)約時(shí)間。
[0116]此外，在生成待測試項(xiàng)的配置文件還可以設(shè)置測試記錄和測試報(bào)告的輸出位置以及文件顯示格式。
[0117]步驟233，判斷待測試項(xiàng)的組合關(guān)系屬于指定交叉事件關(guān)系或是隨機(jī)交叉事件關(guān)系，如果待測試項(xiàng)的組合關(guān)系屬于指定交叉事件關(guān)系，進(jìn)入步驟234，如果待測試項(xiàng)的組合關(guān)系屬于隨機(jī)交叉事件關(guān)系，進(jìn)入步驟235。
[0118]步驟234，查找指定交叉事件的自動(dòng)化測試用例集，獲取與每個(gè)待測試項(xiàng)匹配的指定交叉事件的自動(dòng)化測試用例，然后進(jìn)入步驟238。
[0119]指定交叉事件關(guān)系來源于正常事件交叉關(guān)系庫包括的必選項(xiàng)事件和異常操作事件庫包括的必選項(xiàng)事件，因此可以在指定交叉事件的自動(dòng)化測試用例集查找到。具體地，生成讀取測試項(xiàng)的配置文件，查找指定交叉事件的自動(dòng)化測試用例集，獲取與每個(gè)待測試項(xiàng)匹配的指定交叉事件的自動(dòng)化測試用例。
[0120]步驟235，查找隨機(jī)交叉事件的自動(dòng)化測試用例集，判斷在隨機(jī)交叉事件的自動(dòng)化測試用例集中是否查找到和待測試項(xiàng)匹配的自動(dòng)化測試用例，如果查找到，進(jìn)入步驟236，如果沒有查找到，進(jìn)入步驟237 ;
[0121]隨機(jī)交叉事件關(guān)系來源于正常事件交叉關(guān)系庫的可選項(xiàng)事件和異常操作事件庫的可選項(xiàng)事件，如果后續(xù)有補(bǔ)充新可選項(xiàng)事件或者異常操作事件，有可能無法在隨機(jī)交叉事件的自動(dòng)化測試用例集中查找到。
[0122]步驟236，獲取與每個(gè)待測試項(xiàng)匹配的隨機(jī)交叉事件的自動(dòng)化測試用例；
[0123]步驟237，生成與每個(gè)待測試項(xiàng)匹配的自動(dòng)化測試用例。
[0124]具體地，根據(jù)拓?fù)渑判蛩惴ㄉ呻S機(jī)交叉事件，并生成隨機(jī)交叉事件的測試用例作為待測試項(xiàng)的自動(dòng)化測試用例。
[0125]步驟238，根據(jù)與每個(gè)待測試項(xiàng)匹配的自動(dòng)化測試用例，確定與測試項(xiàng)目對(duì)應(yīng)的自動(dòng)化測試用例。
[0126]具體地，測試項(xiàng)目包括至少一個(gè)待測試項(xiàng)，將待測試項(xiàng)的自動(dòng)化測試用例按照設(shè)定的順序組合，確定測試項(xiàng)目的自動(dòng)化測試用例，例如，如果多個(gè)與待測試項(xiàng)匹配的自動(dòng)化測試用例直接存在關(guān)聯(lián)順序，則可以根據(jù)關(guān)聯(lián)順序，確定與測試項(xiàng)目對(duì)應(yīng)的自動(dòng)化測試用例；如果多個(gè)與待測試項(xiàng)匹配的自動(dòng)化測試用例之間未存在關(guān)聯(lián)順序，則可以對(duì)多個(gè)與測試項(xiàng)匹配的自動(dòng)化測試用例的權(quán)重值進(jìn)行排列，根據(jù)排列順序，確定與測試項(xiàng)目對(duì)應(yīng)的自動(dòng)化測試用例。
[0127]步驟239，執(zhí)行測試項(xiàng)目的自動(dòng)化測試用例以實(shí)現(xiàn)對(duì)測試項(xiàng)目進(jìn)行測試。
[0128]具體地，調(diào)用測試執(zhí)行模塊執(zhí)行測試項(xiàng)目的自動(dòng)化測試用例，且優(yōu)選地，測試過程中，可以在測試結(jié)果模塊中隨時(shí)查看運(yùn)行情況以及截止到目前的測試進(jìn)程。
[0129]本發(fā)明的交叉事件自動(dòng)化測試系統(tǒng)和交叉事件自動(dòng)化測試方法對(duì)應(yīng)，因此，交叉事件自動(dòng)化測試系統(tǒng)和交叉事件自動(dòng)化測試方法中的具體的實(shí)現(xiàn)細(xì)節(jié)可相互參考，在此不贅述。
[0130]本發(fā)明中，通過預(yù)先建立正常事件交叉關(guān)系庫和異常操作事件庫，并根據(jù)正常事件交叉關(guān)系庫和異常操作事件庫生成自動(dòng)化測試用例，解決了交叉事件組合不全、異常場景模擬不夠帶來的可能存在隱藏缺陷的風(fēng)險(xiǎn)；測試項(xiàng)目中需要測試的待測試項(xiàng)可以從自動(dòng)化測試用例中確定，從而實(shí)現(xiàn)了批量自動(dòng)化測試；此外，對(duì)測試結(jié)果進(jìn)行分析并根據(jù)測試結(jié)果更新交叉事件庫，