測(cè)試結(jié)果數(shù)據(jù)的驗(yàn)證方法及裝置的制造方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及計(jì)算機(jī)技術(shù)領(lǐng)域，尤其涉及一種測(cè)試結(jié)果數(shù)據(jù)的驗(yàn)證方法及裝置。
【背景技術(shù)】
[0002] 對(duì)于一個(gè)計(jì)算機(jī)產(chǎn)品，例如LBS平臺(tái)的API，其具有大量的輸入?yún)?shù)。在對(duì)產(chǎn)品進(jìn) 行測(cè)試時(shí)，為了達(dá)到測(cè)試的覆蓋率，測(cè)試人員會(huì)采用正交等手段對(duì)大量的輸入?yún)?shù)進(jìn)行組 合，生成幾百、幾千甚至上萬(wàn)的測(cè)試用例。生成的每個(gè)測(cè)試用例包括多個(gè)輸入?yún)?shù)、執(zhí)行條 件和與每個(gè)輸入?yún)?shù)對(duì)應(yīng)的輸出結(jié)果的期望值。對(duì)于同一個(gè)產(chǎn)品而言，當(dāng)輸入?yún)?shù)不同時(shí)， 對(duì)應(yīng)的輸出結(jié)果是不同的，即不同的測(cè)試用例的輸出結(jié)果是不同的。例如：某一測(cè)試用例的 輸入?yún)?shù)（如鍵值對(duì)中的鍵）為PA1、PB1和PC1，對(duì)應(yīng)的輸出結(jié)果為RA、RB1、RB11、RC1和 RC11。另一測(cè)試用例的輸入?yún)?shù)為PA2、PB2和PC2,對(duì)應(yīng)的輸出結(jié)果為RA、RB2、RB21、RC2 和 RC21。
[0003]現(xiàn)有技術(shù)中，測(cè)試人員對(duì)每個(gè)測(cè)試用例的每個(gè)輸出結(jié)果的期望值進(jìn)行驗(yàn)證策略的 設(shè)定，并對(duì)每個(gè)輸出結(jié)果的期望值根據(jù)設(shè)定的驗(yàn)證策略進(jìn)行驗(yàn)證，以確定對(duì)產(chǎn)品的測(cè)試是 否通過(guò)。
[0004] 現(xiàn)有的對(duì)測(cè)試結(jié)果數(shù)據(jù)的驗(yàn)證過(guò)程至少存在如下問(wèn)題：當(dāng)測(cè)試用例很多時(shí)，由于 測(cè)試人員需對(duì)每個(gè)測(cè)試用例的每個(gè)輸出結(jié)果的期望值設(shè)定驗(yàn)證策略，并對(duì)每個(gè)輸出結(jié)果的 期望值根據(jù)設(shè)定的驗(yàn)證策略進(jìn)行驗(yàn)證，因此投入的時(shí)間成本很大，驗(yàn)證效率低。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明的目的在于提供一種測(cè)試結(jié)果數(shù)據(jù)的驗(yàn)證方法及裝置，降低對(duì)測(cè)試結(jié)果數(shù) 據(jù)的驗(yàn)證的時(shí)間成本，提高了驗(yàn)證效率。
[0006] 根據(jù)本發(fā)明的一方面，本發(fā)明提供一種測(cè)試結(jié)果數(shù)據(jù)的驗(yàn)證方法，包括：獲取多 個(gè)測(cè)試用例，所述測(cè)試用例包含要進(jìn)行驗(yàn)證的多個(gè)數(shù)據(jù)項(xiàng)；根據(jù)所述多個(gè)數(shù)據(jù)項(xiàng)在所述多 個(gè)測(cè)試用例中出現(xiàn)的概率分別為所述數(shù)據(jù)項(xiàng)設(shè)定驗(yàn)證策略，以在執(zhí)行所述測(cè)試用例的過(guò)程 中，根據(jù)設(shè)定的所述驗(yàn)證策略對(duì)所述數(shù)據(jù)項(xiàng)進(jìn)行驗(yàn)證。
[0007] 進(jìn)一步地，所述驗(yàn)證策略包括主動(dòng)加載驗(yàn)證策略和延遲加載驗(yàn)證策略。
[0008] 優(yōu)選地，所述根據(jù)所述多個(gè)數(shù)據(jù)項(xiàng)在所述多個(gè)測(cè)試用例中出現(xiàn)的概率分別為所述 數(shù)據(jù)項(xiàng)設(shè)定驗(yàn)證策略的處理包括：根據(jù)所述多個(gè)數(shù)據(jù)項(xiàng)在所述多個(gè)測(cè)試用例中出現(xiàn)的概率 確定可使所述多個(gè)測(cè)試用例中的所述多個(gè)數(shù)據(jù)項(xiàng)所需驗(yàn)證時(shí)間最短的基準(zhǔn)概率；根據(jù)確定 的所述基準(zhǔn)概率分別為所述數(shù)據(jù)項(xiàng)設(shè)定所述驗(yàn)證策略。
[0009] 優(yōu)選地，所述根據(jù)確定的所述基準(zhǔn)概率分別為所述數(shù)據(jù)項(xiàng)設(shè)定所述驗(yàn)證策略的處 理包括：如果所述數(shù)據(jù)項(xiàng)在所述多個(gè)測(cè)試用例中出現(xiàn)的概率大于所述基準(zhǔn)概率，則設(shè)定所 述數(shù)據(jù)項(xiàng)對(duì)應(yīng)的所述驗(yàn)證策略為所述主動(dòng)加載驗(yàn)證策略；如果所述數(shù)據(jù)項(xiàng)在所述多個(gè)測(cè)試 用例中出現(xiàn)的概率小于或者等于所述基準(zhǔn)概率，則設(shè)定所述數(shù)據(jù)項(xiàng)對(duì)應(yīng)的所述驗(yàn)證策略為 所述延遲加載驗(yàn)證策略。
[0010] 進(jìn)一步地，所述數(shù)據(jù)項(xiàng)在所述多個(gè)測(cè)試用例中出現(xiàn)的概率為所述多個(gè)測(cè)試用例中 出現(xiàn)所述數(shù)據(jù)項(xiàng)的所述測(cè)試用例的個(gè)數(shù)占所述多個(gè)測(cè)試用例的總個(gè)數(shù)的百分比。
[0011] 可選地，所述方法還包括：對(duì)所述多個(gè)測(cè)試用例中的所述多個(gè)數(shù)據(jù)項(xiàng)進(jìn)行去重處 理。
[0012] 優(yōu)選地，所述根據(jù)所述多個(gè)數(shù)據(jù)項(xiàng)在所述多個(gè)測(cè)試用例中出現(xiàn)的概率確定可使所 述多個(gè)測(cè)試用例中的所述多個(gè)數(shù)據(jù)項(xiàng)所需驗(yàn)證時(shí)間最短的基準(zhǔn)概率的處理包括：設(shè)定所述 主動(dòng)加載驗(yàn)證策略對(duì)應(yīng)的所述數(shù)據(jù)項(xiàng)的個(gè)數(shù)為K ;根據(jù)所述K確定所述多個(gè)數(shù)據(jù)項(xiàng)中在所 述多個(gè)測(cè)試用例中出現(xiàn)的概率最大的K個(gè)所述數(shù)據(jù)項(xiàng)為所述主動(dòng)加載驗(yàn)證策略對(duì)應(yīng)的所 述數(shù)據(jù)項(xiàng)，所述多個(gè)數(shù)據(jù)項(xiàng)中除所述K個(gè)所述數(shù)據(jù)項(xiàng)之外的所述數(shù)據(jù)項(xiàng)為所述延遲加載驗(yàn) 證策略對(duì)應(yīng)的所述數(shù)據(jù)項(xiàng)；根據(jù)所述K和所述主動(dòng)加載驗(yàn)證策略對(duì)應(yīng)的所述數(shù)據(jù)項(xiàng)在所述 多個(gè)測(cè)試用例中出現(xiàn)的概率計(jì)算第一平均驗(yàn)證時(shí)間；根據(jù)所述K和所述延遲加載驗(yàn)證策略 對(duì)應(yīng)的所述數(shù)據(jù)項(xiàng)在所述多個(gè)測(cè)試用例中出現(xiàn)的概率計(jì)算第二平均驗(yàn)證時(shí)間；計(jì)算所述第 一平均驗(yàn)證時(shí)間和所述第二平均驗(yàn)證時(shí)間之和；根據(jù)所述第一平均驗(yàn)證時(shí)間和所述第二平 均驗(yàn)證時(shí)間之和最小時(shí)所述K的值確定所述基準(zhǔn)概率。
[0013] 根據(jù)本發(fā)明的另一方面，本發(fā)明提供一種測(cè)試結(jié)果數(shù)據(jù)的驗(yàn)證裝置，包括：測(cè)試用 例獲取單元，用于獲取多個(gè)測(cè)試用例，所述測(cè)試用例包含要進(jìn)行驗(yàn)證的多個(gè)數(shù)據(jù)項(xiàng)；驗(yàn)證策 略設(shè)定單元，用于根據(jù)所述多個(gè)數(shù)據(jù)項(xiàng)在所述多個(gè)測(cè)試用例中出現(xiàn)的概率分別為所述數(shù)據(jù) 項(xiàng)設(shè)定驗(yàn)證策略，以在執(zhí)行所述測(cè)試用例的過(guò)程中，根據(jù)設(shè)定的所述驗(yàn)證策略對(duì)所述數(shù)據(jù) 項(xiàng)進(jìn)行驗(yàn)證。
[0014] 進(jìn)一步地，所述驗(yàn)證策略包括主動(dòng)加載驗(yàn)證策略和延遲加載驗(yàn)證策略。
[0015] 優(yōu)選地，所述驗(yàn)證策略設(shè)定單元包括：基準(zhǔn)概率確定模塊，用于根據(jù)所述多個(gè)數(shù)據(jù) 項(xiàng)在所述多個(gè)測(cè)試用例中出現(xiàn)的概率確定可使所述多個(gè)測(cè)試用例中的所述多個(gè)數(shù)據(jù)項(xiàng)所 需驗(yàn)證時(shí)間最短的基準(zhǔn)概率。驗(yàn)證策略設(shè)定模塊，用于根據(jù)確定的所述基準(zhǔn)概率分別為所 述數(shù)據(jù)項(xiàng)設(shè)定所述驗(yàn)證策略。
[0016] 優(yōu)選地，所述驗(yàn)證策略設(shè)定模塊包括：第一設(shè)定子模塊，用于如果所述數(shù)據(jù)項(xiàng)在所 述多個(gè)測(cè)試用例中出現(xiàn)的概率大于所述基準(zhǔn)概率，則設(shè)定所述數(shù)據(jù)項(xiàng)對(duì)應(yīng)的所述驗(yàn)證策略 為所述主動(dòng)加載驗(yàn)證策略；第二設(shè)定子模塊，用于如果所述數(shù)據(jù)項(xiàng)在所述多個(gè)測(cè)試用例中 出現(xiàn)的概率小于或者等于所述基準(zhǔn)概率，則設(shè)定所述數(shù)據(jù)項(xiàng)對(duì)應(yīng)的所述驗(yàn)證策略為所述延 遲加載驗(yàn)證策略。
[0017] 進(jìn)一步地，所述數(shù)據(jù)項(xiàng)在所述多個(gè)測(cè)試用例中出現(xiàn)的概率為所述多個(gè)測(cè)試用例中 出現(xiàn)所述數(shù)據(jù)項(xiàng)的所述測(cè)試用例的個(gè)數(shù)占所述多個(gè)測(cè)試用例的總個(gè)數(shù)的百分比。
[0018] 可選地，所述裝置還包括：去重單元，用于對(duì)所述多個(gè)測(cè)試用例中的所述多個(gè)數(shù)據(jù) 項(xiàng)進(jìn)行去重處理。
[0019] 優(yōu)選地，所述基準(zhǔn)概率確定模塊包括：第三設(shè)定子模塊，用于設(shè)定所述主動(dòng)加載驗(yàn) 證策略對(duì)應(yīng)的所述數(shù)據(jù)項(xiàng)的個(gè)數(shù)為K ;第一確定子模塊，用于根據(jù)所述K確定所述多個(gè)數(shù)據(jù) 項(xiàng)中在所述多個(gè)測(cè)試用例中出現(xiàn)的概率最大的K個(gè)所述數(shù)據(jù)項(xiàng)為所述主動(dòng)加載驗(yàn)證策略 對(duì)應(yīng)的所述數(shù)據(jù)項(xiàng)，所述多個(gè)數(shù)據(jù)項(xiàng)中除所述K個(gè)所述數(shù)據(jù)項(xiàng)之外的所述數(shù)據(jù)項(xiàng)為所述延 遲加載驗(yàn)證策略對(duì)應(yīng)的所述數(shù)據(jù)項(xiàng)；第一計(jì)算子模塊，用于根據(jù)所述K和所述主動(dòng)加載驗(yàn) 證策略對(duì)應(yīng)的所述數(shù)據(jù)項(xiàng)在所述多個(gè)測(cè)試用例中出現(xiàn)的概率計(jì)算第一平均驗(yàn)證時(shí)間；第二 計(jì)算子模塊，用于根據(jù)所述K和所述延遲加載驗(yàn)證策略對(duì)應(yīng)的所述數(shù)據(jù)項(xiàng)在所述多個(gè)測(cè)試 用例中出現(xiàn)的概率計(jì)算第二平均驗(yàn)證時(shí)間；第三計(jì)算子模塊，用于計(jì)算所述第一平均驗(yàn)證 和所述第二平均驗(yàn)證時(shí)間之和；第二確定子模塊，用于根據(jù)所述第一平均驗(yàn)證時(shí)間和所述 第二平均驗(yàn)證時(shí)間之和最小時(shí)所述K的值確定所述基準(zhǔn)概率。
[0020] 本發(fā)明提供的測(cè)試結(jié)果數(shù)據(jù)的驗(yàn)證方法及裝置，根據(jù)用于產(chǎn)品測(cè)試的多個(gè)測(cè)試用 例中多個(gè)數(shù)據(jù)項(xiàng)出現(xiàn)的概率自動(dòng)地為所述數(shù)據(jù)項(xiàng)設(shè)定相應(yīng)的驗(yàn)證策略，使得在這種驗(yàn)證策 略設(shè)定方法下驗(yàn)證時(shí)間最短，降低了對(duì)測(cè)試結(jié)果數(shù)據(jù)的驗(yàn)證的時(shí)間成本，提高了驗(yàn)證效率。
【附圖說(shuō)明】
[0021] 圖1是示出本發(fā)明示例性實(shí)施例測(cè)試結(jié)果數(shù)據(jù)的驗(yàn)證方法的流程示意圖；
[0022] 圖2是示出本發(fā)明示例性實(shí)施例測(cè)試結(jié)果數(shù)據(jù)的驗(yàn)證裝置的結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0023] 本發(fā)明的基本構(gòu)思是：根據(jù)用于產(chǎn)品測(cè)試的多個(gè)測(cè)試用例中多個(gè)數(shù)據(jù)項(xiàng)出現(xiàn)的概 率自動(dòng)地為所述數(shù)據(jù)項(xiàng)設(shè)定相應(yīng)的驗(yàn)證策略，使得在這種驗(yàn)證策略設(shè)定方法下驗(yàn)證