本發(fā)明涉及互聯(lián)網(wǎng)技術(shù)領(lǐng)域，具體涉及一種確定眾測(cè)反饋有效性的方法、測(cè)試設(shè)備及系統(tǒng)。

背景技術(shù)：

眾測(cè)是一種新興的測(cè)試方法，就是測(cè)試任務(wù)發(fā)布方通過(guò)測(cè)試平臺(tái)發(fā)布測(cè)試任務(wù)，用戶(hù)可以在移動(dòng)終端上安裝測(cè)試應(yīng)用(APP)，然后在該測(cè)試應(yīng)用上查看測(cè)試任務(wù)，用戶(hù)可以按照要求執(zhí)行測(cè)試任務(wù)，然后反饋測(cè)試結(jié)果給測(cè)試平臺(tái)，測(cè)試平臺(tái)可以根據(jù)用戶(hù)的測(cè)試結(jié)果進(jìn)行分析，當(dāng)然，測(cè)試平臺(tái)會(huì)給該用戶(hù)贈(zèng)送積分或者其他獎(jiǎng)勵(lì)。

眾測(cè)可以利用龐大的外網(wǎng)用戶(hù)和豐富的機(jī)型，彌補(bǔ)自動(dòng)化測(cè)試的一些不足。但是目前的眾測(cè)方案針對(duì)所有的測(cè)試反饋都會(huì)進(jìn)行分析，并給予相應(yīng)的贈(zèng)送，然后再由人工篩選可用的測(cè)試反饋，導(dǎo)致測(cè)試的效率低下。

技術(shù)實(shí)現(xiàn)要素：

為解決現(xiàn)有技術(shù)中由人工篩選可用的測(cè)試反饋，導(dǎo)致測(cè)試的效率低下的問(wèn)題，本發(fā)明實(shí)施例提供一種確定眾測(cè)反饋有效性的方法，可以在接收到用戶(hù)設(shè)備發(fā)送的測(cè)試反饋時(shí)，先對(duì)該測(cè)試反饋進(jìn)行分析，確定是有效反饋后再采用，無(wú)需將測(cè)試反饋全部收集后再由人工篩選，從而提高了測(cè)試的效率。本發(fā)明實(shí)施例還提供了相應(yīng)的測(cè)試設(shè)備及系統(tǒng)。

本發(fā)明第一方面提供一種確定眾測(cè)反饋有效性的方法，所述方法應(yīng)用于眾測(cè)系統(tǒng)，所述眾測(cè)系統(tǒng)包括測(cè)試設(shè)備和多個(gè)用戶(hù)設(shè)備，每個(gè)用戶(hù)設(shè)備上安裝有眾測(cè)應(yīng)用，所述方法包括：

所述測(cè)試設(shè)備通過(guò)所述眾測(cè)應(yīng)用向所述每個(gè)用戶(hù)設(shè)備推送測(cè)試任務(wù)，所述測(cè)試任務(wù)包括多個(gè)測(cè)試用例，所述測(cè)試用例在被執(zhí)行時(shí)生成被執(zhí)行標(biāo)記，所述多個(gè)測(cè)試用例中包括基準(zhǔn)測(cè)試用例，所述基準(zhǔn)測(cè)試用例為與測(cè)試目標(biāo)對(duì)應(yīng)的測(cè)試用例；

所述測(cè)試設(shè)備接收參與測(cè)試的用戶(hù)設(shè)備發(fā)送的所述測(cè)試任務(wù)的測(cè)試反饋，所述測(cè)試反饋包括帶有被執(zhí)行標(biāo)記的測(cè)試用例；

所述測(cè)試設(shè)備從所述帶有被執(zhí)行標(biāo)記的測(cè)試用例中確定基準(zhǔn)測(cè)試用例被執(zhí)行的數(shù)量，并根據(jù)所述數(shù)量和預(yù)先獲知的基準(zhǔn)測(cè)試用例的總數(shù)，確定所述測(cè)試反饋所執(zhí)行的基準(zhǔn)測(cè)試用例的覆蓋率；

當(dāng)所述所執(zhí)行的基準(zhǔn)測(cè)試用例的覆蓋率大于第一閾值時(shí)，所述測(cè)試設(shè)備確定所述測(cè)試反饋為有效的測(cè)試反饋。

本發(fā)明第二方面提供一種測(cè)試設(shè)備，所述測(cè)試設(shè)備應(yīng)用于眾測(cè)系統(tǒng)，所述眾測(cè)系統(tǒng)還包括多個(gè)用戶(hù)設(shè)備，每個(gè)用戶(hù)設(shè)備上安裝有眾測(cè)應(yīng)用，所述測(cè)試設(shè)備包括：

發(fā)送單元，用于通過(guò)所述眾測(cè)應(yīng)用向所述每個(gè)用戶(hù)設(shè)備推送測(cè)試任務(wù)，所述測(cè)試任務(wù)包括多個(gè)測(cè)試用例，所述測(cè)試用例在被執(zhí)行時(shí)生成被執(zhí)行標(biāo)記，所述多個(gè)測(cè)試用例中包括基準(zhǔn)測(cè)試用例，所述基準(zhǔn)測(cè)試用例為與測(cè)試目標(biāo)對(duì)應(yīng)的測(cè)試用例；

接收單元，用于從參與測(cè)試的用戶(hù)設(shè)備獲取所述測(cè)試任務(wù)的測(cè)試反饋，所述測(cè)試反饋包括帶有被執(zhí)行標(biāo)記的測(cè)試用例；

第一確定單元，用于從所述接收單元接收的所述帶有被執(zhí)行標(biāo)記的測(cè)試用例中確定基準(zhǔn)測(cè)試用例被執(zhí)行的數(shù)量，并根據(jù)所述數(shù)量和預(yù)先獲知的基準(zhǔn)測(cè)試用例的總數(shù)，確定所述測(cè)試反饋所執(zhí)行的基準(zhǔn)測(cè)試用例的覆蓋率；

第二確定單元，用于當(dāng)所述第一確定單元確定的所述所執(zhí)行的基準(zhǔn)測(cè)試用例的覆蓋率大于第一閾值時(shí)，確定所述測(cè)試反饋為有效的測(cè)試反饋。

與現(xiàn)有技術(shù)中由人工篩選可用的測(cè)試反饋，導(dǎo)致測(cè)試的效率低下的問(wèn)題，本發(fā)明實(shí)施例提供一種確定眾測(cè)反饋有效性的方法，可以在接收到用戶(hù)設(shè)備發(fā)送的測(cè)試反饋時(shí)，先對(duì)該測(cè)試反饋進(jìn)行分析，確定是有效反饋后再采用，無(wú)需將測(cè)試反饋全部收集后再由人工篩選，從而提高了測(cè)試的效率。

附圖說(shuō)明

為了更清楚地說(shuō)明本發(fā)明實(shí)施例中的技術(shù)方案，下面將對(duì)實(shí)施例描述中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見(jiàn)地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域技術(shù)人員來(lái)講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖獲得其他的附圖。

圖1是本發(fā)明實(shí)施例中眾測(cè)系統(tǒng)的一實(shí)施例示意圖；

圖2是本發(fā)明實(shí)施例中確定眾測(cè)反饋有效性的方法的一實(shí)施例示意圖；

圖3是本發(fā)明實(shí)施例中眾測(cè)系統(tǒng)的另一實(shí)施例示意圖；

圖4是本發(fā)明實(shí)施例中確定眾測(cè)反饋有效性的方法的另一實(shí)施例示意圖；

圖5是本發(fā)明實(shí)施例中測(cè)試設(shè)備的一實(shí)施例示意圖；

圖6是本發(fā)明實(shí)施例中測(cè)試設(shè)備的另一實(shí)施例示意圖；

圖7是本發(fā)明實(shí)施例中測(cè)試設(shè)備的另一實(shí)施例示意圖；

圖8是本發(fā)明實(shí)施例中測(cè)試設(shè)備的另一實(shí)施例示意圖。

具體實(shí)施方式

本發(fā)明實(shí)施例提供一種確定眾測(cè)反饋有效性的方法，可以在接收到用戶(hù)設(shè)備發(fā)送的測(cè)試反饋時(shí)，先對(duì)該測(cè)試反饋進(jìn)行分析，確定是有效反饋后再采用，無(wú)需將測(cè)試反饋全部收集后再由人工篩選，從而提高了測(cè)試的效率。本發(fā)明實(shí)施例還提供了相應(yīng)的測(cè)試設(shè)備及系統(tǒng)。以下分別進(jìn)行詳細(xì)說(shuō)明。

下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域技術(shù)人員在沒(méi)有作出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。

眾測(cè)：眾測(cè)是一款基于眾包概念的平臺(tái)，通過(guò)大眾的測(cè)試力量和測(cè)試資源，完成對(duì)產(chǎn)品的體驗(yàn)和測(cè)試。眾測(cè)由三個(gè)方面組成：眾測(cè)需求方、眾測(cè)測(cè)試人員、眾測(cè)平臺(tái)運(yùn)營(yíng)方。眾測(cè)需求方根據(jù)實(shí)際需求制定眾測(cè)任務(wù)，并設(shè)定任務(wù)的執(zhí)行步驟和預(yù)期結(jié)果。眾測(cè)測(cè)試人員按照任務(wù)執(zhí)行步驟參與眾測(cè)任務(wù)，完成任務(wù)后提交測(cè)試反饋。眾測(cè)平臺(tái)運(yùn)營(yíng)方負(fù)責(zé)平臺(tái)運(yùn)營(yíng)，包括任務(wù)下發(fā)、積分獎(jiǎng)勵(lì)贈(zèng)送以及禮品兌換等。眾測(cè)平臺(tái)旨在較短的時(shí)間內(nèi)，完成對(duì)產(chǎn)品的測(cè)試，并且收集用戶(hù)反饋的產(chǎn)品問(wèn)題和建議，以使被測(cè)產(chǎn)品能夠盡早發(fā)現(xiàn)更多問(wèn)題，更好的提升產(chǎn)品的體驗(yàn)。眾測(cè)平臺(tái)在為眾測(cè)需求方提供發(fā)布任務(wù)的廣闊空間的同時(shí)，也為眾測(cè)測(cè)試人員創(chuàng)造了能將知識(shí)、智慧、創(chuàng)意等轉(zhuǎn)化商業(yè)價(jià)值和社會(huì)價(jià)值的機(jī)會(huì)。

眾測(cè)測(cè)試人員：測(cè)試任務(wù)的參與執(zhí)行者，也稱(chēng)為眾測(cè)用戶(hù)。

眾測(cè)應(yīng)用就是用于在用戶(hù)設(shè)備側(cè)展示測(cè)試任務(wù)的應(yīng)用。

眾測(cè)活動(dòng)：當(dāng)眾測(cè)需求方需要針對(duì)某個(gè)版本發(fā)布眾測(cè)任務(wù)前，需要?jiǎng)?chuàng)建眾測(cè)活動(dòng)。眾測(cè)活動(dòng)是測(cè)試任務(wù)的集合，每個(gè)眾測(cè)活動(dòng)可以包含多個(gè)測(cè)試任務(wù)。

測(cè)試任務(wù)：測(cè)試任務(wù)是測(cè)試用例的集合，每個(gè)測(cè)試任務(wù)可以包含多個(gè)測(cè)試用例。眾測(cè)用戶(hù)只有報(bào)名了測(cè)試任務(wù)后，才能執(zhí)行該測(cè)試任務(wù)下面的測(cè)試用例。

測(cè)試用例：眾測(cè)需求方根據(jù)測(cè)試和產(chǎn)品體驗(yàn)的需要，制作特定的測(cè)試用例。測(cè)試用例包含執(zhí)行步驟和預(yù)期結(jié)果。

測(cè)試用例包含測(cè)試函數(shù)，可以通過(guò)代碼插樁的方式確定該測(cè)試函數(shù)被執(zhí)行，從而確定測(cè)試任務(wù)的被執(zhí)行情況。

代碼插樁：在測(cè)試函數(shù)的入口處寫(xiě)入特定的log函數(shù)，實(shí)現(xiàn)代碼插樁。當(dāng)眾測(cè)用戶(hù)執(zhí)行任務(wù)時(shí)，對(duì)應(yīng)功能的測(cè)試函數(shù)中就會(huì)打印插樁標(biāo)記，也就是log標(biāo)記。從而可以根據(jù)用戶(hù)執(zhí)行后的log函數(shù)判斷眾測(cè)用戶(hù)是否有按照任務(wù)要求執(zhí)行任務(wù)。

圖1為本發(fā)明實(shí)施例所提供的眾測(cè)系統(tǒng)的一實(shí)施例示意圖。

如圖1所示，本發(fā)明實(shí)施例所提供的眾測(cè)系統(tǒng)包括多個(gè)用戶(hù)設(shè)備10、網(wǎng)絡(luò)20和測(cè)試設(shè)備30，多個(gè)用戶(hù)設(shè)備10和測(cè)試設(shè)備30通過(guò)網(wǎng)絡(luò)20通信連接，每個(gè)用戶(hù)設(shè)備上安裝有眾測(cè)應(yīng)用。

測(cè)試設(shè)備30通過(guò)所述眾測(cè)應(yīng)用向所述每個(gè)用戶(hù)設(shè)備10推送測(cè)試任務(wù)，所述測(cè)試任務(wù)包括多個(gè)測(cè)試用例，所述測(cè)試用例在被執(zhí)行時(shí)生成被執(zhí)行標(biāo)記，所述多個(gè)測(cè)試用例中包括基準(zhǔn)測(cè)試用例，所述基準(zhǔn)測(cè)試用例為與測(cè)試目標(biāo)對(duì)應(yīng)的測(cè)試用例；

測(cè)試設(shè)備30接收參與測(cè)試的用戶(hù)設(shè)備10發(fā)送的所述測(cè)試任務(wù)的測(cè)試反饋，所述測(cè)試反饋包括帶有被執(zhí)行標(biāo)記的測(cè)試用例；

測(cè)試設(shè)備30從所述帶有被執(zhí)行標(biāo)記的測(cè)試用例中確定基準(zhǔn)測(cè)試用例被執(zhí)行的數(shù)量，并根據(jù)所述數(shù)量和預(yù)先獲知的基準(zhǔn)測(cè)試用例的總數(shù)，確定所述測(cè)試反饋所執(zhí)行的基準(zhǔn)測(cè)試用例的覆蓋率；

當(dāng)所述所執(zhí)行的基準(zhǔn)測(cè)試用例的覆蓋率大于第一閾值時(shí)，所述測(cè)試設(shè)備30確定所述測(cè)試反饋為有效的測(cè)試反饋。

其中，可以使用基準(zhǔn)測(cè)試用例被執(zhí)行的數(shù)量與基準(zhǔn)測(cè)試用例的總數(shù)的比值作為測(cè)試反饋所執(zhí)行的基準(zhǔn)測(cè)試用例的覆蓋率。第一閾值可以是80％、90％等數(shù)值，對(duì)該第一閾值的取值不做限定，可以根據(jù)需求設(shè)置。

與現(xiàn)有技術(shù)中由人工篩選可用的測(cè)試反饋，導(dǎo)致測(cè)試的效率低下的問(wèn)題，本發(fā)明實(shí)施例提供的眾測(cè)系統(tǒng)，測(cè)試設(shè)備可以在接收到用戶(hù)設(shè)備發(fā)送的測(cè)試反饋時(shí)，先對(duì)該測(cè)試反饋進(jìn)行分析，確定是有效反饋后再采用，無(wú)需將測(cè)試反饋全部收集后再由人工篩選，從而提高了測(cè)試的效率。而且，確定有小的測(cè)試反饋后，可以只針對(duì)有效的測(cè)試反饋進(jìn)行積分贈(zèng)送或者其他形式的獎(jiǎng)勵(lì)，從而節(jié)省了成本。

可選地，測(cè)試用例包括測(cè)試函數(shù)，基準(zhǔn)測(cè)試用例包括基準(zhǔn)測(cè)試函數(shù)，被執(zhí)行過(guò)的測(cè)試函數(shù)和被執(zhí)行過(guò)的基準(zhǔn)測(cè)試函數(shù)都帶有插樁標(biāo)記，所述基準(zhǔn)測(cè)試函數(shù)為與測(cè)試目標(biāo)對(duì)應(yīng)的測(cè)試函數(shù)；

所述測(cè)試設(shè)備從所述帶有被執(zhí)行標(biāo)記的測(cè)試用例中確定基準(zhǔn)測(cè)試用例被執(zhí)行的數(shù)量，并根據(jù)所述數(shù)量和預(yù)先獲知的基準(zhǔn)測(cè)試用例的總數(shù)，確定所述測(cè)試反饋所執(zhí)行的基準(zhǔn)測(cè)試用例的覆蓋率，可以包括：

所述測(cè)試設(shè)備確定帶有插樁標(biāo)記的基準(zhǔn)測(cè)試函數(shù)的個(gè)數(shù)，并根據(jù)所述個(gè)數(shù)和預(yù)先獲知的基準(zhǔn)測(cè)試函數(shù)的總數(shù)，確定所述測(cè)試反饋所執(zhí)行的基準(zhǔn)測(cè)試函數(shù)的基準(zhǔn)函數(shù)覆蓋率；

所述當(dāng)所述所執(zhí)行的基準(zhǔn)測(cè)試用例的覆蓋率大于第一閾值時(shí)，所述測(cè)試設(shè)備確定所述測(cè)試反饋為有效的測(cè)試反饋，可以包括：

當(dāng)基準(zhǔn)函數(shù)覆蓋率大于第一閾值時(shí)，所述測(cè)試設(shè)備確定所述測(cè)試反饋為有效的測(cè)試反饋。

本發(fā)明實(shí)施例中，可以通過(guò)log插樁標(biāo)記確定被執(zhí)行的基準(zhǔn)測(cè)試函數(shù)的個(gè)數(shù)，然后計(jì)算該被執(zhí)行的基準(zhǔn)測(cè)試函數(shù)的個(gè)數(shù)和預(yù)先獲知的基準(zhǔn)測(cè)試函數(shù)的總數(shù)的比值，從而確定基準(zhǔn)函數(shù)覆蓋率。當(dāng)通過(guò)基準(zhǔn)函數(shù)覆蓋率確定測(cè)試反饋為有效反饋時(shí)，則可以采用，并向該參與測(cè)試的用戶(hù)設(shè)備發(fā)送積分或者其他獎(jiǎng)勵(lì)。

可選地，所述測(cè)試設(shè)備接收參與測(cè)試的用戶(hù)設(shè)備發(fā)送的所述測(cè)試任務(wù)的測(cè)試反饋之前，所述方法還可以包括：

所述測(cè)試設(shè)備接收所述每個(gè)用戶(hù)設(shè)備發(fā)送的所述測(cè)試任務(wù)的測(cè)試反饋樣本；

所述測(cè)試設(shè)備從所述測(cè)試反饋樣本中統(tǒng)計(jì)每個(gè)測(cè)試函數(shù)被執(zhí)行的次數(shù)；

所述測(cè)試設(shè)備從被執(zhí)行次數(shù)超過(guò)第二閾值的測(cè)試函數(shù)中確定基準(zhǔn)測(cè)試函數(shù)集合，所述基準(zhǔn)測(cè)試函數(shù)集合中的基準(zhǔn)測(cè)試函數(shù)的數(shù)量與所述基準(zhǔn)測(cè)試函數(shù)的總數(shù)相等。

本發(fā)明實(shí)施例中的基準(zhǔn)測(cè)試函數(shù)可以是預(yù)先設(shè)置好的，但是預(yù)先設(shè)置會(huì)給任務(wù)開(kāi)發(fā)人員增加很多工作量，因此，本發(fā)明實(shí)施例所提供的方案中，基準(zhǔn)測(cè)試函數(shù)可以是測(cè)試設(shè)備自動(dòng)確定的。自動(dòng)確定的方案可以是先收集一定數(shù)量的所述測(cè)試任務(wù)的測(cè)試反饋樣本，從所述測(cè)試反饋樣本中統(tǒng)計(jì)每個(gè)測(cè)試函數(shù)被執(zhí)行的次數(shù)，然后從被執(zhí)行次數(shù)超過(guò)第二閾值的測(cè)試函數(shù)中確定基準(zhǔn)測(cè)試函數(shù)，組成基準(zhǔn)測(cè)試函數(shù)集合，要確定的基準(zhǔn)測(cè)試函數(shù)的數(shù)量可以是預(yù)先配置好的，用N表示，N的取值例如：20個(gè)、30個(gè)或50個(gè)等，然后測(cè)試設(shè)備按照該預(yù)置的數(shù)量進(jìn)行選擇，可以是從被執(zhí)行次數(shù)超過(guò)第二閾值的測(cè)試函數(shù)中選擇被執(zhí)行次數(shù)排在前N的測(cè)試函數(shù)作為基準(zhǔn)測(cè)試函數(shù)，組成基準(zhǔn)測(cè)試函數(shù)集合。

本發(fā)明實(shí)施例中，參閱圖2，基準(zhǔn)測(cè)試函數(shù)的確定和基準(zhǔn)函數(shù)覆蓋率的計(jì)算過(guò)程可以是：

100、測(cè)試活動(dòng)開(kāi)始。

101、是否有新的測(cè)試反饋，若是，執(zhí)行102，若否，執(zhí)行106。

102、統(tǒng)計(jì)測(cè)試反饋中，每個(gè)測(cè)試函數(shù)被執(zhí)行的次數(shù)，被執(zhí)行一次，就在該測(cè)試函數(shù)的統(tǒng)計(jì)次數(shù)staticsTimes加1。

被執(zhí)行的函數(shù)會(huì)帶有插樁標(biāo)記，可以通過(guò)插樁標(biāo)記來(lái)確定測(cè)試函數(shù)是否被執(zhí)行。

103、確定測(cè)試函數(shù)的統(tǒng)計(jì)次數(shù)staticsTimes是否大于最小統(tǒng)計(jì)次數(shù)minStaticsTimes，若是，執(zhí)行104，若否，繼續(xù)統(tǒng)計(jì)。

minStaticsTimes表示預(yù)先設(shè)定的最小統(tǒng)計(jì)次數(shù)，也就是第二閾值，避免統(tǒng)計(jì)的統(tǒng)計(jì)次數(shù)過(guò)少，導(dǎo)致確定的基準(zhǔn)測(cè)試函數(shù)不準(zhǔn)確。

104、從staticsTimes>minStaticsTimes的測(cè)試函數(shù)中確定基準(zhǔn)測(cè)試函數(shù)。

105、針對(duì)該測(cè)試反饋，還可以確定該測(cè)試反饋中基準(zhǔn)測(cè)試函數(shù)覆蓋率。

106、測(cè)試活動(dòng)是否結(jié)束，若是，則執(zhí)行107，若否，則執(zhí)行101。

可選地，本發(fā)明實(shí)施例提供的確定眾測(cè)反饋有效性的方法的另一實(shí)施例中，所述方法還可以包括：

所述測(cè)試設(shè)備從后續(xù)針對(duì)所述測(cè)試任務(wù)的測(cè)試反饋中持續(xù)統(tǒng)計(jì)每個(gè)測(cè)試函數(shù)被執(zhí)行的次數(shù)，以得到每個(gè)測(cè)試函數(shù)更新的被執(zhí)行的次數(shù)；

所述測(cè)試設(shè)備根據(jù)所述更新的被執(zhí)行的次數(shù)，更新所述基準(zhǔn)測(cè)試函數(shù)集合中的基準(zhǔn)測(cè)試函數(shù)。

本發(fā)明實(shí)施例中，基準(zhǔn)測(cè)試函數(shù)并不是一旦確定就不會(huì)發(fā)生變化的，考慮到上述實(shí)施例中，基準(zhǔn)測(cè)試函數(shù)也是通過(guò)預(yù)先接收的測(cè)試反饋確定的，所以可以通過(guò)持續(xù)統(tǒng)計(jì)每個(gè)測(cè)試函數(shù)被執(zhí)行的次數(shù)，以得到每個(gè)測(cè)試函數(shù)更新的被執(zhí)行的次數(shù)，根據(jù)所述更新的被執(zhí)行的次數(shù)，更新所述基準(zhǔn)測(cè)試函數(shù)集合中的基準(zhǔn)測(cè)試函數(shù)。

其中，所述測(cè)試設(shè)備根據(jù)所述更新的被執(zhí)行的次數(shù)，更新所述基準(zhǔn)測(cè)試函數(shù)集合中的基準(zhǔn)測(cè)試函數(shù)，可以包括：

所述測(cè)試設(shè)備根據(jù)所述更新的被執(zhí)行的次數(shù)，從被執(zhí)行次數(shù)超過(guò)所述第二閾值的測(cè)試函數(shù)中重新確定所述基準(zhǔn)測(cè)試函數(shù)集合中的基準(zhǔn)測(cè)試函數(shù)。

由圖2所示的過(guò)程可以看出，如果測(cè)試活動(dòng)不結(jié)束，就會(huì)持續(xù)統(tǒng)計(jì)測(cè)試函數(shù)的staticsTimes，因此，可以根據(jù)持續(xù)對(duì)測(cè)試函數(shù)的統(tǒng)計(jì)次數(shù)，更新基準(zhǔn)測(cè)試函數(shù)，這樣會(huì)進(jìn)一步提高基準(zhǔn)測(cè)試函數(shù)的準(zhǔn)確度。

可選地，本發(fā)明實(shí)施例提供的確定眾測(cè)反饋有效性的方法的另一實(shí)施例中，所述測(cè)試設(shè)備從被執(zhí)行次數(shù)超過(guò)第二閾值的測(cè)試函數(shù)中確定基準(zhǔn)測(cè)試函數(shù)集合，可以包括：

所述測(cè)試設(shè)備從被執(zhí)行次數(shù)超過(guò)所述第二閾值的測(cè)試函數(shù)中確定被執(zhí)行比率高于第三閾值的測(cè)試函數(shù)，并將所述被執(zhí)行比率高于第三閾值的測(cè)試函數(shù)添加到基準(zhǔn)測(cè)試函數(shù)集合，所述被執(zhí)行比率為被執(zhí)行次數(shù)與測(cè)試反饋總數(shù)量的比值。

本發(fā)明實(shí)施例中，確定基準(zhǔn)測(cè)試函數(shù)的過(guò)程除了選擇前述所描述的取前N外，還可以是通過(guò)占比的方式來(lái)確定的，當(dāng)某個(gè)測(cè)試函數(shù)的staticsTimes>minStaticsTimes時(shí)，就計(jì)算該測(cè)試函數(shù)的被執(zhí)行比率，被執(zhí)行比率＝被執(zhí)行次數(shù)/測(cè)試反饋總數(shù)量，若被執(zhí)行比率大于topBasicRate，則確定該測(cè)試函數(shù)為基準(zhǔn)測(cè)試函數(shù)，該topBasicRate可以為第三閾值，取值可以預(yù)先配置。

如果滿(mǎn)足上述被執(zhí)行比率條件的基準(zhǔn)函數(shù)個(gè)數(shù)一直小于基準(zhǔn)測(cè)試函數(shù)的最小個(gè)數(shù)minBasicCount，則降低topBasicRate的值，令topBasicRate＝topBasicRate-5，直到基準(zhǔn)函數(shù)個(gè)數(shù)>＝minBasicCount。

可選地，本發(fā)明實(shí)施例提供的確定眾測(cè)反饋有效性的方法的另一實(shí)施例中，所述基準(zhǔn)測(cè)試函數(shù)包括接口基準(zhǔn)測(cè)試函數(shù)和目標(biāo)相關(guān)性基準(zhǔn)測(cè)試函數(shù)，

所述測(cè)試設(shè)備確定帶有插樁標(biāo)記的基準(zhǔn)測(cè)試函數(shù)的個(gè)數(shù)，并根據(jù)所述個(gè)數(shù)和預(yù)先獲知的基準(zhǔn)測(cè)試函數(shù)的總數(shù)，確定所述測(cè)試反饋所執(zhí)行的基準(zhǔn)測(cè)試函數(shù)的基準(zhǔn)函數(shù)覆蓋率，可以包括：

所述測(cè)試設(shè)備確定所述目標(biāo)相關(guān)性基準(zhǔn)測(cè)試函數(shù)的個(gè)數(shù)和所述接口基準(zhǔn)測(cè)試函數(shù)的個(gè)數(shù)；

所述測(cè)試設(shè)備根據(jù)如下公式確定所述測(cè)試反饋所執(zhí)行的基準(zhǔn)測(cè)試函數(shù)的基準(zhǔn)函數(shù)覆蓋率；

R＝(N1*W1+N2*W2)/N；

其中，R為基準(zhǔn)函數(shù)覆蓋率、N1為目標(biāo)相關(guān)性基準(zhǔn)測(cè)試函數(shù)的個(gè)數(shù)、W1為第一權(quán)重值、N2為接口基準(zhǔn)測(cè)試函數(shù)的個(gè)數(shù)、W2為第二權(quán)重值和N為基準(zhǔn)測(cè)試函數(shù)的總數(shù)，所述第一權(quán)重值大于所述第二權(quán)重值。

本發(fā)明實(shí)施例中，因?yàn)闇y(cè)試反饋中包括一些接口函數(shù)，接口函數(shù)通常都會(huì)被執(zhí)行，所以，在確定基準(zhǔn)測(cè)試函數(shù)時(shí)，可以剔除這些接口函數(shù)，也可以將這些接口函數(shù)算到基準(zhǔn)測(cè)試函數(shù)中，如果要將接口函數(shù)算到基準(zhǔn)測(cè)試函數(shù)中，則需要滿(mǎn)足：基準(zhǔn)測(cè)試函數(shù)的總個(gè)數(shù)>＝minBasicCount+commonCount，其中commonCount為接口函數(shù)。

但被算作基準(zhǔn)測(cè)試函數(shù)的接口基準(zhǔn)測(cè)試函數(shù)與任務(wù)目標(biāo)的相關(guān)性很小，所以在計(jì)算測(cè)試反饋所執(zhí)行的基準(zhǔn)測(cè)試函數(shù)的基準(zhǔn)函數(shù)覆蓋率時(shí)，可以將接口基準(zhǔn)測(cè)試函數(shù)的權(quán)重設(shè)置的小一些。例如：W1＝1，W2＝0.8。

以上是對(duì)本發(fā)明實(shí)施例中確定眾測(cè)反饋有效性、基準(zhǔn)測(cè)試函數(shù)確定、基準(zhǔn)測(cè)試函數(shù)更新的描述，下面再結(jié)合圖3介紹本發(fā)明實(shí)施例的眾測(cè)系統(tǒng)。

如圖3所示，眾測(cè)系統(tǒng)包括用戶(hù)設(shè)備、數(shù)據(jù)庫(kù)、測(cè)試設(shè)備和開(kāi)發(fā)設(shè)備，開(kāi)發(fā)設(shè)備可以是開(kāi)發(fā)人員所使用的個(gè)人計(jì)算機(jī)，用戶(hù)設(shè)備可以有多個(gè)。

開(kāi)發(fā)設(shè)備將開(kāi)發(fā)人員開(kāi)發(fā)出的測(cè)試任務(wù)上傳到測(cè)試設(shè)備，測(cè)試設(shè)備將測(cè)試任務(wù)推送到各個(gè)用戶(hù)設(shè)備，用戶(hù)設(shè)備上展示測(cè)試任務(wù)頁(yè)面，眾測(cè)用戶(hù)在用戶(hù)設(shè)備上執(zhí)行測(cè)試任務(wù)，然后用戶(hù)設(shè)備提交測(cè)試反饋到數(shù)據(jù)庫(kù)，數(shù)據(jù)庫(kù)可以作為測(cè)試設(shè)備的緩存，因?yàn)闇y(cè)試設(shè)備上可能有很多測(cè)試任務(wù)，為例有序的分析測(cè)試反饋，測(cè)試設(shè)備可以按照反饋?lái)樞驈臄?shù)據(jù)庫(kù)中提取測(cè)試反饋進(jìn)行前述實(shí)施例所描述的確定眾測(cè)反饋有效性、基準(zhǔn)測(cè)試函數(shù)確定、基準(zhǔn)測(cè)試函數(shù)更新等方案。

以上是對(duì)眾測(cè)系統(tǒng)的描述，下面結(jié)合圖4介紹本發(fā)明實(shí)施例中的確定眾測(cè)反饋有效性的方法，該方法應(yīng)用于眾測(cè)系統(tǒng)，所述眾測(cè)系統(tǒng)包括測(cè)試設(shè)備和多個(gè)用戶(hù)設(shè)備，每個(gè)用戶(hù)設(shè)備上安裝有眾測(cè)應(yīng)用。

如圖4所示，本發(fā)明實(shí)施例提供的確定眾測(cè)反饋有效性的方法的一實(shí)施例包括：

201、測(cè)試設(shè)備通過(guò)所述眾測(cè)應(yīng)用向所述每個(gè)用戶(hù)設(shè)備推送測(cè)試任務(wù)。

其中，所述測(cè)試任務(wù)包括多個(gè)測(cè)試用例，所述測(cè)試用例在被執(zhí)行時(shí)生成被執(zhí)行標(biāo)記，所述多個(gè)測(cè)試用例中包括基準(zhǔn)測(cè)試用例，所述基準(zhǔn)測(cè)試用例為與測(cè)試目標(biāo)對(duì)應(yīng)的測(cè)試用例。

202、用戶(hù)設(shè)備執(zhí)行測(cè)試任務(wù)。

203、測(cè)試設(shè)備接收參與測(cè)試的用戶(hù)設(shè)備發(fā)送的所述測(cè)試任務(wù)的測(cè)試反饋。

所述測(cè)試反饋包括帶有被執(zhí)行標(biāo)記的測(cè)試用例。

204、測(cè)試設(shè)備從所述帶有被執(zhí)行標(biāo)記的測(cè)試用例中確定基準(zhǔn)測(cè)試用例被執(zhí)行的數(shù)量。

205、測(cè)試設(shè)備根據(jù)所述數(shù)量和預(yù)先獲知的基準(zhǔn)測(cè)試用例的總數(shù)，確定所述測(cè)試反饋所執(zhí)行的基準(zhǔn)測(cè)試用例的覆蓋率。

206、當(dāng)所述所執(zhí)行的基準(zhǔn)測(cè)試用例的覆蓋率大于第一閾值時(shí)，所述測(cè)試設(shè)備確定所述測(cè)試反饋為有效的測(cè)試反饋。

與現(xiàn)有技術(shù)中由人工篩選可用的測(cè)試反饋，導(dǎo)致測(cè)試的效率低下的問(wèn)題，本發(fā)明實(shí)施例提供一種確定眾測(cè)反饋有效性的方法，可以在接收到用戶(hù)設(shè)備發(fā)送的測(cè)試反饋時(shí)，先對(duì)該測(cè)試反饋進(jìn)行分析，確定是有效反饋后再采用，無(wú)需將測(cè)試反饋全部收集后再由人工篩選，從而提高了測(cè)試的效率。而且，確定有小的測(cè)試反饋后，可以只針對(duì)有效的測(cè)試反饋進(jìn)行積分贈(zèng)送或者其他形式的獎(jiǎng)勵(lì)，從而節(jié)省了成本。

確定眾測(cè)反饋有效性的方法的其他可選實(shí)施例都可以參閱眾測(cè)系統(tǒng)部分的相關(guān)描述進(jìn)行理解，本處不再重復(fù)贅述。

下面結(jié)合圖5介紹本發(fā)明實(shí)施例中的測(cè)試設(shè)備，該測(cè)試設(shè)備應(yīng)用于眾測(cè)系統(tǒng)，所述眾測(cè)系統(tǒng)還包括多個(gè)用戶(hù)設(shè)備，每個(gè)用戶(hù)設(shè)備上安裝有眾測(cè)應(yīng)用。

如圖5所示，本發(fā)明實(shí)施例提供的測(cè)試設(shè)備30的一實(shí)施例包括：

發(fā)送單元301，用于通過(guò)所述眾測(cè)應(yīng)用向所述每個(gè)用戶(hù)設(shè)備推送測(cè)試任務(wù)，所述測(cè)試任務(wù)包括多個(gè)測(cè)試用例，所述測(cè)試用例在被執(zhí)行時(shí)生成被執(zhí)行標(biāo)記，所述多個(gè)測(cè)試用例中包括基準(zhǔn)測(cè)試用例，所述基準(zhǔn)測(cè)試用例為與測(cè)試目標(biāo)對(duì)應(yīng)的測(cè)試用例；

接收單元302，用于從參與測(cè)試的用戶(hù)設(shè)備獲取所述測(cè)試任務(wù)的測(cè)試反饋，所述測(cè)試反饋包括帶有被執(zhí)行標(biāo)記的測(cè)試用例；

第一確定單元303，用于從所述接收單元301接收的所述帶有被執(zhí)行標(biāo)記的測(cè)試用例中確定基準(zhǔn)測(cè)試用例被執(zhí)行的數(shù)量，并根據(jù)所述數(shù)量和預(yù)先獲知的基準(zhǔn)測(cè)試用例的總數(shù)，確定所述測(cè)試反饋所執(zhí)行的基準(zhǔn)測(cè)試用例的覆蓋率；

第二確定單元304，用于當(dāng)所述第一確定單元303確定的所述所執(zhí)行的基準(zhǔn)測(cè)試用例的覆蓋率大于第一閾值時(shí)，確定所述測(cè)試反饋為有效的測(cè)試反饋。

與現(xiàn)有技術(shù)中由人工篩選可用的測(cè)試反饋，導(dǎo)致測(cè)試的效率低下的問(wèn)題，本發(fā)明實(shí)施例提供的測(cè)試設(shè)備，可以在接收到用戶(hù)設(shè)備發(fā)送的測(cè)試反饋時(shí)，先對(duì)該測(cè)試反饋進(jìn)行分析，確定是有效反饋后再采用，無(wú)需將測(cè)試反饋全部收集后再由人工篩選，從而提高了測(cè)試的效率。而且，確定有小的測(cè)試反饋后，可以只針對(duì)有效的測(cè)試反饋進(jìn)行積分贈(zèng)送或者其他形式的獎(jiǎng)勵(lì)，從而節(jié)省了成本。

可選地，所述第一確定單元303，用于當(dāng)每個(gè)基準(zhǔn)測(cè)試用例包括基準(zhǔn)測(cè)試函數(shù)，被執(zhí)行過(guò)的基準(zhǔn)測(cè)試函數(shù)帶有插樁標(biāo)記，所述基準(zhǔn)測(cè)試函數(shù)為與測(cè)試目標(biāo)對(duì)應(yīng)的測(cè)試函數(shù)時(shí)，確定帶有插樁標(biāo)記的基準(zhǔn)測(cè)試函數(shù)的個(gè)數(shù)，并根據(jù)所述個(gè)數(shù)和預(yù)先獲知的基準(zhǔn)測(cè)試函數(shù)的總數(shù)，確定所述測(cè)試反饋所執(zhí)行的基準(zhǔn)測(cè)試函數(shù)的基準(zhǔn)函數(shù)覆蓋率；

所述第二確定單元304，用于當(dāng)基準(zhǔn)函數(shù)覆蓋率大于第一閾值時(shí)，確定所述測(cè)試反饋為有效的測(cè)試反饋。

可選地，參閱圖6，本發(fā)明實(shí)施例提供的測(cè)試設(shè)備30的另一實(shí)施例中，所述測(cè)試設(shè)備30還包括：統(tǒng)計(jì)單元305和第三確定單元306，

所述接收單元302，還用于接收所述每個(gè)用戶(hù)設(shè)備發(fā)送的所述測(cè)試任務(wù)的測(cè)試反饋樣本；

所述統(tǒng)計(jì)單元305，用于從所述接收單元302接收的所述測(cè)試反饋樣本中統(tǒng)計(jì)每個(gè)測(cè)試函數(shù)被執(zhí)行的次數(shù)；

所述第三確定單元306，用于從所述統(tǒng)計(jì)單元305統(tǒng)計(jì)的被執(zhí)行次數(shù)超過(guò)第二閾值的測(cè)試函數(shù)中確定基準(zhǔn)測(cè)試函數(shù)集合，所述基準(zhǔn)測(cè)試函數(shù)集合中的基準(zhǔn)測(cè)試函數(shù)的數(shù)量與所述基準(zhǔn)測(cè)試函數(shù)的總數(shù)相等。

可選地，參閱圖7，本發(fā)明實(shí)施例提供的測(cè)試設(shè)備30的另一實(shí)施例中，所述測(cè)試設(shè)備30還包括：更新單元307，

所述統(tǒng)計(jì)單元305，還用于從后續(xù)針對(duì)所述測(cè)試任務(wù)的測(cè)試反饋中持續(xù)統(tǒng)計(jì)每個(gè)測(cè)試函數(shù)被執(zhí)行的次數(shù)，以得到每個(gè)測(cè)試函數(shù)更新的被執(zhí)行的次數(shù)；

所述更新單元307，用于根據(jù)所述統(tǒng)計(jì)單元307統(tǒng)計(jì)的所述更新的被執(zhí)行的次數(shù)，更新所述基準(zhǔn)測(cè)試函數(shù)集合中的基準(zhǔn)測(cè)試函數(shù)。

可選地，所述更新單元307，用于根據(jù)所述更新的被執(zhí)行的次數(shù)，從被執(zhí)行次數(shù)超過(guò)所述第二閾值的測(cè)試函數(shù)中重新確定所述基準(zhǔn)測(cè)試函數(shù)集合中的基準(zhǔn)測(cè)試函數(shù)。

可選地，所述第三確定單元306，用于從被執(zhí)行次數(shù)超過(guò)所述第二閾值的測(cè)試函數(shù)中確定被執(zhí)行比率高于第三閾值的測(cè)試函數(shù)，并將所述被執(zhí)行比率高于第三閾值的測(cè)試函數(shù)添加到基準(zhǔn)測(cè)試函數(shù)集合，所述被執(zhí)行比率為被執(zhí)行次數(shù)與測(cè)試反饋總數(shù)量的比值。

可選地，所述第一確定單元303，用于當(dāng)所述基準(zhǔn)測(cè)試函數(shù)包括接口基準(zhǔn)測(cè)試函數(shù)和目標(biāo)相關(guān)性基準(zhǔn)測(cè)試函數(shù)時(shí)，確定所述目標(biāo)相關(guān)性基準(zhǔn)測(cè)試函數(shù)的個(gè)數(shù)和所述接口基準(zhǔn)測(cè)試函數(shù)的個(gè)數(shù)，并根據(jù)如下公式確定所述測(cè)試反饋所執(zhí)行的基準(zhǔn)測(cè)試函數(shù)的基準(zhǔn)函數(shù)覆蓋率；

R＝(N1*W1+N2*W2)/N；

其中，R為基準(zhǔn)函數(shù)覆蓋率、N1為目標(biāo)相關(guān)性基準(zhǔn)測(cè)試函數(shù)的個(gè)數(shù)、W1為第一權(quán)重值、N2為接口基準(zhǔn)測(cè)試函數(shù)的個(gè)數(shù)、W2為第二權(quán)重值和N為基準(zhǔn)測(cè)試函數(shù)的總數(shù)，所述第一權(quán)重值大于所述第二權(quán)重值。

本發(fā)明實(shí)施例所提供的測(cè)試設(shè)備可以參閱圖1至圖4部分的相關(guān)描述進(jìn)行理解，本處不再重復(fù)贅述。

圖6是本發(fā)明實(shí)施例提供的測(cè)試設(shè)備30的結(jié)構(gòu)示意圖。測(cè)試設(shè)備30應(yīng)用于眾測(cè)系統(tǒng)，所述眾測(cè)系統(tǒng)還包括多個(gè)用戶(hù)設(shè)備，每個(gè)用戶(hù)設(shè)備上安裝有眾測(cè)應(yīng)用.所述測(cè)試設(shè)備30包括處理器310、存儲(chǔ)器350和收發(fā)器330，存儲(chǔ)器350可以包括只讀存儲(chǔ)器和隨機(jī)存取存儲(chǔ)器，并向處理器310提供操作指令和數(shù)據(jù)。存儲(chǔ)器350的一部分還可以包括非易失性隨機(jī)存取存儲(chǔ)器(NVRAM)。

在一些實(shí)施方式中，存儲(chǔ)器350存儲(chǔ)了如下的元素，可執(zhí)行模塊或者數(shù)據(jù)結(jié)構(gòu)，或者他們的子集，或者他們的擴(kuò)展集:

在本發(fā)明實(shí)施例中，通過(guò)調(diào)用存儲(chǔ)器350存儲(chǔ)的操作指令(該操作指令可存儲(chǔ)在操作系統(tǒng)中)，

通過(guò)收發(fā)器330通過(guò)所述眾測(cè)應(yīng)用向所述每個(gè)用戶(hù)設(shè)備推送測(cè)試任務(wù)，所述測(cè)試任務(wù)包括多個(gè)測(cè)試用例，所述測(cè)試用例在被執(zhí)行時(shí)生成被執(zhí)行標(biāo)記，所述多個(gè)測(cè)試用例中包括基準(zhǔn)測(cè)試用例，所述基準(zhǔn)測(cè)試用例為與測(cè)試目標(biāo)對(duì)應(yīng)的測(cè)試用例；

通過(guò)收發(fā)器330接收參與測(cè)試的用戶(hù)設(shè)備發(fā)送的所述測(cè)試任務(wù)的測(cè)試反饋，所述測(cè)試反饋包括帶有被執(zhí)行標(biāo)記的測(cè)試用例；

從所述帶有被執(zhí)行標(biāo)記的測(cè)試用例中確定基準(zhǔn)測(cè)試用例被執(zhí)行的數(shù)量，并根據(jù)所述數(shù)量和預(yù)先獲知的基準(zhǔn)測(cè)試用例的總數(shù)，確定所述測(cè)試反饋所執(zhí)行的基準(zhǔn)測(cè)試用例的覆蓋率；

當(dāng)所述所執(zhí)行的基準(zhǔn)測(cè)試用例的覆蓋率大于第一閾值時(shí)，確定所述測(cè)試反饋為有效的測(cè)試反饋。

與現(xiàn)有技術(shù)中由人工篩選可用的測(cè)試反饋，導(dǎo)致測(cè)試的效率低下的問(wèn)題，本發(fā)明實(shí)施例提供的測(cè)試設(shè)備，可以在接收到用戶(hù)設(shè)備發(fā)送的測(cè)試反饋時(shí)，先對(duì)該測(cè)試反饋進(jìn)行分析，確定是有效反饋后再采用，無(wú)需將測(cè)試反饋全部收集后再由人工篩選，從而提高了測(cè)試的效率。而且，確定有小的測(cè)試反饋后，可以只針對(duì)有效的測(cè)試反饋進(jìn)行積分贈(zèng)送或者其他形式的獎(jiǎng)勵(lì)，從而節(jié)省了成本。

處理器310控制測(cè)試設(shè)備30的操作，處理器310還可以稱(chēng)為CPU(Central Processing Unit，中央處理單元)。存儲(chǔ)器350可以包括只讀存儲(chǔ)器和隨機(jī)存取存儲(chǔ)器，并向處理器310提供指令和數(shù)據(jù)。存儲(chǔ)器350的一部分還可以包括非易失性隨機(jī)存取存儲(chǔ)器(NVRAM)。具體的應(yīng)用中測(cè)試設(shè)備30的各個(gè)組件通過(guò)總線系統(tǒng)320耦合在一起，其中總線系統(tǒng)320除包括數(shù)據(jù)總線之外，還可以包括電源總線、控制總線和狀態(tài)信號(hào)總線等。但是為了清楚說(shuō)明起見(jiàn)，在圖中將各種總線都標(biāo)為總線系統(tǒng)320。

上述本發(fā)明實(shí)施例揭示的方法可以應(yīng)用于處理器310中，或者由處理器310實(shí)現(xiàn)。處理器310可能是一種集成電路芯片，具有信號(hào)的處理能力。在實(shí)現(xiàn)過(guò)程中，上述方法的各步驟可以通過(guò)處理器310中的硬件的集成邏輯電路或者軟件形式的指令完成。上述的處理器310可以是通用處理器、數(shù)字信號(hào)處理器(DSP)、專(zhuān)用集成電路(ASIC)、現(xiàn)成可編程門(mén)陣列(FPGA)或者其他可編程邏輯器件、分立門(mén)或者晶體管邏輯器件、分立硬件組件?？梢詫?shí)現(xiàn)或者執(zhí)行本發(fā)明實(shí)施例中的公開(kāi)的各方法、步驟及邏輯框圖。通用處理器可以是微處理器或者該處理器也可以是任何常規(guī)的處理器等。結(jié)合本發(fā)明實(shí)施例所公開(kāi)的方法的步驟可以直接體現(xiàn)為硬件譯碼處理器執(zhí)行完成，或者用譯碼處理器中的硬件及軟件模塊組合執(zhí)行完成。軟件模塊可以位于隨機(jī)存儲(chǔ)器，閃存、只讀存儲(chǔ)器，可編程只讀存儲(chǔ)器或者電可擦寫(xiě)可編程存儲(chǔ)器、寄存器等本領(lǐng)域成熟的存儲(chǔ)介質(zhì)中。該存儲(chǔ)介質(zhì)位于存儲(chǔ)器350，處理器310讀取存儲(chǔ)器350中的信息，結(jié)合其硬件完成上述方法的步驟。

可選地，處理器310用于：

確定帶有插樁標(biāo)記的基準(zhǔn)測(cè)試函數(shù)的個(gè)數(shù)，并根據(jù)所述個(gè)數(shù)和預(yù)先獲知的基準(zhǔn)測(cè)試函數(shù)的總數(shù)，確定所述測(cè)試反饋所執(zhí)行的基準(zhǔn)測(cè)試函數(shù)的基準(zhǔn)函數(shù)覆蓋率；

當(dāng)基準(zhǔn)函數(shù)覆蓋率大于第一閾值時(shí)，確定所述測(cè)試反饋為有效的測(cè)試反饋。

可選地，收發(fā)器330還用于接收所述每個(gè)用戶(hù)設(shè)備發(fā)送的所述測(cè)試任務(wù)的測(cè)試反饋樣本；

處理器310用于：從所述測(cè)試反饋樣本中統(tǒng)計(jì)每個(gè)測(cè)試函數(shù)被執(zhí)行的次數(shù)；

從被執(zhí)行次數(shù)超過(guò)第二閾值的測(cè)試函數(shù)中確定基準(zhǔn)測(cè)試函數(shù)集合，所述基準(zhǔn)測(cè)試函數(shù)集合中的基準(zhǔn)測(cè)試函數(shù)的數(shù)量與所述基準(zhǔn)測(cè)試函數(shù)的總數(shù)相等。

可選地，處理器310還用于從后續(xù)針對(duì)所述測(cè)試任務(wù)的測(cè)試反饋中持續(xù)統(tǒng)計(jì)每個(gè)測(cè)試函數(shù)被執(zhí)行的次數(shù)，以得到每個(gè)測(cè)試函數(shù)更新的被執(zhí)行的次數(shù)；從后續(xù)針對(duì)所述測(cè)試任務(wù)的測(cè)試反饋中持續(xù)統(tǒng)計(jì)每個(gè)測(cè)試函數(shù)被執(zhí)行的次數(shù)，以得到每個(gè)測(cè)試函數(shù)更新的被執(zhí)行的次數(shù)。

可選地，處理器310用于根據(jù)所述更新的被執(zhí)行的次數(shù)，從被執(zhí)行次數(shù)超過(guò)所述第二閾值的測(cè)試函數(shù)中重新確定所述基準(zhǔn)測(cè)試函數(shù)集合中的基準(zhǔn)測(cè)試函數(shù)。

可選地，處理器310用于從被執(zhí)行次數(shù)超過(guò)所述第二閾值的測(cè)試函數(shù)中確定被執(zhí)行比率高于第三閾值的測(cè)試函數(shù)，并將所述被執(zhí)行比率高于第三閾值的測(cè)試函數(shù)添加到基準(zhǔn)測(cè)試函數(shù)集合，所述被執(zhí)行比率為被執(zhí)行次數(shù)與測(cè)試反饋總數(shù)量的比值。

可選地，處理器310用于當(dāng)所述基準(zhǔn)測(cè)試函數(shù)包括接口基準(zhǔn)測(cè)試函數(shù)和目標(biāo)相關(guān)性基準(zhǔn)測(cè)試函數(shù)時(shí)確定所述目標(biāo)相關(guān)性基準(zhǔn)測(cè)試函數(shù)的個(gè)數(shù)和所述接口基準(zhǔn)測(cè)試函數(shù)的個(gè)數(shù)；

根據(jù)如下公式確定所述測(cè)試反饋所執(zhí)行的基準(zhǔn)測(cè)試函數(shù)的基準(zhǔn)函數(shù)覆蓋率；

R＝(N1*W1+N2*W2)/N；

其中，R為基準(zhǔn)函數(shù)覆蓋率、N1為目標(biāo)相關(guān)性基準(zhǔn)測(cè)試函數(shù)的個(gè)數(shù)、W1為第一權(quán)重值、N2為接口基準(zhǔn)測(cè)試函數(shù)的個(gè)數(shù)、W2為第二權(quán)重值和N為基準(zhǔn)測(cè)試函數(shù)的總數(shù)，所述第一權(quán)重值大于所述第二權(quán)重值。

以上的測(cè)試設(shè)備30可以參閱圖1至圖4部分的描述進(jìn)行理解，本處不做過(guò)多贅述。

本領(lǐng)域普通技術(shù)人員可以理解上述實(shí)施例的各種方法中的全部或部分步驟是可以通過(guò)程序來(lái)指令相關(guān)的硬件來(lái)完成，該程序可以存儲(chǔ)于一計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中，存儲(chǔ)介質(zhì)可以包括：ROM、RAM、磁盤(pán)或光盤(pán)等。

以上對(duì)本發(fā)明實(shí)施例所提供的確定眾測(cè)反饋有效性的方法、測(cè)試設(shè)備以及系統(tǒng)進(jìn)行了詳細(xì)介紹，本文中應(yīng)用了具體個(gè)例對(duì)本發(fā)明的原理及實(shí)施方式進(jìn)行了闡述，以上實(shí)施例的說(shuō)明只是用于幫助理解本發(fā)明的方法及其核心思想；同時(shí)，對(duì)于本領(lǐng)域的一般技術(shù)人員，依據(jù)本發(fā)明的思想，在具體實(shí)施方式及應(yīng)用范圍上均會(huì)有改變之處，綜上所述，本說(shuō)明書(shū)內(nèi)容不應(yīng)理解為對(duì)本發(fā)明的限制。