1.一種確定眾測(cè)反饋有效性的方法，其特征在于，所述方法應(yīng)用于眾測(cè)系統(tǒng)，所述眾測(cè)系統(tǒng)包括測(cè)試設(shè)備和多個(gè)用戶設(shè)備，每個(gè)用戶設(shè)備上安裝有眾測(cè)應(yīng)用，所述方法包括：
所述測(cè)試設(shè)備通過(guò)所述眾測(cè)應(yīng)用向所述每個(gè)用戶設(shè)備推送測(cè)試任務(wù)，所述測(cè)試任務(wù)包括多個(gè)測(cè)試用例，所述測(cè)試用例在被執(zhí)行時(shí)生成被執(zhí)行標(biāo)記，所述多個(gè)測(cè)試用例中包括基準(zhǔn)測(cè)試用例，所述基準(zhǔn)測(cè)試用例為與測(cè)試目標(biāo)對(duì)應(yīng)的測(cè)試用例；
所述測(cè)試設(shè)備接收參與測(cè)試的用戶設(shè)備發(fā)送的所述測(cè)試任務(wù)的測(cè)試反饋，所述測(cè)試反饋包括帶有被執(zhí)行標(biāo)記的測(cè)試用例；
所述測(cè)試設(shè)備從所述帶有被執(zhí)行標(biāo)記的測(cè)試用例中確定基準(zhǔn)測(cè)試用例被執(zhí)行的數(shù)量，并根據(jù)所述數(shù)量和預(yù)先獲知的基準(zhǔn)測(cè)試用例的總數(shù)，確定所述測(cè)試反饋所執(zhí)行的基準(zhǔn)測(cè)試用例的覆蓋率；
當(dāng)所述所執(zhí)行的基準(zhǔn)測(cè)試用例的覆蓋率大于第一閾值時(shí)，所述測(cè)試設(shè)備確定所述測(cè)試反饋為有效的測(cè)試反饋。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，每個(gè)基準(zhǔn)測(cè)試用例包括基準(zhǔn)測(cè)試函數(shù)，被執(zhí)行過(guò)的基準(zhǔn)測(cè)試函數(shù)帶有插樁標(biāo)記，所述基準(zhǔn)測(cè)試函數(shù)為與測(cè)試目標(biāo)對(duì)應(yīng)的測(cè)試函數(shù)；
所述測(cè)試設(shè)備從所述帶有被執(zhí)行標(biāo)記的測(cè)試用例中確定基準(zhǔn)測(cè)試用例被執(zhí)行的數(shù)量，并根據(jù)所述數(shù)量和預(yù)先獲知的基準(zhǔn)測(cè)試用例的總數(shù)，確定所述測(cè)試反饋所執(zhí)行的基準(zhǔn)測(cè)試用例的覆蓋率，包括：
所述測(cè)試設(shè)備確定帶有插樁標(biāo)記的基準(zhǔn)測(cè)試函數(shù)的個(gè)數(shù)，并根據(jù)所述個(gè)數(shù)和預(yù)先獲知的基準(zhǔn)測(cè)試函數(shù)的總數(shù)，確定所述測(cè)試反饋所執(zhí)行的基準(zhǔn)測(cè)試函數(shù)的基準(zhǔn)函數(shù)覆蓋率；
所述當(dāng)所述所執(zhí)行的基準(zhǔn)測(cè)試用例的覆蓋率大于第一閾值時(shí)，所述測(cè)試設(shè)備確定所述測(cè)試反饋為有效的測(cè)試反饋，包括：
當(dāng)基準(zhǔn)函數(shù)覆蓋率大于第一閾值時(shí)，所述測(cè)試設(shè)備確定所述測(cè)試反饋為有效的測(cè)試反饋。
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述測(cè)試設(shè)備接收參與測(cè)試的用戶設(shè)備發(fā)送的所述測(cè)試任務(wù)的測(cè)試反饋之前，所述方法還包括：
所述測(cè)試設(shè)備接收所述每個(gè)用戶設(shè)備發(fā)送的所述測(cè)試任務(wù)的測(cè)試反饋樣本；
所述測(cè)試設(shè)備從所述測(cè)試反饋樣本中統(tǒng)計(jì)每個(gè)測(cè)試函數(shù)被執(zhí)行的次數(shù)；
所述測(cè)試設(shè)備從被執(zhí)行次數(shù)超過(guò)第二閾值的測(cè)試函數(shù)中確定基準(zhǔn)測(cè)試函數(shù)集合，所述基準(zhǔn)測(cè)試函數(shù)集合中的基準(zhǔn)測(cè)試函數(shù)的數(shù)量與所述基準(zhǔn)測(cè)試函數(shù)的總數(shù)相等。
4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述方法還包括：
所述測(cè)試設(shè)備從后續(xù)針對(duì)所述測(cè)試任務(wù)的測(cè)試反饋中持續(xù)統(tǒng)計(jì)每個(gè)測(cè)試函數(shù)被執(zhí)行的次數(shù)，以得到每個(gè)測(cè)試函數(shù)更新的被執(zhí)行的次數(shù)；
所述測(cè)試設(shè)備從后續(xù)針對(duì)所述測(cè)試任務(wù)的測(cè)試反饋中持續(xù)統(tǒng)計(jì)每個(gè)測(cè)試函數(shù)被執(zhí)行的次數(shù)，以得到每個(gè)測(cè)試函數(shù)更新的被執(zhí)行的次數(shù)。
5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述測(cè)試設(shè)備根據(jù)所述更新的被執(zhí)行的次數(shù)，更新所述基準(zhǔn)測(cè)試函數(shù)集合中的基準(zhǔn)測(cè)試函數(shù)，包括：
所述測(cè)試設(shè)備根據(jù)所述更新的被執(zhí)行的次數(shù)，從被執(zhí)行次數(shù)超過(guò)所述第二閾值的測(cè)試函數(shù)中重新確定所述基準(zhǔn)測(cè)試函數(shù)集合中的基準(zhǔn)測(cè)試函數(shù)。
6.根據(jù)權(quán)利要求3所述的確定方法，其特征在于，所述測(cè)試設(shè)備從被執(zhí)行次數(shù)超過(guò)第二閾值的測(cè)試函數(shù)中確定基準(zhǔn)測(cè)試函數(shù)集合，包括：
所述測(cè)試設(shè)備從被執(zhí)行次數(shù)超過(guò)所述第二閾值的測(cè)試函數(shù)中確定被執(zhí)行比率高于第三閾值的測(cè)試函數(shù)，并將所述被執(zhí)行比率高于第三閾值的測(cè)試函數(shù)添加到基準(zhǔn)測(cè)試函數(shù)集合，所述被執(zhí)行比率為被執(zhí)行次數(shù)與測(cè)試反饋總數(shù)量的比值。
7.根據(jù)權(quán)利要求2-6任一所述的方法，其特征在于，所述基準(zhǔn)測(cè)試函數(shù)包括接口基準(zhǔn)測(cè)試函數(shù)和目標(biāo)相關(guān)性基準(zhǔn)測(cè)試函數(shù)，
所述測(cè)試設(shè)備確定帶有插樁標(biāo)記的基準(zhǔn)測(cè)試函數(shù)的個(gè)數(shù)，并根據(jù)所述個(gè)數(shù)和預(yù)先獲知的基準(zhǔn)測(cè)試函數(shù)的總數(shù)，確定所述測(cè)試反饋所執(zhí)行的基準(zhǔn)測(cè)試函數(shù)的基準(zhǔn)函數(shù)覆蓋率，包括：
所述測(cè)試設(shè)備確定所述目標(biāo)相關(guān)性基準(zhǔn)測(cè)試函數(shù)的個(gè)數(shù)和所述接口基準(zhǔn)測(cè)試函數(shù)的個(gè)數(shù)；
所述測(cè)試設(shè)備根據(jù)如下公式確定所述測(cè)試反饋所執(zhí)行的基準(zhǔn)測(cè)試函數(shù)的基準(zhǔn)函數(shù)覆蓋率；
R＝(N1*W1+N2*W2)/N；
其中，R為基準(zhǔn)函數(shù)覆蓋率、N1為目標(biāo)相關(guān)性基準(zhǔn)測(cè)試函數(shù)的個(gè)數(shù)、W1為第一權(quán)重值、N2為接口基準(zhǔn)測(cè)試函數(shù)的個(gè)數(shù)、W2為第二權(quán)重值和N為基準(zhǔn)測(cè)試函數(shù)的總數(shù)，所述第一權(quán)重值大于所述第二權(quán)重值。
8.一種測(cè)試設(shè)備，其特征在于，所述測(cè)試設(shè)備應(yīng)用于眾測(cè)系統(tǒng)，所述眾測(cè)系統(tǒng)還包括多個(gè)用戶設(shè)備，每個(gè)用戶設(shè)備上安裝有眾測(cè)應(yīng)用，所述測(cè)試設(shè)備包括：
發(fā)送單元，用于通過(guò)所述眾測(cè)應(yīng)用向所述每個(gè)用戶設(shè)備推送測(cè)試任務(wù)，所述測(cè)試任務(wù)包括多個(gè)測(cè)試用例，所述測(cè)試用例在被執(zhí)行時(shí)生成被執(zhí)行標(biāo)記，所述多個(gè)測(cè)試用例中包括基準(zhǔn)測(cè)試用例，所述基準(zhǔn)測(cè)試用例為與測(cè)試目標(biāo)對(duì)應(yīng)的測(cè)試用例；
接收單元，用于從參與測(cè)試的用戶設(shè)備獲取所述測(cè)試任務(wù)的測(cè)試反饋，所述測(cè)試反饋包括帶有被執(zhí)行標(biāo)記的測(cè)試用例；
第一確定單元，用于從所述接收單元接收的所述帶有被執(zhí)行標(biāo)記的測(cè)試用例中確定基準(zhǔn)測(cè)試用例被執(zhí)行的數(shù)量，并根據(jù)所述數(shù)量和預(yù)先獲知的基準(zhǔn)測(cè)試用例的總數(shù)，確定所述測(cè)試反饋所執(zhí)行的基準(zhǔn)測(cè)試用例的覆蓋率；
第二確定單元，用于當(dāng)所述第一確定單元確定的所述所執(zhí)行的基準(zhǔn)測(cè)試用例的覆蓋率大于第一閾值時(shí)，確定所述測(cè)試反饋為有效的測(cè)試反饋。
9.根據(jù)權(quán)利要求8所述的測(cè)試設(shè)備，其特征在于，
所述第一確定單元，用于當(dāng)每個(gè)基準(zhǔn)測(cè)試用例包括基準(zhǔn)測(cè)試函數(shù)，被執(zhí)行過(guò)的基準(zhǔn)測(cè)試函數(shù)帶有插樁標(biāo)記，所述基準(zhǔn)測(cè)試函數(shù)為與測(cè)試目標(biāo)對(duì)應(yīng)的測(cè)試函數(shù)時(shí)，確定帶有插樁標(biāo)記的基準(zhǔn)測(cè)試函數(shù)的個(gè)數(shù)，并根據(jù)所述個(gè)數(shù)和預(yù)先獲知的基準(zhǔn)測(cè)試函數(shù)的總數(shù)，確定所述測(cè)試反饋所執(zhí)行的基準(zhǔn)測(cè)試函數(shù)的基準(zhǔn)函數(shù)覆蓋率；
所述第二確定單元，用于當(dāng)基準(zhǔn)函數(shù)覆蓋率大于第一閾值時(shí)，確定所述測(cè)試反饋為有效的測(cè)試反饋。
10.根據(jù)權(quán)利要求9所述的測(cè)試設(shè)備，其特征在于，所述測(cè)試設(shè)備還包括：統(tǒng)計(jì)單元和第三確定單元，
所述接收單元，還用于接收所述每個(gè)用戶設(shè)備發(fā)送的所述測(cè)試任務(wù)的測(cè)試反饋樣本；
所述統(tǒng)計(jì)單元，用于從所述接收單元接收的所述測(cè)試反饋樣本中統(tǒng)計(jì)每個(gè)測(cè)試函數(shù)被執(zhí)行的次數(shù)；
所述第三確定單元，用于從所述統(tǒng)計(jì)單元統(tǒng)計(jì)的被執(zhí)行次數(shù)超過(guò)第二閾值的測(cè)試函數(shù)中確定基準(zhǔn)測(cè)試函數(shù)集合，所述基準(zhǔn)測(cè)試函數(shù)集合中的基準(zhǔn)測(cè)試函數(shù)的數(shù)量與所述基準(zhǔn)測(cè)試函數(shù)的總數(shù)相等。
11.根據(jù)權(quán)利要求10所述的測(cè)試設(shè)備，其特征在于，所述測(cè)試設(shè)備還包括更新單元，
所述統(tǒng)計(jì)單元，還用于從后續(xù)針對(duì)所述測(cè)試任務(wù)的測(cè)試反饋中持續(xù)統(tǒng)計(jì)每個(gè)測(cè)試函數(shù)被執(zhí)行的次數(shù)，以得到每個(gè)測(cè)試函數(shù)更新的被執(zhí)行的次數(shù)；
所述更新單元，用于根據(jù)所述統(tǒng)計(jì)單元統(tǒng)計(jì)的所述更新的被執(zhí)行的次數(shù)，更新所述基準(zhǔn)測(cè)試函數(shù)集合中的基準(zhǔn)測(cè)試函數(shù)。
12.根據(jù)權(quán)利要求11所述的測(cè)試設(shè)備，其特征在于，
所述更新單元，用于根據(jù)所述更新的被執(zhí)行的次數(shù)，從被執(zhí)行次數(shù)超過(guò)所述第二閾值的測(cè)試函數(shù)中重新確定所述基準(zhǔn)測(cè)試函數(shù)集合中的基準(zhǔn)測(cè)試函數(shù)。
13.根據(jù)權(quán)利要求10所述的測(cè)試設(shè)備，其特征在于，
所述第三確定單元，用于從被執(zhí)行次數(shù)超過(guò)所述第二閾值的測(cè)試函數(shù)中確定被執(zhí)行比率高于第三閾值的測(cè)試函數(shù)，并將所述被執(zhí)行比率高于第三閾值的測(cè)試函數(shù)添加到基準(zhǔn)測(cè)試函數(shù)集合，所述被執(zhí)行比率為被執(zhí)行次數(shù)與測(cè)試反饋總數(shù)量的比值。
14.根據(jù)權(quán)利要求9-13任一所述的測(cè)試設(shè)備，其特征在于，
所述第一確定單元，用于當(dāng)所述基準(zhǔn)測(cè)試函數(shù)包括接口基準(zhǔn)測(cè)試函數(shù)和目標(biāo)相關(guān)性基準(zhǔn)測(cè)試函數(shù)時(shí)，確定所述目標(biāo)相關(guān)性基準(zhǔn)測(cè)試函數(shù)的個(gè)數(shù)和所述接口基準(zhǔn)測(cè)試函數(shù)的個(gè)數(shù)，并根據(jù)如下公式確定所述測(cè)試反饋所執(zhí)行的基準(zhǔn)測(cè)試函數(shù)的基準(zhǔn)函數(shù)覆蓋率；
R＝(N1*W1+N2*W2)/N；
其中，R為基準(zhǔn)函數(shù)覆蓋率、N1為目標(biāo)相關(guān)性基準(zhǔn)測(cè)試函數(shù)的個(gè)數(shù)、W1為第一權(quán)重值、N2為接口基準(zhǔn)測(cè)試函數(shù)的個(gè)數(shù)、W2為第二權(quán)重值和N為基準(zhǔn)測(cè)試函數(shù)的總數(shù)，所述第一權(quán)重值大于所述第二權(quán)重值。
15.一種眾測(cè)系統(tǒng)，其特征在于，包括測(cè)試設(shè)備和多個(gè)用戶設(shè)備，每個(gè)用戶設(shè)備上安裝有眾測(cè)應(yīng)用；
所述測(cè)試設(shè)備為權(quán)利要求8-10任一所述的測(cè)試設(shè)備。