本發(fā)明涉及計算機技術(shù)，尤其涉及一種測試方法和裝置。

背景技術(shù)：

算法程序的執(zhí)行效率是對算法程序進行測試的考核指標(biāo)之一。具體可以將基于相似數(shù)據(jù)池所構(gòu)建的兩不同算法程序在不同時間點上所獲得的輸出數(shù)據(jù)進行比較，當(dāng)獲得兩組差異極小的輸出數(shù)據(jù)時，對比輸出這兩組輸出數(shù)據(jù)時算法程序的運行時間，運行時間較短的算法程序執(zhí)行效率較高。相似的，還可以將同一算法程序在不同時間點上所獲得的輸出數(shù)據(jù)進行比較，從而隨著該算法程序的運行時間的延長，所獲得的輸出數(shù)據(jù)差異極小時，則可以將輸出數(shù)據(jù)差異極小時該算法程序的運行時間用來衡量該算法程序的執(zhí)行效率。

例如：基準(zhǔn)算法程序和實驗算法程序均為向用戶推薦喜好的商品，但基準(zhǔn)算法程序需要運行4小時獲得輸出數(shù)據(jù)，而實驗算法程序需要運行2小時就能獲得輸出數(shù)據(jù)，且兩組輸出數(shù)據(jù)之間的差異極小，也就是說相似度極高，則可以測試出實驗算法程序的執(zhí)行效率優(yōu)于基準(zhǔn)算法程序。

可見，對于兩組算法程序的輸出數(shù)據(jù)進行比較，從而確定兩組輸出數(shù)據(jù)之間的差異程度是對執(zhí)行效率進行測試的必要指標(biāo)。現(xiàn)有技術(shù)中，可以通過人工抽樣的方式進行，通過對于部分輸出數(shù)據(jù)進行抽煙核對數(shù)據(jù)變化情況，來確定差異程度，但這種方式不僅需要耗費大量人工，能核對的數(shù)據(jù)量也相對較小，同時，這種方式也不能夠全面反映出兩組輸出數(shù)據(jù)之間的差異，因而效率較低。

技術(shù)實現(xiàn)要素：

本發(fā)明提供一種測試方法和裝置，用于解決現(xiàn)有技術(shù)中確定不同組輸出數(shù)據(jù)之間的差異程度的方法效率較低的技術(shù)問題。

為達到上述目的，本發(fā)明的實施例采用如下技術(shù)方案：

第一方面，提供了一種測試方法，包括：

獲取基準(zhǔn)算法程序針對基準(zhǔn)對象計算所獲得的基準(zhǔn)數(shù)據(jù)，以及獲取實驗算法程序針對實驗對象計算所獲得的實驗數(shù)據(jù)；

對比所述基準(zhǔn)對象以及所述實驗對象，獲得屬于基準(zhǔn)對象與實驗對象之間的交集的相同對象；

針對每一個相同對象，計算更新率；其中更新率用于指示實驗數(shù)據(jù)相對于基準(zhǔn)數(shù)據(jù)的變化比率；

針對各相同對象的更新率進行統(tǒng)計，獲得統(tǒng)計數(shù)據(jù)；

根據(jù)所述統(tǒng)計數(shù)據(jù)，生成測試結(jié)果。

第二方面，提供了一種測試裝置，包括：

獲取模塊，用于獲取基準(zhǔn)算法程序針對基準(zhǔn)對象計算所獲得的基準(zhǔn)數(shù)據(jù)，以及獲取實驗算法程序針對實驗對象計算所獲得的實驗數(shù)據(jù)；

對比模塊，用于對比所述基準(zhǔn)對象以及所述實驗對象，獲得屬于基準(zhǔn)對象與實驗對象之間的交集的相同對象；

計算模塊，用于針對每一個相同對象，計算更新率；其中更新率用于指示實驗數(shù)據(jù)相對于基準(zhǔn)數(shù)據(jù)的變化比率；

統(tǒng)計模塊，用于針對各相同對象的更新率進行統(tǒng)計，獲得統(tǒng)計數(shù)據(jù)；

生成模塊，用于根據(jù)所述統(tǒng)計數(shù)據(jù)，生成測試結(jié)果。

本實施例中，通過獲取基準(zhǔn)算法程序針對基準(zhǔn)對象計算所獲得的基準(zhǔn)數(shù)據(jù)，以及獲取實驗算法程序針對實驗對象計算所獲得的實驗數(shù)據(jù)之后，針對屬于基準(zhǔn)對象與實驗對象之間的交集的相同對象，計算更新率，進而根據(jù)各相同對象的更新率進行統(tǒng)計，獲得統(tǒng)計數(shù)據(jù)，根據(jù)該統(tǒng)計數(shù)據(jù)，生成差異程度的測試結(jié)果。由于更新率用于指示實驗數(shù)據(jù)相對于基準(zhǔn)數(shù)據(jù)的變化比率，因而體現(xiàn)了基準(zhǔn)算法程序和實驗算法程序針對相同對象的處理結(jié)果之間的差異性，相較于現(xiàn)有技術(shù)無需進行人工抽樣，提高了測試效率。

上述說明僅是本發(fā)明技術(shù)方案的概述，為了能夠更清楚了解本發(fā)明的技術(shù)手段，而可依照說明書的內(nèi)容予以實施，并且為了讓本發(fā)明的上述和其它目的、特征和優(yōu)點能夠更明顯易懂，以下特舉本發(fā)明的具體實施方式。

附圖說明

通過閱讀下文優(yōu)選實施方式的詳細描述，各種其他的優(yōu)點和益處對于本領(lǐng)域普通技術(shù)人員將變得清楚明了。附圖僅用于示出優(yōu)選實施方式的目的，而并不認為是對本發(fā)明的限制。而且在整個附圖中，用相同的參考符號表示相同的部件。在附圖中：

圖1為本發(fā)明實施例一提供的一種測試方法的流程示意圖；

圖2為本發(fā)明實施例二提供的一種測試方法的流程示意圖；

圖3為本發(fā)明實施例三提供的一種測試裝置的結(jié)構(gòu)示意圖；

圖4為本發(fā)明實施例三提供的另一種測試裝置的結(jié)構(gòu)示意圖；

圖5為本發(fā)明實施例三提供的又一種測試裝置的結(jié)構(gòu)示意圖。

具體實施方式

下面將參照附圖更詳細地描述本公開的示例性實施例。雖然附圖中顯示了本公開的示例性實施例，然而應(yīng)當(dāng)理解，可以以各種形式實現(xiàn)本公開而不應(yīng)被這里闡述的實施例所限制。相反，提供這些實施例是為了能夠更透徹地理解本公開，并且能夠?qū)⒈竟_的范圍完整的傳達給本領(lǐng)域的技術(shù)人員。

下面結(jié)合附圖對本發(fā)明實施例提供的測試方法和裝置進行詳細描述。

實施例一

圖1為本發(fā)明實施例一提供的一種測試方法的流程示意圖，本實施例所提供的方法可以由算法評測平臺(Algorithm Evaluation Carrier，AEC)執(zhí)行，如圖1所示，方法包括：

步驟101、獲取基準(zhǔn)算法程序針對基準(zhǔn)對象計算所獲得的基準(zhǔn)數(shù)據(jù)， 以及獲取實驗算法程序針對實驗對象計算所獲得的實驗數(shù)據(jù)。

具體的，分別運行基準(zhǔn)算法程序和實驗算法程序，其中，選定基準(zhǔn)算法程序的輸入數(shù)據(jù)為針對基準(zhǔn)對象bk所構(gòu)建的數(shù)據(jù)集，選定實驗算法程序的輸入數(shù)據(jù)為針對實驗對象tk所構(gòu)建的數(shù)據(jù)集。將基準(zhǔn)算法程序針對基準(zhǔn)對象bk計算所獲得的輸出數(shù)據(jù)記為基準(zhǔn)數(shù)據(jù)l_bk，將實驗算法程序針對實驗對象tk計算所獲得的輸出數(shù)據(jù)記為實驗數(shù)據(jù)l_tk。

步驟102、對比基準(zhǔn)對象以及實驗對象，獲得屬于基準(zhǔn)對象與實驗對象之間的交集的相同對象。

具體的，取基準(zhǔn)對象bk與實驗對象tk之間的交集，獲得相同對象k，該相同對象的個數(shù)記為N_k。另外，還可記基準(zhǔn)對象bk的個數(shù)為N_bk，記實驗對象tk的個數(shù)為N_tk。

步驟103、針對每一個相同對象，計算更新率。

其中，更新率用于指示實驗數(shù)據(jù)相對于基準(zhǔn)數(shù)據(jù)的變化比率。

具體的，統(tǒng)計相同對象k的基準(zhǔn)數(shù)據(jù)l_bk和實驗數(shù)據(jù)l_tk之間不同部分的數(shù)據(jù)個數(shù)Δl_k，將不同部分的數(shù)據(jù)個數(shù)Δl_k與相同對象k的基準(zhǔn)數(shù)據(jù)l_bk中的數(shù)據(jù)個數(shù)C_bk的比值l，作為相同對象k的更新率ROC_lk(l)。

步驟104、針對各相同對象的更新率進行統(tǒng)計，獲得統(tǒng)計數(shù)據(jù)。

具體的，根據(jù)各相同對象的更新率，將相同對象劃分為各個組別，統(tǒng)計各組別中所包含的相同對象的個數(shù)，獲得統(tǒng)計數(shù)據(jù)。作為一種可能的實現(xiàn)方式，通過確定各相同對象k的更新率ROC_lk(l)所屬的更新率區(qū)間，將屬于相同更新率區(qū)間的相同對象k劃分為同一個組別i。統(tǒng)計獲得每個組別i所包含的相同對象k的個數(shù)ΔN_i，其中，i＝1,…,n，∑ΔN_i＝N_k，n為自然數(shù)。

例如：針對相同對象k可以基于以下式進行計算，從而獲得統(tǒng)計數(shù)據(jù)。

其中，ROC_lk(Δl₁),ROC_lk(Δl₂),...,ROC_lk(Δl_n)分別表示n個組別對應(yīng)的更新率區(qū)間。

進一步，還可以統(tǒng)計基準(zhǔn)對象bk與實驗對象tk之間存在差異的差異對 象個數(shù)，如相同對象k所構(gòu)成的子集在基準(zhǔn)對象bk集合中的絕對補集b中的對象個數(shù)N_b，以及相同對象k所構(gòu)成的子集在實驗對象tk集合中的絕對補集t中的對象個數(shù)N_t。

步驟105、根據(jù)統(tǒng)計數(shù)據(jù)，生成測試結(jié)果。

具體的，測試結(jié)果可以為ΔN_i與N_bk的比值，即每個組別i所包含的相同對象k占全部基準(zhǔn)對象bk的比例，以及N_b與N_bk的比值，即差異對象占全部基準(zhǔn)對象bk的比例，以及N_t與N_tk的比值，即差異對象占全部實驗對象tk的比例。

該測試結(jié)果中，相同對象的更新率的取值用于指示實驗數(shù)據(jù)相對于基準(zhǔn)數(shù)據(jù)的變化比率，因而體現(xiàn)了基準(zhǔn)算法程序和實驗算法程序針對相同對象的處理結(jié)果之間的差異性，另外，測試結(jié)果中各更新率區(qū)間內(nèi)所包含的相同對象的數(shù)量又能夠較為全面的反映更新率的分布情況，根據(jù)更新率的取值以及更新率的分布，則能夠衡量出實驗數(shù)據(jù)和基準(zhǔn)數(shù)據(jù)的差異程度。

為了清楚說明本實施例，本實施例提供了兩種可能的應(yīng)用場景。

在一種可能的應(yīng)用場景中，實驗算法程序和基準(zhǔn)算法程序是不同的，則采用本實施例中的方法所獲得的測試結(jié)果能夠體現(xiàn)不同算法程序針對相同對象所獲得的處理結(jié)果之間差異性。

在另一種可能的應(yīng)用場景中，實驗算法程序和基準(zhǔn)算法程序是相同的，算法程序針對用戶進行計算，分別在不同時刻獲得了基準(zhǔn)數(shù)據(jù)和實驗數(shù)據(jù)，例如：采用一算法程序，對用戶群進行商品的推薦，但針對同樣的用戶群，在不同的時刻，該算法程序可能獲得不同的推薦商品結(jié)果。采用本實施例中的方法所獲得的測試結(jié)果能夠體現(xiàn)同一算法程序在不同時刻所獲得的處理結(jié)果之間差異性。

本實施例中，通過獲取基準(zhǔn)算法程序針對基準(zhǔn)對象計算所獲得的基準(zhǔn)數(shù)據(jù)，以及獲取實驗算法程序針對實驗對象計算所獲得的實驗數(shù)據(jù)之后，針對屬于基準(zhǔn)對象與實驗對象之間的交集的相同對象，計算更新率，進而根據(jù)各相同對象的更新率進行統(tǒng)計，獲得統(tǒng)計數(shù)據(jù)，根據(jù)該統(tǒng)計數(shù)據(jù)，生成差異程度的測試結(jié)果。由于更新率用于指示實驗數(shù)據(jù)相對于基 準(zhǔn)數(shù)據(jù)的變化比率，因而體現(xiàn)了基準(zhǔn)算法程序和實驗算法程序針對相同對象的處理結(jié)果之間的差異性，相較于現(xiàn)有技術(shù)無需進行人工抽樣，提高了測試效率。

實施例二

圖2為本發(fā)明實施例二提供的一種測試方法的流程示意圖，本實施例所提供的方法可以由AEC執(zhí)行，用于基于更新率指標(biāo)對實驗算法程序進行測試。

在本實施例中，提供了一種具體的應(yīng)用場景，實驗算法和基準(zhǔn)算法均為用于對網(wǎng)絡(luò)用戶推薦商品，在本實施例中，將實驗算法所針對的網(wǎng)絡(luò)用戶記為實驗對象tk，實驗算法所獲得的為網(wǎng)絡(luò)用戶推薦商品的集合記為實驗數(shù)據(jù)l_tk，將基準(zhǔn)算法所針對的網(wǎng)絡(luò)用戶記為基準(zhǔn)對象bk，基準(zhǔn)算法所獲得的為網(wǎng)絡(luò)用戶推薦商品的集合記為基準(zhǔn)數(shù)據(jù)l_bk。

如圖2所示，具體方法包括：

步驟201、針對屬于基準(zhǔn)對象bk與實驗對象tk之間的交集的相同對象k，以及針對相同對象k的實驗數(shù)據(jù)l_tk和基準(zhǔn)數(shù)據(jù)l_bk中的相同部分的數(shù)據(jù)進行標(biāo)記。

步驟202、統(tǒng)計所標(biāo)記的數(shù)據(jù)的個數(shù)C_sk。

具體的，所統(tǒng)計獲得的個數(shù)C_sk，即為屬于基準(zhǔn)數(shù)據(jù)l_bk和實驗數(shù)據(jù)l_tk中的相同部分的數(shù)據(jù)個數(shù)。

步驟203、利用該C_sk，計算相同對象k的基準(zhǔn)數(shù)據(jù)l_bk和實驗數(shù)據(jù)l_tk之間不同部分的數(shù)據(jù)個數(shù)Δl_k。

具體的，根據(jù)公式Δl_k＝(C_bk+C_tk-2×C_sk)/2代入相同部分的數(shù)據(jù)個數(shù)C_sk，以及相同對象k的基準(zhǔn)數(shù)據(jù)l_bk中的數(shù)據(jù)個數(shù)C_bk和實驗數(shù)據(jù)l_tk中的數(shù)據(jù)個數(shù)C_tk進行計算，獲得相同對象k的基準(zhǔn)數(shù)據(jù)l_bk和實驗數(shù)據(jù)l_tk之間不同部分的數(shù)據(jù)個數(shù)Δl_k。

步驟204、利用該不同部分的數(shù)據(jù)個數(shù)Δl_k，計算相同對象k的更新率ROC_lk(l)。

具體的，根據(jù)公式ROC_lk(l)＝Δl_k/C_bk，代入不同部分的數(shù)據(jù)個數(shù)Δl_k，以及相同對象k的基準(zhǔn)數(shù)據(jù)l_bk中的數(shù)據(jù)個數(shù)C_bk進行計算，獲得相同對象k的更新率ROC_lk(l)。

步驟205、針對基準(zhǔn)對象bk與實驗對象tk之間存在差異的差異對象進行標(biāo)記。

具體的，將屬于基準(zhǔn)對象bk，且不屬于實驗對象tk的差異對象，標(biāo)記為消亡對象b，該消亡對象b屬于相同對象k所構(gòu)成的子集在基準(zhǔn)對象bk集合中的絕對補集。

同時，將屬于實驗對象tk，且不屬于基準(zhǔn)對象bk的差異對象，標(biāo)記為增長對象t，該增長對象t屬于相同對象k所構(gòu)成的子集在實驗對象tk集合中的絕對補集。

通過對差異對象中的消亡對象的數(shù)量進行統(tǒng)計，若消亡對象的數(shù)量較多，則說明實驗算法程序的覆蓋性不佳。同時，在統(tǒng)計數(shù)據(jù)中增加差異對象的數(shù)量，能夠體現(xiàn)相同對象所占比例，與各更新率區(qū)間內(nèi)所包含相同對象的數(shù)量相輔助，提高了數(shù)據(jù)解釋的意義。

步驟206、針對所標(biāo)記的差異對象設(shè)置更新率。

具體的，設(shè)置消亡對象b的更新率ROC_lk(l)為-1，設(shè)置增長對象t的更新率ROC_lk(l)為+1。

步驟207、統(tǒng)計各預(yù)設(shè)更新率區(qū)間內(nèi)的相同對象k和差異對象的個數(shù)。

具體的，根據(jù)所需統(tǒng)計的粒度，設(shè)置所需區(qū)間。例如：可以設(shè)置15個區(qū)間，更新率的取值在-1至+1之間，則可以在該取值范圍內(nèi)平均設(shè)置15個區(qū)間。

步驟208、將統(tǒng)計結(jié)果作為差異程度的測試結(jié)果。

進一步，在步驟208之后，為了便于分析，還可以根據(jù)各相同對象的更新率，計算更新率的最大值和/或更新率的最小值和/或更新率的平均值，獲得分析結(jié)果，將該分析結(jié)果和步驟208所獲得的統(tǒng)計結(jié)果均作為差異程度的測試結(jié)果。

本實施例中，通過獲取基準(zhǔn)算法程序針對基準(zhǔn)對象計算所獲得的基準(zhǔn)數(shù)據(jù)，以及獲取實驗算法程序針對實驗對象計算所獲得的實驗數(shù)據(jù)之 后，針對屬于基準(zhǔn)對象與實驗對象之間的交集的相同對象，計算更新率，進而根據(jù)各相同對象的更新率，將相同對象劃分為各個組別，并統(tǒng)計各組別中所包含的相同對象的個數(shù)，以及統(tǒng)計基準(zhǔn)對象與實驗對象之間存在差異的差異對象個數(shù)，獲得統(tǒng)計數(shù)據(jù)，根據(jù)該統(tǒng)計數(shù)據(jù)，生成差異程度的測試結(jié)果。由于更新率用于指示實驗數(shù)據(jù)相對于基準(zhǔn)數(shù)據(jù)的變化比率，因而體現(xiàn)了基準(zhǔn)算法程序和實驗算法程序針對相同對象的處理結(jié)果之間的差異性，另外，測試結(jié)果中各更新率區(qū)間內(nèi)所包含的相同對象的數(shù)量又能夠較為全面的反映更新率的分布情況，根據(jù)更新率的取值以及更新率的分布，則能夠衡量出實驗數(shù)據(jù)和基準(zhǔn)數(shù)據(jù)的差異程度，相較于現(xiàn)有技術(shù)無需進行人工抽樣，提高了測試效率。另外，還可以通過對差異對象中的消亡對象的數(shù)量進行統(tǒng)計，從而當(dāng)消亡對象的數(shù)量較多時，則測試出實驗算法程序的覆蓋性不佳。

實施例三

圖3為本發(fā)明實施例三提供的一種測試裝置的結(jié)構(gòu)示意圖，該裝置可以如圖3所示，包括：獲取模塊31、對比模塊32、計算模塊33、統(tǒng)計模塊34和生成模塊35。

獲取模塊31，用于獲取基準(zhǔn)算法程序針對基準(zhǔn)對象計算所獲得的基準(zhǔn)數(shù)據(jù)，以及獲取實驗算法程序針對實驗對象計算所獲得的實驗數(shù)據(jù)。

對比模塊32，用于對比所述基準(zhǔn)對象以及所述實驗對象，獲得屬于基準(zhǔn)對象與實驗對象之間的交集的相同對象。

計算模塊33，用于針對每一個相同對象，計算更新率。

其中，更新率用于指示實驗數(shù)據(jù)相對于基準(zhǔn)數(shù)據(jù)的變化比率。

統(tǒng)計模塊34，用于針對各相同對象的更新率進行統(tǒng)計，獲得統(tǒng)計數(shù)據(jù)。

生成模塊35，用于根據(jù)所述統(tǒng)計數(shù)據(jù)，生成測試結(jié)果。

進一步，本發(fā)明實施例三還提供了另一種測試裝置，圖4為本發(fā)明實施例三提供的另一種測試裝置的結(jié)構(gòu)示意圖，如圖4所示，在圖3所提供的測試裝置的基礎(chǔ)上，計算模塊33包括：計數(shù)單元331和計算單元 332。

計數(shù)單元331，用于統(tǒng)計相同對象k的基準(zhǔn)數(shù)據(jù)l_bk和實驗數(shù)據(jù)l_tk之間不同部分的數(shù)據(jù)個數(shù)Δl_k。

計算單元332，用于將所述不同部分的數(shù)據(jù)個數(shù)Δl_k與所述相同對象k的基準(zhǔn)數(shù)據(jù)l_bk中的數(shù)據(jù)個數(shù)C_bk的比值，作為所述相同對象k的更新率。

進一步，計數(shù)單元331，還可以包括：對比子單元3311和計算子單元3312。

對比子單元3311，用于對比針對所述相同對象k的基準(zhǔn)數(shù)據(jù)l_bk和實驗數(shù)據(jù)l_tk，獲得屬于基準(zhǔn)數(shù)據(jù)l_bk和實驗數(shù)據(jù)l_tk中的相同部分的數(shù)據(jù)個數(shù)C_sk。

具體的，對比子單元3311具體用于對比所述相同對象k的基準(zhǔn)數(shù)據(jù)l_bk和實驗數(shù)據(jù)l_tk，對屬于基準(zhǔn)數(shù)據(jù)l_bk和實驗數(shù)據(jù)l_tk中的相同部分的數(shù)據(jù)進行標(biāo)記；統(tǒng)計所標(biāo)記的數(shù)據(jù)的個數(shù)獲得屬于基準(zhǔn)數(shù)據(jù)l_bk和實驗數(shù)據(jù)l_tk中的相同部分的數(shù)據(jù)個數(shù)C_sk。

計算子單元3312，用于根據(jù)公式Δl_k＝(C_bk+C_tk-2×C_sk)/2進行計算，獲得所述相同對象k的基準(zhǔn)數(shù)據(jù)l_bk和實驗數(shù)據(jù)l_tk之間不同部分的數(shù)據(jù)個數(shù)Δl_k，其中C_tk為實驗數(shù)據(jù)l_tk中的數(shù)據(jù)個數(shù)。

進一步，本發(fā)明實施例三還提供了又一種測試裝置，圖5為本發(fā)明實施例三提供的又一種測試裝置的結(jié)構(gòu)示意圖，如圖5所示，在圖4所提供的測試裝置的基礎(chǔ)上，統(tǒng)計模塊34，包括：分組單元341和統(tǒng)計單元342。

分組單元341，用于根據(jù)各相同對象的更新率，將所述相同對象劃分為各個組別。

統(tǒng)計單元342，用于統(tǒng)計各組別中所包含的所述相同對象的個數(shù)，獲得所述統(tǒng)計數(shù)據(jù)。

進一步，分組單元341，包括：確定子單元3411和分組子單元3412。

確定子單元3411，用于確定各相同對象的更新率所屬的更新率區(qū)間；

分組子單元3412，用于將屬于相同更新率區(qū)間的所述相同對象劃分為同一個組別。

進一步，統(tǒng)計單元342，還用于統(tǒng)計所述基準(zhǔn)對象與所述實驗對象之間存在差異的差異對象個數(shù)。

統(tǒng)計單元342，包括：標(biāo)記子單元3421和計數(shù)子單元3422。

標(biāo)記子單元3421，用于將屬于所述基準(zhǔn)對象，且不屬于所述實驗對象的所述差異對象，標(biāo)記為消亡對象；將屬于所述實驗對象，且不屬于所述基準(zhǔn)對象的所述差異對象，標(biāo)記為增長對象。

計數(shù)子單元3422，用于分別統(tǒng)計所述消亡對象的個數(shù)，以及所述增長對象的個數(shù)，以及統(tǒng)計各組別中所包含的所述相同對象的個數(shù)，獲得所述統(tǒng)計數(shù)據(jù)。

進一步，生成模塊35，包括：第一生成單元351和第二生成單元352。

第一生成單元351，用于根據(jù)所述統(tǒng)計數(shù)據(jù)，計算各組別中所包含的所述相同對象占全部所述基準(zhǔn)對象的比例，以及計算所述差異對象占全部所述基準(zhǔn)對象的比例，獲得計算結(jié)果；將所述計算結(jié)果作為所述測試結(jié)果。

第二生成單元352，用于根據(jù)各相同對象的更新率，計算更新率的最大值和/或更新率的最小值和/或更新率的平均值，獲得分析結(jié)果；將所述分析結(jié)果作為所述測試結(jié)果。

本實施例中，通過獲取基準(zhǔn)算法程序針對基準(zhǔn)對象計算所獲得的基準(zhǔn)數(shù)據(jù)，以及獲取實驗算法程序針對實驗對象計算所獲得的實驗數(shù)據(jù)之后，針對屬于基準(zhǔn)對象與實驗對象之間的交集的相同對象，計算更新率，進而根據(jù)各相同對象的更新率，將相同對象劃分為各個組別，并統(tǒng)計各組別中所包含的相同對象的個數(shù)，以及統(tǒng)計基準(zhǔn)對象與實驗對象之間存在差異的差異對象個數(shù)，獲得統(tǒng)計數(shù)據(jù)，根據(jù)該統(tǒng)計數(shù)據(jù)，生成差異程度的測試結(jié)果。由于更新率用于指示實驗數(shù)據(jù)相對于基準(zhǔn)數(shù)據(jù)的變化比率，因而體現(xiàn)了基準(zhǔn)算法程序和實驗算法程序針對相同對象的處理結(jié)果之間的差異性，另外，測試結(jié)果中各更新率區(qū)間內(nèi)所包含的相同對象的數(shù)量又能夠較為全面的反映更新率的分布情況，根據(jù)更新率的取值以及更新率的分布，則能夠衡量出實驗數(shù)據(jù)和基準(zhǔn)數(shù)據(jù)的差異程度，相較于現(xiàn)有技術(shù)無需進行人工抽樣，提高了測試效率。

本領(lǐng)域普通技術(shù)人員可以理解：實現(xiàn)上述各方法實施例的全部或部分步驟可以通過程序指令相關(guān)的硬件來完成。前述的程序可以存儲于一計算機可讀取存儲介質(zhì)中。該程序在執(zhí)行時，執(zhí)行包括上述各方法實施例的步驟；而前述的存儲介質(zhì)包括：ROM、RAM、磁碟或者光盤等各種可以存儲程序代碼的介質(zhì)。

最后應(yīng)說明的是：以上各實施例僅用以說明本發(fā)明的技術(shù)方案，而非對其限制；盡管參照前述各實施例對本發(fā)明進行了詳細的說明，本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解：其依然可以對前述各實施例所記載的技術(shù)方案進行修改，或者對其中部分或者全部技術(shù)特征進行等同替換；而這些修改或者替換，并不使相應(yīng)技術(shù)方案的本質(zhì)脫離本發(fā)明各實施例技術(shù)方案的范圍。