本申請(qǐng)涉及機(jī)器學(xué)習(xí)
技術(shù)領(lǐng)域：
，特別是涉及一種分布式環(huán)境下監(jiān)督學(xué)習(xí)算法的基準(zhǔn)測(cè)試方法和一種分布式環(huán)境下監(jiān)督學(xué)習(xí)算法的基準(zhǔn)測(cè)試裝置。
背景技術(shù)：
：機(jī)器學(xué)習(xí)是近20多年興起的一門(mén)多領(lǐng)域交叉學(xué)科，涉及概率論、統(tǒng)計(jì)學(xué)、逼近論、凸分析、算法復(fù)雜度理論等多門(mén)學(xué)科。機(jī)器學(xué)習(xí)算法是一類從數(shù)據(jù)中自動(dòng)分析獲得規(guī)律，并利用規(guī)律對(duì)未知數(shù)據(jù)進(jìn)行預(yù)測(cè)的算法。目前，機(jī)器學(xué)習(xí)已經(jīng)有了十分廣泛的應(yīng)用，例如：數(shù)據(jù)挖掘、計(jì)算機(jī)視覺(jué)、自然語(yǔ)言處理、生物特征識(shí)別、搜索引擎、醫(yī)學(xué)診斷、檢測(cè)信用卡欺詐、證券市場(chǎng)分析、dna序列測(cè)序、語(yǔ)音和手寫(xiě)識(shí)別、戰(zhàn)略游戲和機(jī)器人運(yùn)用。在機(jī)器學(xué)習(xí)領(lǐng)域，監(jiān)督學(xué)習(xí)、非監(jiān)督學(xué)習(xí)以及半監(jiān)督學(xué)習(xí)是三類研究比較多、應(yīng)用比較廣的機(jī)器學(xué)習(xí)技術(shù)，上述三種學(xué)習(xí)的簡(jiǎn)單描述如下：監(jiān)督學(xué)習(xí)：通過(guò)已有的一部分輸入數(shù)據(jù)與輸出數(shù)據(jù)之間的對(duì)應(yīng)關(guān)系，生成一個(gè)函數(shù)，將輸入映射到合適的輸出，例如分類。非監(jiān)督學(xué)習(xí)：直接對(duì)輸入數(shù)據(jù)集進(jìn)行建模，例如聚類。半監(jiān)督學(xué)習(xí)：綜合利用有類標(biāo)的數(shù)據(jù)和沒(méi)有類標(biāo)的數(shù)據(jù)，來(lái)生成合適的分類函數(shù)。按照部署結(jié)構(gòu)的不同，監(jiān)督學(xué)習(xí)被分為單機(jī)環(huán)境下的監(jiān)督學(xué)習(xí)和分布式環(huán)境下的監(jiān)督學(xué)習(xí)，分布式環(huán)境下的監(jiān)督學(xué)習(xí)是指由處于不同物理位置的多個(gè)具備不同和/或相同物理結(jié)構(gòu)的設(shè)備執(zhí)行監(jiān)督學(xué)習(xí)算法的一種監(jiān)督學(xué)習(xí)解決方案。由于分布式環(huán)境下的監(jiān)督學(xué)習(xí)在設(shè)備部署上的復(fù)雜性，其在資源協(xié)調(diào)通信和消耗因素較多，這使得對(duì)于分布式環(huán)境下的監(jiān)督學(xué)習(xí)算法的基準(zhǔn)測(cè)試(benchmark)，也就是，對(duì)分布式環(huán)境下的監(jiān)督學(xué)習(xí)算法的性能進(jìn)行評(píng)估的難度更大。目前，針對(duì)分布式環(huán)境下監(jiān)督學(xué)習(xí)算法的基準(zhǔn)測(cè)試問(wèn)題，還沒(méi)有完整、 有效的方案被提出。技術(shù)實(shí)現(xiàn)要素：鑒于上述問(wèn)題，提出了本申請(qǐng)實(shí)施例以便提供一種克服上述問(wèn)題或者至少部分地解決上述問(wèn)題的一種分布式環(huán)境下監(jiān)督學(xué)習(xí)算法的基準(zhǔn)測(cè)試方法和相應(yīng)的一種分布式環(huán)境下監(jiān)督學(xué)習(xí)算法的基準(zhǔn)測(cè)試裝置。為了解決上述問(wèn)題，本申請(qǐng)公開(kāi)了一種分布式環(huán)境下監(jiān)督學(xué)習(xí)算法的基準(zhǔn)測(cè)試方法，所述方法包括：獲取根據(jù)基準(zhǔn)測(cè)試中的輸出數(shù)據(jù)所確定的第一基準(zhǔn)測(cè)試結(jié)果；獲取所述基準(zhǔn)測(cè)試中的分布式性能指標(biāo)，將所述分布式性能指標(biāo)確定為第二基準(zhǔn)測(cè)試結(jié)果；將所述第一基準(zhǔn)測(cè)試結(jié)果和第二基準(zhǔn)測(cè)試結(jié)果合并得到基準(zhǔn)測(cè)試總結(jié)果。優(yōu)選地，所述獲取根據(jù)基準(zhǔn)測(cè)試中的輸出數(shù)據(jù)所確定第一基準(zhǔn)測(cè)試結(jié)果之前，所述方法還包括：確定待測(cè)試監(jiān)督學(xué)習(xí)算法；按照評(píng)估模型對(duì)所述待測(cè)試監(jiān)督學(xué)習(xí)算法進(jìn)行基準(zhǔn)測(cè)試得到輸出數(shù)據(jù)；根據(jù)基準(zhǔn)測(cè)試中的輸出數(shù)據(jù)確定第一基準(zhǔn)測(cè)試結(jié)果。優(yōu)選地，所述按照評(píng)估模型對(duì)所述待測(cè)試監(jiān)督學(xué)習(xí)算法進(jìn)行基準(zhǔn)測(cè)試得到輸出數(shù)據(jù)，包括：按照交叉驗(yàn)證模型對(duì)所述待測(cè)監(jiān)督學(xué)習(xí)算法進(jìn)行基準(zhǔn)測(cè)試得到輸出數(shù)據(jù)；或者，按照標(biāo)記label按比例分配模型對(duì)所述待測(cè)監(jiān)督學(xué)習(xí)算法進(jìn)行基準(zhǔn)測(cè)試得到輸出數(shù)據(jù)；或者，按照交叉驗(yàn)證模型和label按比例分配模型分別對(duì)所述待測(cè)監(jiān)督學(xué)習(xí)算法進(jìn)行基準(zhǔn)測(cè)試得到輸出數(shù)據(jù)。優(yōu)選地，所述按照交叉驗(yàn)證模型對(duì)所述待測(cè)試監(jiān)督學(xué)習(xí)算法進(jìn)行基準(zhǔn)測(cè)試得到輸出數(shù)據(jù)，包括：取一測(cè)試數(shù)據(jù)樣本；將所述測(cè)試數(shù)據(jù)樣本中的數(shù)據(jù)等分為n份；對(duì)所述n份數(shù)據(jù)執(zhí)行m輪基準(zhǔn)測(cè)試；其中，在每一輪基準(zhǔn)測(cè)試中，包括以下步驟：將所述n份數(shù)據(jù)中的n-1份確定為訓(xùn)練數(shù)據(jù)，其余一份確定為預(yù)測(cè)數(shù)據(jù)，其中，m輪基準(zhǔn)測(cè)試中，每一份數(shù)據(jù)僅有一次被確定為預(yù)測(cè)數(shù)據(jù)的機(jī)會(huì)，其中，所述m、n為正整數(shù)；將所確定的n-1份訓(xùn)練數(shù)據(jù)提供給所述待測(cè)試監(jiān)督學(xué)習(xí)算法進(jìn)行學(xué)習(xí)得到一個(gè)函數(shù)；將所確定的一份預(yù)測(cè)數(shù)據(jù)中的輸入數(shù)據(jù)提供給所述函數(shù)，得出輸出數(shù)據(jù)。優(yōu)選地，所述按照l(shuí)abel按比例分配模型對(duì)所述待測(cè)試監(jiān)督學(xué)習(xí)算法進(jìn)行基準(zhǔn)測(cè)試得到輸出數(shù)據(jù)，包括：取一測(cè)試數(shù)據(jù)樣本，所述測(cè)試數(shù)據(jù)樣本包括：具備第一標(biāo)記的數(shù)據(jù)和具備第二標(biāo)記的數(shù)據(jù)；分別將所述測(cè)試數(shù)據(jù)樣本中具備第一標(biāo)記的數(shù)據(jù)和具備第二標(biāo)記的數(shù)據(jù)等分為n份；對(duì)所述等分后得到的2n份數(shù)據(jù)執(zhí)行m輪基準(zhǔn)測(cè)試；其中，在每一輪基準(zhǔn)測(cè)試中包括以下步驟：將所述n份具備第一標(biāo)記的數(shù)據(jù)中的一份確定為訓(xùn)練數(shù)據(jù)、并將剩余數(shù)據(jù)中的一份或多份確定為預(yù)測(cè)數(shù)據(jù)，同時(shí)，將所述n份具備第二標(biāo)記的數(shù)據(jù)中的一份確定為訓(xùn)練數(shù)據(jù)、并將剩余數(shù)據(jù)中的一份或多份確定為預(yù)測(cè)數(shù)據(jù)，其中，所述m、n為正整數(shù)；將所確定的具備第一標(biāo)記和第二標(biāo)記的訓(xùn)練數(shù)據(jù)提供給所述待測(cè)試監(jiān)督學(xué)習(xí)算法進(jìn)行學(xué)習(xí)得到一個(gè)函數(shù)；將所確定的具備第一標(biāo)記和第二標(biāo)記的預(yù)測(cè)數(shù)據(jù)中的輸入數(shù)據(jù)提供給所述函數(shù)，得到輸出數(shù)據(jù)。優(yōu)選地，所述第一基準(zhǔn)測(cè)試結(jié)果包括以下指標(biāo)至少其中之一：判斷為真的正確率tp、判斷為假的正確率tn、誤報(bào)率fp及漏報(bào)率fn、精度precision、 召回率recall及準(zhǔn)確度accuracy；所述第二基準(zhǔn)測(cè)試結(jié)果包括以下指標(biāo)至少其中之一：待測(cè)試監(jiān)督學(xué)習(xí)算法對(duì)處理器的使用情況cpu、待測(cè)試監(jiān)督學(xué)習(xí)算法對(duì)內(nèi)存的使用情況mem、待測(cè)試監(jiān)督學(xué)習(xí)算法的迭代次數(shù)iterate及待測(cè)試監(jiān)督學(xué)習(xí)算法的使用時(shí)間duration。優(yōu)選地，所述得到基準(zhǔn)測(cè)試總結(jié)果后，所述方法還包括：根據(jù)所述第一基準(zhǔn)測(cè)試結(jié)果確定f1得分；以及，通過(guò)以下方式對(duì)所述待測(cè)試監(jiān)督學(xué)習(xí)算法進(jìn)行性能評(píng)估：當(dāng)f1得分相同或者接近時(shí)，待測(cè)試監(jiān)督學(xué)習(xí)算法的iterate值越小則確定待測(cè)試監(jiān)督學(xué)習(xí)算法性能越好；或者，當(dāng)f1指標(biāo)相同時(shí)，待測(cè)試監(jiān)督學(xué)習(xí)算法的cpu、mem、iterate及duration值越小，則確定待測(cè)試監(jiān)督學(xué)習(xí)算法性能越好。為了解決上述問(wèn)題，本申請(qǐng)還公開(kāi)了一種分布式環(huán)境下監(jiān)督學(xué)習(xí)算法的基準(zhǔn)測(cè)試裝置，所述裝置包括：第一基準(zhǔn)測(cè)試結(jié)果獲取模塊、指標(biāo)獲取模塊、第二基準(zhǔn)測(cè)試結(jié)果確定模塊及基準(zhǔn)測(cè)試總結(jié)果確定模塊；其中，所述第一基準(zhǔn)測(cè)試結(jié)果獲取模塊，用于獲取根據(jù)基準(zhǔn)測(cè)試中的輸出數(shù)據(jù)所確定的第一基準(zhǔn)測(cè)試結(jié)果；所述指標(biāo)獲取模塊，用于獲取所述基準(zhǔn)測(cè)試中的分布式性能指標(biāo)；所述第二基準(zhǔn)測(cè)試結(jié)果確定模塊，用于將所述分布式性能指標(biāo)確定為第二基準(zhǔn)測(cè)試結(jié)果；所述基準(zhǔn)測(cè)試總結(jié)果確定模塊，用于將所述第一基準(zhǔn)測(cè)試結(jié)果和第二基準(zhǔn)測(cè)試結(jié)果合并得到基準(zhǔn)測(cè)試總結(jié)果。優(yōu)選地，所述裝置還包括：確定模塊，用于在所述第一基準(zhǔn)測(cè)試結(jié)果獲取模塊獲取根據(jù)基準(zhǔn)測(cè)試中的輸出數(shù)據(jù)所確定第一基準(zhǔn)測(cè)試結(jié)果之前，確定待測(cè)試監(jiān)督學(xué)習(xí)算法；所述基準(zhǔn)測(cè)試模塊，用于按照評(píng)估模型對(duì)所述待測(cè)試監(jiān)督學(xué)習(xí)算法進(jìn)行基準(zhǔn)測(cè)試得到輸出數(shù)據(jù)；所述第一基準(zhǔn)測(cè)試結(jié)果確定模塊，用于根據(jù)基準(zhǔn)測(cè)試中的輸出數(shù)據(jù)確定 第一基準(zhǔn)測(cè)試結(jié)果。優(yōu)選地，所述基準(zhǔn)測(cè)試模塊，用于按照交叉驗(yàn)證模型對(duì)所述待測(cè)監(jiān)督學(xué)習(xí)算法進(jìn)行基準(zhǔn)測(cè)試；或者，按照標(biāo)記label按比例分配模型對(duì)所述待測(cè)監(jiān)督學(xué)習(xí)算法進(jìn)行基準(zhǔn)測(cè)試；或者，按照交叉驗(yàn)證模型和label按比例分配模型分別對(duì)所述待測(cè)監(jiān)督學(xué)習(xí)算法進(jìn)行基準(zhǔn)測(cè)試得到輸出數(shù)據(jù)；其中，所述基準(zhǔn)測(cè)試模塊，包括：第一基準(zhǔn)測(cè)試子模塊和第二基準(zhǔn)測(cè)試子模塊；其中，所述第一基準(zhǔn)測(cè)試子模塊，用于按照交叉驗(yàn)證模型或標(biāo)記label按比例分配模型對(duì)所述待測(cè)監(jiān)督學(xué)習(xí)算法進(jìn)行基準(zhǔn)測(cè)試；所述第二基準(zhǔn)測(cè)試子模塊，用于按照交叉驗(yàn)證模型或標(biāo)記label按比例分配模型對(duì)所述待測(cè)監(jiān)督學(xué)習(xí)算法進(jìn)行基準(zhǔn)測(cè)試。優(yōu)選地，所述第一基準(zhǔn)測(cè)試子模塊，包括：第一取數(shù)據(jù)單元，用于取一測(cè)試數(shù)據(jù)樣本；第一等分單元，用于將所述測(cè)試數(shù)據(jù)樣本中的數(shù)據(jù)等分為n份；第一確定單元，用于在每一輪基準(zhǔn)測(cè)試中，將所述n份數(shù)據(jù)中的n-1份確定為訓(xùn)練數(shù)據(jù)、其余一份確定為預(yù)測(cè)數(shù)據(jù)，其中，m輪基準(zhǔn)測(cè)試中，每一份數(shù)據(jù)僅有一次被確定為預(yù)測(cè)數(shù)據(jù)的機(jī)會(huì)，m、n為正整數(shù)；第一提供單元，用于在每一輪基準(zhǔn)測(cè)試中，將所確定的n-1份訓(xùn)練數(shù)據(jù)提供給所述待測(cè)試監(jiān)督學(xué)習(xí)算法進(jìn)行學(xué)習(xí)得到一個(gè)函數(shù)；第二提供單元，用于在每一輪基準(zhǔn)測(cè)試中，將所確定的一份預(yù)測(cè)數(shù)據(jù)中的輸入數(shù)據(jù)提供給所述函數(shù)，得出輸出數(shù)據(jù)。優(yōu)選地，所述第二基準(zhǔn)測(cè)試子模塊，包括：第二取數(shù)據(jù)單元，用于取一測(cè)試數(shù)據(jù)樣本，所述測(cè)試數(shù)據(jù)樣本包括：具備第一標(biāo)記的數(shù)據(jù)和具備第二標(biāo)記的數(shù)據(jù)；第二等分單元，用于分別將所述測(cè)試數(shù)據(jù)樣本中具備第一標(biāo)記的數(shù)據(jù)和具備第二標(biāo)記的數(shù)據(jù)等分為n份；第二確定單元，用于在每一輪基準(zhǔn)測(cè)試中，將所述n份具備第一標(biāo)記的數(shù)據(jù)中的一份確定為訓(xùn)練數(shù)據(jù)、并將剩余數(shù)據(jù)中的一份或多份確定為預(yù)測(cè)數(shù) 據(jù)，同時(shí)，將所述n份具備第二標(biāo)記的數(shù)據(jù)中的一份確定為訓(xùn)練數(shù)據(jù)、并將剩余數(shù)據(jù)中的一份或多份確定為預(yù)測(cè)數(shù)據(jù)，其中，m、n為正整數(shù)；第三提供單元，用于在每一輪基準(zhǔn)測(cè)試中，將所確定的具備第一標(biāo)記和第二標(biāo)記的訓(xùn)練數(shù)據(jù)提供給所述待測(cè)試監(jiān)督學(xué)習(xí)算法進(jìn)行學(xué)習(xí)得到一個(gè)函數(shù)；第四提供單元，用于在每一輪基準(zhǔn)測(cè)試中，將所確定的具備第一標(biāo)記和第二標(biāo)記的預(yù)測(cè)數(shù)據(jù)中的輸入數(shù)據(jù)提供給所述函數(shù)，得出輸出數(shù)據(jù)。優(yōu)選地，所述第一基準(zhǔn)測(cè)試結(jié)果包括以下指標(biāo)至少其中之一：判斷為真的正確率tp、判斷為假的正確率tn、誤報(bào)率fp、漏報(bào)率fn、精度precision、召回率recall及準(zhǔn)確度accuracy；所述第二基準(zhǔn)測(cè)試結(jié)果包括以下指標(biāo)至少其中之一：待測(cè)試監(jiān)督學(xué)習(xí)算法對(duì)處理器的使用情況cpu、待測(cè)試監(jiān)督學(xué)習(xí)算法對(duì)內(nèi)存的使用情況mem、待測(cè)試監(jiān)督學(xué)習(xí)算法的迭代次數(shù)iterate及待測(cè)試監(jiān)督學(xué)習(xí)算法的使用時(shí)間duration。優(yōu)選地，所述裝置還包括：性能評(píng)估模塊，用于根據(jù)所述第一基準(zhǔn)測(cè)試結(jié)果確定f1得分；以及，通過(guò)以下方式對(duì)所述待測(cè)試監(jiān)督學(xué)習(xí)算法進(jìn)行性能評(píng)估：當(dāng)f1得分相同或者接近時(shí)，待測(cè)試監(jiān)督學(xué)習(xí)算法的迭代次數(shù)越小則確定待測(cè)試監(jiān)督學(xué)習(xí)算法性能越好；或者，當(dāng)f1指標(biāo)相同時(shí)，待測(cè)試監(jiān)督學(xué)習(xí)算法的cpu、mem、iterate及duration值越小，則確定待測(cè)試監(jiān)督學(xué)習(xí)算法性能越好。本申請(qǐng)實(shí)施例包括以下優(yōu)點(diǎn)：本申請(qǐng)實(shí)施例獲取根據(jù)基準(zhǔn)測(cè)試中的輸出數(shù)據(jù)所確定的第一基準(zhǔn)測(cè)試結(jié)果，以及，獲取基準(zhǔn)測(cè)試中的分布式性能指標(biāo)得到第二基準(zhǔn)測(cè)試結(jié)果，然后，通過(guò)合并所述第一基準(zhǔn)測(cè)試結(jié)果和第二基準(zhǔn)測(cè)試結(jié)果，使得合并后得到的基準(zhǔn)測(cè)試總結(jié)果包含了不同維度的性能分析指標(biāo)。由于多維度的性能指標(biāo)能夠最大程度地表現(xiàn)算法的運(yùn)行性能，因此，本領(lǐng)域技術(shù)人員通過(guò)分析該不同維度的基準(zhǔn)測(cè)試結(jié)果就能夠?qū)Ψ植际江h(huán)境下的監(jiān)督學(xué)習(xí)算法進(jìn)行全面、準(zhǔn) 確地性能評(píng)估，避免了性能指標(biāo)單一所帶來(lái)的評(píng)估誤差。進(jìn)一步的，由于第二基準(zhǔn)測(cè)試結(jié)果中包含了從分布式系統(tǒng)中所獲取的分布式性能指標(biāo)，而這些分布式性能指標(biāo)能夠準(zhǔn)確反映分布式系統(tǒng)在運(yùn)行監(jiān)督學(xué)習(xí)算法時(shí)系統(tǒng)當(dāng)前的硬件消耗信息，因此，通過(guò)對(duì)這些分布式性能指標(biāo)和第一基準(zhǔn)測(cè)試結(jié)果進(jìn)行綜合分析，即可對(duì)當(dāng)前分布式系統(tǒng)運(yùn)行算法時(shí)的性能狀況進(jìn)行準(zhǔn)確、快速地判斷，克服了現(xiàn)有技術(shù)中，由于不具備對(duì)分布式環(huán)境下的監(jiān)督學(xué)習(xí)算法進(jìn)行基準(zhǔn)測(cè)試的完整方案而無(wú)法對(duì)分布式環(huán)境下的監(jiān)督學(xué)習(xí)算法進(jìn)行基準(zhǔn)測(cè)試的問(wèn)題。附圖說(shuō)明圖1是根據(jù)本申請(qǐng)一個(gè)方法實(shí)施例提供的一種分布式環(huán)境下監(jiān)督學(xué)習(xí)算法的基準(zhǔn)測(cè)試方法實(shí)施例的步驟流程圖；圖2是根據(jù)本申請(qǐng)一個(gè)方法實(shí)施例提供的一種分布式環(huán)境下監(jiān)督學(xué)習(xí)算法的基準(zhǔn)測(cè)試方法實(shí)施例的步驟流程圖；圖3是根據(jù)本申請(qǐng)一個(gè)裝置實(shí)施例提供的一種分布式環(huán)境下監(jiān)督學(xué)習(xí)算法的基準(zhǔn)測(cè)試裝置實(shí)施例的結(jié)構(gòu)框圖；圖4是根據(jù)本申請(qǐng)一個(gè)裝置實(shí)施例提供的一種分布式環(huán)境下監(jiān)督學(xué)習(xí)算法的基準(zhǔn)測(cè)試裝置實(shí)施例的結(jié)構(gòu)框圖；圖5是根據(jù)本申請(qǐng)一個(gè)裝置實(shí)施例提供的一種分布式環(huán)境下監(jiān)督學(xué)習(xí)算法的基準(zhǔn)測(cè)試裝置實(shí)施例的結(jié)構(gòu)框圖；圖6是根據(jù)本申請(qǐng)一個(gè)示例提供的一種分布式環(huán)境下監(jiān)督學(xué)習(xí)算法的基準(zhǔn)測(cè)試方法實(shí)施例的對(duì)每一輪基準(zhǔn)測(cè)試過(guò)程中數(shù)據(jù)類型劃分的邏輯順序示意圖；圖7是根據(jù)本申請(qǐng)一個(gè)示例提供的一種分布式環(huán)境下監(jiān)督學(xué)習(xí)算法的基準(zhǔn)測(cè)試系統(tǒng)的結(jié)構(gòu)圖；圖8是本申請(qǐng)一個(gè)實(shí)施例提供的一種采用交叉驗(yàn)證模型和label按比例分配模型進(jìn)行進(jìn)行benchmark基準(zhǔn)測(cè)試實(shí)施例的業(yè)務(wù)流程圖；圖9是根據(jù)本申請(qǐng)一個(gè)示例提供的一種分布式環(huán)境下監(jiān)督學(xué)習(xí)算法的處理流程圖。具體實(shí)施方式為使本申請(qǐng)的上述目的、特征和優(yōu)點(diǎn)能夠更加明顯易懂，下面結(jié)合附圖和具體實(shí)施方式對(duì)本申請(qǐng)作進(jìn)一步詳細(xì)的說(shuō)明。在資源使用方面，分布式環(huán)境下的監(jiān)督學(xué)習(xí)和傳統(tǒng)的單機(jī)環(huán)境下的監(jiān)督學(xué)習(xí)的區(qū)別在于分布式環(huán)境下監(jiān)督學(xué)習(xí)的資源不易被計(jì)算統(tǒng)計(jì)，以一份128m的訓(xùn)練數(shù)據(jù)為例，在單機(jī)環(huán)境下計(jì)算執(zhí)行監(jiān)督學(xué)習(xí)算法過(guò)程中cpu和內(nèi)存的消耗很容易，然而，在分布式環(huán)境下執(zhí)行監(jiān)督學(xué)習(xí)算法時(shí)，所有計(jì)算資源由若干臺(tái)機(jī)器上所產(chǎn)生的數(shù)據(jù)結(jié)果組成。以5臺(tái)2核4g內(nèi)存的機(jī)器集群為例，其總資源為10核、20g。假設(shè)一個(gè)監(jiān)督學(xué)習(xí)算法的訓(xùn)練數(shù)據(jù)為128m，這128m的訓(xùn)練數(shù)據(jù)在訓(xùn)練階段會(huì)發(fā)生數(shù)據(jù)膨脹，分布式環(huán)境下可以根據(jù)數(shù)據(jù)大小對(duì)數(shù)據(jù)進(jìn)行切片從而進(jìn)行資源的申請(qǐng)，比如，訓(xùn)練數(shù)據(jù)膨脹到了1g，以256m數(shù)據(jù)一個(gè)實(shí)例(instance)來(lái)計(jì)算，則需要4個(gè)instance來(lái)完成這個(gè)算法任務(wù)。假設(shè)，為每個(gè)instance去動(dòng)態(tài)申請(qǐng)cpu和內(nèi)存，在分布式環(huán)境下4個(gè)instance同時(shí)運(yùn)行，加上分布式情況下各種資源間相互協(xié)調(diào)，最終，該任務(wù)消耗的cpu、內(nèi)存需要同時(shí)計(jì)算4個(gè)instance下的資源消耗，而各個(gè)instance下的資源消耗是不容易被統(tǒng)計(jì)的。針對(duì)分布式環(huán)境下資源消耗不易統(tǒng)計(jì)的這一問(wèn)題，本申請(qǐng)實(shí)施例的核心構(gòu)思之一在于，獲取根據(jù)基準(zhǔn)測(cè)試中的輸出數(shù)據(jù)所確定的第一基準(zhǔn)測(cè)試結(jié)果；獲取所述基準(zhǔn)測(cè)試中的分布式性能指標(biāo)，將所述分布式性能指標(biāo)確定為第二基準(zhǔn)測(cè)試結(jié)果；將所述第一基準(zhǔn)測(cè)試結(jié)果和第二基準(zhǔn)測(cè)試結(jié)果合并得到基準(zhǔn)測(cè)試總結(jié)果。方法實(shí)施例一參照?qǐng)D1，示出了本申請(qǐng)的一種分布式環(huán)境下監(jiān)督學(xué)習(xí)算法的基準(zhǔn)測(cè)試(benchmark)方法實(shí)施例的步驟流程圖，具體可以包括如下步驟：步驟101、獲取根據(jù)基準(zhǔn)測(cè)試中的輸出數(shù)據(jù)所確定的第一基準(zhǔn)測(cè)試結(jié)果；基于基準(zhǔn)測(cè)試過(guò)程中所獲得的輸出數(shù)據(jù)，可以確定第一基準(zhǔn)測(cè)試結(jié)果， 該第一基準(zhǔn)測(cè)試結(jié)果是對(duì)所述輸出數(shù)據(jù)進(jìn)行分析而獲得的分析結(jié)果。具體應(yīng)用中，所述第一基準(zhǔn)測(cè)試結(jié)果可以包括以下性能指標(biāo)至少其中之一：判斷為真的正確率(truepositives，tp)、判斷為假的正確率(truenegative，tn)、誤報(bào)率(falsepositives，fp)、漏報(bào)率(falsenegative，fn)、精度precision、召回率recall、準(zhǔn)確率accuracy。步驟102、獲取所述基準(zhǔn)測(cè)試中的分布式性能指標(biāo)，將所述分布式性能指標(biāo)確定為第二基準(zhǔn)測(cè)試結(jié)果；具體的，在分布式環(huán)境下的監(jiān)督學(xué)習(xí)算法基準(zhǔn)測(cè)試過(guò)程中，所需要獲取的分布式性能指標(biāo)為對(duì)監(jiān)督學(xué)習(xí)算法基準(zhǔn)測(cè)試過(guò)程中所產(chǎn)生的硬件消耗信息，如，處理器使用情況cpu、內(nèi)存使用情況mem、算法迭代次數(shù)iterate及算法使用時(shí)間duration等等。需要說(shuō)明的是，在具體應(yīng)用時(shí)，本領(lǐng)域技術(shù)人員還可根據(jù)實(shí)際所選擇的不同評(píng)估模型確定上述第一基準(zhǔn)測(cè)試結(jié)果和第二基準(zhǔn)測(cè)試結(jié)果中所包含的性能指標(biāo)，本申請(qǐng)對(duì)性能指標(biāo)的內(nèi)容不作限制。步驟103、將所述第一基準(zhǔn)測(cè)試結(jié)果和第二基準(zhǔn)測(cè)試結(jié)果合并得到基準(zhǔn)測(cè)試總結(jié)果。具體應(yīng)用時(shí)，可將第一基準(zhǔn)測(cè)試結(jié)果和第二基準(zhǔn)測(cè)試結(jié)果中的各個(gè)性能指標(biāo)數(shù)據(jù)以表格、圖形、曲線等多種方式進(jìn)行合并展示，例如，參見(jiàn)表1所示，是以評(píng)估維度表的形式對(duì)所述合并得到的基準(zhǔn)測(cè)試總結(jié)果進(jìn)行展示：tpfptnfncpumemiterateduration表1容易理解的是，基準(zhǔn)測(cè)試總結(jié)果無(wú)論以何種形式展現(xiàn)，其都能夠從多個(gè)維度反映算法的性能指標(biāo)信息，基于這些信息，具備專業(yè)知識(shí)的技術(shù)人員可以對(duì)這些信息進(jìn)行分析，從而對(duì)待測(cè)試監(jiān)督學(xué)習(xí)算法的性能進(jìn)行評(píng)估。也就是說(shuō)，本申請(qǐng)實(shí)施例一所提供的方法能夠協(xié)助技術(shù)人員完成對(duì)監(jiān)督學(xué)習(xí)算法的性能評(píng)估。綜上，本申請(qǐng)實(shí)施例獲取根據(jù)基準(zhǔn)測(cè)試中的輸出數(shù)據(jù)所確定的第一基準(zhǔn) 測(cè)試結(jié)果，以及獲取基準(zhǔn)測(cè)試中的分布式性能指標(biāo)得到第二基準(zhǔn)測(cè)試結(jié)果，然后，通過(guò)合并所述第一基準(zhǔn)測(cè)試結(jié)果和第二基準(zhǔn)測(cè)試結(jié)果，使得合并后得到的基準(zhǔn)測(cè)試總結(jié)果包含了不同維度的性能分析指標(biāo)，由于多維度的性能指標(biāo)能夠最大程度地表現(xiàn)算法的運(yùn)行性能，因此，本領(lǐng)域技術(shù)人員通過(guò)分析該不同維度的基準(zhǔn)測(cè)試結(jié)果就能夠?qū)Ψ植际江h(huán)境下的監(jiān)督學(xué)習(xí)算法進(jìn)行全面、準(zhǔn)確地性能評(píng)估，避免了性能指標(biāo)單一所帶來(lái)的評(píng)估誤差。進(jìn)一步的，由于第二基準(zhǔn)測(cè)試結(jié)果中包含了從分布式系統(tǒng)中所獲取的分布式性能指標(biāo)，而這些分布式性能指標(biāo)能夠準(zhǔn)確反映當(dāng)分布式系統(tǒng)運(yùn)行監(jiān)督學(xué)習(xí)算法時(shí)系統(tǒng)當(dāng)前的硬件消耗信息，因此，通過(guò)對(duì)這些分布式性能指標(biāo)和第一基準(zhǔn)測(cè)試結(jié)果進(jìn)行綜合分析，即可對(duì)當(dāng)前分布式系統(tǒng)運(yùn)行算法時(shí)的性能狀況進(jìn)行準(zhǔn)確、快速地判斷，克服了現(xiàn)有技術(shù)中，由于不具備對(duì)分布式環(huán)境下的監(jiān)督學(xué)習(xí)算法進(jìn)行基準(zhǔn)測(cè)試的完整方案而無(wú)法對(duì)分布式環(huán)境下的監(jiān)督學(xué)習(xí)算法進(jìn)行基準(zhǔn)測(cè)試的問(wèn)題。另外，基于本申請(qǐng)實(shí)施例提供的一種基準(zhǔn)測(cè)試方法可以構(gòu)建基準(zhǔn)測(cè)試平臺(tái)，該基準(zhǔn)測(cè)試方法或平臺(tái)能夠基于對(duì)分布式環(huán)境下監(jiān)督學(xué)習(xí)算法執(zhí)行過(guò)程中所獲取的輸出數(shù)據(jù)和分布式性能指標(biāo)進(jìn)行分析，從而對(duì)分布式環(huán)境下的監(jiān)督學(xué)習(xí)算法進(jìn)行全面、準(zhǔn)確地性能評(píng)估。方法實(shí)施例二參照?qǐng)D2，示出了本申請(qǐng)的一種分布式環(huán)境下監(jiān)督學(xué)習(xí)算法的基準(zhǔn)測(cè)試方法實(shí)施例的步驟流程圖，具體可以包括如下步驟：步驟201、確定待測(cè)試監(jiān)督學(xué)習(xí)算法；具體的，在該步驟中需要確定出一個(gè)待測(cè)試監(jiān)督學(xué)習(xí)算法，之后，對(duì)該待測(cè)試監(jiān)督學(xué)習(xí)算法進(jìn)行基準(zhǔn)測(cè)試，從而對(duì)該待測(cè)試監(jiān)督學(xué)習(xí)算法的性能進(jìn)行評(píng)估。由于機(jī)器學(xué)習(xí)技術(shù)的廣泛應(yīng)用，不同領(lǐng)域針對(duì)不同應(yīng)用場(chǎng)景會(huì)產(chǎn)生各種各樣的學(xué)習(xí)算法，而對(duì)不同學(xué)習(xí)算法的性能進(jìn)行評(píng)估就成為了一項(xiàng)重要內(nèi)容。本申請(qǐng)實(shí)施例二所提供的方法，主要對(duì)分布式環(huán)境下的監(jiān)督學(xué)習(xí)算法進(jìn)行基準(zhǔn)測(cè)試。該步驟可以由用戶進(jìn)行選擇，實(shí)際實(shí)現(xiàn)中，用戶可以直接將某一監(jiān)督學(xué)習(xí)算法提交至基準(zhǔn)測(cè)試系統(tǒng)，則基準(zhǔn)測(cè)試系統(tǒng)將接收到的監(jiān)督學(xué)習(xí)算法確定為待測(cè)試監(jiān)督學(xué)習(xí)算法；或者，用戶在基準(zhǔn)測(cè)試系統(tǒng)中的選擇界面中選擇需要被測(cè)試的監(jiān)督學(xué)習(xí)算法，則基準(zhǔn)測(cè)試系統(tǒng)將用戶所選擇的監(jiān)督學(xué)習(xí)算法確定為待測(cè)試監(jiān)督學(xué)習(xí)算法。步驟202、按照評(píng)估模型對(duì)所述待測(cè)試監(jiān)督學(xué)習(xí)算法進(jìn)行基準(zhǔn)測(cè)試得到輸出數(shù)據(jù)；這一步驟之前，需要預(yù)先設(shè)置評(píng)估模型，該模型具備對(duì)待測(cè)試監(jiān)督學(xué)習(xí)算法進(jìn)行基準(zhǔn)測(cè)試的功能。具體的，在算法評(píng)估領(lǐng)域，交叉驗(yàn)證模型和標(biāo)記label按比例分配模型是被廣泛應(yīng)用的兩種模型，具備較高的準(zhǔn)確度和算法穩(wěn)定性，因此，本申請(qǐng)實(shí)施例選擇這兩種模型作為評(píng)估模型示例對(duì)本申請(qǐng)?zhí)峁┑姆椒ㄟM(jìn)行描述；即，在步驟202中，所述評(píng)估模型包括：交叉驗(yàn)證模型和/或標(biāo)記label按比例分配模型。因此，所述按照評(píng)估模型對(duì)所述待測(cè)試監(jiān)督學(xué)習(xí)算法進(jìn)行基準(zhǔn)測(cè)試，包括：按照交叉驗(yàn)證模型對(duì)所述待測(cè)監(jiān)督學(xué)習(xí)算法進(jìn)行基準(zhǔn)測(cè)試；或者，按照標(biāo)記label按比例分配模型對(duì)所述待測(cè)監(jiān)督學(xué)習(xí)算法進(jìn)行基準(zhǔn)測(cè)試；或者，按照交叉驗(yàn)證模型和label按比例分配模型分別對(duì)所述待測(cè)監(jiān)督學(xué)習(xí)算法進(jìn)行基準(zhǔn)測(cè)試。參照?qǐng)D8，圖8示出的是本申請(qǐng)一個(gè)采用交叉驗(yàn)證模型和label按比例分配模型進(jìn)行benchmark基準(zhǔn)測(cè)試實(shí)施例的業(yè)務(wù)流程圖。具體實(shí)現(xiàn)時(shí)，用戶可根據(jù)需要選擇上述兩種模型中其中任意一種模型運(yùn)行任務(wù)并得到展示結(jié)果。在本申請(qǐng)的一個(gè)可選實(shí)施例中，所述按照交叉驗(yàn)證模型對(duì)所述待測(cè)試監(jiān) 督學(xué)習(xí)算法進(jìn)行基準(zhǔn)測(cè)試得到輸出數(shù)據(jù)，包括以下步驟：步驟一、取一測(cè)試數(shù)據(jù)樣本；具體的，測(cè)試數(shù)據(jù)樣本通常為一實(shí)測(cè)數(shù)據(jù)樣本，該數(shù)據(jù)樣本中包括多條數(shù)據(jù)，每一條數(shù)據(jù)均包括輸入數(shù)據(jù)和輸出數(shù)據(jù)，而每一條數(shù)據(jù)中的輸入和輸出的值通常都為實(shí)際的監(jiān)測(cè)值，也可以分別稱為標(biāo)準(zhǔn)輸入數(shù)據(jù)和標(biāo)準(zhǔn)輸出數(shù)據(jù)。例如，某一個(gè)對(duì)房?jī)r(jià)進(jìn)行預(yù)測(cè)的數(shù)據(jù)樣本中，每一條數(shù)據(jù)的輸入為房子大小，對(duì)應(yīng)的輸出為均價(jià)，其具體取值均為獲取的真實(shí)值。步驟二、將所述測(cè)試數(shù)據(jù)樣本中的數(shù)據(jù)等分為n份；步驟三、對(duì)所述n份數(shù)據(jù)執(zhí)行m輪基準(zhǔn)測(cè)試；其中，在每一輪基準(zhǔn)測(cè)試中，包括以下步驟：將所述n份數(shù)據(jù)中的n-1份確定為訓(xùn)練數(shù)據(jù)、其余一份確定為預(yù)測(cè)數(shù)據(jù)，其中，m輪基準(zhǔn)測(cè)試中，每一份數(shù)據(jù)僅有一次被確定為預(yù)測(cè)數(shù)據(jù)的機(jī)會(huì)，m、n為正整數(shù)；將所確定的n-1份訓(xùn)練數(shù)據(jù)提供給所述待測(cè)試監(jiān)督學(xué)習(xí)算法進(jìn)行學(xué)習(xí)得到一個(gè)函數(shù)；將所確定的一份預(yù)測(cè)數(shù)據(jù)中的輸入數(shù)據(jù)提供給所述函數(shù)，得出輸出數(shù)據(jù)。下面通過(guò)一個(gè)具體應(yīng)用示例對(duì)上述按照交叉驗(yàn)證模型對(duì)所述待測(cè)試監(jiān)督學(xué)習(xí)算法進(jìn)行基準(zhǔn)測(cè)試的方法進(jìn)行詳細(xì)介紹：假設(shè)，取一個(gè)包含1000條數(shù)據(jù)的測(cè)試數(shù)據(jù)樣本1，按照預(yù)設(shè)規(guī)則，n＝5，因此，基準(zhǔn)測(cè)試系統(tǒng)首先將所述測(cè)試數(shù)據(jù)樣本1中的數(shù)據(jù)等分為5份，分別為數(shù)據(jù)1、數(shù)據(jù)2、數(shù)據(jù)3、數(shù)據(jù)4及數(shù)據(jù)5，這樣，每份包含200條數(shù)據(jù)；m值也為5，這樣基準(zhǔn)測(cè)試系統(tǒng)對(duì)所述5份數(shù)據(jù)進(jìn)行5輪基準(zhǔn)測(cè)試。每輪基準(zhǔn)測(cè)試中，需要對(duì)數(shù)據(jù)類型進(jìn)行劃分，具體的，n-1＝4，因此，選擇4份作為訓(xùn)練數(shù)據(jù)，1份作為預(yù)測(cè)數(shù)據(jù)。圖6為一種數(shù)據(jù)類型劃分方法的示意圖，如圖6所示，每一行示出的是5份數(shù)據(jù)在一輪基準(zhǔn)測(cè)試中的數(shù)據(jù)劃分方式，其中，每一行中從左至右依次為數(shù)據(jù)1至數(shù)據(jù)5的劃分方式；第一行中，數(shù)據(jù)1至數(shù)據(jù)4被劃分為訓(xùn)練數(shù)據(jù)，數(shù)據(jù)5為預(yù)測(cè)數(shù)據(jù)；第二行中，數(shù)據(jù)1至數(shù)據(jù)3及數(shù)據(jù)5被劃分為訓(xùn)練數(shù)據(jù)，數(shù)據(jù)4為預(yù)測(cè)數(shù)據(jù)；第三行中，數(shù)據(jù)1、數(shù)據(jù)2、數(shù)據(jù)4至數(shù)據(jù)5為 訓(xùn)練數(shù)據(jù)，而數(shù)據(jù)3為預(yù)測(cè)數(shù)據(jù)；依次類推，第四行中，數(shù)據(jù)2為預(yù)測(cè)數(shù)據(jù)，其余為訓(xùn)練數(shù)據(jù)；第五行中，數(shù)據(jù)1為預(yù)測(cè)數(shù)據(jù)，其余為訓(xùn)練數(shù)據(jù)；對(duì)數(shù)據(jù)劃分完成之后，需要對(duì)數(shù)據(jù)進(jìn)行五輪基準(zhǔn)測(cè)試，在每一輪基準(zhǔn)測(cè)試中，將所確定的4份訓(xùn)練數(shù)據(jù)提供給待測(cè)試監(jiān)督學(xué)習(xí)算法進(jìn)行學(xué)習(xí)，得到一個(gè)函數(shù)(或者，也可稱為模型)，接下來(lái)，將剩余的一份預(yù)測(cè)數(shù)據(jù)中的輸入數(shù)據(jù)提供給所述函數(shù)，就可以得到輸出數(shù)據(jù)，該輸出數(shù)據(jù)是使用所述函數(shù)對(duì)輸入數(shù)據(jù)進(jìn)行預(yù)測(cè)后得到的預(yù)測(cè)值；這樣，五輪基準(zhǔn)測(cè)試完成后，可以得到5組輸出數(shù)據(jù)。需要說(shuō)明的是，五輪基準(zhǔn)測(cè)試中，可以按照?qǐng)D6給出的方式中的邏輯順序?qū)γ恳惠喕鶞?zhǔn)測(cè)試過(guò)程中的數(shù)據(jù)類型進(jìn)行劃分，也可以按照其它邏輯順序?qū)鶞?zhǔn)測(cè)試過(guò)程中的數(shù)據(jù)類型進(jìn)行劃分，例如，將圖6中自上至下的行與行之間的次序打亂，只要確保m輪基準(zhǔn)測(cè)試中，每一份數(shù)據(jù)只有一次機(jī)會(huì)被確定為預(yù)測(cè)數(shù)據(jù)即可。在本申請(qǐng)的另一可選實(shí)施例中，所述按照l(shuí)abel按比例分配模型對(duì)所述待測(cè)試監(jiān)督學(xué)習(xí)算法進(jìn)行基準(zhǔn)測(cè)試得到輸出數(shù)據(jù)，包括以下步驟：步驟一、取一測(cè)試數(shù)據(jù)樣本，所述測(cè)試數(shù)據(jù)樣本包括：具備第一標(biāo)記的數(shù)據(jù)和具備第二標(biāo)記的數(shù)據(jù)；需要說(shuō)明的是，在該方案中，所述測(cè)試數(shù)據(jù)樣本中包括且僅包括具備第一標(biāo)記的數(shù)據(jù)和具備第二標(biāo)記的數(shù)據(jù)，第一標(biāo)記和第二標(biāo)記是指基于某特定需要而用于對(duì)數(shù)據(jù)進(jìn)行分類的標(biāo)記，因此，該方案應(yīng)用于包含兩類數(shù)據(jù)的二分類場(chǎng)景下。步驟二、分別將所述測(cè)試數(shù)據(jù)樣本中具備第一標(biāo)記的數(shù)據(jù)和具備第二標(biāo)記的數(shù)據(jù)等分為n份；步驟三、對(duì)所述n份數(shù)據(jù)執(zhí)行m輪基準(zhǔn)測(cè)試：其中，在每一輪基準(zhǔn)測(cè)試中，包括以下步驟：將所述n份具備第一標(biāo)記的數(shù)據(jù)中的一份確定為訓(xùn)練數(shù)據(jù)、并將剩余數(shù)據(jù)中的一份或多份確定為預(yù)測(cè)數(shù)據(jù)，同時(shí)，將所述n份具備第二標(biāo)記的數(shù)據(jù)中的一份確定為訓(xùn)練數(shù)據(jù)、并將剩余數(shù)據(jù)中的一份或多份確定為預(yù)測(cè)數(shù)據(jù)， 其中，m、n為正整數(shù)；將所確定的具備第一標(biāo)記和第二標(biāo)記的訓(xùn)練數(shù)據(jù)提供給所述待測(cè)試監(jiān)督學(xué)習(xí)算法進(jìn)行學(xué)習(xí)得到一個(gè)函數(shù)；將所確定的具備第一標(biāo)記和第二標(biāo)記的預(yù)測(cè)數(shù)據(jù)中的輸入數(shù)據(jù)提供給所述函數(shù)，得出輸出數(shù)據(jù)。具體的，第一標(biāo)記和第二標(biāo)記只是用于對(duì)不同標(biāo)記進(jìn)行區(qū)分，并不用于限定。實(shí)際應(yīng)用中，第一標(biāo)記和第二標(biāo)記可以使用不同的標(biāo)記符號(hào)，例如，第一標(biāo)記可以為1，第二標(biāo)記為0；或者，第一標(biāo)記為y，第二標(biāo)記為n等等。下面通過(guò)一個(gè)應(yīng)用示例對(duì)按照l(shuí)abel按比例分配模型對(duì)所述待測(cè)試監(jiān)督學(xué)習(xí)算法進(jìn)行基準(zhǔn)測(cè)試的方法進(jìn)行詳細(xì)介紹：label按比例分配模型是根據(jù)label值進(jìn)行分類，之后，對(duì)每個(gè)類型進(jìn)行等比區(qū)分，然后再進(jìn)行不同比例的組合去做訓(xùn)練。假設(shè)，一個(gè)測(cè)試數(shù)據(jù)樣本2包含1000條數(shù)據(jù)，其中，600條數(shù)據(jù)的label值為1、400條數(shù)據(jù)的label值為0。按照l(shuí)abel按比例分配模型可以把600條label值為1的數(shù)據(jù)分成10份，每份60個(gè)數(shù)據(jù)、將400條label為0的數(shù)據(jù)也分成10份，每份40個(gè)數(shù)據(jù)。所述測(cè)試數(shù)據(jù)樣本2的劃分方法如表2所示，其中，每一行代表一份數(shù)據(jù)，數(shù)據(jù)1至數(shù)據(jù)10代表10分label值為1的數(shù)據(jù)，數(shù)據(jù)11至數(shù)據(jù)20代表10分label值為0的數(shù)據(jù)。表2在進(jìn)行基準(zhǔn)測(cè)試時(shí)，基準(zhǔn)測(cè)試系統(tǒng)可以將1份label值為1的數(shù)據(jù)和1份label值為0的數(shù)據(jù)確定為訓(xùn)練數(shù)據(jù)，將另外一份label值為1和label值為0的數(shù)據(jù)確定為預(yù)測(cè)數(shù)據(jù)、或者將一份以上label值為1和label值為0的數(shù)據(jù)確定為預(yù)測(cè)數(shù)據(jù)。對(duì)數(shù)據(jù)劃分完成之后，就可以對(duì)數(shù)據(jù)進(jìn)行基準(zhǔn)測(cè)試，假設(shè)m＝4，則需要進(jìn)四輪基準(zhǔn)測(cè)試。在每一輪基準(zhǔn)測(cè)試中，將所確定的訓(xùn)練數(shù)據(jù)提供給待測(cè)試監(jiān)督學(xué)習(xí)算法進(jìn)行學(xué)習(xí)，得到一個(gè)函數(shù)(或者，也可稱為模型)，接下來(lái)，將預(yù)測(cè)數(shù)據(jù)中的輸入數(shù)據(jù)提供給所述函數(shù)，就可以得到輸出數(shù)據(jù)，該輸出數(shù)據(jù)是使用所述函數(shù)對(duì)輸入數(shù)據(jù)進(jìn)行預(yù)測(cè)后得到的預(yù)測(cè)值；這樣，四輪基準(zhǔn)測(cè)試完成后，可以得到四組輸出數(shù)據(jù)。相應(yīng)的，所述按照交叉驗(yàn)證模型和label按比例分配模型分別對(duì)所述待測(cè)監(jiān)督學(xué)習(xí)算法進(jìn)行基準(zhǔn)測(cè)試，是指將測(cè)試數(shù)據(jù)樣本分別按照交叉驗(yàn)證模型和label按比例分配模型進(jìn)行基準(zhǔn)測(cè)試，這樣，不同評(píng)估模型下，將得到一組輸出數(shù)據(jù)，將這兩組輸出數(shù)據(jù)確定為整個(gè)基準(zhǔn)測(cè)試過(guò)程的輸出數(shù)據(jù)。步驟203、獲取根據(jù)基準(zhǔn)測(cè)試中的輸出數(shù)據(jù)所確定的第一基準(zhǔn)測(cè)試結(jié)果；具體的，通過(guò)基準(zhǔn)測(cè)試獲得輸出數(shù)據(jù)以后，可以根據(jù)輸出數(shù)據(jù)與標(biāo)準(zhǔn)輸出數(shù)據(jù)，即，輸入數(shù)據(jù)在測(cè)試數(shù)據(jù)樣本中所對(duì)應(yīng)的輸出數(shù)據(jù)的偏差來(lái)確定多個(gè)參數(shù)指標(biāo)，具體應(yīng)用中，所述第一基準(zhǔn)測(cè)試結(jié)果可以包括以下性能指標(biāo)至少其中之一：tp、tn、fp、fn、precision、recall、accuracy。步驟204、獲取所述基準(zhǔn)測(cè)試中的分布式性能指標(biāo)，將所述分布式性能指標(biāo)確定為第二基準(zhǔn)測(cè)試結(jié)果；具體的，基準(zhǔn)測(cè)試系統(tǒng)中的系統(tǒng)性能檢測(cè)模塊能夠在基準(zhǔn)測(cè)試過(guò)程中獲得各種分布式性能指標(biāo)，這些分布式性能指標(biāo)即為第二基準(zhǔn)測(cè)試結(jié)果，具體的，所述分布式性能指標(biāo)，包括以下指標(biāo)至少其中之一：待測(cè)試監(jiān)督學(xué)習(xí)算法對(duì)處理器的使用情況cpu、待測(cè)試監(jiān)督學(xué)習(xí)算法對(duì)內(nèi)存的使用情況mem、待測(cè)試監(jiān)督學(xué)習(xí)算法的迭代次數(shù)iterate及待測(cè)試監(jiān)督學(xué)習(xí)算法的使用時(shí)間duration。步驟205、將所述第一基準(zhǔn)測(cè)試結(jié)果和第二基準(zhǔn)測(cè)試結(jié)果合并得到基準(zhǔn)測(cè)試總結(jié)果。在對(duì)待測(cè)試監(jiān)督學(xué)習(xí)算法進(jìn)行基準(zhǔn)測(cè)試(也就是性能評(píng)估)時(shí)，需要結(jié)合第一基準(zhǔn)測(cè)試結(jié)果和第二基準(zhǔn)測(cè)試結(jié)果來(lái)進(jìn)行綜合分析。因此，可以在獲得第一基準(zhǔn)測(cè)試結(jié)果和第二基準(zhǔn)測(cè)試結(jié)果之后，將這兩種基準(zhǔn)測(cè)試結(jié)果合并，生成這些結(jié)果所對(duì)應(yīng)的列表，并將該列表通過(guò)顯示屏顯示給用戶，當(dāng)用戶為具備算法評(píng)估分析能力的技術(shù)人員時(shí)，可以直接根據(jù)列表中所呈現(xiàn)的數(shù)據(jù)進(jìn)行綜合分析，從而對(duì)待測(cè)試監(jiān)督學(xué)習(xí)算法的性能進(jìn)行評(píng)估。一個(gè)示例性的基準(zhǔn)測(cè)試總結(jié)果列表如下：tpfptnfnprecisionrecallaccuracycpumemiterateduration表3該列表可以包括一行或多行輸出結(jié)果，每一行輸出結(jié)果對(duì)應(yīng)一輪基準(zhǔn)測(cè) 試所確定的第一基準(zhǔn)測(cè)試結(jié)果和第二基準(zhǔn)測(cè)試結(jié)果；或者，每一行輸出結(jié)果對(duì)應(yīng)對(duì)多輪基準(zhǔn)測(cè)試綜合分析后所確定的第一基準(zhǔn)測(cè)試結(jié)果和第二基準(zhǔn)測(cè)試結(jié)果。步驟206、根據(jù)所述基準(zhǔn)測(cè)試結(jié)果對(duì)所述待測(cè)試監(jiān)督學(xué)習(xí)算法進(jìn)行性能評(píng)估。具體的，所述根據(jù)所述基準(zhǔn)測(cè)試結(jié)果對(duì)所述待測(cè)試監(jiān)督學(xué)習(xí)算法進(jìn)行性能評(píng)估，包括：根據(jù)所述第一基準(zhǔn)測(cè)試結(jié)果確定f1得分；以及，通過(guò)以下方式對(duì)所述待測(cè)試監(jiān)督學(xué)習(xí)算法進(jìn)行性能評(píng)估：當(dāng)f1得分相同或者接近時(shí)，待測(cè)試監(jiān)督學(xué)習(xí)算法的迭代次數(shù)越小則待測(cè)試監(jiān)督學(xué)習(xí)算法性能越好。依據(jù)這種方式可以直接對(duì)待測(cè)試監(jiān)督學(xué)習(xí)算法的性能進(jìn)行評(píng)估，也就是，在f1得分相同和相近時(shí)，確定待測(cè)試監(jiān)督學(xué)習(xí)算法的迭代次數(shù)，而迭代次數(shù)越小的待測(cè)試監(jiān)督學(xué)習(xí)算法被確定為性能更好。其中，f1得分，即，f1score，可以看作是算法準(zhǔn)確率和召回率的一種加權(quán)平均，是用于評(píng)估待測(cè)試監(jiān)督學(xué)習(xí)算法好壞的一個(gè)重要指標(biāo)，其計(jì)算公式如下：其中，precision和recall均為第一基準(zhǔn)測(cè)試結(jié)果中的指標(biāo)，具體的，precision為精度，recall為召回率。因此，在這種性能評(píng)估方式中，只需要確定precision、recall及待測(cè)試監(jiān)督學(xué)習(xí)算法的迭代次數(shù)的取值，即可對(duì)待測(cè)試監(jiān)督學(xué)習(xí)算法的性能進(jìn)行評(píng)估。另外，也可以通過(guò)以下方式對(duì)所述待測(cè)試監(jiān)督學(xué)習(xí)算法進(jìn)行性能評(píng)估：當(dāng)f1指標(biāo)相同時(shí)，待測(cè)試監(jiān)督學(xué)習(xí)算法的cpu、mem、iterate及duration值越小，則確定待測(cè)試監(jiān)督學(xué)習(xí)算法性能越好。上述方案中，也可以將基準(zhǔn)測(cè)試結(jié)果和f1得分同時(shí)列表輸出，方便技術(shù)人員查看和分析。一個(gè)示例性的列表如下：f1tpfptnfnprecisionrecallaccuracycpumemiterateduration表4在本申請(qǐng)的另一種可選實(shí)施例中，對(duì)待測(cè)試監(jiān)督學(xué)習(xí)算法進(jìn)行性能評(píng)估之后，可以將性能評(píng)估結(jié)果發(fā)送給用戶，具體的，可以將性能評(píng)估結(jié)果展示于顯示界面之上，供用戶查看，從而輔助用戶進(jìn)行算法性能評(píng)估。在本申請(qǐng)的另一種可選實(shí)施例中，所述方法還包括：判斷f1得分的偏差是否合理，如果合理，確定基準(zhǔn)測(cè)試成功；如果不合理，確定基準(zhǔn)測(cè)試不成功，且向用戶發(fā)送報(bào)警指示信息。由于f1得分是用于判斷待測(cè)試監(jiān)督學(xué)習(xí)算法性能的一個(gè)重要指標(biāo)，在實(shí)際應(yīng)用中，用戶可以針對(duì)不同待測(cè)試監(jiān)督學(xué)習(xí)算法預(yù)先設(shè)置f1得分的一個(gè)標(biāo)準(zhǔn)值，并設(shè)置偏差范圍，當(dāng)f1得分的偏差在用戶設(shè)置的范圍內(nèi)，則確定基準(zhǔn)測(cè)試成功，如果f1得分的偏差超出用戶設(shè)置的范圍，則確定基準(zhǔn)測(cè)試不成功，用戶可以重新進(jìn)行測(cè)試。綜上，本申請(qǐng)實(shí)施例二所提供的方法，通過(guò)對(duì)基準(zhǔn)測(cè)試總結(jié)果作進(jìn)一步性能分析確定f1值，然后，可基于該f1值直接對(duì)監(jiān)督算法在分布式環(huán)境下的運(yùn)行性能做出判斷并將判斷結(jié)果提供給用戶，使得本領(lǐng)域技術(shù)人員能夠從輸出結(jié)果中直觀地獲知監(jiān)督學(xué)習(xí)算法在分布式環(huán)境下的運(yùn)行性能，與上述實(shí)施例一相比，由于用戶無(wú)需重新計(jì)算分析指標(biāo)，因此減少了用戶分析判斷所需的時(shí)間，進(jìn)一步提高了分析效率。需要說(shuō)明的是，對(duì)于方法實(shí)施例，為了簡(jiǎn)單描述，故將其都表述為一系列的動(dòng)作組合，但是本領(lǐng)域技術(shù)人員應(yīng)該知悉，本申請(qǐng)實(shí)施例并不受所描述的動(dòng)作順序的限制，因?yàn)橐罁?jù)本申請(qǐng)實(shí)施例，某些步驟可以采用其他順序或者同時(shí)進(jìn)行。其次，本領(lǐng)域技術(shù)人員也應(yīng)該知悉，說(shuō)明書(shū)中所描述的實(shí)施例 均屬于優(yōu)選實(shí)施例，所涉及的動(dòng)作并不一定是本申請(qǐng)實(shí)施例所必須的。裝置實(shí)施例參照?qǐng)D3，示出了本申請(qǐng)的一種分布式環(huán)境下監(jiān)督學(xué)習(xí)算法的基準(zhǔn)測(cè)試裝置實(shí)施例的結(jié)構(gòu)框圖，具體可以包括：第一基準(zhǔn)測(cè)試結(jié)果獲取模塊31、指標(biāo)獲取模塊32、第二基準(zhǔn)測(cè)試結(jié)果確定模塊33及基準(zhǔn)測(cè)試總結(jié)果確定模塊34；其中，所述第一基準(zhǔn)測(cè)試結(jié)果確定模塊31，用于根據(jù)所述基準(zhǔn)測(cè)試中的輸出數(shù)據(jù)確定第一基準(zhǔn)測(cè)試結(jié)果；所述指標(biāo)獲取模塊32，用于獲取所述基準(zhǔn)測(cè)試中的分布式性能指標(biāo)；所述第二基準(zhǔn)測(cè)試結(jié)果確定模塊33，用于將所述分布式性能指標(biāo)確定為第二基準(zhǔn)測(cè)試結(jié)果；所述基準(zhǔn)測(cè)試總結(jié)果確定模塊34，用于將所述第一基準(zhǔn)測(cè)試結(jié)果和第二基準(zhǔn)測(cè)試結(jié)果合并得到基準(zhǔn)測(cè)試總結(jié)果。在本申請(qǐng)的一種可選實(shí)施例中，如圖4所示，所述裝置還包括：確定模塊35，用于在所述第一基準(zhǔn)測(cè)試結(jié)果獲取模塊獲取根據(jù)基準(zhǔn)測(cè)試中的輸出數(shù)據(jù)所確定第一基準(zhǔn)測(cè)試結(jié)果之前，確定待測(cè)試監(jiān)督學(xué)習(xí)算法；所述基準(zhǔn)測(cè)試模塊36，用于按照評(píng)估模型對(duì)所述待測(cè)試監(jiān)督學(xué)習(xí)算法進(jìn)行基準(zhǔn)測(cè)試得到輸出數(shù)據(jù)；所述第一基準(zhǔn)測(cè)試結(jié)果確定模塊37，用于根據(jù)基準(zhǔn)測(cè)試中的輸出數(shù)據(jù)確定第一基準(zhǔn)測(cè)試結(jié)果。具體的，所述基準(zhǔn)測(cè)試模塊36，用于按照交叉驗(yàn)證模型對(duì)所述待測(cè)監(jiān)督學(xué)習(xí)算法進(jìn)行基準(zhǔn)測(cè)試；或者，按照標(biāo)記label按比例分配模型對(duì)所述待測(cè)監(jiān)督學(xué)習(xí)算法進(jìn)行基準(zhǔn)測(cè)試；或者，按照交叉驗(yàn)證模型和label按比例分配模型分別對(duì)所述待測(cè)監(jiān)督學(xué)習(xí)算法進(jìn)行基準(zhǔn)測(cè)試得到輸出數(shù)據(jù)；其中，所述基準(zhǔn)測(cè)試模塊36，包括：第一基準(zhǔn)測(cè)試子模塊和第二基準(zhǔn)測(cè)試子模塊；其中，所述第一基準(zhǔn)測(cè)試子模塊，用于按照交叉驗(yàn)證模型或標(biāo)記label按比例 分配模型對(duì)所述待測(cè)監(jiān)督學(xué)習(xí)算法進(jìn)行基準(zhǔn)測(cè)試；所述第二基準(zhǔn)測(cè)試子模塊，用于按照交叉驗(yàn)證模型或標(biāo)記label按比例分配模型對(duì)所述待測(cè)監(jiān)督學(xué)習(xí)算法進(jìn)行基準(zhǔn)測(cè)試。具體的，所述第一基準(zhǔn)測(cè)試子模塊，包括：第一取數(shù)據(jù)單元，用于取一測(cè)試數(shù)據(jù)樣本；第一等分單元，用于將所述測(cè)試數(shù)據(jù)樣本中的數(shù)據(jù)等分為n份；第一確定單元，用于在每一輪基準(zhǔn)測(cè)試中，將所述n份數(shù)據(jù)中的n-1份確定為訓(xùn)練數(shù)據(jù)、其余一份確定為預(yù)測(cè)數(shù)據(jù)，其中，m輪基準(zhǔn)測(cè)試中，每一份數(shù)據(jù)僅有一次被確定為預(yù)測(cè)數(shù)據(jù)的機(jī)會(huì)，m、n為正整數(shù)；第一提供單元，用于在每一輪基準(zhǔn)測(cè)試中，將所確定的n-1份訓(xùn)練數(shù)據(jù)提供給所述待測(cè)試監(jiān)督學(xué)習(xí)算法進(jìn)行學(xué)習(xí)得到一個(gè)函數(shù)；第二提供單元，用于在每一輪基準(zhǔn)測(cè)試中，將所確定的一份預(yù)測(cè)數(shù)據(jù)中的輸入數(shù)據(jù)提供給所述函數(shù)，得出輸出數(shù)據(jù)。具體的，所述第二基準(zhǔn)測(cè)試子模塊，包括：第二取數(shù)據(jù)單元，用于取一測(cè)試數(shù)據(jù)樣本，所述測(cè)試數(shù)據(jù)樣本包括：具備第一標(biāo)記的數(shù)據(jù)和具備第二標(biāo)記的數(shù)據(jù)；第二等分單元，用于分別將所述測(cè)試數(shù)據(jù)樣本中具備第一標(biāo)記的數(shù)據(jù)和具備第二標(biāo)記的數(shù)據(jù)等分為n份；第二確定單元，用于在每一輪基準(zhǔn)測(cè)試中，將所述n份具備第一標(biāo)記的數(shù)據(jù)中的一份確定為訓(xùn)練數(shù)據(jù)、并將剩余數(shù)據(jù)中的一份或多份確定為預(yù)測(cè)數(shù)據(jù)，同時(shí)，將所述n份具備第二標(biāo)記的數(shù)據(jù)中的一份確定為訓(xùn)練數(shù)據(jù)、并將剩余數(shù)據(jù)中的一份或多份確定為預(yù)測(cè)數(shù)據(jù)，其中，m、n為正整數(shù)；第三提供單元，用于在每一輪基準(zhǔn)測(cè)試中，將所確定的具備第一標(biāo)記和第二標(biāo)記的訓(xùn)練數(shù)據(jù)提供給所述待測(cè)試監(jiān)督學(xué)習(xí)算法進(jìn)行學(xué)習(xí)得到一個(gè)函數(shù)；第四提供單元，用于在每一輪基準(zhǔn)測(cè)試中，將所確定的具備第一標(biāo)記和第二標(biāo)記的預(yù)測(cè)數(shù)據(jù)中的輸入數(shù)據(jù)提供給所述函數(shù)，得出輸出數(shù)據(jù)。具體的，所述第一基準(zhǔn)測(cè)試結(jié)果包括以下指標(biāo)至少其中之一：判斷為真的正確率tp、判斷為假的正確率tn、誤報(bào)率fp、漏報(bào)率fn、精度precision、召回率recall及準(zhǔn)確度accuracy；所述第二基準(zhǔn)測(cè)試結(jié)果包括以下指標(biāo)至少其中之一：待測(cè)試監(jiān)督學(xué)習(xí)算法對(duì)處理器的使用情況cpu、待測(cè)試監(jiān)督學(xué)習(xí)算法對(duì)內(nèi)存的使用情況mem、待測(cè)試監(jiān)督學(xué)習(xí)算法的迭代次數(shù)iterate及待測(cè)試監(jiān)督學(xué)習(xí)算法的使用時(shí)間duration。在本申請(qǐng)的另一種可選實(shí)施例中，如圖5所示，所述裝置還包括：性能評(píng)估模塊38，用于根據(jù)所述第一基準(zhǔn)測(cè)試結(jié)果確定f1得分；以及，用于通過(guò)以下方式對(duì)所述待測(cè)試監(jiān)督學(xué)習(xí)算法進(jìn)行性能評(píng)估：當(dāng)f1得分相同或者接近時(shí)，待測(cè)試監(jiān)督學(xué)習(xí)算法的迭代次數(shù)越小則確定待測(cè)試監(jiān)督學(xué)習(xí)算法性能越好；或者，當(dāng)f1指標(biāo)相同時(shí)，待測(cè)試監(jiān)督學(xué)習(xí)算法的cpu、mem、iterate及duration值越小，則確定待測(cè)試監(jiān)督學(xué)習(xí)算法性能越好。其中，f1得分，即，f1score，可以看作是算法準(zhǔn)確率和召回率的一種加權(quán)平均，是用于評(píng)估待測(cè)試監(jiān)督學(xué)習(xí)算法好壞的一個(gè)重要指標(biāo)，其計(jì)算公式如下：其中，precision和recall均為第一基準(zhǔn)測(cè)試結(jié)果中的指標(biāo)，具體的，precision為精度，recall為召回率。在具體實(shí)施過(guò)程中，上述第一基準(zhǔn)測(cè)試結(jié)果獲取模塊31、指標(biāo)獲取模塊32、第二基準(zhǔn)測(cè)試結(jié)果確定模塊33、基準(zhǔn)測(cè)試總結(jié)果確定模塊34、確定模塊35、基準(zhǔn)測(cè)試模塊36、第一基準(zhǔn)測(cè)試結(jié)果確定模塊37及性能評(píng)估模塊38可以由基準(zhǔn)測(cè)試系統(tǒng)內(nèi)的中央處理器(cpu，centralprocessingunit)、微處理器(mpu，microprocessingunit)、數(shù)字信號(hào)處理器(dsp，digitalsignalprocessor)或可編程邏輯陣列(fpga，field－programmablegatearray)來(lái) 實(shí)現(xiàn)。對(duì)于裝置實(shí)施例而言，由于其與方法實(shí)施例基本相似，所以描述的比較簡(jiǎn)單，相關(guān)之處參見(jiàn)方法實(shí)施例的部分說(shuō)明即可。應(yīng)用實(shí)例圖7為一種示例性的基準(zhǔn)測(cè)試系統(tǒng)的結(jié)構(gòu)圖，該基準(zhǔn)測(cè)試系統(tǒng)包括：任務(wù)新建模塊71、任務(wù)拆分模塊72、任務(wù)執(zhí)行模塊73、數(shù)據(jù)統(tǒng)計(jì)模塊74、分布式指標(biāo)采集模塊75及數(shù)據(jù)存儲(chǔ)模塊76；其中，所述任務(wù)新建模塊71，用于根據(jù)用戶指示建立基準(zhǔn)測(cè)試任務(wù)；具體的，用戶確定待測(cè)試監(jiān)督學(xué)習(xí)算法，從而建立針對(duì)該待測(cè)試監(jiān)督學(xué)習(xí)算法的基準(zhǔn)測(cè)試任務(wù)。所述任務(wù)拆分模塊72，用于對(duì)用戶指示建立的基準(zhǔn)測(cè)試任務(wù)進(jìn)行拆分；當(dāng)用戶所設(shè)置的待測(cè)試監(jiān)督學(xué)習(xí)算法包括一種以上時(shí)，將每一種待測(cè)試監(jiān)督學(xué)習(xí)算法拆分為一個(gè)基準(zhǔn)測(cè)試任務(wù)。所述任務(wù)執(zhí)行模塊73，用于對(duì)所述基準(zhǔn)測(cè)試任務(wù)進(jìn)行基準(zhǔn)測(cè)試并生成測(cè)試數(shù)據(jù)；所述數(shù)據(jù)統(tǒng)計(jì)模塊74，用于通過(guò)統(tǒng)計(jì)生成的基準(zhǔn)測(cè)試結(jié)果；具體的，將集中測(cè)試過(guò)程中生成的測(cè)試數(shù)據(jù)合并得到集中測(cè)試結(jié)果。所述分布式指標(biāo)采集模塊75，用于采集基準(zhǔn)測(cè)試過(guò)程中所產(chǎn)生的分布式指標(biāo)；所述數(shù)據(jù)存儲(chǔ)模塊76，用于對(duì)所述基準(zhǔn)測(cè)試結(jié)果和分布式指標(biāo)進(jìn)行存儲(chǔ)。其中，所述任務(wù)執(zhí)行模塊73，進(jìn)一步包括：訓(xùn)練模塊731、預(yù)測(cè)模塊732及分析模塊733；其中，所述訓(xùn)練模塊731，用于將訓(xùn)練數(shù)據(jù)提供給所述待測(cè)試監(jiān)督學(xué)習(xí)算法進(jìn)行學(xué)習(xí)得到一個(gè)函數(shù)；所述預(yù)測(cè)模塊732，用于將預(yù)測(cè)數(shù)據(jù)提供給所述函數(shù)，得到輸出數(shù)據(jù)。所述分析模塊733，用于根據(jù)所述輸出數(shù)據(jù)生成測(cè)試數(shù)據(jù)?；谏鲜龌鶞?zhǔn)測(cè)試系統(tǒng)，一種示例性的基準(zhǔn)測(cè)試方法的步驟流程圖如圖 9所示，該方法包括以下步驟：步驟901、新建任務(wù)；具體的，用戶根據(jù)需要新建一個(gè)任務(wù)，該任務(wù)針對(duì)一特定監(jiān)督學(xué)習(xí)算法，因此用戶需要設(shè)置待測(cè)試的監(jiān)督學(xué)習(xí)算法；步驟902、執(zhí)行任務(wù)；具體的，按照交叉驗(yàn)證模型或者按比例分配模型對(duì)所述監(jiān)督學(xué)習(xí)算法進(jìn)行基準(zhǔn)測(cè)試。步驟903、生成基準(zhǔn)測(cè)試總結(jié)果；這里的基準(zhǔn)測(cè)試總結(jié)果包括：對(duì)所述監(jiān)督學(xué)習(xí)算法進(jìn)行基準(zhǔn)測(cè)試時(shí)根據(jù)測(cè)試數(shù)據(jù)所確定的基準(zhǔn)測(cè)試結(jié)果和基準(zhǔn)測(cè)試執(zhí)行過(guò)程中所獲取的分布式指標(biāo)。步驟904、確定f1得分；具體的，根據(jù)所述基準(zhǔn)測(cè)試結(jié)果確定f1得分。步驟905、判斷f1得分是否合理；當(dāng)f1得分合理時(shí)，轉(zhuǎn)至步驟906；當(dāng)f1得分不合理時(shí)，轉(zhuǎn)至步驟907；步驟906、指示用戶新建基準(zhǔn)測(cè)試任務(wù)；同時(shí)，指示用戶上一個(gè)基準(zhǔn)測(cè)試任務(wù)測(cè)試成功。步驟907、指示基準(zhǔn)測(cè)試任務(wù)失?。痪唧w的，向用戶發(fā)出基準(zhǔn)測(cè)試任務(wù)失敗的指示消息。本說(shuō)明書(shū)中的各個(gè)實(shí)施例均采用遞進(jìn)的方式描述，每個(gè)實(shí)施例重點(diǎn)說(shuō)明的都是與其他實(shí)施例的不同之處，各個(gè)實(shí)施例之間相同相似的部分互相參見(jiàn)即可。本領(lǐng)域內(nèi)的技術(shù)人員應(yīng)明白，本申請(qǐng)實(shí)施例的實(shí)施例可提供為方法、裝置、或計(jì)算機(jī)程序產(chǎn)品。因此，本申請(qǐng)實(shí)施例可采用完全硬件實(shí)施例、完全軟件實(shí)施例、或結(jié)合軟件和硬件方面的實(shí)施例的形式。而且，本申請(qǐng)實(shí)施例可采用在一個(gè)或多個(gè)其中包含有計(jì)算機(jī)可用程序代碼的計(jì)算機(jī)可用存儲(chǔ)介質(zhì)(包括但不限于磁盤(pán)存儲(chǔ)器、cd-rom、光學(xué)存儲(chǔ)器等)上實(shí)施的計(jì)算機(jī)程 序產(chǎn)品的形式。在一個(gè)典型的配置中，所述計(jì)算機(jī)設(shè)備包括一個(gè)或多個(gè)處理器(cpu)、輸入數(shù)據(jù)/輸出數(shù)據(jù)接口、網(wǎng)絡(luò)接口和內(nèi)存。內(nèi)存可能包括計(jì)算機(jī)可讀介質(zhì)中的非永久性存儲(chǔ)器，隨機(jī)存取存儲(chǔ)器(ram)和/或非易失性內(nèi)存等形式，如只讀存儲(chǔ)器(rom)或閃存(flashram)。內(nèi)存是計(jì)算機(jī)可讀介質(zhì)的示例。計(jì)算機(jī)可讀介質(zhì)包括永久性和非永久性、可移動(dòng)和非可移動(dòng)媒體可以由任何方法或技術(shù)來(lái)實(shí)現(xiàn)信息存儲(chǔ)。信息可以是計(jì)算機(jī)可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序的模塊或其他數(shù)據(jù)。計(jì)算機(jī)的存儲(chǔ)介質(zhì)的例子包括，但不限于相變內(nèi)存(pram)、靜態(tài)隨機(jī)存取存儲(chǔ)器(sram)、動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器(dram)、其他類型的隨機(jī)存取存儲(chǔ)器(ram)、只讀存儲(chǔ)器(rom)、電可擦除可編程只讀存儲(chǔ)器(eeprom)、快閃記憶體或其他內(nèi)存技術(shù)、只讀光盤(pán)只讀存儲(chǔ)器(cd-rom)、數(shù)字多功能光盤(pán)(dvd)或其他光學(xué)存儲(chǔ)、磁盒式磁帶，磁帶磁磁盤(pán)存儲(chǔ)或其他磁性存儲(chǔ)設(shè)備或任何其他非傳輸介質(zhì)，可用于存儲(chǔ)可以被計(jì)算設(shè)備訪問(wèn)的信息。按照本文中的界定，計(jì)算機(jī)可讀介質(zhì)不包括非持續(xù)性的電腦可讀媒體(transitorymedia)，如調(diào)制的數(shù)據(jù)信號(hào)和載波。本申請(qǐng)實(shí)施例是參照根據(jù)本申請(qǐng)實(shí)施例的方法、終端設(shè)備(系統(tǒng))、和計(jì)算機(jī)程序產(chǎn)品的流程圖和/或方框圖來(lái)描述的。應(yīng)理解可由計(jì)算機(jī)程序指令實(shí)現(xiàn)流程圖和/或方框圖中的每一流程和/或方框、以及流程圖和/或方框圖中的流程和/或方框的結(jié)合?？商峁┻@些計(jì)算機(jī)程序指令到通用計(jì)算機(jī)、專用計(jì)算機(jī)、嵌入式處理機(jī)或其他可編程數(shù)據(jù)處理終端設(shè)備的處理器以產(chǎn)生一個(gè)機(jī)器，使得通過(guò)計(jì)算機(jī)或其他可編程數(shù)據(jù)處理終端設(shè)備的處理器執(zhí)行的指令產(chǎn)生用于實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能的裝置。這些計(jì)算機(jī)程序指令也可存儲(chǔ)在能引導(dǎo)計(jì)算機(jī)或其他可編程數(shù)據(jù)處理終端設(shè)備以特定方式工作的計(jì)算機(jī)可讀存儲(chǔ)器中，使得存儲(chǔ)在該計(jì)算機(jī)可讀存儲(chǔ)器中的指令產(chǎn)生包括指令裝置的制造品，該指令裝置實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能。這些計(jì)算機(jī)程序指令也可裝載到計(jì)算機(jī)或其他可編程數(shù)據(jù)處理終端設(shè)備上，使得在計(jì)算機(jī)或其他可編程終端設(shè)備上執(zhí)行一系列操作步驟以產(chǎn)生計(jì)算機(jī)實(shí)現(xiàn)的處理，從而在計(jì)算機(jī)或其他可編程終端設(shè)備上執(zhí)行的指令提供用于實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能的步驟。盡管已描述了本申請(qǐng)實(shí)施例的優(yōu)選實(shí)施例，但本領(lǐng)域內(nèi)的技術(shù)人員一旦得知了基本創(chuàng)造性概念，則可對(duì)這些實(shí)施例做出另外的變更和修改。所以，所附權(quán)利要求意欲解釋為包括優(yōu)選實(shí)施例以及落入本申請(qǐng)實(shí)施例范圍的所有變更和修改。最后，還需要說(shuō)明的是，在本文中，諸如第一和第二等之類的關(guān)系術(shù)語(yǔ)僅僅用來(lái)將一個(gè)實(shí)體或者操作與另一個(gè)實(shí)體或操作區(qū)分開(kāi)來(lái)，而不一定要求或者暗示這些實(shí)體或操作之間存在任何這種實(shí)際的關(guān)系或者順序。而且，術(shù)語(yǔ)“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過(guò)程、方法、物品或者終端設(shè)備不僅包括那些要素，而且還包括沒(méi)有明確列出的其他要素，或者是還包括為這種過(guò)程、方法、物品或者終端設(shè)備所固有的要素。在沒(méi)有更多限制的情況下，由語(yǔ)句“包括一個(gè)……”限定的要素，并不排除在包括所述要素的過(guò)程、方法、物品或者終端設(shè)備中還存在另外的相同要素。以上對(duì)本申請(qǐng)所提供的一種分布式環(huán)境下監(jiān)督學(xué)習(xí)算法的基準(zhǔn)測(cè)試方法和一種分布式環(huán)境下監(jiān)督學(xué)習(xí)算法的基準(zhǔn)測(cè)試裝置，進(jìn)行了詳細(xì)介紹，本文中應(yīng)用了具體個(gè)例對(duì)本申請(qǐng)的原理及實(shí)施方式進(jìn)行了闡述，以上實(shí)施例的說(shuō)明只是用于幫助理解本申請(qǐng)的方法及其核心思想；同時(shí)，對(duì)于本領(lǐng)域的一般技術(shù)人員，依據(jù)本申請(qǐng)的思想，在具體實(shí)施方式及應(yīng)用范圍上均會(huì)有改變之處，綜上所述，本說(shuō)明書(shū)內(nèi)容不應(yīng)理解為對(duì)本申請(qǐng)的限制。當(dāng)前第1頁(yè)12