本申請(qǐng)涉及測(cè)試技術(shù)領(lǐng)域，尤其涉及一種測(cè)試方法及裝置。

背景技術(shù)：

在網(wǎng)站、應(yīng)用(application，app)等產(chǎn)品的開發(fā)過程中，對(duì)所開發(fā)出的產(chǎn)品進(jìn)行測(cè)試是必不可少的環(huán)節(jié)。

目前可以基于a/b測(cè)試(a/btesting)來對(duì)產(chǎn)品進(jìn)行測(cè)試。在a/b測(cè)試的過程中，通常將待測(cè)試頁面或者待測(cè)試頁面上的某一部分作為測(cè)試指標(biāo)，針對(duì)該測(cè)試指標(biāo)設(shè)計(jì)出多個(gè)并行頁面，然后將訪問待測(cè)試頁面的全部用戶分別分配到這些并行頁面上，并進(jìn)一步的統(tǒng)計(jì)用戶對(duì)各個(gè)并行頁面的使用情況，從而確定最優(yōu)的并行頁面。

現(xiàn)實(shí)產(chǎn)品中通常會(huì)包括多個(gè)頁面，使得新版本相對(duì)于原有版本可能會(huì)有多個(gè)測(cè)試指標(biāo)需要進(jìn)行改進(jìn)。在有多個(gè)測(cè)試指標(biāo)的情況下，可以針對(duì)各個(gè)測(cè)試指標(biāo)分別進(jìn)行a/b測(cè)試，從而確定這些測(cè)試指標(biāo)分別對(duì)應(yīng)的最優(yōu)并行頁面，然后直接這些最優(yōu)并行頁面相結(jié)合得到最終測(cè)試結(jié)果。但是，在有多個(gè)測(cè)試指標(biāo)的情況下，這種直接將多個(gè)最優(yōu)并行頁面結(jié)合所得到的最終測(cè)試結(jié)果，通常準(zhǔn)確性較低。

技術(shù)實(shí)現(xiàn)要素：

本申請(qǐng)實(shí)施例提供一種測(cè)試方法及裝置，能夠提高測(cè)試的準(zhǔn)確定。

本申請(qǐng)實(shí)施例提供了一種測(cè)試方法，該方法包括：

創(chuàng)建測(cè)試桶，所述測(cè)試桶中包括多個(gè)測(cè)試層，每個(gè)測(cè)試層對(duì)應(yīng)至少一個(gè)測(cè)試指標(biāo)；

對(duì)測(cè)試桶的各測(cè)試層對(duì)應(yīng)的測(cè)試指標(biāo)分別進(jìn)行a/b測(cè)試，用于確定各所述測(cè)試指標(biāo)分別對(duì)應(yīng)的待選并行頁面；

創(chuàng)建新測(cè)試桶，并對(duì)所述新測(cè)試桶的各測(cè)試層中的測(cè)試指標(biāo)分別重新進(jìn)行a/b測(cè)試，用于確定各所述測(cè)試指標(biāo)分別對(duì)應(yīng)的新待選并行頁面，直至滿足循環(huán)終止條件，其中，新測(cè)試桶與測(cè)試桶具有相同的測(cè)試層，對(duì)測(cè)試指標(biāo)重新進(jìn)行a/b測(cè)試時(shí)的并行頁面中包括所述測(cè)試指標(biāo)所對(duì)應(yīng)的待選并行頁面；

確定測(cè)試桶以及新測(cè)試桶的最終轉(zhuǎn)化率，用于確定最終測(cè)試結(jié)果。

優(yōu)選地，創(chuàng)建測(cè)試桶，具體包括：

根據(jù)待測(cè)產(chǎn)品中頁面的排布順序生成與待測(cè)產(chǎn)品頁面數(shù)量相同的測(cè)試層，其中所述待測(cè)產(chǎn)品至少包括兩個(gè)頁面；

將待測(cè)產(chǎn)品的各個(gè)頁面分別作為測(cè)試指標(biāo)，用于在對(duì)應(yīng)測(cè)試層中進(jìn)行a/b測(cè)試；

基于所生成的各個(gè)測(cè)試層創(chuàng)建所述測(cè)試桶，所述測(cè)試桶中包括各所述測(cè)試層。

優(yōu)選地，對(duì)測(cè)試桶的各測(cè)試層對(duì)應(yīng)的測(cè)試指標(biāo)分別進(jìn)行a/b測(cè)試，具體包括：

通過所分配的預(yù)設(shè)比例的測(cè)試用戶，對(duì)測(cè)試桶的各測(cè)試層對(duì)應(yīng)的測(cè)試指標(biāo)分別進(jìn)行a/b測(cè)試。

優(yōu)選地，所述循環(huán)終止條件，具體為如下任意一種：

全部測(cè)試用戶均已分配用于進(jìn)行a/b測(cè)試；

剩余測(cè)試用戶的比例小于或等于預(yù)設(shè)最小比例。

優(yōu)選地，確定各所述測(cè)試指標(biāo)分別對(duì)應(yīng)的新待選并行頁面，具體包括：

將各所述測(cè)試指標(biāo)分別作為當(dāng)前測(cè)試指標(biāo)，根據(jù)測(cè)試桶以及新測(cè)試桶中，針對(duì)所述當(dāng)前測(cè)試指標(biāo)進(jìn)行的a/b測(cè)試，確定各個(gè)并行頁面的轉(zhuǎn)化率；

將轉(zhuǎn)化率最高的并行頁面確定為所述當(dāng)前測(cè)試指標(biāo)的新待選并行頁面。

優(yōu)選地，確定最終測(cè)試結(jié)果，具體包括：

根據(jù)測(cè)試桶以及新測(cè)試桶的最終轉(zhuǎn)化率的大小，確定待選測(cè)試桶；

根據(jù)所述待選測(cè)試桶中的a/b測(cè)試所確定出的各待選并行頁面，確定最終測(cè)試結(jié)果。

優(yōu)選地，對(duì)測(cè)試指標(biāo)重新進(jìn)行a/b測(cè)試時(shí)的并行頁面中包括所述測(cè)試指標(biāo)所對(duì)應(yīng)的待選并行頁面，具體為：

對(duì)測(cè)試指標(biāo)重新進(jìn)行a/b測(cè)試時(shí)的并行頁面中具體包括，所述測(cè)試指標(biāo)所對(duì)應(yīng)的待選并行頁面以及所述測(cè)試指標(biāo)對(duì)應(yīng)的原有頁面。

本申請(qǐng)實(shí)施例還提供了一種測(cè)試裝置，該裝置包括：第一創(chuàng)建單元、a/b測(cè)試單元、第二創(chuàng)建單元以及結(jié)果確定單元，其中：

第一創(chuàng)建單元，創(chuàng)建測(cè)試桶，所述測(cè)試桶中包括多個(gè)測(cè)試層，每個(gè)測(cè)試層對(duì)應(yīng)至少一個(gè)測(cè)試指標(biāo)；

a/b測(cè)試單元，對(duì)測(cè)試桶的各測(cè)試層對(duì)應(yīng)的測(cè)試指標(biāo)分別進(jìn)行a/b測(cè)試，用于確定各所述測(cè)試指標(biāo)分別對(duì)應(yīng)的待選并行頁面；

第二創(chuàng)建單元，創(chuàng)建新測(cè)試桶，并對(duì)所述新測(cè)試桶的各測(cè)試層中的測(cè)試指標(biāo)分別重新進(jìn)行a/b測(cè)試，用于確定各所述測(cè)試指標(biāo)分別對(duì)應(yīng)的新待選并行頁面，直至滿足循環(huán)終止條件，其中，新測(cè)試桶與測(cè)試桶具有相同的測(cè)試層，對(duì)測(cè)試指標(biāo)重新進(jìn)行a/b測(cè)試時(shí)的并行頁面中包括所述測(cè)試指標(biāo)所對(duì)應(yīng)的待選并行頁面；

結(jié)果確定單元，確定測(cè)試桶以及新測(cè)試桶的最終轉(zhuǎn)化率，用于確定最終測(cè)試結(jié)果。

優(yōu)選地，根據(jù)測(cè)試桶以及新測(cè)試桶中，各測(cè)試層對(duì)應(yīng)的測(cè)試指標(biāo)的a/b測(cè)試結(jié)果，確定最終測(cè)試結(jié)果，具體包括：

根據(jù)測(cè)試桶以及新測(cè)試桶的最終轉(zhuǎn)化率的大小，確定待選測(cè)試桶；

根據(jù)所述待選測(cè)試桶中的a/b測(cè)試所確定出的各待選并行頁面，確定最終測(cè)試結(jié)果。

優(yōu)選地，創(chuàng)建測(cè)試桶，具體包括：

根據(jù)待測(cè)產(chǎn)品中頁面的排布順序生成與待測(cè)產(chǎn)品頁面數(shù)量相同的測(cè)試層，其中所述待測(cè)產(chǎn)品至少包括兩個(gè)頁面；

將待測(cè)產(chǎn)品的各個(gè)頁面分別作為測(cè)試指標(biāo)，用于在對(duì)應(yīng)測(cè)試層中進(jìn)行a/b測(cè)試；

基于所生成的各個(gè)測(cè)試層創(chuàng)建所述測(cè)試桶，所述測(cè)試桶中包括各所述測(cè)試層。

本申請(qǐng)實(shí)施例采用的上述至少一個(gè)技術(shù)方案能夠達(dá)到以下有益效果：

采用本申請(qǐng)實(shí)施例所提供的測(cè)試方法，對(duì)創(chuàng)建的測(cè)試桶的各測(cè)試層對(duì)應(yīng)的測(cè)試指標(biāo)分別進(jìn)行a/b測(cè)試，從而確定各測(cè)試指標(biāo)分別對(duì)應(yīng)的待選并行頁面，然后創(chuàng)建新測(cè)試桶，并對(duì)在新測(cè)試桶的各個(gè)測(cè)試層中對(duì)各測(cè)試指標(biāo)分別重新進(jìn)行a/b測(cè)試，從而確定各測(cè)試指標(biāo)分別對(duì)應(yīng)的新待選并行頁面，直至滿足循環(huán)終止條件時(shí)確定最終測(cè)試結(jié)果，由于對(duì)測(cè)試指標(biāo)重新進(jìn)行a/b測(cè)試時(shí)的并行頁面中包括測(cè)試指標(biāo)所對(duì)應(yīng)的待選并行頁面，因此通過這種不斷地循環(huán)測(cè)試，所確定出的最終測(cè)試結(jié)果準(zhǔn)確性較高，解決了現(xiàn)有技術(shù)中的問題。

附圖說明

此處所說明的附圖用來提供對(duì)本申請(qǐng)的進(jìn)一步理解，構(gòu)成本申請(qǐng)的一部分，本申請(qǐng)的示意性實(shí)施例及其說明用于解釋本申請(qǐng)，并不構(gòu)成對(duì)本申請(qǐng)的不當(dāng)限定。在附圖中：

圖1為本申請(qǐng)實(shí)施例提供的一種測(cè)試方法的具體實(shí)現(xiàn)流程示意圖；

圖2為本申請(qǐng)實(shí)施例提供的一種測(cè)試用戶分配示意圖；

圖3為本申請(qǐng)實(shí)施例提供的另一種測(cè)試用戶分配示意圖；

圖4為本申請(qǐng)實(shí)施例提供的測(cè)試方法，在實(shí)際應(yīng)用中的具體示例的實(shí)現(xiàn)流程示意圖；

圖5為本申請(qǐng)實(shí)施例提供的一種測(cè)試裝置的具體結(jié)構(gòu)示意圖。

具體實(shí)施方式

為使本申請(qǐng)的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合本申請(qǐng)具體實(shí)施例及相應(yīng)的附圖對(duì)本申請(qǐng)技術(shù)方案進(jìn)行清楚、完整地描述。顯然，所描述的實(shí)施例僅是本申請(qǐng)一部分實(shí)施例，而不是全部的實(shí)施例。基于本申請(qǐng)中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本申請(qǐng)保護(hù)的范圍。

以下結(jié)合附圖，詳細(xì)說明本申請(qǐng)各實(shí)施例提供的技術(shù)方案。

如上所述，現(xiàn)有的產(chǎn)品通常會(huì)包括多個(gè)頁面，因此使得新版本相對(duì)于原有版本可能會(huì)有多個(gè)測(cè)試指標(biāo)需要改進(jìn)?，F(xiàn)有技術(shù)在有多個(gè)測(cè)試指標(biāo)的情況下，可以分別針對(duì)它們進(jìn)行a/b測(cè)試，從而得到與各個(gè)測(cè)試指標(biāo)對(duì)應(yīng)的最優(yōu)并行頁面，然后將這些最優(yōu)并行頁面組合得到最優(yōu)版本。然而，由于產(chǎn)品各個(gè)測(cè)試指標(biāo)之間可能會(huì)相互影響，導(dǎo)致最終測(cè)試結(jié)果準(zhǔn)確性較低。

比如，用于網(wǎng)上購物的app往往會(huì)有商品信息頁面、訂單提交頁面和支付頁面等多個(gè)頁面，在發(fā)布新版本時(shí)，可能需要將這些頁面分別作為測(cè)試指標(biāo)進(jìn)行a/b測(cè)試，從而能夠確定出與測(cè)試指標(biāo)對(duì)應(yīng)的最優(yōu)并行頁面，并將它們組合得到最優(yōu)版本作為所發(fā)布的新版本。但是，由于各個(gè)測(cè)試指標(biāo)之間可能會(huì)有相互的影響，使得這種最優(yōu)并行版本的簡(jiǎn)單組合可能會(huì)影響測(cè)試的準(zhǔn)確性。

基于此，本申請(qǐng)實(shí)施例提供了一種測(cè)試方法，能夠用于解決現(xiàn)有技術(shù)中的問題。為了便于對(duì)本申請(qǐng)實(shí)施例進(jìn)行理解，下面可以先就本申請(qǐng)實(shí)施例中所涉及到的概念進(jìn)行說明.

子試驗(yàn)：指a/b測(cè)試，對(duì)一個(gè)測(cè)試指標(biāo)通過試驗(yàn)對(duì)比的方式，從針對(duì)該測(cè)試指標(biāo)的多個(gè)并行頁面中找出最優(yōu)的并行頁面(下面將該最優(yōu)的并行頁面稱之為待選并行頁面)。

父試驗(yàn)：包含多個(gè)子試驗(yàn)，并且可以在測(cè)試過程中動(dòng)態(tài)創(chuàng)建新的子試驗(yàn)和測(cè)試桶。

測(cè)試層：同一測(cè)試層中可以有一個(gè)或多個(gè)子試驗(yàn)，且各個(gè)子試驗(yàn)之間測(cè)試用戶互斥，即測(cè)試用戶1若參加了同一測(cè)試層的子試驗(yàn)a，則不會(huì)再參加該測(cè)試層的另外一個(gè)子試驗(yàn)a。并且，同一個(gè)子試驗(yàn)只可以存在于一個(gè)測(cè)試層中。

測(cè)試桶：測(cè)試桶在縱向從若干個(gè)測(cè)試層中分割出來，測(cè)試桶內(nèi)的包括多個(gè)測(cè)試層，每一層都可以有一個(gè)或多個(gè)子試驗(yàn)。對(duì)于一個(gè)測(cè)試用戶來說，他能夠參加所屬的測(cè)試桶的各個(gè)測(cè)試層上的子試驗(yàn)，而不能參加桶外子試驗(yàn)。

該測(cè)試方法的具體流程示意圖如圖1所示，包括下述步驟：

步驟11：創(chuàng)建測(cè)試桶。

所創(chuàng)建的測(cè)試桶中包括多個(gè)測(cè)試層，并且每個(gè)測(cè)試層對(duì)應(yīng)至少一個(gè)測(cè)試指標(biāo)。

比如，測(cè)試桶中包括3個(gè)測(cè)試層，分別為測(cè)試層1、測(cè)試層2和測(cè)試層3，測(cè)試層1對(duì)應(yīng)測(cè)試指標(biāo)a，測(cè)試層2對(duì)應(yīng)測(cè)試指標(biāo)b，測(cè)試層3對(duì)應(yīng)測(cè)試指標(biāo)c和d。

在實(shí)際應(yīng)用中，當(dāng)待測(cè)試的產(chǎn)品有多個(gè)頁面時(shí)，每一個(gè)頁面可以生成對(duì)應(yīng)的一個(gè)或多個(gè)測(cè)試指標(biāo)，比如可以將每一個(gè)頁面分別作為測(cè)試指標(biāo)，也可以從每一個(gè)頁面中確定出一部分(比如，頁面的顏色、頁面中的圖標(biāo)、頁面文字大小等)作為測(cè)試指標(biāo)，也可以將兩者相結(jié)合，將其中一部分頁面作為測(cè)試指標(biāo)，將另一部分頁面中的一部分作為測(cè)試指標(biāo)。比如，對(duì)于用于網(wǎng)上購物的app(稱之為，網(wǎng)購app)往往會(huì)有商品信息頁面、訂單提交頁面和支付頁面等，可以將這三個(gè)頁面均作為測(cè)試指標(biāo)，從而確定三個(gè)測(cè)試指標(biāo)。另外，如果產(chǎn)品有多個(gè)頁面，也可以將其中的部分頁面或頁面的一部分作為測(cè)試指標(biāo)。比如，上述的網(wǎng)購app，可以只將商品信息頁面和訂單提交頁面作為測(cè)試指標(biāo)。

另外，產(chǎn)品的多個(gè)頁面會(huì)有一定的排布順序，比如上述的網(wǎng)購app的商品信息頁面在訂單提交頁面之前，訂單提交頁面在支付頁面之前，可以通過商品信息頁面進(jìn)入訂單提交頁面，然后從訂單提交頁面進(jìn)入支付頁面。

因此創(chuàng)建包含多個(gè)測(cè)試層的測(cè)試桶時(shí)，可以先根據(jù)待測(cè)產(chǎn)品中的頁面數(shù)量生成與該頁面數(shù)量相同測(cè)試層，然后將該待測(cè)產(chǎn)品中的各個(gè)頁面均作為測(cè)試指標(biāo)，并將各個(gè)測(cè)試指標(biāo)依照待測(cè)產(chǎn)品中頁面的排布順序放入對(duì)應(yīng)的測(cè)試層中，用于在對(duì)應(yīng)的測(cè)試層中進(jìn)行a/b測(cè)試；最后基于所生成的各個(gè)測(cè)試層創(chuàng)建該測(cè)試桶，此時(shí)，該測(cè)試桶中包括上述所生成的各個(gè)測(cè)試層，每一個(gè)測(cè)試層中對(duì)應(yīng)一個(gè)測(cè)試指標(biāo)。

比如，待測(cè)產(chǎn)品中包括3個(gè)頁面，相應(yīng)的可以生成3個(gè)測(cè)試層，然后將3個(gè)頁面均作為測(cè)試指標(biāo)，并將測(cè)試指標(biāo)根據(jù)頁面的排布順序放入相應(yīng)的測(cè)試層中，在相應(yīng)的測(cè)試層中進(jìn)行a/b測(cè)試，之后根據(jù)這些測(cè)試層創(chuàng)建測(cè)試桶，該測(cè)試桶中包括上述的3個(gè)測(cè)試層，各個(gè)測(cè)試層分別對(duì)應(yīng)一個(gè)測(cè)試指標(biāo)。

當(dāng)然，如果根據(jù)待測(cè)產(chǎn)品某一個(gè)頁面生成了多個(gè)測(cè)試指標(biāo)(比如，頁面中的多個(gè)圖標(biāo)分別作為測(cè)試指標(biāo))，可以將該頁面所生成的測(cè)試指標(biāo)均放入對(duì)應(yīng)的測(cè)試層中，此時(shí)該測(cè)試層對(duì)應(yīng)多個(gè)測(cè)試指標(biāo)。

在實(shí)際創(chuàng)建測(cè)試桶的過程中，通常可以通過應(yīng)用程序先構(gòu)建漏斗模型，然后在該漏斗模型中生成所需要的測(cè)試層，并將測(cè)試指標(biāo)放入對(duì)應(yīng)的測(cè)試層中。

步驟s12：對(duì)測(cè)試桶的各測(cè)試層中的測(cè)試指標(biāo)分別進(jìn)行a/b測(cè)試。

在實(shí)際應(yīng)用中，可以從全部測(cè)試用戶(也稱之為總測(cè)試用戶)中分配出預(yù)設(shè)比例的測(cè)試用戶，用于對(duì)測(cè)試桶的各測(cè)試層中的測(cè)試指標(biāo)分別進(jìn)行a/b測(cè)試。其中，該預(yù)設(shè)比例可以根據(jù)總測(cè)試用戶總數(shù)量等實(shí)際情況進(jìn)行確定，通常該預(yù)設(shè)比例可以為5％，也可以為6％、10％或者其他值。也就是說，可以通過所分配的預(yù)設(shè)比例的測(cè)試用戶，對(duì)測(cè)試桶的各測(cè)試層中的測(cè)試指標(biāo)分別進(jìn)行a/b測(cè)試。

實(shí)際應(yīng)用中，產(chǎn)品的新版本通常會(huì)基于原有版本進(jìn)行改進(jìn)，因此新版本的測(cè)試需要與原有版本進(jìn)行對(duì)比，在對(duì)某個(gè)測(cè)試指標(biāo)進(jìn)行a/b測(cè)試時(shí)所使用到的并行頁面中，可以包括原有版本中該測(cè)試指標(biāo)對(duì)應(yīng)的頁面(稱之為原有頁面)。

比如，產(chǎn)品有三個(gè)頁面，將這三個(gè)頁面均作為測(cè)試指標(biāo)，稱之為a1、a2，原有版本中的三個(gè)原有頁面分別為a1、a2；對(duì)a1進(jìn)行a/b測(cè)試時(shí)，所使用到的并行頁面中包括a1，同時(shí)也可以包括針對(duì)a1所設(shè)計(jì)的多個(gè)新頁面；對(duì)a2進(jìn)行a/b測(cè)試時(shí)，所使用到的并行頁面中包括a2，以及針對(duì)a2所設(shè)計(jì)的多個(gè)新頁面。

測(cè)試指標(biāo)進(jìn)行a/b測(cè)試時(shí)，所使用到的并行頁面中包括對(duì)應(yīng)的原有頁面，通過新頁面與原有頁面的對(duì)比，能夠確定新版本是否具有改進(jìn)效果。

在通過所分配的預(yù)設(shè)比例的測(cè)試用戶，對(duì)各個(gè)測(cè)試指標(biāo)分別進(jìn)行a/b測(cè)試時(shí)，對(duì)于該預(yù)設(shè)比例的測(cè)試用戶如何用于對(duì)這些測(cè)試指標(biāo)進(jìn)行測(cè)試，測(cè)試用戶的進(jìn)一步分配可以有多種方式，下面可以列舉其中的幾種：

方式一，將該預(yù)設(shè)比例的測(cè)試用戶進(jìn)一步分成多個(gè)部分，每一部分分別用于對(duì)一個(gè)測(cè)試指標(biāo)進(jìn)行a/b測(cè)試。如圖2所示，測(cè)試桶中包括三個(gè)測(cè)試層，分別為測(cè)試層1、測(cè)試層2和測(cè)試層3，測(cè)試層1對(duì)應(yīng)測(cè)試指標(biāo)a，測(cè)試層2對(duì)應(yīng)測(cè)試指標(biāo)b，測(cè)試層3對(duì)應(yīng)測(cè)試指標(biāo)c，將該預(yù)設(shè)比例的測(cè)試用戶分成了三個(gè)部分，分別用于對(duì)三個(gè)測(cè)試指標(biāo)進(jìn)行a/b測(cè)試。這種方式將該預(yù)設(shè)比例的測(cè)試用戶分成多個(gè)部分，使得可以同時(shí)對(duì)各個(gè)測(cè)試指標(biāo)進(jìn)行a/b測(cè)試，總的測(cè)試用時(shí)較少。

方式二，將該預(yù)設(shè)比例的測(cè)試用戶依照測(cè)試層的排布順序，先對(duì)第一個(gè)測(cè)試層中的測(cè)試指標(biāo)進(jìn)行a/b測(cè)試，將該預(yù)設(shè)比例的測(cè)試用戶中通過第一個(gè)測(cè)試層的測(cè)試用戶，對(duì)第二個(gè)測(cè)試層中的測(cè)試指標(biāo)進(jìn)行a/b測(cè)試，并依此對(duì)后面測(cè)試層中的測(cè)試指標(biāo)進(jìn)行a/b測(cè)試。

如圖3所示，測(cè)試桶中包括三個(gè)測(cè)試層，分別為測(cè)試層1、測(cè)試層2和測(cè)試層3，測(cè)試層1對(duì)應(yīng)測(cè)試指標(biāo)a，測(cè)試層2對(duì)應(yīng)測(cè)試指標(biāo)b，測(cè)試層3對(duì)應(yīng)測(cè)試指標(biāo)c；該預(yù)設(shè)比例的測(cè)試用戶先在對(duì)測(cè)試層1中的測(cè)試指標(biāo)a進(jìn)行a/b測(cè)試，將通過該a/b測(cè)試的測(cè)試用戶，進(jìn)一步的對(duì)測(cè)試層2中的測(cè)試指標(biāo)b進(jìn)行a/b測(cè)試，并依次對(duì)后面的測(cè)試層3中的測(cè)試指標(biāo)c進(jìn)行a/b測(cè)試。這種方式充分考慮各測(cè)試層中測(cè)試指標(biāo)之間的相互影響，能夠提高測(cè)試的準(zhǔn)確性。

步驟s13：根據(jù)a/b測(cè)試的結(jié)果確定各測(cè)試指標(biāo)分別對(duì)應(yīng)的待選并行頁面。

在實(shí)際應(yīng)用過程中，當(dāng)需要針對(duì)某一個(gè)待測(cè)產(chǎn)品進(jìn)行測(cè)試時(shí)，可以針對(duì)該該待測(cè)產(chǎn)品創(chuàng)建一個(gè)父實(shí)驗(yàn)，然后在該父實(shí)驗(yàn)下創(chuàng)建測(cè)試桶，向該測(cè)試桶分配預(yù)設(shè)比例(比如5％)的測(cè)試用戶，通過該預(yù)設(shè)比例的測(cè)試用戶對(duì)測(cè)試桶中第一個(gè)測(cè)試層的測(cè)試指標(biāo)進(jìn)行a/b測(cè)試，并根據(jù)假設(shè)檢驗(yàn)等統(tǒng)計(jì)學(xué)方法確定第一個(gè)測(cè)試層的各個(gè)測(cè)試指標(biāo)的待選并行頁面；同時(shí)將通過第一個(gè)測(cè)試層的測(cè)試用戶，對(duì)第二個(gè)測(cè)試層的測(cè)試指標(biāo)進(jìn)行a/b測(cè)試，并根據(jù)假設(shè)檢驗(yàn)等統(tǒng)計(jì)學(xué)方法確定第二個(gè)測(cè)試層的各個(gè)測(cè)試指標(biāo)的待選并行頁面；依次類推來確定后續(xù)各個(gè)測(cè)試層的測(cè)試指標(biāo)的待選并行頁面。

因此，根據(jù)a/b測(cè)試的結(jié)果確定各個(gè)測(cè)試指標(biāo)分別對(duì)應(yīng)的待選并行頁面時(shí)，可以將各個(gè)測(cè)試指標(biāo)分別作為當(dāng)前測(cè)試指標(biāo)，然后根據(jù)假設(shè)檢驗(yàn)等統(tǒng)計(jì)學(xué)方法確定該當(dāng)前測(cè)試指標(biāo)的待選并行頁面。

其中，根據(jù)假設(shè)檢驗(yàn)確定當(dāng)前測(cè)試指標(biāo)的待選并行頁面時(shí)，可以依次假設(shè)對(duì)當(dāng)前測(cè)試指標(biāo)進(jìn)行a/b測(cè)試的各個(gè)并行頁面為待選并行頁面，然后分別對(duì)這些假設(shè)進(jìn)行驗(yàn)證。

驗(yàn)證某個(gè)假設(shè)是否成立的方式，可以是計(jì)算對(duì)應(yīng)的并行頁面的轉(zhuǎn)化率，然后判斷該轉(zhuǎn)化率是否大于其他并行頁面的轉(zhuǎn)化率，若是則假設(shè)成立，反之假設(shè)不成立。其中，某個(gè)并行頁面的轉(zhuǎn)化率由訪問該并行頁面的測(cè)試用戶數(shù)量，和通過該并行頁面進(jìn)入下一測(cè)試層的測(cè)試用戶數(shù)量計(jì)算得到。當(dāng)然，對(duì)假設(shè)進(jìn)行驗(yàn)證的方式，也可以是通過p值或者置信區(qū)間進(jìn)行驗(yàn)證，這里就不再一一說明。

此時(shí)，根據(jù)a/b測(cè)試的結(jié)果確定各個(gè)測(cè)試指標(biāo)分別對(duì)應(yīng)的待選并行頁面，可以是，將各個(gè)測(cè)試指標(biāo)分別作為當(dāng)前測(cè)試指標(biāo)，根據(jù)當(dāng)前測(cè)試指標(biāo)的a/b測(cè)試確定該a/b測(cè)試中各個(gè)并行頁面的轉(zhuǎn)化率，將轉(zhuǎn)化率最高的并行頁面確定為所述當(dāng)前測(cè)試指標(biāo)的待選并行頁面。

步驟s14：創(chuàng)建新測(cè)試桶。

該新測(cè)試桶與測(cè)試桶具有相同的測(cè)試層，也就是說新測(cè)試桶與測(cè)試桶的測(cè)試層的數(shù)量相同，并且各個(gè)測(cè)試層所對(duì)應(yīng)的測(cè)試指標(biāo)與測(cè)試桶也相同。

比如，測(cè)試桶中包括3個(gè)測(cè)試層，分別為測(cè)試層1、測(cè)試層2和測(cè)試層3，測(cè)試層1對(duì)應(yīng)測(cè)試指標(biāo)a，測(cè)試層2對(duì)應(yīng)測(cè)試指標(biāo)b，測(cè)試層3對(duì)應(yīng)測(cè)試指標(biāo)c和d；則所創(chuàng)建的新測(cè)試桶也包括3個(gè)測(cè)試層，分別為測(cè)試層1、測(cè)試層2和測(cè)試層3，測(cè)試層1對(duì)應(yīng)測(cè)試指標(biāo)a，測(cè)試層2對(duì)應(yīng)測(cè)試指標(biāo)b，測(cè)試層3對(duì)應(yīng)測(cè)試指標(biāo)c和d。

這里創(chuàng)建新測(cè)試桶的方式可以與創(chuàng)建測(cè)試桶的方式相同，這里就不再贅述。

步驟s15：對(duì)新測(cè)試桶的各測(cè)試層中的測(cè)試指標(biāo)分別重新進(jìn)行a/b測(cè)試。

步驟s16：確定各測(cè)試指標(biāo)分別對(duì)應(yīng)的新待選并行頁面。

這里可以對(duì)步驟s15和步驟s16作整體分析。

需要特別說明的是，在步驟s15中，對(duì)某個(gè)測(cè)試指標(biāo)重新進(jìn)行a/b測(cè)試時(shí)的并行頁面中包括，該測(cè)試指標(biāo)所對(duì)應(yīng)的待選并行頁面。將該待選并行頁面作為重新進(jìn)行a/b測(cè)試的并行頁面，與其他的并行頁面再次進(jìn)行a/b測(cè)試，從而重新確定新待選并行頁面。另外，這里其他的并行頁面可以包括原有頁面，也可以包括針對(duì)該測(cè)試指標(biāo)重新設(shè)計(jì)出的新頁面。

比如，某個(gè)測(cè)試指標(biāo)在通過步驟s12和步驟s13確定待選并行頁面，在步驟s15中重新對(duì)該測(cè)試指標(biāo)進(jìn)行a/b測(cè)試時(shí)，所使用到的并行頁面中包括該待選并行頁面，也可以包括原有頁面，以及針對(duì)該測(cè)試指標(biāo)重新設(shè)計(jì)的新頁面等。

當(dāng)然，在確定對(duì)測(cè)試指標(biāo)重新進(jìn)行a/b測(cè)試時(shí)，所使用的并行頁面之后，在步驟s15中對(duì)該測(cè)試指標(biāo)重新進(jìn)行a/b測(cè)試，可以采用與步驟s12相同的方式，這里就不再一一說明。

步驟s16確定各測(cè)試指標(biāo)分別對(duì)應(yīng)的新待選并行頁面，也可以采用與步驟s13相同的方式，通過新測(cè)試桶中，各個(gè)測(cè)試層的測(cè)試指標(biāo)的a/b測(cè)試結(jié)果，從而確定各個(gè)測(cè)試指標(biāo)分別對(duì)應(yīng)的新待選并行頁面，這種方式只是通過新測(cè)試桶中的a/b測(cè)試確定待選并行頁面，在實(shí)施過程中測(cè)試量較少。

當(dāng)然，實(shí)際應(yīng)用中，在步驟s13確定各個(gè)測(cè)試指標(biāo)的待選并行頁面之后，還可以通過測(cè)試桶對(duì)測(cè)試指標(biāo)繼續(xù)保持a/b測(cè)試，因此，步驟s16確定各測(cè)試指標(biāo)分別對(duì)應(yīng)的新待選并行頁面時(shí)，可以結(jié)合測(cè)試桶以及新測(cè)試桶，從而確定新待選并行頁面。通?？梢詫⒏鳒y(cè)試指標(biāo)分別作為當(dāng)前測(cè)試指標(biāo)，根據(jù)測(cè)試桶以及新測(cè)試桶中，針對(duì)當(dāng)前測(cè)試指標(biāo)進(jìn)行的a/b測(cè)試，確定該當(dāng)前測(cè)試指對(duì)應(yīng)的各個(gè)并行頁面的轉(zhuǎn)化率，然后將轉(zhuǎn)化率最高的并行頁面確定為當(dāng)前測(cè)試指標(biāo)的新待選并行頁面。這種確定新待選并行頁面的方式，結(jié)合了測(cè)試桶以及新測(cè)試桶的a/b測(cè)試，通常準(zhǔn)確率較高。

步驟s17：判斷是否滿足循環(huán)終止條件，若否，則執(zhí)行重新步驟s14，若是，則執(zhí)行步驟s18。

這里所說的循環(huán)終止條件可以根據(jù)實(shí)際情況來確定，比如當(dāng)出現(xiàn)最終轉(zhuǎn)化率大于預(yù)設(shè)最小轉(zhuǎn)化率的新測(cè)試桶時(shí)，可以終止循環(huán)；這種情況下，可以預(yù)設(shè)一個(gè)最小轉(zhuǎn)化率(比如20％或者其他值)，在循環(huán)過程中，當(dāng)某個(gè)新測(cè)試桶的最終轉(zhuǎn)化率大于該最小轉(zhuǎn)化率時(shí)，說明已完成測(cè)試目標(biāo)，可以終止循環(huán)。其中，某個(gè)新測(cè)試桶的最終轉(zhuǎn)化率，可以根據(jù)該新測(cè)試桶的總測(cè)試用戶數(shù)量(n標(biāo)識(shí))，和最終通過該新測(cè)試桶各個(gè)測(cè)試層的測(cè)試用戶數(shù)量(n表示)來確定。比如，通?？梢詫/n作為最終轉(zhuǎn)化率，當(dāng)然也可以將n/n進(jìn)行歸一化處理或者其他方式的修正后，作為最終轉(zhuǎn)化率。

當(dāng)循環(huán)的結(jié)果趨于穩(wěn)定時(shí)，也可以終止循環(huán)。比如，當(dāng)連續(xù)兩個(gè)新測(cè)試桶(稱之為t1和t2)中，t1各個(gè)測(cè)試層的測(cè)試指標(biāo)分別對(duì)應(yīng)的待選并行頁面，與t2各個(gè)測(cè)試層的測(cè)試指標(biāo)分別對(duì)應(yīng)的待選并行頁面相比，重復(fù)率超過最小值時(shí)，說明循環(huán)結(jié)果趨于穩(wěn)定，可以終止循環(huán)。

當(dāng)然，在實(shí)際應(yīng)用中，也可以根據(jù)測(cè)試用戶的數(shù)量來終止循環(huán)。比如，對(duì)測(cè)試桶以及新測(cè)試桶進(jìn)行測(cè)試時(shí)，每次分配預(yù)設(shè)比例(比如，5％)的測(cè)試用戶；此時(shí)，在步驟s12中通過所分配的預(yù)設(shè)比例的測(cè)試用戶，對(duì)測(cè)試桶的各測(cè)試層中的測(cè)試指標(biāo)分別進(jìn)行a/b測(cè)試，并且在步驟s15中，也通過所分配的預(yù)設(shè)比例的測(cè)試用戶，對(duì)新測(cè)試桶的各測(cè)試層中的測(cè)試指標(biāo)分別重新進(jìn)行a/b測(cè)試。此時(shí)，循環(huán)總之條件可以是，全部測(cè)試用戶均已分配至各個(gè)測(cè)試桶(包括測(cè)試桶以及新測(cè)試桶)中用于進(jìn)行a/b測(cè)試，也可以是剩余測(cè)試用戶的比例小于或等于預(yù)設(shè)最小比例。其中該預(yù)設(shè)最小比例可以是50％或者其他值，比如，剩余測(cè)試用戶的比例小于或等于50％時(shí)，可以終止循環(huán)。

在實(shí)際應(yīng)用中，如果不滿足循環(huán)終止條件，則通過重復(fù)執(zhí)行步驟s14，再次創(chuàng)建新測(cè)試桶，并重新針對(duì)各個(gè)測(cè)試指標(biāo)進(jìn)行a/b測(cè)試，和重新確定新待選并行頁面。通常再次創(chuàng)建新測(cè)試桶之后，之前的各個(gè)測(cè)試桶可以繼續(xù)針對(duì)測(cè)試指標(biāo)進(jìn)行a/b測(cè)試，在本次循環(huán)過程中，在確定某個(gè)測(cè)試指標(biāo)對(duì)應(yīng)的待選并行頁面時(shí)，可以結(jié)合該新測(cè)試桶以及之前的各個(gè)測(cè)試桶中，針對(duì)該測(cè)試指標(biāo)的全部a/b測(cè)試結(jié)果，確定待選并行頁面，由于綜合考慮a/b測(cè)試較多，通常所確定出的待選并行頁面準(zhǔn)確性較高。

步驟s18：確定測(cè)試桶以及新測(cè)試桶的最終轉(zhuǎn)化率，用于確定最終測(cè)試結(jié)果。

由于整個(gè)測(cè)試過程可能循環(huán)創(chuàng)建了多個(gè)測(cè)試桶，并在每個(gè)測(cè)試桶中對(duì)測(cè)試指標(biāo)分別進(jìn)行了a/b測(cè)試，因此當(dāng)循環(huán)終止之后，可以根據(jù)這些測(cè)試桶中，各個(gè)測(cè)試層對(duì)應(yīng)的測(cè)試指標(biāo)的a/b測(cè)試結(jié)果，來確定最終測(cè)試結(jié)果。

在確定最終測(cè)試結(jié)果時(shí)，可以先根據(jù)各測(cè)試指標(biāo)的a/b測(cè)試結(jié)果，來確定各個(gè)測(cè)試桶的最終轉(zhuǎn)化率，然后將最終轉(zhuǎn)化率最高的測(cè)試桶確定為待選測(cè)試桶，在確定待選測(cè)試桶之后，可以確定待選測(cè)試桶中，各個(gè)測(cè)試層對(duì)應(yīng)的測(cè)試指標(biāo)的a/b測(cè)試，所確定出的各新待選并行頁面，并根據(jù)這些新待選并行頁面來確定最終測(cè)試結(jié)果。

比如，在循環(huán)測(cè)試的過程中創(chuàng)建了測(cè)試桶1、測(cè)試桶2和測(cè)試桶3，這些測(cè)試桶均有2個(gè)測(cè)試層，分別為測(cè)試層a和測(cè)試層b，其中測(cè)試層a對(duì)應(yīng)測(cè)試指標(biāo)a，測(cè)試層b對(duì)應(yīng)測(cè)試指標(biāo)b。

在循環(huán)終止后，確定測(cè)試桶1、測(cè)試桶2和測(cè)試桶3的最終轉(zhuǎn)化率分別為17％、32％和19％；測(cè)試桶2的最終轉(zhuǎn)化率最高，可以將測(cè)試桶2作為待選測(cè)試桶。確定測(cè)試桶2中，測(cè)試層a對(duì)應(yīng)的測(cè)試指標(biāo)a的a/b測(cè)試所確定出的新待選并行頁面，以及測(cè)試層b對(duì)應(yīng)的測(cè)試指標(biāo)b的a/b測(cè)試所確定出的新待選并行頁面，并根據(jù)這兩個(gè)新待選并行頁面確定最終測(cè)試結(jié)果。

根據(jù)這兩個(gè)新待選并行頁面確定最終測(cè)試結(jié)果，可以是將這兩個(gè)新待選并行頁面作為最終測(cè)試結(jié)果，也可以是對(duì)其進(jìn)一步改進(jìn)后作為最終測(cè)試結(jié)果。比如，可以將這兩個(gè)新待選并行頁面作為最終測(cè)試結(jié)果，直接應(yīng)用到新版本中，也可以基于這兩個(gè)新待選并行頁面進(jìn)一步改進(jìn)，并將進(jìn)一步改進(jìn)的頁面應(yīng)用到新版本中。

采用本申請(qǐng)實(shí)施例所提供的測(cè)試方法，對(duì)創(chuàng)建的測(cè)試桶的各測(cè)試層對(duì)應(yīng)的測(cè)試指標(biāo)分別進(jìn)行a/b測(cè)試，并根據(jù)a/b測(cè)試的結(jié)果，確定各測(cè)試指標(biāo)分別對(duì)應(yīng)的待選并行頁面，然后創(chuàng)建新測(cè)試桶，并對(duì)在新測(cè)試桶的各個(gè)測(cè)試層中對(duì)各測(cè)試指標(biāo)分別重新進(jìn)行a/b測(cè)試，從而確定各測(cè)試指標(biāo)分別對(duì)應(yīng)的新待選并行頁面，直至滿足循環(huán)終止條件時(shí)確定最終測(cè)試結(jié)果，由于對(duì)測(cè)試指標(biāo)重新進(jìn)行a/b測(cè)試時(shí)的并行頁面中包括測(cè)試指標(biāo)所對(duì)應(yīng)的待選并行頁面，因此通過這種不斷地循環(huán)測(cè)試，所確定出的最終測(cè)試結(jié)果準(zhǔn)確性較高，解決了現(xiàn)有技術(shù)中的問題。

需要說明的是，本申請(qǐng)實(shí)施例所提供的測(cè)試方法的各步驟的執(zhí)行主體均可以是同一設(shè)備，或者，該方法的各步驟也可以由不同設(shè)備作為執(zhí)行主體。比如，步驟s11和步驟s12的執(zhí)行主體可以為設(shè)備1；又比如，步驟s11的執(zhí)行主體可以為設(shè)備1，步驟s12和的執(zhí)行主體可以為設(shè)備2；等等。

在實(shí)際應(yīng)用中，為了進(jìn)一步提高測(cè)試的準(zhǔn)確性，可以適當(dāng)延長(zhǎng)a/b測(cè)試的時(shí)間，使得a/b測(cè)試的結(jié)果趨于穩(wěn)定。因此，在步驟s16和步驟s17之間，還可以增加步驟s19，用于判斷是否滿足重新創(chuàng)建新測(cè)試桶的條件，當(dāng)滿足重新創(chuàng)建新測(cè)試桶的條件時(shí)，再執(zhí)行步驟s17的步驟，當(dāng)不滿足重新創(chuàng)建新測(cè)試桶的條件時(shí)，執(zhí)行步驟s15和步驟s16的步驟，從而在步驟s14創(chuàng)建的新測(cè)試桶中，繼續(xù)對(duì)各個(gè)測(cè)試指標(biāo)進(jìn)行a/b測(cè)試，這樣在一個(gè)測(cè)試桶下，對(duì)同一測(cè)試指標(biāo)進(jìn)行a/b測(cè)試的時(shí)間更長(zhǎng)，結(jié)果更加穩(wěn)定和準(zhǔn)確。通常，重新創(chuàng)建新測(cè)試桶的條件可以根據(jù)實(shí)際需要來確定，比如，可以是預(yù)設(shè)最小時(shí)間，當(dāng)a/b測(cè)試的時(shí)間大于或等于該預(yù)設(shè)最小時(shí)間時(shí)，滿足重新創(chuàng)建新測(cè)試桶的條件，當(dāng)a/b測(cè)試的時(shí)間小于該預(yù)設(shè)最小時(shí)間時(shí)，繼續(xù)進(jìn)行a/b測(cè)試；重新創(chuàng)建新測(cè)試桶的條件，還可以是預(yù)設(shè)一個(gè)最小統(tǒng)計(jì)功效，當(dāng)步驟s14創(chuàng)建的新測(cè)試桶中，對(duì)各個(gè)測(cè)試指標(biāo)的a/b測(cè)試的統(tǒng)計(jì)功效，均大于或等于該最小統(tǒng)計(jì)功效時(shí)，說明a/b測(cè)試的結(jié)果已趨于穩(wěn)定，已滿足重新創(chuàng)建新測(cè)試桶的條件，如果其中一個(gè)或多個(gè)a/b測(cè)試的統(tǒng)計(jì)功效小于該最小統(tǒng)計(jì)功效，則不滿足重新創(chuàng)建新測(cè)試桶的條件，繼續(xù)進(jìn)行a/b測(cè)試。當(dāng)然，在實(shí)際應(yīng)用中，該重新創(chuàng)建新測(cè)試桶的條件還可以是其他，這里對(duì)此就不再一一贅述。

以上是對(duì)本申請(qǐng)實(shí)施例所提供的測(cè)試方法的具體說明，為了便于理解，下面可以結(jié)合具體的示例對(duì)該方法進(jìn)一步說明。該示例中的待測(cè)產(chǎn)品為網(wǎng)購app，該網(wǎng)購app依次包括商品信息頁面、訂單提交頁面和支付頁面。將這三個(gè)頁面均作為測(cè)試指標(biāo)，分別稱之為測(cè)試指標(biāo)a、測(cè)試指標(biāo)b和測(cè)試指標(biāo)c；所生成的測(cè)試層為生成測(cè)試層1、測(cè)試層2和測(cè)試層3，分別對(duì)應(yīng)對(duì)測(cè)試指標(biāo)a、測(cè)試指標(biāo)b和測(cè)試指標(biāo)c進(jìn)行a/b測(cè)試。如圖4所示，在該示例中，步驟如下所示：

步驟s21：構(gòu)建測(cè)試桶t1，該測(cè)試桶t1中包括測(cè)試層1、測(cè)試層2和測(cè)試層3。

步驟s22：通過所分配的預(yù)設(shè)比例的測(cè)試用戶，在對(duì)應(yīng)的測(cè)試層中對(duì)測(cè)試指標(biāo)a、測(cè)試指標(biāo)b和測(cè)試指標(biāo)c進(jìn)行a/b測(cè)試。

其中預(yù)設(shè)比例可以是全部用戶數(shù)量的5％，也可以是其它值。

步驟s23：根據(jù)a/b測(cè)試的結(jié)果，確定測(cè)試指標(biāo)a、測(cè)試指標(biāo)b和測(cè)試指標(biāo)c分別對(duì)應(yīng)的待選并行頁面。

比如，針對(duì)測(cè)試指標(biāo)a設(shè)計(jì)了三個(gè)并行頁面，分別為a1、a2和a3，其中a3的轉(zhuǎn)化率最高，可以將a3作為待選并行頁面。

步驟s24：構(gòu)建新的測(cè)試桶t2，其中測(cè)試桶t2中也包括測(cè)試層1、測(cè)試層2和測(cè)試層3。

步驟s25：通過所分配的預(yù)設(shè)比例的測(cè)試用戶，在測(cè)試桶t2中對(duì)測(cè)試指標(biāo)a、測(cè)試指標(biāo)b和測(cè)試指標(biāo)c重新進(jìn)行a/b測(cè)試。

步驟s26：根據(jù)測(cè)試桶t1以及測(cè)試桶t2中的a/b測(cè)試結(jié)果，確定測(cè)試指標(biāo)a、測(cè)試指標(biāo)b和測(cè)試指標(biāo)c分別對(duì)應(yīng)的新待選并行頁面。

步驟s27：當(dāng)不滿足循環(huán)終止條件時(shí)，構(gòu)建新的測(cè)試桶t3，并重新針對(duì)測(cè)試指標(biāo)a、測(cè)試指標(biāo)b和測(cè)試指標(biāo)c進(jìn)行a/b測(cè)試，直至滿足循環(huán)終止條件。

其中測(cè)試桶t3中也包括測(cè)試層1、測(cè)試層2和測(cè)試層3。

步驟s28：當(dāng)滿足循環(huán)終止條件時(shí)，將t1、t2、t3等測(cè)試桶中，最終轉(zhuǎn)化率最高的測(cè)試桶作為待選測(cè)試桶，并根據(jù)待選測(cè)試桶中a/b測(cè)試所確定的新待選頁面確定最終測(cè)試結(jié)果。

基于與本申請(qǐng)實(shí)施例所提供的測(cè)試方法相同的發(fā)明構(gòu)思，本申請(qǐng)實(shí)施例還提供了一種測(cè)試裝置，能夠用于解決現(xiàn)有技術(shù)中的問題。如圖5所示，該裝置50包括：第一創(chuàng)建單元501、a/b測(cè)試單元502、第二創(chuàng)建單元503以及結(jié)果確定單元504，其中：

第一創(chuàng)建單元501，創(chuàng)建測(cè)試桶，所述測(cè)試桶中包括多個(gè)測(cè)試層，每個(gè)測(cè)試層對(duì)應(yīng)至少一個(gè)測(cè)試指標(biāo)；

a/b測(cè)試單元502，對(duì)測(cè)試桶的各測(cè)試層對(duì)應(yīng)的測(cè)試指標(biāo)分別進(jìn)行a/b測(cè)試，用于確定各所述測(cè)試指標(biāo)分別對(duì)應(yīng)的待選并行頁面；

第二創(chuàng)建單元503，創(chuàng)建新測(cè)試桶，并對(duì)所述新測(cè)試桶的各測(cè)試層中的測(cè)試指標(biāo)分別重新進(jìn)行a/b測(cè)試，用于確定各所述測(cè)試指標(biāo)分別對(duì)應(yīng)的新待選并行頁面，直至滿足循環(huán)終止條件，其中，新測(cè)試桶與測(cè)試桶具有相同的測(cè)試層，對(duì)測(cè)試指標(biāo)重新進(jìn)行a/b測(cè)試時(shí)的并行頁面中包括所述測(cè)試指標(biāo)所對(duì)應(yīng)的待選并行頁面；

結(jié)果確定單元504，確定測(cè)試桶以及新測(cè)試桶的最終轉(zhuǎn)化率，用于確定最終測(cè)試結(jié)果。

由于該裝置50采用與本申請(qǐng)實(shí)施例的測(cè)試方法相同的發(fā)明構(gòu)思，因此也能夠解決現(xiàn)有技術(shù)中的問題，這里就不再贅述。另外在實(shí)際應(yīng)用中，還可以將該裝置50結(jié)合具體的硬件設(shè)備取得其它的技術(shù)效果，比如將該裝置50應(yīng)用于分布式系統(tǒng)中，通過分布式系統(tǒng)中的不同服務(wù)器執(zhí)行不同的單元，這樣可以通過分布式系統(tǒng)的協(xié)同配合來對(duì)產(chǎn)品進(jìn)行測(cè)試，可以提高測(cè)試效率。

第一創(chuàng)建單元501，可以具體是通過如下方式創(chuàng)建測(cè)試桶：根據(jù)待測(cè)產(chǎn)品中頁面的排布順序生成與待測(cè)產(chǎn)品頁面數(shù)量相同的測(cè)試層，其中所述待測(cè)產(chǎn)品至少包括兩個(gè)頁面；將待測(cè)產(chǎn)品的各個(gè)頁面分別作為測(cè)試指標(biāo)，用于在對(duì)應(yīng)測(cè)試層中進(jìn)行a/b測(cè)試；基于所生成的各個(gè)測(cè)試層創(chuàng)建所述測(cè)試桶，所述測(cè)試桶中包括各所述測(cè)試層。

a/b測(cè)試單元502，對(duì)測(cè)試桶的各測(cè)試層對(duì)應(yīng)的測(cè)試指標(biāo)分別進(jìn)行a/b測(cè)試，可以具體是，通過所分配的預(yù)設(shè)比例的測(cè)試用戶，對(duì)測(cè)試桶的各測(cè)試層對(duì)應(yīng)的測(cè)試指標(biāo)分別進(jìn)行a/b測(cè)試。此時(shí)，所述循環(huán)終止條件，可以具體為如下任意一種：全部測(cè)試用戶均已分配用于進(jìn)行a/b測(cè)試；剩余測(cè)試用戶的比例小于或等于預(yù)設(shè)最小比例。

第二創(chuàng)建單元503，確定各所述測(cè)試指標(biāo)分別對(duì)應(yīng)的新待選并行頁面，可以具體是，將各所述測(cè)試指標(biāo)分別作為當(dāng)前測(cè)試指標(biāo)，根據(jù)測(cè)試桶以及新測(cè)試桶中，針對(duì)所述當(dāng)前測(cè)試指標(biāo)進(jìn)行的a/b測(cè)試，確定各個(gè)并行頁面的轉(zhuǎn)化率；將轉(zhuǎn)化率最高的并行頁面確定為所述當(dāng)前測(cè)試指標(biāo)的新待選并行頁面。

結(jié)果確定單元504，確定最終測(cè)試結(jié)果，可以具體是：根據(jù)測(cè)試桶以及新測(cè)試桶的最終轉(zhuǎn)化率的大小，確定待選測(cè)試桶；根據(jù)所述待選測(cè)試桶中的a/b測(cè)試所確定出的各待選并行頁面，確定最終測(cè)試結(jié)果。

對(duì)測(cè)試指標(biāo)重新進(jìn)行a/b測(cè)試時(shí)的并行頁面中包括所述測(cè)試指標(biāo)所對(duì)應(yīng)的待選并行頁面，具體為：對(duì)測(cè)試指標(biāo)重新進(jìn)行a/b測(cè)試時(shí)的并行頁面中具體包括，所述測(cè)試指標(biāo)所對(duì)應(yīng)的待選并行頁面以及所述測(cè)試指標(biāo)對(duì)應(yīng)的原有頁面。

本領(lǐng)域內(nèi)的技術(shù)人員應(yīng)明白，本申請(qǐng)的實(shí)施例可提供為方法、系統(tǒng)、或計(jì)算機(jī)程序產(chǎn)品。因此，本申請(qǐng)可采用完全硬件實(shí)施例、完全軟件實(shí)施例、或結(jié)合軟件和硬件方面的實(shí)施例的形式。而且，本申請(qǐng)可采用在一個(gè)或多個(gè)其中包含有計(jì)算機(jī)可用程序代碼的計(jì)算機(jī)可用存儲(chǔ)介質(zhì)(包括但不限于磁盤存儲(chǔ)器、cd-rom、光學(xué)存儲(chǔ)器等)上實(shí)施的計(jì)算機(jī)程序產(chǎn)品的形式。

本申請(qǐng)是參照根據(jù)本申請(qǐng)實(shí)施例的方法、設(shè)備(系統(tǒng))、和計(jì)算機(jī)程序產(chǎn)品的流程圖和/或方框圖來描述的。應(yīng)理解可由計(jì)算機(jī)程序指令實(shí)現(xiàn)流程圖和/或方框圖中的每一流程和/或方框、以及流程圖和/或方框圖中的流程和/或方框的結(jié)合?？商峁┻@些計(jì)算機(jī)程序指令到通用計(jì)算機(jī)、專用計(jì)算機(jī)、嵌入式處理機(jī)或其他可編程數(shù)據(jù)處理設(shè)備的處理器以產(chǎn)生一個(gè)機(jī)器，使得通過計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備的處理器執(zhí)行的指令產(chǎn)生用于實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能的裝置。

這些計(jì)算機(jī)程序指令也可存儲(chǔ)在能引導(dǎo)計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備以特定方式工作的計(jì)算機(jī)可讀存儲(chǔ)器中，使得存儲(chǔ)在該計(jì)算機(jī)可讀存儲(chǔ)器中的指令產(chǎn)生包括指令裝置的制造品，該指令裝置實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能。

這些計(jì)算機(jī)程序指令也可裝載到計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備上，使得在計(jì)算機(jī)或其他可編程設(shè)備上執(zhí)行一系列操作步驟以產(chǎn)生計(jì)算機(jī)實(shí)現(xiàn)的處理，從而在計(jì)算機(jī)或其他可編程設(shè)備上執(zhí)行的指令提供用于實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能的步驟。

在一個(gè)典型的配置中，計(jì)算設(shè)備包括一個(gè)或多個(gè)處理器(cpu)、輸入/輸出接口、網(wǎng)絡(luò)接口和內(nèi)存。

內(nèi)存可能包括計(jì)算機(jī)可讀介質(zhì)中的非永久性存儲(chǔ)器，隨機(jī)存取存儲(chǔ)器(ram)和/或非易失性內(nèi)存等形式，如只讀存儲(chǔ)器(rom)或閃存(flashram)。內(nèi)存是計(jì)算機(jī)可讀介質(zhì)的示例。

計(jì)算機(jī)可讀介質(zhì)包括永久性和非永久性、可移動(dòng)和非可移動(dòng)媒體可以由任何方法或技術(shù)來實(shí)現(xiàn)信息存儲(chǔ)。信息可以是計(jì)算機(jī)可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序的模塊或其他數(shù)據(jù)。計(jì)算機(jī)的存儲(chǔ)介質(zhì)的例子包括，但不限于相變內(nèi)存(pram)、靜態(tài)隨機(jī)存取存儲(chǔ)器(sram)、動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器(dram)、其他類型的隨機(jī)存取存儲(chǔ)器(ram)、只讀存儲(chǔ)器(rom)、電可擦除可編程只讀存儲(chǔ)器(eeprom)、快閃記憶體或其他內(nèi)存技術(shù)、只讀光盤只讀存儲(chǔ)器(cd-rom)、數(shù)字多功能光盤(dvd)或其他光學(xué)存儲(chǔ)、磁盒式磁帶，磁帶磁磁盤存儲(chǔ)或其他磁性存儲(chǔ)設(shè)備或任何其他非傳輸介質(zhì)，可用于存儲(chǔ)可以被計(jì)算設(shè)備訪問的信息。按照本文中的界定，計(jì)算機(jī)可讀介質(zhì)不包括暫存電腦可讀媒體(transitorymedia)，如調(diào)制的數(shù)據(jù)信號(hào)和載波。

還需要說明的是，術(shù)語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過程、方法、商品或者設(shè)備不僅包括那些要素，而且還包括沒有明確列出的其他要素，或者是還包括為這種過程、方法、商品或者設(shè)備所固有的要素。在沒有更多限制的情況下，由語句“包括一個(gè)……”限定的要素，并不排除在包括要素的過程、方法、商品或者設(shè)備中還存在另外的相同要素。

本領(lǐng)域技術(shù)人員應(yīng)明白，本申請(qǐng)的實(shí)施例可提供為方法、系統(tǒng)或計(jì)算機(jī)程序產(chǎn)品。因此，本申請(qǐng)可采用完全硬件實(shí)施例、完全軟件實(shí)施例或結(jié)合軟件和硬件方面的實(shí)施例的形式。而且，本申請(qǐng)可采用在一個(gè)或多個(gè)其中包含有計(jì)算機(jī)可用程序代碼的計(jì)算機(jī)可用存儲(chǔ)介質(zhì)(包括但不限于磁盤存儲(chǔ)器、cd-rom、光學(xué)存儲(chǔ)器等)上實(shí)施的計(jì)算機(jī)程序產(chǎn)品的形式。

以上僅為本申請(qǐng)的實(shí)施例而已，并不用于限制本申請(qǐng)。對(duì)于本領(lǐng)域技術(shù)人員來說，本申請(qǐng)可以有各種更改和變化。凡在本申請(qǐng)的精神和原理之內(nèi)所作的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本申請(qǐng)的權(quán)利要求范圍之內(nèi)。