基于流量實(shí)驗(yàn)的流量層設(shè)置及流量實(shí)驗(yàn)的實(shí)現(xiàn)方法和裝置的制造方法
【技術(shù)領(lǐng)域】
[0001] 本公開(kāi)涉及計(jì)算機(jī)技術(shù)，尤其是涉及一種基于流量實(shí)驗(yàn)的流量層設(shè)置方法、基于 流量實(shí)驗(yàn)的流量層設(shè)置裝置、流量實(shí)驗(yàn)的實(shí)現(xiàn)方法以及流量實(shí)驗(yàn)的實(shí)現(xiàn)裝置。
【背景技術(shù)】
[0002] 互聯(lián)網(wǎng)中的頁(yè)面往往會(huì)存在更新需求，如網(wǎng)站更換版本時(shí)往往會(huì)涉及到頁(yè)面更 新，再如針對(duì)搜索引擎而言，在形成搜索結(jié)果時(shí)，卡片樣式以及確定展現(xiàn)結(jié)果的底層策略等 內(nèi)容發(fā)生變化時(shí)會(huì)導(dǎo)致搜索結(jié)果的展示頁(yè)面發(fā)生相應(yīng)變化，如某條搜索結(jié)果的展現(xiàn)位置發(fā) 生了變化、頁(yè)面中的某張卡片發(fā)生了變化或者某條搜索結(jié)果的展現(xiàn)樣式由于被優(yōu)化而發(fā)生 了變化等等。
[0003] 通常情況下，新頁(yè)面全流量上線之前，往往會(huì)進(jìn)行流量實(shí)驗(yàn)（如AB小流量實(shí)驗(yàn) 等）。流量實(shí)驗(yàn)即先小流量（即部分流量）的推出實(shí)驗(yàn)頁(yè)面（即新頁(yè)面），然后，根據(jù)各網(wǎng)絡(luò) 訪問(wèn)用戶對(duì)實(shí)驗(yàn)頁(yè)面或者對(duì)照頁(yè)面（如舊頁(yè)面）的操作對(duì)實(shí)驗(yàn)頁(yè)面和對(duì)照頁(yè)面進(jìn)行評(píng)估。 決策方可以根據(jù)流量實(shí)驗(yàn)的評(píng)估結(jié)果決定是否將新頁(yè)面全流量上線。
[0004] 流量實(shí)驗(yàn)中通常設(shè)置有多個(gè)流量層，以從各流量層中選取抽樣單位來(lái)確定展示實(shí) 驗(yàn)頁(yè)面的網(wǎng)絡(luò)訪問(wèn)用戶以及展示對(duì)照頁(yè)面的網(wǎng)絡(luò)訪問(wèn)用戶。流量層的設(shè)置方式通常為：對(duì) 所有網(wǎng)絡(luò)訪問(wèn)用戶的cookie進(jìn)行隨機(jī)哈希運(yùn)算，并根據(jù)哈希運(yùn)算結(jié)果將所有網(wǎng)絡(luò)訪問(wèn)用 戶設(shè)置于一個(gè)流量層中相應(yīng)的抽樣單位中，由于需要設(shè)置多個(gè)流量層，因此，應(yīng)對(duì)所有網(wǎng)絡(luò) 訪問(wèn)用戶的cookie重復(fù)進(jìn)行多次隨機(jī)哈希運(yùn)算，以形成所有流量層；每個(gè)流量層所包含的 抽樣單位的數(shù)量相同；每個(gè)抽樣單位由于哈希運(yùn)算的原因而使其包含的網(wǎng)絡(luò)訪問(wèn)用戶數(shù)量 基本相同。
[0005] 網(wǎng)絡(luò)中通常會(huì)存在多個(gè)流量實(shí)驗(yàn)同時(shí)并存的情況，例如在一個(gè)舊頁(yè)面中的多個(gè)內(nèi) 容同時(shí)發(fā)生變化時(shí)，往往需要對(duì)每一個(gè)變化分別進(jìn)行評(píng)估，從而需要針對(duì)每一個(gè)變化分別 設(shè)置實(shí)驗(yàn)組和對(duì)照組；由于各流量層中的網(wǎng)絡(luò)訪問(wèn)用戶所在的抽樣單位是由哈希運(yùn)算的結(jié) 果決定的，因此，在選取抽樣單位來(lái)設(shè)置多個(gè)實(shí)驗(yàn)組和對(duì)照組時(shí)，會(huì)出現(xiàn)一個(gè)網(wǎng)絡(luò)訪問(wèn)用戶 同時(shí)出現(xiàn)在多個(gè)組中的現(xiàn)象，然而，如果實(shí)驗(yàn)組和與其對(duì)應(yīng)的對(duì)照組中存在這樣的網(wǎng)絡(luò)訪 問(wèn)用戶的占比不同，則會(huì)對(duì)流量實(shí)驗(yàn)的評(píng)估結(jié)果產(chǎn)生不良影響。另外，現(xiàn)有的流量實(shí)驗(yàn)在根 據(jù)各網(wǎng)絡(luò)訪問(wèn)用戶對(duì)實(shí)驗(yàn)頁(yè)面或者對(duì)照頁(yè)面的操作進(jìn)行用戶行為分析時(shí)，往往需要對(duì)所有 網(wǎng)絡(luò)訪問(wèn)用戶的日志進(jìn)行過(guò)濾，以獲取實(shí)驗(yàn)組和對(duì)照組中的網(wǎng)絡(luò)訪問(wèn)用戶的日志；該日志 過(guò)濾操作無(wú)疑會(huì)耗費(fèi)大量的時(shí)間和資源，從而會(huì)影響流量實(shí)驗(yàn)的效率以及實(shí)現(xiàn)成本等。

【發(fā)明內(nèi)容】

[0006] 本發(fā)明的目的是提供一種基于流量實(shí)驗(yàn)的流量層設(shè)置及流量實(shí)驗(yàn)的實(shí)現(xiàn)方法和 裝置。
[0007] 根據(jù)本發(fā)明第一個(gè)方面，提供一種基于流量實(shí)驗(yàn)的流量層設(shè)置方法，且所述方法 主要包括以下步驟：獲取網(wǎng)絡(luò)訪問(wèn)用戶的標(biāo)識(shí)；根據(jù)各用戶單位中的網(wǎng)絡(luò)訪問(wèn)用戶數(shù)量均 衡原則將所述網(wǎng)絡(luò)訪問(wèn)用戶的標(biāo)識(shí)設(shè)置于預(yù)定流量層的一個(gè)用戶單位中；根據(jù)任一流量層 的用戶單位與其他η個(gè)流量層的用戶單位之間的對(duì)應(yīng)關(guān)系，將所述網(wǎng)絡(luò)訪問(wèn)用戶的標(biāo)識(shí)分 別設(shè)置于其他每一流量層的一個(gè)用戶單位中；其中，每一流量層均包括η個(gè)抽樣單位，每個(gè) 抽樣單位均包括η個(gè)用戶單位，且所述對(duì)應(yīng)關(guān)系是基于任一流量層的任一抽樣單位中的η 個(gè)用戶單位被分設(shè)在其他任一流量層的η個(gè)抽樣單位中設(shè)置的，η為大于1的整數(shù)。
[0008] 根據(jù)本發(fā)明第二個(gè)方面，提供一種流量實(shí)驗(yàn)的實(shí)現(xiàn)方法，且所述方法主要包括以 下步驟：從η+1個(gè)流量層中選取一個(gè)流量層；從所述選取的流量層中選擇K+h個(gè)不同的抽 樣單位，其中K個(gè)抽樣單位對(duì)應(yīng)實(shí)驗(yàn)組，h個(gè)抽樣單位對(duì)應(yīng)對(duì)照組；根據(jù)屬于實(shí)驗(yàn)組或者對(duì) 照組的網(wǎng)絡(luò)訪問(wèn)用戶的網(wǎng)絡(luò)訪問(wèn)請(qǐng)求向所述網(wǎng)絡(luò)訪問(wèn)用戶發(fā)送用于流量實(shí)驗(yàn)的頁(yè)面；其 中，每一流量層中均包括η個(gè)抽樣單位，每個(gè)抽樣單位均包括η個(gè)用戶單位，且任一流量層 的任一抽樣單位中的η個(gè)用戶單位被分設(shè)在其他任一流量層的η個(gè)抽樣單位中，η為大于1 的整數(shù)，Κ和h均為大于等于1的整數(shù)，并且K+h〈 =η。
[0009] 根據(jù)本發(fā)明第三個(gè)方面，提供一種基于流量實(shí)驗(yàn)的流量層設(shè)置裝置，且所述裝置 主要包括：用戶標(biāo)識(shí)獲取裝置，用于獲取網(wǎng)絡(luò)訪問(wèn)用戶的標(biāo)識(shí)的裝置；第一設(shè)置裝置，用于 根據(jù)各用戶單位中的網(wǎng)絡(luò)訪問(wèn)用戶數(shù)量均衡原則將所述網(wǎng)絡(luò)訪問(wèn)用戶的標(biāo)識(shí)設(shè)置于預(yù)定 流量層的一個(gè)用戶單位中的裝置；第二設(shè)置裝置，用于根據(jù)任一流量層的用戶單位與其他 η個(gè)流量層的用戶單位之間的對(duì)應(yīng)關(guān)系，將所述網(wǎng)絡(luò)訪問(wèn)用戶的標(biāo)識(shí)分別設(shè)置于其他每一 流量層的一個(gè)用戶單位中的裝置；其中，每一流量層均包括η個(gè)抽樣單位，每個(gè)抽樣單位均 包括η個(gè)用戶單位，且所述對(duì)應(yīng)關(guān)系是基于任一流量層的任一抽樣單位中的η個(gè)用戶單位 被分設(shè)在其他任一流量層的η個(gè)抽樣單位中設(shè)置的，η為大于1的整數(shù)。
[0010] 根據(jù)本發(fā)明第四個(gè)方面，提供一種流量實(shí)驗(yàn)的實(shí)現(xiàn)裝置，且所述裝置主要包括：第 一選取裝置，用于從η+1個(gè)流量層中選取一個(gè)流量層的裝置；第二選取裝置，用于從該選取 的流量層中選擇K+h個(gè)不同的抽樣單位的裝置，其中，Κ個(gè)抽樣單位對(duì)應(yīng)實(shí)驗(yàn)組，另外Κ個(gè) 抽樣單位對(duì)應(yīng)對(duì)照組；頁(yè)面發(fā)送裝置，用于根據(jù)屬于實(shí)驗(yàn)組或者對(duì)照組的網(wǎng)絡(luò)訪問(wèn)用戶的 網(wǎng)絡(luò)訪問(wèn)請(qǐng)求向所述網(wǎng)絡(luò)訪問(wèn)用戶發(fā)送用于流量實(shí)驗(yàn)的頁(yè)面的裝置；其中，每一流量層中 均包括η個(gè)抽樣單位，每個(gè)抽樣單位均包括η個(gè)用戶單位，且任一流量層的任一抽樣單位中 的η個(gè)用戶單位被分設(shè)在其他任一流量層的η個(gè)抽樣單位中，η為大于1的整數(shù)，Κ為大于 等于1的整數(shù)。
[0011] 與現(xiàn)有技術(shù)相比，本發(fā)明具有以下優(yōu)點(diǎn)：在本發(fā)明提供的η+1個(gè)流量層中，每一流 量層均包括η個(gè)抽樣單位，且每一個(gè)抽樣單位均包括η個(gè)用戶單位，這樣，利用預(yù)先設(shè)置的 對(duì)應(yīng)關(guān)系可以使任一流量層的任一抽樣單位中的η個(gè)用戶單位被分設(shè)在其他任一流量層 的η個(gè)抽樣單位中，從而使每一個(gè)流量層中的任意一個(gè)抽樣單位中的η個(gè)用戶單位都會(huì)均 勻的分布在其他的η個(gè)流量層中的每一個(gè)抽樣單位中，進(jìn)而本發(fā)明可以使不同流量層之間 完全正交；在進(jìn)行流量實(shí)驗(yàn)過(guò)程中，由于是從完全正交的流量層中選取抽樣單位來(lái)設(shè)置多 個(gè)實(shí)驗(yàn)組和對(duì)照組，因此，即使存在一個(gè)網(wǎng)絡(luò)訪問(wèn)用戶同時(shí)出現(xiàn)在不同流量實(shí)驗(yàn)的實(shí)驗(yàn)組/ 對(duì)照組中的現(xiàn)象，然而由于任一特定流量實(shí)驗(yàn)的實(shí)驗(yàn)組和與其對(duì)應(yīng)的對(duì)照組中存在這樣的 來(lái)源于其它流量層的某個(gè)實(shí)驗(yàn)的實(shí)驗(yàn)中/對(duì)照組的網(wǎng)絡(luò)訪問(wèn)用戶的占比相同，因此，本發(fā) 明可以避免不同流量層的實(shí)驗(yàn)對(duì)彼此的實(shí)驗(yàn)效果評(píng)估產(chǎn)生的不良影響；由上述描述可知， 本發(fā)明提供的技術(shù)方案提高了流量實(shí)驗(yàn)的準(zhǔn)確性。
【附圖說(shuō)明】
[0012] 通過(guò)閱讀參照以下附圖所作的對(duì)非限制性實(shí)施例所作的詳細(xì)描述，本發(fā)明的其它 特征、目的和優(yōu)點(diǎn)將會(huì)變得更明顯：
[0013] 圖1為本發(fā)明實(shí)施例一的基于流量實(shí)驗(yàn)的流量層設(shè)置方法流程圖；
[0014] 圖2為本發(fā)明實(shí)施例一的任意兩個(gè)流量層的不意圖；
[0015] 圖3為本發(fā)明實(shí)施例一的五個(gè)流量層的不意圖；
[0016] 圖4為本發(fā)明實(shí)施例二的流量實(shí)驗(yàn)的實(shí)現(xiàn)方法流程圖；
[0017] 圖5為本發(fā)明實(shí)施例三的基于流量實(shí)驗(yàn)的流量層設(shè)置裝置示意圖；
[0018] 圖6為本發(fā)明實(shí)施例四的流量實(shí)驗(yàn)的實(shí)現(xiàn)裝置示意圖。
[0019] 附圖中相同或相似的附圖標(biāo)記代表相同或相似的部件。
【具體實(shí)施方式】
[0020] 在更加詳細(xì)地討論示例性實(shí)施例之前，應(yīng)當(dāng)提到的是，一些示例性實(shí)施例被描述 成作為流程圖描繪的處理或方法。雖然流程圖將各項(xiàng)操作描述成順序的處理，但是，其中的 許多操作可以被并行地、并發(fā)地或者同時(shí)實(shí)施。此外，各項(xiàng)操作的執(zhí)行順序可以被重新安 排。當(dāng)其操作完成時(shí)所述處理可以被終止，但是還可以具有未包括在附圖中的附加步驟。所 述處理可以對(duì)應(yīng)于方法、函數(shù)、規(guī)程、子例程、子程序等等。
[0021] 在上下文中所稱"計(jì)算機(jī)設(shè)備"，也稱為"電腦"，是指可以通過(guò)運(yùn)行預(yù)定程序或指 令來(lái)執(zhí)行數(shù)值計(jì)算和/或邏輯計(jì)算等預(yù)定處理過(guò)程的智能電子設(shè)備，其可以包括處理器與 存儲(chǔ)器，由處理器執(zhí)行在存儲(chǔ)器中預(yù)存的存續(xù)指令來(lái)執(zhí)行預(yù)定處理過(guò)程，或者是由ASIC、 FPGA、DSP等硬件執(zhí)行預(yù)定處理過(guò)程，或者是由上述二者組合來(lái)實(shí)現(xiàn)。計(jì)算機(jī)設(shè)備包括但不 限于服務(wù)器、個(gè)人電腦、筆記本電腦、平板電腦、智能手機(jī)等。
[0022] 所述計(jì)算機(jī)設(shè)備包括用戶設(shè)備與網(wǎng)絡(luò)設(shè)備。其中，所述用戶設(shè)備包括但不限于電 腦、智能手機(jī)、PAD、PDA等；所述網(wǎng)絡(luò)設(shè)備包括但不限于單個(gè)網(wǎng)絡(luò)服務(wù)器、多個(gè)網(wǎng)絡(luò)服務(wù)器 組成的服務(wù)器組或基于云計(jì)算（CloudComputing)的由大量計(jì)算機(jī)或網(wǎng)絡(luò)服務(wù)器構(gòu)成的 云，其中，云計(jì)算是分布式計(jì)算的一種，由一群松散耦合的計(jì)算機(jī)集組成的一個(gè)超級(jí)虛擬計(jì) 算機(jī)。其中，所述計(jì)算機(jī)設(shè)備可單獨(dú)運(yùn)行來(lái)實(shí)現(xiàn)本發(fā)明，也可接入網(wǎng)絡(luò)并通過(guò)與網(wǎng)絡(luò)中的其 他計(jì)算機(jī)設(shè)備的交互操作來(lái)實(shí)現(xiàn)本發(fā)明。其中，所述計(jì)算機(jī)設(shè)備所處的網(wǎng)絡(luò)包括但不限于 互聯(lián)網(wǎng)、廣域網(wǎng)、城域網(wǎng)、局域網(wǎng)、VPN網(wǎng)絡(luò)等。
[0023] 需要說(shuō)明的是，所述用戶設(shè)備、網(wǎng)絡(luò)設(shè)備和網(wǎng)絡(luò)等僅為舉例，其他現(xiàn)有的或今后可 能出現(xiàn)的計(jì)算機(jī)設(shè)備或網(wǎng)絡(luò)如可適用于本發(fā)明，也應(yīng)包含在本發(fā)明保護(hù)范圍以內(nèi)，并以引 用方式包含于此。
[0024] 后面所討論的方法（其中一些通過(guò)流程圖示出）可通過(guò)硬件、軟件、固件、中間件、 微代碼、硬件描述語(yǔ)言或者其任意組合來(lái)實(shí)施。當(dāng)用軟件、固件、中間件或微代碼來(lái)實(shí)施時(shí)， 用以實(shí)施必要任務(wù)的程序代碼或代碼段可以被存儲(chǔ)在機(jī)器或計(jì)算機(jī)可讀介質(zhì)（比如存儲(chǔ) 介質(zhì)）中。（一個(gè)或多個(gè)）處理器可以實(shí)施必要的任務(wù)。
[0025] 這里所公開(kāi)的具體結(jié)構(gòu)和功能細(xì)節(jié)僅僅是代表性的，并且是用于描述本發(fā)明的示 例性實(shí)施例的目的。但是，本發(fā)明可以通過(guò)許多替換形式來(lái)具體實(shí)現(xiàn)，并且不應(yīng)當(dāng)被解釋成 僅僅受限于這里所闡述的實(shí)施例。
[0026] 應(yīng)當(dāng)理解的是，雖然在這里可能使用了術(shù)語(yǔ)"第一"、"第二"等等來(lái)描述各個(gè)單元， 但是這些單元不應(yīng)當(dāng)受這些術(shù)語(yǔ)限制。使用這些術(shù)語(yǔ)僅僅是為了將一個(gè)單元與另一個(gè)單元 進(jìn)行區(qū)分。舉例來(lái)說(shuō)，在不背離示例性實(shí)施例的范圍的情況下，第一單元可以被稱為第二單 元，并且類似地第二單元可以被稱為第一單元。這里所使用的術(shù)語(yǔ)"和/或"包括其中一個(gè) 或更多所列出的相關(guān)聯(lián)項(xiàng)目的任意和所有組合。
[0027] 應(yīng)當(dāng)理解的是，當(dāng)一個(gè)單元被稱為"連接"或者"耦合"到另一個(gè)單元時(shí)，其可以直 接連接或耦合到所述另一單