技術(shù)特征：

1.一種基于時間衰減采樣的廣告點擊預(yù)估方法，其特征在于，包括以下步驟：

S1、數(shù)據(jù)清洗

對廣告瀏覽/點擊日志進行數(shù)據(jù)清洗，需要將后臺的數(shù)據(jù)進行分析，將廣告瀏覽/點擊日志按標(biāo)志分為RSET和CSET,RSET為所有瀏覽日志的集合，其每條日志標(biāo)記為0，CSET是所有點擊日志集合，其每條日志標(biāo)記為1；在RSET中遍歷每一條瀏覽日志，若對于一條瀏覽日志R_i，記R_i的點擊時間為UNIX時間戳?xí)r間t_i，用戶ID為UID_i，廣告ID為AID_i，設(shè)判別時間間隔閾值為π，如果在CSET中的t_i+π范圍內(nèi)有UID_i和AID_i均相同的點擊日志命中，則將該瀏覽日志R_i標(biāo)記為1，如果不命中，則保持R_i的標(biāo)記為0，最后集合RSET為清洗后的廣告點擊數(shù)據(jù)集；

S2、預(yù)處理

對構(gòu)建的廣告點擊數(shù)據(jù)集RSET進行進一步過濾篩選、缺失值填補、異常值檢測，具體如下：

S2.1、過濾篩選及缺失值填補

對廣告點擊數(shù)據(jù)集中不符合值的取值范圍的數(shù)據(jù)進行去除處理，對廣告點擊日志的每個字段進行統(tǒng)計分析，對于一個字段，定義該字段在數(shù)據(jù)集中值為null或者空字符串的記錄為該字段的缺失記錄，數(shù)為n，記數(shù)據(jù)集RSET總記錄數(shù)為N，記閾值則對于超過預(yù)設(shè)閾值K的字段不進行保留，對于比例在K之內(nèi)的字段，將其缺失值賦予一個和該字段其他值都不同的新值，作為正常值使用；另外，對于數(shù)據(jù)中字段值冗余的情況，消除冗余值；

S2.2、異常值檢測

對數(shù)據(jù)集中每一個用戶ID進行總點擊次數(shù)的統(tǒng)計，并進而按總點擊次數(shù)來統(tǒng)計在該點擊次數(shù)下用戶的個數(shù)，記總點擊次數(shù)集合為A＝{α₁,α₂,...,α_i,...,α_n}，記相應(yīng)的用戶個數(shù)集合為B＝{β₁,β₂,...,β_i,...,β_n},假設(shè)α_i和β_i服從冪律分布，則logα_i和logβ_i呈線性關(guān)系，將logα_i和logβ_i做散點圖，用直線去擬合，將從某個點開始偏離擬合線的總點擊次數(shù)作為閾值ρ，將總點擊次數(shù)β_i大于ρ的用戶作為異常用戶，記正常用戶集合為U，記異常用戶集合為U'，將異常用戶集合U'產(chǎn)生的廣告點擊數(shù)據(jù)集合記為SET'，將正常用戶集合U產(chǎn)生的廣告點擊數(shù)據(jù)集合記為SET；

S3、時間衰減采樣

從步驟S2的集合SET中選定連續(xù)的m天作為訓(xùn)練集，第m+1天作為測試集，針對訓(xùn)練集，將根據(jù)時間新鮮度計算得到的時間因子作為權(quán)重，分別計算訓(xùn)練集每天的抽樣比例，將每天抽取的樣本進行組合，形成整體的多份抽樣樣本；其中，依據(jù)時間衰減的抽樣，具體過程如下：

選定連續(xù)的m天作為訓(xùn)練集，第m+1天作為測試集后，記m天中的第一天為T₁，第m天為T_m，由此形成T₁,T₂,...,T_t,...,T_m的時間序列數(shù)據(jù)；根據(jù)日期新鮮度為采樣引入時間因子，記λ_t為T_t那天的采樣比例，則λ_t-1為T_t前一天的采樣比例，λ_t+1為T_t后一天的采樣比例；所述時間衰減采樣即是λ_t-1＜λ_t＜λ_t+1的一種采樣方式，其中λ_t由時間衰減函數(shù)計算所得，得到λ_t后，若T_t的少數(shù)類數(shù)量為s，則應(yīng)該按照欠采樣抽取出λ_ts的多數(shù)類數(shù)量；

時間衰減采樣有三個參數(shù)m，λ₁和λ_m，這三個參數(shù)由人為指定，m為訓(xùn)練集所包含的日期的天數(shù)，λ₁為第一天的采樣比例，λ_m為第m天的采樣比例，其中λ₁與λ_m需要滿足0＜λ₁＜λ_m，不同的模型能夠根據(jù)實際情況對這三個參數(shù)進行相應(yīng)調(diào)優(yōu)；本采樣通過時間衰減函數(shù)來確定采樣比例，時間衰減函數(shù)為λ_t＝at²+b，根據(jù)人為確定的λ₁和λ_m，時間衰減函數(shù)中的參數(shù)a和b通過公式(1)(2)求出:

$a=\frac{{\mathrm{\λ}}_m-{\mathrm{\λ}}_1}{m-1}---\left(1\right)$

$b=\frac{{\mathrm{\λ}}_1{m}^2-{\mathrm{\λ}}_m}{m^2-1}---\left(2\right)$

則，在給定m，λ₁和λ_m下，時間衰減函數(shù)為公式(3)：

${\mathrm{\λ}}_t=\frac{{\mathrm{\λ}}_m-{\mathrm{\λ}}_1}{m-1}{t}^2+\frac{{\mathrm{\λ}}_1{m}^2-{\mathrm{\λ}}_m}{m^2-1}---\left(3\right)$

因此，每一天的采樣比例能夠根據(jù)公式(3)得到；

確定了時間衰減函數(shù)，并通過時間衰減函數(shù)為T_t計算出相應(yīng)的采樣比例λ_t，由此能夠得到訓(xùn)練集的時間衰減采樣比例序列{λ₁,λ₂,...,λ_t,...,λ_m}，根據(jù)采樣比例序列{λ₁,λ₂,...,λ_t,...,λ_m}得到訓(xùn)練集的m份采樣數(shù)據(jù)：記T_t的少數(shù)類集合為p_t，多數(shù)類集合為q_t，|q_t|為q_t包含的記錄總數(shù)，然后根據(jù)采樣比例λ_t從q_t中隨機抽取出λ_t|q_t|數(shù)量的集合，記為q′_t；記從T_t采樣出的數(shù)據(jù)集為S_t，則有S_t＝p_t∪q′_t，記最終的第i(0≤i≤m)份樣本集為D_t，則D_t由公式得到，如此就能夠得到需要的m份采樣數(shù)據(jù){D₁,D₂,...,D_t,...,D_m}；

S4、混合模型構(gòu)建

S4.1、正常用戶建模

根據(jù)步驟S2的集合SET，得到步驟S3構(gòu)建的m份抽樣樣本序列{D₁,D₂,...,D_t,...,D_m}后，分別為每個樣本集D_t訓(xùn)練邏輯回歸模型M_t，由此得到m個邏輯回歸模型{M₁,M₂,...,M_t,...,M_m}；

S4.2、異常用戶建模

根據(jù)步驟S2的集合SET'，確定好和SET一樣的訓(xùn)練集和測試集日期，用所有訓(xùn)練數(shù)據(jù)訓(xùn)練出邏輯回歸模型M'；

S4.3、點擊預(yù)測

根據(jù)步驟S2得到的正常用戶集合U，異常用戶集合U'，針對每一條用戶瀏覽請求，若其用戶UID_i∈U，記步驟S4.1的邏輯回歸模型M_t的預(yù)測值為ε_t，使用時間衰減的方式進行廣告點擊概率的融合，將時間因子引進模型權(quán)重的計算中，根據(jù)步驟S3中得到的采樣比例序列{λ₁,λ₂,...,λ_t,...,λ_m}以及邏輯回歸模型{M₁,M₂,...,M_t,...,M_m}，在模型融合時，分別為每個邏輯回歸模型M_t賦予時間衰減的參數(shù)，具體地，記采樣比例序列元素之和為將{λ₁,λ₂,...,λ_t,...,λ_m}的每一個元素進行歸一化，記λ_t歸一化之后的值為λ_t'，則記最終的預(yù)估概率值為E，則若用戶UID_i∈U'，則直接用模型M'得到該用戶的廣告點擊概率。