本發(fā)明屬于一種基于混合學(xué)習(xí)模型的dsp實(shí)時(shí)競(jìng)價(jià)廣告系統(tǒng)，屬于計(jì)算機(jī)領(lǐng)域。

背景技術(shù)：

廣告主對(duì)于移動(dòng)程序化購(gòu)買(mǎi)的需求也在不斷加強(qiáng)，推動(dòng)了移動(dòng)程序化購(gòu)買(mǎi)市場(chǎng)的整體發(fā)展。程序化購(gòu)買(mǎi)是開(kāi)發(fā)者進(jìn)行流量變現(xiàn)的重要渠道之一，開(kāi)發(fā)者對(duì)于庫(kù)存資源的開(kāi)放意愿提高，部分明星應(yīng)用heroapp積極將資源轉(zhuǎn)向程序化購(gòu)買(mǎi)，從而推動(dòng)了市場(chǎng)規(guī)模，dsp為廣告主提供一個(gè)綜合性的操作平臺(tái)，廣告主可以通過(guò)一個(gè)平臺(tái)管理多個(gè)渠道的流量來(lái)源，避免復(fù)雜的媒體購(gòu)買(mǎi)方式帶來(lái)的資源浪費(fèi)。dsp利用rtb可以從廣告交易平臺(tái)中實(shí)時(shí)的按需購(gòu)買(mǎi)廣告。并以受眾為中心的購(gòu)買(mǎi)模式

現(xiàn)有rtb競(jìng)價(jià)主要從以下幾個(gè)因素進(jìn)行決策：

1.受眾定向投放技術(shù)

客戶根據(jù)受眾的人口統(tǒng)計(jì)學(xué)特征和興趣愛(ài)好采買(mǎi)受眾，包括地理位置、年齡、性別、職業(yè)/行業(yè)、收入狀態(tài)、婚姻狀態(tài)、教育程度和興趣愛(ài)好從adexchange的流量中來(lái)采買(mǎi)受眾；

2.反作弊技術(shù)

根據(jù)當(dāng)前用戶訪問(wèn)頁(yè)面內(nèi)容相關(guān)性，和廣告進(jìn)行匹配，做出投放；

3.流量質(zhì)量評(píng)估

分析流量請(qǐng)求的低價(jià)的分布情況，即請(qǐng)求廣告位的價(jià)格的概率分布。

4.ctr預(yù)估

通過(guò)采集的投放數(shù)據(jù)培訓(xùn)ctr預(yù)估的模型來(lái)預(yù)測(cè)廣告的點(diǎn)擊率；

5.在線機(jī)器學(xué)習(xí)(onlinelearning)

不需要維護(hù)一個(gè)固定的訓(xùn)練集，每次新數(shù)據(jù)來(lái)，學(xué)習(xí)更新模型，然后繼續(xù)接收新數(shù)據(jù)，繼續(xù)更新模型。不必要一定有訓(xùn)練的過(guò)程，可以一邊預(yù)測(cè)的同時(shí)一邊訓(xùn)練；

6.離線機(jī)器學(xué)習(xí)(batchlearning)

一次性批量輸入給學(xué)習(xí)算法.先用訓(xùn)練集進(jìn)行訓(xùn)練，然后才進(jìn)行預(yù)測(cè)，這種方式訓(xùn)練的模型上線后，更新的周期會(huì)比較長(zhǎng)(一般是一天，效率高的時(shí)候?yàn)橐恍r(shí))，這種模型上線后，一般是靜態(tài)的(一段時(shí)間內(nèi)不會(huì)改變)，不會(huì)與線上的狀況有任何互動(dòng)，假設(shè)預(yù)測(cè)錯(cuò)了，只能在下一次更新的時(shí)候完成更正。

針對(duì)廣告出價(jià)流程，以模塊為單位，進(jìn)行描述：

(一)出價(jià)模塊

1.出價(jià)請(qǐng)求反作弊處理；

判斷請(qǐng)求的流量是否為作弊流量或者是歷史投放證明的低價(jià)值請(qǐng)求；

如果請(qǐng)求為作弊請(qǐng)求或者為低價(jià)值的請(qǐng)求，則放棄此次競(jìng)價(jià)，否則到第2步；

2.廣告過(guò)濾

1)廣告加載；

根據(jù)廣告位信息加載可投放的廣告；

2)廣告過(guò)濾

判斷請(qǐng)求的信息是否滿足廣告設(shè)置的定投條件，包括是否為定投的設(shè)備信息、定投的應(yīng)用，定投的應(yīng)用類(lèi)型、是否在應(yīng)用黑名單中。

設(shè)備信息：機(jī)型、品牌、制造商、設(shè)備類(lèi)型、網(wǎng)絡(luò)類(lèi)型、運(yùn)營(yíng)商、操作系統(tǒng)版本；

3.受眾判別

根據(jù)出價(jià)請(qǐng)求或者用戶的標(biāo)識(shí)，通過(guò)表示加載用戶的人口統(tǒng)計(jì)學(xué)信息和興趣愛(ài)好的標(biāo)簽；輪詢廣告，判斷用戶是否為廣告定向的受眾，如果是，在加入到候選列表，如果不是，在繼續(xù)輪詢知道遍歷所有可投放的廣告；

4.ctr預(yù)測(cè)

通過(guò)出價(jià)的信息和廣告信息，使用基于歷史數(shù)據(jù)通過(guò)機(jī)器學(xué)習(xí)培訓(xùn)的ctr預(yù)測(cè)模型，預(yù)測(cè)所有廣告在請(qǐng)求上下文的約束下的各自的點(diǎn)擊率ctr；

5.根據(jù)3計(jì)算的廣告點(diǎn)擊率計(jì)算所有廣告投放的roe

6.根據(jù)計(jì)算的roe來(lái)對(duì)候選的廣告進(jìn)行排序；

7.在5中根據(jù)roe排序的廣告中選取roe最高的廣告,將選擇的廣告和出價(jià)借個(gè)返回給adx；

(二)模型培訓(xùn)模塊

1.采集競(jìng)價(jià)請(qǐng)求的數(shù)據(jù)，包括競(jìng)價(jià)數(shù)據(jù)、贏價(jià)數(shù)據(jù)、展示數(shù)據(jù)，監(jiān)測(cè)數(shù)據(jù)；

2.對(duì)數(shù)據(jù)進(jìn)行預(yù)處理，包括處理異常處理和數(shù)據(jù)轉(zhuǎn)換，使之對(duì)培訓(xùn)模型更加友好；

3.使用處理后的批量數(shù)據(jù)通過(guò)機(jī)器學(xué)習(xí)算法來(lái)訓(xùn)練離線的模型，得到可信的模型后提供給出價(jià)引擎來(lái)預(yù)測(cè)廣告的ctr。

現(xiàn)在基于rtb競(jìng)價(jià)的dsp在廣告投放的關(guān)鍵的ctr預(yù)測(cè)的模型使用上缺少足夠多的靈活性，很多都是基于歷史數(shù)據(jù)通過(guò)離線的機(jī)器學(xué)習(xí)技術(shù)來(lái)訓(xùn)練ctr預(yù)估的模型，對(duì)于一個(gè)新的dsp或者對(duì)于新對(duì)接的adx，缺少歷史數(shù)據(jù)來(lái)訓(xùn)練模型，在這種情況下，使用離線歷史數(shù)據(jù)來(lái)培訓(xùn)模型顯示不顯示，這就需要考慮使用在線的機(jī)器學(xué)習(xí)方式來(lái)培訓(xùn)ctr預(yù)測(cè)模型，比如在線學(xué)習(xí)的機(jī)器學(xué)習(xí)方式，可以變預(yù)測(cè)變訓(xùn)練，當(dāng)前對(duì)模型的使用和算法缺少靈活性。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明所要解決的技術(shù)問(wèn)題是提供一種基于混合學(xué)習(xí)模型的dsp實(shí)時(shí)競(jìng)價(jià)廣告系統(tǒng)，用于解決現(xiàn)有技術(shù)存在的問(wèn)題。

本發(fā)明解決上述技術(shù)問(wèn)題所采取的技術(shù)方案如下：

一種基于混合學(xué)習(xí)模型的dsp實(shí)時(shí)競(jìng)價(jià)廣告系統(tǒng)，包括：rtb廣告出價(jià)引擎模塊、離線模型訓(xùn)練模塊和在線模型訓(xùn)練模塊；

其中，所述rtb廣告出價(jià)引擎模塊用于連接所述離線模型訓(xùn)練模塊和在線模型訓(xùn)練模塊，并結(jié)合兩者或者之一生成的ctr模型，調(diào)用其ctr預(yù)測(cè)引擎進(jìn)行預(yù)測(cè)相應(yīng)廣告的ctr值，進(jìn)行相應(yīng)的廣告投放。

優(yōu)選的是，所述離線模塊訓(xùn)練模塊，包括：

離線采集數(shù)據(jù)單元，用于采集競(jìng)價(jià)請(qǐng)求的數(shù)據(jù)，包括競(jìng)價(jià)數(shù)據(jù)、贏價(jià)數(shù)據(jù)、展示數(shù)據(jù)，監(jiān)測(cè)數(shù)據(jù)；

離線數(shù)據(jù)預(yù)處理單元，用于對(duì)數(shù)據(jù)進(jìn)行預(yù)處理，包括處理異常處理和數(shù)據(jù)轉(zhuǎn)換，使之對(duì)培訓(xùn)模型更加友好；

離線訓(xùn)練單元，用于使用處理后的批量數(shù)據(jù)通過(guò)機(jī)器學(xué)習(xí)算法來(lái)訓(xùn)練離線的模型，得到可信的模型后提供給所述rtb廣告出價(jià)引擎模塊以預(yù)測(cè)廣告的ctr。

優(yōu)選的是，所述在線數(shù)據(jù)訓(xùn)練模塊，包括：

在線采集數(shù)據(jù)單元，用于接收競(jìng)價(jià)請(qǐng)求后續(xù)的投放廣告的贏價(jià)、展示和點(diǎn)擊的數(shù)據(jù)；

在線數(shù)據(jù)預(yù)處理單元，用于將數(shù)據(jù)預(yù)測(cè)成預(yù)測(cè)模型可接受的數(shù)據(jù)；

在線訓(xùn)練單元，用于將數(shù)據(jù)給在線機(jī)器學(xué)習(xí)的訓(xùn)練模型，生成新的模型，并同步更新引擎中的ctr預(yù)估模型。

優(yōu)選的是，所述rtb廣告出價(jià)引擎模塊，具體包括：

廣告加載單元，用于根據(jù)廣告位信息加載可投放的廣告；

廣告過(guò)濾單元，用于判斷請(qǐng)求的信息是否滿足廣告設(shè)置的定投條件，包括是否為定投的設(shè)備信息、定投的應(yīng)用，定投的應(yīng)用類(lèi)型、是否在應(yīng)用黑名單中，其中，設(shè)備信息：機(jī)型、品牌、制造商、設(shè)備類(lèi)型、網(wǎng)絡(luò)類(lèi)型、運(yùn)營(yíng)商、操作系統(tǒng)版本；

反作弊處理單元，包括：判斷請(qǐng)求的流量是否為作弊流量或者是歷史投放證明的低價(jià)值請(qǐng)求，如果請(qǐng)求為作弊請(qǐng)求或者為低價(jià)值的請(qǐng)求，則放棄此次競(jìng)價(jià)。

優(yōu)選的是，還包括：

受眾判別單元，用于根據(jù)出價(jià)請(qǐng)求或者用戶的標(biāo)識(shí)，通過(guò)表示加載用戶的人口統(tǒng)計(jì)學(xué)信息和興趣愛(ài)好的標(biāo)簽；輪詢廣告，判斷用戶是否為廣告定向的受眾，如果是，在加入到候選列表，如果不是，在繼續(xù)輪詢知道遍歷所有可投放的廣告。

優(yōu)選的是，加載模型單元，用于根據(jù)請(qǐng)求來(lái)源的adx，加載設(shè)置的ctr預(yù)測(cè)的模型；

判別模型策略是離線還是在線，如果在線，使用的算法；如果離線，判別模型使用的算法；

crt預(yù)估單元，用于當(dāng)使用的為離線生成的ctr模型，在根據(jù)請(qǐng)求的上下文、請(qǐng)求的用戶信息和廣告來(lái)調(diào)用ctr預(yù)估模型來(lái)計(jì)算廣告的點(diǎn)擊率；

使用的為在線生成的ctr模型，則根據(jù)請(qǐng)求的上下文、請(qǐng)求的用戶信息和廣告來(lái)調(diào)用ctr預(yù)估模型來(lái)計(jì)算廣告的點(diǎn)擊率，并使用數(shù)據(jù)調(diào)用在線機(jī)器學(xué)習(xí)模塊來(lái)在線更新模型，并獲取新的模型；

排序單元，用于根據(jù)計(jì)算的roe來(lái)對(duì)候選的廣告進(jìn)行排序；

廣告選擇單元，用于根據(jù)roe排序的廣告中選取roe最高的廣告,將選擇的廣告和出價(jià)借個(gè)返回給adx。

優(yōu)選的是，所述rtb廣告出價(jià)引擎模塊，還包括：

統(tǒng)計(jì)單元，用于統(tǒng)計(jì)廣告展示、點(diǎn)擊監(jiān)測(cè)上報(bào)的數(shù)據(jù)來(lái)統(tǒng)計(jì)廣告的投放效果，展示數(shù)、點(diǎn)擊數(shù)、ctr。

優(yōu)選的是，還包括：

ctr預(yù)測(cè)模型訓(xùn)練模塊，用于選擇已經(jīng)有歷史投放數(shù)據(jù)的adexchange，同步離線的批量數(shù)據(jù)進(jìn)行機(jī)器學(xué)習(xí)的訓(xùn)練；

或者，在線學(xué)習(xí)的ftrl模型，然后更新競(jìng)價(jià)系統(tǒng)模型，給下一個(gè)競(jìng)價(jià)請(qǐng)求來(lái)使用。

本發(fā)明的其它特征和優(yōu)點(diǎn)將在隨后的說(shuō)明書(shū)中闡述，并且，部分地從說(shuō)明書(shū)中變得顯而易見(jiàn)，或者通過(guò)實(shí)施本發(fā)明而了解。本發(fā)明的目的和其他優(yōu)點(diǎn)可通過(guò)在所寫(xiě)的說(shuō)明書(shū)、權(quán)利要求書(shū)、以及附圖中所特別指出的結(jié)構(gòu)來(lái)實(shí)現(xiàn)和獲得。

附圖說(shuō)明

下面結(jié)合附圖對(duì)本發(fā)明進(jìn)行詳細(xì)的描述，以使得本發(fā)明的上述優(yōu)點(diǎn)更加明確。其中，

圖1是現(xiàn)有技術(shù)的示意圖；

圖2是本發(fā)明的系統(tǒng)的示意圖；

圖3是本發(fā)明的系統(tǒng)的部分工作原理示意圖；

圖4是本發(fā)明系統(tǒng)的部分工作原理示意圖。

具體實(shí)施方式

以下將結(jié)合附圖及實(shí)施例來(lái)詳細(xì)說(shuō)明本發(fā)明的實(shí)施方式，借此對(duì)本發(fā)明如何應(yīng)用技術(shù)手段來(lái)解決技術(shù)問(wèn)題，并達(dá)成技術(shù)效果的實(shí)現(xiàn)過(guò)程能充分理解并據(jù)以實(shí)施。需要說(shuō)明的是，只要不構(gòu)成沖突，本發(fā)明中的各個(gè)實(shí)施例以及各實(shí)施例中的各個(gè)特征可以相互結(jié)合，所形成的技術(shù)方案均在本發(fā)明的保護(hù)范圍之內(nèi)。

另外，在附圖的流程圖示出的步驟可以在諸如一組計(jì)算機(jī)可執(zhí)行指令的計(jì)算機(jī)系統(tǒng)中執(zhí)行，并且，雖然在流程圖中示出了邏輯順序，但是在某些情況下，可以以不同于此處的順序執(zhí)行所示出或描述的步驟。

cpm：按廣告每千次被展現(xiàn)，成為一個(gè)cpm；

rtb：實(shí)時(shí)競(jìng)價(jià)

ctr:點(diǎn)擊轉(zhuǎn)化率

adx：廣告交易市場(chǎng)

dsp：廣告需求方平臺(tái)

roe：投資回報(bào)率

gbdt：隨機(jī)梯度下降樹(shù)

lr：邏輯回歸算法

libfm：因子機(jī)

rf:隨機(jī)森林

ftrl：followtheregularizedleader

對(duì)于一個(gè)競(jìng)價(jià)的dsp系統(tǒng)，需要綜合考慮歷史和未來(lái)的流量去兼顧兩者的ctr的預(yù)估。即根據(jù)實(shí)際的情況靈活的配置算法的訓(xùn)練方式，并能有一套模型選擇的系統(tǒng)

如圖2所示，一種基于混合學(xué)習(xí)模型的dsp實(shí)時(shí)競(jìng)價(jià)廣告系統(tǒng)，包括：rtb廣告出價(jià)引擎模塊、離線模型訓(xùn)練模塊和在線模型訓(xùn)練模塊；

其中，所述rtb廣告出價(jià)引擎模塊用于連接所述離線模型訓(xùn)練模塊和在線模型訓(xùn)練模塊，并結(jié)合兩者或者之一生成的ctr模型，調(diào)用其ctr預(yù)測(cè)引擎進(jìn)行預(yù)測(cè)相應(yīng)廣告的ctr值，進(jìn)行相應(yīng)的廣告投放。

優(yōu)選的是，所述離線模塊訓(xùn)練模塊，包括：

離線采集數(shù)據(jù)單元，用于采集競(jìng)價(jià)請(qǐng)求的數(shù)據(jù)，包括競(jìng)價(jià)數(shù)據(jù)、贏價(jià)數(shù)據(jù)、展示數(shù)據(jù)，監(jiān)測(cè)數(shù)據(jù)；

離線數(shù)據(jù)預(yù)處理單元，用于對(duì)數(shù)據(jù)進(jìn)行預(yù)處理，包括處理異常處理和數(shù)據(jù)轉(zhuǎn)換，使之對(duì)培訓(xùn)模型更加友好；

離線訓(xùn)練單元，用于使用處理后的批量數(shù)據(jù)通過(guò)機(jī)器學(xué)習(xí)算法來(lái)訓(xùn)練離線的模型，得到可信的模型后提供給所述rtb廣告出價(jià)引擎模塊以預(yù)測(cè)廣告的ctr。

優(yōu)選的是，所述在線數(shù)據(jù)訓(xùn)練模塊，包括：

在線采集數(shù)據(jù)單元，用于接收競(jìng)價(jià)請(qǐng)求后續(xù)的投放廣告的贏價(jià)、展示和點(diǎn)擊的數(shù)據(jù)；

在線數(shù)據(jù)預(yù)處理單元，用于將數(shù)據(jù)預(yù)測(cè)成預(yù)測(cè)模型可接受的數(shù)據(jù)；

在線訓(xùn)練單元，用于將數(shù)據(jù)給在線機(jī)器學(xué)習(xí)的訓(xùn)練模型，生成新的模型，并同步更新引擎中的ctr預(yù)估模型。

優(yōu)選的是，所述rtb廣告出價(jià)引擎模塊，具體包括：

廣告加載單元，用于根據(jù)廣告位信息加載可投放的廣告；

廣告過(guò)濾單元，用于判斷請(qǐng)求的信息是否滿足廣告設(shè)置的定投條件，包括是否為定投的設(shè)備信息、定投的應(yīng)用，定投的應(yīng)用類(lèi)型、是否在應(yīng)用黑名單中，其中，設(shè)備信息：機(jī)型、品牌、制造商、設(shè)備類(lèi)型、網(wǎng)絡(luò)類(lèi)型、運(yùn)營(yíng)商、操作系統(tǒng)版本；

反作弊處理單元，包括：判斷請(qǐng)求的流量是否為作弊流量或者是歷史投放證明的低價(jià)值請(qǐng)求，如果請(qǐng)求為作弊請(qǐng)求或者為低價(jià)值的請(qǐng)求，則放棄此次競(jìng)價(jià)。

優(yōu)選的是，還包括：

受眾判別單元，用于根據(jù)出價(jià)請(qǐng)求或者用戶的標(biāo)識(shí)，通過(guò)表示加載用戶的人口統(tǒng)計(jì)學(xué)信息和興趣愛(ài)好的標(biāo)簽；輪詢廣告，判斷用戶是否為廣告定向的受眾，如果是，在加入到候選列表，如果不是，在繼續(xù)輪詢知道遍歷所有可投放的廣告。

優(yōu)選的是，加載模型單元，用于根據(jù)請(qǐng)求來(lái)源的adx，加載設(shè)置的ctr預(yù)測(cè)的模型；

判別模型策略是離線還是在線，如果在線，使用的算法；如果離線，判別模型使用的算法；

crt預(yù)估單元，用于當(dāng)使用的為離線生成的ctr模型，在根據(jù)請(qǐng)求的上下文、請(qǐng)求的用戶信息和廣告來(lái)調(diào)用ctr預(yù)估模型來(lái)計(jì)算廣告的點(diǎn)擊率；

使用的為在線生成的ctr模型，則根據(jù)請(qǐng)求的上下文、請(qǐng)求的用戶信息和廣告來(lái)調(diào)用ctr預(yù)估模型來(lái)計(jì)算廣告的點(diǎn)擊率，并使用數(shù)據(jù)調(diào)用在線機(jī)器學(xué)習(xí)模塊來(lái)在線更新模型，并獲取新的模型；

排序單元，用于根據(jù)計(jì)算的roe來(lái)對(duì)候選的廣告進(jìn)行排序；

廣告選擇單元，用于根據(jù)roe排序的廣告中選取roe最高的廣告,將選擇的廣告和出價(jià)借個(gè)返回給adx。

優(yōu)選的是，所述rtb廣告出價(jià)引擎模塊，還包括：

統(tǒng)計(jì)單元，用于統(tǒng)計(jì)廣告展示、點(diǎn)擊監(jiān)測(cè)上報(bào)的數(shù)據(jù)來(lái)統(tǒng)計(jì)廣告的投放效果，展示數(shù)、點(diǎn)擊數(shù)、ctr。

優(yōu)選的是，還包括：

ctr預(yù)測(cè)模型訓(xùn)練模塊，用于選擇已經(jīng)有歷史投放數(shù)據(jù)的adexchange，同步離線的批量數(shù)據(jù)進(jìn)行機(jī)器學(xué)習(xí)的訓(xùn)練；

或者，在線學(xué)習(xí)的ftrl模型，然后更新競(jìng)價(jià)系統(tǒng)模型，給下一個(gè)競(jìng)價(jià)請(qǐng)求來(lái)使用。

技術(shù)實(shí)現(xiàn)原理，如下：

第一步：針對(duì)不同的adx配置不同的使用不同的機(jī)器學(xué)習(xí)訓(xùn)練方式生成的算法，如果一個(gè)adx有相關(guān)的歷史數(shù)據(jù)，并且已經(jīng)通過(guò)離線的機(jī)器學(xué)習(xí)過(guò)程配訓(xùn)過(guò)ctr出價(jià)的算法，并且算法的可信度在設(shè)置的置信區(qū)間，則配置使用離線數(shù)據(jù)訓(xùn)練生成的ctr預(yù)測(cè)算法；如果為新對(duì)接的adx,當(dāng)前沒(méi)有可以使用的通過(guò)離線數(shù)據(jù)批量訓(xùn)練的ctr預(yù)測(cè)算法可以用，則配置此adx使用在線的機(jī)器學(xué)習(xí)算法。

第二步：一個(gè)adx的發(fā)送一個(gè)廣告的競(jìng)價(jià)請(qǐng)求，首先對(duì)流量做作弊監(jiān)測(cè)，如果是作弊流量做放棄出價(jià)；對(duì)于非作弊請(qǐng)求，先加載廣告，根據(jù)請(qǐng)求的上下問(wèn)和廣告設(shè)置要求的上下文的設(shè)置來(lái)過(guò)濾廣告，選擇可繼續(xù)投放的廣告，先根據(jù)請(qǐng)求里面的用戶id來(lái)獲取用戶的人口統(tǒng)計(jì)學(xué)信息和標(biāo)簽，如果不是廣告選擇受眾，則廣告不對(duì)請(qǐng)求出價(jià)，否則，則通過(guò)請(qǐng)求和廣告來(lái)進(jìn)行ctr預(yù)測(cè)

第三步：根據(jù)請(qǐng)求來(lái)源來(lái)判斷請(qǐng)求來(lái)自于那個(gè)adx。獲取使用的ctr預(yù)估的模型，如果使用離線批量數(shù)據(jù)培訓(xùn)生成的ctr模型，則調(diào)用其ctr預(yù)測(cè)引擎進(jìn)行預(yù)測(cè)，如果配置的是在線機(jī)器學(xué)習(xí)模型，這將參數(shù)傳遞給在線機(jī)器學(xué)習(xí)ctr模型，獲取預(yù)測(cè)值，同時(shí)更新模型參數(shù)

對(duì)于離線模型的更新，隨時(shí)數(shù)據(jù)不但增長(zhǎng)，安時(shí)間間隔更新模型，是模型更加準(zhǔn)確。

當(dāng)用戶請(qǐng)求訪問(wèn)時(shí)，分析其訪問(wèn)行為，其行為包括如下：請(qǐng)求廣告、統(tǒng)計(jì)展示廣告、統(tǒng)計(jì)點(diǎn)擊廣告；針對(duì)不同行為，走不同處理流程。請(qǐng)求廣告時(shí)，為用戶在合適時(shí)間選取一個(gè)合適廣告，展示到用戶面前，便于滿足用戶當(dāng)時(shí)需求或興趣，提高用戶體驗(yàn)，減少用戶信息檢索成本。針對(duì)統(tǒng)計(jì)效果，根據(jù)實(shí)際效果，做動(dòng)態(tài)調(diào)整和優(yōu)化。

(一)rtb廣告出價(jià)引擎模塊

1.出價(jià)請(qǐng)求反作弊處理

判斷請(qǐng)求的流量是否為作弊流量或者是歷史投放證明的低價(jià)值請(qǐng)求；

如果請(qǐng)求為作弊請(qǐng)求或者為低價(jià)值的請(qǐng)求，則放棄此次競(jìng)價(jià)，否則到第2步；

2.廣告過(guò)濾

3)廣告加載

根據(jù)廣告位信息加載可投放的廣告；

4)廣告過(guò)濾

判斷請(qǐng)求的信息是否滿足廣告設(shè)置的定投條件，包括是否為定投的設(shè)備信息、定投的應(yīng)用，定投的應(yīng)用類(lèi)型、是否在應(yīng)用黑名單中。

設(shè)備信息：機(jī)型、品牌、制造商、設(shè)備類(lèi)型、網(wǎng)絡(luò)類(lèi)型、運(yùn)營(yíng)商、操作系統(tǒng)版本；

3.受眾判別

根據(jù)出價(jià)請(qǐng)求或者用戶的標(biāo)識(shí)，通過(guò)表示加載用戶的人口統(tǒng)計(jì)學(xué)信息和興趣愛(ài)好的標(biāo)簽；輪詢廣告，判斷用戶是否為廣告定向的受眾，如果是，在加入到候選列表，如果不是，在繼續(xù)輪詢知道遍歷所有可投放的廣告；

4.加載使用的模型

根據(jù)請(qǐng)求來(lái)源的adx，加載設(shè)置的ctr預(yù)測(cè)的模型；

5.判別使用的模型

判別模型策略是離線還是在線，如果在線，使用的算法(ftrl)；如果離線，判別模型使用的算法(gbdt+lr,rf+lr，gbdt+libfm、rf+libfm)；

6.crt預(yù)估

6.1步驟5)選擇的ctr預(yù)估使用的為離線生成的ctr模型，在根據(jù)請(qǐng)求的上下文、請(qǐng)求的用戶信息和廣告來(lái)調(diào)用ctr預(yù)估模型來(lái)計(jì)算廣告的點(diǎn)擊率

6.2步驟5)選擇的ctr預(yù)估使用的為在線生成的ctr模型，在根據(jù)請(qǐng)求的上下文、請(qǐng)求的用戶信息和廣告來(lái)調(diào)用ctr預(yù)估模型來(lái)計(jì)算廣告的點(diǎn)擊率，并使用數(shù)據(jù)調(diào)用在線機(jī)器學(xué)習(xí)模塊來(lái)在線更新模型，并獲取新的模型；

7.根據(jù)計(jì)算的roe來(lái)對(duì)候選的廣告進(jìn)行排序

8.在5中根據(jù)roe排序的廣告中選取roe最高的廣告,將選擇的廣告和出價(jià)借個(gè)返回給adx；

(二)離線模型培訓(xùn)模塊

1.采集競(jìng)價(jià)請(qǐng)求的數(shù)據(jù)，包括競(jìng)價(jià)數(shù)據(jù)、贏價(jià)數(shù)據(jù)、展示數(shù)據(jù)，監(jiān)測(cè)數(shù)據(jù)

2.對(duì)數(shù)據(jù)進(jìn)行預(yù)處理，包括處理異常處理和數(shù)據(jù)轉(zhuǎn)換，使之對(duì)培訓(xùn)模型更加友好；

3.使用處理后的批量數(shù)據(jù)通過(guò)機(jī)器學(xué)習(xí)算法來(lái)訓(xùn)練離線的模型，得到可信的模型后提供給出價(jià)引擎來(lái)預(yù)測(cè)廣告的ctr。

(三)在線數(shù)據(jù)訓(xùn)練模塊

1.接收競(jìng)價(jià)請(qǐng)求后續(xù)的投放廣告的贏價(jià)、展示和點(diǎn)擊的數(shù)據(jù)

2.將數(shù)據(jù)預(yù)測(cè)成預(yù)測(cè)模型可接受的數(shù)據(jù)

3.將數(shù)據(jù)給在線機(jī)器學(xué)習(xí)的訓(xùn)練模型，生成新的模型，并同步更新引擎中的ctr預(yù)估模型

其中，系統(tǒng)預(yù)先根據(jù)adexchange的情況來(lái)配置通過(guò)批量學(xué)習(xí)訓(xùn)練的ctr預(yù)測(cè)的模型

1)模型訓(xùn)練

a)機(jī)器學(xué)習(xí)方式的選擇

選擇已經(jīng)有歷史投放數(shù)據(jù)的adexchange，同步離線的批量數(shù)據(jù)進(jìn)行機(jī)器學(xué)習(xí)的訓(xùn)練

b)數(shù)據(jù)預(yù)處理

從log文件中加載歷史數(shù)據(jù)，對(duì)數(shù)據(jù)進(jìn)行清洗和采樣

c)使用采樣的批量數(shù)據(jù)來(lái)選擇ctr預(yù)測(cè)的模型

模型訓(xùn)練和選擇：使用gbdt+lr、rf+lr、gbdt+libfm、rf+libfm做候選算法，以上算法經(jīng)過(guò)培訓(xùn)后，在測(cè)試數(shù)據(jù)上測(cè)試，使用logloss作為評(píng)估指標(biāo)，選擇logloss最小的算法作為ctr預(yù)測(cè)算法，最終選擇gbdt+lr作為對(duì)選定的adexchange的ctr預(yù)測(cè)的算法

2)模型配置

為選擇的adexchange配置使用的模型為在離線批量數(shù)據(jù)選擇的ctr預(yù)測(cè)模型gbdt+lr

3)廣告發(fā)布

針對(duì)選擇的adexchange發(fā)布多條廣告來(lái)為rtb出價(jià)，設(shè)置廣告的受眾(區(qū)域、性別、年齡、婚姻狀況、職業(yè)、興趣愛(ài)好)和對(duì)請(qǐng)求上下文的要求(媒介類(lèi)型、設(shè)備信息)

4)廣告競(jìng)價(jià)

a)出價(jià)請(qǐng)求反作弊處理

判斷請(qǐng)求的流量是否為作弊流量(來(lái)自于黑名單的app等等)或者是歷史投放證明的低價(jià)值請(qǐng)求(ctr低于設(shè)置的閥值)

如果請(qǐng)求為作弊請(qǐng)求或者為低價(jià)值的請(qǐng)求，則放棄此次競(jìng)價(jià)，否則到第b)步

b)廣告加載

根據(jù)廣告位信息加載可投放的廣告

c)廣告過(guò)濾

判斷請(qǐng)求的信息是否滿足廣告設(shè)置的定投條件，包括是否為定投的設(shè)備信息、定投的應(yīng)用，定投的應(yīng)用類(lèi)型、是否在應(yīng)用黑名單中。

設(shè)備信息：機(jī)型、品牌、制造商、設(shè)備類(lèi)型、網(wǎng)絡(luò)類(lèi)型、運(yùn)營(yíng)商、操作系統(tǒng)版本

d)受眾判別

根據(jù)出價(jià)請(qǐng)求或者用戶的標(biāo)識(shí)，通過(guò)表示加載用戶的人口統(tǒng)計(jì)學(xué)信息和興趣愛(ài)好的標(biāo)簽；輪詢廣告，判斷用戶是否為廣告定向的受眾，如果是，在加入到候選列表，如果不是，在繼續(xù)輪詢知道遍歷所有可投放的廣告

e)加載使用的模型

根據(jù)請(qǐng)求來(lái)源的adeexchange，加載設(shè)置的ctr預(yù)測(cè)的模型

f)判別使用的模型

判別模型策略為離線批量數(shù)據(jù)所訓(xùn)練的gbdt+lr模型算法，使用次算法在下一步進(jìn)行ctr的預(yù)測(cè)

g)crt預(yù)估

在根據(jù)請(qǐng)求的上下文、請(qǐng)求的用戶信息和廣告來(lái)調(diào)用gbdt+lr模型來(lái)計(jì)算廣告的點(diǎn)擊率

h)根據(jù)計(jì)算的roe來(lái)對(duì)候選的廣告進(jìn)行排序

在h)中根據(jù)roe排序的廣告中選取roe最高的廣告,將選擇的廣告和出價(jià)借個(gè)返回給adx

5)效果反饋

統(tǒng)計(jì)廣告展示、點(diǎn)擊監(jiān)測(cè)上報(bào)的數(shù)據(jù)來(lái)統(tǒng)計(jì)廣告的投放效果，展示數(shù)、點(diǎn)擊數(shù)、ctr(廣告的點(diǎn)擊率)

需要說(shuō)明的是，對(duì)于上述方法實(shí)施例而言，為了簡(jiǎn)單描述，故將其都表述為一系列的動(dòng)作組合，但是本領(lǐng)域技術(shù)人員應(yīng)該知悉，本申請(qǐng)并不受所描述的動(dòng)作順序的限制，因?yàn)橐罁?jù)本申請(qǐng)，某些步驟可以采用其他順序或者同時(shí)進(jìn)行。其次，本領(lǐng)域技術(shù)人員也應(yīng)該知悉，說(shuō)明書(shū)中所描述的實(shí)施例均屬于優(yōu)選實(shí)施例，所涉及的動(dòng)作和模塊并不一定是本申請(qǐng)所必須的。

本領(lǐng)域內(nèi)的技術(shù)人員應(yīng)明白，本申請(qǐng)的實(shí)施例可提供為方法、系統(tǒng)、或計(jì)算機(jī)程序產(chǎn)品。因此，本申請(qǐng)可采用完全硬件實(shí)施例、完全軟件實(shí)施例、或結(jié)合軟件和硬件方面的實(shí)施例的形式。

而且，本申請(qǐng)可采用在一個(gè)或多個(gè)其中包含有計(jì)算機(jī)可用程序代碼的計(jì)算機(jī)可用存儲(chǔ)介質(zhì)(包括但不限于磁盤(pán)存儲(chǔ)器、cd-rom、光學(xué)存儲(chǔ)器等)上實(shí)施的計(jì)算機(jī)程序產(chǎn)品的形式。

最后應(yīng)說(shuō)明的是：以上所述僅為本發(fā)明的優(yōu)選實(shí)施例而已，并不用于限制本發(fā)明，盡管參照前述實(shí)施例對(duì)本發(fā)明進(jìn)行了詳細(xì)的說(shuō)明，對(duì)于本領(lǐng)域的技術(shù)人員來(lái)說(shuō)，其依然可以對(duì)前述各實(shí)施例所記載的技術(shù)方案進(jìn)行修改，或者對(duì)其中部分技術(shù)特征進(jìn)行等同替換。凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。