專利名稱：預(yù)測廣告質(zhì)量的制作方法
技術(shù)領(lǐng)域：
這里所描述的實(shí)現(xiàn)一般地涉及在線廣告，更特別地涉及提供對在 線廣告質(zhì)量的預(yù)測性估計(jì)。
背景技術(shù)：
在線廣告系統(tǒng)寄放(host)可以對各種服務(wù)和/或產(chǎn)品做廣告的廣 告。這樣的廣告可以被呈現(xiàn)給訪問由廣告系統(tǒng)所寄放的文檔的用戶， 或者呈現(xiàn)給發(fā)出用于搜索文檔集的搜索查詢的用戶。廣告可以包括"創(chuàng)
意(creative)"，其包括與被廣告的服務(wù)和/或產(chǎn)品相關(guān)的文本、圖形 和/或圖像。該廣告還可以包括連至包含關(guān)于被廣告服務(wù)和或產(chǎn)品的細(xì) 節(jié)的廣告"定著(landing)文檔"的鏈接。當(dāng)特定創(chuàng)意引起用戶的興 趣時(shí)，該用戶可以選擇(或點(diǎn)擊)該創(chuàng)意，并且該相關(guān)鏈接使得用戶 的網(wǎng)頁瀏覽器訪問與該創(chuàng)意相關(guān)的"定著文檔"及相關(guān)鏈接。在下文 中，將用戶對廣告創(chuàng)意以及相關(guān)鏈接的選擇稱為"點(diǎn)擊"。
在線廣告系統(tǒng)通常為了記帳以及其他目的而跟蹤廣告點(diǎn)擊。跟蹤 廣告點(diǎn)擊的一個(gè)非計(jì)帳目的是試圖確定廣告質(zhì)量。該點(diǎn)進(jìn)率(CRT)是 用于確定廣告質(zhì)量的度量。CRT表示當(dāng)將給定的廣告創(chuàng)意呈現(xiàn)給用戶 時(shí)該給定的廣告獲得"被點(diǎn)擊"的次數(shù)的分?jǐn)?shù)。但是，廣告的CRT是 對廣告質(zhì)量的有缺陷的度量，因?yàn)樗魂P(guān)注于廣告創(chuàng)意而不是廣告對 象，即定著文檔。為了確定廣告是好還是壞，用戶需要點(diǎn)擊廣告，因 此發(fā)生/不發(fā)生點(diǎn)擊不足以確定廣告的質(zhì)量。 一些廣告由于它們具有很 好的創(chuàng)意而接收到許多點(diǎn)擊，但是定著文檔對于用戶來說卻是完全無 法令人滿意的或者不相關(guān)的。其他廣告接收到非常少的點(diǎn)擊(例如， 由于該廣告創(chuàng)意差)，但是每個(gè)點(diǎn)擊都讓用戶滿意。因而，現(xiàn)有的確 定與在線廣告相關(guān)的CRT提供了對廣告質(zhì)量的有缺陷的度量。
此外，在現(xiàn)有的在線廣告系統(tǒng)中，顯示給用戶的廣告以及廣告顯 示給用戶的次序完全基于廣告的CRT以及廣告商愿意為顯示其廣告而
支付的最大"每次點(diǎn)擊成本"(cost per click, CPC)。該CPC是廣告 商愿意支付給廣告發(fā)布者的數(shù)額，并且其基于該特定廣告接收到的選 擇(例如，點(diǎn)擊)的數(shù)量。就CTR被用作廣告質(zhì)量的替身來說，其由 于已經(jīng)闡述的原因而是不充分的。因而，現(xiàn)有的用于確定顯示哪個(gè)廣 告以及對廣告進(jìn)行分級的機(jī)制使用了一種對廣告質(zhì)量的有缺陷的度 量，其可能不向用戶提供最高質(zhì)量的廣告。

發(fā)明內(nèi)容
依照一個(gè)方面， 一種方法可以包括確定與對多個(gè)廣告的選擇相關(guān) 聯(lián)的質(zhì)量值，其中每個(gè)質(zhì)量值估計(jì)廣告為好廣告的可能性。該方法可 以進(jìn)一步包括聚合質(zhì)量值并使用所聚合的質(zhì)量值來預(yù)測廣告為好廣告 的將來的可能性。
依照另一個(gè)方面， 一種方法可以包括響應(yīng)于搜索查詢向用戶提 供一個(gè)或多個(gè)廣告；以及記錄與用戶對一個(gè)或多個(gè)廣告的選擇相關(guān)聯(lián) 的用戶行為。該方法可以進(jìn)一步包括記錄與一個(gè)或多個(gè)廣告中被選 擇的廣告相關(guān)聯(lián)、或者與搜索査詢相關(guān)聯(lián)的特征；以及使用統(tǒng)計(jì)模型 和所記錄的用戶行為來估計(jì)與所選擇的廣告相關(guān)聯(lián)的質(zhì)量分值。該方 法也可以包括聚合所估計(jì)的質(zhì)量分值并使用所聚合的質(zhì)量分值來預(yù)測 一個(gè)或多個(gè)廣告中的廣告的質(zhì)量。
依照其它的方面， 一種方法可以包括從用戶接收搜索查詢，并基 于該搜索査詢向用戶提供一組廣告。該方法可以進(jìn)一步包括從用戶接 收對于從一組廣告中選擇廣告的指示，并記錄與搜索査詢或者所選擇 的廣告相關(guān)聯(lián)的特征。該方法也可以包括使用所記錄的特征從存儲(chǔ)器 中檢索以往的質(zhì)量分值，并根據(jù)所檢索的以往的質(zhì)量分值來預(yù)測所選 擇的廣告的將來的質(zhì)量。


合并于本說明書并構(gòu)成本說明書一部分的附圖示出了本發(fā)明的一 個(gè)或多個(gè)實(shí)施例，并且與文字描述一起用于解釋本發(fā)明。在附圖中，
圖1和2是實(shí)現(xiàn)的總體示例圖，在該實(shí)現(xiàn)中，使用所觀測的用戶 行為和與一組廣告相關(guān)聯(lián)的已知質(zhì)量等級來構(gòu)建可被用于預(yù)測廣告質(zhì) 量的統(tǒng)計(jì)模型；
圖3是網(wǎng)絡(luò)的示例圖，在該網(wǎng)絡(luò)中可以實(shí)現(xiàn)符合本發(fā)明原理的系 統(tǒng)和方法；
圖4是依照符合本發(fā)明原理的實(shí)現(xiàn)的圖3的客戶端或服務(wù)器的示
例圖 ，
圖5是依照符合本發(fā)明原理的實(shí)現(xiàn)的用于構(gòu)建與對多個(gè)在線廣告 的選擇相關(guān)聯(lián)的用戶行為模型的示范性過程的流程圖6-13示出了相應(yīng)于所觀測或所記錄的用戶動(dòng)作的各種示范性會(huì) 話特征，它們可被用于構(gòu)建用于預(yù)測廣告質(zhì)量的統(tǒng)計(jì)模型；
圖14是依照符合本發(fā)明原理的實(shí)現(xiàn)的用于確定涉及廣告質(zhì)量的 預(yù)測值的示范性過程的流程圖15是用圖形表示符合本發(fā)明一個(gè)方面的圖14的示范性過程的
視圖16是用于存儲(chǔ)在圖14中所確定的預(yù)測值的示范性數(shù)據(jù)結(jié)構(gòu)的
視圖17是依照符合本發(fā)明原理的實(shí)現(xiàn)的用于預(yù)測廣告質(zhì)量的示范 性過程的流程圖18是用圖形表示符合本發(fā)明一個(gè)方面的圖17的示范性過程的
視圖19是依照符合本發(fā)明原理的實(shí)現(xiàn)的用于預(yù)測廣告質(zhì)量的示范 性過程的流程圖；以及
圖20是用圖形表示符合本發(fā)明一個(gè)方面的圖19的示范性過程的 視圖。
具體實(shí)施例方式
下面參照附圖來對本發(fā)明進(jìn)行詳細(xì)說明。在不同的附圖中，相同 的參考數(shù)字可以表示相同或類似的元件。而且，下面的詳細(xì)說明不限 制本發(fā)明。
與本發(fā)明的各方面一致的系統(tǒng)和方法可以使用與在線廣告的用戶 選擇相關(guān)聯(lián)的用戶行為的多個(gè)觀察(例如，實(shí)時(shí)觀察或者來自記錄用 戶的日志的觀察)，以與傳統(tǒng)的僅基于CTR的質(zhì)量確定相比更準(zhǔn)確地 估計(jì)廣告質(zhì)量?？梢允褂门c已知評級(rate)的廣告相關(guān)聯(lián)的質(zhì)量分值、 以及與這些已知評級的廣告的選擇(例如，"點(diǎn)擊")相關(guān)聯(lián)的相應(yīng) 測量的所觀測的用戶行為來構(gòu)造統(tǒng)計(jì)模型。隨后，可以使用該統(tǒng)計(jì)模 型來根據(jù)與未評級廣告選擇相關(guān)聯(lián)的所觀測的用戶行為來估計(jì)與該未 評級廣告相關(guān)聯(lián)的質(zhì)量。
如在此所使用的術(shù)語"文檔"應(yīng)被廣泛地解釋為包括任何機(jī)器可 讀以及機(jī)器可存儲(chǔ)的工作成果。文檔可以包括例如電子郵件、網(wǎng)頁或 網(wǎng)站、商務(wù)列表、文件、文件的組合、嵌有到其他文件的的連接的一 個(gè)或多個(gè)文件、新聞組貼子、博客、在線廣告等。文檔通常包括文本 信息，并且可以包括嵌入式信息(例如元信息、圖像、超鏈接等)禾口/ 或嵌入式指令(例如Javascript等)。如在此所使用的術(shù)語"鏈接"應(yīng) 被廣泛地解釋為包括從/到一個(gè)文檔到/從另一個(gè)文檔或者該相同文檔 另一部分的任意參考。
概述
圖1和圖2示出了實(shí)現(xiàn)的示范性概要圖，在該實(shí)現(xiàn)中，使用統(tǒng)計(jì) 模型和所觀測的與對廣告的選擇相關(guān)聯(lián)的用戶行為來估計(jì)預(yù)測值，進(jìn) 一步聚合該預(yù)測值以提供對于廣告質(zhì)量的將來的預(yù)測。該對于廣告質(zhì) 量的將來的預(yù)測可被用于對廣告過濾、排名或提升(promotion)。
如圖1所示，多個(gè)評級的廣告100-1至100-N (在此共同地稱作廣
告100)中的每一個(gè)可以與相應(yīng)的文檔105-1至105-N (在此共同地稱 作文檔105)相關(guān)聯(lián)。除了評級的廣告100外，每個(gè)文檔105可以包括 一組搜索結(jié)果(該結(jié)果是基于用戶提供的搜索査詢而由搜索引擎執(zhí)行 搜索獲得的)，并且還可以包括一個(gè)或多個(gè)廣告。每個(gè)廣告100可以 與評級數(shù)據(jù)120相關(guān)聯(lián)，該評級數(shù)據(jù)120是由已對每個(gè)評級的廣告100 的質(zhì)量進(jìn)行了評級的評級人提供的。每個(gè)廣告100可以對各種產(chǎn)品或 服務(wù)做廣告。
響應(yīng)于接收到廣告100，接收用戶可以基于廣告上顯示的"創(chuàng)意" 來選擇IIO廣告(例如，例如使用鼠標(biāo)在顯示的廣告上進(jìn)行"點(diǎn)擊")。 在廣告選擇110之后，使用嵌入在廣告100中的鏈接通過寄放該廣告 的服務(wù)器將廣告定著文檔115提供給選擇用戶。該廣告定著文檔115 可以提供在相應(yīng)廣告100中做廣告的產(chǎn)品和/或服務(wù)的細(xì)節(jié)。
在用戶進(jìn)行每個(gè)廣告選擇IIO之前、期間和/或之后，可以實(shí)時(shí)測 量在"會(huì)話"期間與每個(gè)廣告選擇110相關(guān)聯(lián)的會(huì)話特征125或者將 其記錄在存儲(chǔ)器中或磁盤上。會(huì)話可以包括在長于一個(gè)特定時(shí)間段內(nèi) 無中斷地發(fā)生的一組用戶動(dòng)作(例如，在長于三小時(shí)的時(shí)間段內(nèi)無中 斷地發(fā)生的一組用戶動(dòng)作)。
所測量的會(huì)話特征125可以包括任何類型的所觀察的用戶行為或 動(dòng)作。例如，會(huì)話特征125可以包括廣告選擇110的持續(xù)時(shí)間(例如， 在廣告100上"點(diǎn)擊"的持續(xù)時(shí)間)、在給定的廣告選擇之前和/或之 后其他廣告的選擇的數(shù)量、在給定的廣告選擇之前和/或之后搜索結(jié)果 的選擇的數(shù)量、在給定的廣告選擇之前和/或之后對其他類型結(jié)果(例 如，圖像、新聞、產(chǎn)品等)的選擇的數(shù)量、在給定的廣告選擇之前和/ 或之后文檔閱覽(例如，頁面閱覽)的數(shù)量(例如，在廣告選擇之前 和/或之后搜索結(jié)果的頁面閱覽)、在給定的廣告選擇之前和/或之后搜 索査詢的數(shù)量、與顯示廣告的用戶會(huì)話相關(guān)聯(lián)的查詢的數(shù)量、對同一 給定廣告進(jìn)行重復(fù)選擇的數(shù)量或者給定的廣告選擇是否為會(huì)話中的最
后選擇、會(huì)話中的最后廣告選擇、對于給定的搜索查詢的最后選擇或 對于給定的搜索查詢的最后廣告選擇的指示。與本發(fā)明的各方面一致， 可以使用上面沒有描述的其他類型的與廣告選擇相關(guān)聯(lián)的所觀察的用 戶行為。
利用與相應(yīng)評級的廣告100的每個(gè)廣告選擇110相關(guān)聯(lián)的所測量 的會(huì)話特征125以及廣告評級數(shù)據(jù)120，可以構(gòu)造統(tǒng)計(jì)模型130 (如下 面進(jìn)一步描述的)。該統(tǒng)計(jì)模型可以包括利用統(tǒng)計(jì)技術(shù)推導(dǎo)的概率模 型。這樣的技術(shù)可以包括例如邏輯回歸(logistic regression)、回歸樹、 提級的枝端(boosted stumps)或者任何其他統(tǒng)計(jì)建模技術(shù)。統(tǒng)計(jì)模型 130可以提供一個(gè)預(yù)測值，該預(yù)測值估計(jì)給定的廣告100是與廣告100 的用戶選擇相關(guān)聯(lián)的好的給定所測會(huì)話特征的可能性(例如，P (good ad|ad selection) =/g (session feaures))。
在構(gòu)建統(tǒng)計(jì)模型130之后，可以估計(jì)由一個(gè)或多個(gè)用戶選擇的未 評級廣告的廣告質(zhì)量?？梢园雅c文檔140相關(guān)聯(lián)且寄放于網(wǎng)絡(luò)中的服 務(wù)器上的未評級廣告135提供給訪問用戶。與未評級廣告135的用戶 選擇145相關(guān)聯(lián)的會(huì)話特征155可以被測量或記錄在存儲(chǔ)器中或磁盤 上，并且該測量可以被提供為統(tǒng)計(jì)模型130的輸入。給定所測量的會(huì) 話特征，統(tǒng)計(jì)模型130可以確定未評級廣告135是好廣告的可能性， 并且可以為生成關(guān)于未評級廣告135的預(yù)測值160。
與未評級廣告135的選擇相關(guān)聯(lián)的廣告/査詢特征165也可以被觀 測并記錄。廣告/查詢特征165可以包括與廣告135或者寄放或產(chǎn)生廣 告的廣告主相關(guān)聯(lián)的不同特征，或者包括與導(dǎo)致顯示廣告135的由用 戶發(fā)出的查詢相關(guān)聯(lián)的特征。例如，廣告/查詢特征165可以包括與廣 告135的廣告主相關(guān)聯(lián)的標(biāo)識符(例如，廣告主的可視的統(tǒng)一資源定 位符(URL))、廣告135定向的關(guān)鍵字、由用戶發(fā)出的查詢中廣告 135沒有定向的詞、和/或由用戶發(fā)出的查詢中廣告135沒有定向但與 廣告135定向的詞類似的詞。在符合本發(fā)明原理的條件下，也可以使
用上面未描述的其它類型的廣告或査詢特征。依照相關(guān)聯(lián)的廣告/查詢
特征165，可以將所估計(jì)的預(yù)測值160存儲(chǔ)在數(shù)據(jù)結(jié)構(gòu)170中，下面將
對此作進(jìn)一步詳細(xì)描述。
盡管圖1描述了估計(jì)與單個(gè)未評級廣告135相關(guān)聯(lián)的預(yù)測質(zhì)量值， 但是可以針對一個(gè)時(shí)間跨度內(nèi)由一個(gè)或多個(gè)用戶選擇的每個(gè)未評級廣 告135來估計(jì)預(yù)測值160，從而產(chǎn)生多個(gè)廣告預(yù)測值160，其中每個(gè)預(yù) 測值160與一個(gè)或多個(gè)廣告/查詢特征(或多個(gè)特征)165相關(guān)聯(lián)?？?以將該多個(gè)廣告預(yù)測值160聚合在數(shù)據(jù)結(jié)構(gòu)170中，以產(chǎn)生聚合的預(yù) 測值200，如在圖2中所示。下面參考圖14對預(yù)測值的聚合進(jìn)行描述。 如在圖2中進(jìn)一步所示，可以對數(shù)據(jù)結(jié)構(gòu)170中的每個(gè)廣告/查詢特征 估計(jì)210可能性。所估計(jì)的可能性可以預(yù)測給定特定廣告/查詢特征的 廣告的質(zhì)量。下面將參考圖17和圖18描述可能性估計(jì)的進(jìn)一步的示 范性細(xì)節(jié)?？梢詫⑨槍γ總€(gè)廣告/查詢特征所估計(jì)的可能性存儲(chǔ)在數(shù)據(jù) 結(jié)構(gòu)170中。
隨后可以獲得220與廣告220的選擇相關(guān)聯(lián)的廣告/查詢特征。當(dāng) 用戶從文檔(例如，搜索結(jié)果文檔)中選擇廣告時(shí)，與該選擇相關(guān)聯(lián) 的廣告/査詢特征將被記錄。可以從數(shù)據(jù)結(jié)構(gòu)170中檢索230針對就廣 告的選擇而獲得的每個(gè)廣告/查詢特征的所估計(jì)的可能性。然后，通過 使用所檢索的針對與廣告選擇相關(guān)聯(lián)的每個(gè)廣告/査詢特征的所估計(jì)的 可能性，可以預(yù)測240總體的廣告質(zhì)量。下面將參考圖19描述預(yù)測總
體廣告質(zhì)量的進(jìn)一步的示范性細(xì)節(jié)。 示范性網(wǎng)絡(luò)結(jié)構(gòu)
圖3是其中可以實(shí)現(xiàn)與本發(fā)明的原理一致的系統(tǒng)和方法的網(wǎng)絡(luò) 300的示范圖。網(wǎng)絡(luò)300可以包括經(jīng)由網(wǎng)絡(luò)340連接到一個(gè)或多個(gè)服務(wù) 器320-330的多個(gè)客戶端310。為了簡便起見，示出了兩個(gè)客戶端310 以及兩個(gè)服務(wù)器320-330連接到網(wǎng)絡(luò)340。實(shí)際上，可以有更多或更少 的客戶端和服務(wù)器。而且，在一些實(shí)例中，客戶端可以執(zhí)行服務(wù)器的 功能，并且服務(wù)器可以執(zhí)行客戶端的功能。
客戶端310可以包括客戶端實(shí)體。實(shí)體可以被定義為裝置，諸如 個(gè)人計(jì)算機(jī)、無線電話、個(gè)人數(shù)字助理(PDA)、膝上型電腦、或者 另一類型的計(jì)算或通信裝置、在這些裝置之一上運(yùn)行的線程或進(jìn)程、 和/或者可以由這些裝置之一執(zhí)行的對象。 一個(gè)或多個(gè)用戶可以與每個(gè)
客戶端310相關(guān)聯(lián)。服務(wù)器320和330可以包括以與本發(fā)明的原理一 致的方式來訪問、取得、聚合、處理、搜索和/或保持文檔的服務(wù)器實(shí) 體。客戶端310和服務(wù)器320及330可以經(jīng)由有線、無線、和/或光連 接來連接到網(wǎng)絡(luò)340。
在與本發(fā)明的原理一致的實(shí)現(xiàn)中，服務(wù)器320可以包括搜索引擎 系統(tǒng)325,其可由客戶端310的用戶使用。服務(wù)器320可以通過抓取文 檔集(例如，Web文檔)對該文檔進(jìn)行索引以及將與該文檔相關(guān)聯(lián)的 信息存儲(chǔ)文檔庫中來實(shí)現(xiàn)數(shù)據(jù)聚合服務(wù)。也可以以其他方式來實(shí)現(xiàn)該 數(shù)據(jù)聚合服務(wù)，諸如與數(shù)據(jù)服務(wù)器330的操作者協(xié)定以經(jīng)由數(shù)據(jù)聚合 服務(wù)來分發(fā)它們所寄放的文檔。在一些實(shí)現(xiàn)中，服務(wù)器320可以寄放 可以被提供給在客戶端310的用戶的廣告(例如，創(chuàng)意、廣告定著文 檔)。搜索引擎系統(tǒng)325可以執(zhí)行從在客戶端310的用戶接收的對存 儲(chǔ)在文檔庫中的文檔集的査詢，并且可以將與所執(zhí)行的査詢相關(guān)的一 組搜索結(jié)果提供給該用戶。除了該組搜索結(jié)果以外，服務(wù)器320還可 以將與所執(zhí)行的搜索的結(jié)果相關(guān)聯(lián)的一個(gè)或多個(gè)廣告創(chuàng)意提供給在客 戶端310的用戶。
服務(wù)器330可以存儲(chǔ)或保持可以是由服務(wù)器320所抓取的文檔。 這樣的文檔可以包括與出版的新聞故事、產(chǎn)品、圖像、用戶組、地理 區(qū)域相關(guān)的數(shù)據(jù)或者任何其他類型的數(shù)據(jù)。例如，服務(wù)器330可以存 儲(chǔ)或保持來自任何類型的新聞資源(諸如例如華盛頓郵報(bào)、紐約泰晤 士報(bào)、泰晤士雜質(zhì)或者新聞周刊的新聞故事)。作為另一例子，服務(wù) 器330可以存儲(chǔ)或保持與特定產(chǎn)品相關(guān)的數(shù)據(jù)，諸如由一個(gè)或多個(gè)產(chǎn)
品制造商提供的產(chǎn)品數(shù)據(jù)。作為還一個(gè)例子，服務(wù)器330可以存儲(chǔ)或
保持與其他類型的Web文檔(例如網(wǎng)站的頁面)的數(shù)據(jù)。服務(wù)器330
還可以寄放廣告，諸如廣告創(chuàng)意以及廣告定著文檔。
網(wǎng)絡(luò)340可以包括任何類型的一個(gè)或多個(gè)網(wǎng)絡(luò)，包括局域網(wǎng) (LAN)、廣域網(wǎng)(WAN)、城域網(wǎng)(MAN)、諸如公共開關(guān)電話網(wǎng) 絡(luò)(PSTN)或公共陸地移動(dòng)網(wǎng)絡(luò)(PLMN)的電話網(wǎng)、內(nèi)聯(lián)網(wǎng)、因特 網(wǎng)、存儲(chǔ)器裝置或者網(wǎng)絡(luò)的組合。該P(yáng)LMN可以進(jìn)一步包括分組交換 子網(wǎng)，諸如例如通用分組無線服務(wù)(GPRS)、蜂窩數(shù)字分組數(shù)據(jù)(CDPD) 或移動(dòng)IP子網(wǎng)。
雖然服務(wù)器320-330被示為單獨(dú)的實(shí)體，但是也可能是服務(wù)器 320-330中的一個(gè)執(zhí)行該服務(wù)器320-330中的另一個(gè)的一個(gè)或多個(gè)功 能。例如，可以將服務(wù)器320和330實(shí)現(xiàn)為單個(gè)服務(wù)器。也可以將服 務(wù)器320和330中的單個(gè)服務(wù)器實(shí)現(xiàn)為兩個(gè)或更多個(gè)單獨(dú)(可能分布 式的)的裝置。
示范性客戶端/服務(wù)器體系結(jié)構(gòu)
圖4是根據(jù)與本發(fā)明的原理一致的實(shí)現(xiàn)的客戶端或服務(wù)器實(shí)體 (下文中稱為"客戶端/服務(wù)器實(shí)體")(客戶端或服務(wù)器實(shí)體可以對應(yīng) 于一個(gè)或多個(gè)客戶端310和/或服務(wù)器320-330)的示范圖。該客戶端/ 服務(wù)器實(shí)體可以包括總線410、處理器420、主存儲(chǔ)器430、只讀存儲(chǔ) 器(ROM) 440、存儲(chǔ)裝置450、輸入裝置460、輸出裝置470以及通 信接口 480?？偩€410可以包括允許在客戶端/服務(wù)器實(shí)體的元件之間 進(jìn)行通信的路徑。
處理器420可以包括處理器、微處理器、或者可以解釋和執(zhí)行指 令的處理邏輯。主存儲(chǔ)器430可以包括隨機(jī)存取存儲(chǔ)器(RAM)或者 另一個(gè)類型的動(dòng)態(tài)存儲(chǔ)裝置，其可以存儲(chǔ)信息以及由處理器420執(zhí)行 的指令。ROM 440可以包括ROM裝置以及另一種類型的靜態(tài)存儲(chǔ)裝
置，其可以存儲(chǔ)靜態(tài)信息以及供處理器420所使用的指令。存儲(chǔ)裝置
450可以包括磁和/或光記錄介質(zhì)及其相應(yīng)驅(qū)動(dòng)。
輸入裝置460可以包括用于允許操作者將信息輸入到客戶端/服務(wù)
器實(shí)體的機(jī)構(gòu)，諸如鍵盤、鼠標(biāo)、筆、語音識別和/或生物機(jī)制等。輸
出裝置470可以包括用于將信息輸出給操作者的機(jī)構(gòu)，包括顯示器、 打印機(jī)、揚(yáng)聲器等。通信接口 480可以包括任何類似于收發(fā)器的機(jī)構(gòu)， 其使得該客戶端/服務(wù)器實(shí)體能夠與其他裝置和/或系統(tǒng)進(jìn)行通信。例 如，通信接口 480可以包括用于經(jīng)由諸如網(wǎng)絡(luò)340的網(wǎng)絡(luò)與另一個(gè)裝 置或系統(tǒng)進(jìn)行通信的機(jī)構(gòu)。
與本發(fā)明的原理一致的客戶端/服務(wù)器實(shí)體可以執(zhí)行某些操作或 進(jìn)程，如將在下面將詳細(xì)描述的。該客戶端/服務(wù)器實(shí)體可以響應(yīng)于處 理器420執(zhí)行包含在諸如存儲(chǔ)器430的計(jì)算機(jī)可讀介質(zhì)中的軟件指令 而執(zhí)行這些操作。計(jì)算機(jī)可讀介質(zhì)可以被定義為物理或邏輯存儲(chǔ)器裝 置和/或載波。
可以從例如數(shù)據(jù)存儲(chǔ)裝置450的另一計(jì)算機(jī)可讀介質(zhì)，或者經(jīng)由 通信接口 480從另一裝置，將軟件指令讀入到存儲(chǔ)器430中。包含在 存儲(chǔ)器430中的軟件指令可以使處理器420執(zhí)行隨后將詳細(xì)描述的操 作或處理。替代地，可以用硬線電路來替換軟件指令或者與軟件指令 組合來實(shí)現(xiàn)與本發(fā)明的原理一致的處理。因而，與本發(fā)明的原理一致 的實(shí)現(xiàn)不限于硬件電路和軟件的任意特定組合。
用于構(gòu)造與廣告選擇相關(guān)聯(lián)的用戶行為的統(tǒng)計(jì)模型的示范性過程 圖5是用于構(gòu)造與多個(gè)在線廣告的選擇相關(guān)聯(lián)的用戶行為的統(tǒng)計(jì) 模型的示范性過程的流程圖。本領(lǐng)域技術(shù)人員可以理解的是，圖5中 所示范的過程可以適當(dāng)?shù)匾攒浖?shí)現(xiàn)并被存儲(chǔ)在計(jì)算機(jī)可讀存儲(chǔ)器 中，諸如主存儲(chǔ)器430、 ROM440或者服務(wù)器320、服務(wù)器330或客戶 端310的存儲(chǔ)裝置450。
該示范性過程可以以獲取與評級的廣告相關(guān)聯(lián)的評級數(shù)據(jù)開始 (框500)。該評級數(shù)據(jù)可以包括對每個(gè)評級的廣告的質(zhì)量進(jìn)行評級(例 如，對廣告進(jìn)行評級的一種方式是對該廣告相對于所發(fā)出的查詢的相 關(guān)程度進(jìn)行評級)的人生成數(shù)據(jù)。然后，可以獲得與所評級的廣告的 每個(gè)選擇相關(guān)聯(lián)的會(huì)話特征(框510)?？梢酝ㄟ^在給定的用戶會(huì)話期 間觀察實(shí)際的用戶行為來實(shí)時(shí)地獲得會(huì)話特征(其在將每個(gè)廣告閃現(xiàn) (impression)顯示給用戶之前、期間以及之后發(fā)生)，或者可以在將每 個(gè)廣告閃現(xiàn)顯示給用戶之前、期間以及之后從存儲(chǔ)在數(shù)據(jù)結(jié)構(gòu)中的會(huì) 話特征(即，用戶行為和動(dòng)作)的記錄日志中獲得。所獲得的會(huì)話特 征125可以包括任何類型的觀察的用戶行為。每個(gè)會(huì)話特征125可以 對應(yīng)于用戶對于給定廣告的滿意度的間接測量。會(huì)話特征125中的某 些會(huì)話特征可以是確定不同用戶對于會(huì)話特征125中的其他會(huì)話特征 如何具有不同值的因素(例如，具有撥號連接的用戶可以比具有高速
因特網(wǎng)連接的用戶具有更長的廣告選擇持續(xù)時(shí)間)。
會(huì)話特征125可以包括，但不限于，廣告選擇的持續(xù)時(shí)間(例如， 在廣告上"點(diǎn)擊"的持續(xù)時(shí)間)、在給定的廣告選擇之前和/或之后的 其他廣告的選擇的數(shù)量、在給定的廣告選擇之前和/或之后的搜索結(jié)果 的選擇的數(shù)量、在給定的廣告選擇之前和/或之后的其他結(jié)果的選擇的 數(shù)量、在給定的廣告選擇之前和/或之后的文檔瀏覽(例如，頁面瀏覽) 的數(shù)量、在給定的廣告選擇之前和/或之后的搜索査詢的數(shù)量、與顯示 廣告的用戶會(huì)話相關(guān)聯(lián)的搜索查詢的數(shù)量、對相同同一給定廣告的重 復(fù)選擇的數(shù)量或者給定的廣告選擇是否是會(huì)話中的最后選擇、會(huì)話中 的最后廣告選擇、對于給定搜索查詢的最后選擇或者對于給定搜索查 詢的最后廣告選擇的表示。圖6-13在下面描述了與本發(fā)明的各方面一 致的可以作為會(huì)話特征而被測量的各種示范性類型的用戶行為。
圖6示出了廣告選擇的持續(xù)時(shí)間的測量作為會(huì)話特征600。如圖6 中所示，可以將與文檔610相關(guān)聯(lián)的廣告605提供給用戶。響應(yīng)于接
收到廣告605，該用戶可以選擇615廣告605,并且可以將該廣告定著 文檔620提供給用戶。可以測量廣告選擇的持續(xù)時(shí)間625 (例如，從選 擇廣告的時(shí)間直到用戶的下一動(dòng)作(諸如點(diǎn)擊另一個(gè)廣告、輸入新査 詢等)的時(shí)間段)作為會(huì)話特征600。
圖7示出了在具體廣告選擇之前和/或之后的對其他廣告選擇的數(shù) 量的測量作為會(huì)話特征700。假設(shè)廣告N710的具體選擇705，以及響 應(yīng)于該廣告選擇705而提供廣告定著文檔715，則可以測量與提供以前 廣告定著文檔730對應(yīng)的廣告N-x 725中的一個(gè)或多個(gè)以前廣告選擇 720的數(shù)量。另外，或者作為選擇，假設(shè)廣告N710的具體選擇705， 可以測量與提供下一廣告定著文檔745對應(yīng)的廣告N+x 740中的一個(gè) 或多個(gè)下一廣告選擇735的數(shù)量?？梢詼y量在具體的廣告選擇之前和/ 或之后的其他廣告選擇的數(shù)量，作為會(huì)話特征700。
圖8示出了在具體的廣告選擇之前和/或之后的對搜索結(jié)果選擇的 數(shù)量的測量作為會(huì)話特征800。假設(shè)廣告N810的具體選擇805，以及 響應(yīng)于該廣告選擇805而提供廣告定著文件815，可以測量在該廣告選 擇805之前用戶瀏覽的搜索結(jié)果文檔820的數(shù)量作為會(huì)話特征800。可 以使用用戶發(fā)出的搜索查詢基于搜索的執(zhí)行來將搜索結(jié)果文檔提供給 用戶。另外，或者作為選擇，可以測量在廣告選擇805之后由該用戶 瀏覽的搜索結(jié)果文檔825的數(shù)量作為會(huì)話特征800。
圖9示出了在具體的廣告選擇之前和/或之后的對用戶瀏覽的文檔 的數(shù)量的測量作為會(huì)話特征卯O。假設(shè)廣告910的具體選擇卯5，并且 響應(yīng)于該廣告選擇905而提供廣告定著文檔915，可以測量在廣告選擇 905之前用戶瀏覽的文檔920 (例如，頁面瀏覽)的數(shù)量作為會(huì)話特征 900。另外，或者作為選擇，可以測量在廣告選擇905之后用戶瀏覽的 文檔925 (例如，頁面瀏覽)的數(shù)量作為會(huì)話特征900。
圖10示出了在具體廣告選擇之前和/或之后的對用戶發(fā)出的搜索
査詢的數(shù)量的測量作為會(huì)話特征1000。假設(shè)廣告1010的具體選擇
1005，并且響應(yīng)于該廣告選擇1005而提供廣告定著文檔1015，可以測 量在廣告選擇1005之前用戶發(fā)出的搜索査詢1020的數(shù)量作為會(huì)話特 征IOOO。另外，或者作為選擇，可以測量在廣告選擇1005之后用戶發(fā) 出的搜索査詢1025的數(shù)量作為會(huì)話特征1000。
圖11示出了在包括具體廣告選擇的會(huì)話中的對搜索查詢(其導(dǎo)致 了對廣告進(jìn)行顯示)的數(shù)量的測量作為會(huì)話特征1100。假設(shè)包括預(yù)定 廣告選擇的會(huì)話，可以測量搜索查詢1105的數(shù)量，其導(dǎo)致對相應(yīng)廣告 1110-1至1110-N進(jìn)行顯示。可以測量搜索查詢的數(shù)量作為會(huì)話特征 1100。導(dǎo)致對廣告進(jìn)行顯示的搜索查詢1105的數(shù)量可以表示給定用戶 會(huì)話的商業(yè)性質(zhì)。
圖12示出了用戶對相同廣告的重復(fù)選擇的數(shù)量的測量作為會(huì)話 特征1200。如圖12中所示，可以將可以與多個(gè)文檔1210-1至1210-N 相關(guān)聯(lián)的廣告1205提供給用戶一次或者多次。響應(yīng)于每次接收到廣告 1205，用戶可以選擇1215廣告1205，并且可以對于每次重復(fù)的用戶選 擇將廣告定著文檔1220提供給用戶?？梢詼y量用戶對相同廣告的重復(fù) 選擇的數(shù)量作為會(huì)話特征1200。
圖13示出了確定廣告選擇是否是對于給定的搜索查詢的最后廣 告選擇，或者該廣告選擇是否是對于用戶會(huì)話的最后廣告選擇，作為 會(huì)話特征1300。如圖13中所示，用戶可以在給定的會(huì)話1310期間發(fā) 出搜索查詢1305，并且可以在發(fā)出搜索查詢1305之后將一個(gè)或多個(gè)廣 告1315提供給用戶。響應(yīng)于每次接收到廣告1315，用戶可以選擇1320 廣告1315，并且可以將廣告定著文檔1325提供給用戶。可以做出該廣 告選擇1320是否是對于搜索查詢1305的最后廣告選擇的確定。因而， 如果發(fā)出搜索査詢1305的用戶選擇了多個(gè)廣告，則可以識別對于搜索 査詢1305的僅僅最后廣告選擇。還可以做出該廣告選擇1320是否是 對于會(huì)話1310的最后廣告選擇的確定。因此，如果在給定的會(huì)話期間
用戶已經(jīng)做出多個(gè)廣告選擇，則可以識別對于該會(huì)話的僅僅最后廣告 選擇。
在圖6-13中未示出的其他類型的用戶行為也可以被用作與本發(fā)明 的原理一致的會(huì)話特征。下面列出了其他示范性會(huì)話特征的多個(gè)例子
1) 代替廣告選擇持續(xù)時(shí)間，可以將給定的廣告選擇持續(xù)時(shí)間相對 于用于給定用戶的平均廣告選擇持續(xù)時(shí)間的比值用作會(huì)話特征。
2) 給定的廣告選擇持續(xù)時(shí)間相對于所有選擇(例如，搜索結(jié)果選 擇或者廣告選擇)的比值。
3) 用戶在給定的會(huì)話中選擇給定廣告的次數(shù)。
4) 從廣告結(jié)果選擇直到用戶發(fā)出另一搜索査詢的持續(xù)時(shí)間。這可 以包括在給定廣告點(diǎn)擊之后花費(fèi)在(經(jīng)由搜索結(jié)果點(diǎn)擊或廣告點(diǎn)擊達(dá) 到的)其他頁面的時(shí)間。
5) 從給定的廣告結(jié)果選擇直到用戶發(fā)出另一搜索査詢?yōu)橹沟臅r(shí)間
相對于從廣告結(jié)果選擇直到用戶發(fā)出另一搜索查詢?yōu)橹沟乃衅渌麜r(shí) 間的比值。
6) 對于給定的廣告結(jié)果選擇，花費(fèi)在瀏覽搜索査詢的其他結(jié)果而
不是在給定的廣告結(jié)果上的時(shí)間。
7) 上述6)中花費(fèi)的時(shí)間(花費(fèi)在其他結(jié)果上而不是在點(diǎn)擊持續(xù) 時(shí)間上的時(shí)間)相對于經(jīng)過所有查詢在6)中花費(fèi)的平均時(shí)間的比值。
8) 在給定的搜索結(jié)果或廣告選擇之前在給定會(huì)話中發(fā)生多少個(gè)搜 索(即，唯一發(fā)出的搜索查詢)。
9) 在給定的搜索結(jié)果或廣告選擇之后在給定會(huì)話中發(fā)生多少搜索。
10) 除了搜索，在給定選擇之前對于給定搜索查詢發(fā)生多少結(jié)果 頁面瀏覽。這可以在査詢內(nèi)(即，僅僅對于唯一查詢)或?qū)τ谡麄€(gè)會(huì) 話進(jìn)行計(jì)算。
11) 除了搜索，在該選擇之后對于給定的搜索查詢發(fā)生多少搜索 結(jié)果頁面瀏覽。這可以在査詢內(nèi)(即，僅僅對于唯一查詢)或?qū)τ谡?個(gè)會(huì)話進(jìn)行計(jì)算。12) 在該會(huì)話中發(fā)生的頁面瀏覽的總數(shù)；
13) 在顯示廣告的會(huì)話中頁面瀏覽的數(shù)量；
14) 在顯示廣告的會(huì)話中頁面瀏覽的數(shù)量相對于該會(huì)話中發(fā)生的 頁面瀏覽的總數(shù)的比值；
15) 在會(huì)話中顯示的廣告閃現(xiàn)的總數(shù)；
16) 每個(gè)顯示廣告的査詢所顯示的廣告的平均數(shù)，該會(huì)話的另一 個(gè)商業(yè)化測量；
17) 查詢掃描時(shí)間——從用戶看到査詢結(jié)果到用戶做其他事情(點(diǎn) 擊廣告、搜索結(jié)果、下一頁面、新査詢等)時(shí)用多長時(shí)間
18) 在給定査詢掃描時(shí)間與所有其他查詢掃描時(shí)間之間的比值；
19) 在給定搜索中發(fā)生的選擇(例如，點(diǎn)擊)的總數(shù)。這些選擇 包括所有類型的選擇(例如，搜索、onebox、廣告)，而不是僅僅廣告 選擇；
20) 在給定的廣告選擇之前在搜索中發(fā)生的選擇的總數(shù)；
21) 在給定的廣告選擇之后在搜索中發(fā)生的選擇的總數(shù)；
22) 在搜索中發(fā)生的廣告選擇的總數(shù)。可能需要用頁面上的廣告 數(shù)量來規(guī)范化；
23) 在給定的廣告選擇之前在搜索中發(fā)生的廣告選擇的總數(shù)；
24) 在給定的廣告選擇之后在搜索中發(fā)生的廣告選擇的總數(shù)；
25) 在搜索中發(fā)生的、其在文檔上的廣告位置位于文檔上的給定 廣告位置之上的廣告選擇的總數(shù)；
26) 在搜索中發(fā)生的、其在文檔上的廣告位置位于文檔上的給定 廣告位置之下的廣告選擇的總數(shù)；
27) 在搜索中發(fā)生的不是對給定廣告的廣告選擇的總數(shù)；
28) 在搜索中發(fā)生的搜索結(jié)果選擇的總數(shù)
29) 在給定的廣告選擇之前在搜索中發(fā)生的搜索選擇的總數(shù)；
30) 在給定的廣告選擇之后在搜索中發(fā)生的搜索結(jié)果選擇的總數(shù)；
31) 在會(huì)話中發(fā)生的長持續(xù)時(shí)間的搜索結(jié)果選擇的總數(shù)；
32) 在會(huì)話中發(fā)生的短持續(xù)時(shí)間的搜索結(jié)果選擇的總數(shù)；
33) 在會(huì)話中最后發(fā)生的搜索結(jié)果選擇的總數(shù)。給定用戶可以通
過點(diǎn)擊搜索結(jié)果來結(jié)束會(huì)話，而不需要后續(xù)動(dòng)作，或者用戶可以以其 他方式(例如，廣告結(jié)果點(diǎn)擊、發(fā)出查詢以及不點(diǎn)擊等)來結(jié)束會(huì)話；
34) 在搜索中發(fā)生的非搜索結(jié)果以及非廣告選擇的總數(shù)；
35) 是否存在來自該廣告選擇的轉(zhuǎn)換的表示；
36) 用戶的連接速度的表示(例如，撥號、線纜、DSL);
37) 用戶位于哪個(gè)國家的表示。不同的文化有可能導(dǎo)致用戶對相 同的廣告有不同反應(yīng)，或者具有不同文化反應(yīng)，或者不同地停在網(wǎng)站 上；
38) 用戶位于世界上的那個(gè)區(qū)域(例如，APAC二亞太區(qū))的表示；
39) 對于給定廣告的關(guān)鍵字是否與搜索査詢精確匹配(即，具有 與查詢完全相同的術(shù)語)，或者是否缺失一個(gè)詞、多于一個(gè)詞、或者 具有重寫術(shù)語。通常，廣告的質(zhì)量可能變化(匹配越精確，質(zhì)量越高)， 并且關(guān)鍵字匹配可能是分割廣告的合理方式，并且預(yù)測廣告對于不同 的匹配類型來說分別是好還是壞；
40) 對于給定廣告的估計(jì)點(diǎn)進(jìn)率(CTR)的表示；
41) 廣告商為給定的廣告選擇支付多少每次點(diǎn)擊成本(CPC) 廣告很好的可能性可以取決于廣告商支付了多少(越多質(zhì)量越高)；
42) 廣告商愿意支付多少CPC 在廣告拍賣中，可以使用廣告商 出價(jià)來設(shè)置廣告排名，并且排名低于給定廣告/廣告商的廣告/廣告商設(shè) 置實(shí)際上將由下一個(gè)較高排名的廣告/廣告商支付的價(jià)格；
43) 有效CPC"頁測的CTR;或者
44) 出價(jià)CPC^預(yù)測的CTR。
上面描述了可以用于統(tǒng)計(jì)模型的會(huì)話特征的多個(gè)例子。但是，本
領(lǐng)域技術(shù)人員應(yīng)認(rèn)識到可以使用其他的會(huì)話特征，作為選擇，或者
與任意上述會(huì)話特征結(jié)合。
返回至圖5，然后可以推導(dǎo)出統(tǒng)計(jì)模型，用于確定每個(gè)所選廣告 是給定與廣告選擇相關(guān)聯(lián)的所測會(huì)話特征的好質(zhì)量廣告的概率(框 250)?？梢允褂矛F(xiàn)有的統(tǒng)計(jì)技術(shù)(例如邏輯回歸)來推導(dǎo)出與本發(fā)明
的原理相一致的統(tǒng)計(jì)模型?；貧w包括發(fā)現(xiàn)用于將結(jié)果變量(因變量y)與一個(gè)或多個(gè)預(yù)測器(自變量&， X2，等)相關(guān)的函數(shù)。簡單的線性回 歸假設(shè)如下形式的函數(shù)
<formula>formula see original document page 22</formula> 等式(1)并且發(fā)現(xiàn)co, Cl， C2等的值(ce被稱為"截距"或"常數(shù)項(xiàng))。在本發(fā)明的上下文中，每個(gè)預(yù)測器變量Xp X2， X3等對應(yīng)于廣告選擇期間測得的不同會(huì)話特征。邏輯回歸是普通回歸的變形，當(dāng)觀測到的結(jié) 果限定為兩個(gè)值時(shí)是很有用的，其通常表示某個(gè)結(jié)果事件的發(fā)生或未發(fā)生，(通常分別被編碼為l或0)，諸如在本發(fā)明的上下文中的好廣告或差廣告。
邏輯回歸產(chǎn)生作為獨(dú)立預(yù)測變量的函數(shù)對發(fā)生的概率進(jìn)行預(yù)測的 公式。邏輯回歸通過采取線性回歸(上述等式(1))(其將生成位于正無窮大與負(fù)無窮大之間的任意y值)并用下面的函數(shù)對其進(jìn)行變換來符合特定S形曲線
<formula>formula see original document page 22</formula> 等式(2)
其中產(chǎn)生位于0 (當(dāng)y達(dá)到負(fù)無窮大時(shí))和1 (當(dāng)y達(dá)到正無窮大 時(shí))之間的P值。將等式(1)代入等式(2)，這樣，好廣告的概率 變?yōu)槿缦?br> <formula>formula see original document page 22</formula>
等式3
其中Cgo為等式的常數(shù)，Cgn為會(huì)話特征預(yù)測變量Xn的系數(shù)。類似 地，可以通過下面的等式(4)來確定差廣告的概率
<formula>formula see original document page 22</formula>
等式4
其中CbO為等式的常數(shù)，Cbn為會(huì)話特征預(yù)測變量Xn的系數(shù)。
可以測試統(tǒng)計(jì)模型的符合，以確定哪個(gè)會(huì)話特征與好或差質(zhì)量廣
告相關(guān)。如果使用邏輯回歸技術(shù)來確定統(tǒng)計(jì)模型，則該邏輯回歸的目 的是要通過使用最節(jié)儉的模型來正確預(yù)測各個(gè)情況的結(jié)果。為了實(shí)現(xiàn) 這一目的，創(chuàng)建一個(gè)模型，其中包括在預(yù)測因變量y的結(jié)果時(shí)有用的 所有預(yù)測器變量(例如會(huì)話特征)。為了構(gòu)建統(tǒng)計(jì)模型，邏輯回歸可 以在每個(gè)系數(shù)(C。)被增加或刪除后測試模型的符合，被稱為逐步回歸。
例如，可以使用反向逐步回歸，其中模型構(gòu)造從完整或飽和模型開始， 并且在迭代過程中從模型中消除預(yù)測器變量以及它們的系數(shù)。在消除 每個(gè)變量之后測試該模型的符合，以確保該模型仍舊足夠與數(shù)據(jù)符合。 當(dāng)無法再從模型中消除預(yù)測器變量時(shí)，該模型的構(gòu)造就完成了。留在 模型中的預(yù)測器變量(每一個(gè)對應(yīng)于所測的會(huì)話特征)識別與好或差 廣告相關(guān)的會(huì)話特征。因而，邏輯回歸能夠提供不同預(yù)測器變量之間 的關(guān)系和強(qiáng)度的了解。為了了解從模型包括或消除的重要性而測試系 數(shù)以及它們相應(yīng)的預(yù)測器變量的過程可以包括幾個(gè)不同的已知技術(shù)。
這樣的技術(shù)可以包括Wald測試，相似性比率測試或者 Hosmer-Lemshow Goodness of Fit領(lǐng)!)試。這些系數(shù)測試技術(shù)在本領(lǐng)域內(nèi) 是已知的，并且這里將不再進(jìn)一步描述。在其他實(shí)現(xiàn)中，可以使用現(xiàn) 有的交叉確認(rèn)和單獨(dú)訓(xùn)練技術(shù)，來代替如上所述的分類估計(jì)以及測試 回歸系數(shù)的技術(shù)。
代替或除了邏輯回歸，可以使用其他現(xiàn)有的統(tǒng)計(jì)技術(shù)來推導(dǎo)與本 發(fā)明的原理相一致的統(tǒng)計(jì)模型。例如，使用"提級(boosting)"技術(shù) 的"枝端"模型可以被用來推導(dǎo)統(tǒng)計(jì)模型。本領(lǐng)域技術(shù)人員可以認(rèn)識 到的是，"提級"是一種機(jī)器學(xué)習(xí)技術(shù)，用于通過連續(xù)地改進(jìn)其他弱 的統(tǒng)計(jì)模型來建立統(tǒng)計(jì)模型。其基本思想是向整個(gè)訓(xùn)練數(shù)據(jù)集合重復(fù) 地應(yīng)用相同的算法，但是在每個(gè)階段對訓(xùn)練數(shù)據(jù)進(jìn)行不同地加權(quán)。該 加權(quán)使得通過階段k與模型很好符合的情況在階段k+ 1接收相對小的 權(quán)重，而通過階段k與模型不太符合的情況在階段k+l接收相對大的 權(quán)重。
枝端是在每個(gè)階段都能夠應(yīng)用的弱統(tǒng)計(jì)模型。枝端是2葉分類樹，
其由根節(jié)點(diǎn)和二進(jìn)制規(guī)則構(gòu)成，其將情況分為兩個(gè)相互排斥的子集
(即，葉節(jié)點(diǎn))。規(guī)則可以采取形式"點(diǎn)擊持續(xù)時(shí)間(ClickDuration) < 120秒"，并且點(diǎn)擊持續(xù)時(shí)間滿足該規(guī)則的所有情況進(jìn)入一個(gè)葉節(jié)點(diǎn)， 而不滿足該規(guī)則的情況進(jìn)入另一個(gè)葉節(jié)點(diǎn)。另一規(guī)則可以采取形式"廣 告選擇是最后廣告選擇"，并且廣告選擇滿足該規(guī)則的所有情況進(jìn)入 一個(gè)葉節(jié)點(diǎn)，而不滿足該規(guī)則的情況進(jìn)入另一個(gè)葉節(jié)點(diǎn)。
可以使用各種算法來符合"提級枝端"模型，包括例如基于梯度 的方法。這樣的算法可以如下進(jìn)行給定一組權(quán)重，從所有可能的二
進(jìn)制判定規(guī)則中(從將該情況分為兩個(gè)葉子的會(huì)話特征中推到的)選 擇一個(gè)將與該算法相關(guān)的(加權(quán))損耗函數(shù)最小化的規(guī)則。損耗函數(shù)
的一些例子是與最大相似法對應(yīng)的"伯努里式(Bernoulli)損耗"以及 與周知的ADABoost方法對應(yīng)的"指數(shù)損耗"。在該階段選擇最佳二 進(jìn)制判定規(guī)則之后，可以重新計(jì)算該權(quán)重，并可以重復(fù)該過程，借此 選擇將新(加權(quán))損耗函數(shù)最小化的最佳二進(jìn)制規(guī)則。該過程可以被 重復(fù)許多次(例如，幾百至幾千)并且可以使用重采樣法(例如，交 叉確認(rèn))來定義停止規(guī)則，以便于防止過符合。
提級枝端已經(jīng)被顯示為近似附加邏輯回歸模型，因此每個(gè)特征都 對符合模型作出附加的非線性貢獻(xiàn)(關(guān)于邏輯等級)。該枝端的序列 定義會(huì)話特征與廣告被定級為"好"的概率之間的關(guān)系。該序列可以 用如下的統(tǒng)計(jì)模型表示
e(c0+c,*B(x) + c2'B2(x)+...)
1 + ,。",*BIW+C2'B2W+...) 等式(5)
其中如果會(huì)話特征x滿足第k個(gè)二進(jìn)制規(guī)則則Bk (x) =1，或者 如果會(huì)話特征x不滿足第k個(gè)二進(jìn)制規(guī)則則Bk (x) =0。該系數(shù)ck， k=l，...，是算法的副產(chǎn)品并且與在第k個(gè)二進(jìn)制規(guī)則的好廣告的可能 性相關(guān)。實(shí)際上，給定會(huì)話特征x，就可以估計(jì)每個(gè)二進(jìn)制規(guī)則，并且 相應(yīng)的系數(shù)被累計(jì)，以獲得好廣告的預(yù)測概率?？梢灶愃频赝茖?dǎo)出與 上面的等式(5)類似的統(tǒng)計(jì)模型，其定義了會(huì)話特征與廣告被定級為
"差"的概率之間的關(guān)系。
雖然上面已經(jīng)描述了邏輯回歸和提級枝端作為構(gòu)造統(tǒng)計(jì)模型的示 范性技術(shù)，但是本領(lǐng)域技術(shù)人員應(yīng)認(rèn)識到也可以使用其他現(xiàn)有的統(tǒng)計(jì) 方法(例如回歸樹)來推導(dǎo)與本發(fā)明的原理一致的統(tǒng)計(jì)模型。
用于確定與廣告質(zhì)量相關(guān)的預(yù)測值的示范性過程 圖14是根據(jù)與本發(fā)明的原理一致的實(shí)現(xiàn)的示范性過程的流程圖， 用于確定與廣告的質(zhì)量相關(guān)的預(yù)測值。本領(lǐng)域技術(shù)人員可以理解，圖 14中舉例說明的過程可以被適當(dāng)?shù)匾攒浖韺?shí)現(xiàn)并被存儲(chǔ)在計(jì)算機(jī)可
讀存儲(chǔ)器中，諸如主存儲(chǔ)器430、 ROM 440或服務(wù)器320或330或客 戶端310的存儲(chǔ)裝置450。
該示范性過程可以從接收搜索査詢開始(框1400)。用戶可以向 服務(wù)器320發(fā)出搜索查詢，用于由搜索引擎系統(tǒng)325執(zhí)行。通過搜索 引擎系統(tǒng)325可以獲得與所接收的搜索查詢相匹配的一組廣告(框 1405)。搜索引擎系統(tǒng)325可以根據(jù)所接收的搜索查詢來執(zhí)行搜索， 以確定該組廣告，以及與該搜索査詢匹配的其他文檔。搜索引擎系統(tǒng) 325可以將該組廣告集合以及其他文檔的列表提供給發(fā)出該搜索請求 的用戶。
可以獲得與從該組廣告中選擇廣告相關(guān)聯(lián)的會(huì)話特征(框1410)。 可以在用戶廣告選擇期間實(shí)時(shí)地測量會(huì)話特征，或者可以從與廣告選 擇相關(guān)聯(lián)的已記錄用戶行為的日志中獲得會(huì)話特征。如圖15中所示， 用戶可以選擇1500與文檔1510 (例如，包含搜索結(jié)果和相關(guān)廣告的文 檔)相關(guān)聯(lián)的廣告1505?？梢皂憫?yīng)于廣告選擇1505而將廣告定著文檔 1515提供給用戶。如圖15中所示，可以測量與廣告1505的選擇1500 相關(guān)聯(lián)的會(huì)話特征1520。所測量的會(huì)話特征可以包括與廣告選擇相關(guān) 聯(lián)的任意類型的用戶行為，諸如上面關(guān)于框510所述(圖5)。
上面的框520中推導(dǎo)出的統(tǒng)計(jì)模型以及所獲得的會(huì)話特征可以被 用來確定表示該廣告是好廣告和/或差廣告的預(yù)測值(框1415)。該預(yù)
測值可以包括概率值(例如，使用上面的等式(3)或(5)取得的)， 表示具有與該廣告的用戶選擇相關(guān)聯(lián)的給定會(huì)話特征是好廣告的概 率。該預(yù)測值還可以包括概率值(上面的等式(4))，表示具有與該 廣告的用戶選擇相關(guān)聯(lián)的給定測得會(huì)話特征是差廣告的概率。因此， 可以將會(huì)話特征值輸入到等式(3) 、 (4)和/或(5)，以獲得該所選 擇的廣告是好或差廣告的預(yù)測值。例如，可以將用于會(huì)話特征x,， x2， X3和X4的值輸入到等式(3)，以獲得P (good ad|session feature x,， x2， x3， x4)的概率值。如圖15所示，可以將該所測量的會(huì)話特征1520 輸入到統(tǒng)計(jì)模型130，并且該統(tǒng)計(jì)模型130可以輸出對于廣告1505的 預(yù)測值1530。
可以獲得與廣告選擇相關(guān)聯(lián)的廣告/査詢特征(框1420)。如圖 15所示，可以獲得與廣告1505的選擇1500相關(guān)聯(lián)的廣告/查詢特征 1535。該廣告/查詢特征1535可以包括與廣告1505的廣告商相關(guān)聯(lián)的 標(biāo)識符(例如，廣告商的可視統(tǒng)一資源定位符(URL))、廣告1505 定向的關(guān)鍵字、用戶發(fā)出的搜索查詢中廣告1505沒有定向的詞和/或用 戶發(fā)出的搜索査詢中廣告沒有定向但是與廣告1505定向的詞類似的 詞?？梢允褂门c本發(fā)明的原理一致的上面沒有描述的其他類型的廣告 或査詢特征。例如，可以將組合(例如，兩個(gè)對象/査詢特征對)中觀 査的任意上述廣告/查詢特征都用作單個(gè)廣告查詢/特征。
對于每個(gè)所獲得的廣告/查詢特征(即，在上面框1420中獲得的)， 可以將所確定的預(yù)測值與對應(yīng)于廣告/査詢特征的存儲(chǔ)值求和(框 1425)。可以將所確定的預(yù)測值與存儲(chǔ)在數(shù)據(jù)結(jié)構(gòu)(諸如例如圖16中 所示數(shù)據(jù)結(jié)構(gòu)1600中)的值求和。如圖16所示，數(shù)據(jù)結(jié)構(gòu)1600可以 包括多個(gè)廣告/査詢特征1610-1至1610-N，其中"廣告選擇的總數(shù)" 1620、總"好的"預(yù)測值1630以及總"差的"預(yù)測值1640與每個(gè)廣 告/査詢特征1610相關(guān)聯(lián)?？梢詫⒖?405中確定的每個(gè)預(yù)測值與存儲(chǔ)
在條目1630或1640中、對應(yīng)于每個(gè)廣告/査詢特征1610的當(dāng)前值求和， 該廣告/查詢特征1610進(jìn)一步與廣告以及發(fā)布的查詢相關(guān)聯(lián)。作為例 子，假設(shè)響應(yīng)于搜索查詢"flowers formother，s day (母親節(jié)的鮮花)" 而將"1800flowers.com"的廣告提供給用戶。與該廣告選擇相關(guān)聯(lián)的 會(huì)話特征返回概率P (good ad|ad selection)為0.9。三個(gè)廣告/查詢特征 與該廣告和査詢相關(guān)聯(lián)查詢長度(査詢中術(shù)語的數(shù)量)、廣告的可 視URL以及在查詢中但是不在與該廣告相關(guān)聯(lián)的關(guān)鍵字中的詞的數(shù) 量。對于這三個(gè)廣告/查詢特征中的每一個(gè)，條目1620中相應(yīng)的"廣告 選擇總數(shù)"值加1，并且將0.9加到存儲(chǔ)在與每個(gè)廣告/查詢特征對應(yīng)的 總好預(yù)測值1630中的每個(gè)值。
如圖15中所示，可以將每個(gè)所確定的預(yù)測值1530與數(shù)據(jù)結(jié)構(gòu)1600 中的當(dāng)前值求和。 一個(gè)或多個(gè)用戶可以選擇地對廣告的每個(gè)選擇重復(fù) 框1400至1425，以利用與一個(gè)或多個(gè)廣告/查詢特征相關(guān)聯(lián)的多個(gè)求 和后的預(yù)測值來擴(kuò)充該數(shù)據(jù)結(jié)構(gòu)1600。
示范性可能性估計(jì)過程
圖17和18為示范性過程的流程圖，用于通過使用在圖14的框 1425中確定的總預(yù)測值1630或1640來估計(jì)與廣告相關(guān)聯(lián)的好或差質(zhì) 量的可能性。本領(lǐng)域技術(shù)人員應(yīng)理解，圖17和18中所示范的過程可 以適當(dāng)?shù)匾攒浖韺?shí)現(xiàn)并且可以存儲(chǔ)在計(jì)算機(jī)可讀存儲(chǔ)器中，諸如主 存儲(chǔ)器430、 ROM 440或服務(wù)器320或330或客戶端310的存儲(chǔ)裝置 450上。
給定廣告是好或差的所估計(jì)的可能性是該給定廣告是好或差的在 先可能性以及與和給定廣告選擇相關(guān)聯(lián)的廣告/查詢特征相關(guān)聯(lián)的一個(gè) 或多個(gè)模型參數(shù)的函數(shù)?？梢允褂玫^程來計(jì)算該模型參數(shù)，其中 該迭代過程試圖解決用于產(chǎn)生好或差廣告的預(yù)測可能性與訓(xùn)練所用的 實(shí)際歷史數(shù)據(jù)的最佳擬合的參數(shù)值。
與每個(gè)廣告/查詢特征相關(guān)聯(lián)的模型特征可以由單個(gè)參數(shù)構(gòu)成，諸 如關(guān)于好廣告或差廣告的概率或可能性的放大系數(shù)。可替代地，每個(gè) 廣告/査詢特征可以具有與其相關(guān)聯(lián)的多個(gè)模型參數(shù)，該多個(gè)模型參數(shù) 可以以更復(fù)雜的方式來影響好或差廣告的預(yù)測概率。
在下面的說明書中，使用了各種可能性和概率。事件發(fā)生的可能 性以及事件發(fā)生的概率通過下面等式被關(guān)聯(lián)起來概率=可能性/ (可 能性+l)。例如，如果事件發(fā)生的可能性為1/2 (即，按照經(jīng)常所寫 的方式，可能性為1: 2)，則事件發(fā)生的相應(yīng)概率為1/3。根據(jù)該約定， 可以認(rèn)為可能性和概率是可以相互轉(zhuǎn)換的。因?yàn)榭赡苄钥梢匀∪魏畏?負(fù)值，而概率必須位于0和1之間，所以用可能性而不是概率來表達(dá) 計(jì)算是方便的。但是，應(yīng)理解，僅需對下面的說明進(jìn)行最小的改變， 即可以唯一使用概率、或者使用例如對數(shù)(可能性)的某種其他類似 的表示來執(zhí)行如下的實(shí)現(xiàn)。
圖17是示出了預(yù)測模型的一個(gè)實(shí)現(xiàn)的流程圖，其中該預(yù)測模型用 于基于與該廣告選擇相關(guān)聯(lián)的廣告/查詢特征來生成對于給定廣告是好 還是差的可能性估計(jì)。根據(jù)本發(fā)明的原理的一個(gè)實(shí)現(xiàn)，可以通過將好 廣告或差廣告的預(yù)先可能性(qo)乘以與每個(gè)廣告/查詢特征(ki)相關(guān) 聯(lián)的模型參數(shù)(nO來計(jì)算好或差廣告的可能性，此后被稱為可能性 乘法器。這樣的方案可以被表示為
<formula>formula see original document page 28</formula>
本質(zhì)上，對于每個(gè)廣告/查詢特征k的可能性乘法器m可以是在確 定廣告是好還是差期間該廣告/査詢特征的預(yù)測能力的統(tǒng)計(jì)表示。
在與本發(fā)明的原理一致的一個(gè)實(shí)現(xiàn)中，可以不斷地對上述模型參 數(shù)進(jìn)行修改，以反映每個(gè)廣告/査詢特征k對于廣告是好或差的估計(jì)可 能性的相關(guān)影響?？梢酝ㄟ^如下方式來進(jìn)行這樣的修改，即將具有該 查詢/廣告特征的廣告是好或壞的平均預(yù)測可能性(將給定廣告/査詢特 征忽略不計(jì))與具有該廣告/查詢特征的廣告的歷史質(zhì)量的估計(jì)進(jìn)行比
較。通過這種方式，可以識別以及提煉出所分析的廣告/查詢特征k的 相關(guān)值。
具體地返回到圖17，對于每個(gè)所選擇的廣告/查詢特征(ki)，可 以初始計(jì)算或識別平均自排除概率(P,)(動(dòng)作1700)。在一個(gè)實(shí)現(xiàn) 中，該自排除概率(Pi)是表示所選擇的廣告/査詢特征的相關(guān)性的值， 并且可以測量當(dāng)從所估計(jì)的可能性計(jì)算中除去所選擇的廣告/查詢特征 的模型參數(shù)(mi)時(shí)廣告是好或差的結(jié)果可能性。例如，對于廣告/査 詢特征3，這可以表示為
尸3n +((《0-附|.附2,'"氣)/附3《((《0.附r附2'附3…'附"V附3 + U
在一個(gè)實(shí)施例中，每個(gè)廣告/查詢特征的自排除概率可以被保持為 移動(dòng)平均，以確保所識別的自排除概率在識別用于每個(gè)所選廣告/查詢
特征的模型參數(shù)之后更快的收斂。這樣移動(dòng)平均可以表示為 ^ (，)=《"一d (呵)+ (1 -《
其中a為統(tǒng)計(jì)定義變量，其非常接近于1 (例如，0.999)并被用 于控制移動(dòng)平均的半衰期。如上面表達(dá)式所示，通過如在以前廣告選 擇(例如，n-l)確定的P,值對用于廣告選擇的當(dāng)前數(shù)(n)(例如， 用于廣告/査詢特征ki的"廣告選擇總數(shù)"1620的當(dāng)前值)的Pi值加權(quán) 和平均。
然后，可以將平均自排除概率(Pi (avg))與涉及所觀測的廣告 選擇的數(shù)量以及用于所觀測的選擇而觀測的好或差廣告的可能性的歷
史信息進(jìn)行比較(動(dòng)作1710)。然后，可以基于動(dòng)作nio的比較來生
成或修改與所選擇的廣告/査詢特征ki相關(guān)聯(lián)的模型參數(shù)mi(動(dòng)作1720) (如將在下面參照圖18中的框1820和1830進(jìn)一步描述的)。
圖18是示出了圖17的框1710-1720的一個(gè)示范性實(shí)現(xiàn)的流程圖。 初始地，可以確定與好廣告或差廣告的可能性相關(guān)的置信區(qū)間(動(dòng)作 1800)。使用置信區(qū)間技術(shù)使得在使用具有更少量歷史數(shù)據(jù)的廣告/査
詢特征k時(shí)能夠更準(zhǔn)確和穩(wěn)定地估計(jì)。在一個(gè)實(shí)現(xiàn)中，該置信區(qū)間包 括較低值Li和較高值Ui，并且基于廣告選擇的數(shù)量(ni)(例如，用
于廣告/查詢特征k,的數(shù)據(jù)結(jié)構(gòu)1600中的"廣告選擇的總數(shù)"1620中 的當(dāng)前值)以及對所選廣告/査詢特征觀測的總好/差(ji)(例如，在 用于廣告/査詢特征k,的數(shù)據(jù)結(jié)構(gòu)1600中的當(dāng)前總"好"預(yù)測值1630 或總"差"預(yù)測值1640)。例如，該置信區(qū)間可以是80X置信區(qū)間[Li， U,]，其是基于廣告選擇的數(shù)量(例如，在用于廣告/查詢特征ki的數(shù)據(jù) 結(jié)構(gòu)1600中的"廣告選擇的總數(shù)"1620中的當(dāng)前值)以及所觀測的 總好或差(例如，用于廣告虔詢特征ki的數(shù)據(jù)結(jié)構(gòu)1600中的當(dāng)前總"好" 預(yù)測值1630或總"差"預(yù)測值1640)以常規(guī)方式計(jì)算的。在計(jì)算置信 區(qū)間之后，然后可以確定該平均自排除概率(Pi (avg))是否落在該 區(qū)間中(動(dòng)作1810)。如果落在區(qū)間中，則可以確定所選擇的廣告/査 詢特征(ki)對于好廣告或差廣告的可能性沒有影響，并且可以將它的 模型參數(shù)(mi)設(shè)置為1，這非常有效地將其從所估計(jì)的可能性計(jì)算中 除去(動(dòng)作1820)。但是，如果確定該P(yáng)i (avg)落在置信區(qū)間之外， 則可以將用于所選擇的廣告/查詢特征kj的模型參數(shù)(mi)設(shè)置為將該 自排除概率(Pi(avg))置于置信區(qū)間中所必要的最小調(diào)整(動(dòng)作1830)。 該計(jì)算可以算術(shù)地表示為
<formula>formula see original document page 30</formula>
現(xiàn)在返回到圖17，在計(jì)算了用于所選擇的廣告/查詢特征ki的模型 參數(shù)后，可以確定附加的廣告/查詢特征(例如，圖16中的廣告/查詢 特征1610-1至1610-N的)是否還要被處理(即，ki是否小于km，其 中m等于在數(shù)據(jù)結(jié)構(gòu)1600中的廣告/查詢特征的總數(shù))。如果仍需要 處理附加的廣告/查詢特征，則可以增加計(jì)數(shù)器變量i，并且該過程可以 返回至動(dòng)作1700，以處理下一廣告/查詢特征kj。在用于所有廣告/査詢 特征的模型參數(shù)都己經(jīng)被計(jì)算或修改后，可以使用等式q-q。.m,.m2. !113....111111來估計(jì)好廣告或差廣告的可能性(動(dòng)作1750)?？梢詫⑺?計(jì)的好廣告可能性(例如，ODDS (good ad|ad /query feature))存儲(chǔ) 在與該廣告/查詢特征1610對應(yīng)的數(shù)據(jù)結(jié)構(gòu)1600的"好"廣告可能性
條目1650中?？梢詫⑺烙?jì)的差廣告可能性(例如，ODDS (badad|ad /query feature))存儲(chǔ)在與該廣告/査詢特征1610對應(yīng)的數(shù)據(jù)結(jié)構(gòu)1600 的"差"廣告可能性條目1660中。
在與本發(fā)明的原理一致的一個(gè)實(shí)現(xiàn)中，可以通過當(dāng)日志數(shù)據(jù)到達(dá) 時(shí)對其進(jìn)行處理并對上述統(tǒng)計(jì)進(jìn)行累計(jì)(例如，廣告選擇、總好或差、 自包括概率等)來訓(xùn)練可能性預(yù)測模型。當(dāng)附加的廣告選擇發(fā)生時(shí)， 與每個(gè)廣告/査詢特征相關(guān)聯(lián)的置信區(qū)間可以收縮，并且該參數(shù)估計(jì)可
以變得更準(zhǔn)確。在附加的實(shí)現(xiàn)中，通過重新處理舊的日志數(shù)據(jù)，可以 加速訓(xùn)練。在對日志數(shù)據(jù)進(jìn)行重新處理時(shí)，可以通過使用最新的參數(shù) 或可能性乘數(shù)值來重新計(jì)算好廣告或差廣告的估計(jì)可能性。這允許預(yù) 測模型更快地收斂。
示范性廣告質(zhì)量預(yù)測過程
圖19是根據(jù)與本發(fā)明的原理一致的實(shí)現(xiàn)的用于預(yù)測廣告質(zhì)量的 示范性過程的流程圖。本領(lǐng)域技術(shù)人員應(yīng)理解，圖19中所示的過程可 以適當(dāng)?shù)匾攒浖韺?shí)現(xiàn)并存儲(chǔ)在計(jì)算機(jī)可讀存儲(chǔ)器中，諸如主存儲(chǔ)器 430、 ROM 440或服務(wù)器320或330或客戶端310的存儲(chǔ)裝置450中。
該示范性過程可以以從用戶接收搜索查詢開始(框1900)。用戶 可以向服務(wù)器320發(fā)出搜索查詢，以由搜索引擎系統(tǒng)325來執(zhí)行。搜 索引擎系統(tǒng)325可以獲得與所接收的搜索査詢相匹配的一組廣告(框 1910)。搜索引擎系統(tǒng)325可以基于所接收的搜索查詢來執(zhí)行搜索， 以確認(rèn)該組廣告以及與該搜索查詢匹配的其他文檔。對于該組廣告中 的每個(gè)廣告，可以確定與所接收的搜索査詢以及廣告對應(yīng)的每個(gè)廣告/ 查詢特征(框1920)。用于每個(gè)搜索査詢和廣告對的廣告/查詢特征可 以包括與登廣告商相關(guān)聯(lián)的標(biāo)識符(例如，廣告商的可視統(tǒng)一資源定 位符(URL))、廣告定向的關(guān)鍵字、用戶發(fā)出的搜索查詢中的沒有 定向的詞和/或用戶發(fā)出的搜索查詢中沒有定向但是與廣告定向的詞類 似的詞。也可以使用與本發(fā)明的原理一致的上面沒有描述的其他類型
的廣告或查詢特征。例如，可以將組合(例如，兩個(gè)廣告/査詢特征的 對)中觀測的任意上述廣告/查詢特征用作單一廣告査詢/特征。
對于該組廣告中的每一個(gè)廣告，可以從數(shù)據(jù)結(jié)構(gòu)1600中檢索用于
所確定的廣告/査詢特征i的所存儲(chǔ)的ODDS;(例如，ODDS (good adjad /query feature ) 1650， ODDS (bad ad|ad/query feature )1660)(框1930)。 如圖20中所示，數(shù)據(jù)結(jié)構(gòu)1600可以以廣告/查詢特征2000為索引，其 中該廣告/査詢特征2000對應(yīng)于搜索查詢和廣告，以檢索與每個(gè)廣告/ 查詢特征相關(guān)聯(lián)的一個(gè)或多個(gè)ODDSi2010。例如，如圖16中所示，可 以檢索與每個(gè)廣告/查詢特征1610對應(yīng)的"好"廣告可能性值1650。 在另一個(gè)例子中，如圖16所示，可以檢索與每個(gè)廣告/查詢特征1610 對應(yīng)的"差"廣告可能性值1660。
對于該組廣告中的每一個(gè)廣告，可以將用于每個(gè)廣告/查詢特征i 的所檢索的ODDSj相乘(框1940)，以生成總ODDS值(ODDSt): ODDSt二ODDSJODDS^ODDS3… 等式(6)
例如，可以將對于每個(gè)廣告/査詢特征的"好"廣告可能性值1650
相乘，以生成總好廣告可能性值ODDSt—goodad。作為另一個(gè)例子，可
以將對于每個(gè)廣告/查詢特征的"差"廣告可能性值1660相乘，以生成 總差廣告可能性值ODDS^adad。如圖20所示，可以將從數(shù)據(jù)結(jié)構(gòu)1600 中檢索的ODDS 2010相乘，以生成總可能性值ODDSt2020。
對于該組廣告中的每個(gè)廣告，可以通過如下等式來確定可以包括 該廣告是好的概率(Pgoodad)和/或該廣告是差的概率(Pbadad)的質(zhì) 量參數(shù)(框1950):
Pgood ad = ODDSt—good ad/ (l+ODDSt—GooD ad) 等式(7)
Pbad ad = ODDStBAD AD/ (l+ODDStBADAD) 等式(8)
如在圖20中所示，可以使用總的可能性值ODDSt 1820和等式(7)
或(8)來推導(dǎo)質(zhì)量參數(shù)(P) 2030。推導(dǎo)出的質(zhì)量參數(shù)P之后可以被
用于、例如，過濾、排名和/或提升，如在與本申請同一天提交、發(fā)明
名禾爾為"Using Estimated Ad Qualities for Ad Filtering, Ranking and Promotion"的同時(shí)待審的美國申請No.l 1/321,064中所描述的，通過引 用而將該申請全部合并于此。
結(jié)論
以上對本發(fā)明的優(yōu)選實(shí)施例的描述提供了例證和說明，但并不意 欲窮舉本發(fā)明或者將本發(fā)明限制為所披露的精確形式?？梢园凑丈厦?br> 的教導(dǎo)或者從本發(fā)明的實(shí)踐中獲得對本發(fā)明的某些更改和變化。例如， 雖然己經(jīng)參照圖5、 14、和17-19描述了一系列動(dòng)作，但是在與本發(fā)明 原理相一致的其他實(shí)現(xiàn)中可以修改這些動(dòng)作的順序。此外，互不依賴 的動(dòng)作可以被并行執(zhí)行。
除了上面參照圖5描述的會(huì)話特征之外，在一些實(shí)現(xiàn)中可以可選 地使用轉(zhuǎn)換跟蹤來推導(dǎo)預(yù)測值與用戶滿意度之間的直接標(biāo)度。當(dāng)對廣 告的選擇直接導(dǎo)致了廣告商認(rèn)為有價(jià)值的用戶行為(例如，用戶購買) 時(shí)，就發(fā)生了轉(zhuǎn)換。廣告商或者為廣告商寄放廣告的服務(wù)可以跟蹤對 于每個(gè)廣告選擇是否都發(fā)生了轉(zhuǎn)換。例如，如果用戶選擇了廣告商的 廣告，并且隨后在線購買了在響應(yīng)于廣告選擇而提供給用戶的廣告定 著文檔上顯示的產(chǎn)品，則廣告主或者寄放廣告的服務(wù)可以記錄關(guān)于該 廣告選擇的轉(zhuǎn)換。該轉(zhuǎn)換跟蹤數(shù)據(jù)可以與所識別的廣告選擇相關(guān)聯(lián)。 可以使用統(tǒng)計(jì)技術(shù)，例如，邏輯回歸、回歸樹、提級枝端等來推導(dǎo)在 預(yù)測值與通過轉(zhuǎn)換測得的用戶滿意度之間的直接標(biāo)度。
對于本領(lǐng)域內(nèi)的普通技術(shù)人員來說，在圖中所示的實(shí)現(xiàn)中可以使 用軟件、固件以及硬件的許多不同的形式來實(shí)現(xiàn)本發(fā)明如上所述的各 個(gè)方面。用于實(shí)現(xiàn)與本發(fā)明原理相一致的各個(gè)方面的實(shí)際軟件代碼或 專用控制硬件不會(huì)限制本發(fā)明。這樣，沒有參照特定軟件代碼來描述 各個(gè)方面的操作和行為，然而，可以理解的是，基于這里的描述，本
領(lǐng)域內(nèi)的普通技術(shù)人員將能夠設(shè)計(jì)軟件和控制硬件來實(shí)現(xiàn)這些方面。
本發(fā)明申請中使用的元件、動(dòng)作或指令等不應(yīng)被構(gòu)造為對本發(fā)明 來說是關(guān)鍵的或必不可少的，除非明確描述的確如此。而且，正如這 里所使用的，冠詞"一"意欲包括一個(gè)或多個(gè)項(xiàng)目。在意圖僅表示一 個(gè)項(xiàng)目的地方，使甩術(shù)語"一個(gè)"或類似用語。進(jìn)一步，短語"基于" 意欲表示"至少部分基于"，除非已明確地表示并非如此。
權(quán)利要求
1. 一種方法，包括確定與對多個(gè)廣告的選擇相關(guān)聯(lián)的質(zhì)量值，該質(zhì)量值估計(jì)所述多個(gè)廣告是好廣告的可能性；聚合所述質(zhì)量值；以及使用所聚合的質(zhì)量值來預(yù)測另一個(gè)廣告是好廣告的將來的可能性。
2. 根據(jù)權(quán)利要求l所述的方法，其中，查詢與對所述多個(gè)廣告的 每個(gè)選擇相關(guān)聯(lián)。
3. 根據(jù)權(quán)利要求2所述的方法，進(jìn)一步包括基于與對所述多個(gè)廣告的選擇相關(guān)聯(lián)的一個(gè)或多個(gè)廣告或查詢特 征來聚合所述質(zhì)量值。
4. 根據(jù)權(quán)利要求3所述的方法，其中，所述一個(gè)或多個(gè)廣告或查 詢特征中的每個(gè)包括與所述多個(gè)廣告的每個(gè)廣告的廣告主相關(guān)聯(lián)的標(biāo) 識符、所述多個(gè)廣告中的每個(gè)廣告所定向的關(guān)鍵字、所述查詢中所述 多個(gè)廣告中的每個(gè)廣告沒有定向的詞、或者所述査詢中所述多個(gè)廣告 中的每個(gè)廣告沒有定向但與所述多個(gè)廣告中的每個(gè)廣告所定向的詞類似的詞。
5. 根據(jù)權(quán)利要求3所述的方法，其中，聚合所述質(zhì)量值包括 基于所述一個(gè)或多個(gè)廣告或査詢特征來索引數(shù)據(jù)結(jié)構(gòu)，以存儲(chǔ)所述質(zhì)量值。
6.根據(jù)權(quán)利要求5所述的方法，進(jìn)一步包括: 接收查詢；獲得與所述査詢相關(guān)的一組廣告；接收對所述一組廣告中另一個(gè)廣告的選擇；并且 觀測與對所述另一個(gè)廣告的選擇相關(guān)聯(lián)的一個(gè)或多個(gè)第二廣告或 查詢特征。
7. 根據(jù)權(quán)利要求6所述的方法，其中，所述一個(gè)或多個(gè)第二廣告 或査詢特征包括以下各項(xiàng)中的至少一項(xiàng)與所述另一個(gè)廣告的廣告主 相關(guān)聯(lián)的標(biāo)識符、所述另一個(gè)廣告所定向的關(guān)鍵字、所述查詢中所述 另一個(gè)廣告沒有定向的詞、或者所述査詢中所述另一個(gè)廣告沒有定向 但與所述另一個(gè)廣告所定向的詞類似的詞。
8. 根據(jù)權(quán)利要求6所述的方法，其中，使用所聚合的質(zhì)量值來預(yù) 測另一個(gè)廣告是好廣告的將來的可能性包括基于所述一個(gè)或多個(gè)第二廣告或査詢特征從所述數(shù)據(jù)結(jié)構(gòu)中檢索 所聚合的質(zhì)量值中的至少一些。
9. 一種方法，包括響應(yīng)于搜索查詢向用戶提供一個(gè)或多個(gè)廣告； 記錄與對所述一個(gè)或多個(gè)廣告的用戶選擇相關(guān)聯(lián)的用戶行為； 記錄與所述一個(gè)或多個(gè)廣告中被選擇的廣告相關(guān)聯(lián)、或者與所述搜索查詢相關(guān)聯(lián)的特征；使用統(tǒng)計(jì)模型和所記錄的用戶行為來估計(jì)與所選擇的廣告相關(guān)聯(lián)的質(zhì)量分值；聚合所估計(jì)的質(zhì)量分值；以及使用所聚合的質(zhì)量分值來預(yù)測另一個(gè)廣告的質(zhì)量。
10. 根據(jù)權(quán)利要求9所述的方法，其中，在存儲(chǔ)器中聚合所估計(jì) 的質(zhì)量分值包括基于所記錄的特征來索引數(shù)據(jù)結(jié)構(gòu)，以存儲(chǔ)所估計(jì)的質(zhì)量分值。
11. 根據(jù)權(quán)利要求9所述的方法，其中，所記錄的特征中的每一個(gè)包括以下各項(xiàng)中的至少一項(xiàng)與所述一個(gè)或多個(gè)廣告中相應(yīng)的廣告 相關(guān)聯(lián)的標(biāo)識符、所述一個(gè)或多個(gè)廣告中相應(yīng)的廣告所定向的關(guān)鍵字、 在所述搜索査詢的査詢中所述一個(gè)或多個(gè)廣告中的每個(gè)廣告沒有定向 的詞、以及所述搜索查詢中所述一個(gè)或多個(gè)廣告中的每個(gè)廣告沒有定 向但與所述一個(gè)或多個(gè)廣告中的每個(gè)廣告所定向的詞類似的詞。
12. —種方法，包括從用戶接收搜索査詢；基于所述搜索查詢向用戶提供一組廣告；從所述用戶接收從所述一組廣告中選擇廣告的指示；記錄與所述搜索査詢或者與所選擇的廣告相關(guān)聯(lián)的特征；使用所記錄的特征從存儲(chǔ)器中檢索以往的質(zhì)量分值；以及基于所檢索的以往的質(zhì)量分值來預(yù)測所選擇的廣告的將來的質(zhì)
13.根據(jù)權(quán)利要求12所述的方法，其中，所記錄的特征的每一個(gè) 包括以下各項(xiàng)中的至少一項(xiàng)與所選擇的廣告相關(guān)聯(lián)的標(biāo)識符、所述 所選擇的廣告所定向的關(guān)鍵字、在所述搜索查詢中所述所選擇的廣告 沒有定向的詞、以及所述搜索查詢中所述所選擇的廣告沒有定向但與 所述所選擇的廣告所定向的詞類似的詞。
14.根據(jù)權(quán)利要求12所述的方法，其中，從存儲(chǔ)器中檢索以往的 質(zhì)量分值包括-.使用所記錄的特征來索引所述存儲(chǔ)器中的數(shù)據(jù)結(jié)構(gòu)，以檢索以往 的質(zhì)量分值。
15.根據(jù)權(quán)利要求12所述的方法，其中，根據(jù)所檢索的以往的質(zhì) 量分值來預(yù)測所選擇的廣告的將來的質(zhì)量包括-將算法應(yīng)用到所檢索的以往的質(zhì)量分值，以提供預(yù)測所述廣告的 將來的質(zhì)量的值。
16. —種系統(tǒng)，包括用于基于用戶發(fā)出的搜索査詢向所述用戶提供多個(gè)廣告的裝置； 用于從所述用戶接收從所述多個(gè)廣告中選擇廣告的指示的裝置； 用于記錄與所述搜索査詢或者與所選擇的廣告相關(guān)聯(lián)的特征的裝置；用于使用所記錄的特征從數(shù)據(jù)結(jié)構(gòu)中檢索以往的質(zhì)量分值的裝 置；以及用于基于所檢索的以往的質(zhì)量分值來預(yù)測所選擇的廣告的質(zhì)量的 裝置。
17. —種存儲(chǔ)計(jì)算機(jī)可執(zhí)行指令的計(jì)算機(jī)可讀介質(zhì)，包括 用于確定與對廣告的多個(gè)選擇相關(guān)聯(lián)的質(zhì)量值的指令，其中每個(gè)質(zhì)量值估計(jì)在第一環(huán)境下所述廣告是好廣告的可能性； 用于存儲(chǔ)所述質(zhì)量值的指令；以及使用所存儲(chǔ)的質(zhì)量值來預(yù)測在第二環(huán)境下所述廣告是好廣告的將 來的可能性，其中所述第二環(huán)境不同于所述第一環(huán)境。
全文摘要
一種系統(tǒng)，響應(yīng)于搜索查詢向用戶提供一個(gè)或多個(gè)廣告，并記錄與用戶對該一個(gè)或多個(gè)廣告的選擇相關(guān)聯(lián)的用戶行為。該系統(tǒng)也記錄與該一個(gè)或多個(gè)廣告中所選擇的廣告、或者與該搜索查詢相關(guān)聯(lián)的特征。該系統(tǒng)進(jìn)一步使用統(tǒng)計(jì)模型和所記錄的用戶行為來估計(jì)與所選擇的廣告相關(guān)聯(lián)的質(zhì)量分值，并且聚合所估計(jì)的質(zhì)量分值。該系統(tǒng)使用所聚合的質(zhì)量分值來預(yù)測另一個(gè)廣告的質(zhì)量。
文檔編號G06Q30/00GK101390118SQ200680053448
公開日2009年3月18日 申請日期2006年12月29日 優(yōu)先權(quán)日2005年12月30日
發(fā)明者丹尼爾·賴特, 達(dá)利爾·普雷格波恩, 黛安娜·唐 申請人:谷歌公司