專利名稱：使用估計(jì)的廣告質(zhì)量來進(jìn)行廣告過濾、排名和提升的制作方法
技術(shù)領(lǐng)域：
在此所描述的實(shí)現(xiàn)一般涉及在線廣告，更具體地，涉及使用估計(jì) 的廣告質(zhì)量來對(duì)在線廣告進(jìn)行過濾、排名以及提升。
背景技術(shù)：
在線廣告系統(tǒng)寄放(host)可以對(duì)各種服務(wù)和/或產(chǎn)品做廣告的廣 告。這樣的廣告可以被呈現(xiàn)給訪問由廣告系統(tǒng)所寄放的文檔的用戶， 或者呈現(xiàn)給發(fā)出用于搜索文檔集的搜索查詢的用戶。廣告可以包括"創(chuàng)
意(creative)"，其包括與被廣告的服務(wù)和/或產(chǎn)品相關(guān)的文本、圖形 和/或圖像。該廣告還可以包括連至包含關(guān)于被廣告服務(wù)和或產(chǎn)品的細(xì) 節(jié)的廣告"定著文檔"的鏈接。當(dāng)特定創(chuàng)意引起用戶的興趣時(shí)，該用 戶可以選擇(或點(diǎn)擊)該創(chuàng)意，并且該相關(guān)鏈接使得用戶的網(wǎng)頁瀏覽 器訪問與該創(chuàng)意相關(guān)的"定著文檔"及相關(guān)鏈接。在下文中，將用戶 對(duì)廣告創(chuàng)意以及相關(guān)鏈接的選擇稱為"點(diǎn)擊"。
在線廣告系統(tǒng)通常為了計(jì)帳以及其他目的而跟蹤廣告點(diǎn)擊。跟蹤 廣告點(diǎn)擊的一個(gè)非計(jì)帳目的是試圖確定廣告質(zhì)量。點(diǎn)進(jìn)率(CRT)是用 于確定廣告質(zhì)量的度量。CRT表示當(dāng)將給定的廣告呈現(xiàn)給用戶時(shí)該給 定的廣告獲得"被點(diǎn)擊"的次數(shù)的分值。但是，廣告的CRT是對(duì)廣告 質(zhì)量的有缺陷的度量，因?yàn)樗魂P(guān)注于廣告創(chuàng)意而不是廣告對(duì)象，即 定著文檔。為了確定廣告是好還是壞，用戶需要點(diǎn)擊廣告，因此發(fā)生/ 不發(fā)生點(diǎn)擊不足以確定廣告的質(zhì)量。 一些廣告由于它們具有很好的創(chuàng) 意而接收到許多點(diǎn)擊，但是定著文檔對(duì)于用戶來說卻是完全無法令人 滿意的或者不相關(guān)的。其他廣告接收到非常少的點(diǎn)擊(例如，由于該 廣告創(chuàng)意差)，但是每個(gè)點(diǎn)擊都讓用戶滿意。因而，現(xiàn)有的確定與在 線廣告相關(guān)的CRT提供了對(duì)廣告質(zhì)量的有缺陷的度量。
此外，在現(xiàn)有的在線廣告系統(tǒng)中，顯示給用戶的廣告以及廣告顯 示給用戶的次序完全基于廣告的CRT以及廣告商愿意為顯示其廣告而
支付的最大"每次點(diǎn)擊成本"(cost per click, CPC)。該CPC是廣告 商愿意支付給廣告發(fā)布者的數(shù)額，并且其基于該特定廣告接收到的選 擇(例如，點(diǎn)擊)的數(shù)量。就CTR被用作廣告質(zhì)量的替身來說，其由 于已經(jīng)闡述的原因而是不充分的。因而，現(xiàn)有的用于確定顯示哪個(gè)廣 告以及對(duì)廣告進(jìn)行分級(jí)的機(jī)制使用了一種對(duì)廣告質(zhì)量的有缺陷的度 量，其可能不向用戶提供最高質(zhì)量的廣告。

發(fā)明內(nèi)容
根據(jù)一個(gè)方面， 一種方法可以包括獲得與多個(gè)廣告中的廣告的 質(zhì)量相關(guān)聯(lián)的第一參數(shù)，其中該第一質(zhì)量參數(shù)不包括點(diǎn)進(jìn)率。該方法 可以進(jìn)一步包括用函數(shù)式將該第一質(zhì)量參數(shù)與至少一個(gè)其他參數(shù)組 合，并利用該函數(shù)組合來對(duì)該多個(gè)廣告中的廣告進(jìn)行過濾、排名或者 提升。
根據(jù)另一個(gè)方面， 一種方法可以包括獲得與第一組廣告相關(guān)聯(lián)
的評(píng)級(jí)，其中該評(píng)級(jí)表示該第一組廣告的質(zhì)量。該方法還可以進(jìn)一步 包括觀察與第一組廣告中的廣告的用戶選擇相關(guān)聯(lián)的多個(gè)不同的用戶 動(dòng)作，并且利用所觀察的用戶動(dòng)作以及所獲得的評(píng)級(jí)推導(dǎo)統(tǒng)計(jì)模型。 該方法還可以包括通過利用該統(tǒng)計(jì)模型來估計(jì)與第二組廣告相關(guān)聯(lián)的 質(zhì)量分值，并根據(jù)所估計(jì)的質(zhì)量分值來將第二組廣告中的廣告子集提 供給用戶。
根據(jù)還一個(gè)方面， 一種方法可以包括利用統(tǒng)計(jì)模型來確定與一組
廣告相關(guān)聯(lián)的質(zhì)量分值，其中該質(zhì)量分值不包括點(diǎn)進(jìn)率(CTR)。該方 法還可以包括根據(jù)所確定的質(zhì)量分值來禁用使該組廣告中的第一廣告 子集，并將該組廣告的第二子集提供給用戶，其中該組廣告的第二子 集包括第一組廣告減去第一廣告子集。
根據(jù)另外的方面， 一種方法可以包括利用統(tǒng)計(jì)模型來確定與一組 廣告相關(guān)聯(lián)的質(zhì)量分值，其中該質(zhì)量分值不包括點(diǎn)進(jìn)率(CTR)。該方 法還可以包括根據(jù)所確定的質(zhì)量分值來對(duì)該組廣告的廣告進(jìn)行排名， 以確定排名次序。
根據(jù)另一個(gè)方面， 一種方法可以包括利用統(tǒng)計(jì)模型來確定與一群
廣告相關(guān)聯(lián)的質(zhì)量分值，其中該質(zhì)量分值不包括點(diǎn)進(jìn)率(CTR)。該方
法可以進(jìn)一步包括根據(jù)所確定的質(zhì)量分值來提升該群廣告中的一個(gè)或 多個(gè)廣告，將該群廣告中被提升的一個(gè)或多個(gè)廣告定位在文檔的突出 位置，以及將該群廣告中未被提升的廣告定位在文檔上的比該被提升 的一個(gè)或多個(gè)廣告不突出的位置。


被并入并構(gòu)成該說明書的一部分的附圖示出了本發(fā)明的一個(gè)或多 個(gè)實(shí)施例，并且與該說明書一起來解釋本發(fā)明。在附圖中，
圖1和2是一個(gè)實(shí)現(xiàn)的示范性概要圖，其中利用與一組廣告相關(guān) 聯(lián)的所觀察的用戶行為以及已知的質(zhì)量評(píng)級(jí)來構(gòu)造統(tǒng)計(jì)模型，其中該 統(tǒng)計(jì)模型可以用來估計(jì)廣告質(zhì)量，以及然后根據(jù)所估計(jì)的廣告質(zhì)量來 對(duì)廣告進(jìn)行過濾、排名以及提升；
圖3是其中可以實(shí)現(xiàn)與本發(fā)明的原理一致的系統(tǒng)和方法的網(wǎng)絡(luò)的
示范圖4是根據(jù)與本發(fā)明的原理一致的實(shí)現(xiàn)的圖3中的客戶端或服務(wù) 器的示范圖5是根據(jù)與本發(fā)明的原理一致的實(shí)現(xiàn)的示范性過程的流程圖， 用于構(gòu)造與多個(gè)在線廣告的選擇相關(guān)聯(lián)的用戶行為的模型；
圖6-13示出了與所觀察的或已登錄的用戶行為相對(duì)應(yīng)的各種示范 性會(huì)話特征，其中該特征可以被用于構(gòu)造統(tǒng)計(jì)模型，以預(yù)測(cè)廣告質(zhì)量；
圖14是根據(jù)與本發(fā)明的原理一致的實(shí)現(xiàn)的示范性過程的流程圖， 用于確定與廣告質(zhì)量相關(guān)的預(yù)測(cè)值；
圖15是圖形示出與本發(fā)明的一個(gè)方面一致的圖14的示范性過程
的圖16是用于存儲(chǔ)圖14中確定的預(yù)測(cè)值的示范性數(shù)據(jù)結(jié)構(gòu)的圖； 圖17和18是與本發(fā)明的原理一致的示范性過程的流程圖，用于
利用在圖14的示范性過程中確定的預(yù)測(cè)值來估計(jì)與廣告相關(guān)聯(lián)的好或
差質(zhì)量的幾率；
圖19是根據(jù)與本發(fā)明的原理一致的實(shí)現(xiàn)的示范性過程的流程圖， 用于預(yù)測(cè)廣告的質(zhì)量；
圖20是圖形示出了與本發(fā)明的一個(gè)方面一致的圖19的示范性過
程的；
圖21是根據(jù)與本發(fā)明的原理一致的實(shí)現(xiàn)的示范性過程的流程圖， 用于對(duì)廣告進(jìn)行過濾、排名和/或提升；
圖22-24示出了與本發(fā)明的各方面一致的對(duì)廣告進(jìn)行過濾的各種
例子；
圖25和圖26示出了與本發(fā)明的各方面一致的對(duì)廣告進(jìn)行排名的
例子；
圖27-29示出了與本發(fā)明的各方面一致的廣告提升的例子；以及 圖30示出了與本發(fā)明的一個(gè)方面一致的示范性搜索結(jié)果文檔，該 文檔包括過濾的、排名的和/或提升的廣告。
具體實(shí)施例方式
下面參照附圖來對(duì)本發(fā)明進(jìn)行詳細(xì)說明。在不同的附圖中，相同 的參考數(shù)字可以表示相同或類似的元件。而且，下面的詳細(xì)說明不限 制本發(fā)明。
與本發(fā)明的各方面一致的系統(tǒng)和方法可以使用與在線廣告的用戶 選擇相關(guān)聯(lián)的用戶行為的多個(gè)觀察(例如，實(shí)時(shí)觀察或者來自記錄用 戶的日志的觀察)，以與傳統(tǒng)的僅基于CTR的確定相比更準(zhǔn)確地估計(jì) 廣告質(zhì)量?？梢允褂门c已知評(píng)級(jí)的廣告相關(guān)聯(lián)的質(zhì)量評(píng)級(jí)、以及與這 些己知評(píng)級(jí)的廣告的選擇(例如，"點(diǎn)擊")相關(guān)聯(lián)的相應(yīng)測(cè)量的所觀測(cè)的用戶行為來構(gòu)造統(tǒng)計(jì)模型。隨后，可以使用該統(tǒng)計(jì)模型來根據(jù) 與廣告選擇相關(guān)聯(lián)的所觀測(cè)的用戶行為和/或所選擇的廣告的特征或用 于檢索廣告的查詢來估計(jì)與該廣告相關(guān)聯(lián)的質(zhì)量?？梢允褂盟烙?jì)的 與廣告相關(guān)聯(lián)的質(zhì)量來確定將哪個(gè)廣告提供給用戶、對(duì)廣告進(jìn)行排名 和/或?qū)⑺x擇的廣告提升至提供給用戶的文檔上的突出位置。
如在此所使用的術(shù)語"文檔"應(yīng)被廣泛地解釋為包括任何機(jī)器可 讀以及機(jī)器可存儲(chǔ)的工作成果。文檔可以包括例如電子郵件、網(wǎng)頁或 網(wǎng)站、商務(wù)列表、文件、文件的組合、嵌有到其他文件的的連接的一 個(gè)或多個(gè)文件、新聞組貼子、博客、在線廣告等。文檔通常包括文本 信息，并且可以包括嵌入式信息(例如元信息、圖像、超鏈接等)和/
或嵌入式指令(例如Javascript等)。如在此所使用的術(shù)語"鏈接"應(yīng) 被廣泛地解釋為包括從/到一個(gè)文檔到/從另一個(gè)文檔或者該相同文檔 另一部分的任意參考。
概述
圖1和圖2示出了本發(fā)明的實(shí)現(xiàn)的示范性概要圖，其中可以使用 所觀測(cè)的用戶行為來估計(jì)在線廣告的質(zhì)量，并然后可以使用所估計(jì)的 質(zhì)量來對(duì)所選擇的廣告進(jìn)行過濾、排名和/或提升。
如圖1所示，多個(gè)評(píng)級(jí)的廣告100-1至100-N (在此共同地稱作廣 告100)中的每一個(gè)可以與相應(yīng)的文檔105-1至105-N (在此共同地稱 作文檔105)相關(guān)聯(lián)。除了評(píng)級(jí)的廣告100外，每個(gè)文檔105可以包括 一組搜索結(jié)果(該結(jié)果是基于用戶提供的搜索查詢而由搜索引擎執(zhí)行 搜索得到的)，并且還可以包括一個(gè)或多個(gè)廣告。每個(gè)廣告100可以 與評(píng)級(jí)數(shù)據(jù)120相關(guān)聯(lián)，該評(píng)級(jí)數(shù)據(jù)120是由已對(duì)每個(gè)評(píng)級(jí)的廣告100 的質(zhì)量進(jìn)行了評(píng)級(jí)的評(píng)級(jí)人提供的。每個(gè)廣告100可以對(duì)各種產(chǎn)品或 服務(wù)做廣告。
響應(yīng)于接收到廣告100,接收用戶可以基于廣告上顯示的"創(chuàng)意"
來選擇110廣告(例如，例如使用鼠標(biāo)在顯示的廣告上進(jìn)行"點(diǎn)擊")。 在廣告選擇uo之后，使用嵌入在廣告100中的鏈接通過寄放該廣告 的服務(wù)器將廣告定著文檔115提供給選擇用戶。該廣告定著文檔115
可以提供在相應(yīng)廣告100中做廣告的產(chǎn)品和/或服務(wù)的細(xì)節(jié)。
在用戶進(jìn)行每個(gè)廣告選擇iio之前、期間和/或之后，可以實(shí)時(shí)測(cè)
量在"會(huì)話"期間與每個(gè)廣告選擇110相關(guān)聯(lián)的會(huì)話特征125或者將 其記錄在存儲(chǔ)器中或磁盤上。會(huì)話可以包括在長(zhǎng)于一個(gè)特定時(shí)間段內(nèi) 無中斷地發(fā)生的一組用戶動(dòng)作(例如，在長(zhǎng)于三小時(shí)的時(shí)間段內(nèi)無中 斷地發(fā)生的一組用戶動(dòng)作)。
所測(cè)量的會(huì)話特征125可以包括任何類型的所觀察的用戶行為或 動(dòng)作。例如，會(huì)話特征125可以包括廣告選擇110的持續(xù)時(shí)間(例如， 在廣告100上"點(diǎn)擊"的持續(xù)時(shí)間)、在給定的廣告選擇之前和/或之 后其他廣告的選擇的數(shù)量、在給定的廣告選擇之前和/或之后搜索結(jié)果 的選擇的數(shù)量、在給定的廣告選擇之前和/或之后對(duì)其他類型結(jié)果(例 如，圖像、新聞、產(chǎn)品等)的選擇的數(shù)量、在給定的廣告選擇之前和/ 或之后文檔閱覽(例如，頁面閱覽)的數(shù)量(例如，在廣告選擇之前 和/或之后搜索結(jié)果的頁面閱覽)、在給定的廣告選擇之前和/或之后搜 索查詢的數(shù)量、與顯示廣告的用戶會(huì)話相關(guān)聯(lián)的査詢的數(shù)量、對(duì)同一 給定廣告進(jìn)行重復(fù)選擇的數(shù)量或者給定的廣告選擇是否為會(huì)話中的最 后選擇、會(huì)話中的最后廣告選擇、對(duì)于給定的搜索查詢的最后選擇或 對(duì)于給定的搜索查詢的最后廣告選擇的指示。與本發(fā)明的各方面一致， 可以使用上面沒有描述的其他類型的與廣告選擇相關(guān)聯(lián)的所觀察的用 戶行為。
利用與相應(yīng)評(píng)級(jí)的廣告100的每個(gè)廣告選擇100相關(guān)聯(lián)的所測(cè)量 的會(huì)話特征125以及廣告評(píng)級(jí)數(shù)據(jù)120，可以構(gòu)造統(tǒng)計(jì)模型130 (如下 面進(jìn)一步描述的)。該統(tǒng)計(jì)模型可以包括利用統(tǒng)計(jì)技術(shù)推導(dǎo)的概率模 型。這樣的技術(shù)可以包括例如邏輯回歸(logistic regression)、回歸樹、提級(jí)的枝端(boosted stumps)或者任何其他統(tǒng)計(jì)建模技術(shù)。統(tǒng)計(jì)模型 130可以提供一個(gè)預(yù)測(cè)值，該預(yù)測(cè)值估計(jì)給定的廣告是與廣告的用戶選 擇相關(guān)聯(lián)的好的給定所測(cè)會(huì)話特征的可能性(例如，P (good ad|ad selection) =/g (session feaures))。
在構(gòu)造統(tǒng)計(jì)模型130之后，可以預(yù)測(cè)由一個(gè)或多個(gè)用戶選擇的廣 告的廣告質(zhì)量值。可以將與文檔140相關(guān)聯(lián)的并且由網(wǎng)絡(luò)中的服務(wù)器 所寄放的廣告135提供給訪問用戶?？梢詫?duì)與廣告135的用戶選擇145 相關(guān)聯(lián)的會(huì)話特征155進(jìn)行測(cè)量或者將其記錄在存儲(chǔ)器中或磁盤上， 并且可以將該測(cè)量作為輸入提供給統(tǒng)計(jì)模型130。統(tǒng)計(jì)模型130可以確 定廣告135為好廣告、給定所測(cè)的會(huì)話特征的可能性，并且可預(yù)測(cè)廣 告135的廣告質(zhì)量值160。雖然圖1描述了預(yù)測(cè)與單個(gè)廣告135相關(guān)聯(lián) 的質(zhì)量值，但是可以為由多個(gè)用戶選擇的每個(gè)廣告135估計(jì)廣告質(zhì)量 值160，以生成多個(gè)預(yù)測(cè)廣告質(zhì)量值160。
如圖2所示，從多個(gè)廣告選擇中得到的預(yù)測(cè)質(zhì)量值160可以被聚 合和處理200 (如下面將參照?qǐng)D14-20所描述的)，以進(jìn)一步提供表示 各個(gè)廣告是好廣告或者差廣告的廣告質(zhì)量參數(shù)210。可以使用該廣告質(zhì) 量參數(shù)210來對(duì)與廣告質(zhì)量參數(shù)210相關(guān)聯(lián)的廣告中所選擇的廣告進(jìn) 行過濾、排名和/或提升。可以首先確定與用戶發(fā)出的搜索査詢224相 關(guān)的一組廣告220,例如，基于廣告的內(nèi)容與搜索査詢224的術(shù)語的比 較。然后，可以基于與每個(gè)廣告相關(guān)聯(lián)的廣告質(zhì)量參數(shù)210 (單獨(dú)地或 者與CTR結(jié)合)來對(duì)該組廣告220進(jìn)行過濾230。對(duì)該組廣告220的 過濾可以禁用使所選擇的廣告，以使得不將它們提供給發(fā)出搜索査詢 224的用戶?？梢允褂美盟烙?jì)的廣告質(zhì)量的各種技術(shù)來對(duì)該組相關(guān) 廣告210中的所選廣告進(jìn)行過濾，這將在下面進(jìn)一步描述。
然后，可以基于廣告質(zhì)量參數(shù)210來對(duì)該組相關(guān)廣告220進(jìn)行排 名240?？梢栽谶^濾230之后(或之前)，或者不執(zhí)行過濾230，對(duì)該 組相關(guān)廣告220進(jìn)行排名240。對(duì)該組相關(guān)廣告220進(jìn)行的排名240確
定了用于向發(fā)出該搜索査詢224的用戶提供每個(gè)相關(guān)廣告220 —個(gè)所
選次序。
可以基于質(zhì)量參數(shù)210進(jìn)一步對(duì)該組相關(guān)廣告220中的一個(gè)或多 個(gè)廣告進(jìn)行提升250。提升廣告可以包括將所提升的廣告定位在文檔上 相對(duì)于未被提升的廣告不同的位置。例如，可以將所提升的廣告放置 在文檔上(例如，文檔頂部或文檔底部)的高亮(更突出)位置，而 將未被提升的廣告將放置在文檔上不同的非高亮或不太突出的位置。 可以在過濾230和排名240之后、只在排名240之后、或者不進(jìn)行過 濾230或排名240，對(duì)該組相關(guān)廣告220進(jìn)行提升250。
可以將該經(jīng)過過濾、排名和/或提升的廣告提供給發(fā)出搜索查詢 224的用戶。在一些實(shí)現(xiàn)中，可以將該經(jīng)過過濾、排名和/或提升的廣 告包括在提供給用戶的一個(gè)或多個(gè)文檔中，包括由搜索引擎執(zhí)行用戶 所發(fā)出的搜索查詢224而得到的搜索結(jié)果。
示范性網(wǎng)絡(luò)結(jié)構(gòu)
圖3是其中可以實(shí)現(xiàn)與本發(fā)明的原理一致的系統(tǒng)和方法的網(wǎng)絡(luò) 300的示范圖。網(wǎng)絡(luò)300可以包括經(jīng)由網(wǎng)絡(luò)340連接到一個(gè)或多個(gè)服務(wù) 器320-330的多個(gè)客戶端310。為了簡(jiǎn)便起見，示出了兩個(gè)客戶端310 以及兩個(gè)服務(wù)器320-330連接到網(wǎng)絡(luò)340。實(shí)際上，可以有更多或更少 的客戶端和服務(wù)器。而且，在一些實(shí)例中，客戶端可以執(zhí)行服務(wù)器的 功能，并且服務(wù)器可以執(zhí)行客戶端的功能。
客戶端310可以包括客戶端實(shí)體。實(shí)體可以被定義為裝置，諸如 個(gè)人計(jì)算機(jī)、無線電話、個(gè)人數(shù)字助理(PDA)、膝上型電腦、或者 另一類型的計(jì)算或通信裝置、在這些裝置之一上運(yùn)行的線程或進(jìn)程、 和/或者可以由這些裝置之一執(zhí)行的對(duì)象。 一個(gè)或多個(gè)用戶可以與每個(gè) 客戶端310相關(guān)聯(lián)。服務(wù)器320和330可以包括以與本發(fā)明的原理一 致的方式來訪問、取得、聚合、處理、搜索和/或保持文檔的服務(wù)器實(shí)
體?？蛻舳?10和服務(wù)器320及330可以經(jīng)由有線、無線、和/或光連 接來連接到網(wǎng)絡(luò)340。
在與本發(fā)明的原理一致的實(shí)現(xiàn)中，服務(wù)器320可以包括搜索引擎 系統(tǒng)325，其可由客戶端310的用戶使用。服務(wù)器320可以通過抓取文 檔集(例如，Web文檔)對(duì)該文檔進(jìn)行索引以及將與該文檔相關(guān)聯(lián)的 信息存儲(chǔ)文檔庫中來實(shí)現(xiàn)數(shù)據(jù)聚合服務(wù)。也可以以其他方式來實(shí)現(xiàn)該 數(shù)據(jù)聚合服務(wù)，諸如與數(shù)據(jù)服務(wù)器330的操作者協(xié)定以經(jīng)由數(shù)據(jù)聚合 服務(wù)來分發(fā)它們所寄放的文檔。在一些實(shí)現(xiàn)中，服務(wù)器320可以寄放 可以被提供給在客戶端310的用戶的廣告(例如，創(chuàng)意、廣告定著文 檔)。搜索引擎系統(tǒng)325可以執(zhí)行從在客戶端310的用戶接收的對(duì)存 儲(chǔ)在文檔庫中的文檔集的查詢，并且可以將與所執(zhí)行的查詢相關(guān)的一 組搜索結(jié)果提供給該用戶。除了該組搜索結(jié)果以外，服務(wù)器320還可 以將與所執(zhí)行的搜索的結(jié)果相關(guān)聯(lián)的一個(gè)或多個(gè)廣告創(chuàng)意提供給在客 戶端310的用戶。
服務(wù)器330可以存儲(chǔ)或保持可以是由服務(wù)器320所抓取的文檔。 這樣的文檔可以包括與出版的新聞故事、產(chǎn)品、圖像、用戶組、地理 區(qū)域相關(guān)的數(shù)據(jù)或者任何其他類型的數(shù)據(jù)。例如，服務(wù)器330可以存 儲(chǔ)或保持來自任何類型的新聞資源(諸如例如華盛頓郵報(bào)、紐約泰晤 士報(bào)、泰晤士雜質(zhì)或者新聞周刊的新聞故事)。作為另一例子，服務(wù) 器330可以存儲(chǔ)或保持與特定產(chǎn)品相關(guān)的數(shù)據(jù)，諸如由一個(gè)或多個(gè)產(chǎn) 品制造商提供的產(chǎn)品數(shù)據(jù)。作為還一個(gè)例子，服務(wù)器330可以存儲(chǔ)或 保持與其他類型的Web文檔(例如網(wǎng)站的頁面)的數(shù)據(jù)。服務(wù)器330 還可以寄放廣告，諸如廣告創(chuàng)意以及廣告定著文檔。
網(wǎng)絡(luò)340可以包括任何類型的一個(gè)或多個(gè)網(wǎng)絡(luò)，包括局域網(wǎng) (LAN)、廣域網(wǎng)(WAN)、城域網(wǎng)(MAN)、諸如公共開關(guān)電話網(wǎng) 絡(luò)(PSTN)或公共陸地移動(dòng)網(wǎng)絡(luò)(PLMN)的電話網(wǎng)、內(nèi)聯(lián)網(wǎng)、因特 網(wǎng)、存儲(chǔ)器裝置或者網(wǎng)絡(luò)的組合。該P(yáng)LMN可以進(jìn)一步包括分組交換
子網(wǎng)，諸如例如通用分組無線服務(wù)(GPRS)、蜂窩數(shù)字分組數(shù)據(jù)(CDPD)
或移動(dòng)IP子網(wǎng)。
雖然服務(wù)器320-330被示為單獨(dú)的實(shí)體，但是也可能是服務(wù)器 320-330中的一個(gè)執(zhí)行該服務(wù)器320-330中的另一個(gè)的一個(gè)或多個(gè)功 能。例如，可以將服務(wù)器320和330實(shí)現(xiàn)為單個(gè)服務(wù)器。也可以將服 務(wù)器320和330中的單個(gè)服務(wù)器實(shí)現(xiàn)為兩個(gè)或更多個(gè)單獨(dú)(可能分布 式的)的裝置。
示范性客戶端/服務(wù)器體系結(jié)構(gòu)
圖4是根據(jù)與本發(fā)明的原理一致的實(shí)現(xiàn)的客戶端或服務(wù)器實(shí)體 (下文中稱為"客戶端/服務(wù)器實(shí)體")(客戶端或服務(wù)器實(shí)體可以對(duì) 應(yīng)于一個(gè)或多個(gè)客戶端310和/或服務(wù)器320-330)的示范圖。該客戶端 /服務(wù)器實(shí)體可以包括總線410、處理器420、主存儲(chǔ)器430、只讀存儲(chǔ) 器(ROM) 440、存儲(chǔ)裝置450、輸入裝置460、輸出裝置470以及通 信接口 480。總線410可以包括允許在客戶端/服務(wù)器實(shí)體的元件之間 進(jìn)行通信的路徑。
處理器420可以包括處理器、微處理器、或者可以解釋和執(zhí)行指 令的處理邏輯。主存儲(chǔ)器430可以包括隨機(jī)存取存儲(chǔ)器(RAM)或者 另一個(gè)類型的動(dòng)態(tài)存儲(chǔ)裝置，其可以存儲(chǔ)信息以及由處理器420執(zhí)行 的指令。ROM 440可以包括ROM裝置以及另一種類型的靜態(tài)存儲(chǔ)裝 置，其可以存儲(chǔ)靜態(tài)信息以及供處理器420所使用的指令。存儲(chǔ)裝置 450可以包括磁和/或光記錄介質(zhì)及其相應(yīng)驅(qū)動(dòng)。
輸入裝置460可以包括用于允許操作者將信息輸入到客戶端/服務(wù) 器實(shí)體的機(jī)構(gòu)，諸如鍵盤、鼠標(biāo)、筆、語音識(shí)別和/或生物機(jī)制等。輸 出裝置470可以包括用于將信息輸出給操作者的機(jī)構(gòu)，包括顯示器、 打印機(jī)、揚(yáng)聲器等。通信接口 480可以包括任何類似于收發(fā)器的機(jī)構(gòu)， 其使得該客戶端/服務(wù)器實(shí)體能夠與其他裝置和/或系統(tǒng)進(jìn)行通信。例
如，通信接口 480可以包括用于經(jīng)由諸如網(wǎng)絡(luò)340的網(wǎng)絡(luò)與另一個(gè)裝 置或系統(tǒng)進(jìn)行通信的機(jī)構(gòu)。
與本發(fā)明的原理一致的客戶端/服務(wù)器實(shí)體可以執(zhí)行某些操作或 進(jìn)程，如將在下面將詳細(xì)描述的。該客戶端/服務(wù)器實(shí)體可以響應(yīng)于處 理器420執(zhí)行包含在諸如存儲(chǔ)器430的計(jì)算機(jī)可讀介質(zhì)中的軟件指令 而執(zhí)行這些操作。計(jì)算機(jī)可讀介質(zhì)可以被定義為物理或邏輯存儲(chǔ)器裝 置和/或載波。
可以從例如數(shù)據(jù)存儲(chǔ)裝置450的另一計(jì)算機(jī)可讀介質(zhì)，或者經(jīng)由 通信接口 480從另一裝置，將軟件指令讀入到存儲(chǔ)器430中。包含在 存儲(chǔ)器430中的軟件指令可以使處理器420執(zhí)行隨后將詳細(xì)描述的操 作或處理。替代地，可以用硬線電路來替換軟件指令或者與軟件指令 組合來實(shí)現(xiàn)與本發(fā)明的原理一致的處理。因而，與本發(fā)明的原理一致 的實(shí)現(xiàn)不限于硬件電路和軟件的任意特定組合。
用于構(gòu)造與廣告選擇相關(guān)聯(lián)的用戶行為的統(tǒng)計(jì)模型的示范性過程 圖5是用于構(gòu)造與多個(gè)在線廣告的選擇相關(guān)聯(lián)的用戶行為的統(tǒng)計(jì) 模型的示范性過程的流程圖。本領(lǐng)域技術(shù)人員可以理解的是，圖5中 所示范的過程可以適當(dāng)?shù)匾攒浖?shí)現(xiàn)并被存儲(chǔ)在計(jì)算機(jī)可讀存儲(chǔ)器 中，諸如主存儲(chǔ)器430、 ROM 440或者服務(wù)器320、服務(wù)器330或客戶 端310的存儲(chǔ)裝置450。
該示范性過程可以以獲取與評(píng)級(jí)的廣告相關(guān)聯(lián)的評(píng)級(jí)數(shù)據(jù)開始 (框500)。該評(píng)級(jí)數(shù)據(jù)可以包括對(duì)每個(gè)評(píng)級(jí)的廣告的質(zhì)量進(jìn)行評(píng)級(jí)(例 如，對(duì)廣告進(jìn)行評(píng)級(jí)的一種方式是對(duì)該廣告相對(duì)于所發(fā)出的查詢的相 關(guān)程度進(jìn)行評(píng)級(jí))的人生成數(shù)據(jù)。然后，可以獲得與所評(píng)級(jí)的廣告的 每個(gè)選擇相關(guān)聯(lián)的會(huì)話特征(框510)?？梢酝ㄟ^在給定的用戶會(huì)話期 間觀察實(shí)際的用戶行為來實(shí)時(shí)地獲得會(huì)話特征(其在將每個(gè)廣告印象 顯示給用戶之前、期間以及之后發(fā)生)，或者可以在將每個(gè)廣告印象
顯示給用戶之前、期間以及之后從存儲(chǔ)在數(shù)據(jù)結(jié)構(gòu)中的會(huì)話特征(即， 用戶行為和動(dòng)作)的記錄日志中獲得。所獲得的會(huì)話特征125可以包 括任何類型的觀察的用戶行為。每個(gè)會(huì)話特征125可以對(duì)應(yīng)于用戶對(duì)
于給定廣告的滿意度的間接測(cè)量。會(huì)話特征125中的某些會(huì)話特征可 以是確定不同用戶對(duì)于會(huì)話特征125中的其他會(huì)話特征如何具有不同 值的因素(例如，具有撥號(hào)連接的用戶可以比具有高速因特網(wǎng)連接的 用戶具有更長(zhǎng)的廣告選擇持續(xù)時(shí)間)。
會(huì)話特征125可以包括，但不限于，廣告選擇的持續(xù)時(shí)間(例如， 在廣告上"點(diǎn)擊"的持續(xù)時(shí)間)、在給定的廣告選擇之前和/或之后的 其他廣告的選擇的數(shù)量、在給定的廣告選擇之前和/或之后的搜索結(jié)果 的選擇的數(shù)量、在給定的廣告選擇之前和/或之后的其他結(jié)果的選擇的 數(shù)量、在給定的廣告選擇之前和/或之后的文檔瀏覽(例如，頁面瀏覽) 的數(shù)量、在給定的廣告選擇之前和/或之后的搜索查詢的數(shù)量、與顯示 廣告的用戶會(huì)話相關(guān)聯(lián)的搜索査詢的數(shù)量、對(duì)相同同一給定廣告的重 復(fù)選擇的數(shù)量或者給定的廣告選擇是否是會(huì)話中的最后選擇、會(huì)話中 的最后廣告選擇、對(duì)于給定搜索査詢的最后選擇或者對(duì)于給定搜索査 詢的最后廣告選擇的表示。圖6-13在下面描述了與本發(fā)明的各方面一 致的可以作為會(huì)話特征而被測(cè)量的各種示范性類型的用戶行為。
圖6示出了廣告選擇的持續(xù)時(shí)間的測(cè)量作為會(huì)話特征600。如圖6 中所示，可以將與文檔610相關(guān)聯(lián)的廣告605提供給用戶。響應(yīng)于接 收到廣告605，該用戶可以選擇615廣告605，并且可以將該廣告定著 文檔620提供給用戶?？梢詼y(cè)量廣告選擇的持續(xù)時(shí)間625 (例如，從選 擇廣告的時(shí)間直到用戶的下一動(dòng)作(諸如點(diǎn)擊另一個(gè)廣告、輸入新查 詢等)的時(shí)間段)作為會(huì)話特征600。
圖7示出了在具體廣告選擇之前和/或之后的對(duì)其他廣告選擇的數(shù) 量的測(cè)量作為會(huì)話特征700。假設(shè)廣告N710的具體選擇705，以及響 應(yīng)于該廣告選擇705而提供廣告定著文檔715，則可以測(cè)量與提供以前
廣告定著文檔730對(duì)應(yīng)的廣告N-x 725中的一個(gè)或多個(gè)以前廣告選擇 720的數(shù)量。另外，或者作為選擇，假設(shè)廣告N710的具體選擇705， 可以測(cè)量與提供下一廣告定著文檔745對(duì)應(yīng)的廣告N+x 740中的一個(gè) 或多個(gè)下一廣告選擇735的數(shù)量?？梢詼y(cè)量在具體的廣告選擇之前和/ 或之后的其他廣告選擇的數(shù)量，作為會(huì)話特征700。
圖8示出了在具體的廣告選擇之前和/或之后的對(duì)搜索結(jié)果選擇的 數(shù)量的測(cè)量作為會(huì)話特征800。假設(shè)廣告N810的具體選擇805，以及 響應(yīng)于該廣告選擇805而提供廣告定著文件815，可以測(cè)量在該廣告選 擇805之前用戶瀏覽的搜索結(jié)果文檔820的數(shù)量作為會(huì)話特征800?？?以使用用戶發(fā)出的搜索查詢基于搜索的執(zhí)行來將搜索結(jié)果文檔提供給 用戶。另外，或者作為選擇，可以測(cè)量在廣告選擇805之后由該用戶 瀏覽的搜索結(jié)果文檔825的數(shù)量作為會(huì)話特征800。
圖9示出了在具體的廣告選擇之前和/或之后的對(duì)用戶瀏覽的文檔 的數(shù)量的測(cè)量作為會(huì)話特征900。假設(shè)廣告910的具體選擇卯5，并且 響應(yīng)于該廣告選擇905而提供廣告定著文檔915，可以測(cè)量在廣告選擇 905之前用戶瀏覽的文檔920 (例如，頁面瀏覽)的數(shù)量作為會(huì)話特征 900。另外，或者作為選擇，可以測(cè)量在廣告選擇卯5之后用戶瀏覽的 文檔925 (例如，頁面瀏覽)的數(shù)量作為會(huì)話特征900。
圖10示出了在具體廣告選擇之前和/或之后的對(duì)用戶發(fā)出的搜索 査詢的數(shù)量的測(cè)量作為會(huì)話特征1000。假設(shè)廣告1010的具體選擇 1005，并且響應(yīng)于該廣告選擇1005而提供廣告定著文檔1015，可以測(cè) 量在廣告選擇1005之前用戶發(fā)出的搜索查詢1020的數(shù)量作為會(huì)話特 征IOOO。另外，或者作為選擇，可以測(cè)量在廣告選擇1005之后用戶發(fā) 出的搜索査詢1025的數(shù)量作為會(huì)話特征1000。
圖11示出了在包括具體廣告選擇的會(huì)話中的對(duì)搜索查詢(其導(dǎo)致 了對(duì)廣告進(jìn)行顯示)的數(shù)量的測(cè)量作為會(huì)話特征1100。假設(shè)包括預(yù)定
廣告選擇的會(huì)話，可以測(cè)量搜索查詢1105的數(shù)量，其導(dǎo)致對(duì)相應(yīng)廣告 1110-1至1110-N進(jìn)行顯示。可以測(cè)量搜索査詢的數(shù)量作為會(huì)話特征
1100。導(dǎo)致對(duì)廣告進(jìn)行顯示的搜索査詢1105的數(shù)量可以表示給定用戶 會(huì)話的商業(yè)性質(zhì)。
圖12示出了用戶對(duì)相同廣告的重復(fù)選擇的數(shù)量的測(cè)量作為會(huì)話 特征1200。如圖12中所示，可以將可以與多個(gè)文檔1210-1至1210-N 相關(guān)聯(lián)的廣告1205提供給用戶一次或者多次。響應(yīng)于每次接收到廣告 1205，用戶可以選擇1215廣告1205，并且可以對(duì)于每次重復(fù)的用戶選 擇將廣告定著文檔1220提供給用戶。可以測(cè)量用戶對(duì)相同廣告的重復(fù) 選擇的數(shù)量作為會(huì)話特征1200。
圖13示出了確定廣告選擇是否是對(duì)于給定的搜索查詢的最后廣 告選擇，或者該廣告選擇是否是對(duì)于用戶會(huì)話的最后廣告選擇，作為 會(huì)話特征1300。如圖13中所示，用戶可以在給定的會(huì)話1310期間發(fā) 出搜索査詢1305，并且可以在發(fā)出搜索查詢1305之后將一個(gè)或多個(gè)廣 告1315提供給用戶。響應(yīng)于每次接收到廣告1315，用戶可以選擇1320 廣告1315，并且可以將廣告定著文檔1325提供給用戶?？梢宰龀鲈搹V 告選擇1320是否是對(duì)于搜索查詢1305的最后廣告選擇的確定。因而， 如果發(fā)出搜索査詢1305的用戶選擇了多個(gè)廣告，則可以識(shí)別對(duì)于搜索 查詢1305的僅僅最后廣告選擇。還可以做出該廣告選擇1320是否是 對(duì)于會(huì)話1310的最后廣告選擇的確定。因此，如果在給定的會(huì)話期間 用戶已經(jīng)做出多個(gè)廣告選擇，則可以識(shí)別對(duì)于該會(huì)話的僅僅最后廣告 選擇。
在圖6-13中未示出的其他類型的用戶行為也可以被用作與本發(fā)明 的原理一致的會(huì)話特征。下面列出了其他示范性會(huì)話特征的多個(gè)例子
1) 代替廣告選擇持續(xù)時(shí)間，可以將給定的廣告選擇持續(xù)時(shí)間相對(duì) 于用于給定用戶的平均廣告選擇持續(xù)時(shí)間的比值用作會(huì)話特征。
2) 給定的廣告選擇持續(xù)時(shí)間相對(duì)于所有選擇(例如，搜索結(jié)果選
擇或者廣告選擇)的比值。
3) 用戶在給定的會(huì)話中選擇給定廣告的次數(shù)。
4) 從廣告結(jié)果選擇直到用戶發(fā)出另一搜索查詢的持續(xù)時(shí)間。這可 以包括在給定廣告點(diǎn)擊之后花費(fèi)在(經(jīng)由搜索結(jié)果點(diǎn)擊或廣告點(diǎn)擊達(dá) 到的)其他頁面的時(shí)間。
5) 從給定的廣告結(jié)果選擇直到用戶發(fā)出另一搜索查詢?yōu)橹沟臅r(shí)間 相對(duì)于從廣告結(jié)果選擇直到用戶發(fā)出另一搜索查詢?yōu)橹沟乃衅渌麜r(shí) 間的比值。
6) 對(duì)于給定的廣告結(jié)果選擇，花費(fèi)在瀏覽搜索查詢的其他結(jié)果而
不是在給定的廣告結(jié)果上的時(shí)間。
7) 上述6)中花費(fèi)的時(shí)間(花費(fèi)在其他結(jié)果上而不是在點(diǎn)擊持續(xù) 上的時(shí)間)相對(duì)于經(jīng)過所有查詢?cè)?)中花費(fèi)的平均時(shí)間的比值。
8) 在給定的搜索結(jié)果或廣告選擇之前在給定會(huì)話中發(fā)生多少個(gè)搜 索(即，唯一發(fā)出的搜索査詢)。
9) 在給定的搜索結(jié)果或廣告選擇之后在給定會(huì)話中發(fā)生多少搜索。
10) 除了搜索，在給定選擇之前對(duì)于給定搜索査詢發(fā)生多少結(jié)果 頁面瀏覽。這可以在查詢內(nèi)(即，僅僅對(duì)于唯一查詢)或?qū)τ谡麄€(gè)會(huì) 話進(jìn)行計(jì)算。
11) 除了搜索，在該選擇之后對(duì)于給定的搜索查詢發(fā)生多少搜索 結(jié)果頁面瀏覽。這可以在查詢內(nèi)(即，僅僅對(duì)于唯一查詢)或?qū)τ谡?個(gè)會(huì)話進(jìn)行計(jì)算。
12) 在該會(huì)話中發(fā)生的頁面瀏覽的總數(shù)；
13) 在顯示廣告的會(huì)話中頁面瀏覽的數(shù)量；
14) 在顯示廣告的會(huì)話中頁面瀏覽的數(shù)量相對(duì)于該會(huì)話中發(fā)生的 頁面瀏覽的總數(shù)的比值；
15) 在會(huì)話中顯示的廣告印象的總數(shù)；
16) 每個(gè)顯示廣告的查詢所顯示的廣告的平均數(shù)，該會(huì)話的另一 個(gè)商業(yè)化測(cè)量；
17) 查詢掃描時(shí)間一一從用戶看到查詢結(jié)果到用戶做其他事情(點(diǎn)
擊廣告、搜索結(jié)果、下一頁面、新查詢等)時(shí)用多長(zhǎng)時(shí)間
18) 在給定査詢掃描時(shí)間與所有其他査詢掃描時(shí)間之間的比值；
19) 在給定搜索中發(fā)生的選擇(例如，點(diǎn)擊)的總數(shù)。這些選擇
包括所有類型的選擇(例如，搜索、onebox、廣告)，而不是僅僅廣告 選擇；
20) 在給定的廣告選擇之前在搜索中發(fā)生的選擇的總數(shù)；
21) 在給定的廣告選擇之后在搜索中發(fā)生的選擇的總數(shù)；
22) 在搜索中發(fā)生的廣告選擇的總數(shù)?？赡苄枰庙撁嫔系膹V告 數(shù)量來規(guī)范化；
23) 在給定的廣告選擇之前在搜索中發(fā)生的廣告選擇的總數(shù)；
24) 在給定的廣告選擇之后在搜索中發(fā)生的廣告選擇的總數(shù)；
25) 在搜索中發(fā)生的、其在文檔上的廣告位置位于文檔上的給定 廣告位置之上的廣告選擇的總數(shù)；
26) 在搜索中發(fā)生的、其在文檔上的廣告位置位于文檔上的給定 廣告位置之下的廣告選擇的總數(shù)；
27) 在搜索中發(fā)生的不是對(duì)給定廣告的廣告選擇的總數(shù)；
28) 在搜索中發(fā)生的搜索結(jié)果選擇的總數(shù)
29) 在給定的廣告選擇之前在搜索中發(fā)生的搜索選擇的總數(shù)；
30) 在給定的廣告選擇之后在搜索中發(fā)生的搜索結(jié)果選擇的總數(shù)；
31) 在會(huì)話中發(fā)生的長(zhǎng)持續(xù)時(shí)間的搜索結(jié)果選擇的總數(shù)；
32) 在會(huì)話中發(fā)生的短持續(xù)時(shí)間的搜索結(jié)果選擇的總數(shù)；
33) 在會(huì)話中最后發(fā)生的搜索結(jié)果選擇的總數(shù)。給定用戶可以通
過點(diǎn)擊搜索結(jié)果來結(jié)束會(huì)話，而不需要后續(xù)動(dòng)作，或者用戶可以以其
他方式(例如，廣告結(jié)果點(diǎn)擊、發(fā)出査詢以及不點(diǎn)擊等)來結(jié)束會(huì)話;
34) 在搜索中發(fā)生的非搜索結(jié)果以及非廣告選擇的總數(shù)；
35) 是否存在來自該廣告選擇的轉(zhuǎn)換的表示；
36) 用戶的連接速度的表示(例如，撥號(hào)、線纜、DSL);
37) 用戶位于哪個(gè)國(guó)家的表示。不同的文化有可能導(dǎo)致用戶對(duì)相
同的廣告有不同反應(yīng)，或者具有不同文化反應(yīng)，或者不同地停在網(wǎng)站
38) 用戶位于世界上的那個(gè)區(qū)域(例如，APAC二亞太區(qū))的表示;
39) 對(duì)于給定廣告的關(guān)鍵字與搜索査詢精確匹配么(即，具有與
査詢完全相同的術(shù)語)，或者缺失一個(gè)詞，多于一個(gè)詞，或者具有重 寫術(shù)語么。通常，廣告的質(zhì)量可能變化(匹配越精確，質(zhì)量越高)， 并且關(guān)鍵字匹配可能是分割廣告的合理方式，并且預(yù)測(cè)廣告對(duì)于不同
的匹配類型來說分別是好還是壞；
40) 對(duì)于給定廣告的估計(jì)點(diǎn)進(jìn)率(CTR)的表示；
41) 廣告商為給定的廣告選擇支付多少每次點(diǎn)擊成本(CPC)
廣告很好的可能性可以取決于廣告商支付了多少(越多質(zhì)量越高)；
42) 廣告商愿意支付多少CPC 在廣告拍賣中，可以使用廣告商
出價(jià)來設(shè)置廣告排名，并且排名低于給定廣告/廣告商的廣告/廣告商設(shè)
置實(shí)際上將由下一個(gè)較高排名的廣告/廣告商支付的價(jià)格；
43) 有效CPC^預(yù)測(cè)的CTR;或者
44) 出價(jià)CP(^預(yù)測(cè)的CTR。
上面描述了可以用于統(tǒng)計(jì)模型的會(huì)話特征的多個(gè)例子。但是，本
領(lǐng)域技術(shù)人員應(yīng)認(rèn)識(shí)到可以使用其他的會(huì)話特征，作為選擇，或者 與任意上述會(huì)話特征結(jié)合。
返回至圖5，然后可以推導(dǎo)出統(tǒng)計(jì)模型，用于確定每個(gè)所選廣告
是給定與廣告選擇相關(guān)聯(lián)的所測(cè)會(huì)話特征的好質(zhì)量廣告的概率(框
250)?？梢允褂矛F(xiàn)有的統(tǒng)計(jì)技術(shù)(例如邏輯回歸)來推導(dǎo)出與本發(fā)明 的原理相一致的統(tǒng)計(jì)模型?；貧w包括發(fā)現(xiàn)用于將結(jié)果變量(因變量y) 與一個(gè)或多個(gè)預(yù)測(cè)器(自變量xp x2，等)相關(guān)的函數(shù)。簡(jiǎn)單的線性回
歸假設(shè)如下形式的函數(shù)
y-c。+c, 等式(l)
并且發(fā)現(xiàn)CO， Cl， C2等的值(CQ被稱為"截距"或"常數(shù)項(xiàng)")。 在本發(fā)明的上下文中，每個(gè)預(yù)測(cè)器變量Xp X2， X3等對(duì)應(yīng)于廣告選擇期
間測(cè)得的不同會(huì)話特征。邏輯回歸是普通回歸的變形，當(dāng)觀測(cè)到的結(jié) 果限定為兩個(gè)值時(shí)是很有用的，其通常表示某個(gè)結(jié)果事件的發(fā)生或未
發(fā)生，(通常分別被編碼為l或0)，諸如在本發(fā)明的上下文中的好廣 告或差廣告。
邏輯回歸產(chǎn)生作為獨(dú)立預(yù)測(cè)變量的函數(shù)對(duì)發(fā)生的概率進(jìn)行預(yù)測(cè)的 公式。邏輯回歸通過采取線性回歸(上述等式(1))(其將生成位于
正無窮大與負(fù)無窮大之間的任意y值)并用下面的函數(shù)對(duì)其進(jìn)行變換
來擬合特定S形曲線
<formula>formula see original document page 25</formula> 等式(2)
其中產(chǎn)生位于0(當(dāng)y達(dá)到負(fù)無窮大時(shí))和1(當(dāng)y達(dá)到正無窮大 時(shí))之間的P值。將等式(1)代入等式(2)，這樣，好廣告的概率 變?yōu)槿缦?lt;formula>formula see original document page 25</formula>
等式3
其中Cgc為等式的常數(shù)，Cgn為會(huì)話特征預(yù)測(cè)變量Xn的系數(shù)。類似 地，可以通過下面的等式(4)來確定差廣告的概率
<formula>formula see original document page 25</formula>等式4
其中Cbo為等式的常數(shù)，Cbn為會(huì)話特征預(yù)測(cè)變量Xn的系數(shù)。
可以測(cè)試統(tǒng)計(jì)模型的擬合，以確定哪個(gè)會(huì)話特征與好或差質(zhì)量廣 告相關(guān)。如果使用邏輯回歸技術(shù)來確定統(tǒng)計(jì)模型，則該邏輯回歸的目 的是要通過使用最節(jié)儉的模型來正確預(yù)測(cè)各個(gè)情況的結(jié)果。為了實(shí)現(xiàn)
這一目的，創(chuàng)建一個(gè)模型，其中包括在預(yù)測(cè)因變量y的結(jié)果時(shí)有用的
所有預(yù)測(cè)器變量(例如會(huì)話特征)。為了構(gòu)建統(tǒng)計(jì)模型，邏輯回歸可 以在每個(gè)系數(shù)(Cn)被增加或刪除后測(cè)試模型的擬合，被稱為逐步回歸。 例如，可以使用反向逐步回歸，其中模型構(gòu)造從完整或飽和模型開始， 并且在迭代過程中從模型中消除預(yù)測(cè)器變量以及它們的系數(shù)。在消除 每個(gè)變量之后測(cè)試該模型的擬合，以確保該模型仍舊足夠與數(shù)據(jù)擬合。 當(dāng)無法再從模型中消除預(yù)測(cè)器變量時(shí)，該模型的構(gòu)造就完成了。留在
模型中的預(yù)測(cè)器變量(每一個(gè)對(duì)應(yīng)于所測(cè)的會(huì)話特征)識(shí)別與好或差 廣告相關(guān)的會(huì)話特征。因而，邏輯回歸能夠提供不同預(yù)測(cè)器變量之間 的關(guān)系和強(qiáng)度的了解。為了了解從模型包括或消除的重要性而測(cè)試系 數(shù)以及它們相應(yīng)的預(yù)測(cè)器變量的過程可以包括幾個(gè)不同的已知技術(shù)。 這樣的技術(shù)可以包括Wald測(cè)試，相似性比率測(cè)試或者 Hosmer-Lemshow Goodness of FiU則試。這些系數(shù)測(cè)i式技術(shù)在本領(lǐng)域內(nèi) 是已知的，并且這里將不再進(jìn)一步描述。在其他實(shí)現(xiàn)中，可以使用現(xiàn) 有的交叉確認(rèn)和單獨(dú)訓(xùn)練技術(shù)，來代替如上所述的分類估計(jì)以及測(cè)試 回歸系數(shù)的技術(shù)。
代替或除了邏輯回歸，可以使用其他現(xiàn)有的統(tǒng)計(jì)技術(shù)來推導(dǎo)與本 發(fā)明的原理相一致的統(tǒng)計(jì)模型。例如，使用"提級(jí)(boosting)"技術(shù) 的"枝端(stumps)"模型可以被用來推導(dǎo)統(tǒng)計(jì)模型。本領(lǐng)域技術(shù)人員 可以認(rèn)識(shí)到的是，"提級(jí)"是一種機(jī)器學(xué)習(xí)技術(shù)，用于通過連續(xù)地改 進(jìn)其他弱的統(tǒng)計(jì)模型來建立統(tǒng)計(jì)模型。其基本思想是向整個(gè)訓(xùn)練數(shù)據(jù) 集合重復(fù)地應(yīng)用相同的算法，但是在每個(gè)階段對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行不同地 加權(quán)。該加權(quán)使得通過階段k與模型很好擬合的情況在階段k+l接收 相對(duì)小的權(quán)重，而通過階段k與模型不太擬合的情況在階段k+l接收 相對(duì)大的權(quán)重。
枝端是在每個(gè)階段都能夠應(yīng)用的弱統(tǒng)計(jì)模型。枝端是2葉分類樹， 其由根節(jié)點(diǎn)和二進(jìn)制規(guī)則構(gòu)成，其將情況分為兩個(gè)相互排斥的子集 (即，葉節(jié)點(diǎn))。規(guī)則可以采取形式"點(diǎn)擊持續(xù)時(shí)間(ClickDuration) < 120秒"，并且點(diǎn)擊持續(xù)時(shí)間滿足該規(guī)則的所有情況進(jìn)入一個(gè)葉節(jié)點(diǎn)， 而不滿足該規(guī)則的情況進(jìn)入另一個(gè)葉節(jié)點(diǎn)。另一規(guī)則可以采取形式"廣 告選擇是最后廣告選擇"，并且廣告選擇滿足該規(guī)則的所有情況進(jìn)入 一個(gè)葉節(jié)點(diǎn)，而不滿足該規(guī)則的情況進(jìn)入另一個(gè)葉節(jié)點(diǎn)。
可以使用各種算法來擬合"boosted stump"模型，包括例如基于 梯度的方法。這樣的算法可以如下進(jìn)行給定一組權(quán)重，從所有可能
的二進(jìn)制判定規(guī)則中(從將該情況分為兩個(gè)葉子的會(huì)話特征中推到的) 選擇一個(gè)將與該算法相關(guān)的(加權(quán))損耗函數(shù)最小化的規(guī)則。損耗函
數(shù)的一些例子是與最大相似法對(duì)應(yīng)的"伯努里式(Bernoulli)損耗"以 及與周知的ADABoost方法對(duì)應(yīng)的"指數(shù)損耗"。在該階段選擇最佳 二進(jìn)制判定規(guī)則之后，可以重新計(jì)算該權(quán)重，并可以重復(fù)該過程，借 此選擇將新(加權(quán))損耗函數(shù)最小化的最佳二進(jìn)制規(guī)則。該過程可以 被重復(fù)許多次(例如，幾百至幾千)并且可以使用重采樣法(例如， 交叉確認(rèn))來定義停止規(guī)則，以便于防止過擬合。
提級(jí)的枝端已經(jīng)被顯示為近似附加邏輯回歸模型，因此每個(gè)特征 都對(duì)擬合模型作出附加的非線性貢獻(xiàn)(關(guān)于邏輯等級(jí))。該枝端的序 列定義會(huì)話特征與廣告被評(píng)級(jí)為"好"的概率之間的關(guān)系。該序列可 以用如下的統(tǒng)計(jì)模型表示
e ( c。 + c, * BI (x) + c2 * B2(x) +■ ■ ■)
尸(go" ^l化肌'o" /g加^e ^ = 1 + g(c。+e|*BKx)+C2,B2(x)+.h) 等式(5)
其中如果會(huì)話特征x滿足第k個(gè)二進(jìn)制規(guī)則則Bk (x) =1，或者 如果會(huì)話特征x不滿足第k個(gè)二進(jìn)制規(guī)則則Bk (x) =0。該系數(shù)ck， k=l，...，是算法的副產(chǎn)品并且與在第k個(gè)二進(jìn)制規(guī)則的好廣告的可能 性相關(guān)。實(shí)際上，給定會(huì)話特征x，就可以估計(jì)每個(gè)二進(jìn)制規(guī)則，并且 相應(yīng)的系數(shù)被累計(jì)，以獲得好廣告的預(yù)測(cè)概率。可以類似地推導(dǎo)出與 上面的等式(5)類似的統(tǒng)計(jì)模型，其定義了會(huì)話特征與廣告被評(píng)級(jí)為 "差"的概率之間的關(guān)系。
雖然上面已經(jīng)描述了邏輯回歸和提級(jí)的枝端作為構(gòu)造統(tǒng)計(jì)模型的 示范性技術(shù)，但是本領(lǐng)域技術(shù)人員應(yīng)認(rèn)識(shí)到也可以使用其他現(xiàn)有的統(tǒng) 計(jì)方法(例如回歸樹)來推導(dǎo)與本發(fā)明的原理一致的統(tǒng)計(jì)模型。
用于確定與廣告質(zhì)量相關(guān)的預(yù)測(cè)值的示范性過程 圖14是根據(jù)與本發(fā)明的原理一致的實(shí)現(xiàn)的示范性過程的流程圖， 用于確定與廣告的質(zhì)量相關(guān)的預(yù)測(cè)值。本領(lǐng)域技術(shù)人員可以理解，圖
14中舉例說明的過程可以被適當(dāng)?shù)匾攒浖韺?shí)現(xiàn)并被存儲(chǔ)在計(jì)算機(jī)可
讀存儲(chǔ)器中，諸如主存儲(chǔ)器430、 ROM 440或服務(wù)器320或330或客 戶端310的存儲(chǔ)裝置450。
該示范性過程可以從接收搜索查詢開始(框1400)。用戶可以向 服務(wù)器320發(fā)出搜索查詢，用于由搜索引擎系統(tǒng)325執(zhí)行。通過搜索 引擎系統(tǒng)325可以獲得與所接收的搜索査詢相匹配的一組廣告(框 1405)。搜索引擎系統(tǒng)325可以根據(jù)所接收的搜索査詢來執(zhí)行搜索， 以確定該組廣告，以及與該搜索查詢匹配的其他文檔。搜索引擎系統(tǒng) 325可以將該組廣告集合以及其他文檔的列表提供給發(fā)出該搜索請(qǐng)求 的用戶。
可以獲得與從該組廣告中選擇廣告相關(guān)聯(lián)的會(huì)話特征(框1410)。 可以在用戶廣告選擇期間實(shí)時(shí)地測(cè)量會(huì)話特征，或者可以從與廣告選 擇相關(guān)聯(lián)的已記錄用戶行為的日志中獲得會(huì)話特征。如圖15中所示， 用戶可以選擇1500與文檔1510 (例如，包含搜索結(jié)果和相關(guān)廣告的文 檔)相關(guān)聯(lián)的廣告1505?？梢皂憫?yīng)于廣告選擇1505而將廣告定著文檔 1515提供給用戶。如圖15中所示，可以測(cè)量與廣告1505的選擇1500 相關(guān)聯(lián)的會(huì)話特征1520。所測(cè)量的會(huì)話特征可以包括與廣告選擇相關(guān) 聯(lián)的任意類型的用戶行為，諸如上面關(guān)于框510所述(圖5)。
上面的框520中推導(dǎo)出的統(tǒng)計(jì)模型以及所獲得的會(huì)話特征可以被 用來確定表示該廣告是好廣告和/或差廣告的預(yù)測(cè)值(框1415)。該預(yù) 測(cè)值可以包括概率值(例如，使用上面的等式(3)或(5)取得的)， 表示具有與該廣告的用戶選擇相關(guān)聯(lián)的給定會(huì)話特征是好廣告的概 率。該預(yù)測(cè)值還可以包括概率值(上面的等式(4))，表示具有與該 廣告的用戶選擇相關(guān)聯(lián)的給定測(cè)得會(huì)話特征是差廣告的概率。因此， 可以將會(huì)話特征值輸入到等式(3) 、 (4)和/或(5),以獲得該所選 擇的廣告是好或差廣告的預(yù)測(cè)值。例如，可以將用于會(huì)話特征Xp x2， X3和X4的值輸入到等式(3),以獲得P (good ad|session feature x!，
X2， X3， X4)的概率值。如圖15所示，可以將該所測(cè)量的會(huì)話特征1520
輸入到統(tǒng)計(jì)模型130，并且該統(tǒng)計(jì)模型130可以輸出對(duì)于廣告1505的 預(yù)測(cè)值1530。
可以獲得與廣告選擇相關(guān)聯(lián)的廣告/査詢特征(框1420)。如圖 15所示，可以獲得與廣告1505的選擇1500相關(guān)聯(lián)的廣告/査詢特征 1535。該廣告/査詢特征1535可以包括與廣告1505的廣告商相關(guān)聯(lián)的 標(biāo)識(shí)符(例如，廣告商的可視統(tǒng)一資源定位符(URL))、廣告1505 所定向到的關(guān)鍵字、用戶發(fā)出的搜索査詢中廣告1505沒有定向到的詞 和/或用戶發(fā)出的搜索查詢中廣告沒有定向到但是與廣告1505所定向 到的詞類似的詞。可以使用與本發(fā)明的原理一致的上面沒有描述的其 他類型的廣告或査詢特征。例如，可以將組合(例如，兩個(gè)對(duì)象/査詢 特征對(duì))中觀查的任意上述廣告/查詢特征都用作單個(gè)廣告查詢/特征。
對(duì)于每個(gè)所獲得的廣告/査詢特征(g卩，在上面框1420中獲得的)， 可以將所確定的預(yù)測(cè)值與對(duì)應(yīng)于廣告/査詢特征的存儲(chǔ)值求和(框 1425)?？梢詫⑺_定的預(yù)測(cè)值與存儲(chǔ)在數(shù)據(jù)結(jié)構(gòu)(諸如例如圖16中 所示數(shù)據(jù)結(jié)構(gòu)1600中)的值求和。如圖16所示，數(shù)據(jù)結(jié)構(gòu)1600可以 包括多個(gè)廣告/査詢特征1610-1至1610-N，其中"廣告選擇的總數(shù)" 1620、總"好的"預(yù)測(cè)值1630以及總"差的"預(yù)測(cè)值1640與每個(gè)廣 告/査詢特征1610相關(guān)聯(lián)。可以將框1405中確定的每個(gè)預(yù)測(cè)值與存儲(chǔ) 在條目1630或1640中、對(duì)應(yīng)于每個(gè)廣告/査詢特征1610的當(dāng)前值求和， 該廣告/查詢特征1610進(jìn)一步與廣告以及發(fā)布的查詢相關(guān)聯(lián)。作為例 子，假設(shè)響應(yīng)于搜索査詢"flowers for mother's day (母親節(jié)的鮮花)" 而將"1800flowers.com"的廣告提供給用戶。與該廣告選擇相關(guān)聯(lián)的 會(huì)話特征返回概率P (good ad|ad selection)為0.9。三個(gè)廣告/查詢特征 與該廣告和査詢相關(guān)聯(lián)査詢長(zhǎng)度(查詢中術(shù)語的數(shù)量)、廣告的可 視URL以及在査詢中但是不在與該廣告相關(guān)聯(lián)的關(guān)鍵字中的詞的數(shù) 量。對(duì)于這三個(gè)廣告/査詢特征中的每一個(gè)，條目1620中相應(yīng)的"廣告 選擇總數(shù)"值加1，并且將0.9加到存儲(chǔ)在與每個(gè)廣告/査詢特征對(duì)應(yīng)的
總好預(yù)測(cè)值1630中的每個(gè)值。
如圖15中所示，可以將每個(gè)所確定的預(yù)測(cè)值1530與數(shù)據(jù)結(jié)構(gòu)1600 中的當(dāng)前值求和。 一個(gè)或多個(gè)用戶可以選擇地對(duì)廣告的每個(gè)選擇重復(fù) 框1400至1425，以利用與一個(gè)或多個(gè)廣告/查詢特征相關(guān)聯(lián)的多個(gè)求 和后的預(yù)測(cè)值來擴(kuò)充該數(shù)據(jù)結(jié)構(gòu)1600。
示范性可能性估計(jì)過程
圖17和18為示范性過程的流程圖，用于通過使用在圖14的框 1425中確定的總預(yù)測(cè)值1630或1640來估計(jì)與廣告相關(guān)聯(lián)的好或差質(zhì) 量的可能性。本領(lǐng)域技術(shù)人員應(yīng)理解，圖17和18中所示范的過程可 以適當(dāng)?shù)匾攒浖韺?shí)現(xiàn)并且可以存儲(chǔ)在計(jì)算機(jī)可讀存儲(chǔ)器中，諸如主 存儲(chǔ)器430、 ROM 440或服務(wù)器320或330或客戶端310的存儲(chǔ)裝置 450上。
給定廣告是好或差的所估計(jì)的可能性是該給定廣告是好或差的在 先可能性以及與和給定廣告選擇相關(guān)聯(lián)的廣告/查詢特征相關(guān)聯(lián)的一個(gè) 或多個(gè)模型參數(shù)的函數(shù)?？梢允褂玫^程來計(jì)算該模型參數(shù)，其中 該迭代過程試圖解決用于產(chǎn)生好或差廣告的預(yù)測(cè)可能性與訓(xùn)練所用的 實(shí)際歷史數(shù)據(jù)的最佳擬合的參數(shù)值。
與每個(gè)廣告/査詢特征相關(guān)聯(lián)的模型特征可以由單個(gè)參數(shù)構(gòu)成，諸 如關(guān)于好廣告或差廣告的概率或可能性的放大系數(shù)?？商娲兀總€(gè) 廣告/查詢特征可以具有與其相關(guān)聯(lián)的多個(gè)模型參數(shù)，該多個(gè)模型參數(shù) 可以以更復(fù)雜的方式來影響好或差廣告的預(yù)測(cè)概率。
在下面的說明書中，使用了各種可能性和概率。事件發(fā)生的可能
性以及事件發(fā)生的概率通過下面等式被關(guān)聯(lián)起來概率=可能性/ (可 能性+ l)。例如，如果事件發(fā)生的可能性為1/2 (即，按照經(jīng)常所寫 的方式，可能性為1: 2)，則事件發(fā)生的相應(yīng)概率為1/3。根據(jù)該約定，
可以認(rèn)為可能性和概率是可以相互轉(zhuǎn)換的。因?yàn)榭赡苄钥梢匀∪魏畏?負(fù)值，而概率必須位于0和1之間，所以用可能性而不是概率來表達(dá) 計(jì)算是方便的。但是，應(yīng)理解，僅需對(duì)下面的說明進(jìn)行最小的改變， 即可以唯一使用概率、或者使用例如對(duì)數(shù)(可能性)的某種其他類似 的表示來執(zhí)行如下的實(shí)現(xiàn)。
圖17是示出了預(yù)測(cè)模型的一個(gè)實(shí)現(xiàn)的流程圖，其中該預(yù)測(cè)模型用 于基于與該廣告選擇相關(guān)聯(lián)的廣告/査詢特征來生成對(duì)于給定廣告是好 還是差的可能性估計(jì)。根據(jù)本發(fā)明的原理的一個(gè)實(shí)現(xiàn)，可以通過將好 廣告或差廣告的預(yù)先可能性(qQ)乘以與每個(gè)廣告/査詢特征(ki)相關(guān) 聯(lián)的模型參數(shù)(nii)來計(jì)算好或差廣告的可能性，此后被稱為可能性 乘法器。這樣的方案可以被表示為
q^qo.mi.m2.m3.…mm。
本質(zhì)上，對(duì)于每個(gè)廣告/査詢特征k的可能性乘法器m可以是在確 定廣告是好還是差期間該廣告/査詢特征的預(yù)測(cè)能力的統(tǒng)計(jì)表示。
在與本發(fā)明的原理一致的一個(gè)實(shí)現(xiàn)中，可以不斷地對(duì)上述模型參 數(shù)進(jìn)行修改，以反映每個(gè)廣告/查詢特征k對(duì)于廣告是好或差的估計(jì)可 能性的相關(guān)影響?？梢酝ㄟ^如下方式來進(jìn)行這樣的修改，即將具有該 查詢/廣告特征的廣告是好或壞的平均預(yù)測(cè)可能性(將給定廣告/查詢特 征忽略不計(jì))與具有該廣告/查詢特征的廣告的歷史質(zhì)量的估計(jì)進(jìn)行比 較。通過這種方式，可以識(shí)別以及提煉出所分析的廣告/查詢特征k的 相關(guān)值。
具體地返回到圖17，對(duì)于每個(gè)所選擇的廣告/查詢特征(ki)，可 以初始計(jì)算或識(shí)別平均自排除概率(Pi)(動(dòng)作1700)。在一個(gè)實(shí)現(xiàn)
中，該自排除概率(Pi)是表示所選擇的廣告/查詢特征的相關(guān)性的值， 并且可以測(cè)量當(dāng)從所估計(jì)的可能性計(jì)算中除去所選擇的廣告/査詢特征 的模型參數(shù)(mi)時(shí)廣告是好或差的結(jié)果可能性。例如，對(duì)于廣告/査 詢特征3，這可以表示為 尸3" + "《0 .附l .W2 '附3…'W" ) / m3 AX(《t) .附2 .附3…) / W3 + 1)
在一個(gè)實(shí)施例中，每個(gè)廣告/査詢特征的自排除概率可以被保持為 移動(dòng)平均，以確保所識(shí)別的自排除概率在識(shí)別用于每個(gè)所選廣告/查詢
特征的模型參數(shù)之后更快的收斂。這樣移動(dòng)平均可以表示為 尸' Og) = "f ( —d Og) + (1 — a)C
其中a為統(tǒng)計(jì)定義變量，其非常接近于1 (例如，0.999)并被用 于控制移動(dòng)平均的半衰期。如上面表達(dá)式所示，通過如在以前廣告選 擇(例如，n-l)確定的Pi值對(duì)用于廣告選擇的當(dāng)前數(shù)(n)(例如， 用于廣告/査詢特征ki的"廣告選擇總數(shù)"1620的當(dāng)前值)的Pi值加權(quán) 和平均。
然后，可以將平均自排除概率(Pi (avg))與涉及所觀測(cè)的廣告 選擇的數(shù)量以及用于所觀測(cè)的選擇而觀測(cè)的好或差廣告的可能性的歷 史信息進(jìn)行比較(動(dòng)作1710)。然后，可以基于動(dòng)作1710的比較來生 成或修改與所選擇的廣告/查詢特征ki相關(guān)聯(lián)的模型參數(shù)mi(動(dòng)作1720) (如將在下面參照?qǐng)D18中的框1820和1830進(jìn)一步描述的)。
圖18是示出了圖17的框1710-1720的一個(gè)示范性實(shí)現(xiàn)的流程圖。 初始地，可以確定與好廣告或差廣告的可能性相關(guān)的置信區(qū)間(動(dòng)作 1800)。使用置信區(qū)間技術(shù)使得在使用具有更少量歷史數(shù)據(jù)的廣告/査 詢特征k時(shí)能夠更準(zhǔn)確和穩(wěn)定地估計(jì)。在一個(gè)實(shí)現(xiàn)中，該置信區(qū)間包 括較低值Li和較高值Ui，并且基于廣告選擇的數(shù)量(a)(例如，用 于廣告/查詢特征ki的數(shù)據(jù)結(jié)構(gòu)1600中的"廣告選擇的總數(shù)"1620中 的當(dāng)前值)以及對(duì)所選廣告/査詢特征觀測(cè)的總好/差(ji)(例如，在 用于廣告/查詢特征ki的數(shù)據(jù)結(jié)構(gòu)1600中的當(dāng)前總"好"預(yù)測(cè)值1630 或總"差"預(yù)測(cè)值1640)。例如，該置信區(qū)間可以是80X置信區(qū)間[Lj， Ui]，其是基于廣告選擇的數(shù)量(例如，在用于廣告/査詢特征ki的數(shù)據(jù) 結(jié)構(gòu)1600中的"廣告選擇的總數(shù)"1620中的當(dāng)前值)以及所觀測(cè)的 總好或差(例如，用于廣告/查詢特征ki的數(shù)據(jù)結(jié)構(gòu)1600中的當(dāng)前總"好"
預(yù)測(cè)值1630或總"差"預(yù)測(cè)值1640)以常規(guī)方式計(jì)算的。在計(jì)算置信 區(qū)間之后，然后可以確定該平均自排除概率(Pi (avg))是否落在該 區(qū)間中(動(dòng)作1810)。如果落在區(qū)間中，則可以確定所選擇的廣告/查 詢特征(ki)對(duì)于好廣告或差廣告的可能性沒有影響，并且可以將它的 模型參數(shù)(mi)設(shè)置為1，這非常有效地將其從所估計(jì)的可能性計(jì)算中 除去(動(dòng)作1820)。但是，如果確定該P(yáng)i (avg)落在置信區(qū)間之外， 則可以將用于所選擇的廣告/查詢特征ki的模型參數(shù)(mi)設(shè)置為將該 自排除概率(Pi(avg))置于置信區(qū)間中所必要的最小調(diào)整(動(dòng)作1830)。 該計(jì)算可以算術(shù)地表示為
^ =(1 -《—g))〗/ W (cn;g)(l - A)]
現(xiàn)在返回到圖17，在計(jì)算了用于所選擇的廣告/査詢特征ki的模型 參數(shù)后，可以確定附加的廣告/查詢特征(例如，圖16中的廣告/查詢 特征1610-1至1610-N的)是否還要被處理(即，k;是否小于km，其 中m等于在數(shù)據(jù)結(jié)構(gòu)1600中的廣告/査詢特征的總數(shù))。如果仍需要 處理附加的廣告/查詢特征，則可以增加計(jì)數(shù)器變量i，并且該過程可以 返回至動(dòng)作1700，以處理下一廣告/查詢特征ki。在用于所有廣告/査詢 特征的模型參數(shù)都已經(jīng)被計(jì)算或修改后，可以使用等式q二q。.nn.m2. !113....111 1來估計(jì)好廣告或差廣告的可能性(動(dòng)作1750)?？梢詫⑺?計(jì)的好廣告可能性(例如，ODDS (good ad|ad /query feature))存儲(chǔ) 在與該廣告/査詢特征1610對(duì)應(yīng)的數(shù)據(jù)結(jié)構(gòu)1600的"好"廣告可能性 條目1650中。可以將所估計(jì)的差廣告可能性(例如，ODDS (badad|ad /query feature))存儲(chǔ)在與該廣告/査詢特征1610對(duì)應(yīng)的數(shù)據(jù)結(jié)構(gòu)1600 的"差"廣告可能性條目1660中。
在與本發(fā)明的原理一致的一個(gè)實(shí)現(xiàn)中，可以通過當(dāng)日志數(shù)據(jù)到達(dá) 時(shí)對(duì)其進(jìn)行處理并對(duì)上述統(tǒng)計(jì)進(jìn)行累計(jì)(例如，廣告選擇、總好或差、 自包括概率等)來訓(xùn)練可能性預(yù)測(cè)模型。當(dāng)附加的廣告選擇發(fā)生時(shí)， 與每個(gè)廣告/查詢特征相關(guān)聯(lián)的置信區(qū)間可以收縮，并且該參數(shù)估計(jì)可
以變得更準(zhǔn)確。在附加的實(shí)現(xiàn)中，通過重新處理舊的日志數(shù)據(jù)，可以
加速訓(xùn)練。在對(duì)日志數(shù)據(jù)進(jìn)行重新處理時(shí)，可以通過使用最新的參數(shù) 或可能性乘數(shù)值來重新計(jì)算好廣告或差廣告的估計(jì)可能性。這允許預(yù) 測(cè)模型更快地收斂。
示范性廣告質(zhì)量預(yù)測(cè)過程
圖19是根據(jù)與本發(fā)明的原理一致的實(shí)現(xiàn)的用于預(yù)測(cè)廣告質(zhì)量的 示范性過程的流程圖。本領(lǐng)域技術(shù)人員應(yīng)理解，圖19中所示的過程可 以適當(dāng)?shù)匾攒浖韺?shí)現(xiàn)并存儲(chǔ)在計(jì)算機(jī)可讀存儲(chǔ)器中，諸如主存儲(chǔ)器
430、 ROM 440或服務(wù)器320或330或客戶端310的存儲(chǔ)裝置450中。
該示范性過程可以以從用戶接收搜索查詢開始(框1900)。用戶 可以向服務(wù)器320發(fā)出搜索查詢，以由搜索引擎系統(tǒng)325來執(zhí)行。搜 索引擎系統(tǒng)325可以獲得與所接收的搜索査詢相匹配的一組廣告(框 1910)。搜索引擎系統(tǒng)325可以基于所接收的搜索查詢來執(zhí)行搜索， 以確認(rèn)該組廣告以及與該搜索查詢匹配的其他文檔。對(duì)于該組廣告中 的每個(gè)廣告，可以確定與所接收的搜索查詢以及廣告對(duì)應(yīng)的每個(gè)廣告/ 査詢特征(框1920)。用于每個(gè)搜索査詢和廣告對(duì)的廣告/査詢特征可 以包括與登廣告商相關(guān)聯(lián)的標(biāo)識(shí)符(例如，廣告商的可視統(tǒng)一資源定 位符(URL))、廣告所定向到的關(guān)鍵字、用戶發(fā)出的搜索査詢中的 廣告沒有定向到的詞和/或用戶發(fā)出的搜索查詢中的廣告沒有定向到但 是廣告所定向到的詞類似的詞。也可以使用與本發(fā)明的原理一致的上 面沒有描述的其他類型的廣告或查詢特征。例如，可以將組合(例如， 兩個(gè)廣告/查詢特征的對(duì))中觀測(cè)的任意上述廣告/査詢特征用作單一廣 告查詢/特征。
對(duì)于該組廣告中的每一個(gè)廣告，可以從數(shù)據(jù)結(jié)構(gòu)1600中檢索用于 所確定的廣告/查詢特征i的所存儲(chǔ)的ODDSi(例如，ODDS (good ad|ad /query feature) 1650， ODDS (bad ad|ad /query feature) 1660)(框1930)。 如圖20中所示，數(shù)據(jù)結(jié)構(gòu)1600可以以廣告/査詢特征2000為索引，其 中該廣告/查詢特征2000對(duì)應(yīng)于搜索查詢和廣告，以檢索與每個(gè)廣告/
查詢特征相關(guān)聯(lián)的一個(gè)或多個(gè)ODDSi2010。例如，如圖16中所示，可 以檢索與每個(gè)廣告/查詢特征1610對(duì)應(yīng)的"好"廣告可能性值1650。 在另一個(gè)例子中，如圖16所示，可以檢索與每個(gè)廣告/查詢特征1610 對(duì)應(yīng)的"差"廣告可能性值1660。
對(duì)于該組廣告中的每一個(gè)廣告，可以將用于每個(gè)廣告/查詢特征i 的所檢索的ODDSi相乘(框1940)，以生成總ODDS值(ODDSt): 0DDS產(chǎn)0DDS^0DDS^0DDS3... 等式(6)
例如，可以將對(duì)于每個(gè)廣告/査詢特征的"好"廣告可能性值1650
相乘，以生成總好廣告可能性值ODDStGooDAD。作為另一個(gè)例子，可
以將對(duì)于每個(gè)廣告/査詢特征的"差"廣告可能性值1660相乘，以生成 總差廣告可能性值ODDStBADAD。如圖20所示，可以將從數(shù)據(jù)結(jié)構(gòu)1600 中檢索的ODDS 2010相乘，以生成總可能性值ODDSt 2020。
對(duì)于該組廣告中的每個(gè)廣告，可以通過如下等式來確定可以包括 該廣告是好的概率(PG00DAD)和/或該廣告是差的概率(Pbadad)的質(zhì) 量參數(shù)(框1950):
Pgood ad = ODDSt good ad/ (l+ODDSt good ad ) 等式(7)
Pbad ad = ODDSt bad ad/ ( l+ODDSt bad ad ) 等式(8)
如圖20中所示，可以使用該總可能性值ODDSt 1820以及等式(7) 或(8)來推導(dǎo)質(zhì)量參數(shù)(P) 2030。
示范性廣告過濾、排名以及提升過程
圖21是根據(jù)與本發(fā)明的原理一致的實(shí)現(xiàn)的用于對(duì)廣告進(jìn)行過濾、 排名和/或提升的示范性過程的流程圖。本領(lǐng)域技術(shù)人員應(yīng)理解，圖21 中所示的過程可以適當(dāng)?shù)匾攒浖韺?shí)現(xiàn)并被存儲(chǔ)在計(jì)算機(jī)可讀存儲(chǔ)器 中，諸如主存儲(chǔ)器430、 ROM 440或服務(wù)器320或330或客戶端310 的存儲(chǔ)裝置450中。
該示范性過程可以以確定與搜索査詢相關(guān)的廣告開始(框2100)。 用戶可以在搜索查詢文檔中輸入搜索査詢，并且可以將由該廣告發(fā)布 者所寄放的廣告的內(nèi)容與輸入的搜索査詢進(jìn)行比較，以確定哪些廣告 與該搜索査詢相關(guān)。例如，可以將具有有術(shù)語"SUV"的內(nèi)容的廣告
認(rèn)為是與搜索査詢"suv"相關(guān)。
可以獲得一個(gè)或多個(gè)與相關(guān)廣告相關(guān)聯(lián)的質(zhì)量參數(shù)(框2110)。 該質(zhì)量參數(shù)可以包括例如上述在塊1950中確定的質(zhì)量參數(shù)。但是，該 質(zhì)量參數(shù)可以包括除了點(diǎn)進(jìn)率(CTR)以外的表示廣告質(zhì)量的任何其他 類型參數(shù)。
基于所獲得的質(zhì)量參數(shù)對(duì)被確定為相關(guān)的廣告進(jìn)行過濾(可選框 2120)。過濾可以禁用(例如，不選)使所選擇的相關(guān)廣告，以使得 它們不被提供(即，不顯示)給發(fā)出該搜索查詢或訪問該特定文檔或 站點(diǎn)的內(nèi)容的用戶。除了CTR，還可以基于在上面框2110中獲得的一 個(gè)或多個(gè)質(zhì)量參數(shù)或者任何其他類型的質(zhì)量參數(shù)來對(duì)相關(guān)廣告進(jìn)行過 濾?？梢曰谒@得的質(zhì)量參數(shù)以及其他參數(shù)(例如，CTR)的函數(shù)組 合來對(duì)相關(guān)廣告進(jìn)行過濾。例如，可以將所獲得的質(zhì)量參數(shù)(QP)乘 以CTR (即，QP*CTR)來對(duì)相關(guān)廣告進(jìn)行過濾。CTR測(cè)量導(dǎo)致廣告 點(diǎn)擊的廣告印象的分值。例如，如果100個(gè)廣告印象中的一個(gè)導(dǎo)致廣 告點(diǎn)擊，則該廣告的CTR就是1/100或1%?？梢詫?duì)CRT進(jìn)行估計(jì)， 如未決美國(guó)申請(qǐng)No.11/167，581 (代理人案巻號(hào)0026-0145)、名稱為 "Accurately Estimating Advertisement Performance (精確估計(jì)廣告性 能)"中所述，通過引入而被合并于此。在一個(gè)實(shí)現(xiàn)中，質(zhì)量參數(shù)QP
可以包括在上面框1950中確定的pgood ad。
作為一個(gè)例子，可以將該函數(shù)組合P(3(x)da^CTR用作禁用規(guī)則。
例如，如果Pgoodad * CTR是低(例如，小于閾值)，則使該廣告被 禁用，因而不將其提供給用戶。圖22示出了與本發(fā)明的方面一致的對(duì)
多個(gè)廣告2200-1至2200-N進(jìn)行過濾的例子。對(duì)于每個(gè)廣告2200，可 以確定用于PGOODAD * CTR的值2210，并將其與閾值(T) 2220進(jìn)行 比較?？梢允咕哂行∮陂撝礣 2220的值2210的廣告被禁用2230，并 且可以將具有等于或大于閾值T 2220的值2210的廣告提供2240 (例 如，顯示)給用戶。
在另一實(shí)現(xiàn)中，質(zhì)量參數(shù)QP可以包括在上面的框1950中確定的 信Pbadad，并可以將Pbadad乘以CTR。例如，如果PBAD AD * CTR為 高(例如，大于閾值)，則該廣告將被禁用，因而不提供給用戶。圖 23示出了對(duì)多個(gè)廣告2300-1至2300-N進(jìn)行過濾的例子。對(duì)于每個(gè)廣 告2300，可以確定用于PsADAi^ CTR的值2310，并將其與閾值(T) 2320進(jìn)行比較?？梢詫⒕哂写笥诨虻扔陂撝礣 2020的值2310的廣告 被禁用2130，并且可以將具有小于閾值T 2320的值2310的廣告提供 2340 (例如，顯示)給用戶。
在還一實(shí)現(xiàn)中，可以將比值PG00D AD/ PBAD AD用作禁用規(guī)則。例如，
如果P(K)ODAD/PBADAD小于閾值，表示廣告為好的概率低于廣告為差的
概率，則該廣告將被禁用，因此不會(huì)將其提供給用戶。圖24示出了對(duì) 多個(gè)廣告2400-1至2400-N進(jìn)行過濾的例子。對(duì)于每個(gè)廣告2400，可
以確定用于PGOODAD/PBADAD的值2410，并將其與閾值(T) 2420進(jìn)行
比較?？梢詫⒕哂行∮陂撝礣 2420的值2410的廣告禁用2430，并且 可以將具有大于或等于閾值T 2420的值2410的廣告提供2440 (例如，
顯示)給用戶。
可以基于所獲得的質(zhì)量參數(shù)來對(duì)被確定為相關(guān)的廣告進(jìn)行排名 (可選塊2130)?？梢曰谠谏厦娴目?110中獲得的一個(gè)或多個(gè)質(zhì)量 參數(shù)、或者基于不同于CTR的或除CTR之外的其他類型的質(zhì)量參數(shù)來 對(duì)相關(guān)廣告進(jìn)行排名?？梢曰谒@得的質(zhì)量參數(shù)以及其他參數(shù)(例 如，CTR)的函數(shù)組合來對(duì)相關(guān)廣告進(jìn)行排名。在一個(gè)實(shí)現(xiàn)中，該質(zhì)量 參數(shù)QP可以包括在上面的框1950中確定的值PG00D ad。在其他實(shí)現(xiàn)中，該質(zhì)量參數(shù)QP可以包括值PBADAD。
所獲得的質(zhì)量參數(shù)QP以及其他參數(shù)的函數(shù)組合可以試圖將對(duì)廣 告出版實(shí)體、廣告商以及用戶的值最大。在一個(gè)實(shí)現(xiàn)中，可以通過使 用下面的函數(shù)來對(duì)廣告進(jìn)行排名
RANKaDx = PgOOD AD—ADx *ctradx* cpcadx 等式(9)
其中CTR為點(diǎn)進(jìn)率，并且CPC為對(duì)于該廣告的"每次單擊成本"。 CPC表示對(duì)于給定廣告商的廣告點(diǎn)擊值。圖25示出了對(duì)多個(gè)廣告 2500-1至2500-N進(jìn)行排名的例子。對(duì)于每個(gè)廣告2500，可以確定PGooD AD * CTR * CPC的值2510。可以將對(duì)該組相關(guān)廣告中的每個(gè)廣告的值 2510進(jìn)行比較，以使得可以按照排名次序2520對(duì)該廣告重新排序。該 排名次序2520可以例如如圖25中所示按照升序?qū)V告2500進(jìn)行排名， 具有最高值2510-1的廣告2500-1被排名為第一，并且按照降序?qū)哂?小于值2510-1的值2510的廣告2500-2至2500-N進(jìn)行排名。
在另一實(shí)現(xiàn)中，可以使用如下函數(shù)對(duì)廣告進(jìn)行排名
陸eO/Goo蘊(yùn)7Ww *尸函m * C77 愈-CoWq/BaiiW7base"尸a^必必^C77 必義 等式(10)
其中，CTR是點(diǎn)進(jìn)率，并且CPC是對(duì)于該廣告的"每次單擊成本"。 ValueOfGoodAdToUser是廣告出版商可以從顯示好廣告中得到的收入 中的增加收益，并且CostOffiadAdToUser是廣告出版商可以從提供差 廣告給用戶中遭受到的長(zhǎng)期收入上的增加損失。該CTR^ CPC值表示 廣告可以接收到的短期收入。
可以以多種方式對(duì)ValueOfGoodAdToUser和CostOffiadAdToUser 的值進(jìn)行估計(jì)。在一種技術(shù)中，可以進(jìn)行人為因素的試驗(yàn)，其中將一 系列只具有好廣告的文檔顯示給用戶，然后可以向用戶提供行為任務(wù)， 以查看他們使用該廣告的可能?？梢詫⒅痪哂胁顝V告的一系列文檔顯 示給不同組的用戶，然后可以向該組用戶提供行為任務(wù)，以査看他們
不使用該廣告的可能。這可以被改進(jìn)，以査看將要花費(fèi)多少文檔來改 變行為任務(wù)中點(diǎn)擊廣告的可能性，并且如何改變?cè)摶旌?例如，好和 差廣告的混合)將會(huì)改變?cè)摽赡苄浴Ｔ诹硪患夹g(shù)中，可以使用會(huì)話數(shù) 據(jù)來觀察用戶在會(huì)話期間進(jìn)行的點(diǎn)擊序列，以及(通過經(jīng)驗(yàn)測(cè)量)確 定在看到差廣告(同樣適用于好廣告)之后還點(diǎn)擊廣告的概率。
在上述的任意一個(gè)技術(shù)中，可以對(duì)用戶點(diǎn)擊廣告的增加可能性(如 果向用戶顯示好廣告)或者用戶點(diǎn)擊廣告的降低可能性(如果向用戶
顯示差廣告)進(jìn)行估計(jì)。為了推導(dǎo)出ValueOfGoodAdToUser值，可以 將該遞增的增加與點(diǎn)擊平均值相乘，而通過將遞增的降低與點(diǎn)擊平均 值相乘來推導(dǎo)出CostOffiadAdToUser值。在一些實(shí)現(xiàn)中，可以對(duì)該 ValueOfGoodAdToUser和CostOffiadAdToUser值進(jìn)行調(diào)整，以定制每 個(gè)國(guó)家或每項(xiàng)業(yè)務(wù)(例如，旅行、金融、生活消費(fèi)品等)的點(diǎn)擊成本， 以使得該ValueOfGoodAdToUser和CostOffiadAdToUser值根據(jù)國(guó)家、 語言和/或業(yè)務(wù)而具有不同的每次點(diǎn)擊成本。
圖26示出了對(duì)多個(gè)廣告2600-1至2600-N進(jìn)行排名的例子。對(duì)于 每個(gè)廣告2600，可以使用上面的等式(9)來確定值2610?？梢詫?duì) 該組相關(guān)廣告中的每個(gè)廣告的值2610進(jìn)行比較，以使得可以按照排名 次序2620對(duì)廣告重新排序。該排名次序2620可以例如如圖26中所示 按照升序?qū)V告2600進(jìn)行排名，具有最高值2610-1的廣告2600-1被 排名為第一，并且按照降序?qū)哂行∮?610-1的值2610的廣告2600-2 至2600-N進(jìn)行排名。
可以對(duì)被確定為相關(guān)的所選廣告進(jìn)行提升(可選塊2140)?？梢?基于在上面的框2110中獲得的一個(gè)或多個(gè)質(zhì)量參數(shù)、或者基于除了 CTR以外的任何其他類型的廣告質(zhì)量參數(shù)來選擇要被提升的廣告?？?以基于所獲得的質(zhì)量參數(shù)以及其他參數(shù)(例如，CTR)的函數(shù)組合來提 升廣告。在一個(gè)實(shí)現(xiàn)中，該質(zhì)量參數(shù)QP可以包括在上面的框1950中 確定的PGOODAD值。在其他的實(shí)現(xiàn)中，該質(zhì)量參數(shù)QP可以包括在上面
的框1950中摘定的Pbadad信。在一個(gè)實(shí)現(xiàn)中，例如，如果Pgoodai^
CTR為高(例如，大于閾值)，或者如果pgoodad/pbadad為高(例如， 大于閾值)，則可以對(duì)廣告進(jìn)行提升。
圖27示出了對(duì)多個(gè)廣告2700-1至2700-N中的廣告進(jìn)行提升的例 子。對(duì)于每個(gè)廣告2700，可以確定PGooDA^ CTR的值2710，并將其 與閾值(T) 2720進(jìn)行比較。可以對(duì)具有大于或等于閾值T 2720的值 2710的廣告進(jìn)行提升2730，并且可以不對(duì)具有小于閾值T 2720的值 2710的廣告進(jìn)行提升。
圖28示出了對(duì)多個(gè)廣告2800-1至2800-N中的廣告進(jìn)行提升的例
子。對(duì)于每個(gè)廣告2800，可以確定pgoodad/pbadad的值2810,并將其
與閾值(T) 2820進(jìn)行比較?？梢詫⒕哂写笥诨虻扔陂撝礣 2820的值 2810的廣告進(jìn)行提升2840，并且可以不對(duì)具有小于閾值T 2820的值 2810的廣告進(jìn)行提升2840。
在另一實(shí)現(xiàn)中，可以替代地使用上面等式(9)中所述的函數(shù)，其 中CostOffiadAdToUser值被設(shè)置為高于等式(9)中使用的值，用于對(duì) 廣告進(jìn)行排名。將CostOffiadAdToUser值設(shè)置為高于等式(9)中所使 用的值表示對(duì)差廣告進(jìn)行提升比僅僅對(duì)差廣告進(jìn)行顯示的成本更高。 圖29示出了對(duì)多個(gè)廣告2900-1至2卯0-N中的廣告進(jìn)行提升的進(jìn)一步 的例子。對(duì)于每個(gè)廣告2卯0，可以確定上面等式(9)的值2910，并 將其與閾值(T) 2920進(jìn)行比較?？梢詫?duì)具有大于或等于閾值T 2920 的值2910的廣告進(jìn)行提升2930，并且不對(duì)具有小于閾值T 2920的值 2910的廣告進(jìn)行提升2940。
可以基于在上面的框2120、 2130和或2140中執(zhí)行的過濾、排名 和/或提升而有選擇地將被確定為相關(guān)的某些廣告提供給用戶(框 2150)?？梢詫⒃诳?120中沒有被禁用的相關(guān)廣告提供給用戶。還可 以按照通過在框2130中的排名函數(shù)確定的次序?qū)⒉话ń脧V告的相
關(guān)廣告提供給用戶。如在框2140中所確定的，可以對(duì)不包括被禁用廣
告的一個(gè)或多個(gè)相關(guān)廣告進(jìn)行提升。圖30示出了搜索結(jié)果文檔3000， 其中將搜索結(jié)果3010提供給發(fā)出搜索查詢的用戶。排名次序中列出的 排名廣告3020還可以被包括在搜索結(jié)果文檔3000中。該排名廣告3020 可以包括例如至廣告定著文檔的鏈接，其中該定著文檔提供了關(guān)于被 廣告的產(chǎn)品或服務(wù)的進(jìn)一步細(xì)節(jié)。被放置在突出位置或高亮位置上的 提升廣告3030附加地可以包括在搜索結(jié)果文檔3000中。
結(jié)論
以上對(duì)本發(fā)明的優(yōu)選實(shí)施例的描述提供了例證和說明，但并不意 在窮舉本發(fā)明或者將本發(fā)明限制為所披露的精確形式。可以按照上面
的教導(dǎo)或者從本發(fā)明的實(shí)踐中獲得對(duì)本發(fā)明的某些更改和變化。例如， 雖然已經(jīng)參照?qǐng)D5、 14、 17、 18、 19和21描述了一系列動(dòng)作，但是在 與本發(fā)明原理相一致的其他實(shí)現(xiàn)中可以修改這些動(dòng)作的順序。此外， 互不依賴的動(dòng)作可以被并行執(zhí)行。
除了上面參照?qǐng)D5描述的會(huì)話特征之外，在一些實(shí)現(xiàn)中可以可選 地使用轉(zhuǎn)換跟蹤來推導(dǎo)預(yù)測(cè)值與用戶滿意度之間的直接標(biāo)度。當(dāng)對(duì)廣 告的選擇直接導(dǎo)致了廣告商認(rèn)為有價(jià)值的用戶行為(例如，用戶購買) 時(shí)，就發(fā)生了轉(zhuǎn)換。廣告商或者為廣告商寄放廣告的服務(wù)可以跟蹤對(duì) 于每個(gè)廣告選擇是否都發(fā)生了轉(zhuǎn)換。例如，如果用戶選擇了廣告商的
廣告，并且隨后在線購買了在響應(yīng)于廣告選擇而提供給用戶的廣告定 著文檔上顯示的產(chǎn)品，則廣告商或者寄放廣告的服務(wù)可以記錄關(guān)于該 廣告選擇的轉(zhuǎn)換。該轉(zhuǎn)換跟蹤數(shù)據(jù)可以與所識(shí)別的廣告選擇相關(guān)聯(lián)。 可以使用統(tǒng)計(jì)技術(shù)，例如，邏輯回歸、回歸樹、提級(jí)的枝端等來推導(dǎo) 在預(yù)測(cè)值與通過轉(zhuǎn)換測(cè)得的用戶滿意度之間的直接標(biāo)度。
對(duì)于本領(lǐng)域內(nèi)的普通技術(shù)人員來說，在圖中所示的實(shí)現(xiàn)中可以使 用軟件、固件以及硬件的許多不同的形式來實(shí)現(xiàn)本發(fā)明如上所述的各 個(gè)方面。用于實(shí)現(xiàn)與本發(fā)明原理相一致的各個(gè)方面的實(shí)際軟件代碼或
專用控制硬件不會(huì)限制本發(fā)明。這樣，沒有參照特定軟件代碼來描述 各個(gè)方面的操作和行為，然而，可以理解的是，基于這里的描述，本 領(lǐng)域內(nèi)的普通技術(shù)人員將能夠設(shè)計(jì)軟件和控制硬件來實(shí)現(xiàn)這些方面。
本發(fā)明申請(qǐng)中使用的元件、動(dòng)作或指令等不應(yīng)被構(gòu)造為對(duì)本發(fā)明 來說是關(guān)鍵的或必不可少的，除非明確描述的確如此。而且，正如這 里所使用的，冠詞"一"意欲包括一個(gè)或多個(gè)項(xiàng)目。在意圖僅表示一 個(gè)項(xiàng)目的地方，使用術(shù)語"一個(gè)"或類似用語。進(jìn)一步，短語"基于" 意欲表示"至少部分基于"，除非已明確地表示并非如此。
權(quán)利要求
1. 一種方法，包括獲得與多個(gè)廣告中的廣告的質(zhì)量相關(guān)聯(lián)的第一參數(shù)(QPI)，其中該第一質(zhì)量參數(shù)(QP1)不包括點(diǎn)進(jìn)率(CTR)；用函數(shù)式將所述第一質(zhì)量參數(shù)(QP1)與至少一個(gè)其他參數(shù)組合；以及使用該函數(shù)組合來對(duì)所述多個(gè)廣告中的所述廣告進(jìn)行過濾、排名或者提升。
2. 根據(jù)權(quán)利要求1的方法， 率(CTR)。
3. 根據(jù)權(quán)利要求1的方法， 所述廣告是好廣告的概率。
4. 根據(jù)權(quán)利要求1的方法， 所述廣告是差廣告的概率。
5. 根據(jù)權(quán)利要求1的方法， 所述廣告提供給用戶。其中所述至少一個(gè)其他參數(shù)包括點(diǎn)進(jìn)其中所述第一質(zhì)量參數(shù)(QP。包括其中所述第一質(zhì)量參數(shù)(QPi)包括其中對(duì)所述廣告進(jìn)行過濾包括防止將
6. 根據(jù)權(quán)利要求2的方法，其中用函數(shù)式將所述第一質(zhì)量參數(shù) (QPl)與至少一個(gè)其他參數(shù)組合包括將第一質(zhì)量參數(shù)(QP。與點(diǎn)進(jìn)率(CTR)相乘QP^CTR。
7. 根據(jù)權(quán)利要求6的方法，其中使用函數(shù)組合來對(duì)所述廣告進(jìn)行 過濾包括將QPJCTR與閾值進(jìn)行比較，以確定是否對(duì)所述廣告進(jìn)行過濾。
8. 根據(jù)權(quán)利要求6的方法，其中使用函數(shù)組合來對(duì)所述多個(gè)廣告 中的所述廣告進(jìn)行提升包括將QPJCTR與閾值進(jìn)行比較，以確定是否對(duì)所述多個(gè)廣告中的所 述廣告進(jìn)行提升。
9. 根據(jù)權(quán)利要求2的方法，其中所述至少一個(gè)其他參數(shù)還包括與 所述廣告相關(guān)聯(lián)的每次點(diǎn)擊成本(CPC)。
10. 根據(jù)權(quán)利要求9的方法，其中用函數(shù)式將所述第一質(zhì)量參數(shù)(QPi)與所述至少一個(gè)其他參數(shù)組合包括將所述第一質(zhì)量參數(shù)(QPi)與CTR以及CPC相乘 QP^CPC^CTR。
11. 根據(jù)權(quán)利要求10的方法，其中使用所述函數(shù)組合來對(duì)所述廣告進(jìn)行排名包括使用QP *0 (3*(7111來對(duì)所述多個(gè)廣告中的所述廣告進(jìn)行排名。
12. 根據(jù)權(quán)利要求9的方法，還包括獲得與所述廣告的質(zhì)量相關(guān)聯(lián)的第二參數(shù)(QP2)，其中所述第二質(zhì)量參數(shù)(QP2)不包括點(diǎn)進(jìn)率(CTR);以及用函數(shù)式將所述第二質(zhì)量參數(shù)(QP2)與所述第一質(zhì)量參數(shù)(QP。 以及所述至少一個(gè)其他參數(shù)組合。
13. 根據(jù)權(quán)利要求12的方法，其中用函數(shù)式將所述第二質(zhì)量參數(shù) (QP2)與所述第一質(zhì)量參數(shù)(QP。以及所述至少一個(gè)其他參數(shù)組合包括CTR^CPC + K^QPJCTR—KZQP^CTR，其中IQ和K2是常數(shù)。
14. 根據(jù)權(quán)利要求13的方法，其中使用所述函數(shù)組合來對(duì)所述多 個(gè)廣告中的所述廣告進(jìn)行提升包括 將CTr^CPC + KZQP^CTR—K QPZCTR與閾值進(jìn)行比較，以 確定是否對(duì)所述多個(gè)廣告中的所述廣告進(jìn)行提升。
15. —種方法，包括獲得與第一組廣告相關(guān)聯(lián)的評(píng)級(jí)，其中所述評(píng)級(jí)表示所述第一組廣告的質(zhì)量；觀察與所述第一組廣告中的廣告的用戶選擇相關(guān)聯(lián)的多個(gè)不同的 用戶動(dòng)作；利用所觀察的用戶動(dòng)作以及所獲得的評(píng)級(jí)推導(dǎo)統(tǒng)計(jì)模型； 利用所述統(tǒng)計(jì)模型來估計(jì)與第二組廣告相關(guān)聯(lián)的質(zhì)量分值；以及 基于所估計(jì)的質(zhì)量分值將所述第二組廣告中的廣告子集提供給用戶。
16. 根據(jù)權(quán)利要求1的方法，其中推導(dǎo)所述統(tǒng)計(jì)模型包括 使用邏輯回歸、回歸樹或者提級(jí)的枝端中的至少一個(gè)來生成所述統(tǒng)計(jì)模型。
17. 根據(jù)權(quán)利要求1的方法，還包括基于所估計(jì)的質(zhì)量分值對(duì)該廣告子集中的廣告進(jìn)行排名，以對(duì)該 廣告子集進(jìn)行排序。
18. 根據(jù)權(quán)利要求17的方法，還包括 將按照排名次序的所述廣告子集提供給所述用戶。
19. 根據(jù)權(quán)利要求17的方法，還包括基于所估計(jì)的質(zhì)量分值對(duì)所述廣告子集中的一個(gè)或多個(gè)進(jìn)行提升。
20. 根據(jù)權(quán)利要求19的方法，還包括將所述廣告子集中被提升的一個(gè)或多個(gè)廣告定位在文檔上的突出 位置；以及將所述第二組廣告的未被提升的廣告定位在所述文檔上的不如所 提升的一個(gè)或多個(gè)廣告突出的位置。
21. 根據(jù)權(quán)利要求20的方法，其中將所述廣告子集提供給用戶包括將所述文檔提供給所述用戶。
22. —種方法，包括使用統(tǒng)計(jì)模型來確定與一組廣告相關(guān)聯(lián)的質(zhì)量分值，其中所述質(zhì) 量分值不包括點(diǎn)進(jìn)率(CTR);基于所確定的質(zhì)量分值來禁用所述一組廣告的第一廣告子集；以及將所述一組廣告的第二子集提供給用戶，其中所述一組廣告的所 述第二子集包括所述一組廣告減去所述第一廣告子集。
23. 根據(jù)權(quán)利要求22的方法，還包括基于所確定的質(zhì)量分值對(duì)所述一組廣告的所述第二廣告子集進(jìn)行 排名。
24. 根據(jù)權(quán)利要求23的方法，還包括基于所確定的質(zhì)量分值對(duì)所述第二廣告子集中的一個(gè)或多個(gè)進(jìn)行 提升。
25. 根據(jù)權(quán)利要求24的方法，還包括將所述第二廣告子集中的被提升的一個(gè)或多個(gè)廣告定位在文檔上 的第一位置；以及將所述一組廣告中沒有被提升的廣告定位在所述文檔上不同于第 一位置的第二位置。
26. 根據(jù)權(quán)利要求25的方法，其中將所述第二廣告子集提供給用戶包括將所述文檔提供給所述用戶。
27. —種方法，包括使用統(tǒng)計(jì)模型來確定與一組廣告相關(guān)聯(lián)的質(zhì)量分值，其中所述質(zhì) 量分值不包括點(diǎn)進(jìn)率(CTR);以及基于所確定的質(zhì)量分值來對(duì)所述一組廣告中的廣告進(jìn)行排名，以 確定排名次序。
28.根據(jù)權(quán)利要求27的方法，還包括以排名次序?qū)⑺琶膹V告提供給用戶。
29. —種方法，包括使用統(tǒng)計(jì)模型來確定與一組廣告相關(guān)聯(lián)的質(zhì)量分值，其中該質(zhì)量分值不包括點(diǎn)進(jìn)率(CTR);基于所確定的質(zhì)量分值來提升所述一組廣告中的一個(gè)或多個(gè)廣告.將所述一組廣告中被提升的一個(gè)或多個(gè)廣告定位在文檔的突出位置上；以及將所述一組廣告中未被提升的廣告定位在所述文檔上不如所提升 的一個(gè)或多個(gè)廣告突出的位置上。
30. —種存儲(chǔ)計(jì)算機(jī)可執(zhí)行指令的計(jì)算機(jī)可讀介質(zhì)，包括指令，用于使用統(tǒng)計(jì)模型來對(duì)與一組廣告相關(guān)聯(lián)的質(zhì)量分值進(jìn)行估計(jì)，其中質(zhì)量分值不包括點(diǎn)進(jìn)率(CTR);指令，用于基于所估計(jì)的質(zhì)量分值來禁用所述一組廣告的第一廣告子集；指令，用于基于所估計(jì)的質(zhì)量分值來對(duì)第二廣告子集中的廣告進(jìn) 行排名，以對(duì)所述第二廣告子集進(jìn)行排序，其中所述第二廣告子集包 括所述一組廣告減去所述第一廣告子集；指令，用于基于所估計(jì)的質(zhì)量分值來對(duì)所排名的第二廣告子集中 的一個(gè)或多個(gè)進(jìn)行提升；以及指令，用于將所排名的第二廣告子集中被提升的一個(gè)或多個(gè)廣告 定位在文檔上的第一位置，并且將所排名的廣告子集中沒有被提升的 廣告定位在所述文檔上不同于第一位置的第二位置。
31. —種系統(tǒng)，包括裝置，用于使用統(tǒng)計(jì)模型來確定與一組廣告相關(guān)聯(lián)的質(zhì)量分值， 其中該質(zhì)量分值不包括點(diǎn)進(jìn)率(CTR);裝置，用于基于所確定的質(zhì)量分值來禁用第一組廣告中的第一廣 告子集；裝置，用于基于所確定的質(zhì)量分值來對(duì)所述一組廣告中的第二廣 告子集的廣告進(jìn)行排名；裝置，用于基于所所估計(jì)的質(zhì)量分值來對(duì)所排名的第二廣告子集 中的一個(gè)或多個(gè)進(jìn)行提升；以及裝置，用于將所排名的第二廣告子集中的被提升的一個(gè)或多個(gè)廣 告定位在文檔上比所排名的第二廣告子集中未被提升的廣告更顯著的 位置。
全文摘要
一種系統(tǒng)獲得與多個(gè)廣告中的廣告的質(zhì)量相關(guān)聯(lián)的第一參數(shù)(QP₁)，其中該第一質(zhì)量參數(shù)(QP₁)不包括點(diǎn)進(jìn)率(CTR)。該系統(tǒng)用函數(shù)式將該第一質(zhì)量參數(shù)(QP₁)與至少一個(gè)其他參數(shù)組合，并使用該函數(shù)組合來對(duì)多個(gè)廣告中的廣告進(jìn)行過濾、排名或提升。
文檔編號(hào)G06N5/02GK101385018SQ200680053343
公開日2009年3月11日 申請(qǐng)日期2006年12月28日 優(yōu)先權(quán)日2005年12月30日
發(fā)明者丹尼爾·賴特, 達(dá)利爾·普雷格波恩, 黛安娜·唐 申請(qǐng)人:谷歌公司