專利名稱：：數(shù)字營銷優(yōu)化的制作方法
技術(shù)領(lǐng)域：
：本發(fā)明涉及數(shù)字營銷優(yōu)化。并且更具體地，涉及用于實(shí)驗(yàn)的方法、系統(tǒng)和設(shè)備。
背景技術(shù)：
：實(shí)驗(yàn)有助于測(cè)試新的或不同的思路，并且可以得到更好的產(chǎn)品、方法和技術(shù)。實(shí)驗(yàn)可以包括為各種測(cè)試主題提供多種備選思路或者方法，以及觀測(cè)結(jié)果。例如，可以建立實(shí)驗(yàn)來測(cè)試內(nèi)容(例如，可以通過某些形式或方式呈現(xiàn)給人們的數(shù)據(jù)或信息)的各種結(jié)構(gòu)或安排。為了最大化實(shí)驗(yàn)的益處，期望具有測(cè)試主題的適當(dāng)總體。通常，備選思路的數(shù)量越多，提供或者獲得實(shí)驗(yàn)的準(zhǔn)確測(cè)試結(jié)果所需的測(cè)試主題的數(shù)量就越多。隨著獲得準(zhǔn)確結(jié)果所需的測(cè)試主題數(shù)量的增長，管理所述實(shí)驗(yàn)變成困難、耗時(shí)以及昂貴的任務(wù)。由此，雖然實(shí)驗(yàn)可以得到關(guān)于如何實(shí)現(xiàn)預(yù)期目標(biāo)(例如，最大化產(chǎn)品銷售)巨大靈感，但實(shí)驗(yàn)可能變得無法承受。
發(fā)明內(nèi)容本發(fā)明的第一方面涉及一種用于通過數(shù)據(jù)網(wǎng)絡(luò)來進(jìn)行實(shí)驗(yàn)的方法，所述方法包括確定將要通過用于所述實(shí)驗(yàn)的所述網(wǎng)絡(luò)遞送給至少一個(gè)控制群組的處理的第一集合，其中，每個(gè)處理包括內(nèi)容元素的組合；通過所述網(wǎng)絡(luò)，將所述處理的第一集合遞送至所述至少一個(gè)控制群組；當(dāng)為每個(gè)控制群組呈現(xiàn)所述第一集合中的至少一個(gè)所述處理時(shí)，跟蹤每個(gè)控制群組的行為；基于所跟蹤的行為確定每個(gè)處理的置信度，其中每個(gè)置信度是對(duì)將要使用的相應(yīng)處理或者相應(yīng)處理中的內(nèi)容元素的所述組合滿足所述實(shí)驗(yàn)的一個(gè)或多個(gè)目標(biāo)的能力的估計(jì)；以及至少基于所述置信度來確定遞送給所述至少一個(gè)控制群組的處理的新皇A朱口ο根據(jù)本發(fā)明的第一方面，至少基于所述確定的置信度來確定遞送給所述至少一個(gè)控制群組的處理的新集合進(jìn)一步包括標(biāo)識(shí)用于所述新集合的候選處理；確定每個(gè)候選處理的置信度；基于相應(yīng)的置信度為每個(gè)候選處理加權(quán)；以及基于所述加權(quán)來選擇用于所述新集合的候選處理。根據(jù)本發(fā)明的第一方面，進(jìn)一步包括基于所述加權(quán)來確定遞送給每個(gè)控制群組的所述新集合的所述候選處理的比例。根據(jù)本發(fā)明的第一方面，其中由于具有較高置信度而被確定為具有較高加權(quán)的候選處理以高于被確定為具有較低加權(quán)的候選處理的比例被遞送給每個(gè)控制群組。根據(jù)本發(fā)明的第一方面，進(jìn)一步包括使用置信度閾值來確定不將處理包括在所述新集合中。根據(jù)本發(fā)明的第一方面，進(jìn)一步包括存儲(chǔ)用于所述處理的第一集合以及遞送給所述至少一個(gè)控制群組的任何其它處理的置信度。根據(jù)本發(fā)明的第一方面，其中確定每個(gè)候選處理的置信度進(jìn)一步包括獲取每個(gè)候選處理的已存儲(chǔ)的置信度。根據(jù)本發(fā)明的第一方面，其中每個(gè)處理包括元素的組合，并且每個(gè)元素包括用于所述元素的多個(gè)變化中的變化。根據(jù)本發(fā)明的第一方面，其中，至少基于所述置信度來確定遞送給所述至少一個(gè)控制群組的處理的新集合進(jìn)一步包括基于對(duì)哪些處理被估計(jì)為能實(shí)現(xiàn)所述一個(gè)或多個(gè)目標(biāo)的預(yù)測(cè)，來確定所述處理的新集合。根據(jù)本發(fā)明的第一方面，進(jìn)一步包括根據(jù)包括所述至少一個(gè)控制群組的控制群組的觀測(cè)行為，來確定預(yù)測(cè)模型；以及根據(jù)所述預(yù)測(cè)模型來確定所述預(yù)測(cè)。根據(jù)本發(fā)明的第一方面，其中，所述新的處理集合包括具有與所述第一集合中的至少一個(gè)處理相同的元素組合的一個(gè)或多個(gè)處理，所述一個(gè)或多個(gè)處理被確定為相對(duì)于先前遞送給所述至少一個(gè)控制群組的其他處理而言具有高置信度。根據(jù)本發(fā)明的第一方面，進(jìn)一步包括確定所述一個(gè)或多個(gè)目標(biāo)是否被滿足；以及如果所述一個(gè)或多個(gè)目標(biāo)未被滿足，則基于先前遞送的處理的置信度來重復(fù)確定處理的新集合。本發(fā)明的第二方面涉及一種被配置以提供用于評(píng)估內(nèi)容的實(shí)驗(yàn)的系統(tǒng)，所述系統(tǒng)包括內(nèi)容系統(tǒng)，其可操作以存儲(chǔ)內(nèi)容，所述內(nèi)容包括處理，每個(gè)處理具有內(nèi)容元素的組合，以及其中所述內(nèi)容系統(tǒng)可操作以存儲(chǔ)每個(gè)處理的置信度，并且其中每個(gè)置信度是將要使用的相應(yīng)處理滿足一個(gè)或多個(gè)目標(biāo)的能力的估計(jì)；以及通信管理系統(tǒng)，其與所述內(nèi)容系統(tǒng)通信，并且可操作以定義實(shí)驗(yàn)、通過數(shù)據(jù)網(wǎng)絡(luò)將處理遞送給至少一個(gè)控制群組從而進(jìn)行所述實(shí)驗(yàn)，以及通過所述數(shù)據(jù)網(wǎng)絡(luò)從所述至少一個(gè)控制群組收集觀測(cè)數(shù)據(jù)，所述觀測(cè)數(shù)據(jù)涉及針對(duì)每個(gè)處理的用戶行為，其中，所述通信管理系統(tǒng)可操作以確定所述存儲(chǔ)的置信度，并且所述內(nèi)容系統(tǒng)可操作以基于先前遞送至所述至少一個(gè)控制群組的處理的所述置信度來選擇新的處理以遞送至用于所述實(shí)驗(yàn)的所述至少一個(gè)控制群組。根據(jù)本發(fā)明的第二方面，其中，所述內(nèi)容系統(tǒng)基于所述先前遞送的處理的所述置信度來選擇候選處理，并且基于根據(jù)所述候選處理的所述置信度而確定的所述候選處理的加權(quán)來確定遞送至所述控制群組的所述候選處理的比例。根據(jù)本發(fā)明的第二方面，其中，所述比例標(biāo)識(shí)要遞送的處理的較高置信度與較低置信度的比率。根據(jù)本發(fā)明的第二方面，其中，所述通信管理系統(tǒng)包括可操作以確定預(yù)測(cè)的預(yù)測(cè)引擎，所述預(yù)測(cè)描述要遞送至所述至少一個(gè)控制群組以實(shí)現(xiàn)所述一個(gè)或多個(gè)目標(biāo)的內(nèi)容，并且所述預(yù)測(cè)用于選擇所述新的處理。本發(fā)明的第三方面涉及一種用于通過數(shù)據(jù)網(wǎng)絡(luò)來進(jìn)行實(shí)驗(yàn)的設(shè)備，所述設(shè)備包括用于確定將要通過用于所述實(shí)驗(yàn)的所述網(wǎng)絡(luò)遞送給至少一個(gè)控制群組的處理的第一集合的裝置，其中，每個(gè)處理包括內(nèi)容元素的組合；用于通過所述網(wǎng)絡(luò)將所述處理的第一集合遞送至所述至少一個(gè)控制群組的裝置；用于在為每個(gè)控制群組呈現(xiàn)所述第一集合中的至少一個(gè)所述處理時(shí)跟蹤每個(gè)控制群組的行為的裝置；用于基于所跟蹤的行為來確定每個(gè)處理的置信度的裝置，其中每個(gè)置信度是對(duì)將要使用的相應(yīng)處理或者相應(yīng)處理中的內(nèi)容元素的所述組合滿足所述實(shí)驗(yàn)的一個(gè)或多個(gè)目標(biāo)的能力的估計(jì)；以及用于至少基于所述置信度來確定遞送給所述至少一個(gè)控制群組的處理的新集合的裝置。根據(jù)本發(fā)明的第三方面，其中，所述用于至少基于所述確定的置信度來確定遞送6給所述至少一個(gè)控制群組的處理的新集合的裝置進(jìn)一步包括用于標(biāo)識(shí)用于所述新集合的候選處理的裝置；用于確定每個(gè)候選處理的置信度的裝置；用于基于相應(yīng)的置信度為每個(gè)候選處理加權(quán)的裝置；以及用于基于所述加權(quán)來選擇用于所述新集合的候選處理的裝置。根據(jù)本發(fā)明的第三方面，進(jìn)一步包括用于基于所述加權(quán)來確定遞送給每個(gè)控制群組的所述新集合的所述候選處理的比例的裝置。根據(jù)本發(fā)明的第三方面，其中由于具有較高置信度而被確定為具有較高加權(quán)的候選處理以高于被確定為具有較低加權(quán)的候選處理的比例被遞送給每個(gè)控制群組。根據(jù)本發(fā)明的第三方面，進(jìn)一步包括用于使用置信度閾值來確定不將處理包括在所述新集合中的裝置。根據(jù)本發(fā)明的第三方面，進(jìn)一步包括用于存儲(chǔ)用于所述處理的第一集合以及遞送給所述至少一個(gè)控制群組的任何其它處理的置信度的裝置。根據(jù)本發(fā)明的第三方面，其中所述用于確定每個(gè)候選處理的置信度的裝置進(jìn)一步包括用于獲取每個(gè)候選處理的已存儲(chǔ)的置信度的裝置。根據(jù)本發(fā)明的第三方面，其中每個(gè)處理包括元素的組合，并且每個(gè)元素包括用于所述元素的多個(gè)變化中的變化。根據(jù)本發(fā)明的第三方面，其中所述用于至少基于所述置信度來確定遞送給所述至少一個(gè)控制群組的處理的新集合的裝置進(jìn)一步包括用于基于對(duì)哪些處理被估計(jì)為能實(shí)現(xiàn)所述一個(gè)或多個(gè)目標(biāo)的預(yù)測(cè)來確定所述處理的新集合的裝置。根據(jù)本發(fā)明的第三方面，進(jìn)一步包括用于根據(jù)包括所述至少一個(gè)控制群組的控制群組的觀測(cè)行為來確定預(yù)測(cè)模型的裝置；以及用于根據(jù)所述預(yù)測(cè)模型來確定所述預(yù)測(cè)的直o根據(jù)本發(fā)明的第三方面，其中所述新的處理集合包括具有與所述第一集合中的至少一個(gè)處理相同的元素組合的一個(gè)或多個(gè)處理，所述一個(gè)或多個(gè)處理被確定為相對(duì)于先前遞送給所述至少一個(gè)控制群組的其他處理而言具有高置信度。根據(jù)本發(fā)明的第三方面，進(jìn)一步包括用于確定所述一個(gè)或多個(gè)目標(biāo)是否被滿足的裝置；以及用于在所述一個(gè)或多個(gè)目標(biāo)未被滿足的情況下基于先前遞送的處理的置信度來重復(fù)確定處理的新集合的裝置。本發(fā)明的第四方面是提供一個(gè)或多個(gè)存儲(chǔ)計(jì)算機(jī)代碼的計(jì)算機(jī)可讀介質(zhì)，當(dāng)由計(jì)算機(jī)系統(tǒng)執(zhí)行時(shí)，該計(jì)算機(jī)代碼執(zhí)行上述方法。本發(fā)明的實(shí)施方式將結(jié)合下列附圖作詳細(xì)描述。圖1示出了根據(jù)本發(fā)明實(shí)施方式的內(nèi)容系統(tǒng)和通信管理系統(tǒng)可以運(yùn)行的環(huán)境；圖2是根據(jù)本發(fā)明實(shí)施方式的內(nèi)容系統(tǒng)和通信管理系統(tǒng)的框圖；圖3是根據(jù)本發(fā)明實(shí)施方式的實(shí)驗(yàn)引擎的框圖；圖4是根據(jù)本發(fā)明實(shí)施方式的模型引擎的框圖；圖5是根據(jù)本發(fā)明實(shí)施方式的預(yù)測(cè)引擎的框圖；圖6是根據(jù)本發(fā)明實(shí)施方式的觀測(cè)模式的框圖7是根據(jù)本發(fā)明實(shí)施方式的腳本/調(diào)度10引擎的框圖；圖8是根據(jù)本發(fā)明實(shí)施方式的用于管理遞送給用戶的內(nèi)容的示例性方法的流程圖；圖9是根據(jù)本發(fā)明實(shí)施方式的用于定義針對(duì)結(jié)構(gòu)化內(nèi)容的實(shí)驗(yàn)的示例性方法的流程圖；圖10是根據(jù)本發(fā)明實(shí)施方式的用于操作實(shí)驗(yàn)和收集用于可跟蹤結(jié)果/目標(biāo)的數(shù)據(jù)的示例性方法的流程圖；圖11是根據(jù)本發(fā)明實(shí)施方式的用于建模和預(yù)測(cè)的示例性方法的流程圖；圖12是根據(jù)本發(fā)明實(shí)施方式的包括置信度確定模塊的內(nèi)容系統(tǒng)和通信管理系統(tǒng)的框圖；圖13是根據(jù)本發(fā)明實(shí)施方式的用于確定和存儲(chǔ)置信度的示例性方法的流程圖；圖14是根據(jù)本發(fā)明實(shí)施方式的用于遞送處理的優(yōu)化選擇的示例性方法的流程圖；圖15是根據(jù)本發(fā)明實(shí)施方式的包括計(jì)算機(jī)可讀介質(zhì)的計(jì)算機(jī)系統(tǒng)的框圖，所述計(jì)算機(jī)可讀介質(zhì)被配置用于存儲(chǔ)實(shí)施一個(gè)或多個(gè)所述方法和其他此處描述的步驟的一個(gè)或多個(gè)計(jì)算機(jī)程序。具體實(shí)施例方式為了簡(jiǎn)化和示范目的，實(shí)施方式的原理主要是通過參考其示例來描述的。在下面的描述中，記載了多個(gè)具體細(xì)節(jié)以便提供對(duì)實(shí)施方式全面的理解。然而，對(duì)本領(lǐng)域技術(shù)人員來說易見的是，這些實(shí)施方式可以在沒有這些具體細(xì)節(jié)的情況下實(shí)現(xiàn)。在某些情況下，沒有對(duì)公知的方法和結(jié)構(gòu)進(jìn)行描述，以避免不必要地模糊了實(shí)施方式。概述根據(jù)一種實(shí)施方式，一種用于實(shí)驗(yàn)的系統(tǒng)，包括通信管理系統(tǒng)和內(nèi)容系統(tǒng)，其能夠定義與一組內(nèi)容元素的各種處理有關(guān)的實(shí)驗(yàn)，以及通過數(shù)據(jù)網(wǎng)絡(luò)來管理所述實(shí)驗(yàn)。處理(treatment)是一組內(nèi)容元素。內(nèi)容元素(也稱為基本組成部分)的示例包括文本文件、圖像文件、音頻文件、視頻文件等等。這些基本組成部分可以按照多種不同的方式或者結(jié)構(gòu)來結(jié)合或/和格式化，以創(chuàng)建要遞送給實(shí)驗(yàn)的控制群組的處理。內(nèi)容元素的每個(gè)獨(dú)立的結(jié)合和/或格式化可以構(gòu)成處理。在一個(gè)示例中，處理可以是給定時(shí)刻的web頁面的特定實(shí)現(xiàn)。更具體地，在給定時(shí)刻，所述網(wǎng)頁處理可以包含位于屏幕上特定位置的特定文本、圖標(biāo)、圖像和/或視頻，特定的視覺背景陰影或顏色，分割屏幕的特定邊界、特定音頻(音樂或語音)等等。該實(shí)驗(yàn)系統(tǒng)被配置用于提供對(duì)處理的系統(tǒng)化實(shí)驗(yàn)。執(zhí)行所述實(shí)驗(yàn)以確定顯示內(nèi)容元素的最優(yōu)形式，以滿足一個(gè)或多個(gè)目標(biāo)。在一個(gè)示例中，所述內(nèi)容元素是將要呈現(xiàn)在互聯(lián)網(wǎng)的web頁面上的廣告，而目標(biāo)是最大化點(diǎn)擊該廣告來獲取做廣告的產(chǎn)品或服務(wù)的更多有關(guān)信息的用戶的數(shù)量。該實(shí)驗(yàn)系統(tǒng)創(chuàng)建代表不同廣告形式的處理，每個(gè)形式具有至少一個(gè)不同屬性或內(nèi)容元素(例如網(wǎng)頁上的橫幅廣告、文本廣告、移動(dòng)彈出窗口、顏色的變化，等等)。對(duì)于該實(shí)驗(yàn)，所述系統(tǒng)將所述處理遞送至一個(gè)或多個(gè)控制群組。按照所遞送的處理向控制群組進(jìn)行呈現(xiàn)，并且捕獲控制群組的行為。所捕獲的行為可以包括所述控制群組與所遞送處理的交互。例如，最優(yōu)處理例如是基于所述控制群組的行為來標(biāo)識(shí)的。所述最優(yōu)處理是被估計(jì)為具有實(shí)現(xiàn)預(yù)期目標(biāo)的最大能力的處理。根據(jù)一個(gè)實(shí)施方式，在實(shí)驗(yàn)期間，對(duì)處理的測(cè)試進(jìn)行優(yōu)化，以最小化被確定為次優(yōu)的所遞送處理的比例。次優(yōu)處理被估計(jì)為相對(duì)于其他處理而言具有實(shí)現(xiàn)預(yù)期目標(biāo)的較低能力。所述系統(tǒng)允許向控制群組遞送處理的頻率根據(jù)預(yù)測(cè)模型而改變。遞送的處理根據(jù)使用所述模型而決定的置信度而變化。根據(jù)所確定的所遞送處理的置信度來應(yīng)用權(quán)重因子，所述權(quán)重因子用于選擇要遞送的新處理，以及確定將處理遞送給控制群組的新比例。對(duì)處理的這種優(yōu)化最終能縮短標(biāo)識(shí)基于一個(gè)或多個(gè)目標(biāo)而被確定為最優(yōu)的內(nèi)容元素組合所花費(fèi)的時(shí)間，同時(shí)還將最小化整個(gè)實(shí)驗(yàn)過程中次優(yōu)內(nèi)容的遞送，由此縮短實(shí)驗(yàn)時(shí)間。這種時(shí)間上的縮短可以轉(zhuǎn)化為重要的成本節(jié)省以及縮短遞送生產(chǎn)環(huán)境中內(nèi)容的市場(chǎng)投放時(shí)間。在此通過弓|用并入名稱為"AutomatedOn-LineExperimentationtoMeasureUsersBehaviortoTreatmentforaSetofContentElements，，的美國專利6，934，748號(hào)的全部?jī)?nèi)容，其被轉(zhuǎn)讓給本申請(qǐng)的受讓人。根據(jù)此處描述的本發(fā)明的實(shí)施方式的實(shí)驗(yàn)的所述系統(tǒng)和方法可以在美國專利第6，934，748號(hào)所描述的系統(tǒng)中使用。用于內(nèi)容管理的環(huán)境圖1示出了根據(jù)本發(fā)明實(shí)施方式的內(nèi)容系統(tǒng)10和通信管理系統(tǒng)12可以運(yùn)行的環(huán)境。通常，如這里較為詳細(xì)描述的，內(nèi)容系統(tǒng)10和通信管理系統(tǒng)12進(jìn)行協(xié)作，以管理內(nèi)容15向一個(gè)或多個(gè)用戶16的遞送。內(nèi)容系統(tǒng)10和通信管理系統(tǒng)12的每個(gè)都可以包括用于執(zhí)行此處描述的功能的軟件和/或硬件的適當(dāng)組合。可以想到，可以由為用戶16提供內(nèi)容15的提供商14對(duì)系統(tǒng)10和12進(jìn)行維護(hù)、管理和/或操作。該內(nèi)容提供商14可以是操作或維護(hù)入口或任何其他網(wǎng)站的實(shí)體，內(nèi)容可以通過所述入口或任何其他網(wǎng)站來進(jìn)行遞送。例如，內(nèi)容提供商14可以是在線商品零售商、在線新聞服務(wù)，等等。每個(gè)用戶16可以“訪問”由內(nèi)容提供商14操作的網(wǎng)站，例如，查看信息，以及有可能完成商業(yè)交易。用戶16能包括個(gè)人、組織或其他代理，其可以是人類或虛擬的。內(nèi)容系統(tǒng)10充當(dāng)內(nèi)容15的存儲(chǔ)庫。內(nèi)容系統(tǒng)10可以至少部分地利用適于存儲(chǔ)內(nèi)容的任何系統(tǒng)來實(shí)現(xiàn)。例如，內(nèi)容系統(tǒng)10可以包括來自Allaire公司的SPECTRA服務(wù)器系統(tǒng)或來自Vignette公司的STORY存儲(chǔ)服務(wù)器系統(tǒng)。通常，內(nèi)容15可以是可呈現(xiàn)(視覺上、聽覺上或其它)給用戶16的任何數(shù)據(jù)或信息。因此，內(nèi)容15能包括書面文本、圖像、圖形、動(dòng)畫、視頻、音樂、聲音等或其任意組合。例如，如果內(nèi)容提供商14是在線商品零售商，則內(nèi)容15可以包括由所述零售商提供的不同貨物的圖像、文本描述以及每個(gè)貨物的報(bào)價(jià)、關(guān)于在線訂單的詳細(xì)信息、吸引用戶注意力的圖形或動(dòng)畫，等等。類似地，如果內(nèi)容提供商14是web入口，則內(nèi)容15可以包括用于各種感興趣區(qū)域的文本列表或目錄、圖標(biāo)(交互式的或非交互式的)、產(chǎn)品圖像、到其他網(wǎng)站的超鏈接、橫幅廣告等等。如果內(nèi)容提供商14是在線新聞服務(wù)，則內(nèi)容15可以包括用于各種新聞報(bào)道的文本信息、伴隨至少某些報(bào)道的照片和/或說明、最新報(bào)道的視頻和/或音頻剪輯、不同地區(qū)的天氣預(yù)報(bào)的列表、這些地區(qū)的地圖，等等?？梢猿鲇诟鞣N目的或者應(yīng)用而提供來自系統(tǒng)10的內(nèi)容15，例如產(chǎn)品開發(fā)、公共關(guān)系、客戶服務(wù)、廣告、電子商務(wù)，等等。可以將能夠按照數(shù)字格式存儲(chǔ)的內(nèi)容15分解或還原為一組基本組成部分。例如，基本組成部分可以是文本文件、圖像文件、音頻文件、視頻文件，等等。這些基本組成部分可以按照多種不同的方式或者結(jié)構(gòu)來組合和/或格式化，以便將內(nèi)容15呈現(xiàn)給用戶16。內(nèi)容15的每個(gè)組合和/或格式構(gòu)成內(nèi)容結(jié)構(gòu)或處理。例如，內(nèi)容結(jié)構(gòu)可以是在給定時(shí)刻web頁面的特定實(shí)現(xiàn)。更具體地，在給定的時(shí)刻，web頁面可以包含位于屏幕上特定位置處的特定文本、圖標(biāo)、圖像和/或視頻，特定的可視背景陰影或顏色，分割屏幕的特定邊界，特定音頻(音樂或語音)，等等。對(duì)內(nèi)容15進(jìn)行結(jié)構(gòu)化的方式可能影響用戶對(duì)內(nèi)容的行為或反應(yīng)。例如，用戶16可能對(duì)具有中性背景顏色(例如灰色)的網(wǎng)頁作出積極反應(yīng)，而對(duì)具有較重背景顏色(例如紫紅色)的網(wǎng)頁作出消極相應(yīng)。用戶的反應(yīng)可以與特定的預(yù)期目標(biāo)或結(jié)果相聯(lián)系。通常，結(jié)果可能與內(nèi)容提供商14想要影響或管理的、用戶在網(wǎng)站上的任何行為有關(guān)。該行為可以包括用戶對(duì)網(wǎng)站的“點(diǎn)通”(click-through)、用戶請(qǐng)求信息耗費(fèi)的時(shí)間、用戶所查看網(wǎng)頁的數(shù)量和屬性、用戶在網(wǎng)站上耗費(fèi)的時(shí)間長度、重復(fù)會(huì)話、網(wǎng)站提供的商品/或服務(wù)的購買、信息提交、注冊(cè)、登入、個(gè)性化、閱讀或其他有關(guān)行為。例如，對(duì)在線商品零售商而言，一個(gè)期待的目標(biāo)/結(jié)果可以是交易或銷售的完成。對(duì)網(wǎng)頁入口而言，期待的目標(biāo)/結(jié)果可以是增加“吸引程度”(也即，用戶16花費(fèi)在網(wǎng)站上的時(shí)間量，以及重復(fù)訪問該網(wǎng)站的數(shù)量)。這樣，結(jié)構(gòu)化的內(nèi)容在其與預(yù)期目標(biāo)/結(jié)果的關(guān)系這一上下文中可以是有意義的。因?yàn)楦鞣N目標(biāo)/結(jié)果可能對(duì)于內(nèi)容提供商14而言是重要的，因此提供通信管理系統(tǒng)12以管理最終被遞送或呈現(xiàn)給用戶16的內(nèi)容15(及其結(jié)構(gòu))，從而以實(shí)現(xiàn)期待的目標(biāo)/結(jié)果的方式來影響用戶16的行為。通信管理系統(tǒng)12補(bǔ)充在此描述的現(xiàn)有內(nèi)容系統(tǒng)10的功能。在一個(gè)實(shí)施方式中，通信管理系統(tǒng)12可以實(shí)現(xiàn)為基于軟件或者軟件驅(qū)動(dòng)的產(chǎn)品，該產(chǎn)品能夠與內(nèi)容提供商14的現(xiàn)有內(nèi)容系統(tǒng)捆綁或集成。通信管理系統(tǒng)12通過以下方式來增強(qiáng)結(jié)構(gòu)化內(nèi)容的任何應(yīng)用標(biāo)識(shí)內(nèi)容15和預(yù)期目標(biāo)之間的聯(lián)接或連接，以及提供將來應(yīng)當(dāng)把什么結(jié)構(gòu)化內(nèi)容遞送給用戶16的有關(guān)反饋。為此，通信管理系統(tǒng)12可以與內(nèi)容系統(tǒng)10協(xié)作，以便將任何給定內(nèi)容15分解為其基本組成部分；創(chuàng)建一個(gè)或多個(gè)內(nèi)容結(jié)構(gòu)或處理以便將所述內(nèi)容呈現(xiàn)給用戶；設(shè)計(jì)實(shí)驗(yàn)來測(cè)試用戶對(duì)每個(gè)處理的行為或反應(yīng)；通過適當(dāng)?shù)臄?shù)據(jù)網(wǎng)絡(luò)將所述處理遞送至受控實(shí)驗(yàn)中的一個(gè)或多個(gè)用戶；使用收集的信息來生成預(yù)測(cè)模型；以及使用所述預(yù)測(cè)模型來修改或定制內(nèi)容15的結(jié)構(gòu)。為了優(yōu)化結(jié)構(gòu)化內(nèi)容的效用，內(nèi)容提供商14確定其針對(duì)與用戶16的行為有關(guān)的關(guān)聯(lián)入口或網(wǎng)站的目標(biāo)，并且決定哪些通信元素是相關(guān)的或會(huì)潛在地影響該行為。例如，內(nèi)容提供商14可能希望優(yōu)化其通信，以實(shí)現(xiàn)相關(guān)內(nèi)容15與用戶偏好之間較好的匹配，從而提高用戶16平時(shí)對(duì)所述入口或網(wǎng)站的回訪。內(nèi)容20系統(tǒng)10和通信管理系統(tǒng)12促進(jìn)所述相關(guān)基本組成部分的標(biāo)識(shí)和說明、用于內(nèi)容的各種備選結(jié)構(gòu)(例如，消息和通信手段)的說明，并且為這些結(jié)構(gòu)分配控制變量和數(shù)值，以便實(shí)現(xiàn)。這樣，內(nèi)容系統(tǒng)10和通信管理系統(tǒng)12可以實(shí)現(xiàn)用于交互式通信的設(shè)計(jì)和開發(fā)的系統(tǒng)化方法，從而優(yōu)化、增強(qiáng)或以其他方式改進(jìn)例如產(chǎn)品開發(fā)、公共關(guān)系、客戶服務(wù)、廣告效用、電子商務(wù)或者能夠得益于內(nèi)容15的實(shí)時(shí)定制的其他任何應(yīng)用。因此，內(nèi)容系統(tǒng)10和通信管理系統(tǒng)12可以共同實(shí)現(xiàn)用于管理內(nèi)容15向用戶16的遞送的系統(tǒng)。內(nèi)容系統(tǒng)10和通信管理系統(tǒng)12可以與適當(dāng)?shù)臄?shù)據(jù)網(wǎng)絡(luò)或數(shù)字系統(tǒng)(也即，由數(shù)字服務(wù)增強(qiáng)的系統(tǒng))進(jìn)行集成或連接。在此使用的術(shù)語“連接”、“耦合”或其任何變化表示兩個(gè)或更多元件之間的直接或間接的任何連接或耦合；這種連接或耦合可以是物理的或邏輯的。通常，數(shù)據(jù)網(wǎng)絡(luò)或數(shù)字系統(tǒng)能夠提供或支持交互式信道，用戶16通過該交互式信道與內(nèi)容系統(tǒng)10和通信管理系統(tǒng)12交互。這種數(shù)據(jù)網(wǎng)絡(luò)或數(shù)字系統(tǒng)的示例包括電話呼叫中心、蜂窩網(wǎng)絡(luò)、尋呼網(wǎng)絡(luò)、自動(dòng)柜員機(jī)(ATM)網(wǎng)絡(luò)、短消息系統(tǒng)、局域網(wǎng)(LANs)、廣域網(wǎng)MAW、內(nèi)聯(lián)網(wǎng)、外部網(wǎng)、交互式電視服務(wù)或如圖描述的互聯(lián)網(wǎng)18?；ヂ?lián)網(wǎng)18是位于全球范圍內(nèi)的、按照傳輸控制協(xié)議/互聯(lián)網(wǎng)(TCP/IP)、網(wǎng)間分組交換/順序分組交換(IPX/SPX)、AppleTalk或其他適當(dāng)?shù)膮f(xié)議交換信息的計(jì)算機(jī)“客戶端”和“服務(wù)器”的互聯(lián)。互聯(lián)網(wǎng)18支持稱為“萬維網(wǎng)”分布式應(yīng)用。Web服務(wù)器維護(hù)網(wǎng)站，每個(gè)網(wǎng)站包括一個(gè)或多個(gè)web頁面，通過這些web頁面可以瀏覽信息。每個(gè)網(wǎng)站或者web頁面可以由相應(yīng)的統(tǒng)一資源定位器(URL)來標(biāo)識(shí)，并且可以由按照任何適當(dāng)語言進(jìn)行格式化的文件來支持，所示適當(dāng)語言例如超文本標(biāo)記語言(HTML)、可擴(kuò)展標(biāo)記語言(XML)或標(biāo)準(zhǔn)通用標(biāo)記語言(SGML)。客戶端可以本地執(zhí)行“web瀏覽器”程序。Web瀏覽器是允許與萬維網(wǎng)交換信息的計(jì)算機(jī)程序?？梢垣@得多種web瀏覽器中的任何一種，例如，來自網(wǎng)景通信(NetscapeCommunications)公司的NETSCAPENAVIGATOR，來自微軟公司的INTERNETEXPLORER，以及允許對(duì)互聯(lián)網(wǎng)18進(jìn)行方便的訪問和導(dǎo)航的其他瀏覽器?？梢允褂眠m當(dāng)?shù)膮f(xié)議將信息從web服務(wù)器傳送至客戶端，這些協(xié)議例如超文本傳輸協(xié)議或文件傳輸協(xié)議。互聯(lián)網(wǎng)18支持用戶16與內(nèi)容系統(tǒng)10和通信管理系統(tǒng)12之間的交互式通信。在一個(gè)實(shí)施方式中，內(nèi)容系統(tǒng)10和通信管理系統(tǒng)12允許內(nèi)容提供商14通過諸如互聯(lián)網(wǎng)18的數(shù)據(jù)網(wǎng)絡(luò)來自動(dòng)地定制遞送給用戶16的內(nèi)容15。由于互聯(lián)網(wǎng)18的廣泛應(yīng)用，內(nèi)容系統(tǒng)10和通信管理系統(tǒng)12具有聯(lián)系數(shù)量相對(duì)較大的用戶16的能力，從而允許對(duì)用戶的重要?jiǎng)澐忠约霸诖蠓秶鷥?nèi)進(jìn)行的實(shí)驗(yàn)。本說明書的其余部分主要關(guān)注于互聯(lián)網(wǎng)18這一上下文中的方法和系統(tǒng)，但是應(yīng)當(dāng)理解，本發(fā)明廣泛地適用于具有聯(lián)系或連接數(shù)量相對(duì)較多的用戶16以提供廣泛的用戶范圍的任何數(shù)據(jù)網(wǎng)絡(luò)。例如，該數(shù)據(jù)網(wǎng)絡(luò)可以是WebTV、交互式TV、WAP+移動(dòng)服務(wù)，或其他任何交互式信道。內(nèi)容系統(tǒng)10和通信管理系統(tǒng)12能夠以下方式來提供完全自動(dòng)化的解決方案動(dòng)態(tài)地劃分用戶16、自動(dòng)地生成30個(gè)性化規(guī)則、以及遞送網(wǎng)頁、產(chǎn)品/服務(wù)的訂單或其他交互式通信來實(shí)現(xiàn)預(yù)期目標(biāo)。換句話說，內(nèi)容系統(tǒng)10和通信管理系統(tǒng)12能夠確定用戶16關(guān)注什么，并繼而使用該信息來優(yōu)化交互通信，以實(shí)現(xiàn)特定結(jié)果/目標(biāo)，例如增加銷售和收益、改進(jìn)電子營銷效力、以及激勵(lì)特定的商業(yè)智能化應(yīng)用。內(nèi)容系統(tǒng)和通信管理系統(tǒng)圖2是根據(jù)本發(fā)明實(shí)施方式的內(nèi)容系統(tǒng)10和通信管理系統(tǒng)12的框圖。內(nèi)容系統(tǒng)10和通信管理系統(tǒng)12進(jìn)行協(xié)作，以增強(qiáng)結(jié)構(gòu)化內(nèi)容的任何應(yīng)用。如圖所示，內(nèi)容系統(tǒng)10包括分配器模塊22、內(nèi)容存儲(chǔ)24以及用戶接口26。通信管理系統(tǒng)12包括實(shí)驗(yàn)引擎30、模型引擎32、預(yù)測(cè)引擎34、觀測(cè)模塊36、內(nèi)容提供商接口38以及腳本/調(diào)度引擎39。在內(nèi)容系統(tǒng)10中，內(nèi)容存儲(chǔ)24的作用是存儲(chǔ)內(nèi)容15，該內(nèi)容15可以通過例如互聯(lián)網(wǎng)18而遞送和呈現(xiàn)給各個(gè)用戶16。該內(nèi)容15例如可以包括供應(yīng)銷售的不同貨品或服務(wù)的圖像和/或描述、每個(gè)貨品或服務(wù)的報(bào)價(jià)、關(guān)于在線訂單的詳細(xì)信息、不同感興趣領(lǐng)域的列表、到一個(gè)或多個(gè)網(wǎng)站的鏈接、橫幅廣告等等。該內(nèi)容15的全部或部分可以按照數(shù)字形式來加以維護(hù)。內(nèi)容存儲(chǔ)24可以通過任意一個(gè)或多個(gè)適當(dāng)?shù)拇鎯?chǔ)介質(zhì)來實(shí)現(xiàn)，例如隨機(jī)存儲(chǔ)器(RAM)、盤式存儲(chǔ)設(shè)備或其他適當(dāng)?shù)囊资院?非易失性存儲(chǔ)介質(zhì)。在一個(gè)實(shí)施方式中，內(nèi)容存儲(chǔ)24可以包括關(guān)系型數(shù)據(jù)庫。用戶接口26與內(nèi)容存儲(chǔ)24相連接。通常，用戶接口26的作用是提供或支持在內(nèi)容系統(tǒng)10與一個(gè)或多個(gè)用戶16之間的接口，其中每個(gè)用戶16使用適當(dāng)?shù)目蛻舳擞?jì)算機(jī)連接至互聯(lián)網(wǎng)18。用戶接口26可以從用戶16接收針對(duì)內(nèi)容15的請(qǐng)求。示例性請(qǐng)求可以是針對(duì)顯示特定商品的web頁面的請(qǐng)求，并且可以指定所述web頁面的特定標(biāo)識(shí)符，例如統(tǒng)一資源定位器(URL)。而且，所述web頁面請(qǐng)求可以與點(diǎn)擊web頁面上的特定超鏈接的用戶行為相關(guān)。響應(yīng)于此類請(qǐng)求，用戶接口26遞送或呈現(xiàn)內(nèi)容15。用戶接口26的部件的互連性可以由適當(dāng)?shù)耐ㄐ偶€器、路由器或通過其他方式來支持，如可以在負(fù)責(zé)內(nèi)容遞送的數(shù)據(jù)網(wǎng)絡(luò)(例如互聯(lián)網(wǎng)18)的基礎(chǔ)架構(gòu)中使用的方式。分配器模塊22與內(nèi)容存儲(chǔ)24相連接，其可以包括一個(gè)或多個(gè)程序，當(dāng)執(zhí)行該程序時(shí)，執(zhí)行此處描述的功能。通常，分配器模塊22的作用是將內(nèi)容15分配給(也即，導(dǎo)致其被遞送給)各用戶16。例如，分配可以基于以下內(nèi)容來進(jìn)行關(guān)于用戶16的可用信息；以及來自內(nèi)容系統(tǒng)10或通信管理系統(tǒng)12內(nèi)其他元件或模塊的命令，其可以根據(jù)預(yù)測(cè)和模型將任何給定的用戶16置于實(shí)驗(yàn)之中或者遞送內(nèi)容。這樣，分配器模塊22可以對(duì)來自用戶16的針對(duì)內(nèi)容15的請(qǐng)求進(jìn)行響應(yīng)，對(duì)于每個(gè)請(qǐng)求，分配器模塊22可以出于實(shí)驗(yàn)?zāi)繕?biāo)或是基于對(duì)將會(huì)實(shí)現(xiàn)的預(yù)期結(jié)果/目標(biāo)的預(yù)測(cè)，來分配內(nèi)容結(jié)構(gòu)或者處理。為此，分配器模塊22可以應(yīng)用特定于情況的規(guī)則，例如實(shí)驗(yàn)規(guī)則和預(yù)測(cè)規(guī)則(在此描述)。而且，分配器模塊22可以在網(wǎng)站或入口處對(duì)所有業(yè)務(wù)流量進(jìn)行采樣，例如以確定將指派哪些用戶16接收受控通信(也即，特定內(nèi)容)。因此，分配器模塊22以逐個(gè)用戶為基礎(chǔ)向內(nèi)容系統(tǒng)19提供了顯示什么內(nèi)容15的指導(dǎo)。分配器模塊22耦合至通信管理系統(tǒng)12中的觀測(cè)模塊36，并且可以代表內(nèi)容系統(tǒng)10將觀測(cè)數(shù)據(jù)存儲(chǔ)于其中。分配器模塊22還支持或提供通信管理系統(tǒng)12和內(nèi)容系統(tǒng)10之間的接口。這樣，分配器模塊22可以包括適當(dāng)?shù)膽?yīng)用編程接口(API)，其能夠與Web服務(wù)器軟件(例如，可從NETSCAPE、APACHE、或JAVASERVLET獲得的)以及管理應(yīng)用軟件(VIGNETTE，SPECTRA，或BROADVISION)進(jìn)行交互和集成。分配器模塊22的功能可以由諸如主機(jī)、文件服務(wù)器、工作站的任何適當(dāng)?shù)奶幚砥骰蛘哌\(yùn)行適當(dāng)軟件并在任何適當(dāng)?shù)牟僮飨到y(tǒng)(諸如MS-DOS，MacINTOSHOS,WINDOWSNT,WINDOWS2000,OS/2,UNIX,XENIX,GEOS等)控制下進(jìn)行操作的任何其他適當(dāng)?shù)臄?shù)據(jù)處理工具來執(zhí)行。通信管理系統(tǒng)12與內(nèi)容系統(tǒng)10通信。參考通信管理系統(tǒng)12，實(shí)驗(yàn)引擎30耦合至內(nèi)容存儲(chǔ)24和分配器模塊22(兩者都在內(nèi)容系統(tǒng)10內(nèi))。實(shí)驗(yàn)引擎30可以接收各種實(shí)驗(yàn)和內(nèi)容15的定義。實(shí)驗(yàn)引擎30可以包括一個(gè)或多個(gè)程序，當(dāng)執(zhí)行該程序時(shí)，其執(zhí)行此處描述的功能。通常，實(shí)驗(yàn)引擎30的作用是支持一個(gè)或多個(gè)實(shí)驗(yàn)的創(chuàng)建和執(zhí)行，以測(cè)試用戶16對(duì)特定內(nèi)容15和/或?qū)?nèi)容進(jìn)行格式化(例如，處理)的特定方式的行為或反應(yīng)。對(duì)于每個(gè)實(shí)驗(yàn)，實(shí)驗(yàn)引擎30可以生成一組規(guī)則，其在所述實(shí)驗(yàn)期間指示如何分配處理。由實(shí)驗(yàn)引擎30創(chuàng)建和執(zhí)行的實(shí)驗(yàn)例如可以包括全面析因?qū)嶒?yàn)和全面析因?qū)嶒?yàn)的經(jīng)過設(shè)計(jì)片斷(也簡(jiǎn)稱為“經(jīng)過設(shè)計(jì)的實(shí)驗(yàn)”)。在全面析因?qū)嶒?yàn)中，對(duì)于給定的一組內(nèi)容元素，將會(huì)考慮內(nèi)容元素的每個(gè)可能組合。每個(gè)內(nèi)容元素均可以構(gòu)成要考慮和分析的因素。全面析因?qū)嶒?yàn)允許獨(dú)立地估計(jì)每個(gè)因素的影響。也就是說，來自全面析因?qū)嶒?yàn)的結(jié)果包括關(guān)于每個(gè)內(nèi)容元素獨(dú)立于每個(gè)其他內(nèi)容元素而具有的對(duì)觀測(cè)結(jié)果的主要影響的全部信息。全面析因?qū)嶒?yàn)還估計(jì)因素的所有可能組合之間的每個(gè)以及全部相互作用的影響。例如，考慮以下情況，存在兩類內(nèi)容元素橫幅廣告和可以顯示在所述橫幅廣告下面的文本廣告。每個(gè)內(nèi)容元素可以具有兩種變化。對(duì)于橫幅廣告來說，變化可以是靜態(tài)的和移動(dòng)的。對(duì)于消息來說，變化可以是“現(xiàn)在點(diǎn)擊這里”和“節(jié)省20%”。因此，存在四個(gè)能夠查看的可能組合(1)靜態(tài)橫幅廣告與“點(diǎn)擊”消息，⑵靜態(tài)橫幅廣告與“節(jié)省”消息，(3)移動(dòng)的橫幅廣告與“點(diǎn)擊”消息，以及⑷移動(dòng)的橫幅廣告與“節(jié)省”消息。可以觀測(cè)每個(gè)元素(即，靜態(tài)、移動(dòng)、“點(diǎn)擊”以及“節(jié)省”)的主要影響及其所有可能組合的相互作用影響。因此，可以估計(jì)所有可能影響的整個(gè)空間。因?yàn)槿嫖鲆驅(qū)嶒?yàn)考慮內(nèi)容結(jié)構(gòu)的所有可能備選，因此其支持對(duì)觀測(cè)結(jié)果的非常徹底的分析。實(shí)驗(yàn)中的變量數(shù)量線性地增加，然而，內(nèi)容元素組合的數(shù)量指數(shù)地增加。也就是說，在將另一個(gè)內(nèi)容元素或變化填加到給定實(shí)驗(yàn)時(shí)，所述實(shí)驗(yàn)的組合數(shù)量可能顯著增加。例如，對(duì)4個(gè)內(nèi)容元素而言，如果每個(gè)內(nèi)容元素具有3種變化，則81種組合是可能的。對(duì)于5個(gè)內(nèi)容元素而言，如果每個(gè)內(nèi)容元素具有4種變化，則可能的組合數(shù)量是1024。鑒于此，全面析因?qū)嶒?yàn)產(chǎn)生的組合可能多于出于合理實(shí)驗(yàn)?zāi)繕?biāo)組合，也即，以對(duì)網(wǎng)站的“命中”率為例，滿足采樣要求的時(shí)間可能長到無法接受。經(jīng)過設(shè)計(jì)的實(shí)驗(yàn)降低了實(shí)驗(yàn)所需的組合數(shù)量(相對(duì)于全面析因?qū)嶒?yàn)而言)，同時(shí)仍然允許對(duì)感興趣影響的測(cè)量和估計(jì)。經(jīng)過設(shè)計(jì)的實(shí)驗(yàn)通常在控制所有其他影響的同時(shí)，關(guān)注于特別感興趣的相對(duì)較小群組的影響。經(jīng)過設(shè)計(jì)的實(shí)驗(yàn)使用實(shí)驗(yàn)設(shè)計(jì)來控制特定事件以及發(fā)生這些事件的條件，由此允許顯式地測(cè)量和估計(jì)這些事件關(guān)于某些觀測(cè)結(jié)果的影響。換句話說，經(jīng)過設(shè)計(jì)的實(shí)驗(yàn)是一種系統(tǒng)化的方法，其改變可以控制的一個(gè)或多個(gè)變量(例如，廣告的廣告屏幕放置的背景顏色，廣告的大小)，并調(diào)查這些改變對(duì)一個(gè)或多個(gè)感興趣結(jié)果的影響。經(jīng)過設(shè)計(jì)的實(shí)驗(yàn)可以僅僅考慮變量的主要影響。因此，經(jīng)過設(shè)計(jì)的實(shí)驗(yàn)減少了實(shí)驗(yàn)中涉及到的信息(如組合的數(shù)量)，因此潛在地極大地降低了采樣要求(例如，被要求參與實(shí)驗(yàn)的用戶16的最小數(shù)量)。例如，對(duì)于有5個(gè)元素、每個(gè)元素具有4種變化的情況而言，如果假定不存在重要的相互作用影響，則實(shí)驗(yàn)引擎30可以創(chuàng)建將允許對(duì)所有主要影響(即，未包括相互作用影響的那些影響)進(jìn)行測(cè)量和估計(jì)的經(jīng)過設(shè)計(jì)的實(shí)驗(yàn)，其僅具有16種組合，而不是全面析因?qū)嶒?yàn)所需的1024種組合。實(shí)驗(yàn)引擎30可以按照多種方式來生成經(jīng)過設(shè)計(jì)的實(shí)驗(yàn)。實(shí)驗(yàn)引擎30可以包括或合并不同的查找表，例如，由美國國家標(biāo)準(zhǔn)局公布的表格。除了表之外，可以使用如下算法來生成經(jīng)過設(shè)計(jì)的實(shí)驗(yàn)，該算法在運(yùn)行時(shí)將創(chuàng)建滿足設(shè)計(jì)該算法的標(biāo)準(zhǔn)的適當(dāng)?shù)谋怼＿@些表和算法可以用來標(biāo)識(shí)對(duì)行為模型(此處描述的)的適當(dāng)約束。而且，可以通過對(duì)變量值進(jìn)行隨機(jī)選擇或是經(jīng)由全面因子空間中的編程搜索算法來創(chuàng)建經(jīng)過設(shè)計(jì)的實(shí)驗(yàn)?？梢允褂枚喾N重要的標(biāo)準(zhǔn)來描述經(jīng)過設(shè)計(jì)的實(shí)驗(yàn)。例如，設(shè)計(jì)可以通過以下方面來描述其允許的特定影響、所包括的因素?cái)?shù)量和因素級(jí)別以及每個(gè)因素中是否存在相同數(shù)量的級(jí)別、關(guān)于目標(biāo)結(jié)果而產(chǎn)生的信息量。實(shí)驗(yàn)引擎30可以使用任何或所有這些方法來找到或者產(chǎn)生用于特定應(yīng)用的最佳設(shè)計(jì)。經(jīng)過設(shè)計(jì)的實(shí)驗(yàn)允許通信管理系統(tǒng)12對(duì)驅(qū)動(dòng)用戶16選擇的某些變量進(jìn)行推理。這些經(jīng)過設(shè)計(jì)的實(shí)驗(yàn)可以實(shí)現(xiàn)或者支持隨機(jī)效用理論(RUT)的理解。隨機(jī)效用理論假定某些項(xiàng)(例如，橫幅廣告或者web頁面)對(duì)于用戶的真正價(jià)值無法被觀測(cè)到，原因在于它是用戶頭腦中的精神質(zhì)量。也就是說，并非總是能捕獲或者觀測(cè)到用戶做出特定決策的思維過程。鑒于此，經(jīng)過設(shè)計(jì)的實(shí)驗(yàn)允許通信管理系統(tǒng)12基于用戶的實(shí)際行為而非其想法或表達(dá)來進(jìn)行關(guān)于驅(qū)動(dòng)用戶16選擇的某些變量的推理。在一個(gè)實(shí)施方式中，實(shí)驗(yàn)引擎30提供用于以下項(xiàng)的功能a)考慮所有可能組合的全面析因?qū)嶒?yàn)，b)考慮最小的可能組合(“僅主要影響”)的經(jīng)過設(shè)計(jì)的實(shí)驗(yàn)，以及c)估計(jì)所有的兩變量相互作用或選定的兩變量相互作用的經(jīng)過設(shè)計(jì)的實(shí)驗(yàn)。模型引擎32與實(shí)驗(yàn)引擎30通信，并且可以從其獲得各種實(shí)驗(yàn)的定義。模型引擎32可以包括一個(gè)或多個(gè)程序，當(dāng)執(zhí)行時(shí)，所述程序執(zhí)行此處描述的功能。由每個(gè)實(shí)驗(yàn)產(chǎn)生的數(shù)據(jù)指明相對(duì)于內(nèi)容提供商14所設(shè)定目標(biāo)的結(jié)果。一旦完成所述實(shí)驗(yàn)，則可以將該數(shù)據(jù)傳送至模型引擎32，以標(biāo)識(shí)內(nèi)容元素對(duì)用戶16行為的影響程度。也就是說，模型引擎32使用在各種實(shí)驗(yàn)期間收集的結(jié)果或數(shù)據(jù)來創(chuàng)建人類決策和選擇的一個(gè)或多個(gè)行為模型。通常，模型基于對(duì)具有類似特征的用戶的過去行為進(jìn)行的觀測(cè)，來嘗試預(yù)測(cè)用戶16在未來可能做些什么。行為模型可以包括復(fù)雜、連續(xù)和離散的多元統(tǒng)計(jì)模型，其可以用來確定內(nèi)容結(jié)構(gòu)或處理的哪些方面影響實(shí)現(xiàn)特定結(jié)果的概率。潛在地，可以使用基于隨機(jī)效用理論的選擇模型的形式，來觀測(cè)和建模用戶16在交互式環(huán)境中進(jìn)行的所有動(dòng)作。也就是說，所觀測(cè)到的用戶16的行為特征可能嵌入在經(jīng)過設(shè)計(jì)的實(shí)驗(yàn)所得到的選擇模型中。所述模型可以在用戶如何響應(yīng)不同的刺激(stimuli)(例如處理)方面對(duì)用戶16的行為進(jìn)行建模。模型引擎32執(zhí)行該分析，并且建議在未來把哪些處理呈現(xiàn)給用戶16以滿足預(yù)期目標(biāo)。行為模型例如可以是用戶用來進(jìn)行特定決策的、未知的決策過程(例如，是否點(diǎn)擊特定的橫幅廣告、是否購買提供的特定產(chǎn)品等等)的統(tǒng)計(jì)抽象。因此，雖然無法觀測(cè)用戶的決策過程，但是行為模型試圖使用由計(jì)量經(jīng)濟(jì)學(xué)家和心理測(cè)量學(xué)家開發(fā)和細(xì)化的隨機(jī)實(shí)用理論3Q從統(tǒng)計(jì)上逼近這些過程。用戶選擇不可解釋的部分可以認(rèn)為該用戶與行為模型所進(jìn)行預(yù)測(cè)的背離。這就是“隨機(jī)”的，也即，存在無法解釋的用戶行為的元素。因此，模型引擎32所生成的模型可以對(duì)從一些樣本或片斷中隨機(jī)地選擇的用戶16在面對(duì)多種可能動(dòng)作時(shí)將會(huì)執(zhí)行特定動(dòng)作或動(dòng)作組合的概率進(jìn)行建模和預(yù)測(cè)。這樣，行為模型可以考慮用戶選擇。這些選擇模型并不預(yù)測(cè)用戶將要做出的準(zhǔn)確選擇，而是預(yù)測(cè)任何給定用戶將選擇特定動(dòng)作的概率。特別地，選擇模型描述用戶的選擇或決定(即，他們的行為)的概率如何根據(jù)在相應(yīng)實(shí)驗(yàn)中操縱的一個(gè)或多個(gè)元素或根據(jù)用戶的簡(jiǎn)檔而改變。因此，選擇模型考慮了描述選擇選項(xiàng)的變量(例如，價(jià)格，折扣水平，網(wǎng)站上提供的產(chǎn)品顏色)以及描述用戶16的變量(例如，時(shí)間，日期，互聯(lián)網(wǎng)服務(wù)提供商(ISP)，應(yīng)用的操作系統(tǒng))。包括描述用戶16的變量允許使用選擇模型針對(duì)特定的用戶簡(jiǎn)檔來優(yōu)化內(nèi)容、提供等等。例如，一旦模型生成器32生成了預(yù)測(cè)用戶16的選擇概率如何隨背景顏色和頁面放置以及時(shí)間、日期和ISP而變化的模型，則預(yù)測(cè)引擎34和模型引擎32可以預(yù)測(cè)應(yīng)當(dāng)向給定的用戶提供或者顯示哪種顏色和放置位置，以優(yōu)化目標(biāo)(例如，最大化點(diǎn)擊率)。因此，模型可以用來確定什么樣的內(nèi)容15的集合最適于實(shí)現(xiàn)預(yù)期結(jié)果。在選擇模型的一個(gè)實(shí)例中，用戶決策過程中不可解釋的部分按照Gumbel分布來分布。每個(gè)選擇與該分布的背離共和為零，并且每個(gè)背離是獨(dú)立的并且具有同樣的方差。這產(chǎn)生稱為多項(xiàng)羅吉斯(MNL)模型的模型。對(duì)于具有多個(gè)選擇的情形，MNL模型可以表示為P(iIC)Xexp(Vi)/Σ」θχρ(Vj)，對(duì)于C中提供的所有j。在上面的公式中，Vi和Vj是第i和第j個(gè)選擇選項(xiàng)(動(dòng)作，選擇)的值，exp是指數(shù)運(yùn)算符(即，eV)，而C是一組可能的動(dòng)作或選擇。在MNL模型的應(yīng)用中，V’s被作為感興趣變量的線性參數(shù)函數(shù)來估計(jì)。也就是說，V’s表示為某些預(yù)測(cè)器變量(例如廣告的顏色，廣告的放置，所觀測(cè)行為的時(shí)間，用戶的ISP，廣告顏色和ISP的相互作用)的類多元回歸函數(shù)。針對(duì)來自作為實(shí)驗(yàn)結(jié)果而獲得的數(shù)據(jù)的每個(gè)變量估計(jì)參數(shù)。繼而在MNL模型中使用該參數(shù)，以預(yù)測(cè)特定的用戶簡(jiǎn)檔選擇特定的選擇選項(xiàng)(動(dòng)作)的概率。備選地，模型的結(jié)果用來確定向具有特定簡(jiǎn)檔的用戶顯示什么樣的特定變量組合(例如處理)，例如，應(yīng)當(dāng)向以AOL作為ISP并且在周二早晨2:00am和3:00am之間與網(wǎng)站交互的用戶顯示廣告顏色和放置的什么組合。模型引擎32可以實(shí)現(xiàn)用于選擇建模、貝葉斯建模、或如所示的用戶16(例如，網(wǎng)站的訪問者)的選擇的其他有用建模的技術(shù)，所述其他有用建模例如其點(diǎn)擊模式，對(duì)問題的響應(yīng)，會(huì)話時(shí)間，購買，注冊(cè)，回訪，選項(xiàng)選擇等等。在一個(gè)實(shí)施方式中，所述建?？梢詫?shí)現(xiàn)貝葉斯馬爾科夫鏈蒙特卡洛(BayesianMarkovChainMonteCarlo)估計(jì)過程的技術(shù)。模型引擎32可以使用稱為“模型指令”的結(jié)構(gòu)，其允許模型引擎從觀測(cè)模塊36提取建模所需的實(shí)驗(yàn)數(shù)據(jù)的該部分。預(yù)測(cè)引擎34與建模引擎32和分配器模塊22通信。預(yù)測(cè)引擎34可以包括一個(gè)或多個(gè)程序，當(dāng)執(zhí)行該程序時(shí)，其執(zhí)行此處描述的功能。根據(jù)實(shí)驗(yàn)和建模，預(yù)測(cè)引擎34的作用是生成或創(chuàng)建一個(gè)或多個(gè)預(yù)測(cè)。預(yù)測(cè)可以是對(duì)以下模型的簡(jiǎn)單描述，該模型用來以最優(yōu)有效的方式將內(nèi)容15遞送給用戶16，以實(shí)現(xiàn)一個(gè)或多個(gè)預(yù)期結(jié)果/目標(biāo)。例如，對(duì)特定的網(wǎng)站，預(yù)測(cè)可以預(yù)測(cè)具有某些特征的用戶16將點(diǎn)通關(guān)鍵web頁面，購買網(wǎng)站上的商品，在晚上9點(diǎn)和午夜之間進(jìn)行訪問，或者感興趣的任何其他策略性目標(biāo)。在一個(gè)實(shí)現(xiàn)中，預(yù)測(cè)引擎34可以根據(jù)模型來標(biāo)識(shí)以下內(nèi)容元素集合，該內(nèi)容元素集合被預(yù)測(cè)為最有可能致使訪問網(wǎng)站的任何給定用戶與模型目標(biāo)相一致地(即，與內(nèi)容提供商14的特定目的或目標(biāo)一致)操作。在另一個(gè)實(shí)現(xiàn)中，預(yù)測(cè)引擎34可以允許內(nèi)容提供商14進(jìn)行這種標(biāo)識(shí)。預(yù)測(cè)引擎34可以生成預(yù)測(cè)協(xié)變量65，其可以在響應(yīng)于針對(duì)內(nèi)容15的請(qǐng)求而將內(nèi)容15分配給用戶16時(shí)使用。也就是說，預(yù)測(cè)引擎34可以生成以針對(duì)特定類型的用戶16的特定內(nèi)容為目標(biāo)的預(yù)測(cè)規(guī)則，由此提供內(nèi)容15遞送的個(gè)性化。預(yù)測(cè)規(guī)則可以是一組規(guī)則，其將不同類型或類別的用戶16匹配至特定內(nèi)容15。因此，預(yù)測(cè)引擎34將模型(其提供所觀測(cè)行為的摘要5描述)轉(zhuǎn)化為試圖優(yōu)化預(yù)期行為的簡(jiǎn)單規(guī)則集。預(yù)測(cè)規(guī)則被轉(zhuǎn)發(fā)至分配器模塊22，以便應(yīng)用于內(nèi)容15向用戶16的遞送。實(shí)驗(yàn)引擎30、模型引擎32以及預(yù)測(cè)引擎34中每個(gè)的功能可以通過例如主機(jī)、文件服務(wù)器、工作站的任何適當(dāng)處理器或者運(yùn)行適當(dāng)軟件并在任何適當(dāng)操作系統(tǒng)(如MS-DOS，MacINTOSHOS,WINDOWSNT,WINDOWS2000，OS/2,UNIX,XENIX,GEOS等等)控制下運(yùn)行的其他適當(dāng)數(shù)據(jù)處理設(shè)備來執(zhí)行。觀測(cè)模塊36與分配器模塊22(在內(nèi)容系統(tǒng)10中)、實(shí)驗(yàn)引擎30、以及模型引擎32通信。通常，觀測(cè)模塊36的作用是維護(hù)或存儲(chǔ)觀測(cè)數(shù)據(jù)。觀測(cè)數(shù)據(jù)可以是與所觀測(cè)到的訪問內(nèi)容提供商14網(wǎng)站的用戶16的行為有關(guān)的信息或數(shù)據(jù)?？梢葬槍?duì)通信管理系統(tǒng)12所管理的每個(gè)實(shí)驗(yàn)來收集觀測(cè)數(shù)據(jù)，并且因此，觀測(cè)數(shù)據(jù)可以包括針對(duì)實(shí)驗(yàn)條件和觀測(cè)結(jié)果的信息。而且，存儲(chǔ)在觀測(cè)模塊36中的觀測(cè)數(shù)據(jù)可以包括用于多個(gè)變量的數(shù)據(jù)，其中變量例如實(shí)驗(yàn)變量、協(xié)變量、以及因變量。實(shí)驗(yàn)變量可以涉及或表示內(nèi)容本身。例如，實(shí)驗(yàn)變量可以涉及或指定用于實(shí)驗(yàn)或用于實(shí)驗(yàn)時(shí)段的內(nèi)容處理。實(shí)驗(yàn)變量可以被控制，并且可以認(rèn)為是自變量。因變量涉及或表示結(jié)果。例如，因變量可以涉及在處理分配之前或者之后觀測(cè)到的用戶行為。因變量通常將是待優(yōu)化的目標(biāo)函數(shù)的組成部分。作為示范性示例，因變量可以涉及處理的分配以及此類分配的成功或失敗。如果用戶16以預(yù)期方式對(duì)處理做出反應(yīng)，則認(rèn)為處理分配的實(shí)例為“成功”；如果用戶16未以預(yù)期方式對(duì)所述處理做出反應(yīng)，則認(rèn)為處理分配的實(shí)例為“失敗”。協(xié)變量是涉及或表示用戶16的變量。例如，協(xié)變量可以涉及最終用戶的特征(例如，特定的計(jì)算機(jī)和web瀏覽器)。此外，協(xié)變量可以涉及使用特征(點(diǎn)擊的按鈕、選擇的導(dǎo)航選項(xiàng)、提交的信息、已進(jìn)行的購買等等)。觀測(cè)數(shù)據(jù)還可以包括來自網(wǎng)站的數(shù)據(jù)日志或客戶數(shù)據(jù)庫的可用信息。利用這些數(shù)據(jù)和信息，通信管理系統(tǒng)12可以將用戶16劃分為離散的群組或指定用戶16的分布，其中每個(gè)群組或分布由行為結(jié)果的特定集合來表征。觀測(cè)模塊36可以通過任何一個(gè)或多個(gè)適當(dāng)?shù)拇鎯?chǔ)介質(zhì)來實(shí)現(xiàn)，例如隨機(jī)訪問存儲(chǔ)(RAM)磁盤存儲(chǔ)、或其他適當(dāng)?shù)囊资院?或非易失性存儲(chǔ)介質(zhì)。在一個(gè)實(shí)施方式中，觀測(cè)模塊36可以包括關(guān)系型數(shù)據(jù)庫。內(nèi)容提供商接口38可以與內(nèi)容存儲(chǔ)24(在內(nèi)容系統(tǒng)10中)、實(shí)驗(yàn)引擎30、以及觀測(cè)模塊36通信。內(nèi)容提供商接口38接收模塊結(jié)果并且啟動(dòng)分析、評(píng)估、選擇、標(biāo)度以及基本報(bào)告。內(nèi)容提供商接口38通常支持通信管理系統(tǒng)12和內(nèi)容提供商14處的人類用戶(例如，信息服務(wù)管理者)之間的接口。內(nèi)容提供商接口38允許所述管理者用戶提問、記錄并測(cè)試情景、以及生成或者獲取報(bào)告以量化結(jié)果。例如，內(nèi)容提供商接口38允許10管理者用戶協(xié)助建立和管理由通信管理系統(tǒng)12執(zhí)行的實(shí)驗(yàn)、建模和預(yù)測(cè)的過程。內(nèi)容提供商接口38可以接收用于輸入內(nèi)容存儲(chǔ)24的新內(nèi)容15以及用于轉(zhuǎn)發(fā)至實(shí)驗(yàn)引擎30的定義。在一個(gè)實(shí)施方式中，內(nèi)容提供商接口38可以用來定義針對(duì)各種實(shí)驗(yàn)的條件和空間、將要操控的屬性和等級(jí)、所跟蹤的個(gè)體數(shù)據(jù)，以及用來啟動(dòng)各種實(shí)驗(yàn)設(shè)計(jì)的生成和創(chuàng)建。而且，內(nèi)容提供商接口38可以允許所述管理者用戶直接根據(jù)觀測(cè)模塊36以粗略的形式、或是根據(jù)模型引擎32以模型的形式來查看和分析數(shù)據(jù)。內(nèi)容提供商38的功能可以由一個(gè)或多個(gè)適當(dāng)?shù)妮斎朐O(shè)備(例如鍵盤、觸摸屏、輸入端口、指點(diǎn)設(shè)備(例如鼠標(biāo))、麥克風(fēng)和/或能夠接受信息的其他設(shè)備)以及一個(gè)或多個(gè)適當(dāng)?shù)妮敵鲈O(shè)備(例如計(jì)算機(jī)顯示器、輸出端口、揚(yáng)聲器或用于傳送包括數(shù)字?jǐn)?shù)據(jù)、可視信息、或音頻信息等信息的其他設(shè)備)來執(zhí)行25。在一個(gè)實(shí)施方式中，內(nèi)容提供商接口38可以包括或可操作用于顯示具有多個(gè)交互設(shè)備的至少一個(gè)圖形用戶接口(⑶I)，所述交互設(shè)備例如按鈕、窗口、下拉菜單等等，以促進(jìn)信息的錄入、查看和/或獲取。腳本/調(diào)度引擎39可以與分配器模塊22、實(shí)驗(yàn)引擎30、模塊引擎32、預(yù)測(cè)引擎34以及內(nèi)容提供商接口38通信。腳本/調(diào)度引擎39可以包括一個(gè)或多個(gè)程序，當(dāng)運(yùn)行該程序時(shí)，執(zhí)行在此描述的功能。通常，腳本/調(diào)度引擎39的作用是管理通信管理系統(tǒng)12和內(nèi)容系統(tǒng)10的整體操作。腳本/調(diào)度引擎39提供或支持腳本的生成，所述腳本協(xié)調(diào)分配器模塊22、實(shí)驗(yàn)引擎30、模型引擎32、預(yù)測(cè)器引擎34以及觀測(cè)模塊36的行為、動(dòng)作和/或交互。因此，腳本/調(diào)度引擎39可以自動(dòng)化在此描述的實(shí)驗(yàn)、建模以及預(yù)測(cè)的整個(gè)過程。實(shí)際上，每個(gè)腳本可以指引內(nèi)容系統(tǒng)10或通信系統(tǒng)12中的一個(gè)或多個(gè)元素來執(zhí)行特定的動(dòng)作或一組動(dòng)作。例如，腳本/調(diào)度引擎39支持可被執(zhí)行以測(cè)量用戶16的行為和反應(yīng)的各種實(shí)驗(yàn)的建立。對(duì)于每個(gè)實(shí)驗(yàn)，腳本/調(diào)度引擎39可以生成或提供定義。這些定義可以提供給分配器模塊22以執(zhí)行實(shí)驗(yàn)。另外，腳本/調(diào)度引擎39可以監(jiān)測(cè)實(shí)驗(yàn)的完成，以及隨后指引模型引擎32根據(jù)實(shí)驗(yàn)數(shù)據(jù)來建立或生成模型。腳本/調(diào)度引擎39可以生成或支持用于將此類實(shí)驗(yàn)的結(jié)果轉(zhuǎn)換為模型并最終轉(zhuǎn)換為預(yù)測(cè)的腳本，其被設(shè)計(jì)以實(shí)現(xiàn)特定結(jié)果/目標(biāo)。腳本/調(diào)度引擎39可以將如何構(gòu)建模型的指令遞送給模型引擎32。這些指令可以指明觀測(cè)模塊36中的數(shù)據(jù)位置和多個(gè)變量(如實(shí)驗(yàn)變量、變量、以及因變量)中每個(gè)的名稱、用于較容易建模的編碼的轉(zhuǎn)譯、數(shù)據(jù)從連續(xù)到離散和模型形式的轉(zhuǎn)換、或任何其他參數(shù)。腳本/調(diào)度引擎39可以創(chuàng)建針對(duì)模型狀態(tài)的時(shí)間相關(guān)的解釋，以供分配器模塊22在處理用戶請(qǐng)求內(nèi)容15時(shí)使用。而且，腳本/調(diào)度引擎39可以給分配器模塊22提供指令或命令以遞送內(nèi)容15，以用于實(shí)驗(yàn)或進(jìn)行模型/預(yù)測(cè)。每一腳本可以包括基本的錯(cuò)誤處理過程。任何適當(dāng)?shù)奶幚砥骺梢詧?zhí)行腳本/調(diào)度引擎39的功能，其可以是與用于實(shí)驗(yàn)引擎30、模型引擎32以及預(yù)測(cè)引擎34分離的處理器相同或者分離的處理器。在操作中，一般來說，內(nèi)容提供商接口38可以從內(nèi)容提供商14接收實(shí)驗(yàn)定義。在一個(gè)實(shí)施方式中，例如，內(nèi)容提供商14上的管理者用戶輸入過去網(wǎng)站業(yè)務(wù)流量或來自當(dāng)前網(wǎng)站業(yè)務(wù)流量的采樣的有關(guān)數(shù)據(jù)，以便確定如何設(shè)立并調(diào)度實(shí)驗(yàn)。使用所述實(shí)驗(yàn)定義，實(shí)驗(yàn)引擎30設(shè)計(jì)針對(duì)特定內(nèi)容集合的一個(gè)或多個(gè)實(shí)驗(yàn)。每個(gè)實(shí)驗(yàn)可以包括多個(gè)內(nèi)容結(jié)構(gòu)或用于內(nèi)容的處理。處理之一充當(dāng)控制處理，而其余處理充當(dāng)實(shí)驗(yàn)處理。對(duì)于每個(gè)實(shí)驗(yàn)，實(shí)驗(yàn)引擎30可以生成實(shí)驗(yàn)規(guī)則的獨(dú)立集合，其指示在實(shí)驗(yàn)期間如何遞送處理。這些實(shí)驗(yàn)規(guī)則被轉(zhuǎn)發(fā)至分配器模塊22。分配器模塊22將不同的處理分配至各個(gè)用戶16，以響應(yīng)來自用戶16的針對(duì)內(nèi)容的請(qǐng)求。分配是根據(jù)由實(shí)驗(yàn)引擎設(shè)計(jì)的實(shí)驗(yàn)規(guī)則來執(zhí)行的。在實(shí)驗(yàn)期間，通信管理系統(tǒng)12觀測(cè)用戶對(duì)每個(gè)處理的行為，并且將這些觀測(cè)的有關(guān)數(shù)據(jù)收集或存儲(chǔ)到觀測(cè)模塊36上。這包括用于實(shí)驗(yàn)變量、協(xié)變量以及自變量的數(shù)據(jù)。使用所述觀測(cè)數(shù)據(jù)，模型引擎32生成用于所管控的每個(gè)實(shí)驗(yàn)的一個(gè)或多個(gè)模型。這些模型可以捕獲用戶16的目標(biāo)行為的出現(xiàn)與所控制的內(nèi)容變量之間的關(guān)系，以及捕獲關(guān)于用戶訪問的細(xì)節(jié)。根據(jù)實(shí)驗(yàn)和建模，通信管理系統(tǒng)12可以修改或定制遞送至用戶16的內(nèi)容15的處理。特別地，預(yù)測(cè)引擎34生成一個(gè)或多個(gè)預(yù)測(cè)，其用于按照最有效的方式將內(nèi)容15遞送給用戶16，以實(shí)現(xiàn)一個(gè)或多個(gè)55預(yù)期結(jié)果/目標(biāo)。在一個(gè)實(shí)施方式中，預(yù)測(cè)引擎34自動(dòng)地搜索針對(duì)最優(yōu)內(nèi)容結(jié)構(gòu)或者處理的實(shí)驗(yàn)和建模的結(jié)果，并且推薦其用于向用戶16的遞送。在另一個(gè)實(shí)施方式中，預(yù)測(cè)引擎34允許內(nèi)容提供商14上的人類用戶(如信息系統(tǒng)管理員)指定多個(gè)最優(yōu)內(nèi)容結(jié)構(gòu)或處理以遞送至用戶16。預(yù)測(cè)引擎34生成一組預(yù)測(cè)規(guī)則，其被轉(zhuǎn)發(fā)至內(nèi)容系統(tǒng)10中的分配器模塊22中。實(shí)驗(yàn)、建模以及預(yù)測(cè)的過程的每個(gè)都可以重復(fù)。通過利用將要遞送給用戶16的內(nèi)容15連續(xù)地進(jìn)行實(shí)驗(yàn)，內(nèi)容系統(tǒng)10和通信管理系統(tǒng)12有系統(tǒng)地隔離不同通信屬性對(duì)預(yù)期結(jié)果/目標(biāo)的影響。通過基于該連續(xù)實(shí)驗(yàn)(如在此描述的)來建模一些用戶或個(gè)體用戶16，內(nèi)容系統(tǒng)10和通信管理系統(tǒng)12能夠自動(dòng)并精確地生成和定義用于呈現(xiàn)定制通信的規(guī)則，以實(shí)現(xiàn)或改進(jìn)預(yù)期10結(jié)果/目標(biāo)。這樣，內(nèi)容系統(tǒng)10和通信管理系統(tǒng)12實(shí)現(xiàn)了用于交互式通信的設(shè)計(jì)和開發(fā)的系統(tǒng)化方法，從而優(yōu)化、增強(qiáng)、或其他改進(jìn)產(chǎn)品開發(fā)、公共關(guān)系、客戶服務(wù)、廣告效力、電子商務(wù)、或可以得益于內(nèi)容15的實(shí)時(shí)大量定制的任何其他應(yīng)用。實(shí)驗(yàn)引擎圖3是根據(jù)本發(fā)明的實(shí)施方式的實(shí)驗(yàn)引擎30的框圖。實(shí)驗(yàn)引擎30通常支持一個(gè)或多個(gè)實(shí)驗(yàn)的創(chuàng)建和執(zhí)行，以測(cè)試用戶16對(duì)特定內(nèi)容15的行為或反應(yīng)和/或格式化內(nèi)容的特定方式(即，處理)。在一個(gè)實(shí)施方式中，實(shí)驗(yàn)引擎30允許內(nèi)容提供商14上的管理員用戶從特別適于交互式內(nèi)容實(shí)驗(yàn)的、各種可能的經(jīng)過設(shè)計(jì)的實(shí)驗(yàn)中自動(dòng)地選擇和實(shí)現(xiàn)經(jīng)過設(shè)計(jì)的實(shí)驗(yàn)。如所描述的，實(shí)驗(yàn)引擎30包括實(shí)驗(yàn)數(shù)據(jù)存儲(chǔ)40和實(shí)驗(yàn)管理器對(duì)象42。通常，實(shí)驗(yàn)管理器對(duì)象42的作用是控制或管理各種實(shí)驗(yàn)的執(zhí)行。實(shí)驗(yàn)管理器對(duì)象42允許建立經(jīng)過設(shè)計(jì)的實(shí)驗(yàn)。例如，實(shí)驗(yàn)管理器對(duì)象42支持一個(gè)或多個(gè)實(shí)驗(yàn)變量的說明，可以調(diào)查或考慮這些實(shí)驗(yàn)變量對(duì)一個(gè)或多個(gè)感興趣結(jié)果/目標(biāo)的影響。例如，此類實(shí)驗(yàn)變量能夠是背景顏色、網(wǎng)頁位置或特定折扣。而且，對(duì)每個(gè)實(shí)驗(yàn)變量而言，實(shí)驗(yàn)管理器對(duì)象42支持一個(gè)或多個(gè)等級(jí)的說明。例如，對(duì)實(shí)驗(yàn)變量“背景顏色”而言，等級(jí)能夠包括“藍(lán)”、“粉紅”、“黃”以及“綠”。對(duì)實(shí)驗(yàn)變量“網(wǎng)頁上的位置”而言，等級(jí)能夠包括“中間頂部”、“右底部”、“左邊較低”以及“右中部”。對(duì)于實(shí)驗(yàn)變量“特定折扣”，等級(jí)能夠包括“減10%”、“減15%”、“減20%”、“減25%”、“減30%”、“減35%”，“減40%”等等。從上面能夠看出，實(shí)驗(yàn)變量可以是本質(zhì)上離散的(如背景顏色)或本質(zhì)上連續(xù)的(如特定折扣)。在一個(gè)實(shí)施方式中，管理者用戶能夠選擇所述變量和相關(guān)聯(lián)的等級(jí)。一旦選擇了實(shí)驗(yàn)變量和等級(jí)，實(shí)驗(yàn)管理器對(duì)象42能夠指定內(nèi)容15的不同組合或數(shù)值。實(shí)驗(yàn)管理器對(duì)象42可以為每個(gè)實(shí)驗(yàn)生成要遞送的內(nèi)容結(jié)構(gòu)或處理，并確定遞送條件(例如，遞送給誰和什么時(shí)候遞送)。為此，實(shí)驗(yàn)管理器對(duì)象42可以使用任何或所有在此描述的實(shí)驗(yàn)引擎的功能(表、搜索算法等等)。在這些處理中，用于每個(gè)實(shí)驗(yàn)變量的等級(jí)是系統(tǒng)化改變的。根據(jù)用于內(nèi)容15的給定集合的所有可能內(nèi)容結(jié)構(gòu)或處理的集合，可以為實(shí)驗(yàn)選擇子集。更具體地，實(shí)驗(yàn)管理器對(duì)象42可以從所有可能處理的集合中選擇那些以特定方式來最優(yōu)地實(shí)現(xiàn)預(yù)期目標(biāo)或結(jié)果的采樣。這允許通信管理系統(tǒng)12研究比其他情況下更為大量、更為復(fù)雜的內(nèi)容問題，也確保系統(tǒng)(以及由此還有管理者用戶)將會(huì)了解哪個(gè)內(nèi)容元素對(duì)于用戶行為具有怎樣的影響，以及因而什么處理對(duì)于向站點(diǎn)訪問者的將來遞送而言是最優(yōu)的。每個(gè)選擇的子集可以認(rèn)為是“控制”內(nèi)容結(jié)構(gòu)?？刂埔馕吨幚碇袑?shí)驗(yàn)變量的不同等級(jí)在通信管理系統(tǒng)12或管理者用戶的控制之下或者可以由其指定。實(shí)驗(yàn)管理器對(duì)象42還可以定義或?qū)崿F(xiàn)統(tǒng)計(jì)采樣程序。這些統(tǒng)計(jì)采樣過程用于從訪問內(nèi)容提供商14所維護(hù)網(wǎng)站的所有用戶16中選擇將要接收控制內(nèi)容結(jié)構(gòu)或處理的一些人。可以使用用戶簡(jiǎn)檔的組合和/或統(tǒng)計(jì)上有效的隨機(jī)選擇技術(shù)來完成該選擇(例如，分段，其可以包括含有所有用戶的分段)。在一個(gè)實(shí)施方式中，實(shí)驗(yàn)管理器對(duì)象42可以允許內(nèi)容提供商14處的管理者用戶顯式或者隱式地指定接收控制處理的用戶16的特定目標(biāo)人群。例如，實(shí)驗(yàn)管理器對(duì)象42可以30允許管理者用戶選擇總計(jì)網(wǎng)站業(yè)務(wù)流量的一部分，繼而設(shè)計(jì)并實(shí)現(xiàn)可以應(yīng)用于總計(jì)業(yè)務(wù)流量的這一部分的實(shí)驗(yàn)。利用可以從實(shí)驗(yàn)管理器對(duì)象42獲得的采樣過程，管理者用戶可以為特定的采樣或?yàn)閬碜蕴囟ㄓ脩羧旱牟蓸釉O(shè)置限額，其中每個(gè)人群可以具有某些共同的特征(例如，ISP，使用的時(shí)間，等等)。實(shí)驗(yàn)管理器對(duì)象42還可以例如，基于來自管理者用戶的輸入來指定每個(gè)實(shí)驗(yàn)什么時(shí)候會(huì)運(yùn)行以及運(yùn)行多久。實(shí)驗(yàn)管理器對(duì)象42可以跟蹤在給定時(shí)間運(yùn)行的實(shí)驗(yàn)以及參與每個(gè)實(shí)驗(yàn)的用戶16。實(shí)驗(yàn)管理器對(duì)象42還可以通過腳本/調(diào)度引擎39來引導(dǎo)通信管理系統(tǒng)12或內(nèi)容系統(tǒng)10中的其他引擎或元件在每個(gè)實(shí)驗(yàn)進(jìn)行時(shí)收集關(guān)于該實(shí)驗(yàn)的數(shù)據(jù)和信息。例如，實(shí)驗(yàn)管理器對(duì)象42可以引導(dǎo)分配器模塊22來收集各種實(shí)驗(yàn)的觀測(cè)數(shù)據(jù)，并且將這些數(shù)據(jù)存儲(chǔ)在觀測(cè)模塊36中。因此，可以確定已經(jīng)完成了什么實(shí)驗(yàn)、正在進(jìn)行什么實(shí)驗(yàn)、以及實(shí)驗(yàn)空間的什么部分有待實(shí)驗(yàn)。而且對(duì)每個(gè)實(shí)驗(yàn)而言，實(shí)驗(yàn)管理器對(duì)象42生成一組規(guī)則，其引導(dǎo)分配器模塊22在實(shí)驗(yàn)期間應(yīng)當(dāng)如何分配處理。在一個(gè)實(shí)施方式中，實(shí)驗(yàn)管理器對(duì)象42可以實(shí)現(xiàn)或包括一組接口對(duì)象，其可以在通信管理系統(tǒng)12與內(nèi)容系統(tǒng)10的各部件或模塊之間遞送。實(shí)驗(yàn)數(shù)據(jù)存儲(chǔ)40與實(shí)驗(yàn)管理器對(duì)象42通信。實(shí)驗(yàn)數(shù)據(jù)存儲(chǔ)40的作用是存儲(chǔ)實(shí)驗(yàn)數(shù)據(jù)44。實(shí)驗(yàn)數(shù)據(jù)44通常包括實(shí)驗(yàn)引擎30所創(chuàng)建和執(zhí)行的實(shí)驗(yàn)的有關(guān)數(shù)據(jù)和信息。這包括過去(歷史的)實(shí)驗(yàn)和當(dāng)前進(jìn)行中的實(shí)驗(yàn)的數(shù)據(jù)/信息。對(duì)每個(gè)實(shí)驗(yàn)，例如，實(shí)驗(yàn)數(shù)據(jù)44可以指明定義和定義實(shí)驗(yàn)的參數(shù)、在實(shí)驗(yàn)期間使用的內(nèi)容15、為實(shí)驗(yàn)指定的變量、每個(gè)實(shí)驗(yàn)變量的等級(jí)、在所述實(shí)驗(yàn)期間考慮的內(nèi)容結(jié)構(gòu)或處理、針對(duì)每個(gè)實(shí)驗(yàn)跟蹤的目標(biāo)行為、用于每個(gè)實(shí)驗(yàn)的實(shí)驗(yàn)規(guī)則、以及被分配參與實(shí)驗(yàn)的用戶16的定義或標(biāo)識(shí)模式。實(shí)驗(yàn)數(shù)據(jù)44還可以指定或包括用于建立實(shí)驗(yàn)的數(shù)據(jù)。在一個(gè)實(shí)施方式中，該數(shù)據(jù)可以包括一個(gè)或多個(gè)表。每個(gè)表可以與相應(yīng)的實(shí)驗(yàn)設(shè)計(jì)相關(guān)聯(lián)?？梢韵蜻@些表中“填入”例如由實(shí)驗(yàn)管理器對(duì)象42(可選地，與內(nèi)容提供商14處的管理者用戶協(xié)作)輸入的數(shù)據(jù)和信息，以便創(chuàng)建專門針對(duì)內(nèi)容提供商14而設(shè)計(jì)的實(shí)驗(yàn)。實(shí)驗(yàn)數(shù)據(jù)存儲(chǔ)40還存儲(chǔ)內(nèi)容系統(tǒng)10進(jìn)行實(shí)驗(yàn)的能力的有關(guān)信息。實(shí)驗(yàn)數(shù)據(jù)存儲(chǔ)40可以在任何一個(gè)或多個(gè)適當(dāng)?shù)拇鎯?chǔ)介質(zhì)中實(shí)現(xiàn)，例如隨機(jī)訪問存儲(chǔ)器(RAM)，磁盤存儲(chǔ)器、或其他適當(dāng)?shù)囊资曰?非易失性存儲(chǔ)介質(zhì)。在一個(gè)實(shí)施方式中，實(shí)驗(yàn)數(shù)據(jù)存儲(chǔ)40可以包括關(guān)系型數(shù)據(jù)庫。利用通信引擎30，通信管理系統(tǒng)12可以從用于內(nèi)容15的給定集合的所有可能內(nèi)容結(jié)構(gòu)或處理的集合中選擇如下采樣，利用該采樣進(jìn)行實(shí)驗(yàn)將最優(yōu)地實(shí)現(xiàn)預(yù)期目標(biāo)或結(jié)果。這允許通信管理系統(tǒng)12與內(nèi)容系統(tǒng)10協(xié)作來調(diào)查比其他可能情況不僅更為大量的而且更為復(fù)雜的內(nèi)容問題。通信管理系統(tǒng)因此能夠確定哪個(gè)內(nèi)容結(jié)構(gòu)或處理對(duì)用戶16具有怎樣的影響，并且因此，對(duì)向其他用戶的將來遞送而言什么內(nèi)容是最優(yōu)的。19模型引擎圖4是根據(jù)本發(fā)明的模型引擎32的框圖。通常，模型引擎32的作用是根據(jù)在實(shí)驗(yàn)期間收集的數(shù)據(jù)來創(chuàng)建或建立行為模型。如圖所示，模型引擎32包括數(shù)據(jù)視圖閱讀器48、模型生成器50、數(shù)據(jù)視圖管理器對(duì)象52、模型輸出對(duì)象54以及模型數(shù)據(jù)存儲(chǔ)56。數(shù)據(jù)視圖閱讀器48可以與觀測(cè)模塊36通信，通常，數(shù)據(jù)視圖閱讀器48的作用是獲取或讀取在實(shí)驗(yàn)期間收集到的觀測(cè)數(shù)據(jù)。該觀測(cè)數(shù)據(jù)可以包括與實(shí)驗(yàn)期間遞送給各用戶16的處理有關(guān)的數(shù)據(jù)以及每個(gè)遞送的結(jié)果?？梢杂^測(cè)用戶對(duì)各處理的至少某些反應(yīng)(例如，用戶可能最終購買在特定的處理中提供的產(chǎn)品)，并且因此，可以認(rèn)為這些反應(yīng)是目標(biāo)行為。模型生成器50與數(shù)據(jù)視圖閱讀器48通信，模型生成器50接收觀測(cè)數(shù)據(jù)。建模生成器50將觀測(cè)數(shù)據(jù)轉(zhuǎn)換為可以統(tǒng)計(jì)上分析的格式。使用觀測(cè)數(shù)據(jù)，模型生成器50生成一個(gè)或多個(gè)行為模型。這些行為模型可以捕獲所述目標(biāo)行為的發(fā)生、受控內(nèi)容變量的集合(例如，橫幅廣告的放置或背景顏色)以及向其遞送內(nèi)容的用戶16之間的關(guān)系。選擇模型在某種意義上來說是行為模型，因?yàn)槠涿枋鲇脩舻倪x擇或決定(即，他們的行為)的概率如何隨著操縱實(shí)驗(yàn)中任意數(shù)量的變量的等級(jí)而改變。所述模型有助于以下情況，這些情況涉及在實(shí)驗(yàn)期間未觀測(cè)的插值和/或關(guān)于未執(zhí)行的處理的預(yù)測(cè)。在一個(gè)實(shí)施方式中，模型生成器50可以生成一個(gè)或多個(gè)偶然性表(contingencytable)。偶然性表是模型的形式。每個(gè)偶然性表能夠是有助于具有少量已定義結(jié)果的情形的報(bào)告。偶然性表可以用于檢查模型的復(fù)雜形式是否會(huì)成功。通過分析偶然性表，通信管理系統(tǒng)12可以在估計(jì)步驟中標(biāo)識(shí)將會(huì)引起復(fù)雜模型失敗的數(shù)據(jù)。偶然性表是非常完整的且相對(duì)快速的建模形式。模型生成器50可以利用以用于選擇建模、貝葉斯建模、神經(jīng)網(wǎng)絡(luò)、決策樹的算法或其他相關(guān)建模算法來實(shí)現(xiàn)。這些建模算法中的至少一些算法是公開可用的，例如，在各種學(xué)術(shù)出版物或商業(yè)可用軟件上。在一個(gè)實(shí)施方式中，模型生成器50可以利用MATLAB庫和目標(biāo)代碼編譯器來實(shí)現(xiàn)。模型數(shù)據(jù)存儲(chǔ)56與模型生成器50通信，通常，模型數(shù)據(jù)存儲(chǔ)56的作用是存儲(chǔ)和維護(hù)模型數(shù)據(jù)58。模型數(shù)據(jù)58可以是用于創(chuàng)建、描述、定義和實(shí)現(xiàn)在此描述的模型的任何信息和數(shù)據(jù)。例如，對(duì)于每個(gè)模型，模型數(shù)據(jù)58可以指定用于該模型的標(biāo)識(shí)符、描述在模型下可用的選擇選項(xiàng)的變量(例如，價(jià)格、折扣等級(jí)、背景顏色)、描述用戶16的變量(例如，用戶交互的時(shí)間、用戶交互的日期、用戶的ISP、用戶計(jì)算機(jī)的操作系統(tǒng)等等)、一個(gè)或多個(gè)舊有系統(tǒng)的內(nèi)容、人口統(tǒng)計(jì)學(xué)信息等等。模型數(shù)據(jù)存儲(chǔ)56可以在任何一個(gè)或多個(gè)適當(dāng)?shù)拇鎯?chǔ)介質(zhì)中實(shí)現(xiàn)，例如隨機(jī)存儲(chǔ)器(RAM)、磁盤存儲(chǔ)器、或其他適合的易失性和/非易失性存儲(chǔ)介質(zhì)。在一個(gè)實(shí)施方式中，模型數(shù)據(jù)存儲(chǔ)56可以包括關(guān)系型數(shù)據(jù)庫。數(shù)據(jù)視圖管理器對(duì)象52與模型數(shù)據(jù)存儲(chǔ)56和數(shù)據(jù)視圖閱讀器48通信。通常，數(shù)據(jù)視圖管理器對(duì)象52的作用是通過數(shù)據(jù)視圖閱讀器48將各種模型輸出給內(nèi)容提供商14處的人類用戶(例如信息系統(tǒng)管理員)，以便該用戶進(jìn)行解釋。在一個(gè)實(shí)施方式中，數(shù)據(jù)視圖管理器對(duì)象52可以實(shí)現(xiàn)或包括能夠在通信管理系統(tǒng)12和內(nèi)容系統(tǒng)10的各部件或模型之間遞送的一組接口對(duì)象。在一個(gè)實(shí)施方式中，內(nèi)容提供商14可以將用戶信息存儲(chǔ)到分離的數(shù)據(jù)庫中，該數(shù)據(jù)庫可以合并到模型數(shù)據(jù)存儲(chǔ)58中。例如，由內(nèi)容提供商14支持的在線銀行應(yīng)用可以從用戶的互聯(lián)網(wǎng)會(huì)話和金融機(jī)構(gòu)的公司數(shù)據(jù)庫中提取數(shù)據(jù)。在這種情況下，數(shù)據(jù)視圖管理器對(duì)象52會(huì)將公司數(shù)據(jù)庫鏈接到模型數(shù)據(jù)存儲(chǔ)56中。模型輸出對(duì)象54與模型數(shù)據(jù)存儲(chǔ)56相通信，通常，模型輸出對(duì)象54的作用是將各種模型輸出到預(yù)測(cè)引擎34，以按照預(yù)測(cè)進(jìn)行轉(zhuǎn)換或使用。在一個(gè)實(shí)施方式中，模型輸出對(duì)象54可以實(shí)現(xiàn)或包括在通信管理系統(tǒng)12和內(nèi)容系統(tǒng)10的各部件或模型之間遞送的一組接口對(duì)象。預(yù)測(cè)引擎圖5是根據(jù)本發(fā)明的預(yù)測(cè)引擎34的框圖。通常，預(yù)測(cè)引擎34的作用是使用行為模型來創(chuàng)建或建立預(yù)測(cè)。如圖所示，預(yù)測(cè)引擎34包括預(yù)測(cè)生成器62、預(yù)測(cè)輸出對(duì)象64以及預(yù)測(cè)數(shù)據(jù)存儲(chǔ)66。通常，預(yù)測(cè)生成器62的作用是生成一個(gè)或多個(gè)預(yù)測(cè)，例如，其預(yù)測(cè)各用戶16如何對(duì)特定的內(nèi)容做出反應(yīng)。可以認(rèn)為這些預(yù)測(cè)是大量定制過程。預(yù)測(cè)使用如包含在模型中的、所揭示(觀測(cè))的用戶16的偏好來生成統(tǒng)計(jì)上可行的預(yù)測(cè)規(guī)則。預(yù)測(cè)生成器62可以從建模引擎32和內(nèi)容提供商接口38接收輸入，以開發(fā)用于將內(nèi)容15瞄準(zhǔn)特定用戶16的規(guī)則，以便實(shí)現(xiàn)預(yù)期目標(biāo)/結(jié)果(例如，產(chǎn)品的銷售)，由此優(yōu)化內(nèi)容15的遞送。這可以通過轉(zhuǎn)換由建模引擎32輸出的各種模型來實(shí)現(xiàn)。在一個(gè)實(shí)施方式中，預(yù)測(cè)生成器62可以實(shí)現(xiàn)個(gè)性化過程。在交互式通信領(lǐng)域，個(gè)性化過程可以是這樣的過程，憑借該過程，內(nèi)容15基于其聲明的或者隱含的偏好被作為目標(biāo)以及遞送至用戶16。示例性個(gè)性化過程可以包括用于對(duì)用戶16進(jìn)行剖析或區(qū)段化的數(shù)據(jù)挖掘技術(shù)。區(qū)段化表示將用戶16細(xì)分、劃分或者分割到不同的、離散的群組或區(qū)段中。每個(gè)群組或區(qū)段可以是具有類似行為特征的用戶的說明或分布。給定區(qū)段中的用戶16的行為趨于較為同質(zhì)(homogenous)，然而在區(qū)段之間的用戶16的行為趨于較不同質(zhì)。區(qū)段可以從無(大量無差別的市場(chǎng))變化到唯一的個(gè)體。用戶16的區(qū)段可以基于針對(duì)如下特定用戶16標(biāo)識(shí)的信息而在建模過程中確定，其中所述特定用戶16在與其站點(diǎn)相關(guān)的行為中有意以唯一的方式對(duì)觀測(cè)到的內(nèi)容15做出反應(yīng)。為了實(shí)現(xiàn)區(qū)段化，針對(duì)用戶交互而跟蹤每個(gè)區(qū)段的定義信息。這可以通過區(qū)段化規(guī)則來完成。可以針對(duì)用戶16的每一區(qū)段來編程或提供獨(dú)立的區(qū)段化規(guī)則集。這些規(guī)則可以指定將內(nèi)容15遞送至用戶16的細(xì)節(jié)。例如，對(duì)于每個(gè)區(qū)段，獨(dú)立的規(guī)則集可以指定應(yīng)當(dāng)在什么時(shí)間遞送什么內(nèi)容15。另外，內(nèi)容提供商14處的管理者用戶可以選擇預(yù)先確定的區(qū)段。預(yù)測(cè)生成器62將由模型引擎32生成的預(yù)測(cè)模型轉(zhuǎn)化為優(yōu)化規(guī)則集，其被稱為預(yù)測(cè)。也就是說，預(yù)測(cè)生成器62可以優(yōu)化過程，其從內(nèi)容系統(tǒng)10和/或通信管理系統(tǒng)12移除不成功的內(nèi)容組合或處理的有關(guān)信息，因此僅留下值得使用的內(nèi)容組合或處理的有關(guān)信肩、o通過移除此類無用數(shù)據(jù)，預(yù)測(cè)生成器62增強(qiáng)了得到的實(shí)時(shí)處理速度。對(duì)于基于預(yù)測(cè)生成器62來操作的任何給定模型而言，進(jìn)行對(duì)規(guī)則集的轉(zhuǎn)換，從而將模型映射回內(nèi)容系統(tǒng)可以理解的術(shù)語。在此過程中，可以接受針對(duì)用戶16的各種亞群(sub-population)的獨(dú)立模型中和/或個(gè)體用戶的驅(qū)動(dòng)模型中其行為差異的特征。這樣，預(yù)測(cè)生成器62的技術(shù)和功能允許包含和分析用戶16的多個(gè)個(gè)體特征，以及對(duì)特征進(jìn)行組合以驅(qū)動(dòng)行為中差異的不同方式。例如，在其他因素相同的情況下，時(shí)間可能與各用戶16點(diǎn)通網(wǎng)站的傾向的差異相關(guān)聯(lián)。而且，時(shí)間可能與用戶對(duì)報(bào)價(jià)或頁面上的位置等屬性的敏感度的差異相關(guān)聯(lián)。預(yù)測(cè)生成器62可以從管理者20用戶接收輸入，例如，該輸入指定用于內(nèi)容遞送的調(diào)查和優(yōu)化的特定區(qū)段。通過內(nèi)容提供商接口38，管理者用戶可以基于觀測(cè)模塊36中可用的或是來自內(nèi)容提供商自己的客戶(用戶)或站點(diǎn)數(shù)據(jù)庫的數(shù)據(jù)、字段和值來指定標(biāo)識(shí)規(guī)則。預(yù)測(cè)數(shù)據(jù)存儲(chǔ)66與預(yù)測(cè)生成器62通信。同行，預(yù)測(cè)數(shù)據(jù)存儲(chǔ)66的作用是存儲(chǔ)和維護(hù)預(yù)測(cè)數(shù)據(jù)68。預(yù)測(cè)數(shù)據(jù)68可以是用于創(chuàng)建、描述、定義以及實(shí)現(xiàn)在此描述的預(yù)測(cè)的任何信息和數(shù)據(jù)。對(duì)于每一預(yù)測(cè)，例如，預(yù)測(cè)數(shù)據(jù)68可以指定用于所述預(yù)測(cè)的標(biāo)識(shí)符、用于所述預(yù)測(cè)的規(guī)則集、描述用戶16的類別的定義、以及對(duì)每個(gè)類別而言最好的內(nèi)容15。預(yù)測(cè)數(shù)據(jù)存儲(chǔ)66可以在任何一個(gè)或多個(gè)適當(dāng)?shù)拇鎯?chǔ)介質(zhì)中實(shí)現(xiàn)，例如隨機(jī)存儲(chǔ)器(RAM)、磁盤存儲(chǔ)器或其他適合的易失性和/非非易失性存儲(chǔ)介質(zhì)。在一個(gè)實(shí)施方式中，預(yù)測(cè)數(shù)據(jù)存儲(chǔ)66可以包括關(guān)系數(shù)據(jù)庫。預(yù)測(cè)輸出對(duì)象64與預(yù)測(cè)數(shù)據(jù)存儲(chǔ)66和(模型引擎32的)數(shù)據(jù)視圖閱讀器48通信。預(yù)測(cè)輸出對(duì)象64可以在將內(nèi)容15遞送給用戶16期間將各種預(yù)測(cè)規(guī)則輸出至內(nèi)容系統(tǒng)10以便應(yīng)用。在一個(gè)實(shí)施方式中，預(yù)測(cè)輸出對(duì)象64可以實(shí)現(xiàn)或包括可以在通信管理系統(tǒng)12和內(nèi)容系統(tǒng)10的各部件或模型之間遞送的一組接口對(duì)象。在一些包括大量?jī)?nèi)容或大量用戶數(shù)據(jù)的應(yīng)用中，預(yù)測(cè)規(guī)則集的大小可能大于人類用戶(例如管理者用戶)實(shí)際能夠查看大小。為了允許可實(shí)行的人類查看，預(yù)測(cè)引擎34可以并入或包括用于生成縮減的規(guī)則集的一個(gè)或多個(gè)規(guī)則縮減算法。因此，當(dāng)期望時(shí)，管理者用戶可以與預(yù)測(cè)引擎34交互以請(qǐng)求縮減的規(guī)則集。在規(guī)則縮減過程的一個(gè)示例性實(shí)現(xiàn)中，根據(jù)用戶特征和最優(yōu)內(nèi)容的相似性或差異性對(duì)用戶16進(jìn)行搜索和聚集在一起。這些聚集的群組充當(dāng)用于實(shí)現(xiàn)預(yù)測(cè)的區(qū)段。在規(guī)則縮減過程的另一示例性實(shí)現(xiàn)中，在建模過程期間同時(shí)搜索區(qū)段。在另一個(gè)示例性實(shí)現(xiàn)中，使用成本函數(shù)來約束模型，以產(chǎn)生合理的數(shù)目較小的不同預(yù)測(cè)規(guī)則。觀測(cè)模塊圖6是根據(jù)本發(fā)明的實(shí)施方式的觀測(cè)模式的框圖。如圖所示，觀測(cè)模塊36包括觀測(cè)數(shù)據(jù)存儲(chǔ)74和觀測(cè)訪問對(duì)象76。通常，觀測(cè)數(shù)據(jù)存儲(chǔ)74的作用是維護(hù)10或存儲(chǔ)觀測(cè)數(shù)據(jù)78。觀測(cè)數(shù)據(jù)78可以是與所觀測(cè)到的訪問內(nèi)容提供商14的網(wǎng)站的用戶16的行為有關(guān)的數(shù)據(jù)或信息。由此，觀測(cè)數(shù)據(jù)78例如可以指定訪問網(wǎng)站的用戶16、每個(gè)用戶的IP地址、在將內(nèi)容15遞送至每個(gè)用戶的實(shí)驗(yàn)條件、每個(gè)訪問的觀測(cè)成果或結(jié)果、一個(gè)或多個(gè)實(shí)驗(yàn)變量、一個(gè)或多個(gè)預(yù)測(cè)協(xié)變量、一個(gè)或多個(gè)因變量、每個(gè)訪問的時(shí)間戳、以及在分析期間能夠使用的其他有用數(shù)據(jù)。至少一部分觀測(cè)數(shù)據(jù)78可以構(gòu)成觀測(cè)的原始信息和基本統(tǒng)計(jì)。觀測(cè)數(shù)據(jù)78可以作為適于由用戶(如訪問者)、處理、會(huì)話、以及用戶簡(jiǎn)介查看和建模結(jié)果的結(jié)構(gòu)來維護(hù)。觀測(cè)數(shù)據(jù)78可以允許通信管理系統(tǒng)12和內(nèi)容系統(tǒng)10將相同的處理遞送至回訪網(wǎng)站的用戶16(假設(shè)此類用戶從相同的IP地址回訪)。觀測(cè)數(shù)據(jù)存儲(chǔ)74可以通過內(nèi)容提供商接口32將觀測(cè)數(shù)據(jù)278提供給管理者用戶。觀測(cè)訪問對(duì)象76與觀測(cè)數(shù)據(jù)存儲(chǔ)74通信。通常，觀測(cè)訪問對(duì)象76的作用是提供對(duì)觀測(cè)數(shù)據(jù)78的訪問(存儲(chǔ)或獲取)。觀測(cè)訪問對(duì)象76可以按照直接適于建模的形式將觀測(cè)數(shù)據(jù)78傳送至模型引擎32。傳送過程可以包括檢查用于數(shù)據(jù)“病態(tài)”(例如，丟失的數(shù)據(jù)、結(jié)構(gòu)性依賴等)的觀測(cè)數(shù)據(jù)78以及將所述數(shù)據(jù)變換成可用于模型的形式(例如，分類和效應(yīng)編碼)。在一個(gè)實(shí)施方式中，觀測(cè)訪問對(duì)象76可以實(shí)現(xiàn)或包括在通信管理系統(tǒng)12和內(nèi)容系統(tǒng)10的各部件或模型之間遞送的一組接口對(duì)象。在一些示例中，內(nèi)容提供商14可以將用戶信息存儲(chǔ)在獨(dú)立的數(shù)據(jù)庫中，該數(shù)據(jù)庫可以與觀測(cè)數(shù)據(jù)存儲(chǔ)74中的其他數(shù)據(jù)相結(jié)合。例如，由內(nèi)容提供商14支持的在線銀行應(yīng)用可以從用戶的互聯(lián)網(wǎng)會(huì)話和金融機(jī)構(gòu)的公司數(shù)據(jù)庫中提取數(shù)據(jù)。在這種情況下，觀測(cè)訪問對(duì)象76會(huì)將所述公司數(shù)據(jù)庫連接至觀測(cè)數(shù)據(jù)存儲(chǔ)74。腳本/調(diào)度引擎圖7是根據(jù)本發(fā)明實(shí)施方式的腳本/調(diào)度引擎39的框圖。如上文所述，通常，腳本/調(diào)度引擎39的作用是調(diào)整和自動(dòng)化在通信管理系統(tǒng)12和內(nèi)容系統(tǒng)10中的其他元件的操作。如圖所示，腳本/調(diào)度引擎39包括事件隊(duì)列80、定時(shí)器82、腳本解釋器84以及腳本數(shù)據(jù)存儲(chǔ)86。通常，腳本解釋器84的作用是運(yùn)行各種65腳本，這些腳本為通信管理系統(tǒng)12和內(nèi)容系統(tǒng)10中的其他引擎和模塊(例如，分配器模塊22、實(shí)驗(yàn)引擎30、建模引擎32、預(yù)測(cè)引擎34、或觀測(cè)模塊36)提供指令或者指示。這些腳本可以啟動(dòng)或致使某些動(dòng)作在通信管理系統(tǒng)12和內(nèi)容系統(tǒng)10中要發(fā)生，以響應(yīng)于各種事件。每個(gè)腳本可以指定將要發(fā)送到系統(tǒng)10和12中其他引擎或模塊的指令的序列或者系列，以便協(xié)調(diào)指令的運(yùn)行。例如，事件可以是由通信管理系統(tǒng)12或內(nèi)容系統(tǒng)10中的各個(gè)模塊或引擎中之一執(zhí)行的某些任務(wù)的完成。相關(guān)的模塊或引擎可以將每個(gè)此類事件的通知傳送至腳本/調(diào)度引擎39。事件還可以涉及預(yù)定時(shí)間(例如早上8點(diǎn))的到來或預(yù)定量的時(shí)間(例如2個(gè)小時(shí))的流逝。定時(shí)器82跟蹤時(shí)間并且生成與時(shí)間相關(guān)的每個(gè)事件的信息。事件隊(duì)列80與腳本解釋器84通信，事件隊(duì)列80接收并存儲(chǔ)通知給腳本/調(diào)度引擎39或者在內(nèi)部生成的每個(gè)事件的信息。事件隊(duì)列80實(shí)現(xiàn)用于處理一個(gè)或多個(gè)事件的隊(duì)列。這些事件可以在各種腳本中指定，并且可以用來觸發(fā)腳本解釋器84的指令的發(fā)出。換句話說，對(duì)于每個(gè)事件，腳本解釋器84根據(jù)特定的腳本可以啟動(dòng)或致使某些動(dòng)作在通信管理系統(tǒng)12或內(nèi)容系統(tǒng)10中執(zhí)行。例如，事件可以是實(shí)驗(yàn)引擎30的實(shí)驗(yàn)的完成，在這種情況下，腳本解釋器84可以期望地啟動(dòng)使用實(shí)驗(yàn)結(jié)果的相應(yīng)模型的生成。因此，使用各種模型和引擎所產(chǎn)生的數(shù)據(jù)以及診斷信息，腳本解釋器84可以確定該模塊或引擎是否成功地完成其相應(yīng)的任務(wù)，以及通過發(fā)出相應(yīng)指令來啟動(dòng)適當(dāng)?shù)膭?dòng)作。腳本數(shù)據(jù)存儲(chǔ)86與腳本解釋器84通信。通常，腳本數(shù)據(jù)存儲(chǔ)86的作用是維護(hù)或存儲(chǔ)腳本數(shù)據(jù)88。腳本數(shù)據(jù)88可以是與腳本解釋器84生成和運(yùn)行的各種腳本相關(guān)的數(shù)據(jù)或信息。因此，對(duì)于每個(gè)腳本，腳本數(shù)據(jù)88例如可以指定腳本的標(biāo)識(shí)符、作為腳本一部分的指令、應(yīng)當(dāng)發(fā)出指令的序列、應(yīng)當(dāng)觸發(fā)指令發(fā)出的事件、應(yīng)當(dāng)向其發(fā)出指令的模塊或引擎等等。用于管理內(nèi)容的方法圖8是根據(jù)本發(fā)明實(shí)施方式的用于管理遞送給用戶的內(nèi)容的示例性方法的流程圖。方法100可以對(duì)應(yīng)于與內(nèi)容系統(tǒng)10協(xié)作的通信管理系統(tǒng)12的操作的各個(gè)方面。方法100開始于步驟102和104，在此，通信管理系統(tǒng)12與內(nèi)容系統(tǒng)10協(xié)作來定義實(shí)驗(yàn)空間和實(shí)驗(yàn)。在一個(gè)實(shí)施方式中，實(shí)驗(yàn)引擎30可以生成60實(shí)驗(yàn)和相應(yīng)實(shí)驗(yàn)空間的各種定義。這些定義可以指定將作為實(shí)驗(yàn)主題的內(nèi)容15的特定集合、將安置內(nèi)容15的一個(gè)或多個(gè)處理、進(jìn)行每個(gè)實(shí)驗(yàn)的時(shí)段、將向其遞送處理的用戶16的控制群組、管理內(nèi)容處理遞送的實(shí)驗(yàn)規(guī)則、預(yù)期實(shí)現(xiàn)的目標(biāo)/結(jié)果等等。在一個(gè)實(shí)施方式中，內(nèi)容提供商14處的管理者用戶可以與通信管理系統(tǒng)12交互以設(shè)計(jì)實(shí)驗(yàn)。在步驟106，實(shí)驗(yàn)引擎30調(diào)度活躍的實(shí)驗(yàn)，以便將特定的處理遞送至用戶16的相應(yīng)控制群組。在步驟108，與分配器模塊22協(xié)同工作的實(shí)驗(yàn)引擎30執(zhí)行所定義的實(shí)驗(yàn)，并且收集所觀測(cè)到的用戶行為的有關(guān)數(shù)據(jù)。在一個(gè)實(shí)施方式中，分配器模塊22可以應(yīng)用實(shí)驗(yàn)規(guī)則來將各處理遞送至特定的控制群組。這可以響應(yīng)于用戶針對(duì)內(nèi)容15的請(qǐng)求而執(zhí)行。分配器15模塊32可以將觀測(cè)到的用戶行為的有關(guān)細(xì)節(jié)(其涉及將要優(yōu)化的目標(biāo)或其他)存儲(chǔ)在觀測(cè)模塊36中。在步驟110，模型引擎32使用針對(duì)所觀測(cè)行為而收集的數(shù)據(jù)/信息來創(chuàng)建模型。模型可以反映內(nèi)容元素影響用戶16的行為或選擇的程度。特別地，行為模型可以包括復(fù)雜的、連續(xù)的、以及離散的多元統(tǒng)計(jì)模型，其可用于確定內(nèi)容結(jié)構(gòu)或處理25的什么方面影響實(shí)現(xiàn)特定結(jié)果的概率。在步驟112，預(yù)測(cè)引擎34創(chuàng)建或生成預(yù)測(cè)。該預(yù)測(cè)可以是對(duì)如下模型的簡(jiǎn)單描述，該模型用于按照對(duì)于實(shí)現(xiàn)預(yù)期結(jié)果/目標(biāo)而言最為有效的方式將內(nèi)容15遞送至用戶16。預(yù)測(cè)可以部分地利用預(yù)測(cè)規(guī)則集來實(shí)現(xiàn)，所述預(yù)測(cè)規(guī)則以對(duì)特定類型用戶的特定內(nèi)容為目標(biāo)。在步驟114，如果期望，通信管理系統(tǒng)12允許內(nèi)容提供商14處的管理者用戶對(duì)預(yù)測(cè)進(jìn)行定制。在步驟116，通信管理系統(tǒng)12與內(nèi)容系統(tǒng)10協(xié)作以執(zhí)行預(yù)測(cè)并收集數(shù)據(jù)。特別地，分配器模塊22可以應(yīng)用預(yù)測(cè)規(guī)則來遞送內(nèi)容15，以響應(yīng)40用戶16的請(qǐng)求。這導(dǎo)致特定處理對(duì)用戶16的遞送取決于特定的標(biāo)準(zhǔn)(例如，時(shí)間，點(diǎn)擊軌跡等等)。收集與用戶16對(duì)相應(yīng)處理的行為有關(guān)的數(shù)據(jù)。在步驟118，模型引擎32和預(yù)測(cè)引擎34可以協(xié)作來分析在預(yù)測(cè)階段協(xié)期間的處理遞送的結(jié)果。在步驟120，通信管理系統(tǒng)12確定觀測(cè)結(jié)果是否滿意。也就是說，通信管理系統(tǒng)12確定用戶16是否以期望的方式對(duì)遞送的內(nèi)容處理做出了反應(yīng)從而實(shí)現(xiàn)了預(yù)期結(jié)果或目標(biāo)。如果觀測(cè)結(jié)果不滿意，則在步驟122，模型引擎32改變模型的參數(shù)、類型等等，此后方法100返回步驟110，在此創(chuàng)建新模型。方法100重復(fù)步驟110到122，直至在步驟120確定預(yù)測(cè)的結(jié)果是滿意的。此時(shí)，方法100結(jié)束。用于定義實(shí)驗(yàn)的方法圖9是根據(jù)本發(fā)明實(shí)施方式的用于定義針對(duì)結(jié)構(gòu)化內(nèi)容的實(shí)驗(yàn)的示例性方法的流程圖。方法200可以對(duì)應(yīng)于通信管理系統(tǒng)12的實(shí)驗(yàn)65引擎30的操作的各方面?？梢葬槍?duì)與內(nèi)容系統(tǒng)10協(xié)作的通信管理系統(tǒng)12所執(zhí)行的每個(gè)實(shí)驗(yàn)來執(zhí)行方法200。每個(gè)實(shí)驗(yàn)可以關(guān)注或?qū)Ｗ⒂诳梢源鎯?chǔ)在內(nèi)容系統(tǒng)10中的內(nèi)容15的特定集合。例如，內(nèi)容15的任何集合可以包括書面文本、圖像、圖形、動(dòng)畫、視頻、音樂、語音等等。內(nèi)容的基本組成部分可以是文本文件、圖像文件、音頻文件、視頻文件等等。方法200開始于步驟202，在此，對(duì)于當(dāng)前實(shí)驗(yàn)，實(shí)驗(yàn)引擎30標(biāo)識(shí)用戶行為的預(yù)期目標(biāo)/結(jié)果。例如，結(jié)果或目標(biāo)可以是增加銷售和利潤、改進(jìn)電子營銷效力以及激勵(lì)具體商業(yè)智能應(yīng)用。在一個(gè)實(shí)施方式中，內(nèi)容提供商14處的管理者用戶可以經(jīng)由內(nèi)容提供商接口38來標(biāo)識(shí)或選擇預(yù)期目標(biāo)/結(jié)果。在步驟204，實(shí)驗(yàn)引擎30標(biāo)識(shí)內(nèi)容15的特定集合的那些基本組成部分可能潛在地影響與預(yù)期目標(biāo)/結(jié)果有關(guān)的用戶行為。這可以是經(jīng)過設(shè)計(jì)的實(shí)驗(yàn)的一部分。在步驟206，實(shí)驗(yàn)引擎30使用基本組成部分的各種組合來生成多個(gè)備選內(nèi)容結(jié)構(gòu)或處理。例如，每個(gè)內(nèi)容結(jié)構(gòu)或處理可以是web頁面的特定實(shí)現(xiàn)。這些備選內(nèi)容結(jié)構(gòu)可以在通信管理系統(tǒng)12的控制下改變用于一個(gè)或多個(gè)實(shí)驗(yàn)變量的基本組成部分。例如，這些變量可以是背景顏色、屏幕布置、內(nèi)容大小等等。不同數(shù)值或等級(jí)可用于每個(gè)變量。例如，對(duì)于變量“背景顏色”而言，不同的等級(jí)可以是紅色、藍(lán)色、灰色、和黑色。對(duì)于屏幕布置來說，不同的等級(jí)可以是頂部中央、右底部、左下等等。不同的處理可以被另外遞送以響應(yīng)對(duì)內(nèi)容同樣的請(qǐng)求，如在此描述的。在步驟208，實(shí)驗(yàn)引擎分配用于實(shí)驗(yàn)實(shí)現(xiàn)的控制變量和等級(jí)。這得到用于本實(shí)驗(yàn)的內(nèi)容15的特定集合的多種備選內(nèi)容結(jié)構(gòu)或處理。例如，在一個(gè)處理中，橫幅廣告可以具有黃色背景并且放置在屏幕的右上角，而在另一個(gè)處理中，橫幅廣告可以具有藍(lán)色背景并且放置在屏幕的中左部。可以在實(shí)驗(yàn)期間將這些內(nèi)容15的備選處理遞送至用戶16，而后，方法200結(jié)束。用于進(jìn)行實(shí)驗(yàn)和收集數(shù)據(jù)的方法圖10是根據(jù)本發(fā)明實(shí)施方式的用于進(jìn)行實(shí)驗(yàn)和收集用于可跟蹤的結(jié)果/目標(biāo)的數(shù)據(jù)的示例性方法300的流程圖。方法300可以對(duì)應(yīng)于與內(nèi)容系統(tǒng)10協(xié)作的通信管理系統(tǒng)12的操作的各方面。方法300開始于步驟302，在此，實(shí)驗(yàn)引擎30和腳本/調(diào)度引擎39選擇一個(gè)或多個(gè)內(nèi)容結(jié)構(gòu)或處理以便在本實(shí)驗(yàn)期間遞送至用戶16。每個(gè)處理可以是要呈現(xiàn)在web頁面上的內(nèi)容15的特定格式。例如，web頁面內(nèi)容的一個(gè)處理可以包括藍(lán)色背景，在其上，每個(gè)產(chǎn)品的照片被從上到下顯示在屏幕的左邊，在靠近每個(gè)照片右邊處提供有隨附描述。用于內(nèi)容的另一個(gè)處理可以包括紅色背景，在其上，每個(gè)產(chǎn)品的照片從左到右顯示在屏幕的上方，在每個(gè)照片下面提供有隨附描述。備選地，這些處理可以響應(yīng)于針對(duì)內(nèi)容的同樣請(qǐng)求而遞送。一個(gè)示例性的請(qǐng)求可以是針對(duì)顯示特定商品(例如，幾件服裝產(chǎn)品)的web頁面的請(qǐng)求。這種web頁面請(qǐng)求可以指定該web頁面的特定標(biāo)識(shí)符，例如，統(tǒng)一資源定位器(URL)。而且，web頁面請(qǐng)求可以涉及點(diǎn)擊網(wǎng)頁上特定超鏈接的用戶動(dòng)作。在步驟304，通信管理系統(tǒng)12指定接收選定處理的用戶16的特定目標(biāo)群或區(qū)段。在一個(gè)實(shí)施方式中，管理者用戶可以顯式指定站點(diǎn)用戶的特定目標(biāo)群。例如，目標(biāo)群可以是那些在平目的下午4點(diǎn)到晚上10點(diǎn)之間訪問特定web頁面的用戶。在步驟306，分配器模塊22統(tǒng)計(jì)地采樣，以便從目標(biāo)群選擇用戶16的一個(gè)或多個(gè)控制群組。例如，在一個(gè)實(shí)施方式中，統(tǒng)計(jì)采樣過程可以用來從所有簡(jiǎn)檔匹配的站點(diǎn)訪問者中選擇將接收在此描述的控制處理的隨機(jī)樣本。每個(gè)控制群組可以包括從內(nèi)容提供商12請(qǐng)求內(nèi)容的一個(gè)或多個(gè)用戶16。響應(yīng)于針對(duì)內(nèi)容的相同請(qǐng)求，每個(gè)控制群組可以在實(shí)驗(yàn)期間接收不同的處理。在步驟308，通信管理系統(tǒng)12分配用于實(shí)現(xiàn)的控制變量和數(shù)值/等級(jí)，由此指定將向每個(gè)控制群組遞送什么處理。在步驟310，分配器模塊22經(jīng)由用戶接口26將相應(yīng)的處理分配或遞送至每個(gè)控制群組。在實(shí)驗(yàn)期間，可以向針對(duì)內(nèi)容提供商14的網(wǎng)站發(fā)起相同請(qǐng)求(例如，通過指定同樣的URL或點(diǎn)擊同樣的超鏈接)的各用戶16遞送不同的處理。參考上文描述的示例，請(qǐng)求服裝產(chǎn)品有關(guān)信息的第一控制群組可以接收具有藍(lán)色背景和垂直放置的照片的處理，而請(qǐng)求同樣信息的第二控制群組可以接收具有紅色背景和水平放置的照片的處理。分配器模塊22可以存儲(chǔ)或記錄控制處理的有關(guān)信息并且遞送至觀測(cè)模塊36中的相應(yīng)控制群組。在步驟312，與內(nèi)容系統(tǒng)10協(xié)作的通信管理系統(tǒng)12跟蹤接收各種處理的用戶16與站點(diǎn)相關(guān)的行為。該行為可以是用戶如何順利地或不順利地查看各種處理的指示符。繼續(xù)考慮直接的示例，在呈現(xiàn)包括藍(lán)色背景和垂直對(duì)準(zhǔn)的照片的處理時(shí)，第一控制群組中40%的用戶可能實(shí)際購買服裝產(chǎn)品，而在呈現(xiàn)包括紅色背景和水平對(duì)準(zhǔn)的照片的處理時(shí)，第二控制群組中只有15%的用戶實(shí)際購買服裝產(chǎn)品。該信息或數(shù)據(jù)可以包括與預(yù)期目標(biāo)/結(jié)果相關(guān)聯(lián)的因變量信息。所有這些信息可以作為觀測(cè)數(shù)據(jù)78存儲(chǔ)到觀測(cè)模塊36中。在一個(gè)實(shí)施方式中，可以將用戶行為分類為不同狀態(tài)。例如，這些狀態(tài)可以是購買貨物的決定、不購買貨物的決定、停留在特定web頁面的決定、移動(dòng)到另一個(gè)web頁面的決定，等等?？邕^不同的控制群組，通信管理系統(tǒng)12可以針對(duì)各處理記錄用戶行為的狀態(tài)的每個(gè)變化，以標(biāo)識(shí)處理中的差異如何影響狀態(tài)的變化。方法300繼而可以結(jié)束。用于建模和預(yù)測(cè)的方法圖11是根據(jù)本發(fā)明實(shí)施方式的用于建模和預(yù)測(cè)的示例性方法400的流程圖。方法400可以對(duì)應(yīng)于通信管理系統(tǒng)12的模型引擎32和預(yù)測(cè)引擎34的操作的各方面。方法400開始于步驟402，在此，模型引擎32從觀測(cè)模塊36獲取在部分由實(shí)驗(yàn)引擎30進(jìn)行的實(shí)驗(yàn)期間產(chǎn)生的觀測(cè)數(shù)據(jù)。該觀測(cè)數(shù)據(jù)包括與訪問內(nèi)容提供商14網(wǎng)站的用戶16的觀測(cè)行為有關(guān)的數(shù)據(jù)或信息。除其他之外，觀測(cè)數(shù)據(jù)例如可以指定訪問內(nèi)容提供商14網(wǎng)站的用戶、將內(nèi)容遞送至每個(gè)用戶的實(shí)驗(yàn)條件、每個(gè)訪問的觀測(cè)成果或結(jié)果、以及關(guān)于每個(gè)訪問期間觀測(cè)的行為25的一個(gè)或多個(gè)因變量。在步驟404，模型引擎32使用多元統(tǒng)計(jì)建模技術(shù)(例如BayesianMarkovChainMonteCarlo估計(jì)過程)來分析觀測(cè)數(shù)據(jù)，以確定內(nèi)容15的哪些方面(類型或格式)影響結(jié)果概率性。為此，模型引擎32可以分析或考慮與實(shí)驗(yàn)期間觀測(cè)的行為相關(guān)的各個(gè)因變量。模型引擎32可以生成一個(gè)或多個(gè)預(yù)測(cè)協(xié)變量。在步驟406，使用分析的結(jié)果，與預(yù)測(cè)引擎34協(xié)作的模型引擎32確定什么內(nèi)容結(jié)構(gòu)或處理對(duì)于完成某些預(yù)期結(jié)果或目標(biāo)而言是最好的。特別地，模型引擎32和預(yù)測(cè)引擎34生成例如各用戶16如何對(duì)特定內(nèi)容做出反應(yīng)的預(yù)測(cè)。這可以通過將模型轉(zhuǎn)換為預(yù)測(cè)規(guī)則集來實(shí)現(xiàn)。預(yù)測(cè)規(guī)則將內(nèi)容15發(fā)給具體的用戶16以便實(shí)現(xiàn)預(yù)期目標(biāo)/結(jié)果(例如，產(chǎn)品的銷售)，因此最優(yōu)化內(nèi)容15的遞送。方法400繼而結(jié)束。遞送至控制群組的處理的優(yōu)化選擇根據(jù)一種實(shí)施方式，對(duì)實(shí)驗(yàn)期間遞送至控制群組的處理的選擇進(jìn)行優(yōu)化，以提供被估計(jì)為滿意一個(gè)或多個(gè)實(shí)驗(yàn)?zāi)繕?biāo)的概率最大的處理。如上文所述，圖2中示出的內(nèi)容系統(tǒng)10在實(shí)驗(yàn)期間將處理遞送至用戶，并且通信管理系統(tǒng)12中的觀測(cè)模塊36用于存儲(chǔ)觀測(cè)數(shù)據(jù)。觀測(cè)數(shù)據(jù)包括所觀測(cè)到的與處理交互的用戶的行為的有關(guān)信息。這可以包括實(shí)驗(yàn)條件和觀測(cè)結(jié)果的信息。根據(jù)一種實(shí)施方式，使用所遞送的處理的觀測(cè)數(shù)據(jù)來為遞送至控制群組的處理確定置信度。處理的置信度是對(duì)相應(yīng)的處理或?qū)⒁褂玫奶幚碇械膬?nèi)容元素組合滿足一個(gè)或多個(gè)目標(biāo)的能力的估計(jì)。這些置信度被用來確定新處理的加權(quán)，并且該加權(quán)用來確定將要遞送至控制群組的處理的比例。在一個(gè)示例中，給予具有較高置信度(例如，表示具有較大的能力來滿足一個(gè)或多個(gè)目標(biāo))的處理或內(nèi)容元素組合較高的加權(quán)。繼而，將較高加權(quán)的處理以大于較低加權(quán)的處理的比例遞送至控制群組。這在整個(gè)實(shí)驗(yàn)過程中最小化了次優(yōu)處理的遞送，由此縮短實(shí)驗(yàn)的時(shí)間。圖12示出了如圖2所示系統(tǒng)的實(shí)施方式，其被配置以根據(jù)置信度來執(zhí)行處理的最優(yōu)選擇和遞送。如圖12所述的系統(tǒng)可以包括全部或大多數(shù)圖2中的元件。某些元件進(jìn)一步被配置以執(zhí)行所述優(yōu)化，而其它元件則按照關(guān)于圖2描述的方式來進(jìn)行操作。模型引擎32確定預(yù)測(cè)模型，其用于選擇用于實(shí)驗(yàn)的處理，并且預(yù)測(cè)引擎34確定用于選擇處理的預(yù)測(cè)規(guī)則。根據(jù)一個(gè)實(shí)施方式，預(yù)測(cè)引擎34還基于接收處理的控制群組的觀測(cè)數(shù)據(jù)來確定將要遞送至控制群組的每個(gè)處理的置信度。例如，預(yù)測(cè)引擎34包括置信度確定模塊51。置信度確定模塊51可以包括在模型生成器50中。置信度確定模塊51使用統(tǒng)計(jì)分析來基于觀測(cè)數(shù)據(jù)對(duì)所遞送的處理滿足目標(biāo)的程度進(jìn)行量化。對(duì)于本領(lǐng)域技術(shù)人員而言易見的是，置信度確定模塊51可以在系統(tǒng)的其它區(qū)域中提供。遞送至控制群組的每個(gè)處理可以包括內(nèi)容元素組合，并且處理或處理中的內(nèi)容元素組合的置信度被確定。注意，處理還可能具有單個(gè)內(nèi)容元素，并且因而置信度可以針對(duì)該單個(gè)內(nèi)容元素而確定。在處理中的元素組合描述如下。每個(gè)內(nèi)容元素可以構(gòu)成要考慮和分析的因素，并且每個(gè)內(nèi)容元素可以由類型和變化來表征。例如，考慮存在兩類內(nèi)容元素的情況橫幅廣告和可以顯示在橫幅廣告下面的文本消息。每個(gè)內(nèi)容元素可以具有變化。對(duì)于橫幅廣告而言，變化可以是是靜態(tài)的和移動(dòng)的以及不同顏色背景和文本。對(duì)于文本消息廣告而言，變化可以是不同顏色的文本。橫幅廣告的內(nèi)容元素組合的示例包括具有特定背景顏色(如黃色)和文本顏色(橙色)的移動(dòng)的橫幅廣告。包括具有橙色文本和黃色背景的移動(dòng)的橫幅廣告的處理通過網(wǎng)絡(luò)遞送至一個(gè)或多個(gè)控制群組，每個(gè)控制群組包括一個(gè)或多個(gè)用戶。捕獲每個(gè)控制群組中用戶與處理的交互。在一個(gè)簡(jiǎn)單的示例中，目標(biāo)是最大化點(diǎn)擊廣告的用戶數(shù)量。觀測(cè)模塊36存儲(chǔ)點(diǎn)擊橫幅廣告的用戶的指示。該點(diǎn)擊橫幅廣告的用戶數(shù)量可以由置信度確定模塊51用來確定該橫幅廣告的置信度。該置信度與處理以及處理的元素組合的指示一起存儲(chǔ)。處理的指示可以包括該處理的唯一ID以及該處理中的內(nèi)容元素的描述。元件組合的指示可以標(biāo)識(shí)內(nèi)容元素類型和該組合中每個(gè)元素的類型的特定變化。在這個(gè)示例中，其是具有包括移動(dòng)、黃色背景和橙色文本的變形的橫幅廣告類型。為每個(gè)處理確定置信度并將其存儲(chǔ)。置信度可以存儲(chǔ)在模塊引擎32上，并且例如經(jīng)由預(yù)測(cè)引擎34和分配器模塊22發(fā)送至內(nèi)容存儲(chǔ)24以便存儲(chǔ)。如上所述，預(yù)測(cè)引擎34還可以從模型引擎32接收預(yù)測(cè)模型，并生成預(yù)測(cè)規(guī)則，該預(yù)測(cè)規(guī)則被發(fā)送至分配器模塊22以選擇處理。圖12示出了存儲(chǔ)在內(nèi)容存儲(chǔ)24中的置信度52、處理53以及預(yù)測(cè)規(guī)則54。置信度52用于已經(jīng)被遞送至控制群組的處理。圖13是根據(jù)本發(fā)明實(shí)施方式的用于確定和存儲(chǔ)置信度的示例性方法500的流程圖。方法500通過關(guān)于圖12所示的系統(tǒng)以示例而非限制的方式來描述。注意，在方法500的某些步驟在這里的其他方法中描述。而且，方法500的一個(gè)或多個(gè)步驟可以是用于選擇處理的總體方法中的一部分，如下面關(guān)于方法600所描述的。在步驟501，例如通過網(wǎng)絡(luò)將處理遞送至一個(gè)或多個(gè)控制群組。處理可以包括在線內(nèi)容。內(nèi)容系統(tǒng)10例如選擇處理并將該處理遞送至控制群組。在步驟502，針對(duì)所遞送的處理來捕獲和存儲(chǔ)觀測(cè)數(shù)據(jù)。這包括與處理的用戶交互。用戶在控制群組中。觀測(cè)模塊36可以用來捕獲和存儲(chǔ)觀測(cè)數(shù)據(jù)。觀測(cè)數(shù)據(jù)還可以存儲(chǔ)在內(nèi)容存儲(chǔ)24中。在步驟503，使用觀測(cè)數(shù)據(jù)為所遞送的處理確定置信度。圖12所示的置信度確定模塊51使用觀測(cè)數(shù)據(jù)來確定處理滿足一個(gè)或多個(gè)目標(biāo)的程度。在目標(biāo)是最大化點(diǎn)擊在線廣告的數(shù)量的簡(jiǎn)化示例中，可以使用控制群組的大小和控制群組中點(diǎn)擊廣告的用戶的百分比來確定置信度?？梢允褂幂^為復(fù)雜的統(tǒng)計(jì)分析過程來確定置信度。在步驟504，存儲(chǔ)置信度。每個(gè)存儲(chǔ)的置信度還可以包括相應(yīng)的已遞送處理和處理的元素組合的指示。通過利用置信度來標(biāo)識(shí)元素組合，元素組合和相應(yīng)的置信度可以用來選擇新的處理，以便在實(shí)驗(yàn)期間遞送至控制群組，下面會(huì)詳細(xì)描述。在將處理的不同集合遞送至控制群組和評(píng)估時(shí)，重復(fù)該方法。存儲(chǔ)的置信度繼而可以用于優(yōu)化對(duì)將要遞送至控制群組的新處理的選擇。圖14示出了根據(jù)本發(fā)明的用于實(shí)驗(yàn)中處理的優(yōu)化選擇和遞送的方法600。方法600通過關(guān)于圖12所示的系統(tǒng)以示例而非限制的方式來描述。在步驟601，為實(shí)驗(yàn)確定處理的集合。最初，可以由實(shí)驗(yàn)引擎30來確定處理。例如，實(shí)驗(yàn)引擎30基于實(shí)驗(yàn)定義、內(nèi)容元素的已聲明變化、以及在先前實(shí)驗(yàn)中的觀測(cè)來生成處理。將處理存儲(chǔ)在內(nèi)容存儲(chǔ)24中。從存儲(chǔ)的處理中選擇處理的集合。隨后，基于置信度來確定處理的多個(gè)集合。在步驟602，將該處理的集合遞送至一個(gè)或多個(gè)控制群組，并且，在步驟603，針對(duì)所遞送的處理捕獲觀測(cè)數(shù)據(jù)。這類似于上面描述的方法500的步驟501和502。例如，處理經(jīng)由網(wǎng)絡(luò)遞送至一個(gè)或多個(gè)控制群組。針對(duì)所遞送的處理捕獲和存儲(chǔ)觀測(cè)數(shù)據(jù)。這包括與處理的用戶交互。用戶在控制群組中。觀測(cè)模塊36可以用于捕獲和存儲(chǔ)所述觀測(cè)數(shù)據(jù)。觀測(cè)數(shù)據(jù)還可以存儲(chǔ)在內(nèi)容存儲(chǔ)24中。在步驟604，使用觀測(cè)數(shù)據(jù)來確定預(yù)測(cè)。預(yù)測(cè)是基于類似特征的用戶的過去行為來預(yù)測(cè)用戶將會(huì)如何對(duì)特定的處理做出反應(yīng)的估計(jì)。模型引擎32和預(yù)測(cè)引擎34可以用來生成預(yù)測(cè)。例如，模型引擎32分析觀測(cè)數(shù)據(jù)以生成預(yù)測(cè)模型，并且預(yù)測(cè)引擎34使用預(yù)測(cè)模型來生成用于選擇處理的預(yù)測(cè)規(guī)則。圖4所示的方法400的步驟404和406進(jìn)一步詳細(xì)地描述生成預(yù)測(cè)模型和預(yù)測(cè)規(guī)則。在步驟605，通信管理系統(tǒng)12確定觀測(cè)的結(jié)果是否滿意。這類似于圖8所示的步驟120。例如，通信管理系統(tǒng)12確定控制群組中的用戶是否已經(jīng)以期望的方式對(duì)遞送的內(nèi)容處理做出了反應(yīng)，因而實(shí)現(xiàn)了預(yù)期結(jié)果或目標(biāo)。此確定是基于預(yù)測(cè)模型來執(zhí)行的。如果觀測(cè)的結(jié)果不滿意，則如下文開始于步驟606的步驟中所描述的，選擇新的處理。如果觀測(cè)的結(jié)果是滿意的，那么在步驟610，結(jié)束所述實(shí)驗(yàn)。然后可以將最優(yōu)處理(S卩，可用內(nèi)容的最佳選擇)返回給新的訪問者，并且最優(yōu)處理規(guī)則可以是發(fā)布。所述最優(yōu)處理規(guī)則可以用于選擇最優(yōu)處理并將其遞送至新的訪問者。在步驟606，使用觀測(cè)數(shù)據(jù)來確定集合中的處理的置信度，并且存儲(chǔ)置信度例如在方法500中的步驟503和504中描述的。在步驟607，基于置信度來確定處理的新集合。可以使用置信度、預(yù)測(cè)模型以及預(yù)測(cè)規(guī)則來選擇處理的新集合。類似于圖8中的步驟116，分配器模塊22應(yīng)用預(yù)測(cè)規(guī)則以例如從內(nèi)容存儲(chǔ)24中選擇處理的新集合。根據(jù)一個(gè)實(shí)施方式，從候選處理的群組中選擇處理的新集合。因此，在選擇處理的新集合之前，確定候選處理的群組。處理基于其置信度以及使用其他標(biāo)準(zhǔn)而被選為候選處理。如上文所述，確定處理的置信度。置信度可以與處理一起存儲(chǔ)，或者置信度可以針對(duì)相應(yīng)的元素組合而存儲(chǔ)信任，并且根據(jù)每個(gè)處理中的元素組合來與處理相匹配。在一個(gè)實(shí)例中，置信度低于閾值的處理被剔除并且不被選作候選處理。閾值可以是用于標(biāo)識(shí)明顯不能滿足實(shí)驗(yàn)?zāi)繕?biāo)的處理的相對(duì)較低的閾值。將置信度高于閾值的處理選作候選處理。這些候選處理用于在步驟607標(biāo)識(shí)的新的一組處理。在步驟608，為每個(gè)候選處理確定權(quán)重。例如，由預(yù)測(cè)引擎34為每個(gè)候選處理計(jì)算權(quán)重。加權(quán)可以是這樣的，即給予較高的置信度以較高的權(quán)重。在步驟609，基于權(quán)重來確定遞送的候選處理的比例。例如，為了優(yōu)化對(duì)遞送給控制群組的、被估計(jì)為最能實(shí)現(xiàn)實(shí)驗(yàn)?zāi)繕?biāo)的處理的選擇，將具有較高置信度的候選處理以大于具有較低置信度的候選處理的比例遞送至控制群組。在一個(gè)示例中，針對(duì)元素組合來確定置信度，并且對(duì)元素組合進(jìn)行加權(quán)。從內(nèi)容存儲(chǔ)24選擇具有對(duì)應(yīng)于較高加權(quán)的組合的元素組合的處理，并且將其以大于具有較低加權(quán)的元素組合的處理的比例進(jìn)行遞送。置信度可能錯(cuò)誤地確定。例如，處理被不準(zhǔn)確地給予了低置信度。隨著處理隨著時(shí)間被重新遞送至控制群組，所述處理會(huì)被自動(dòng)地給予較高的置信度，因?yàn)閷?huì)被控制群組的用戶持續(xù)地選擇。因此，加權(quán)過程提供自動(dòng)置信度改正。重復(fù)方法600的步驟，直至識(shí)別出處理滿足了實(shí)驗(yàn)?zāi)繕?biāo)。方法600應(yīng)該減小步驟中標(biāo)識(shí)滿足目標(biāo)的處理的時(shí)間量，以用于新集合的處理的最優(yōu)選擇過程。包括計(jì)算機(jī)可讀介質(zhì)的計(jì)算機(jī)系統(tǒng)15出示了可以和在此描述的實(shí)施方式使用的計(jì)算機(jī)系統(tǒng)700。計(jì)算機(jī)系統(tǒng)700代表包括可以用在用戶裝置或可以在用于服務(wù)提供商的服務(wù)器中的部件的一般平臺(tái)。計(jì)算機(jī)系統(tǒng)700可以作為用于執(zhí)行一個(gè)或多個(gè)所述方法、功能和在此描述的其他步驟的平臺(tái)來使用。計(jì)算機(jī)系統(tǒng)700包括可以實(shí)現(xiàn)或執(zhí)行實(shí)行一些或全部方法、功能和在此描述的其他步驟的軟件指令。所述軟件存儲(chǔ)于計(jì)算機(jī)可讀介質(zhì)中，例如主存儲(chǔ)器706和/或次級(jí)數(shù)據(jù)存儲(chǔ)708。來自處理器702的命令和數(shù)據(jù)基于通信總線704來通信。計(jì)算機(jī)系統(tǒng)700還包括主存儲(chǔ)器706，例如隨機(jī)訪問存儲(chǔ)器(RAM)，所述軟件和用于處理器702的數(shù)據(jù)可以在運(yùn)行期間停留，以及次數(shù)據(jù)存儲(chǔ)708，其可以是非易失性的并存儲(chǔ)軟件和數(shù)據(jù)。所述存儲(chǔ)器和數(shù)據(jù)存儲(chǔ)是計(jì)算機(jī)可讀介質(zhì)的實(shí)例。計(jì)算機(jī)系統(tǒng)700可以包括一個(gè)或多個(gè)I/O裝置710，例如鍵盤、鼠標(biāo)、顯示器等等。計(jì)算機(jī)系統(tǒng)700可以包括用于連接至網(wǎng)絡(luò)的網(wǎng)絡(luò)接口712。對(duì)本領(lǐng)域技術(shù)人員而言，可以在計(jì)算機(jī)系統(tǒng)700中增加或替代其他公知的電子部件是顯然的。當(dāng)已經(jīng)關(guān)于實(shí)例描述所述實(shí)施方式，本領(lǐng)域技術(shù)人員將能夠在不脫離主張的實(shí)施方式的范圍內(nèi)對(duì)所描述的實(shí)施方式進(jìn)行不同的修改。權(quán)利要求一種用于通過數(shù)據(jù)網(wǎng)絡(luò)來進(jìn)行實(shí)驗(yàn)的方法，所述方法包括確定將要通過用于所述實(shí)驗(yàn)的所述網(wǎng)絡(luò)遞送給至少一個(gè)控制群組的處理的第一集合，其中，每個(gè)處理包括內(nèi)容元素的組合；通過所述網(wǎng)絡(luò)，將所述處理的第一集合遞送至所述至少一個(gè)控制群組；當(dāng)為每個(gè)控制群組呈現(xiàn)所述第一集合中的至少一個(gè)所述處理時(shí)，跟蹤每個(gè)控制群組的行為；基于所跟蹤的行為確定每個(gè)處理的置信度，其中每個(gè)置信度是對(duì)將要使用的相應(yīng)處理或者相應(yīng)處理中的內(nèi)容元素的所述組合滿足所述實(shí)驗(yàn)的一個(gè)或多個(gè)目標(biāo)的能力的估計(jì)；以及至少基于所述置信度來確定遞送給所述至少一個(gè)控制群組的處理的新集合。2.根據(jù)權(quán)利要求1所述的方法，其中，至少基于所述確定的置信度來確定遞送給所述至少一個(gè)控制群組的處理的新集合進(jìn)一步包括標(biāo)識(shí)用于所述新集合的候選處理；確定每個(gè)候選處理的置信度；基于相應(yīng)的置信度為每個(gè)候選處理加權(quán)；以及基于所述加權(quán)來選擇用于所述新集合的候選處理。3.根據(jù)權(quán)利要求2所述的方法，進(jìn)一步包括基于所述加權(quán)來確定遞送給每個(gè)控制群組的所述新集合的所述候選處理的比例。4.根據(jù)權(quán)利要求3所述的方法，其中，由于具有較高置信度而被確定為具有較高加權(quán)的候選處理以高于被確定為具有較低加權(quán)的候選處理的比例被遞送給每個(gè)控制群組。5.根據(jù)權(quán)利要求3所述的方法，進(jìn)一步包括使用置信度閾值來確定不將處理包括在所述新集合中。6.根據(jù)權(quán)利要求2所述的方法，進(jìn)一步包括存儲(chǔ)用于所述處理的第一集合以及遞送給所述至少一個(gè)控制群組的任何其它處理的置信度。7.根據(jù)權(quán)利要求6所述的方法，其中確定每個(gè)候選處理的置信度進(jìn)一步包括獲取每個(gè)候選處理的已存儲(chǔ)的置信度。8.根據(jù)權(quán)利要求1-7中任一項(xiàng)所述的方法，其中，每個(gè)處理包括元素的組合，并且每個(gè)元素包括用于所述元素的多個(gè)變化中的變化。9.根據(jù)權(quán)利要求1-7中任一項(xiàng)所述的方法，其中，至少基于所述置信度來確定遞送給所述至少一個(gè)控制群組的處理的新集合進(jìn)一步包括基于對(duì)哪些處理被估計(jì)為能實(shí)現(xiàn)所述一個(gè)或多個(gè)目標(biāo)的預(yù)測(cè)，來確定所述處理的新集合。10.根據(jù)權(quán)利要求9所述的方法，進(jìn)一步包括根據(jù)包括所述至少一個(gè)控制群組的控制群組的觀測(cè)行為，來確定預(yù)測(cè)模型；以及根據(jù)所述預(yù)測(cè)模型來確定所述預(yù)測(cè)。11.根據(jù)權(quán)利要求1-7中任一項(xiàng)所述的方法，其中，所述新的處理集合包括具有與所述第一集合中的至少一個(gè)處理相同的元素組合的一個(gè)或多個(gè)處理，所述一個(gè)或多個(gè)處理被確定為相對(duì)于先前遞送給所述至少一個(gè)控制群組的其他處理而言具有高置信度。12.根據(jù)權(quán)利要求1-7中任一項(xiàng)所述的方法，進(jìn)一步包括確定所述一個(gè)或多個(gè)目標(biāo)是否被滿足；以及如果所述一個(gè)或多個(gè)目標(biāo)未被滿足，則基于先前遞送的處理的置信度來重復(fù)確定處理的新集合。13.—種被配置以提供用于評(píng)估內(nèi)容的實(shí)驗(yàn)的系統(tǒng)，所述系統(tǒng)包括內(nèi)容系統(tǒng)，其可操作以存儲(chǔ)內(nèi)容，所述內(nèi)容包括處理，每個(gè)處理具有內(nèi)容元素的組合，以及其中所述內(nèi)容系統(tǒng)可操作以存儲(chǔ)每個(gè)處理的置信度，并且其中每個(gè)置信度是將要使用的相應(yīng)處理滿足一個(gè)或多個(gè)目標(biāo)的能力的估計(jì)；以及通信管理系統(tǒng)，其與所述內(nèi)容系統(tǒng)通信，并且可操作以定義實(shí)驗(yàn)、通過數(shù)據(jù)網(wǎng)絡(luò)將處理遞送給至少一個(gè)控制群組從而進(jìn)行所述實(shí)驗(yàn)，以及通過所述數(shù)據(jù)網(wǎng)絡(luò)從所述至少一個(gè)控制群組收集觀測(cè)數(shù)據(jù)，所述觀測(cè)數(shù)據(jù)涉及針對(duì)每個(gè)處理的用戶行為，其中，所述通信管理系統(tǒng)可操作以確定所述存儲(chǔ)的置信度，并且所述內(nèi)容系統(tǒng)可操作以基于先前遞送至所述至少一個(gè)控制群組的處理的所述置信度來選擇新的處理以遞送至用于所述實(shí)驗(yàn)的所述至少一個(gè)控制群組。14.根據(jù)權(quán)利要求13所述的系統(tǒng)，其中，所述內(nèi)容系統(tǒng)基于所述先前遞送的處理的所述置信度來選擇候選處理，并且基于根據(jù)所述候選處理的所述置信度而確定的所述候選處理的加權(quán)來確定遞送至所述控制群組的所述候選處理的比例。15.根據(jù)權(quán)利要求14所述的系統(tǒng)，其中，所述比例標(biāo)識(shí)要遞送的處理的較高置信度與較低置信度的比率。16.根據(jù)權(quán)利要求13至15中任一項(xiàng)所述的系統(tǒng)，其中，所述通信管理系統(tǒng)包括可操作以確定預(yù)測(cè)的預(yù)測(cè)引擎，所述預(yù)測(cè)描述要遞送至所述至少一個(gè)控制群組以實(shí)現(xiàn)所述一個(gè)或多個(gè)目標(biāo)的內(nèi)容，并且所述預(yù)測(cè)用于選擇所述新的處理。17.一種用于通過數(shù)據(jù)網(wǎng)絡(luò)來進(jìn)行實(shí)驗(yàn)的設(shè)備，所述設(shè)備包括用于確定將要通過用于所述實(shí)驗(yàn)的所述網(wǎng)絡(luò)遞送給至少一個(gè)控制群組的處理的第一集合的裝置，其中，每個(gè)處理包括內(nèi)容元素的組合；用于通過所述網(wǎng)絡(luò)將所述處理的第一集合遞送至所述至少一個(gè)控制群組的裝置；用于在為每個(gè)控制群組呈現(xiàn)所述第一集合中的至少一個(gè)所述處理時(shí)跟蹤每個(gè)控制群組的行為的裝置；用于基于所跟蹤的行為來確定每個(gè)處理的置信度的裝置，其中每個(gè)置信度是對(duì)將要使用的相應(yīng)處理或者相應(yīng)處理中的內(nèi)容元素的所述組合滿足所述實(shí)驗(yàn)的一個(gè)或多個(gè)目標(biāo)的能力的估計(jì)；以及用于至少基于所述置信度來確定遞送給所述至少一個(gè)控制群組的處理的新集合的裝置。18.根據(jù)權(quán)利要求17所述的設(shè)備，其中，所述用于至少基于所述確定的置信度來確定遞送給所述至少一個(gè)控制群組的處理的新集合的裝置進(jìn)一步包括用于標(biāo)識(shí)用于所述新集合的候選處理的裝置；用于確定每個(gè)候選處理的置信度的裝置；用于基于相應(yīng)的置信度為每個(gè)候選處理加權(quán)的裝置；以及用于基于所述加權(quán)來選擇用于所述新集合的候選處理的裝置。19.根據(jù)權(quán)利要求18所述的設(shè)備，進(jìn)一步包括用于基于所述加權(quán)來確定遞送給每個(gè)控制群組的所述新集合的所述候選處理的比例的裝置。120.根據(jù)權(quán)利要求19所述的設(shè)備，其中，由于具有較高置信度而被確定為具有較高加權(quán)的候選處理以高于被確定為具有較低加權(quán)的候選處理的比例被遞送給每個(gè)控制群組。21.根據(jù)權(quán)利要求19所述的設(shè)備，進(jìn)一步包括用于使用置信度閾值來確定不將處理包括在所述新集合中的裝置。22.根據(jù)權(quán)利要求18所述的設(shè)備，進(jìn)一步包括用于存儲(chǔ)用于所述處理的第一集合以及遞送給所述至少一個(gè)控制群組的任何其它處理的置信度的裝置。23.根據(jù)權(quán)利要求22所述的設(shè)備，其中所述用于確定每個(gè)候選處理的置信度的裝置進(jìn)一步包括用于獲取每個(gè)候選處理的已存儲(chǔ)的置信度的裝置。24.根據(jù)權(quán)利要求17-23中任一項(xiàng)所述的設(shè)備，其中，每個(gè)處理包括元素的組合，并且每個(gè)元素包括用于所述元素的多個(gè)變化中的變化。25.根據(jù)權(quán)利要求17-23中任一項(xiàng)所述的設(shè)備，其中，所述用于至少基于所述置信度來確定遞送給所述至少一個(gè)控制群組的處理的新集合的裝置進(jìn)一步包括用于基于對(duì)哪些處理被估計(jì)為能實(shí)現(xiàn)所述一個(gè)或多個(gè)目標(biāo)的預(yù)測(cè)來確定所述處理的新集合的裝置。26.根據(jù)權(quán)利要求25所述的設(shè)備，進(jìn)一步包括用于根據(jù)包括所述至少一個(gè)控制群組的控制群組的觀測(cè)行為來確定預(yù)測(cè)模型的裝置；以及用于根據(jù)所述預(yù)測(cè)模型來確定所述預(yù)測(cè)的裝置。27.根據(jù)權(quán)利要求17-23中任一項(xiàng)所述的設(shè)備，其中，所述新的處理集合包括具有與所述第一集合中的至少一個(gè)處理相同的元素組合的一個(gè)或多個(gè)處理，所述一個(gè)或多個(gè)處理被確定為相對(duì)于先前遞送給所述至少一個(gè)控制群組的其他處理而言具有高置信度。28.根據(jù)權(quán)利要求17-23中任一項(xiàng)所述的設(shè)備，進(jìn)一步包括用于確定所述一個(gè)或多個(gè)目標(biāo)是否被滿足的裝置；以及用于在所述一個(gè)或多個(gè)目標(biāo)未被滿足的情況下基于先前遞送的處理的置信度來重復(fù)確定處理的新集合的裝置。全文摘要本申請(qǐng)涉及數(shù)字營銷優(yōu)化。具體地，公開了一種用于實(shí)驗(yàn)的系統(tǒng)，包括實(shí)驗(yàn)引擎，其能夠定義涉及用于內(nèi)容元素集合的各種處理的實(shí)驗(yàn)。實(shí)驗(yàn)引擎通過網(wǎng)絡(luò)將處理遞送至控制群組，從而進(jìn)行實(shí)驗(yàn)。對(duì)遞送的處理的選擇進(jìn)行優(yōu)化，以提供具有滿足實(shí)驗(yàn)?zāi)繕?biāo)的更大概率的處理。文檔編號(hào)G06Q10/00GK101866444SQ20091020504公開日2010年10月20日申請(qǐng)日期2009年10月20日優(yōu)先權(quán)日2008年10月21日發(fā)明者C·納托利,S·默里,崔鐘元申請(qǐng)人:埃森哲環(huán)球服務(wù)有限公司