本專利文檔的公開內(nèi)容的一部分包含受到版權(quán)保護的材料。在其出現(xiàn)在專利和商標局專利文件或者記錄中時，版權(quán)所有人不反對對本專利文檔或者本專利公開內(nèi)容的任一項的復(fù)制，但是保留除此之外的所有版權(quán)。以下通告適用于該文檔：Copyright?2014Thomson。相關(guān)申請的交叉引用本申請要求美國臨時申請?zhí)枮?1/874,700、2013年9月6日提交的、標題為“MultivariateA/BTestingofMobileApplications”的優(yōu)先權(quán)，其內(nèi)容以其整體并入本文中。
技術(shù)領(lǐng)域：
本公開內(nèi)容一般涉及轉(zhuǎn)換測試和轉(zhuǎn)換率優(yōu)化。更具體地，本公開內(nèi)容針對用于對移動應(yīng)用進行多變量測試以便優(yōu)化客戶與那些應(yīng)用的交互的結(jié)果的系統(tǒng)和方法。
背景技術(shù)：
：在美國，隨著新的虛擬網(wǎng)絡(luò)運營商和多樣大量的定價選項和策略（包括預(yù)付費和后付費電話、基于使用的費用、共享計劃、減速訪問、以及甚至手機補貼、融資和產(chǎn)品返銷項目）的進入，移動通信市場變得非常競爭激烈。承載商、提供商、營銷人員、開發(fā)人員等等因此不斷尋求新的且改進的方式來引入新用戶或者使得現(xiàn)有用戶采納新的和/或附加的、優(yōu)選是生成收益的服務(wù)。鑒于在某種情況下移動空間中的新用戶增長率將會減慢或者甚至平穩(wěn)的一般認識，這種驅(qū)動將在未來變得甚至更加不可避免。作為這種挑戰(zhàn)的一部分，承載商、提供商、營銷人員和開發(fā)人員尋求使其服務(wù)和提供對當前或者潛在新用戶所具有的影響最大化。對于這些承載商、提供商和其用戶界面（UI）設(shè)計者和開發(fā)人員而言的常見挑戰(zhàn)在于，確定對于客戶而言設(shè)計或者消息的哪個變量將是最激發(fā)興趣的。雖然親自的、定性的測試可以提供最準確的度量，但是在大范圍上采納這樣的測試可能是成本高并且時間不允許的?？商鎿Q地，較小范圍上的這樣的測試的性能就能夠驅(qū)動相關(guān)增強而言通常具有這樣的不充分的樣本大小。響應(yīng)于這樣的挑戰(zhàn)，在最近數(shù)年，已經(jīng)觀察到在具有用于測試直接郵件和網(wǎng)站配置的許多商業(yè)解決方案的基于web（網(wǎng)絡(luò)）的A/B和多變量測試方面的增長。如今，存在用于直接郵件和web站點測試（通常覆蓋測試配置、試驗速率、響應(yīng)測量和報告）的許多商業(yè)產(chǎn)品。多變量測試雖然一般由營銷群體主導作為優(yōu)化營銷花費的一種方式，但是也漸增地用于測試用戶體驗設(shè)計。如眾所周知的，A/B測試（或者分離測試）是一種網(wǎng)站優(yōu)化方法，其中活動的業(yè)務(wù)量被驅(qū)動到不同版本的web頁面或者電子郵件（版本A和版本B），并且然后針對用戶與他/她的版本的頁面的交互方式而進行監(jiān)視。針對該分量的“吸引力”或者轉(zhuǎn)換率（即，采取了超越于隨意內(nèi)容觀看或者網(wǎng)站訪問的動作-例如，點擊量、注冊、觀看視頻、成功完成簽出過程-的用戶比例）然后通過響應(yīng)來推斷。這種交互的分析可以幫助web頁面擁有者/開發(fā)人員/設(shè)計者/營銷人員確定哪個頁面更有效。多變量測試使用與A/B測試類似的核心機制，但是包括更多數(shù)量的變量，并且揭示關(guān)于這些變量中的每一個變量如何交互的更多信息。因此，關(guān)于所測試的web頁面或者電子郵件的單獨的分量或者元素的有效性揭示更詳細信息。然而，用于分離和多變量測試的現(xiàn)有基于web的方法通常不提供對于移動的基于web的應(yīng)用的支持，并且即便在其確實提供的那些實例中，依然需要重要的實驗和大量的修訂，以便使其適用于小屏幕。進一步地，這些基于web的解決方案對于在移動環(huán)境中現(xiàn)有的移動應(yīng)用的魯棒（robust）測試而言是不夠適配的。因此，需要一種針對移動應(yīng)用的多變量跨平臺（platform-agnostic）測試平臺，其幫助承載商、提供商、營銷人員和開發(fā)人員優(yōu)化客戶、潛在客戶和其他用戶參與到這些應(yīng)用中。這繼而預(yù)期的是，幫助加速產(chǎn)品開發(fā)、驅(qū)動新客戶和收益增長、增大客戶保留、和/或進一步采納新的和/或附加收益生成產(chǎn)品、服務(wù)和解決方案。技術(shù)實現(xiàn)要素：本公開內(nèi)容針對用于多變量測試的系統(tǒng)和方法。在一方面，該方法包括響應(yīng)于針對訪問設(shè)備上的一個或者多個內(nèi)容項的請求而標識與該訪問設(shè)備相關(guān)聯(lián)的一個或者多個數(shù)據(jù)項，以及基于與訪問設(shè)備相關(guān)聯(lián)的一個或者多個數(shù)據(jù)項而標識一組有效負荷中的一個。所標識的有效負荷然后被檢索和再現(xiàn)（render）在訪問設(shè)備上。在一個實施例中，該方法進一步包括響應(yīng)于與訪問設(shè)備的交互而收集一個或者多個測試結(jié)果。在另一實施例中，該方法進一步包括確定訪問設(shè)備是處于在線模式還是離線模式。當處于在線模式時，該組有效負荷進一步包括一個或者多個測試有效負荷并且所標識的有效負荷從遠程服務(wù)器檢索。相比之下，當訪問設(shè)備處于離線模式時，該組有效負荷進一步包括一個或者多個默認有效負荷，并且所標識的默認有效負荷從訪問設(shè)備檢索。按照一個實施例，從訪問設(shè)備的一個或者多個傳感器收集與訪問設(shè)備相關(guān)聯(lián)的一個或者多個數(shù)據(jù)項。與訪問設(shè)備相關(guān)聯(lián)的一個或者多個數(shù)據(jù)項可以包括以下中的至少一項：訪問設(shè)備類型、訪問設(shè)備制造商、訪問設(shè)備模型、網(wǎng)絡(luò)連接類型、日期、時間、訪問設(shè)備定向、訪問設(shè)備位置（location）、訪問設(shè)備顯示大小、訪問設(shè)備方位（position）、環(huán)境溫度、環(huán)境照明、環(huán)境濕度、環(huán)境壓力、電池電量、音頻輸入能力、圖像/視頻輸入能力、設(shè)備亮度、磁場、顯示文本大小、和生物計量能力。公開了系統(tǒng)以及包括存儲了用于實現(xiàn)各種技術(shù)的機器可讀程序代碼的機器可讀介質(zhì)的制品。將在以下更詳細地討論各種實施例的細節(jié)。附加特征和優(yōu)點將容易地根據(jù)以下具體實施方式、附圖和權(quán)利要求而變得顯而易見。附圖說明圖1是描繪了用于對移動應(yīng)用進行多變量測試的示例性基于計算機的系統(tǒng)的示意圖；圖2是圖示了公開了用于生成用于移動應(yīng)用進行多變量測試的一個或者多個有效負荷的示例性計算機實現(xiàn)方法的流程圖。圖3是圖示了用于對移動應(yīng)用進行多變量測試的示例性計算機實現(xiàn)方法的流程圖；圖4是圖示了用于對移動應(yīng)用進行多變量測試的示例性計算機實現(xiàn)方法的流程圖；以及圖5是移動應(yīng)用的示例性多變量測試的屏幕圖。在各附圖中的相似參考符號指示相似的元素。具體實施方式在以下描述中，參考形成其一部分的附圖，并且其中以圖示的方式示出了可以在其中實踐本公開內(nèi)容的具體實施例。要理解，可以利用其他實施例，并且可以在不偏離本公開內(nèi)容的范圍的情況下做出結(jié)構(gòu)改變。現(xiàn)在轉(zhuǎn)向圖1，呈現(xiàn)了其中可以實現(xiàn)本公開內(nèi)容的實施例的適當計算系統(tǒng)100的示例。計算系統(tǒng)100僅僅是一個示例，并且不打算暗示關(guān)于本公開內(nèi)容的功能性或使用范圍的任何限制。計算系統(tǒng)100也不應(yīng)該被解譯為具有關(guān)于圖示組件中的任一項或者組合的任何依賴或者要求。例如，本公開內(nèi)容利用許多其他通用或者專用計算消費者電子裝置、網(wǎng)絡(luò)PC、小型計算機、大型計算機、膝上型計算機以及包括以上系統(tǒng)或者設(shè)備中的任一項的分布式計算環(huán)境等等而操作。本公開內(nèi)容可以在被計算機執(zhí)行的諸如程序模塊之類的計算機可執(zhí)行指令的一般上下文中描述。一般地，程序模塊包括執(zhí)行特定任務(wù)或?qū)崿F(xiàn)特定抽象數(shù)據(jù)類型的例程、程序、對象、組件、數(shù)據(jù)結(jié)構(gòu)、循環(huán)代碼段和構(gòu)造等等。本公開內(nèi)容可以在分布式計算環(huán)境中實踐，其中任務(wù)由通過通信網(wǎng)絡(luò)鏈接的遠程處理設(shè)備執(zhí)行。在分布式計算環(huán)境中，程序模塊位于包括存儲器存儲設(shè)備的本地和遠程計算機存儲介質(zhì)兩者中。由程序和模塊執(zhí)行的任務(wù)在以下并且利用附圖的輔助來描述。本領(lǐng)域技術(shù)人員可以將本描述和附圖實現(xiàn)為處理器可執(zhí)行指令，其可以被寫在任何形式的計算機可讀介質(zhì)上。在一個實施例中，參考圖1，系統(tǒng)100包括服務(wù)器設(shè)備110，其被配置成包括諸如中央處理單元（“CPU”）之類的處理器112、隨機存取存儲器（“RAM”）114、諸如顯示設(shè)備（未示出）和鍵盤（未示出）之類的一個或者多個輸入輸出設(shè)備116、非易失性存儲器120和數(shù)據(jù)儲存130，這些都經(jīng)由公用總線互連并且由處理器112控制。如在圖1示例中示出的，在一個實施例中，非易失性存儲器120被配置成包括管理模塊122、報告模塊124和測試模塊126。管理模塊122被配置成生成每一個具有嵌入式SDK可執(zhí)行文件的一個或者多個應(yīng)用、針對一個或者多個應(yīng)用的每一個的多個可替換有效負荷、以及針對一個或者多個應(yīng)用的每一個的配置文件。在一個實施例中，每一個應(yīng)用與對應(yīng)的多個可替換有效負荷相關(guān)聯(lián)，并且可替換的有效負荷的每一個與關(guān)聯(lián)于訪問設(shè)備的一個或者多個數(shù)據(jù)項相關(guān)聯(lián)。管理模塊122被進一步配置成更新應(yīng)用和配置文件，以及填充數(shù)據(jù)儲存130中的適當數(shù)據(jù)儲存，其將結(jié)合圖2進一步地詳細討論。按照一個實施例，報告模塊124被配置成從SDK162A接收一個或者多個測試結(jié)果，并且將結(jié)果存儲在數(shù)據(jù)儲存130的適當數(shù)據(jù)儲存中。報告模塊124被進一步配置成充當數(shù)據(jù)儲存130中存儲的測試結(jié)果到報告設(shè)備150的網(wǎng)關(guān)。測試模塊126被配置成使用配置文件基于與訪問設(shè)備160相關(guān)聯(lián)的一個或多個數(shù)據(jù)項來確定和供應(yīng)測試有效負荷。模塊122、124和126的附加細節(jié)結(jié)合圖2-5來討論。如在圖1中示出的，在一個實施例中，提供了網(wǎng)絡(luò)170，其可以包括各種設(shè)備，諸如在內(nèi)聯(lián)網(wǎng)、外聯(lián)網(wǎng)和互聯(lián)網(wǎng)配置中連接的路由器、服務(wù)器、以及交換元件。在一個實施例中，網(wǎng)絡(luò)170采用無線通信協(xié)議在訪問設(shè)備160、服務(wù)器設(shè)備110、數(shù)據(jù)儲存130、報告設(shè)備150和管理設(shè)備140之間傳送信息。例如，網(wǎng)絡(luò)170可以是采用數(shù)字蜂窩標準的蜂窩或者移動網(wǎng)絡(luò)，所述數(shù)字蜂窩標準包括但不限于3GPP、3GPP2、和AMPS標準族，諸如全球移動通信系統(tǒng)（GSM）、通用無線分組業(yè)務(wù)（GPRS）、CDMAOne、CDMA2000、演進數(shù)據(jù)優(yōu)化（EV-DO）、LTE高級、改進數(shù)據(jù)率GSM演進（EDGE）、通用移動通信系統(tǒng)（UMTS）、數(shù)位加強式無線通訊系統(tǒng)（DECT）、數(shù)字AMPS（IS-136/TDMA）、和集成數(shù)字增強型網(wǎng)絡(luò)（iDEN）。網(wǎng)絡(luò)170還可以是諸如互聯(lián)網(wǎng)之類的廣域網(wǎng)（WAN），其采用一個或者多個傳輸協(xié)議，例如TCP/IP。作為另一示例，網(wǎng)絡(luò)170可以采用數(shù)字蜂窩標準和傳輸協(xié)議的組合。在另一實施例中，網(wǎng)絡(luò)170使用有線通信來在訪問設(shè)備160、服務(wù)器設(shè)備110、數(shù)據(jù)儲存130、報告設(shè)備150和管理設(shè)備140之間傳送信息。在又其他實施例中，網(wǎng)絡(luò)170可以采用有線和無線技術(shù)的組合來在訪問設(shè)備160、服務(wù)器設(shè)備110、數(shù)據(jù)儲存130、報告設(shè)備150和管理設(shè)備140之間傳送信息。數(shù)據(jù)儲存130是維持和存儲由之前提及的模塊122、124和126利用的信息的貯存庫。在一個實施例中，數(shù)據(jù)儲存130是關(guān)系數(shù)據(jù)儲存。在另一實施例中，數(shù)據(jù)儲存130是目錄服務(wù)器，諸如輕量級目錄訪問協(xié)議（“LDAP”）。在又另一實施例中，數(shù)據(jù)儲存130是服務(wù)器設(shè)備110的非易失性存儲器120的區(qū)域。在一個實施例中，如在圖1示例中示出的，數(shù)據(jù)儲存130包括配置數(shù)據(jù)儲存132、報告數(shù)據(jù)儲存134、有效負荷數(shù)據(jù)儲存136和應(yīng)用數(shù)據(jù)儲存138。按照一個實施例，配置數(shù)據(jù)儲存132包括一個或者多個配置文件，其每一個標識應(yīng)用、相關(guān)聯(lián)的多個可替換有效負荷和與訪問設(shè)備相關(guān)聯(lián)的對應(yīng)的一個或者多個數(shù)據(jù)項。按照一個實施例，報告數(shù)據(jù)儲存134包括響應(yīng)于訪問設(shè)備160與有效負荷的交互（諸如用戶是否參與了點擊量、用戶觀察了顯示器多久、用戶是否訪問了到其他內(nèi)容的鏈接、用戶所參與的是顯示器上的下拉菜單還是任何單選按鈕的選擇）由SDK162A所收集的一個或者多個測試結(jié)果。進一步地，按照一個實施例，用戶與有效負荷交互的條件被存儲在報告數(shù)據(jù)儲存134中，諸如訪問設(shè)備的地理位置、針對訪問設(shè)備的網(wǎng)絡(luò)連接的強度、關(guān)于用戶的人口信息和訪問設(shè)備160的環(huán)境條件。在一個實施例中，有效負荷數(shù)據(jù)儲存136和應(yīng)用數(shù)據(jù)儲存138分別存儲測試有效負荷和嵌入有SDK的應(yīng)用。雖然圖1中示出的數(shù)據(jù)儲存130被示出為服務(wù)器設(shè)備110的一部分，但是將由本領(lǐng)域技術(shù)人員領(lǐng)會的是，數(shù)據(jù)儲存130和/或此處所示信息中的任何信息可以跨各種服務(wù)器分布，并且通過網(wǎng)絡(luò)150對于服務(wù)器設(shè)備110是可訪問的、直接耦合到服務(wù)器設(shè)備110或者被配置在服務(wù)器設(shè)備110的非易失性存儲器120的區(qū)域中。按照一個實施例，訪問設(shè)備160是諸如智能電話、平板設(shè)備或者其他個人數(shù)字助理設(shè)備之類的移動設(shè)備，其具有用戶界面166、具有軟件開發(fā)工具包可執(zhí)行文件（“SDK”）162A的應(yīng)用模塊162和內(nèi)部存儲組件164、多個傳感器（未示出）、外部存儲組件（未示出）、電力管理系統(tǒng)（未示出）、音頻組件（未示出）、音頻輸入/輸出組件（未示出）、圖像捕獲和處理系統(tǒng)（未示出）、RF天線（未示出）和訂戶標識模塊（SIM）（未示出）。內(nèi)部存儲組件164可以包括例如靜態(tài)隨機存取存儲器（SRAM）或者閃速存儲器組件。按照另一實施例，訪問設(shè)備160是通用或者專用計算設(shè)備，其包括用戶界面166、具有SDK162A的應(yīng)用模塊162、多個傳感器（未示出）、處理器（未示出）、瞬時性和持久性存儲設(shè)備（未示出）、輸入/輸出子系統(tǒng)（未示出）、用于提供包括通用或者專用計算機的組件之間的通信路徑的總線、以及諸如web瀏覽器之類的允許用戶訪問存儲在數(shù)據(jù)儲存130內(nèi)的數(shù)據(jù)的基于web的客戶端應(yīng)用。web瀏覽器的示例在本領(lǐng)域中是已知的，諸如微軟?InternetExplorer?、谷歌ChromeTM、MozillaFirefox?和蘋果?Safari?。按照一個實施例，訪問設(shè)備160可以包括多個訪問設(shè)備，其每一個包括與本文描述的相同的示例性組件。按照一個實施例，應(yīng)用模塊162被配置成執(zhí)行應(yīng)用，其在訪問設(shè)備160的用戶界面166上再現(xiàn)給用戶。在一個實施例中，SDK162A被嵌入在應(yīng)用內(nèi)，在應(yīng)用的運行時間期間執(zhí)行，并且以其被嵌入在其中的應(yīng)用的自然語言編寫。例如，SDK162A可以以針對安卓TM平臺的Java、針對IOS?的ObjectiveC、以及針對微軟?WindowsPhone?的微軟?.NET編寫，或者以針對所支持的基于web的應(yīng)用的JavaScript編寫。在一個實施例中，SDK162A在應(yīng)用執(zhí)行時連接到服務(wù)器設(shè)備110的測試模塊126，并且當訪問設(shè)備160連接到服務(wù)器設(shè)備110時使用配置文件從測試模塊126異步請求測試有效負荷。可替換地，當訪問設(shè)備160未連接到服務(wù)器設(shè)備110時，SDK162A將從內(nèi)部存儲裝置164請求默認有效負荷，以用于在訪問設(shè)備160上呈現(xiàn)。按照一個實施例，管理設(shè)備140是通用或者專用計算設(shè)備，其包括用戶界面144、應(yīng)用模塊142、瞬時性和持久性存儲設(shè)備、輸入/輸出子系統(tǒng)和用于提供包括通用或者專用計算機的組件之間的通信路徑的總線。在一個實施例中，用戶界面144允許用戶通過使用諸如web瀏覽器之類的基于web的應(yīng)用訪問存儲在數(shù)據(jù)儲存130內(nèi)的數(shù)據(jù)。web瀏覽器的示例是在本領(lǐng)域中已知的那些web瀏覽器，諸如微軟?InternetExplorer?、谷歌ChromeTM、MozillaFirefox?和蘋果?Safari?。類似地，在一個實施例中，報告設(shè)備150是通用或者專用計算設(shè)備，其包括用戶界面154、應(yīng)用模塊152、瞬時性和持久性存儲設(shè)備、輸入/輸出子系統(tǒng)和用于提供包括通用或者專用計算機的組件之間的通信路徑的總線。進一步地，應(yīng)該指出的是，在圖1中示出的系統(tǒng)100僅僅是本公開內(nèi)容的一個實施例。本公開內(nèi)容的其他系統(tǒng)實施例可以包括未示出的附加結(jié)構(gòu)，諸如次要存儲裝置移機附加計算設(shè)備。另外，本公開內(nèi)容的各種其他實施例包括比在圖1中示出的那些結(jié)構(gòu)更少的結(jié)構(gòu)。例如，在一個實施例中，本公開內(nèi)容以非聯(lián)網(wǎng)獨立配置在單個計算設(shè)備上實現(xiàn)。數(shù)據(jù)輸入和請求經(jīng)由諸如鍵盤和/或鼠標之類的輸入設(shè)備傳送到計算設(shè)備。系統(tǒng)的諸如所計算的重要性分數(shù)（significancescore）之類的數(shù)據(jù)輸出從計算設(shè)備傳送到諸如計算機監(jiān)視器之類的顯示設(shè)備?，F(xiàn)在轉(zhuǎn)向圖2，公開了一種用于生成用于對移動應(yīng)用進行多變量測試的一個或者多個有效負荷的示例性方法200。在圖3中圖示的示例性實施例中，管理模塊122被用來生成每一個具有嵌入式SDK可執(zhí)行文件的一個或者多個應(yīng)用，步驟210。如之前討論的，嵌入在應(yīng)用內(nèi)的SDK可執(zhí)行文件在應(yīng)用的運行時間期間執(zhí)行并且以其被嵌入其中的應(yīng)用的自然語言編寫。按照一個實施例，所生成的應(yīng)用是以供在諸如智能電話或者平板設(shè)備之類的移動設(shè)備上使用的移動應(yīng)用，并且SDK可以以針對安卓TM平臺的Java、針對IOS?的ObjectiveC、以及針對微軟?WindowsPhone?的微軟?.NET編寫、或者以針對所支持的基于web的應(yīng)用的JavaScript編寫。在步驟220處，管理模塊122被用來生成針對一個或者多個應(yīng)用的每一個的多個可替換的有效負荷。按照一個實施例，有效負荷是內(nèi)容項。內(nèi)容項包括如在本領(lǐng)域中已知的、通過諸如私有內(nèi)聯(lián)網(wǎng)之類的私有網(wǎng)絡(luò)或者諸如互聯(lián)網(wǎng)之類的公共網(wǎng)絡(luò)而可用的任何數(shù)字內(nèi)容。示例性內(nèi)容項包括但不限于web頁面和其相關(guān)聯(lián)內(nèi)容、移動應(yīng)用和在移動應(yīng)用內(nèi)和通過移動應(yīng)用訪問的數(shù)據(jù)、數(shù)字廣告、電子郵件消息和附件、數(shù)字音頻文件、數(shù)字圖像、數(shù)字視頻、數(shù)字文檔等等。在示例性實施例中，多個可替換有效負荷包括一組內(nèi)容項，其每一個可以在再現(xiàn)移動應(yīng)用時呈現(xiàn)。接下來，在步驟230處，管理模塊122被用來將多個可替換有效負荷的每一個與關(guān)聯(lián)于諸如訪問設(shè)備160之類的訪問設(shè)備的一個或者多個數(shù)據(jù)項相關(guān)聯(lián)。如將關(guān)于圖3討論的，與訪問設(shè)備160相關(guān)聯(lián)的數(shù)據(jù)項可以包括與訪問設(shè)備160自身相關(guān)的數(shù)據(jù)項（諸如其定向或者屏幕大?。?、以及與訪問設(shè)備160的環(huán)境相關(guān)的數(shù)據(jù)項（諸如其位置或者其麥克風是否用來接受音頻輸入）。例如，給定的有效負荷可以被配置成與具有到CDMA網(wǎng)絡(luò)的活動蜂窩網(wǎng)絡(luò)連接的、使其查看定向處于橫向（landscape）模式的訪問設(shè)備相關(guān)聯(lián)。在步驟240處，管理模塊122生成針對一個或者多個應(yīng)用的每一個的配置文件。每一個應(yīng)用可以與對應(yīng)的多個可替換有效負荷相關(guān)聯(lián)，并且可替換有效負荷的每一個可以與關(guān)聯(lián)于訪問設(shè)備的一個或者多個數(shù)據(jù)項相關(guān)聯(lián)。例如，在一個實施例中，生成配置文件，其標識針對智能電話的移動應(yīng)用，諸如包括商店定位器功能的購物應(yīng)用；相關(guān)聯(lián)的可替換有效負荷，其可以包括來自不同移動地圖提供（例如，谷歌MapsTM、微軟?Bing?、和蘋果?Maps）的地圖內(nèi)容；以及與每一個可替換有效負荷相關(guān)聯(lián)的一個或者多個數(shù)據(jù)項，諸如設(shè)備類型、網(wǎng)絡(luò)連接、網(wǎng)絡(luò)狀態(tài)和設(shè)備位置。在步驟250處，使用管理模塊122，針對一個或者多個應(yīng)用的每一個而標識默認有效負荷以及一個或者多個測試有效負荷。一個或者多個應(yīng)用的每一個然后被更新以包括所標識的默認有效負荷，并且針對一個或者多個應(yīng)用的每一個的配置文件要標識一個或者多個測試有效負荷，步驟260。從之前的示例繼續(xù)，管理模塊122可以被用來利用作為默認有效負荷的、來自谷歌MapsTM的地圖內(nèi)容以及將來自微軟?Bing?和蘋果?Maps的地圖內(nèi)容標識為測試有效負荷的配置文件來更新購物應(yīng)用。諸如數(shù)據(jù)儲存130之類的數(shù)據(jù)貯存庫由管理模塊122填充以一個或者多個應(yīng)用、針對一個或者多個應(yīng)用的每一個的多個可替換有效負荷以及相關(guān)聯(lián)配置文件，步驟270。按照一個實施例，一個或者多個應(yīng)用被存儲在應(yīng)用數(shù)據(jù)儲存138中，多個可替換有效負荷被存儲在多個數(shù)據(jù)儲存136中，并且配置文件被存儲在配置數(shù)據(jù)儲存132中。從之前的示例繼續(xù)，配置文件存儲以下的標識：（i）包括商店定位器功能的購物應(yīng)用，（ii）不同的移動地圖提供商，谷歌MapsTM、微軟?Bing?和蘋果?Maps以及（iii）作為默認有效負荷的、來自谷歌MapsTM的地圖內(nèi)容以及作為測試有效負荷的、來自微軟?Bing?和蘋果?Maps的地圖內(nèi)容，所述配置文件被填充在數(shù)據(jù)儲存130的配置數(shù)據(jù)儲存132中。類似地，包括商店定位器功能的購物應(yīng)用被存儲在應(yīng)用數(shù)據(jù)儲存138中，并且以到來自不同移動地圖提供商（例如谷歌MapsTM、微軟?Bing?和蘋果?Maps）的地圖內(nèi)容的鏈接的名義的可替換有效負荷被存儲在有效負荷數(shù)據(jù)儲存136中。按照一個實施例，到有效負荷內(nèi)容的鏈接被存儲在有效負荷數(shù)據(jù)儲存136中。在另一實施例中，有效負荷內(nèi)容自身被存儲在有效負荷數(shù)據(jù)儲存136中。在又另一實施例中，有效負荷內(nèi)容自身和到有效負荷的鏈接的組合被存儲在有效負荷數(shù)據(jù)儲存136中?，F(xiàn)在轉(zhuǎn)向圖3，公開了一種用于對移動應(yīng)用進行多變量測試的示例性方法300。在圖3中圖示的示例性實施例中，訪問設(shè)備160的應(yīng)用模塊162經(jīng)由用戶界面166接收針對一個或者多個內(nèi)容項的請求，步驟310。例如，用戶可以在其智能電話上提交針對內(nèi)容項的請求。內(nèi)容項可以包括如在本領(lǐng)域中已知的、通過諸如私有內(nèi)聯(lián)網(wǎng)之類的私有網(wǎng)絡(luò)或者諸如互聯(lián)網(wǎng)之類的公共網(wǎng)絡(luò)而可用的任何數(shù)字內(nèi)容。示例性內(nèi)容項包括但不限于web頁面和其相關(guān)聯(lián)內(nèi)容、移動申請人以及在移動應(yīng)用內(nèi)和通過移動應(yīng)用訪問的數(shù)據(jù)、數(shù)字廣告、電子郵件消息和附件、數(shù)字音頻文件、數(shù)字圖像、數(shù)字視頻、數(shù)字文檔等等。在示例性實施例中，一個或者多個內(nèi)容項包括在移動應(yīng)用內(nèi)和經(jīng)由移動應(yīng)用訪問和請求的數(shù)據(jù)，包括任何web內(nèi)容、廣告、圖像、視頻、音頻和文檔。例如，應(yīng)用可以是包括物理商店定位器功能的購物應(yīng)用，并且所請求的內(nèi)容項是從用戶家到最近的實體商店的一組方向。在步驟320處，與訪問設(shè)備160相關(guān)聯(lián)的一個或者多個數(shù)據(jù)項被SDK162A所標識。按照一個實施例，訪問設(shè)備160是諸如智能電話或者平板設(shè)備之類的移動設(shè)備，其中數(shù)據(jù)項由SDK162A通過被集成在訪問設(shè)備160內(nèi)的一個或者多個傳感器收集。示例性傳感器包括但不限于音頻輸入（諸如麥克風）、圖像/視頻輸入（諸如其或者（一個或者多個）攝像機）、光傳感器、加速度計、生物計量傳感器（諸如指紋掃描儀）、環(huán)境傳感器（諸如壓力、溫度和濕度傳感器）、陀螺儀、磁力計、觸摸屏傳感器、網(wǎng)絡(luò)方位傳感器（GPS、Wi-Fi、藍牙、GSM/CDMA）和接近傳感器。在一個實施例中，與訪問設(shè)備160相關(guān)聯(lián)的數(shù)據(jù)項采取各種各樣的形式，并且可以被廣泛分類為與訪問設(shè)備160自身相關(guān)的數(shù)據(jù)項以及與訪問設(shè)備160的環(huán)境相關(guān)的數(shù)據(jù)項。例如，與訪問設(shè)備160自身相關(guān)的數(shù)據(jù)項包括設(shè)備制造商、設(shè)備模型、設(shè)備類型、設(shè)備定向、設(shè)備顯示大小、設(shè)備顯示亮度、設(shè)備顯示文本大小和設(shè)備電池電量。與訪問設(shè)備160的環(huán)境相關(guān)的示例性數(shù)據(jù)項包括音頻輸入、圖像/視頻輸入、亮度/光敏度、生物計量輸入（例如，指紋和視網(wǎng)膜掃描輸入）、重力測量、環(huán)境濕度、環(huán)境溫度、環(huán)境壓力、位置、磁場、網(wǎng)絡(luò)連接狀態(tài)、網(wǎng)絡(luò)連接類型、方位、訪問設(shè)備位置的接近度和數(shù)據(jù)和時區(qū)。前述數(shù)據(jù)項打算是示例性數(shù)據(jù)項的綜合列表，但不打算是限制所收集的數(shù)據(jù)項的數(shù)量或者類型的窮盡列表。本文呈現(xiàn)的表1提供了移動設(shè)備傳感器和所收集的數(shù)據(jù)項的示例性列表。表1-傳感器和所收集的數(shù)據(jù)項的示例性列表數(shù)據(jù)項傳感器類型模式適用信息音頻輸入麥克風開/關(guān)設(shè)備可以經(jīng)由內(nèi)置或者外部麥克風接受音頻電池電量電池量表自動設(shè)備可以取決于剩余電池量對激勵/遞送信息做出反應(yīng)（或者不做出反應(yīng)）（例如，如果剩余容量低于20%并且不在充電器上，則不遞送視頻流）亮度光傳感器自動/手動設(shè)備可以手動設(shè)置顯示亮度或者可以使用傳感器來自動調(diào)整屏幕亮度日期月/日/年自動設(shè)備可以取決于星期幾（例如，工作日對（versus）周末）或者用于顯示的特定日子（例如，每周一）對激勵/遞送信息做出反應(yīng)（或者不做出反應(yīng)）設(shè)備制造商N/A制造商信息設(shè)備可以對激勵/遞送信息做出反應(yīng)（或者不做出反應(yīng)）設(shè)備模型N/A制造商信息設(shè)備可以對激勵/遞送信息做出反應(yīng)（或者不做出反應(yīng)）設(shè)備定向加速度計縱向/橫向/面向上/面向下返回設(shè)備定向—縱向或者橫向模式、面向上或者面向下設(shè)備類型N/A設(shè)備形狀因子諸如電話、平板設(shè)備、計算機等等的設(shè)備模型顯示大小N/A固定設(shè)備可以取決于顯示大?。ɡ玑槍ζ桨逶O(shè)備對電話對小型可穿戴屏幕而設(shè)置的一個內(nèi)容）對激勵/遞送信息做出反應(yīng)（或者不做出反應(yīng)）指紋生物計量存在/不存在設(shè)備可以取決于是否已經(jīng)做出有效指紋刷過而對激勵/遞送信息做出反應(yīng)（或者不做出反應(yīng)）重力環(huán)境-重力運動檢測設(shè)備可以例如對晃動/傾斜做出反應(yīng)濕度環(huán)境相對濕度設(shè)備周圍的相對濕度可以影響屏幕顯示，并且設(shè)備將對激勵/遞送信息做出反應(yīng)圖像/視頻輸入攝像機開/關(guān)設(shè)備將經(jīng)由內(nèi)置或者外部攝像機接受圖像/視頻輸入位置小區(qū)ID通過網(wǎng)絡(luò)連接的變量設(shè)備在連接到移動電話網(wǎng)絡(luò)時訪問具有唯一小區(qū)ID的網(wǎng)絡(luò)塔?？梢詫С龃笾掠脩粑恢梦恢肎PS開/關(guān)開啟并且鎖定到GPS提供緯度/經(jīng)度信息位置IP地址連接/未連接位置通常可以從訪問的IP地址導出（雖然不具有100%準確度）位置信標連接/未連接設(shè)備可以檢測信標（通常經(jīng)由藍牙）來顯示超本地化內(nèi)容/信息磁場環(huán)境羅盤設(shè)置設(shè)備所指的方向網(wǎng)絡(luò)藍牙開/關(guān)設(shè)備經(jīng)由藍牙連接到其他設(shè)備或者未連接到其他設(shè)備網(wǎng)絡(luò)移動開/關(guān)設(shè)備連接到移動電話網(wǎng)絡(luò)或者未連接到移動電話網(wǎng)絡(luò)網(wǎng)絡(luò)N/A網(wǎng)絡(luò)提供商在連接到（一個或者多個）網(wǎng)絡(luò)的情況下，提供商信息網(wǎng)絡(luò)近場通信開/關(guān)設(shè)備經(jīng)由NFC連接到其他設(shè)備或者未連接到其他設(shè)備網(wǎng)絡(luò)Wi-Fi開/關(guān)設(shè)備連接移動電話網(wǎng)絡(luò)或者未連接到移動電話網(wǎng)絡(luò)方位陀螺儀變量x/y/z三軸陀螺儀提供設(shè)備的方位壓力環(huán)境氣壓壓力設(shè)備周圍的氣壓壓力接近度接近傳感器靠近/遠離可以用來取決于設(shè)備被握持得靠近或者遠離面部而改變屏幕上行為視網(wǎng)膜生物計量存在/不存在設(shè)備可以取決于是否已經(jīng)做出有效視網(wǎng)膜掃描而對激勵/遞送信息做出反應(yīng)（或者不做出反應(yīng)）溫度環(huán)境環(huán)境溫度設(shè)備周圍的環(huán)境溫度文本大小N/A變量設(shè)備可以以不同大小顯示文本時間時/分/秒自動設(shè)備可以取決于一天中的時間（例如，工作時間）或者用于顯示的特定時間（例如，每天在上午10點）對激勵/遞送信息做出反應(yīng)（或者不做出反應(yīng)）在表1中呈現(xiàn)的傳感器和所收集的數(shù)據(jù)項的列表闡述了可能在訪問設(shè)備160上可用的傳感器的綜合列表，其按照一個實施例可以采取移動設(shè)備的形式因子以及對應(yīng)的傳感器模式和所收集的數(shù)據(jù)項。例如，訪問設(shè)備160的加速度計可以用來確定設(shè)備的定向，即，訪問設(shè)備160是處于縱向還是橫向模式，并且訪問設(shè)備160是面向上握持還是面向下握持。在另一示例中，訪問設(shè)備160的麥克風可以用來確定環(huán)境噪聲是否存在和水平。返回圖3，并且從之前示例繼續(xù)，在所述示例中應(yīng)用是包括物理商店定位器功能的購物應(yīng)用并且所請求的內(nèi)容項是從用戶家到最近的實體商店的一組方向，在步驟320處，嵌入在購物應(yīng)用中的SDK162A可以標識關(guān)于示例性移動訪問設(shè)備的以下數(shù)據(jù)項：（a）設(shè)備類型：GalaxyS5，（b）設(shè)備制造商：三星，（c）網(wǎng)絡(luò)連接：AT&T無線，（d）網(wǎng)絡(luò)連接：AT&T公共Wi-Fi，（e）一天中的時間：東部夏季時間上午10:13，（f）日期：2014年4月17日星期四，（g）查看模式：縱向，（h）環(huán)境照明：晴天/明亮，以及（i）位置：緯度33.928/經(jīng)度-84.340（115PerimeterCenterP1）。進一步地，SDK162A可以標識關(guān)于示例性第二移動訪問設(shè)備的以下數(shù)據(jù)項：（a）設(shè)備類型：iPadAir，（b）設(shè)備制造商：蘋果，（c）網(wǎng)絡(luò)連接：Verizon無線，（d）一天中的時間：東部夏季時間上午10:13，（e）日期：2014年4月17日星期四，（f）查看模式：橫向，（g）環(huán)境照明：辦公室，以及（h）位置：緯度33.928/經(jīng)度-84.340（115PerimeterCenterP1）。在步驟330處，多個有效負荷之一由測試模塊126基于一個或者多個數(shù)據(jù)項而標識。按照一個實施例，測試模塊126通過網(wǎng)絡(luò)170從SDK162A接收一個或者多個數(shù)據(jù)項，測試模塊126將繼而結(jié)合存儲在配置數(shù)據(jù)儲存132中的適當配置文件使用所述一個或者多個數(shù)據(jù)項，以便標識適當?shù)挠行ж摵苫蛘叩酱鎯υ谟行ж摵蓴?shù)據(jù)儲存136中的有效負荷的鏈接。從之前的示例繼續(xù)，測試模塊126基于配置文件基于AT&T的地圖提供商是Bing?的事實將有效負荷標識為來自微軟?Bing?的地圖內(nèi)容，并且因此在有效負荷數(shù)據(jù)儲存126中找到至Bing?的適當鏈接，所述測試模塊126已經(jīng)接收了針對示例性移動訪問設(shè)備的以下數(shù)據(jù)項：（a）設(shè)備類型：GalaxyS5，（b）設(shè)備制造商：三星，（c）網(wǎng)絡(luò)連接：AT&T無線，（d）網(wǎng)絡(luò)連接：AT&T公共Wi-Fi，（e）一天中的時間：東部夏季時間上午10:13，（f）日期：2014年4月17日星期四，（g）查看模式：縱向，（h）環(huán)境照明：晴天/明亮，以及（i）位置：緯度33.928/經(jīng)度-84.340（115PerimeterCenterP1）。在一個實施例中，所標識的有效負荷除了內(nèi)容項自身之外還包括優(yōu)化針對應(yīng)用在其上運行的訪問設(shè)備的內(nèi)容項所必要的任何調(diào)整，其由測試模塊126承擔。從之前的示例繼續(xù)，有效負荷將包括來自Bing?的地圖內(nèi)容，其適當適合于處于橫向模式的三星GalaxyS5，并且自動調(diào)整字體、顏色以及地圖顯示方法，以補償由光傳感器所指示的晴天/明亮條件。按照一個實施例，測試模塊126對有效負荷做出任何調(diào)整，以便生成可替換有效負荷，以用于對呈現(xiàn)給用戶的可替換有效負荷執(zhí)行測試的目的。所做出的、用于生成可替換有效負荷的調(diào)整示例包括但不限于：（i）標簽切換，即，改變標簽的文本，（ii）圖像切換，（iii）按鈕修改，即，改變標簽、按鈕的定位和/或顏色，（iv）彈出窗口修改，即改變彈出窗口的文本或者定位，以及（v）動畫修改，即，修改信息被呈現(xiàn)給用戶的方式或者定時。返回圖3，所標識的有效負荷被傳輸?shù)絊DK162A并且被緩存到訪問設(shè)備160的內(nèi)部存儲裝置164。所標識的有效負荷然后響應(yīng)于針對一個或者多個內(nèi)容項的請求，由SDK162A再現(xiàn)在訪問設(shè)備160的用戶界面166上，步驟340。例如，在所標識的有效負荷是來自Bing?的、適當適合于處于橫向模式的三星GalaxyS5并且自動調(diào)整字體、顏色以及地圖顯示方法以補償由光傳感器所指示的晴天/明亮條件的地圖內(nèi)容的情況下，有效負荷由SDK162A下載，存儲在內(nèi)部存儲裝置164中，并且在用戶界面166上的購物應(yīng)用中內(nèi)再現(xiàn)。在步驟350處，一個或者多個測試結(jié)果響應(yīng)于訪問設(shè)備160與所標識的有效負荷的交互由SDK162A收集。例如，由SDK162A監(jiān)視和收集與移動應(yīng)用的所有用戶交互，諸如用戶是否參與了點擊量、用戶觀察了顯示器多久、用戶是否訪問了到其他內(nèi)容的鏈接、用戶所參與的是顯示器上的下拉菜單還是任何單選按鈕的選擇。進一步地，按照一個實施例，監(jiān)視和記錄用戶與所標識的有效負荷交互的條件。這樣的條件的示例包括但不限于訪問設(shè)備的地理位置、針對訪問設(shè)備的網(wǎng)絡(luò)連接的強度、關(guān)于用戶的人口信息和訪問設(shè)備的環(huán)境條件。一個或者多個測試結(jié)果然后響應(yīng)于訪問設(shè)備160與所標識有效負荷的交互由SDK162A報告給報告模塊124，并且隨后存儲在報告數(shù)據(jù)儲存134中，步驟360。例如，關(guān)于用戶是否參與點擊量或者用戶觀察了顯示器多久的測試結(jié)果被異步地從SDK162A傳輸?shù)綀蟾婺K124，并且隨后存儲在報告數(shù)據(jù)儲存134中。按照一個實施例，存儲在報告數(shù)據(jù)儲存134中的一個或者多個測試結(jié)果通過由應(yīng)用模塊152執(zhí)行的web應(yīng)用經(jīng)由報告模塊124而對于報告設(shè)備150是可訪問的?，F(xiàn)在轉(zhuǎn)向圖4，公開了一種用于對移動應(yīng)用進行多變量測試的示例性方法400。在圖4中示出的圖示實施例中，訪問設(shè)備160的應(yīng)用模塊162經(jīng)由用戶界面166接收針對一個或者多個內(nèi)容項的請求，步驟410。如之前討論的，內(nèi)容項包括如在本領(lǐng)域中已知的、通過私有網(wǎng)絡(luò)或者公共網(wǎng)絡(luò)可用的任何數(shù)字內(nèi)容，諸如web頁面和其相關(guān)聯(lián)內(nèi)容、移動申請人和在移動應(yīng)用內(nèi)以及通過該移動應(yīng)用訪問的數(shù)據(jù)、數(shù)字廣告、電子郵件消息和附件、數(shù)字音頻文件、數(shù)字圖像、數(shù)字視頻、數(shù)字文檔等等。在示例性實施例中，一個或者多個內(nèi)容項包括在移動應(yīng)用內(nèi)以及經(jīng)由移動應(yīng)用所訪問和請求的數(shù)據(jù)，包括任何web內(nèi)容、廣告、圖像、視頻、音頻和文檔。在步驟420處，與訪問設(shè)備160相關(guān)聯(lián)的一個或者多個數(shù)據(jù)項被SDK162A標識。如之前結(jié)合圖3討論的，在一個實施例中，與訪問設(shè)備160相關(guān)聯(lián)的數(shù)據(jù)項采取各種各樣的形式，并且可以被廣泛地分類為與訪問設(shè)備160自身相關(guān)的數(shù)據(jù)項以及與訪問設(shè)備160的環(huán)境相關(guān)的數(shù)據(jù)項。參考回圖4，按照一個實施例，然后做出關(guān)于訪問設(shè)備160是否處于在線模式并且連接到網(wǎng)絡(luò)170的確定，步驟430。按照一個實施例，SDK162A通過分析關(guān)于訪問設(shè)備160的網(wǎng)絡(luò)連接所收集的一個或者多個數(shù)據(jù)項而做出關(guān)于訪問設(shè)備160是否連接到網(wǎng)絡(luò)170的確定。例如，由SDK162A做出關(guān)于訪問設(shè)備160是否連接到蜂窩或者Wi-Fi網(wǎng)絡(luò)的確定。如果確定訪問設(shè)備160處于在線模式，則基于與訪問設(shè)備相關(guān)聯(lián)的一個或者多個數(shù)據(jù)項而標識一組測試有效負荷中的一個，步驟440。按照一個實施例，測試模塊126通過網(wǎng)絡(luò)170從SDK162A接收一個或者多個數(shù)據(jù)項，測試模塊126將繼而結(jié)合存儲在配置數(shù)據(jù)儲存132中的適當配置文件使用所述一個或者多個數(shù)據(jù)項，以便標識適當?shù)挠行ж摵苫蛘叩酱鎯υ谟行ж摵蓴?shù)據(jù)儲存136中的有效負荷的鏈接。從之前的示例繼續(xù)，測試模塊126使用存儲在配置文件儲存132中的配置文件基于AT&T的地圖提供商是Bing?的事實將來自一組測試有效負荷中的測試有效負荷標識為來自微軟?Bing?的地圖內(nèi)容，并且因此在有效負荷數(shù)據(jù)儲存126中找到至Bing?的適當鏈接，所述測試模塊126已經(jīng)接收了針對訪問設(shè)備160的以下數(shù)據(jù)項：（a）設(shè)備類型：GalaxyS5，（b）設(shè)備制造商：三星，（c）網(wǎng)絡(luò)連接：AT&T無線，（d）網(wǎng)絡(luò)連接：AT&T公共Wi-Fi，（e）一天中的時間：東部夏季時間上午10:13，（f）日期：2014年4月17日星期四，（g）查看模式：縱向，（h）環(huán)境照明：晴天/明亮，以及（i）位置：緯度33.928/經(jīng)度-84.340（115PerimeterCenterP1）。所標識的有效負荷響應(yīng)于針對內(nèi)容項的請求而被再現(xiàn)在訪問設(shè)備160上，步驟450?？商鎿Q地，如果確定訪問設(shè)備160處于離線模式并且未連接到網(wǎng)絡(luò)170，則在步驟455處，基于與訪問設(shè)備160相關(guān)聯(lián)的一個或者多個數(shù)據(jù)項而標識默認有效負荷。從之前的示例繼續(xù)，SDK162A確定訪問設(shè)備160處于離線模式，這是因為其未識別出網(wǎng)絡(luò)連接，所述SDK162A已經(jīng)標識了針對訪問設(shè)備160的以下數(shù)據(jù)項：（a）設(shè)備類型：GalaxyS5，（b）設(shè)備制造商：三星，（c）網(wǎng)絡(luò)連接：NA，（e）一天中的時間：東部夏季時間上午10:13，（f）日期：2014年4月17日星期四，（g）查看模式：縱向，（h）環(huán)境照明：晴天/明亮，以及（i）位置：NA。因此，SDK162A基于與訪問設(shè)備160相關(guān)聯(lián)的一個或者多個數(shù)據(jù)項而從內(nèi)部存儲裝置164標識適當默認有效負荷。按照一個實施例，當應(yīng)用初始安裝在訪問設(shè)備160上時，安裝將包括被存儲在內(nèi)部存儲裝置163中的一個或者多個默認有效負荷作為初始由管理模塊122確定的集合。從我們之前的示例繼續(xù)，SDK162A從內(nèi)部存儲裝置164選擇適當適合于處于縱向觀看模式下的三星GalaxyS5的顯示區(qū)域的默認有效負荷，在該情況下，來自谷歌MapsTM的地圖內(nèi)容針對GalaxyS5進行格式化，所述SDK162A已經(jīng)標識了針對訪問設(shè)備160的以下數(shù)據(jù)項：（a）設(shè)備類型：GalaxyS5，（b）設(shè)備制造商：三星，（c）網(wǎng)絡(luò)連接：NA，（e）一天中的時間：東部夏季時間上午10:13，（f）日期：2014年4月17日星期四，（g）查看模式：縱向，（h）環(huán)境照明：晴天/明亮，以及（i）位置：NA。在步驟455中，默認有效負荷然后響應(yīng)于針對內(nèi)容項的請求而被再現(xiàn)在訪問設(shè)備160上。接下來，在步驟460處，響應(yīng)于訪問設(shè)備160和所再現(xiàn)的有效負荷之間的交互的一個或者多個測試結(jié)果被收集。例如，由SDK162A監(jiān)視和收集與移動應(yīng)用的所有用戶交互，諸如用戶是否參與了點擊量、用戶觀察了顯示器多久、用戶是否訪問了到其他內(nèi)容的鏈接、用戶所參與的是顯示器上的下拉菜單還是任何單選按鈕的選擇。進一步地，按照一個實施例，用戶與所標識的有效負荷交互的條件被SDK162A監(jiān)視和記錄。這樣的條件的示例包括但不限于訪問針對訪問設(shè)備的網(wǎng)絡(luò)連接的狀態(tài)、關(guān)于用戶的人口信息和訪問設(shè)備的環(huán)境條件。一個或者多個測試結(jié)果然后響應(yīng)于訪問設(shè)備160與所標識的有效負荷的交互由SDK162A報告給報告模塊124，并且隨后存儲在報告數(shù)據(jù)儲存134中，步驟470，當訪問設(shè)備160處于在線模式并且連接到網(wǎng)絡(luò)170時。按照一個實施例，如在步驟430中示出的，如果確定訪問設(shè)備處于離線模式中，則SDK162A將一個或者多個測試結(jié)果維持在內(nèi)部存儲裝置164中，直到訪問設(shè)備160連接到網(wǎng)絡(luò)170為止，此時SDK162A將測試結(jié)果報告給報告模塊124?，F(xiàn)在轉(zhuǎn)向圖5，圖示了對移動應(yīng)用進行示例性多變量測試的屏幕圖。應(yīng)用X的屏幕截圖510表明了訪問設(shè)備體驗A，并且屏幕截圖512表明了訪問設(shè)備體驗B。在比較屏幕截圖510和512時，兩個客戶體驗之間的顯著不同包括與訪問設(shè)備體驗A中的頂部鏈接列表522相比的訪問設(shè)備體驗A中的廣告512。每一個訪問設(shè)備體驗的與相應(yīng)用戶的交互（例如，廣告512的點擊率或者522的URL鏈接之一）被系統(tǒng)100的SDK162A記錄，并且最終經(jīng)由服務(wù)器設(shè)備110的報告模塊124報告給報告設(shè)備150。圖1到5是慮及解釋本公開內(nèi)容的概念圖示。應(yīng)該理解的是，本公開內(nèi)容的實施例的各方面可以以硬件、固件、軟件或者其組合來實現(xiàn)。在這樣的實施例中，各種組件和/或步驟可以以硬件、固件和/或軟件來實現(xiàn)，以執(zhí)行本公開內(nèi)容的功能。也就是說，硬件、固件或者軟件模塊的相同片段可以執(zhí)行所圖示的框（例如，組件或者步驟）中的一個或者多個。在軟件實現(xiàn)方式中，計算機軟件（例如，程序或者其他指令）和/或數(shù)據(jù)被存儲在機器可讀介質(zhì)上作為計算機程序產(chǎn)品的一部分，并且經(jīng)由可移除存儲驅(qū)動器、硬盤驅(qū)動器或者通信接口加載到計算機系統(tǒng)或者其他設(shè)備或機器中。計算機程序（也被稱為計算機控制邏輯或者計算機可讀程序代碼）被存儲在主要和/或次要存儲器中，并且由一個或者多個處理器（控制器等等）執(zhí)行以使一個或者多個處理器執(zhí)行本公開內(nèi)容的功能，如本文描述的。在本文檔中，術(shù)語“機器可讀介質(zhì)”、“計算機程序介質(zhì)”和“計算機可用介質(zhì)”被用來一般指代諸如隨機存取存儲器（RAM）；只讀存儲器（ROM）；可移除存儲單元（例如，磁盤或者光盤、閃速存儲器設(shè)備等等）；硬盤等等之類的介質(zhì)。特別地，上文的附圖和示例并不意味著將本公開內(nèi)容的范圍限制到單個實施例，這是因為其他實施例通過交換所描述的或者所圖示的元件中的一些或者全部是可能的。而且，在本公開內(nèi)容的某些元件可以使用已知組件部分或者完全實現(xiàn)的情況下，僅描述了這樣的已知組件的、對于理解本公開內(nèi)容而言必要的那些部分，并且省略了這樣的已知組件的其他部分的詳細描述，以免使本公開內(nèi)容晦澀難懂。在本說明書中，示出了單個組件的實施例不應(yīng)必須被限制為包括多個相同組件的其他實施例，并且反之亦然，除非在本文中以其他方式明確說明。而且，本申請人不打算將說明書或者權(quán)利要求書中的任何術(shù)語歸于不常見或者特殊意義，除非這樣明確闡述。進一步地，本公開內(nèi)容涵蓋了針對本文中通過圖示的方式引用的已知組件而言的現(xiàn)有和未來的已知等同物。特定實施例的前述描述如此完全地揭示了本公開內(nèi)容的一般性質(zhì)，使得其他人可以通過應(yīng)用相關(guān)（一個或者多個）領(lǐng)域技術(shù)內(nèi)的知識（包括本文通過引用所引述和并入的文檔的內(nèi)容）而在沒有過度實驗的情況下容易地針對各種應(yīng)用修改和/或適配這樣的特定實施例，而不偏離本公開內(nèi)容的一般概念。這樣的適配和修改因此打算基于本文呈現(xiàn)的教導和指導而在所公開實施例的等同物的意義和范圍內(nèi)。要理解的是，本文的用語和術(shù)語是出于描述而非限制的目的，使得本說明書的術(shù)語或者用語要由本領(lǐng)域技術(shù)人員根據(jù)本文呈現(xiàn)的教導和指導結(jié)合相關(guān)（一個或者多個）領(lǐng)域技術(shù)人員的知識來解譯。雖然上文描述了本公開內(nèi)容的各種實施例，但是應(yīng)該理解的是，其通過示例而非限制的方式呈現(xiàn)。對于相關(guān)（一個或者多個）領(lǐng)域技術(shù)人員而言顯而易見的是，在形式和細節(jié)方面的各種改變可以在此處在不偏離本公開內(nèi)容的精神和范圍的情況下做出。因此，本公開內(nèi)容不應(yīng)該被以上描述的示例性實施例中的任一項限制，而是應(yīng)該僅僅按照以下權(quán)利要求和其等同物來限定。當前第1頁1 2 3