主機(jī)116A-116C接收測試 結(jié)果124并將測試結(jié)果124提供給提交測試請求112的開發(fā)人員計算機(jī)106。W下將會提供關(guān) 于測試結(jié)果124的細(xì)節(jié)。
[0049] 響應(yīng)于接收測試請求112,在一個實(shí)施方案中工作流協(xié)調(diào)器302被配置來確定在測 試請求112中所請求的計算設(shè)備118A-118N和/或設(shè)備模擬器122A0-122N是否可在測試程序 108中加 W使用。如果所請求的計算設(shè)備118A-118N和/或設(shè)備模擬器122A-122N不可用，那 么工作流協(xié)調(diào)器302可利用排隊部件304來使測試請求112排隊，（運(yùn)樣)所請求的計算設(shè)備 118A-118N和/或設(shè)備模擬器122A-122N就變的可用。在一些實(shí)現(xiàn)方式中，如果計算設(shè)備 118A-118N或設(shè)備模擬器122A-122N中的任一個是不可用的，那么可使測試請求112所請求 的全部測試排隊。在其他實(shí)施方案中，僅可使注定用于不可用計算設(shè)備118A-118N和/或不 可用設(shè)備模擬器122A-122N的測試請求112所請求的運(yùn)些測試排隊。在其他實(shí)現(xiàn)方式中，還 可利用其他機(jī)構(gòu)來使測試請求112排隊。
[0050] 如果程序108的測試將要在其上執(zhí)行的計算設(shè)備118A-118N和/或設(shè)備模擬器 122A-122N是可用的，那么工作流協(xié)調(diào)器302將測試請求112傳輸至在主機(jī)116A-116C上執(zhí)行 的工作流客戶端306。例如，如果測試請求112指示測試在計算設(shè)備118A上執(zhí)行的同時應(yīng)該 在程序108上執(zhí)行，那么工作流協(xié)調(diào)器302可將測試請求112傳輸至在主機(jī)116B上執(zhí)行的工 作流客戶端306。W類似的方式，如果測試請求112指示將要使用設(shè)備模擬器122A執(zhí)行測試， 那么工作流協(xié)調(diào)器302可將測試請求112傳輸至在主機(jī)116A上執(zhí)行的工作流客戶端306。
[0051] 在主機(jī)116A-116C中的每個上執(zhí)行的工作流客戶端306被配置來從工作流協(xié)調(diào)器 302接收測試請求112。響應(yīng)于接收測試請求112，工作流客戶端306使得開發(fā)橋接器30則尋程 序108安裝在將要測試的計算設(shè)備118或設(shè)備模擬器122上。開發(fā)橋接器308提供用于與連接 的計算設(shè)備118或設(shè)備模擬器122交互的機(jī)構(gòu)。在一個特定的實(shí)現(xiàn)方式中，開發(fā)橋接器308是 ANDROID調(diào)試橋接器。當(dāng)計算設(shè)備118A-118N和/或設(shè)備模擬器122A-122N利用ANDROID操作 系統(tǒng)時，利用ANDROID調(diào)試橋接器。當(dāng)利用配置有來自其他制造商的其他操作系統(tǒng)的計算設(shè) 備118A-118N和/或設(shè)備模擬器122A-122N來測試程序108的操作時，也可利用其他類型的橋 接器。
[0052] 一旦將要測試的程序108已被安裝在測試應(yīng)該在其上發(fā)生的計算設(shè)備118A-118N 和/或設(shè)備模擬器122A-122N上，就可利用與測試請求112-起提交的測試案例114來測試程 序108的操作。如W上參考圖1所描述的，測試案例114可在目標(biāo)計算設(shè)備118A-118N和/或設(shè) 備模擬器122A-122N上測試程序108的操作的各種方面。例如，測試案例114可測試用戶與程 序108交互的能力、給程序108發(fā)送用戶行為(如按鍵）、模仿計算設(shè)備118A-118N和/或設(shè)備 模擬器122A-122N的取向的改變、W編程方式維護(hù)用在程序108中的不同的變量、證實(shí)和/或 維護(hù)由程序108在UI元件中不同顯示的文本并提供其他種類的測試。
[0053] 在一個特定的實(shí)現(xiàn)方式中，主機(jī)116A-116C被配置來當(dāng)執(zhí)行程序108的測試時給開 發(fā)人員計算機(jī)106傳輸實(shí)時測試數(shù)據(jù)318。例如，在一些實(shí)現(xiàn)方式中，實(shí)時測試數(shù)據(jù)318包括 描述在特定的計算設(shè)備118A-118N或設(shè)備模擬器122A-122N上持續(xù)測試程序108的文本數(shù) 據(jù)。在其他實(shí)現(xiàn)方式中，實(shí)時測試數(shù)據(jù)318可包括由用來測試的計算設(shè)備118A-118N和/或設(shè) 備模擬器122A-122N中的一個產(chǎn)生的視頻顯示輸出。隨后，可將實(shí)時測試數(shù)據(jù)318呈現(xiàn)在開 發(fā)人員計算機(jī)106上W便由開發(fā)人員102查看。W運(yùn)種方式，開發(fā)人員102可查看程序108在 計算設(shè)備118A-118N或設(shè)備模擬器122A-122N上的實(shí)時操作性測試。當(dāng)同時執(zhí)行多個測試 時，可在開發(fā)人員計算機(jī)106處利用允許開發(fā)人員102選擇實(shí)時測試數(shù)據(jù)318為其顯示的計 算設(shè)備118A-118N和/或設(shè)備模擬器122A-122N的機(jī)構(gòu)。
[0化4] 一旦已在計算設(shè)備118A-118N和/或設(shè)備模擬器122A-122N上完成程序108的測試， 主機(jī)116A-116C的每個就給工作流協(xié)調(diào)器302提供測試結(jié)果124。反過來，工作流協(xié)調(diào)器302 給開發(fā)人員計算機(jī)106提供測試結(jié)果124。如圖3中所示，測試結(jié)果124可包括指示特定測試 是通過還是失敗的結(jié)果概要310。測試結(jié)果124還可包括詳細(xì)結(jié)果312,所述詳細(xì)結(jié)果312包 括關(guān)于在計算設(shè)備118A-118N和/或設(shè)備模擬器122A-122N上執(zhí)行測試的詳細(xì)信息。例如，詳 細(xì)結(jié)果312可包括由計算設(shè)備118、模擬器122和/或開發(fā)人員橋接器308在計算設(shè)備118A-118N和/或設(shè)備模擬器122A-122N上測試程序108期間所產(chǎn)生的記錄文件和/或其他詳細(xì)結(jié) 果。
[0055] 在一些實(shí)現(xiàn)方式中，測試結(jié)果124還包括在程序108的測試期間在計算設(shè)備118和/ 或設(shè)備模擬器122上截取的一個或多個屏幕截圖314。類似地，測試結(jié)果124還可包括在程序 108的測試的全部或一部分期間從計算設(shè)備118和/或設(shè)備模擬器122捕獲的視頻316。在運(yùn) 方面，應(yīng)理解，圖3中所示的測試結(jié)果124的內(nèi)容僅僅是說明性的并且測試結(jié)果124中可提供 其他類型的信息。
[0056] 也可在開發(fā)人員計算機(jī)106處提供適當(dāng)?shù)墓δ苡糜趯y試結(jié)果124呈現(xiàn)給開發(fā)人 員102。利用測試結(jié)果124,開發(fā)人員102可利用程序開發(fā)環(huán)境104對程序108作出改變。隨后， 開發(fā)人員102可將程序108重新提交給服務(wù)提供商110用于W上述方式繼續(xù)測試。
[0057] 圖4是示出根據(jù)本文所公開的一個實(shí)施方案的說明用于請求基于網(wǎng)絡(luò)的程序服務(wù) 來測試程序108、W及用于接收和呈現(xiàn)程序108的測試的結(jié)果124的開發(fā)人員計算機(jī)106的操 作的方面的示例性例程400的流程圖。應(yīng)理解，本文相對于圖4和其他圖所描述的邏輯運(yùn)算 可實(shí)現(xiàn)為（1)在計算系統(tǒng)上運(yùn)行的計算機(jī)實(shí)現(xiàn)的行為或程序模塊的序列和/或(2)計算系統(tǒng) 內(nèi)互連的機(jī)器邏輯電路或電路模塊。
[0058] 本文所述的各種部件的實(shí)現(xiàn)方式是取決于計算系統(tǒng)的性能和其他要求的選擇問 題。因此，本文所描述的邏輯運(yùn)算被不同地稱為操作、結(jié)構(gòu)設(shè)備、行為或模塊。運(yùn)些操作、結(jié) 構(gòu)設(shè)備、行為和模塊可在軟件、固件、專用數(shù)字邏輯W及其任何組合中實(shí)現(xiàn)。還應(yīng)理解，可執(zhí) 行比各圖中示出和本文描述的更多或更少的操作。運(yùn)些操作也可W與本文中所描述的那些 并行地執(zhí)行或W與其不同的次序來執(zhí)行。
[0059] 例程400在操作402處開始，在所述操作402處，將設(shè)施提供在開發(fā)人員計算機(jī)106 上用于開發(fā)程序108。如上所述，可在各個實(shí)施方案中利用程序開發(fā)環(huán)境104來開發(fā)程序 108。也如W上所提及，也可在開發(fā)人員計算機(jī)106處提供用于限定應(yīng)該用于測試程序108的 操作的測試案例114的設(shè)施。運(yùn)發(fā)生在例程400的操作404處。
[0060] 一旦開發(fā)人員102已開發(fā)程序108和測試案例114,就可呈現(xiàn)通過用于在測試程序 108的操作中使用的服務(wù)提供商網(wǎng)絡(luò)110可用的計算設(shè)備118A-118N和/或設(shè)備模擬器122A-122N的列表。如上所提及的，可通過程序開發(fā)環(huán)境104中所提供的插件201或者通過由服務(wù) 提供商網(wǎng)絡(luò)110所提供的WebH戶206來呈現(xiàn)運(yùn)種列表。還可利用其他機(jī)構(gòu)來提供用于測試 程序108的操作的可用計算設(shè)備118A-118N和設(shè)備模擬器122A-122N的列表。
[0061 ] 例程400從操作406行進(jìn)至操作408,在所述操作408處，從開發(fā)人員102接收用于在 測試程序108的操作中使用的選擇的計算設(shè)備118A-118N和/或設(shè)備模擬器122A-122N。響應(yīng) 于此，例程400行進(jìn)至操作410,在所述操作410處測試請求112被傳輸至服務(wù)提供商網(wǎng)絡(luò) 110。如上所討論的，測試請求112可包括程序108或?qū)Τ绦?08、測試案例114 W及識別測試 應(yīng)該在其上發(fā)生的計算設(shè)備118A-118N和/或設(shè)備模擬器122A-122N的數(shù)據(jù)的參考。
[0062] 例程400從操作410行進(jìn)至操作412,在所述操作412處開發(fā)人員計算機(jī)106可從服 務(wù)提供商網(wǎng)絡(luò)110接收實(shí)時測試數(shù)據(jù)318。如上所述，實(shí)時測試數(shù)據(jù)318可包括由主機(jī)116在 程序108的測試期間所產(chǎn)生的文本或圖形圖像?？衫瞄_發(fā)人員計算機(jī)106上的適當(dāng)?shù)牟?件，如插件201或Web瀏覽器程序204來將實(shí)時測試數(shù)據(jù)318呈現(xiàn)給開發(fā)人員102。
[0063] 例程400從操作412行進(jìn)至操作414,在所述操作414處做出關(guān)于程序108在服務(wù)提 供商網(wǎng)絡(luò)110上的測試是否已完成的確定。如果測試未完成，那么例程400可返回至操作 412,在所述操作412處可給開發(fā)人員102持續(xù)呈現(xiàn)實(shí)時測試數(shù)據(jù)318。如果測試完成，那么例 程400從操作414行進(jìn)至操作416。
[0064] 在操作416處，開發(fā)人員計算機(jī)106接收并呈現(xiàn)測試結(jié)果124。如上所討論的，在各 個實(shí)施方案中，測試結(jié)果124可包括結(jié)果概述310、詳細(xì)結(jié)果312、屏幕截圖314和/或視頻 316?？衫迷陂_發(fā)人員計算機(jī)106上執(zhí)行的適當(dāng)?shù)牟考?，如插?01或Web瀏覽器程序204來 將實(shí)時測試結(jié)果124呈現(xiàn)給開發(fā)人員102。例程400從操作416行進(jìn)至操作418,在所述操作 418處結(jié)束。
[0065] 圖5是示出根據(jù)本文所公開的一個實(shí)施方案的說明服務(wù)提供商網(wǎng)絡(luò)110中用于測 試程序108的操作W及用于提供測試的結(jié)果124的部件的操作的方面的一個示例性例程500 的流程圖。例程500在操作502處開始，在所述操作502處服務(wù)提供商網(wǎng)絡(luò)110接收測試請求 112。響應(yīng)于接收測試請求112,服務(wù)提供商網(wǎng)絡(luò)110內(nèi)的工作流協(xié)調(diào)器302或另一個部件確 定所請求的計算設(shè)備118A-118N和/或設(shè)備模擬器122A-122N是否可在測試程序108中加 W 使用。如果所請求的計算設(shè)備118和/或設(shè)備模擬器122不可用，那么例程500可行進(jìn)至操作 506,在所述操作506處可使測試請求112排隊。如上所討論的，可在服務(wù)提供商網(wǎng)絡(luò)110中提 供排隊部件304W便使測試請求112排隊直到所請求的計算設(shè)備118A-118N和/或設(shè)備模擬 器122A-122N變得可用。
[0066] 如果在操作504處工作流協(xié)調(diào)器302確定所請求的計算設(shè)備118A-118N和/或設(shè)備 模擬器122A-122N是可用的，那么例程500從操作504行進(jìn)至操作508。在操作508處，工作流 協(xié)調(diào)器302給主控測試應(yīng)該在其上發(fā)生的計算設(shè)備118A-118N和/或設(shè)備模擬器122A-122N 的主機(jī)116A-116C提供包括程序108的測試請求112。隨后，例程500行進(jìn)至操作510，在所述 操作510處在各自的主機(jī)116上的開發(fā)橋接器308將程序108安裝在測試將要在其上發(fā)生的 計算設(shè)備118和/或設(shè)備模擬器122上。
[0067] 一旦已安裝程序108,例程500就行進(jìn)至操作512,在所述操作512處可利用提供有 測試請求112的測試案例114來在測試請求112所指定的計算設(shè)備118A-118N和/或設(shè)備模擬 器122A-122N上測試程序108的操作。如上所提及的，在程序108的測試期間可將實(shí)時測試數(shù) 據(jù)318傳輸至開發(fā)人員計算機(jī)106。運(yùn)在操作514處發(fā)生。
[0068] 例程500從操作514行進(jìn)至操作516,在所述操作516處做出關(guān)于程序108的測試是 否已完成的確定