集。例如，人為負(fù)載生成器916可創(chuàng)建強(qiáng)調(diào)應(yīng)用的指定部分的工作單元。當(dāng)這樣的工作單元被執(zhí)行時(shí)，檢測(cè)可為工作單元收集數(shù)據(jù)。這樣的工作單元可生產(chǎn)應(yīng)用結(jié)果，該結(jié)果可被儀表化系統(tǒng)932丟棄。
[0185]分發(fā)器902可包括工作器狀態(tài)收集器920，工作器狀態(tài)收集器920可與每個(gè)工作器設(shè)備進(jìn)行通信以確定當(dāng)前狀態(tài)。該狀態(tài)可指示設(shè)備是否可用以接受工作單元。在某些情況中，狀態(tài)可包括靜態(tài)的，諸如多余容量、當(dāng)前工作負(fù)載、或其它性能度量。
[0186]工作器管理器956可通過(guò)將設(shè)備添加到受管理設(shè)備池中并從其移除來(lái)管理可用工作器設(shè)備。工作器管理器956可允許新設(shè)備連接、認(rèn)證、并添加到受管理設(shè)備的池。管理者可使用工作器管理器956以監(jiān)視個(gè)體設(shè)備、配置設(shè)備、并向池添加設(shè)備或從其移除設(shè)備。
[0187]在許多實(shí)施例中，工作器管理器956可向工作器設(shè)備發(fā)放認(rèn)證密鑰。認(rèn)證密鑰可以是公共/私有加密密鑰系統(tǒng)的部分，其中私有密鑰可被存儲(chǔ)在設(shè)備上并并用來(lái)確保通信的安全，而公共密鑰被發(fā)送到接收設(shè)備以解密通信。這的系統(tǒng)可以是用于在設(shè)備間認(rèn)證系統(tǒng)的一個(gè)示例，而其它實(shí)施例可使用其它系統(tǒng)。
[0188]工作器924可操作在硬件平臺(tái)926上以在執(zhí)行環(huán)境928內(nèi)執(zhí)行應(yīng)用930。應(yīng)用930可以是預(yù)先安裝的處理來(lái)自分發(fā)器906的工作項(xiàng)的一組可執(zhí)行代碼。在某些情況中，應(yīng)用930可在執(zhí)行環(huán)境928內(nèi)執(zhí)行，執(zhí)行環(huán)境928可以是操作系統(tǒng)、虛擬機(jī)、框架、或其它支持軟件組件。
[0189]工作器924可具有認(rèn)證密鑰954，其可被使用以認(rèn)證與分發(fā)器902的通信。密鑰954可以是任何類型的認(rèn)證組件，諸如公共/私有加密密鑰集或其它組件。
[0190]儀表化系統(tǒng)932可向工作器924那樣類似地配置。硬件平臺(tái)934可支持執(zhí)行應(yīng)用938的執(zhí)行環(huán)境936。將檢測(cè)的系統(tǒng)932可包括跟蹤器940，其在執(zhí)行期間可以是或可不是被分發(fā)器902可配置的。儀表化系統(tǒng)932還可包括密鑰952用于向分發(fā)器902認(rèn)證。
[0191]在某些實(shí)施例中，儀表化系統(tǒng)932可以是像工作器924相同的硬件和軟件配置。其它實(shí)施例可在儀表化系統(tǒng)932和工作器924之間具有不同硬件或軟件配置。
[0192]跟蹤器940可收集檢測(cè)或跟蹤數(shù)據(jù)并將那些數(shù)據(jù)發(fā)送到分析系統(tǒng)942。
[0193]分析系統(tǒng)942可具有硬件平臺(tái)944，數(shù)據(jù)收集器946可從各跟蹤器收集跟蹤數(shù)據(jù)948。分析器950可處理跟蹤器用于分析、優(yōu)化、總結(jié)或其它功能。
[0194]分發(fā)器902的示例和其它組件示出了可具有多個(gè)功能的設(shè)備。在不同的實(shí)施例中，各種所示組件的每一個(gè)可被部署在一分開(kāi)的設(shè)備上或一組設(shè)備上。例如，工作器管理器956、工作器狀態(tài)收集920、跟蹤者管理器918，和其它功能可被部署在各設(shè)備上或各組設(shè)備上。
[0195]圖10是示出用于配置工作器設(shè)備池并接著以負(fù)載平衡和檢測(cè)平衡的方式操作工作器設(shè)備的方法的實(shí)施例1000的流程圖。實(shí)施例1000可示出可在實(shí)施例800和900等等所示系統(tǒng)中實(shí)現(xiàn)的一個(gè)示例進(jìn)程。
[0196]其他實(shí)施例可使用不同的排序、更多或更少的步驟、以及不同的命名或術(shù)語(yǔ)來(lái)完成相似功能。在一些實(shí)施例中，各個(gè)操作或操作集合可與其他操作以同步或異步方式并行地執(zhí)行。此處所選的步驟是為了以簡(jiǎn)化的形式示出一些操作原理而選擇的。
[0197]實(shí)施例1000在框1002示出了用于建立并管理工作器資源的池操作序列，接著在框1004示出了用于解析輸入流并將工作單元分發(fā)到工作器資源的操作模式。在實(shí)施例900的示例中，工作器資源可以是各個(gè)設(shè)備，但是在其它實(shí)施例中工作器資源可以是任何用于處理工作單元的資源。在某些情況下，工作器資源可以是子設(shè)備資源，諸如處理器、調(diào)度器、線程、或其它對(duì)象。在其它情況下，工作器資源可以是多個(gè)設(shè)備一起行動(dòng)，諸如群集、受管理服務(wù)、或其它資源組。
[0198]在框1002的管理模式中，各種執(zhí)行環(huán)境可在框1006中被標(biāo)識(shí)。執(zhí)行環(huán)境可指用于處理工作單元的任何資源。在許多情況中，執(zhí)行環(huán)境可以是設(shè)備、處理器、或其它計(jì)算工作器。
[0199]對(duì)于框1008中的每個(gè)執(zhí)行環(huán)境，在框1010中嘗試可被作出以與環(huán)境通信并認(rèn)證。如果在框1012中認(rèn)證不成功，則在框1014中將環(huán)境標(biāo)記為不可用。
[0200]在框1012中成功認(rèn)證之后，環(huán)境的配置和可用性可在框1016被測(cè)試。如果在框1018中配置和可用性不行，則在框1020中將環(huán)境標(biāo)記為不可用。當(dāng)環(huán)境在框1012中成功認(rèn)證且配置和可用性在框1018中行，則在框1022執(zhí)行環(huán)境可被標(biāo)記為可用。
[0201]框1006 - 1022的過(guò)程可表示管理功能，其可在將工作分發(fā)給各執(zhí)行環(huán)境前被執(zhí)行。在某些情況中，框1006-1022的過(guò)程可與框1004的操作模式并行執(zhí)行。在這樣的情況中，管理模式的操作可以是各種執(zhí)行環(huán)境的正在進(jìn)行的及重復(fù)檢查。
[0202]框1004的操作模式可通過(guò)在框1024接收跟蹤器配置和負(fù)載平衡器配置來(lái)開(kāi)始。在框1026輸入流可被接收。在框1028輸入流可被解析以標(biāo)識(shí)工作項(xiàng)。對(duì)于給定的工作項(xiàng)，可在框1030作出對(duì)標(biāo)識(shí)要處理工作項(xiàng)的設(shè)備的確定。在某些情況中、跟蹤器配置可在框1030被創(chuàng)建，其定義任何數(shù)據(jù)收集參數(shù)。一旦在框1030中作出確定，則在框1032中工作項(xiàng)可被發(fā)送到所選執(zhí)行環(huán)境。該過(guò)程可返回至框1026以處理下一工作項(xiàng)。
[0203]圖11是示出跟蹤即服務(wù)的實(shí)施例1100的圖示。實(shí)施例1100示出了系統(tǒng)的一個(gè)配置，其中遠(yuǎn)程服務(wù)1104可與顧客場(chǎng)所1102上的系統(tǒng)集成，其中遠(yuǎn)程訪問(wèn)1104可提供儀表化執(zhí)行環(huán)境以處理工作負(fù)載并生成跟蹤數(shù)據(jù)。
[0204]顧客場(chǎng)所1102可在用戶的控制下執(zhí)行應(yīng)用。顧客場(chǎng)所1102可以是物理場(chǎng)所，諸如用戶可訪問(wèn)的建筑物或商店。在某些情況中，顧客場(chǎng)所1102可包括在第三方場(chǎng)所擁有并位于第三方場(chǎng)所的但由用戶控制的一個(gè)或多個(gè)計(jì)算機(jī)。這樣的系統(tǒng)的示例可以是主存在云上的執(zhí)行系統(tǒng)，在那里用戶可購(gòu)買(mǎi)計(jì)算資源。資源可被第三方擁有，但是用戶可控制那些資源如何部署。
[0205]遠(yuǎn)程服務(wù)1104可接收工作項(xiàng)并使用經(jīng)檢測(cè)環(huán)境1114來(lái)執(zhí)行那些工作項(xiàng)。儀表化環(huán)境1114可具有可在工作項(xiàng)執(zhí)行時(shí)捕捉各種跟蹤數(shù)據(jù)的硬件和軟件組件。在某些情況中，儀表化環(huán)境可包括工具、測(cè)量算法、探測(cè)、和安裝、管理、執(zhí)行、或以其他方式部署不方便或成本高的其它組件。
[0206]在顧客場(chǎng)所1102內(nèi)，應(yīng)用輸入流1106可以被傳遞到分發(fā)器1108。分發(fā)器系統(tǒng)1108可解析來(lái)自輸入流的工作項(xiàng)并將工作項(xiàng)傳遞到各種執(zhí)行環(huán)境1110。執(zhí)行環(huán)境1110的輸出可以是應(yīng)用輸出1112。
[0207]分發(fā)器1108可將某些或全部工作項(xiàng)傳送到經(jīng)檢測(cè)環(huán)境1114(其可為遠(yuǎn)程訪問(wèn)1104的部分)。在一些情況中，可以使用經(jīng)檢測(cè)環(huán)境1114的多個(gè)實(shí)例。負(fù)載生成器1128可創(chuàng)建可被注入輸入流1106的測(cè)試負(fù)載。測(cè)試負(fù)載可以是可被經(jīng)檢測(cè)環(huán)境1114處理以練習(xí)應(yīng)用的數(shù)據(jù)。在許多情況中，測(cè)試負(fù)載可以以比典型或隨機(jī)輸入流復(fù)雜得多的方式聯(lián)系應(yīng)用。這樣的測(cè)試負(fù)載可執(zhí)行單元測(cè)試或可被設(shè)計(jì)來(lái)練習(xí)各種極端情況和條件的其它測(cè)試。在某些情況中，測(cè)試負(fù)載可使應(yīng)用經(jīng)受可壓迫系統(tǒng)性能的大負(fù)載。這樣的測(cè)試負(fù)載可幫助標(biāo)識(shí)性能瓶頸并測(cè)量在峰值負(fù)載時(shí)間期間整個(gè)吞吐量或響應(yīng)時(shí)間。
[0208]遠(yuǎn)程訪問(wèn)1104可包括認(rèn)證、授權(quán)、以及記賬系統(tǒng)1116，其可管理遠(yuǎn)程服務(wù)1104的各種管理方面。管理用戶接口可允許用戶創(chuàng)建帳戶、定義支付機(jī)制、并管理儀表化環(huán)境1114ο
[0209]檢測(cè)市場(chǎng)1122可以是網(wǎng)站或其它界面，用戶通過(guò)它可瀏覽預(yù)先配置的經(jīng)檢測(cè)系統(tǒng)1124和預(yù)先配置的負(fù)載生成器1126。各種預(yù)先配置的系統(tǒng)的每一個(gè)可針對(duì)指定類型的數(shù)據(jù)收集來(lái)被定制。某些預(yù)先配置的系統(tǒng)可具備附加特征、算法、或在其它預(yù)先配置的系統(tǒng)上不可用的能力。如此，某些預(yù)先配置的系統(tǒng)可具備與其它預(yù)先配置的系統(tǒng)不同的成本結(jié)構(gòu)。
[0210]用戶可能能夠選擇預(yù)先配置的經(jīng)檢測(cè)系統(tǒng)1124和預(yù)先配置的負(fù)載生成器1126作為配置針對(duì)給定應(yīng)用的測(cè)試制度的開(kāi)始點(diǎn)。在某些實(shí)施例中，用戶可選擇預(yù)先配置的系統(tǒng)接著添加、移除、或編輯各種設(shè)置來(lái)獲得特定目的。
[0211]在某些實(shí)施例中，用戶可能能夠?qū)㈩A(yù)先配置的儀表化系統(tǒng)保存在檢測(cè)市場(chǎng)1122中供重新使用。在某些這樣的實(shí)施例中，第三方可能能夠?qū)⑺鼈冏约旱膬x表化系統(tǒng)上傳以供在在檢測(cè)市場(chǎng)1122中銷售。
[0212]圖12是示出其中遠(yuǎn)程服務(wù)可提供檢測(cè)或跟蹤的網(wǎng)絡(luò)環(huán)境的實(shí)施例1200的圖。實(shí)施例1200示出可實(shí)現(xiàn)實(shí)施例1100以及其他實(shí)施例中描述的操作的某些的硬件和軟件組件。
[0213]圖12的圖示出了系統(tǒng)的功能組件。在一些情況下，組件可以是硬件組件、軟件組件、或者硬件和軟件的組合。一些組件可以是應(yīng)用級(jí)軟件，而其他組件可以是執(zhí)行環(huán)境級(jí)組件。在一些情況下，一個(gè)組件到另一組件的連接可以是緊密連接，其中兩個(gè)或更多個(gè)組件在單個(gè)硬件平臺(tái)上操作。在其他情況下，連接可通過(guò)跨長(zhǎng)距離的網(wǎng)絡(luò)連接來(lái)進(jìn)行。每個(gè)實(shí)施例都可使用不同的硬件、軟件、以及互連架構(gòu)來(lái)實(shí)現(xiàn)所描述的功能。
[0214]實(shí)施例1200中所示的各種設(shè)備的每一個(gè)可具有硬件平臺(tái)。相應(yīng)的硬件平臺(tái)可類似于實(shí)施例100中的硬件平臺(tái)100。設(shè)備可以是任何類型的硬件平臺(tái)，諸如個(gè)人計(jì)算機(jī)、月艮務(wù)器計(jì)算機(jī)、游戲控制臺(tái)、平板計(jì)算機(jī)、移動(dòng)電話、或具有可編程處理器的任何其它設(shè)備。
[0215]實(shí)施例1200可示出環(huán)境，其中檢測(cè)系統(tǒng)可從遠(yuǎn)程服務(wù)提供，接著添加到用戶系統(tǒng)的計(jì)算流水線。檢測(cè)系統(tǒng)可包括負(fù)載生成器以及數(shù)據(jù)收集器，其可根據(jù)用戶的應(yīng)用來(lái)操作以在執(zhí)行期間收集關(guān)于應(yīng)用的各種數(shù)據(jù)。
[0216]用戶可通過(guò)管理用戶界面與遠(yuǎn)程服務(wù)進(jìn)行交互。用戶可能能夠執(zhí)行各種管理認(rèn)為，諸如建立帳戶和支付方式，以及選擇并配置可被集成到用戶應(yīng)用中去的測(cè)試組件。遠(yuǎn)程服務(wù)可包括檢測(cè)市場(chǎng)，其中用戶可瀏覽各種預(yù)先配置的負(fù)載生成器和預(yù)先配置的儀表化工作器。一旦選擇，用戶可能能夠配置或定制組件，接著管理組件如何可被部署。
[0217]用戶系統(tǒng)可包括工作負(fù)載分發(fā)器1202和在內(nèi)部網(wǎng)絡(luò)1210中連接的各種工作器1212。工作負(fù)載分發(fā)器1202可接收應(yīng)用的工作單元，接著將工作單元分發(fā)到各種工作器1212。這樣的系統(tǒng)的示例可以是群集工作環(huán)境。
[0218]在實(shí)施例1200的示例中，用戶的系統(tǒng)被示為可對(duì)大應(yīng)用的執(zhí)行作出貢獻(xiàn)的多個(gè)設(shè)備。在其它實(shí)施例中，各組件可被部署在單個(gè)設(shè)備上。
[0219]分發(fā)器1202可以在硬件平臺(tái)1204上操作，硬件平臺(tái)1204可包括分發(fā)器1206。分發(fā)器1206可以是可接收輸入流、將輸入流解析為工作單元、接著使得工作單元在各種工作器1212上執(zhí)行的軟件組件。
[0220]分發(fā)器1202可包括配置1207，其可包括負(fù)載平衡和檢測(cè)目的兩者。配置1207還可包括可被用來(lái)將工作單元的某些或全部分發(fā)到一個(gè)或多個(gè)經(jīng)檢測(cè)工作器1222的信息，工作器1222可執(zhí)行工作負(fù)載并收集關(guān)于執(zhí)行的數(shù)據(jù)。
[0221]認(rèn)證系統(tǒng)1208可允許分發(fā)器1202建立與遠(yuǎn)程系統(tǒng)組件的受信的，且在某些情況中，安全的通信。
[0222]工作器1212可包括硬件平臺(tái)1214和可執(zhí)行各種工作項(xiàng)的執(zhí)行環(huán)境1216。實(shí)施例1200中的工作器1212可通過(guò)內(nèi)部網(wǎng)絡(luò)1210連接到分發(fā)器1202。在許多系統(tǒng)中，內(nèi)部網(wǎng)絡(luò)1210內(nèi)的連接可以被看成受信和安全的，因?yàn)榉阑饓?218和其它安全措施。如此，工作器1212可被部署而無(wú)需認(rèn)證系統(tǒng)。
[0223]防火墻1218可在直接在用戶的控制下的設(shè)備和可由第三方提供的設(shè)備或服務(wù)之間定義邊界。在某些實(shí)施例中，各種檢測(cè)組件可跨外部網(wǎng)絡(luò)1220(可包括互聯(lián)網(wǎng))可用。在許多情況下，可使得各種遠(yuǎn)程服務(wù)對(duì)許多不同用戶可用。
[0224]第三方可通過(guò)建立與用戶系統(tǒng)內(nèi)的分發(fā)器1206的連接來(lái)向用戶提供負(fù)載生成和檢測(cè)服務(wù)。分發(fā)器1206可在應(yīng)用中的期望檢測(cè)的位置操作。在某些情況下，分發(fā)器1206可以是函數(shù)調(diào)用或可被插入應(yīng)用的其它指令。這樣的指令可被編程者添加到用戶應(yīng)用。
[0225]經(jīng)檢測(cè)工作器1222可執(zhí)行應(yīng)用的一部分，如分發(fā)器1206所定義的。儀表化工作器1222可具有執(zhí)行環(huán)境1226可在其上執(zhí)行來(lái)自分發(fā)器1206的工作單元的硬件平臺(tái)1224。在執(zhí)行工作單元時(shí)，跟蹤器1228可收集數(shù)據(jù)，其可被分析器1230分析。現(xiàn)在在實(shí)施例1200中示出的可能是可收集并存儲(chǔ)跟蹤數(shù)據(jù)的單獨(dú)的設(shè)備。
[0226]儀表化系統(tǒng)1222可包括可包括密鑰1234的認(rèn)證系統(tǒng)1232。密鑰1234可能是任何類型的令牌、密鑰、口令短語(yǔ)，或可被用來(lái)向分發(fā)器1202上的認(rèn)證系統(tǒng)1208認(rèn)證經(jīng)檢測(cè)工作器1222的其它項(xiàng)。在某些情況下，密鑰1234可以是一組公共/私有加密密鑰。
[0227]負(fù)載生成器1260可以是另一檢測(cè)組件，其可被當(dāng)做遠(yuǎn)程服務(wù)來(lái)配置和部署。負(fù)載生成器1260可生成可被待測(cè)試的應(yīng)用執(zhí)行的人為負(fù)