專利名稱：使用仿真和虛擬化的基于表現(xiàn)的測試系統(tǒng)和方法
技術(shù)領(lǐng)域：
本發(fā)明總體涉及一種基于表現(xiàn)(performance-based)的測試計(jì)算 機(jī)系統(tǒng)和方法，該測試計(jì)算機(jī)系統(tǒng)和方法利用仿真和虛擬化技術(shù)來允 許對(duì)不同方案的即興(extemporaneous)選擇，以判斷用戶對(duì)于一個(gè) 或多個(gè)應(yīng)用程序的技能。
背景技術(shù)：
基于表現(xiàn)的測試("PBT")是一種測驗(yàn)方法，其中候選者必須與真 實(shí)或模擬的系統(tǒng)交互。PBT將應(yīng)試者置于一種或多種情形中，其中應(yīng)試 者必須使用他或她的知識(shí)，展示他或她的技能、解決常見問題和/或執(zhí) 行故障排除任務(wù)，測試設(shè)計(jì)者(test crafter)相信這些與執(zhí)行特定 任務(wù)和活動(dòng)所需要的專門知識(shí)和技能相關(guān)。在許多行業(yè)和職業(yè)中將PBT 用于測試能力。例如，經(jīng)常采用基于表現(xiàn)的測試對(duì)消防隊(duì)員、警官、 航空飛行員和飛行甲板船員進(jìn)行測試。如果他們的測試得分低于關(guān)鍵 的表現(xiàn)指標(biāo)，則將他們送回訓(xùn)練或否則丟掉工作。
PBT可以采取交互式軟件模擬的形式，其中測試項(xiàng)目模擬特定軟件 產(chǎn)品的行為，并且在模擬環(huán)境中應(yīng)試者被要求在該模擬內(nèi)正確地執(zhí)行 指定功能。交互式軟件模擬是一種特別有用的策略，用于測量利用計(jì) 算機(jī)軟件程序的熟練程度。不同于使用戶線性地經(jīng)過一 系列學(xué)習(xí)的基 于計(jì)算機(jī)的訓(xùn)練("CBT")，交互式軟件模擬將用戶置于計(jì)算機(jī)應(yīng)用的 模擬中并且要求應(yīng)試者執(zhí)行功能，好象他們使用真實(shí)軟件一樣。交互 式軟件模擬可以允許應(yīng)用在該應(yīng)用不必具有專門的編程"鉤(hook)" 的情況下以及在真實(shí)應(yīng)用不必呈現(xiàn)在測試工作站的情況下,皮模擬。這 種程序可以是自足(self-contained)的，消除了在不同的操作系統(tǒng)、 產(chǎn)品版本和語言之間的變化。
在信息技術(shù)密集的時(shí)代，公司期待把對(duì)了解計(jì)算機(jī) (computer-savvy)個(gè)體的雇用流水線化。這包括評(píng)價(jià)他們的教育需要。
如果在試用期之后發(fā)現(xiàn)雇員無力執(zhí)行雇用或訓(xùn)練他或她所要做的 工作，那么評(píng)估潛在和當(dāng)前的雇員可能是高代價(jià)的冒險(xiǎn)。在高度竟?fàn)?和快速發(fā)展的領(lǐng)域，到達(dá)工作場所的雇員掌握他們的工作所需要的能 力是至關(guān)重要的。在沒有哪個(gè)可能的候選者具有所有必要的技能和能 力的情況下，測試能指明哪個(gè)候選者需要最小的訓(xùn)練量。它還能夠展 示候選者是否具有技能以開始工作和他們是否具有對(duì)材料足夠強(qiáng)的掌 握來通過在職訓(xùn)練獲得其余技能。
計(jì)算機(jī)表現(xiàn)測試復(fù)雜的程度可能變化很大--從測試使用字處理軟 件的秘書到測試在復(fù)雜的計(jì)算機(jī)系統(tǒng)管理中的專業(yè)信息技術(shù)。這種大 范圍變化測試的管理員必須建立滿足工作標(biāo)準(zhǔn)的環(huán)境。特別地，該管 理員必須注意每次給定測試時(shí)的有效性和可靠性問題。
有效性指的是測試準(zhǔn)確地測量了它意欲估量的技能或技能組的證 明。評(píng)價(jià)測試有效性的方法包括內(nèi)容、結(jié)構(gòu)和標(biāo)準(zhǔn)驗(yàn)證。內(nèi)容的有效 性指的是通常由主題專家提供的證明，證明測試中的項(xiàng)目覆蓋了完成 由該測試測量的工作所需要的最重要和頻繁使用的知識(shí)、技能和能力。 結(jié)構(gòu)的有效性指的是測試中的個(gè)體項(xiàng)目準(zhǔn)確測量了被測主題的證明。 標(biāo)準(zhǔn)的有效性指的是總體測試準(zhǔn)確地與某個(gè)其它的獨(dú)立測量相關(guān)的證 明。
可靠性涉及測試提供與用戶表現(xiàn)相關(guān)的 一致的、可重復(fù)信息的能 力?？煽啃允怯行缘谋匾獥l件。可靠性取決于測試任務(wù)的模擬的一 致性和對(duì)任務(wù)的響應(yīng)等級(jí)的一致性。對(duì)于測試中介來說，他們計(jì)算機(jī) 表現(xiàn)測試的準(zhǔn)確性、有效性和可靠性是主要賣點(diǎn)。
計(jì)算機(jī)系統(tǒng)管理員可以為PBT頻繁地提供完整的網(wǎng)絡(luò)系統(tǒng)，包括 工作站、服務(wù)器、應(yīng)用和文檔。計(jì)算機(jī)網(wǎng)絡(luò)可能必然伴有連接的集線 器、連線和軟件。需要人來使該網(wǎng)絡(luò)運(yùn)行以提供所期望的應(yīng)用平臺(tái)， 例如字處理、計(jì)算機(jī)輔助設(shè)計(jì)等等。
在主計(jì)算機(jī)的領(lǐng)域，具有多服務(wù)器的網(wǎng)絡(luò)曾經(jīng)處理從網(wǎng)站到應(yīng)用 支持、電子郵件和記賬的所有事物。隨著對(duì)更多分離和更多服務(wù)的需 要的上升，采用更多服務(wù)器來應(yīng)付該需要。然而，設(shè)備的增加導(dǎo)致管 理人員對(duì)以要求的可靠性水平維持每個(gè)單位的管理感到困難。
近來已引入一種使用"虛擬機(jī)"的方法，其被諸如IBM的公司首先
6用于主機(jī)上。所謂的"虛擬化"是呈現(xiàn)計(jì)算資源的邏輯分組或子集以便 可以用超過原始配置的益處的方式來訪問這些計(jì)算資源的過程。術(shù)語" 虛擬機(jī)"涉及形成虛擬化環(huán)境的軟件，即對(duì)客戶操作系統(tǒng)來說看起來似 乎是硬件但是實(shí)際由主機(jī)系統(tǒng)模擬和包含的環(huán)境。虛擬機(jī)的一種類型
是IBM的VMware虛擬機(jī)。
互聯(lián)網(wǎng)托管公司(internet hosting company)成為虛擬化的最 初用戶。采用虛擬服務(wù)器的抽象概念，托管公司可以在一臺(tái)計(jì)算機(jī)上 支持多個(gè)網(wǎng)絡(luò)服務(wù)器，顯著地減少他們的維護(hù)和支持費(fèi)用。盡管在共 享機(jī)器上操作，虛擬化可以具有給全部環(huán)境提供專用機(jī)器的所有安全 性的效果，同時(shí)共享為系統(tǒng)管理員提供的備份、存檔、監(jiān)控和相關(guān)服 務(wù)。
具有類似的體系結(jié)構(gòu)或設(shè)計(jì)規(guī)范的一組機(jī)器可以被認(rèn)為是相同" 族"的成員。盡管因?yàn)橐唤M機(jī)器的體系結(jié)構(gòu)和設(shè)計(jì)依據(jù)相類似而使得它 們可以處在相同的族中，但根據(jù)它們的時(shí)鐘速度及其他性能參數(shù)機(jī)器 可能在族內(nèi)大范圍變化。
每族機(jī)器執(zhí)行只有該族才有的指令。特定機(jī)器或機(jī)器族可以執(zhí)行 的指令的綜合集被稱為該機(jī)器的"指令集"。舉例來說，Intel 80X86 處理器族使用的指令集與PowerPC處理器族使用的指令集不兼容。
在計(jì)算機(jī)系統(tǒng)之間特定族的唯一性典型地還導(dǎo)致與其它計(jì)算機(jī)系 統(tǒng)的硬件體系結(jié)構(gòu)的元件的不兼容性。例如，采用源自Intel 80X86 處理器族的處理器制造的計(jì)算機(jī)系統(tǒng)的硬件體系結(jié)構(gòu)與采用源自 PowerPC處理器族的處理器制造的計(jì)算機(jī)系統(tǒng)的硬件體系結(jié)構(gòu)不同。因 為機(jī)器指令集和計(jì)算機(jī)系統(tǒng)的硬件體系結(jié)構(gòu)的唯一性，典型地將應(yīng)用 軟件程序?qū)懗稍谶\(yùn)行特定操作系統(tǒng)的特定計(jì)算機(jī)系統(tǒng)上運(yùn)行。
為了擴(kuò)展可以在特定計(jì)算機(jī)系統(tǒng)上運(yùn)行的操作系統(tǒng)和應(yīng)用程序的 數(shù)目，已經(jīng)開發(fā)了一種技術(shù)領(lǐng)域，其中具有被稱為主機(jī)的一類中央處 理器("CPU")的給定計(jì)算機(jī)將包括基于軟件和/或硬件的仿真器，該 仿真器允許該主計(jì)算機(jī)對(duì)稱為客戶機(jī)的一種無關(guān)類型的CPU的指令集 進(jìn)行仿真。從而，該主計(jì)算機(jī)將響應(yīng)于給定客戶機(jī)指令執(zhí)行使得一個(gè) 或多個(gè)主才幾指令^皮調(diào)用的應(yīng)用。因此，該主計(jì)算才幾可以運(yùn)行為其自己 的硬件體系結(jié)構(gòu)設(shè)計(jì)的軟件和為具有無關(guān)的硬件體系結(jié)構(gòu)的計(jì)算機(jī)而 寫的軟件二者。通常，仿真器被分成大致對(duì)應(yīng)于被仿真計(jì)算機(jī)的子系統(tǒng)的模塊。
最經(jīng)常地，仿真器由以下模塊組成CPU仿真器或CPU模擬器(這兩個(gè) 術(shù)語經(jīng)?？苫Q)；存儲(chǔ)器子系統(tǒng)模塊；以及各種I/O裝置仿真器。 一般，出于對(duì)性能或簡單性的考慮常常不對(duì)總線仿真，并且虛擬外圍 設(shè)備直接與CPU或存儲(chǔ)器子系統(tǒng)通信。
中央處理器模擬器常常是仿真器的最復(fù)雜的部分。很多的仿真器 是采用"預(yù)封裝"CPU模擬器來寫的，以便專注于對(duì)特定機(jī)器的良好以及 有效的仿真。CPU模擬器的最簡單形式是解釋器，該解釋器遵循被仿真 程序代碼的執(zhí)行流，并且對(duì)于遇到的每個(gè)機(jī)器碼指令都在該主處理器 上執(zhí)行語義上相當(dāng)于原指令的操作。
當(dāng)在主計(jì)算機(jī)系統(tǒng)上對(duì)客戶計(jì)算機(jī)系統(tǒng)仿真時(shí)，由于客戶計(jì)算機(jī) 系統(tǒng)在該主計(jì)算機(jī)系統(tǒng)中僅僅以硬件體系結(jié)構(gòu)的操作的軟件表示的形 態(tài)存在，客戶計(jì)算機(jī)系統(tǒng)被認(rèn)為是虛擬機(jī)。術(shù)語"仿真器"和"虛擬機(jī)" 有時(shí)可交地使用，以表示對(duì)整個(gè)計(jì)算機(jī)系統(tǒng)的硬件體系結(jié)構(gòu)的模仿或 仿真的能力。從而"仿真"涉及虛擬機(jī)的完整形式，其中完整的硬件體 系結(jié)構(gòu)被復(fù)制。不同于僅僅試圖再現(xiàn)程序行為的"模擬"，"仿真"試圖 對(duì)被仿真的裝置的狀態(tài)建模。在主計(jì)算機(jī)(例如具有PowerPC處理器 的計(jì)算機(jī)系統(tǒng))的操作系統(tǒng)軟件以及硬件體系結(jié)構(gòu)上執(zhí)行應(yīng)用的仿真 程序模仿整個(gè)客戶計(jì)算機(jī)系統(tǒng)的操作。仿真程序作為在主機(jī)的硬件體 系結(jié)構(gòu)和由客戶計(jì)算機(jī)系統(tǒng)的仿真環(huán)境內(nèi)運(yùn)行的軟件傳送的指令之間 的互換。整個(gè)網(wǎng)絡(luò)行業(yè)都在使用仿真，以測試在完全實(shí)施之前首次展 示的新軟件。
管理員目前通過有規(guī)律的備份來確保服務(wù)器狀態(tài)。如果出現(xiàn)系統(tǒng) 故障，管理員可以用較少的延遲使系統(tǒng)恢復(fù)在線。在備份實(shí)踐中更加 密集的任務(wù)是取得例如盤驅(qū)動(dòng)器等環(huán)境的"映像(image)"。映像是包 含數(shù)據(jù)存儲(chǔ)介質(zhì)或裝置的完整的內(nèi)容和結(jié)構(gòu)的計(jì)算機(jī)文件。映像具有 在環(huán)境故障的情況下不必復(fù)制該結(jié)構(gòu)的優(yōu)點(diǎn)。包含該結(jié)構(gòu)的映像文件 否定了這樣做的需要，從而減少恢復(fù)或建立驅(qū)動(dòng)器或環(huán)境的時(shí)間。
被仿真的計(jì)算機(jī)系統(tǒng)通常涉及虛擬硬盤驅(qū)動(dòng)器映像的使用。為了 給客戶機(jī)操作系統(tǒng)仿真物理硬盤驅(qū)動(dòng)器的存在，仿真程序創(chuàng)建了虛擬
硬盤驅(qū)動(dòng)器映像。該仿真程序?qū)⒃撎摂M硬盤驅(qū)動(dòng)器映像呈現(xiàn)給客戶機(jī) 操作系統(tǒng)?？蛻魴C(jī)操作系統(tǒng)將從該虛擬硬盤驅(qū)動(dòng)器映像引導(dǎo)，并且將為需要從硬盤驅(qū)動(dòng)器讀取或?qū)懭氲接脖P驅(qū)動(dòng)器的所有其它功能而參考 虛擬硬盤驅(qū)動(dòng)器映像。該虛擬硬盤驅(qū)動(dòng)器映像常常作為計(jì)算機(jī)系統(tǒng)物 理硬盤驅(qū)動(dòng)器上的單個(gè)文件而存在。從而，客戶計(jì)算機(jī)系統(tǒng)的虛擬硬 盤驅(qū)動(dòng)器的整個(gè)內(nèi)容表示為主計(jì)算機(jī)系統(tǒng)的物理硬盤驅(qū)動(dòng)器上的一個(gè) 文件。
在目前的計(jì)算機(jī)表現(xiàn)測試中，管理員必須手動(dòng)地創(chuàng)建不僅測試本 身而且還有環(huán)境。通常，這種測試被設(shè)置在網(wǎng)絡(luò)系統(tǒng)中的多個(gè)計(jì)算機(jī) 上。對(duì)于每個(gè)可能的方案，必須存在用統(tǒng)一的方式呈現(xiàn)測試并且存檔 測試的方法，使得在沒有對(duì)系統(tǒng)管理員過度負(fù)擔(dān)的情況下隨后可以給 出該測試。在某些情況下，測試提供者可能需要幾百個(gè)適當(dāng)?shù)臏y試實(shí) 例以便從中采樣。他們典型地尋找一種直接并且易管理的手段來提供 這種測試。讓系統(tǒng)管理員配置和重新配置測試平臺(tái)是費(fèi)力的，尤其考 慮到對(duì)關(guān)于公司投資的更好回報(bào)的要求。所有這些可能是高費(fèi)用的。
基于計(jì)算機(jī)表現(xiàn)的測試與多選格式測試相比可能同樣是更加昂貴 的，因?yàn)榍罢呖赡苊黠@地要求更多的時(shí)間在對(duì)應(yīng)答的適當(dāng)性評(píng)估上。 盡管可以設(shè)計(jì)測驗(yàn)的得分以提供有些粒度和離散的回答，然而由于對(duì)
關(guān)于基于表現(xiàn)的測試可獲得的建議方案的響應(yīng)存在多個(gè)正確路徑，明 顯正確的或4晉誤的回答與多選測試相比通常更不常見。
需要對(duì)基于計(jì)算機(jī)表現(xiàn)的測試方法進(jìn)行改進(jìn)，使得該方法不要求 許多的獨(dú)立計(jì)算機(jī)的設(shè)置或?qū)ο到y(tǒng)管理員在網(wǎng)絡(luò)系統(tǒng)上配置和重新配 置測試平臺(tái)的普遍需要。此外，需要基于計(jì)算機(jī)表現(xiàn)的測試方法能夠 允許依據(jù)被指定進(jìn)行測試的應(yīng)試者來測試即興管理。此外，需要能改 進(jìn)基于表現(xiàn)的測試的粒度以便更加充分地評(píng)價(jià)被測試者的技能的新方 法。

發(fā)明內(nèi)容
在此向多個(gè)應(yīng)試者提供了一種計(jì)算機(jī)實(shí)現(xiàn)方法，用于利用軟件來 提供不同的基于表現(xiàn)的測試。這種方法包括在一個(gè)服務(wù)器上仿真操作 系統(tǒng)以形成多個(gè)虛擬服務(wù)器映像。該多個(gè)虛擬服務(wù)器映像可以與表示 多個(gè)不同的基于表現(xiàn)的測試的多個(gè)硬盤驅(qū)動(dòng)器映像相關(guān)聯(lián)。可使用多 個(gè)虛擬服務(wù)器映像之一來執(zhí)行多個(gè)應(yīng)用映像以便允許與多個(gè)硬盤驅(qū)動(dòng) 器映《象中的至少一個(gè)交互?？蛇x地，至少一個(gè)仿真操作系統(tǒng)可以是相同族的操作系統(tǒng)的單獨(dú)的實(shí)例，或可以是另一族操作系統(tǒng)的單獨(dú)的實(shí)例，或者處于或不處于與基礎(chǔ)操作系統(tǒng)相同族的操作系統(tǒng)中。該計(jì)算機(jī)實(shí)現(xiàn)方法還可以包括隨機(jī)選擇多個(gè)硬盤驅(qū)動(dòng)器映像之一以便與虛擬服務(wù)器映像交互的步驟，其中例如虛擬硬盤驅(qū)動(dòng)器映像中的一個(gè)或多個(gè)是字處理文檔或圖形描述。
一個(gè)實(shí)施例包括向應(yīng)試者提供一組基于表現(xiàn)的測試的計(jì)算機(jī)實(shí)現(xiàn)
系統(tǒng)，所述系統(tǒng)包括具有基礎(chǔ)操作系統(tǒng)的服務(wù)器；駐留在該服務(wù)器上的仿真器，該仿真器對(duì)操作系統(tǒng)族中的至少一個(gè)操作系統(tǒng)進(jìn)行仿真；在操作上與仿真器相關(guān)聯(lián)的數(shù)據(jù)存儲(chǔ)裝置，該數(shù)據(jù)存儲(chǔ)裝置存儲(chǔ)可使用至少 一個(gè)仿真操作系統(tǒng)執(zhí)行的至少一個(gè)應(yīng)用程序的映像，并且數(shù)據(jù)存儲(chǔ)裝置存儲(chǔ)可使用至少一個(gè)仿真操作系統(tǒng)執(zhí)行的多個(gè)不同的虛擬硬盤驅(qū)動(dòng)器映像，每個(gè)虛擬硬盤驅(qū)動(dòng)器在操作上被配置成向應(yīng)試者描繪不同的方案?？蛇x地，該仿真器的操作系統(tǒng)可以或不必與該服務(wù)器的操作系統(tǒng)不同。該仿真器可以是軟件或硬件仿真器，或者可以包括硬件和軟件二者。數(shù)據(jù)存儲(chǔ)裝置可以是服務(wù)器的一部分，也可以是該服務(wù)器的一部分或遠(yuǎn)離該服務(wù)器。 一個(gè)或多個(gè)虛擬硬盤驅(qū)動(dòng)器映像可以在操作上與兩個(gè)或更多應(yīng)用程序映像相關(guān)聯(lián)。計(jì)算機(jī)實(shí)現(xiàn)系統(tǒng)還可以包括在操作上被配置成從多個(gè)虛擬硬盤驅(qū)動(dòng)器映像之中隨機(jī)地選擇一個(gè)虛擬硬盤驅(qū)動(dòng)器映像的隨機(jī)選擇軟件。關(guān)于一個(gè)或多個(gè)虛擬硬盤驅(qū)動(dòng)器的描繪可以要求來自應(yīng)試者的一組應(yīng)答。該計(jì)算機(jī)實(shí)現(xiàn)系統(tǒng)進(jìn)一步包括定義一組規(guī)則以便針對(duì)該描繪自動(dòng)地分析來自應(yīng)試者的該組應(yīng)答的適當(dāng)性的程序。
另一實(shí)施例包括一種包含數(shù)據(jù)結(jié)構(gòu)的計(jì)算機(jī)可讀數(shù)據(jù)傳輸，包括第一部分，識(shí)別由客戶端向收容了多個(gè)虛擬服務(wù)器映像的服務(wù)器請(qǐng)求的虛擬服務(wù)器映像；第二部分，識(shí)別存儲(chǔ)在與該服務(wù)器相關(guān)聯(lián)的存儲(chǔ)設(shè)備上的應(yīng)用映像和硬盤驅(qū)動(dòng)器映像，該存儲(chǔ)設(shè)備收容了多個(gè)應(yīng)用映像和與該應(yīng)用映像相關(guān)聯(lián)的硬盤驅(qū)動(dòng)器映像。該傳輸進(jìn)一步包括第三部分，用于將該客戶端與其它客戶端區(qū)分開來。
又一個(gè)實(shí)施例包括一種向第一用戶和第二用戶提供一組基于表現(xiàn)的測試的計(jì)算機(jī)實(shí)現(xiàn)方法，包括采用在公用硬件體系結(jié)構(gòu)上的共享硬件對(duì)操作系統(tǒng)、 一個(gè)或多個(gè)應(yīng)用軟件程序和兩個(gè)或更多硬盤驅(qū)動(dòng)器進(jìn)行仿真，以便產(chǎn)生與第一用戶相關(guān)聯(lián)的第一信號(hào)和與第二用戶相關(guān)
10聯(lián)的明顯不同的第二信號(hào)；以及存儲(chǔ)所述第一信號(hào)和所述第二信號(hào)。可選地，該仿真步驟可以使用虛擬化技術(shù)。該方法還可以包括傳送第一信號(hào)和第二信號(hào)的步驟。該至少一個(gè)軟件程序可以選自例如包括以下的組字處理程序、圖形處理程序、畫圖處理程序、視頻處理程序或音頻處理程序。


圖1以圖解形式例示了本發(fā)明的示范性系統(tǒng)服務(wù)器；以及；圖2是用于計(jì)算機(jī)系統(tǒng)中的仿真操作環(huán)境的硬件和軟件體系結(jié)構(gòu)的邏輯層的圖。
具體實(shí)施例方式
在測試中對(duì)特定事實(shí)的知識(shí)的展示不等同于應(yīng)試者以有意義的方式應(yīng)用知識(shí)的能力。為了更加適當(dāng)?shù)嘏袛鄬W(xué)習(xí)和理解，建議使用基于表現(xiàn)的測試。 一種類型的基于表現(xiàn)的測試是交互式計(jì)算機(jī)模擬，其中測試項(xiàng)目模擬特定軟件產(chǎn)品的行為并且請(qǐng)求用戶在該模擬內(nèi)正確地執(zhí)行指定功能。
與交互式計(jì)算機(jī)模擬相關(guān)聯(lián)的問題是可能需要應(yīng)試者針對(duì)不被設(shè)計(jì)成在相同的操作系統(tǒng)上運(yùn)行的多個(gè)軟件產(chǎn)品展示出效率。在過去，使用這些產(chǎn)品中的每一個(gè)的技能測試可能要求使用多個(gè)不同的計(jì)算機(jī)。然而，近來已經(jīng)在這樣的計(jì)算環(huán)境中開發(fā)出仿真策略，即該計(jì)算環(huán)境允
圖2例示用于計(jì)算機(jī)系統(tǒng)107中的示范性傳統(tǒng)仿真操作環(huán)境的硬件和軟件體系結(jié)構(gòu)的邏輯層的圖。仿真程序111運(yùn)行在主機(jī)操作系統(tǒng)109和主機(jī)硬件體系結(jié)構(gòu)108上。仿真程序111對(duì)包括客戶機(jī)操作系統(tǒng)115的客戶計(jì)算機(jī)系統(tǒng)113仿真?？蛻魴C(jī)軟件應(yīng)用117運(yùn)行在客戶機(jī)操作系統(tǒng)115上。在圖2的仿真操作環(huán)境中，由于該仿真程序111的操作，客戶機(jī)軟件應(yīng)用117可以運(yùn)行在計(jì)算機(jī)系統(tǒng)107上，即使客戶機(jī)軟件應(yīng)用117可能被設(shè)計(jì)成運(yùn)行在一般與主機(jī)操作系統(tǒng)109和主機(jī)硬件體系結(jié)構(gòu)108不兼容的操作系統(tǒng)上。
這種仿真策略允許諸如服務(wù)器的單個(gè)硬件部分被分離出來，以允許軟件應(yīng)用運(yùn)行在公用硬件上，盡管這種應(yīng)用正常地只能使用不同的操作系統(tǒng)來執(zhí)行。
在本發(fā)明的實(shí)施例中，仿真策略被用來允許采用多個(gè)不同的軟件
應(yīng)用與配置的操作系統(tǒng)無關(guān)地來挑戰(zhàn)(challenge )各個(gè)應(yīng)試者。例如，這種系統(tǒng)將允許采用Macintosh畫圖程序以及Microsoft Word來測試應(yīng)試者的技能。然而，在此認(rèn)識(shí)到將服務(wù)器分成多個(gè)獨(dú)立的虛擬服務(wù)器本身并不能克服基于表現(xiàn)的測試的管理員所面對(duì)的問題，即他們必須經(jīng)常地對(duì)測試進(jìn)行更新和重定格式(reformat)以確保后來的應(yīng)試者不向先前的應(yīng)試者學(xué)習(xí)。
為了克服這種問題，在一個(gè)實(shí)施例中提供了多個(gè)虛擬硬盤驅(qū)動(dòng)器映像，其中的每一個(gè)都針對(duì)可由虛擬服務(wù)器宿留(host)的應(yīng)用來執(zhí)行的不同方案。該虛擬服務(wù)器映像可以將這種虛擬硬盤驅(qū)動(dòng)器映像用于重建不同的應(yīng)用環(huán)境，以及在同一應(yīng)用內(nèi)給不同的應(yīng)試者提供不同的數(shù)據(jù)。通過改變不同的虛擬硬盤驅(qū)動(dòng)器映像，可以重新使用虛擬服務(wù)器映像和改變其用途，由此顯著地降低了開發(fā)基于性能的評(píng)價(jià)方案的成本。
例如，應(yīng)試者試圖展示他或她關(guān)于Visio或另一專有的畫圖程序的能力，該應(yīng)試者可能被要求制備特定的圖表或圖畫。如果應(yīng)試者在電機(jī)工程公司的市場部門中謀職，與程序相關(guān)聯(lián)的虛擬硬盤驅(qū)動(dòng)器映像可能選自這樣的一個(gè)或多個(gè)虛擬硬盤驅(qū)動(dòng)器映像，其提出要求應(yīng)試者在引入圖畫或制備流程圖中展示熟練程度的方案。如果應(yīng)試者謀職作為電機(jī)工程師，出于測試目的的該虛擬硬盤驅(qū)動(dòng)器映像可能選自提出要求應(yīng)試者制備電路圖的方案的一個(gè)或多個(gè)虛擬硬盤驅(qū)動(dòng)器映像。在所有情況下，采用畫圖程序來測試該應(yīng)試者的能力，但是各個(gè)都面臨著對(duì)他們在公司的預(yù)期任務(wù)來說是重要的現(xiàn)實(shí)方案。
在一個(gè)實(shí)施例中，出于應(yīng)用的測試目的選擇的特定虛擬硬盤驅(qū)動(dòng)器映像可能是全部或部分地隨機(jī)選擇的。例如， 一電機(jī)工程師應(yīng)試者可能面臨著用計(jì)算機(jī)起草一種類型的電路的任務(wù)，而另一應(yīng)試者可能面臨著用計(jì)算機(jī)起草另一種類型的電路的任務(wù)?？梢杂弥苯拥姆绞?例如，電路圖方案)來選擇虛擬硬盤驅(qū)動(dòng)器映像的初始選擇；然而，最終選擇使用哪個(gè)虛擬硬盤驅(qū)動(dòng)器映像呈現(xiàn)在特定應(yīng)試者面前可能是隨機(jī)的。隨機(jī)化在測試時(shí)或以后在防止一應(yīng)試者影響另一應(yīng)試者的應(yīng)答上是有用的。
呈現(xiàn)給應(yīng)試者的方案可能是用應(yīng)試者執(zhí)行的一系列命令或請(qǐng)求的 形式。例如，應(yīng)試者可能被請(qǐng)求使用軟件程序來確定特定工程結(jié)構(gòu)上
的壓力和張力、解決通過已出現(xiàn)的方案來表示的IT問題或總結(jié)為解決 方案所必需的數(shù)據(jù)。
在一個(gè)實(shí)施例中，提供了自動(dòng)對(duì)應(yīng)試者對(duì)給定PBT的應(yīng)答進(jìn)行評(píng) 分(grade )的軟件程序。這種程序被配置成對(duì)照應(yīng)答庫來比較應(yīng)答(按 鍵等等)，每一個(gè)應(yīng)答都被給予預(yù)定的點(diǎn)數(shù)分值(point grade value )。 這種應(yīng)答庫可能編輯自先前的應(yīng)答或當(dāng)應(yīng)試者進(jìn)行PBT時(shí)被主動(dòng)編輯 (其中在其后添加適當(dāng)?shù)?評(píng)分")。如果應(yīng)試者的應(yīng)答被發(fā)現(xiàn)不在庫 中，則可以要求手動(dòng)評(píng)分。
現(xiàn)在轉(zhuǎn)向圖l，示出了本公開的示例性實(shí)施例系統(tǒng)服務(wù)器105。這 種系統(tǒng)服務(wù)器105包括劃分成多個(gè)虛擬服務(wù)器(例如，虛擬服務(wù)器號(hào) 碼1 ( 10 )至虛擬服務(wù)器號(hào)碼N ( 10 '))的服務(wù)器。每個(gè)虛擬服務(wù)器 可以具有被授權(quán)具有訪問該虛擬服務(wù)器的根(15、 15')入口的一個(gè)或 多個(gè)用戶(5、 5'、 5"、 5"和5"")。每個(gè)虛擬J!l務(wù)器可以祐 沒計(jì)成對(duì) 可以利用不同系統(tǒng)庫(35、 35')的不同系統(tǒng)軟件(30、 3(K )進(jìn)行仿 真。系統(tǒng)庫(35、 35')可以包括系統(tǒng)軟件(30、 30')可以使用的許 多預(yù)編輯例程的集合，并且這些預(yù)編輯例程允許鏈接至多個(gè)程序。
系統(tǒng)服務(wù)器105包括允許在該服務(wù)器上創(chuàng)建和執(zhí)行不同的虛擬服 務(wù)器(10至10')的虛擬化軟件層40。系統(tǒng)服務(wù)器105運(yùn)行在其自己 的、可能與虛擬服務(wù)器環(huán)境不同的主機(jī)操作系統(tǒng)45上。系統(tǒng)服務(wù)器105 包括軟件和硬件(50)組件二者，并且典型地在允許由多個(gè)工作站同 時(shí)訪問的網(wǎng)絡(luò)環(huán)境(55)中運(yùn)行。
每個(gè)虛擬服務(wù)器(10至10')在操作上被配置成允許在多個(gè)應(yīng)用 映像(85 / 90至100)中和在多個(gè)虛擬硬盤驅(qū)動(dòng)器映像(60、 65、 70、 75至80)中選擇，以允許用戶(5、 5\ 5"、 5'"和5"")基于對(duì)虛擬 服務(wù)器(10至10')、應(yīng)用映像(85 / 90至100)和虛擬硬盤驅(qū)動(dòng)器 映像(60、 65、 70、 75至80)的選擇針對(duì)用于各種應(yīng)試者的任何應(yīng)用 程序來考慮不同的方案。可以完全或部分地隨機(jī)選擇虛擬硬盤驅(qū)動(dòng)器 映像(60、 65、 70、 75至80)，以便在隨機(jī)的基礎(chǔ)上提供向應(yīng)試者呈 現(xiàn)的不同方案。通過隨機(jī)改變應(yīng)試者可能碰到的方案，不允許應(yīng)試者欺騙或死記硬背地學(xué)習(xí)來通過測試。 關(guān)于優(yōu)選實(shí)施例的聲明
盡管已經(jīng)相對(duì)于上文描述本發(fā)明，本領(lǐng)域技術(shù)人員將容易地理解 在不脫離正如附加權(quán)利要求所定義的本發(fā)明的精神或范圍的情況下可 以作出各種改變和/或修改。
權(quán)利要求
1.一種向應(yīng)試者提供一組基于表現(xiàn)的測試的計(jì)算機(jī)實(shí)現(xiàn)系統(tǒng)，所述系統(tǒng)包括具有基礎(chǔ)操作系統(tǒng)的服務(wù)器；駐留在所述服務(wù)器上的仿真器，所述仿真器對(duì)操作系統(tǒng)族中的至少一個(gè)操作系統(tǒng)進(jìn)行仿真；在操作上與所述仿真器相關(guān)聯(lián)的數(shù)據(jù)存儲(chǔ)裝置，所述數(shù)據(jù)存儲(chǔ)裝置存儲(chǔ)能使用所述至少一個(gè)被仿真的操作系統(tǒng)執(zhí)行的至少一個(gè)應(yīng)用程序的映像，并且所述數(shù)據(jù)存儲(chǔ)裝置存儲(chǔ)能使用所述至少一個(gè)被仿真的操作系統(tǒng)執(zhí)行的多個(gè)不同的虛擬硬盤驅(qū)動(dòng)器映像，每個(gè)虛擬硬盤驅(qū)動(dòng)器在操作上被配置成向所述應(yīng)試者描繪不同的方案。
2. 如權(quán)利要求1所述的計(jì)算機(jī)實(shí)現(xiàn)系統(tǒng)，其中所述仿真器的操作 系統(tǒng)與所述服務(wù)器的基礎(chǔ)操作系統(tǒng)不同。
3. 如權(quán)利要求1所述的計(jì)算機(jī)實(shí)現(xiàn)系統(tǒng)，其中所述仿真器的操作 系統(tǒng)并不與所述服務(wù)器的基礎(chǔ)操作系統(tǒng)不同。
4. 如權(quán)利要求1所述的計(jì)算機(jī)實(shí)現(xiàn)系統(tǒng)，其中所述仿真器是軟件 仿真器。
5. 如權(quán)利要求1所述的計(jì)算機(jī)實(shí)現(xiàn)系統(tǒng)，其中所述仿真器是硬件 仿真器。
6. 如權(quán)利要求1所述的計(jì)算機(jī)實(shí)現(xiàn)系的，其中所述仿真器包括硬 件和軟件二者。
7. 如權(quán)利要求1所述的計(jì)算機(jī)實(shí)現(xiàn)系統(tǒng)，其中所述數(shù)據(jù)存儲(chǔ)裝置 是所述服務(wù)器的一部分。
8. 如權(quán)利要求1所述的計(jì)算機(jī)實(shí)現(xiàn)系統(tǒng)，其中所述數(shù)據(jù)存儲(chǔ)裝置 遠(yuǎn)離所述服務(wù)器。
9. 如權(quán)利要求1所述的計(jì)算機(jī)實(shí)現(xiàn)系統(tǒng)，其中一個(gè)或多個(gè)虛擬硬 盤驅(qū)動(dòng)器映像在操作上與兩個(gè)或更多應(yīng)用程序映像相關(guān)聯(lián)。
10. 如權(quán)利要求1所述的計(jì)算機(jī)實(shí)現(xiàn)系統(tǒng)，進(jìn)一步包括在操作上被 配置成從多個(gè)虛擬硬盤驅(qū)動(dòng)器映像之中隨機(jī)地選擇一個(gè)虛擬硬盤驅(qū)動(dòng) 器映像的隨機(jī)選擇軟件。
11. 如權(quán)利要求1所述的計(jì)算機(jī)實(shí)現(xiàn)系統(tǒng)，其中涉及一個(gè)或多個(gè)虛擬硬驅(qū)動(dòng)的所述描繪要求來自所述應(yīng)試者的一組應(yīng)答。
12. 如權(quán)利要求11所述的計(jì)算機(jī)實(shí)現(xiàn)系統(tǒng)，進(jìn)一步包括定義一組 規(guī)則的程序，該組規(guī)則用于針對(duì)所述描繪自動(dòng)分析來自所述應(yīng)試者的 該組應(yīng)答的適當(dāng)性。
13. —種用于向多個(gè)應(yīng)試者提供不同的利用軟件的基于表現(xiàn)的測 試的計(jì)算機(jī)實(shí)現(xiàn)方法，所述方法包括在一個(gè)服務(wù)器上對(duì)操作系統(tǒng)仿真，以便形成多個(gè)虛擬服務(wù)器映像； 使所述多個(gè)虛擬服務(wù)器映像中的每一個(gè)與表示多個(gè)不同的基于表 現(xiàn)的測試的多個(gè)硬盤驅(qū)動(dòng)器映像相關(guān)聯(lián)，并且能使用所述多個(gè)虛擬服 務(wù)器映像之一執(zhí)行多個(gè)應(yīng)用映像以便允許一個(gè)或多個(gè)應(yīng)用映像與所述 多個(gè)硬盤驅(qū)動(dòng)器映像中的至少一個(gè)的交互。
14. 如權(quán)利要求13所述的計(jì)算機(jī)實(shí)現(xiàn)方法，其中至少一個(gè)被仿真 的操作系統(tǒng)處在與基礎(chǔ)服務(wù)器操作系統(tǒng)相同的操作系統(tǒng)族中。
15. 如權(quán)利要求13所述的計(jì)算機(jī)實(shí)現(xiàn)方法，其中至少一個(gè)被仿真 的操作系統(tǒng)并不處在與基礎(chǔ)服務(wù)器操作系統(tǒng)相同的操作系統(tǒng)族中。
16. 如權(quán)利要求13所述的計(jì)算機(jī)實(shí)現(xiàn)方法，進(jìn)一步包括隨機(jī)選 擇所述多個(gè)硬盤驅(qū)動(dòng)器映像之一以便與所述虛擬服務(wù)器映像交互。
17. 如權(quán)利要求13所述的計(jì)算機(jī)實(shí)現(xiàn)方法，其中所述虛擬硬盤驅(qū) 動(dòng)器映像中的一個(gè)或多個(gè)是字處理文檔。
18. 如權(quán)利要求13所述的計(jì)算機(jī)實(shí)現(xiàn)方法，其中所述虛擬硬盤驅(qū) 動(dòng)器映像中的一個(gè)或多個(gè)為圖形描述。
19. 一種包含數(shù)據(jù)結(jié)構(gòu)的計(jì)算機(jī)可讀數(shù)據(jù)傳輸，包括 第一部分，識(shí)別客戶端向收容了多個(gè)虛擬服務(wù)器映像的服務(wù)器請(qǐng)求的虛擬服務(wù)器映像；第二部分，識(shí)別存儲(chǔ)在與所述服務(wù)器相關(guān)聯(lián)的存儲(chǔ)設(shè)備上的應(yīng)用 映像和硬盤驅(qū)動(dòng)器映像，所述存儲(chǔ)設(shè)備收容了多個(gè)應(yīng)用映像和與所述 應(yīng)用映像相關(guān)聯(lián)的硬盤驅(qū)動(dòng)器映像。
20. 如權(quán)利要求19所述的計(jì)算機(jī)可讀數(shù)據(jù)傳輸，進(jìn)一步包括 第三部分，用于將所述客戶端與其它客戶端區(qū)分開來。
21. —種向第一用戶和第二用戶提供一組基于表現(xiàn)的測試的計(jì)算 才幾實(shí)現(xiàn)方法，包者舌采用在公用硬件體系結(jié)構(gòu)之上的共享硬件對(duì)操作系統(tǒng)、 一個(gè)或多個(gè)應(yīng)用軟件程序和兩個(gè)或更多硬盤驅(qū)動(dòng)器進(jìn)行仿真，以產(chǎn)生與所述第 一用戶相關(guān)聯(lián)的第一信號(hào)和與所述第二用戶相關(guān)聯(lián)的明顯不同的第二信號(hào)；以及存儲(chǔ)所述第一信號(hào)和所述第二信號(hào)。
22. 如權(quán)利要求21所述的計(jì)算機(jī)實(shí)現(xiàn)方法，其中仿真步驟采用了 虛擬化技術(shù)。
23. 如權(quán)利要求21所述的計(jì)算機(jī)實(shí)現(xiàn)方法，進(jìn)一步包括傳送所述 第一信號(hào)和所述第二信號(hào)。
24. 如權(quán)利要求21所述的計(jì)算機(jī)實(shí)現(xiàn)方法，其中至少一個(gè)軟件程 序選自包括以下的組字處理程序、圖形處理程序、畫圖處理程序、 視頻處理程序、音頻處理程序。
全文摘要
允許重新使用虛擬服務(wù)器映像和改變其用途的系統(tǒng)，通過提供多個(gè)虛擬硬盤驅(qū)動(dòng)器映像來為基于表現(xiàn)的測試提供不同的應(yīng)用環(huán)境。
文檔編號(hào)G06F9/46GK101681267SQ200780039065
公開日2010年3月24日 申請(qǐng)日期2007年8月27日 優(yōu)先權(quán)日2006年8月29日
發(fā)明者C·克勞赫爾斯特 申請(qǐng)人:普羅美特里克公司