可用性測(cè)試的制作方法
【專利摘要】提供了用于可用性測(cè)試的方法、計(jì)算機(jī)可讀介質(zhì)以及系統(tǒng)?？捎眯詼y(cè)試可以包括經(jīng)由測(cè)試工具來記錄應(yīng)用的用戶的動(dòng)作和用戶與應(yīng)用的交互102/104。可用性測(cè)試還可以包括經(jīng)由測(cè)試工具來將用戶的動(dòng)作和交互與用于應(yīng)用的動(dòng)作的基線流程相比較106?？捎眯詼y(cè)試可以包括經(jīng)由測(cè)試工具基于比較來識(shí)別伴隨應(yīng)用的可用性問題108。
【專利說明】可用性測(cè)試
【背景技術(shù)】
[0001]對(duì)于用戶而言操作起來混淆或困難的計(jì)算機(jī)應(yīng)用(例如，諸如軟件的計(jì)算機(jī)可執(zhí)行指令)可能導(dǎo)致用于采用該應(yīng)用的企業(yè)的收入損失。例如，使用該應(yīng)用的雇員可能是低效的和/或使用該應(yīng)用的客戶可能放棄交易并從競(jìng)爭(zhēng)者購買。測(cè)試此類應(yīng)用的某些方法可能已包括創(chuàng)建原型或工作應(yīng)用、建立包括計(jì)算機(jī)和記錄設(shè)備(例如，照相機(jī)和/或麥克風(fēng))的實(shí)驗(yàn)室、觀察實(shí)驗(yàn)室中的應(yīng)用的用戶、使用戶執(zhí)行一組預(yù)定義步驟、記錄實(shí)驗(yàn)室中的用戶(例如，用照相機(jī)和/或麥克風(fēng))以及手動(dòng)地分析所記錄數(shù)據(jù)。可能已被記錄的其他信息包括完成預(yù)定義步驟的時(shí)間和每個(gè)執(zhí)行任務(wù)的點(diǎn)擊次數(shù)。此信息的后續(xù)分析(例如，“點(diǎn)擊鏈接1”、“點(diǎn)擊按鈕1”、“點(diǎn)擊按鈕2”)是手動(dòng)完成的(例如，參考用戶的視頻以查看用戶實(shí)際上正在做什么)。
【專利附圖】

【附圖說明】
[0002]圖1圖示出圖示出根據(jù)本公開的用于可用性測(cè)試的方法的示例的流程圖。
[0003]圖2圖示出根據(jù)本公開的用戶流程與用于應(yīng)用的基線流程的比較的示例的方框圖。
[0004]圖3圖示出根據(jù)本公開的與用于可用性測(cè)試的處理器資源通信的機(jī)器可讀介質(zhì)的示例的方框圖。
[0005]圖4圖示出根據(jù)本公開的用于可用性測(cè)試的系統(tǒng)的示例的方框圖。
【具體實(shí)施方式】
[0006]提供了用于可用性測(cè)試的方法、計(jì)算機(jī)可讀介質(zhì)以及系統(tǒng)?？捎眯詼y(cè)試可以包括經(jīng)由測(cè)試工具來記錄應(yīng)用的用戶的動(dòng)作和用戶與應(yīng)用的交互。可用性測(cè)試還可以包括經(jīng)由測(cè)試工具來將用戶的動(dòng)作和交互與用于應(yīng)用的動(dòng)作的基線流程相比較?？捎眯詼y(cè)試可以包括經(jīng)由測(cè)試工具基于比較來識(shí)別伴隨應(yīng)用的可用性問題。
[0007]應(yīng)用可以被執(zhí)行向用戶呈現(xiàn)信息(例如，通過用戶界面)的指令(例如，計(jì)算機(jī)程序)。例如，除其他應(yīng)用之外，應(yīng)用可以是網(wǎng)站或獨(dú)立程序?？梢韵驊?yīng)用的用戶將任務(wù)識(shí)別為由用戶在應(yīng)用中完成。特別地，此類任務(wù)的示例可以包括從賣方網(wǎng)站購買產(chǎn)品或在數(shù)據(jù)庫中搜索特定信息片。測(cè)試工具可以被執(zhí)行諸如計(jì)算機(jī)程序的指令，其與要測(cè)試的應(yīng)用同時(shí)地運(yùn)行。然而，本公開的示例不要求應(yīng)用和測(cè)試工具在同一機(jī)器上運(yùn)行。也不要求應(yīng)用或測(cè)試工具在用戶在物理上正在使用的機(jī)器上運(yùn)行(例如，應(yīng)用和/或測(cè)試工具能夠遠(yuǎn)離用戶正在使用的機(jī)器運(yùn)行)。
[0008]除其他測(cè)量之外，通過有效性、效率和/或滿意度能夠測(cè)量應(yīng)用的可用性。應(yīng)用的有效性可以包括用戶用來在特定環(huán)境中完成任務(wù)的準(zhǔn)確度和完整性。效率可以包括相對(duì)于完成的任務(wù)的準(zhǔn)確度和完整性所花費(fèi)的資源。滿意度可以包括系統(tǒng)、用戶和受其使用所影響的其他人的工作的舒適度和可接受性。
[0009]不良應(yīng)用可用性可能導(dǎo)致雇員效率低、由于被放棄的交易或客戶轉(zhuǎn)向競(jìng)爭(zhēng)者而引起的收入損失、較低的轉(zhuǎn)換速率(例如，瀏覽-購買)以及其中應(yīng)用的用戶停留在先前的應(yīng)用或應(yīng)用的先前版本并僅僅向新應(yīng)用中輸入數(shù)據(jù)的現(xiàn)象。本公開的示例通過識(shí)別具有應(yīng)用可用性的問題并允許解決那些問題來幫助減少或消除不良應(yīng)用可用性的這些負(fù)面效應(yīng)。
[0010]此外，本公開的示例能夠提供其中不要求物理觀察者的可縮放用戶測(cè)試。用戶能夠連接到應(yīng)用，并且在對(duì)于用戶而言方便時(shí)運(yùn)行測(cè)試。能夠在并排視圖中將基線流程與實(shí)際用戶流程相比較。能夠計(jì)算并呈現(xiàn)用戶與基線流程的偏離的統(tǒng)計(jì)以用于分析(例如，用于特定應(yīng)用的不同用戶的用來完成任務(wù)的動(dòng)作和交互的比較，諸如“點(diǎn)擊按鈕、從列表中選擇項(xiàng)目、鼠標(biāo)在小工具上、選擇日歷中的日期等”和/或相對(duì)于應(yīng)用的較舊版本而言用于應(yīng)用的新版本的用來完成任務(wù)的動(dòng)作和交互的比較)。根據(jù)本公開的某些示例，不需要保存用戶測(cè)試的視頻和/或音頻記錄，因?yàn)槟軌蚪?jīng)由測(cè)試工具來記錄用戶的動(dòng)作和交互兩者。如果期望的話，能夠重放實(shí)際用戶流程(在測(cè)試期間沒有媒體記錄的情況下)以用于稍后的分析。然而，本公開的某些示例能夠使用并保存用戶測(cè)試的視頻和/或音頻記錄來幫助稍后的分析。
[0011]對(duì)附圖進(jìn)行參考，在附圖中以圖示的方式示出了如何可以實(shí)施本公開的一個(gè)或多個(gè)示例。足夠詳細(xì)地描述這些示例是為了使得本領(lǐng)域的技術(shù)人員能夠?qū)嵤┍竟_的示例，并且應(yīng)理解的是可以利用其他示例，并且在不脫離本公開的范圍的情況下可以進(jìn)行過程、電和/或結(jié)構(gòu)改變。如在本文中所使用的，特別地參考圖中的參考標(biāo)號(hào)指示符“N”和“P”指示本公開的一個(gè)或多個(gè)實(shí)施例能夠包括這樣指定的許多特定特征。
[0012]附圖遵循編號(hào)慣例，其中，第一數(shù)字對(duì)應(yīng)于附圖號(hào)碼且其余數(shù)字識(shí)別圖中的元件或部件。可以通過使用類似的數(shù)字來識(shí)別不同圖之間的類似元件或部件。例如，324可以參考圖3中的元件“24”，并且在圖4中可以將類似元件參考為424。在各種圖中示出的元件能夠被添加、交換和/或消除，從而提供本公開的許多附加示例。另外，在圖中提供的元件的比例和相對(duì)尺度意圖圖示出本公開的示例，并且不應(yīng)以限制性意義來理解。
[0013]圖1圖示出圖示出根據(jù)本公開的用于可用性測(cè)試的方法100的示例的流程圖。方法100可以包括記錄如在方框102處所示的應(yīng)用的用戶的動(dòng)作。用戶的動(dòng)作可以包括經(jīng)由機(jī)器的輸入設(shè)備、特別地諸如鼠標(biāo)或鍵盤到應(yīng)用的主動(dòng)輸入。主動(dòng)輸入可以包括諸如用輸入設(shè)備來選擇應(yīng)用中的各種對(duì)象(例如，點(diǎn)擊圖標(biāo))、用輸入設(shè)備來輸入文本以及其他主動(dòng)輸入的動(dòng)作。
[0014]所述方法可以包括記錄如在方框104處所示的用戶與應(yīng)用的交互。用戶的交互可以包括經(jīng)由輸入設(shè)備到應(yīng)用的被動(dòng)輸入。除其他被動(dòng)輸入之外，此類被動(dòng)輸入可以包括用輸入設(shè)備懸停在對(duì)象上(例如，將鼠標(biāo)懸停(mousing over)在圖標(biāo)上)、在不輸入文本的情況下選擇文本輸入字段、在一段時(shí)間內(nèi)停留在應(yīng)用的特定部分上(例如，頁面或字段)而不采取行動(dòng)。例如，用戶將鼠標(biāo)懸?？梢灾甘緦?duì)話或工具提示的打開，其可以指示用戶很困惑并正在嘗試將其自己定位于應(yīng)用的界面內(nèi)。從可用性觀點(diǎn)出發(fā)，除其他洞察力之外，記錄此類交互能夠允許有對(duì)用戶如何感知應(yīng)用和對(duì)應(yīng)用內(nèi)的潛在問題區(qū)域的更深洞察力。
[0015]記錄用戶與應(yīng)用的動(dòng)作和/或交互可以包括記錄用戶行動(dòng)和/或進(jìn)行交互的控制的名稱和類型、動(dòng)作和/或交互的性質(zhì)、在動(dòng)作和/或交互期間由用戶提供了什么數(shù)據(jù)(如果有的話)和/或動(dòng)作和/或交互的時(shí)間戳。例如，記錄可以包括“11:09:05TYPE ‘test’ in ‘SEARCH’TEXTBOX”，其中，“TEXTBOX” 是控制類型，“SEARCH” 是其名稱，“TYPE”是動(dòng)作，并且“test”是值。
[0016]該方法可以包括如方框106處所示的將用戶的動(dòng)作和交互與用于應(yīng)用的動(dòng)作的基線流程相比較。相對(duì)于應(yīng)用的可用性，流程可以包括隨著用戶使用應(yīng)用(例如，以完成特定任務(wù))的用戶的動(dòng)作和/或交互的順序和/或時(shí)間性?？梢愿鶕?jù)應(yīng)用的專家用戶的動(dòng)作和/或交互來定義基線流程。專家用戶可以是應(yīng)用的開發(fā)者或另一用戶。在某些示例中，定義基線流程可以包括記錄應(yīng)用的專家用戶用被用于其他用戶的同一測(cè)試工具進(jìn)行的動(dòng)作?？梢詫＜矣脩舻牧鞒?例如，隨著專家用戶完成特定任務(wù))保存為用于特定任務(wù)的基線流程。在某些示例中，可以在沒有測(cè)試工具的情況下由專家用戶來定義基線流程，其中，專家用戶手動(dòng)地輸入包括用于特定任務(wù)的基線流程的一列動(dòng)作和/或交互。在各種示例中，可以針對(duì)特定任務(wù)定義不止一個(gè)基線流程。某些先前的方法可能不包括能夠用來以比僅僅是預(yù)期點(diǎn)擊次數(shù)或用以完成給定任務(wù)的時(shí)間更詳細(xì)的方式來確定用戶的預(yù)期行為的基線流程。
[0017]可以根據(jù)應(yīng)用的多個(gè)用戶的聚合流程來定義基線流程。在此類示例中，將特定用戶的動(dòng)作和交互與基線流程相比較可以包括將用于特定用戶的流程與應(yīng)用的其他用戶的聚合流程相比較。此類示例中的將特定用戶的流程與基線流程相比較可以允許識(shí)別與規(guī)格化流程的偏差，其可以指示與聚合流程相比的特定用戶的更加或不那么高效的流程，這又促進(jìn)了應(yīng)用存在的可用性問題的識(shí)別(例如，對(duì)于特定用戶而言或?qū)τ谄渌脩舻木酆隙?。
[0018]能夠根據(jù)針對(duì)應(yīng)用的先前版本定義的基線流程來定義該基線流程(例如，其中正在被特定用戶測(cè)試的版本是應(yīng)用的新版本)?？梢匀绫疚乃龅囟x用于應(yīng)用的先前版本的基線流程(例如，除定義之外，根據(jù)專家使用或其他用戶的聚合使用)。此類示例中的將特定用戶的流程與基線流程相比較能夠允許發(fā)現(xiàn)版本之間的可用性回歸。例如，該比較可以顯示新版本的流程比先前的版本花費(fèi)更多的時(shí)間和/或更多輸入，或者該比較可以顯示先前補(bǔ)救的可用性問題在應(yīng)用的新版本中已經(jīng)重新露面。
[0019]該方法可以包括如方框108處所示的基于比較來識(shí)別伴隨應(yīng)用的可用性問題。特別地，可用性問題的示例可以包括用戶的動(dòng)作流程對(duì)完成所識(shí)別任務(wù)的無效、用戶動(dòng)作流程對(duì)完成任務(wù)的低效、用戶對(duì)用戶用以完成任務(wù)的動(dòng)作流程的不滿。
[0020]識(shí)別可用性問題可以包括將多個(gè)用戶的所記錄動(dòng)作和/或交互聚合以識(shí)別導(dǎo)致用于超過所述多個(gè)用戶的閾值的可用性問題的應(yīng)用的一部分。例如，那部分應(yīng)用可以是應(yīng)用的特定控件、特征、小工具、模塊、例程、圖形用戶界面或其他部分。所述多個(gè)用戶的閾值可以是特定數(shù)目的用戶或所述多個(gè)用戶的百分比?？梢杂蓽y(cè)試工具和/或應(yīng)用的提供商來定義此類閾值，并且可以根據(jù)期望來進(jìn)行修改。
[0021]在某些示例中，識(shí)別可用性問題可以包括將多個(gè)用戶的所記錄動(dòng)作和/或交互聚合以識(shí)別針對(duì)多于所述多個(gè)用戶的閾值發(fā)生的超過動(dòng)作的基線流程的那些的動(dòng)作和/或交互。相對(duì)于圖2來更詳細(xì)地描述識(shí)別此類可用性問題的示例。識(shí)別可用性問題的另一示例可以包括識(shí)別用于用戶完成任務(wù)所花費(fèi)的時(shí)間，其超過用于動(dòng)作的基線流程的閾值時(shí)間。例如，如果動(dòng)作的基線流程在X時(shí)間內(nèi)完成，則可以將閾值t與X相加，其中，如果用戶花費(fèi)大于x+t的時(shí)間來完成任務(wù)，則能夠指示可用性問題?？梢杂蓽y(cè)試工具和/或應(yīng)用的提供商來定義此類閾值，并根據(jù)期望來進(jìn)行修改。[0022]在各種示例中，識(shí)別可用性問題可以包括根據(jù)伴隨應(yīng)用的最令人困惑的部分的問題的最大數(shù)目的用戶將對(duì)多個(gè)用戶的統(tǒng)計(jì)聚合以突出應(yīng)用的該部分(例如，最令人困惑的控件)。測(cè)試工具可以識(shí)別最大數(shù)目的用戶所使用的不相關(guān)控件。例如，測(cè)試工具可以顯示10%的用戶執(zhí)行了 “點(diǎn)擊找到”的不相關(guān)動(dòng)作，23%的用戶執(zhí)行了 “鼠標(biāo)懸停在商店上”的不相關(guān)交互，并且42%的用戶執(zhí)行了“鼠標(biāo)懸停在手推車上”的不相關(guān)交互。本文所使用的不相關(guān)動(dòng)作和/或交互是用戶執(zhí)行的未包括在用于特定任務(wù)的基線流程中的動(dòng)作和/或交互?？梢宰詣?dòng)地提供此類識(shí)別而不要求分析員評(píng)論測(cè)試的記錄，諸如日志文件和/或視頻和/或音頻記錄。
[0023]特別地，其他統(tǒng)計(jì)可以包括流程時(shí)間，其中使用“幫助”、具有最大偏差的流程以及具有最長屏幕距離的流程。此類統(tǒng)計(jì)能夠允許通過深入到應(yīng)用中的哪些控件令人困惑的特定細(xì)節(jié)且通過包括由用戶響應(yīng)于應(yīng)用和/或測(cè)試工具提出的問題而供應(yīng)的信息來進(jìn)行分析，如在本文中更詳細(xì)地所述。
[0024]圖2圖示出根據(jù)本公開的用戶流程212與用于應(yīng)用的基線流程210的比較的示例的方框圖?；€流程210可以包 括被定義成如本文所述的在應(yīng)用中完成所識(shí)別任務(wù)的那些動(dòng)作214-1、214-2、214-3、214-4、...214-N。在圖2中所示的示例中，基線流程210包括第一動(dòng)作214-1 (例如，“導(dǎo)航到網(wǎng)站”)、第二動(dòng)作214-2 (例如，“鍵入姓名‘John’”)、第三動(dòng)作214-3 (例如，“鍵入年份‘1999’ ”)、第四動(dòng)作214-4 (例如，“點(diǎn)擊搜索”)和第n動(dòng)作214-N(例如，“點(diǎn)擊購買”)。雖然在基線流程210中未具體地示出，但基線流程210還可以包括用戶的交互，例如“鼠標(biāo)懸?！?。
[0025]用戶流程212包括由測(cè)試工具記錄的用戶對(duì)應(yīng)用進(jìn)行的動(dòng)作214和/或交互216。例如，除基線流程210所規(guī)定的動(dòng)作之外，用戶流程212在第四動(dòng)作(例如，“點(diǎn)擊搜索”)與第n動(dòng)作(例如，“點(diǎn)擊購買”)之間包括第一交互216-1 (例如，“鼠標(biāo)懸停在商店上”)和第二交互216-2 (例如，“鼠標(biāo)懸停在手推車上”)。在某些情況下，用戶將采取比基線流程210所規(guī)定的更多的動(dòng)作215。例如，在圖2中，用戶在第三動(dòng)作214-3 (例如，“鍵入年份‘1999’”)與第四動(dòng)作214-4 (例如，“點(diǎn)擊搜索”)之間采取第一額外動(dòng)作215-1 (例如，“點(diǎn)擊找到”)和第二額外動(dòng)作215-2 (例如，“點(diǎn)擊幫助”)。
[0026]將用戶流程212與基線流程210相比較可以包括顯示用戶的動(dòng)作流程(例如，用戶流程212)與基線流程210之間的差別218。例如，用戶流程包括第一額外動(dòng)作215-1 (例如，“點(diǎn)擊找到”)、第二額外動(dòng)作215-2 (例如，“點(diǎn)擊幫助”)、第一交互216-1 (例如，“鼠標(biāo)懸停在商店上”)和第二交互216-2 (例如，“鼠標(biāo)懸停在手推車上”)，其全部未被包括在基線流程210中。相應(yīng)地，在用戶流程212與基線流程210之間的比較中顯示出這些差異218。
[0027]雖然在圖2中未具體地示出，但用戶流程212與基線流程210之間的比較可以包括未被包括在用戶流程212中的基線流程210的動(dòng)作的識(shí)別。例如，用戶可以不完成第四動(dòng)作214-4 (例如，“點(diǎn)擊搜索”)。在此類示例中，比較可以指示用戶未完成該動(dòng)作。
[0028]圖3圖示出根據(jù)本公開的與處理器資源328-l、328-2...328-P通信以用于可用性測(cè)試的機(jī)器可讀介質(zhì)(MRM) 322的示例的方框圖320。機(jī)器可讀介質(zhì)322可以與具有處理器資源(例如，許多單獨(dú)處理器328-l、328-2...328-P)的機(jī)器326 (例如，計(jì)算設(shè)備)通信。機(jī)器326可以與有形非臨時(shí)MRM 322通信和/或接收有形非臨時(shí)MRM 322，其存儲(chǔ)可由處理器資源328-1，328-2…328-P執(zhí)行的一組機(jī)器可讀指令324，如本文所述。機(jī)器326可以包括存儲(chǔ)器資源330，并且可以將處理器資源328-l、328-2...328-P耦合到存儲(chǔ)器資源330。
[0029]處理器資源328-l、328-2...328-P能夠執(zhí)行存儲(chǔ)在內(nèi)部或外部非臨時(shí)MRM 322上的機(jī)器可讀指令324。本文所使用的非臨時(shí)MRM (例如，MRM 322)可以包括易失性和/或非易失性存儲(chǔ)器。易失性存儲(chǔ)器可以包括取決于功率以存儲(chǔ)信息的存儲(chǔ)器，特別地，諸如各種類型的動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器(DRAM)。非易失性存儲(chǔ)器可以存儲(chǔ)不依賴于功率來存儲(chǔ)信息的存儲(chǔ)器。非易失性存儲(chǔ)器的示例可以包括固態(tài)介質(zhì)，諸如閃速存儲(chǔ)器、EEPR0M、相變隨機(jī)存取存儲(chǔ)器(PCRAM)、磁性存儲(chǔ)器，諸如硬盤、磁驅(qū)動(dòng)器、軟盤和/或磁帶存儲(chǔ)器、光盤、數(shù)字多功能磁盤(DVD)、藍(lán)光磁盤(BD)、壓縮磁盤(⑶)和/或固態(tài)驅(qū)動(dòng)(SSD)、閃速存儲(chǔ)器等以及其他類型的機(jī)器可讀介質(zhì)。
[0030]非臨時(shí)MRM 322可以與計(jì)算設(shè)備成一整體或被以有線或無線方式通信耦合到計(jì)算設(shè)備。例如，非臨時(shí)機(jī)器可讀介質(zhì)可以是內(nèi)部存儲(chǔ)器、便攜式存儲(chǔ)器、便攜式磁盤或與另一計(jì)算設(shè)備相關(guān)聯(lián)的存儲(chǔ)器(例如，使得能夠跨諸如因特網(wǎng)的網(wǎng)絡(luò)傳輸和/或執(zhí)行機(jī)器可讀指令)。
[0031]MRM 322可以經(jīng)由通信路徑325與處理器資源328-l、328-2*"328-P通信。通信路徑325可以在與處理器資源328-l、328-2?"328-P相關(guān)聯(lián)的機(jī)器的本地或遠(yuǎn)處。本地通信路徑325的示例可以包括在諸如計(jì)算機(jī)的機(jī)器內(nèi)部的電子總線，其中，MRM 322是經(jīng)由電子總線與處理器資源328-l、328-2-328-P通信的易失性、非易失性、固定和/或可移動(dòng)存儲(chǔ)介質(zhì)中的一個(gè)。除其他類型的電子總線及其變體之外，此類電子總線的示例可以包括工業(yè)標(biāo)準(zhǔn)架構(gòu)(ISA)、外圍部件互連(PCI)、先進(jìn)技術(shù)附接(ATA)、小型計(jì)算機(jī)系統(tǒng)接口(SCSI)、通用串行總線(USB)。
[0032]通信路徑325可以使得MRM 322遠(yuǎn)離處理器資源，例如328_1、328_2…328-P，諸如在MRM 322與例如328-1、328-2…328-P的處理器資源之間的網(wǎng)絡(luò)連接的示例中。也就是說，通信路徑325可以是網(wǎng)絡(luò)連接。特別地，此類網(wǎng)絡(luò)連接的示例可以包括局域網(wǎng)(LAN)、廣域網(wǎng)(WAN)、個(gè)域網(wǎng)(PAN)以及因特網(wǎng)。在此類示例中，MRM 322可以與第一計(jì)算設(shè)備相關(guān)聯(lián)且處理器資源328-1、328- 2…328-P可以與第二計(jì)算設(shè)備相關(guān)聯(lián)。
[0033]處理器資源328-l、328-2?"328-P可以識(shí)別用于用戶在應(yīng)用中完成的任務(wù)。該應(yīng)用可以在處理器資源328-l、328-2...328-P或在被耦合到處理器資源328-1、328-2...328-P (例如，經(jīng)由網(wǎng)絡(luò)連接)的其他處理器資源上運(yùn)行。處理器資源328-1、328-2-328-P還可以記錄用戶相對(duì)于應(yīng)用的動(dòng)作和交互。此外，處理器資源328-1、328-2…328-P可以將用戶的動(dòng)作和交互與針對(duì)應(yīng)用定義的動(dòng)作的基線流程相比較?？梢詫?dòng)作的基線流程存儲(chǔ)在與設(shè)備326相關(guān)聯(lián)的存儲(chǔ)器資源330中或在被耦合到設(shè)備326 (例如，經(jīng)由網(wǎng)絡(luò)連接)的其他存儲(chǔ)器資源中。處理器資源328-l、328-2?"328-P可以基于該比較來識(shí)別伴隨應(yīng)用的可用性問題，如本文所述。
[0034]圖4圖示出根據(jù)本公開的用于可用性測(cè)試的系統(tǒng)432的示例的方框圖。然而,本公開的示例不限于特定系統(tǒng)(例如，計(jì)算系統(tǒng))配置。此外，根據(jù)本公開，可以對(duì)可用性測(cè)試采用多個(gè)系統(tǒng)432的使用。例如，可以將許多系統(tǒng)432用于記錄用戶用被測(cè)試的應(yīng)用進(jìn)行的動(dòng)作和/或交互，并且可以將相同或不同數(shù)目的系統(tǒng)432用于分析所記錄信息。示例不限于特定數(shù)目的系統(tǒng)432。
[0035]系統(tǒng)432可以包括處理器資源428(例如，類似于圖3中所示的處理器資源328_1、328-2、...328-P)以用于執(zhí)行存儲(chǔ)在有形非臨時(shí)介質(zhì)(例如，易失性存儲(chǔ)器430-1、非易失性存儲(chǔ)器430-2和/或MRM 422)中的指令。例如，處理器資源428可以包括諸如在并行處理系統(tǒng)中的一個(gè)或多個(gè)多個(gè)處理器。雖然未具體地示出，但系統(tǒng)432可以包括專用集成電路(ASIC)，其包括被配置成執(zhí)行本公開的各種示例的邏輯。
[0036]處理器資源428能夠控制系統(tǒng)432的總體操作。處理器資源428能夠被連接到存儲(chǔ)器控制器434，該存儲(chǔ)器控制器434能夠從和/或向易失性存儲(chǔ)器430-1讀取和/或?qū)懭霐?shù)據(jù)。存儲(chǔ)器控制器434可以包括具有其自己的存儲(chǔ)器資源(例如，易失性和/或非易失性存儲(chǔ)器)的ASIC和/或處理器。易失性存儲(chǔ)器430-1可以包括一個(gè)或多個(gè)存儲(chǔ)器模塊(例如，芯片)。處理器資源428能夠被連接到總線436以提供處理器資源428與系統(tǒng)432的其他部分之間的通信。非易失性存儲(chǔ)器430-2能夠?yàn)橄到y(tǒng)432提供持久性數(shù)據(jù)存儲(chǔ)。
[0037]系統(tǒng)432可以包括諸如易失性存儲(chǔ)器430-1、非易失性存儲(chǔ)器430_2和/或MRM424的存儲(chǔ)器資源。存儲(chǔ)器資源或其某個(gè)部分可以存儲(chǔ)針對(duì)應(yīng)用定義的動(dòng)作的基線流程，如本文所述。存儲(chǔ)器資源可以存儲(chǔ)用于應(yīng)用的一個(gè)或多個(gè)用戶的可用性測(cè)試的結(jié)果。存儲(chǔ)器資源(例如，易失性存儲(chǔ)器430-1、非易失性存儲(chǔ)器430-2和/或MRM 424)與處理器資源428之間的連接可以是本地的和/或遠(yuǎn)程的(例如,經(jīng)由網(wǎng)絡(luò)連接)。
[0038]系統(tǒng)432可以包括和/或經(jīng)由輸入設(shè)備438來接收存儲(chǔ)一組機(jī)器可讀指令424(例如，軟件)的有形非臨時(shí)MRM 422 (例如，類似于圖3中所示的MRM 322)。雖然未具體地示出，但除輸入設(shè)備之外，系統(tǒng)432可以包括許多輸入設(shè)備438，諸如鍵盤、鼠標(biāo)、觸摸屏顯示器、存儲(chǔ)器讀取器(例如，光學(xué)存儲(chǔ)器讀取器、磁存儲(chǔ)器讀取器、固態(tài)存儲(chǔ)器讀取器等)。
[0039]指令能夠被處理器資源428執(zhí)行以識(shí)別用于應(yīng)用的用戶完成的任務(wù)并記錄用戶相對(duì)于應(yīng)用的動(dòng)作和交互。指令能夠被處理器資源428執(zhí)行以將用戶的動(dòng)作和交互聚合，結(jié)果是用于多個(gè)用戶的可用性測(cè)試(例如，存儲(chǔ)在存儲(chǔ)器資源中)。指令能夠被處理器資源428執(zhí)行以將各種用戶的動(dòng)作和交互(例如，動(dòng)作和/或交互的流程)與基線流程相比較。還可以執(zhí)行指令以基于比較將對(duì)多于所述多個(gè)用戶的閾值發(fā)生的基線流程的那些的動(dòng)作和/或交互識(shí)別為指示伴隨應(yīng)用的可用性問題。
[0040]圖形控制器440能夠連接到用戶接口 442，其能夠基于由系統(tǒng)432執(zhí)行的活動(dòng)向用戶提供圖像。例如，指令能夠被處理器資源428執(zhí)行以促使處理器資源428響應(yīng)于用戶未完成任務(wù)或響應(yīng)于用戶請(qǐng)求幫助完成任務(wù)而向用戶提出問題(例如，經(jīng)由用戶接口 442)，如本文所述。用戶對(duì)問題的響應(yīng)能夠用來幫助識(shí)別伴隨應(yīng)用的可用性問題。指令能夠被包括在應(yīng)用和/或測(cè)試工具中(例如，由專家用戶)以向請(qǐng)求幫助的用戶提供指導(dǎo)(例如，用將完成所識(shí)別任務(wù)的特定步驟)。
[0041]雖然在本文中已經(jīng)圖示出和描述了特定示例，但本領(lǐng)域的技術(shù)人員將認(rèn)識(shí)到的是可以用實(shí)現(xiàn)相同結(jié)果計(jì)算的裝置來代替所示的特定示例。本公開意圖覆蓋本公開的一個(gè)或多個(gè)示例的修改或變更。應(yīng)理解的是以上描述是以說明性方式而非限制性方式進(jìn)行的。當(dāng)仔細(xì)閱讀以上描述時(shí)，本領(lǐng)域的技術(shù)人員將清楚在本文中未明確描述的以上示例的組合以及其他示例。本公開的一個(gè)或多個(gè)示例的范圍包括其中使用以上結(jié)構(gòu)和方法的其他應(yīng)用。因此，應(yīng)參考所附權(quán)利要求以及與主張此類權(quán)利要求的范圍等價(jià)的整個(gè)范圍來確定本公開的一個(gè)或多個(gè)示例的范圍。
[0042]在【具體實(shí)施方式】中，出于使本公開流暢的目的將某些特征集中在單個(gè)實(shí)施例中。不應(yīng)將這種公開方法解釋為反映本公開的公開示例必須使用比在每個(gè)權(quán)利要求中明確敘述的更多的特征的意圖。相反，如以下權(quán)利要求所反映的，本發(fā)明的主題在于少于單個(gè)公開實(shí)施例的所有特征。因此，以下權(quán)利要求被由此結(jié)合到【具體實(shí)施方式】中，每個(gè)權(quán)利要求作為單獨(dú)的實(shí)施例而獨(dú)立。
【權(quán)利要求】
1.一種用于可用性測(cè)試的方法，包括: 經(jīng)由測(cè)試工具來記錄應(yīng)用的用戶的動(dòng)作； 經(jīng)由測(cè)試工具來記錄用戶與應(yīng)用的交互； 經(jīng)由測(cè)試工具來將用戶的動(dòng)作和交互與用于應(yīng)用的動(dòng)作的基線流程相比較；以及 經(jīng)由測(cè)試工具基于所述比較來識(shí)別伴隨應(yīng)用的可用性問題。
2.權(quán)利要求1的方法，其中，所述方法包括根據(jù)應(yīng)用的專家用戶的動(dòng)作來定義基線流程。
3.權(quán)利要求2的方法，其中，定義基線流程包括經(jīng)由測(cè)試工具來記錄應(yīng)用的專家用戶的動(dòng)作。
4.權(quán)利要求1的方法，其中，與基線相比較包括將用戶的動(dòng)作和交互與應(yīng)用的其他用戶的動(dòng)作和交互相比較。
5.權(quán)利要求1的方法，其中，與基線相比較包括將用戶的動(dòng)作和交互與用于應(yīng)用的先前版本的基線流程相比較以發(fā)現(xiàn)可用性回歸。
6.權(quán)利要求1的方法，其中，所述方法包括經(jīng)由測(cè)試工具向用戶識(shí)別將由用戶在應(yīng)用中完成的任務(wù)。
7.權(quán)利要求1的方法，其中動(dòng)作包括經(jīng)由輸入設(shè)備到應(yīng)用的主動(dòng)輸入，并且其中，交互包括經(jīng)由輸入設(shè)備到應(yīng)用的被動(dòng)輸入。
8.權(quán)利要求1的方法， 其中，與基線相比較包括顯示用戶的動(dòng)作流程與動(dòng)作的基線流程之間的差異。
9.權(quán)利要求1的方法，其中，識(shí)別可用性問題包括將多個(gè)用戶的所記錄動(dòng)作和交互聚合以識(shí)別用于多于多個(gè)用戶的閾值的導(dǎo)致可用性問題的應(yīng)用的一部分。
10.權(quán)利要求1的方法，其中，識(shí)別可用性問題包括將多個(gè)用戶的所記錄動(dòng)作和交互聚合以識(shí)別針對(duì)多于所述多個(gè)用戶的閾值發(fā)生的超過動(dòng)作的基線流程的那些的動(dòng)作和/或交互。
11.一種具有存儲(chǔ)在其上面的機(jī)器可讀指令的非臨時(shí)機(jī)器可讀介質(zhì)，所述機(jī)器可讀指令如果被處理器資源執(zhí)行，則促使處理器資源: 識(shí)別用于用戶在應(yīng)用中完成的任務(wù)； 記錄用戶相對(duì)于應(yīng)用的動(dòng)作和交互； 將用戶的動(dòng)作和交互與針對(duì)應(yīng)用定義的動(dòng)作的基線流程相比較；以及 基于所述比較來識(shí)別伴隨應(yīng)用的可用性問題。
12.權(quán)利要求11的介質(zhì)，其中，所述指令如果被處理器資源執(zhí)行，則促使處理器資源響應(yīng)于用戶未完成任務(wù)或響應(yīng)于用戶請(qǐng)求幫助完成任務(wù)而向用戶提出問題。
13.權(quán)利要求11的介質(zhì)，其中，可用性問題包括以下各項(xiàng)中的一個(gè): 用以完成任務(wù)的用戶的動(dòng)作流程的無效； 用以完成任務(wù)的用戶的動(dòng)作流程的低效；以及 用戶對(duì)用以完成任務(wù)的用戶動(dòng)作流程的不滿意。
14.權(quán)利要求11的介質(zhì)，其中，所述指令如果被處理器資源執(zhí)行，則促使處理器資源通過識(shí)別用于用戶完成任務(wù)所花費(fèi)的時(shí)間來識(shí)別可用性問題，所述時(shí)間超過用于動(dòng)作的基線流程的閾值時(shí)間。
15.一種用于可用性測(cè)試的系統(tǒng)，包括: 機(jī)器，包括處理器資源； 機(jī)器可讀指令，當(dāng)被處理器資源執(zhí)行時(shí)，促使處理器資源: 識(shí)別用于應(yīng)用的用戶完成的任務(wù)； 記錄用戶相對(duì)于應(yīng)用的動(dòng)作和交互； 將用戶的動(dòng)作和交互聚合，結(jié)果是用于多個(gè)用戶的可用性測(cè)試； 將所述多個(gè)用戶的動(dòng)作和交互與基線流程相比較；以及 基于所述比較將對(duì)超過對(duì)于多于所述多個(gè)用戶的閾值發(fā)生的基線流程的那些的動(dòng)作和/或交互識(shí)別為指示 伴隨應(yīng)用的可用性問題。
【文檔編號(hào)】G06F11/30GK103430156SQ201180069285
【公開日】2013年12月4日 申請(qǐng)日期:2011年3月15日 優(yōu)先權(quán)日:2011年3月15日
【發(fā)明者】Y.霍羅維茨, N.阿米蔡 申請(qǐng)人:惠普發(fā)展公司，有限責(zé)任合伙企業(yè)