專利名稱：應(yīng)用性能評價(jià)和報(bào)告的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及軟件分析(software profiling),尤其(但不僅限于)涉及用于軟件應(yīng)用的性能評價(jià)和報(bào)告的系統(tǒng)及方法。
背景技術(shù)：
軟件應(yīng)用的性能評價(jià)通常被用于測定在各種不同的工作負(fù)擔(dān)條件下軟件應(yīng)用的各種組成部分是如何運(yùn)作的。性能評價(jià)可以在軟件應(yīng)用生命周期內(nèi)的多個(gè)階段進(jìn)行，包括開發(fā)階段、測試階段、分析階段和監(jiān)控階段。同時(shí)它也被應(yīng)用于驗(yàn)證和校驗(yàn)軟件應(yīng)用的其他屬性，如可升級性、可靠性和資源利用性。通常，軟件應(yīng)用性能的評價(jià)基于多種性能參數(shù)，例如，內(nèi)存統(tǒng)計(jì)、處理器統(tǒng)計(jì)、網(wǎng)絡(luò)統(tǒng)計(jì)、線程統(tǒng)計(jì)、反應(yīng)時(shí)間等。這些性能評價(jià)通常由一個(gè)應(yīng)用團(tuán)隊(duì)和相關(guān)利害關(guān)系者執(zhí)行。用戶通過執(zhí)行性能評價(jià)，分析評價(jià)結(jié)果，從而可以給應(yīng)用團(tuán)隊(duì)提供建議。這些建議可以涉及該應(yīng)用的各個(gè)方面、硬件設(shè)置、運(yùn)行時(shí)狀態(tài)等?；谶@些評價(jià)結(jié)果及建議，應(yīng)用團(tuán)隊(duì)可以根據(jù)需要采取進(jìn)一步措施。有時(shí)，執(zhí)行某個(gè)建議以改善一個(gè)性能參數(shù)可能損害該應(yīng)用的另一個(gè)性能參數(shù)。因此，用戶可能再次評價(jià)多個(gè)性能參數(shù)并發(fā)送建議，以改進(jìn)性能。這個(gè)關(guān)于軟件應(yīng)用的建議-性能評價(jià)循環(huán)通常一直持續(xù)至軟件應(yīng)用的性能參數(shù)落入一個(gè)預(yù)先設(shè)置的可接受范圍內(nèi)。

發(fā)明內(nèi)容
本部分在于介紹關(guān)于性能評價(jià)和報(bào)告的系統(tǒng)和方法的理念。該理念在下述內(nèi)容中有進(jìn)一步的描述。該部分既不用于確定本發(fā)明的必要技術(shù)特征，也不用于確定或限制本發(fā)明的范圍。在一個(gè)實(shí)施例中，首先生成一個(gè)關(guān)于在某應(yīng)用中分析的某些段(segment)的參數(shù)數(shù)據(jù)集，然后基于該參數(shù)數(shù)據(jù)集產(chǎn)生時(shí)域報(bào)告(session r印ort)。部分地基于該報(bào)告，可接收到有關(guān)這些段中的一個(gè)或多個(gè)的評論，進(jìn)而基于該參數(shù)數(shù)據(jù)集和評論生成綜合報(bào)告。


本發(fā)明的詳述將結(jié)合以下附圖進(jìn)行。這些附圖中，附圖標(biāo)記最左邊的數(shù)字表示該附圖標(biāo)記首次出現(xiàn)時(shí)所在的圖號。通篇中同一數(shù)字用于指代同一類特征和部件。圖I根據(jù)本發(fā)明的實(shí)施例對一個(gè)性能評價(jià)和報(bào)告系統(tǒng)的執(zhí)行作說明。圖2根據(jù)本發(fā)明的實(shí)施例對一個(gè)性能評價(jià)和報(bào)告的方法作說明。圖3根據(jù)本發(fā)明另一個(gè)實(shí)施例對一個(gè)應(yīng)用中的相對性能評價(jià)和報(bào)告方法作說明。
發(fā)明詳述
以下將闡述性能評價(jià)及報(bào)告的系統(tǒng)和方法。該系統(tǒng)和方法可以應(yīng)用于多種計(jì)算機(jī)系統(tǒng)中?？蓤?zhí)行所述方法的計(jì)算機(jī)系統(tǒng)包括(但不局限于)大型計(jì)算機(jī)、工作站、私人計(jì)算機(jī)、臺式計(jì)算機(jī)、小型計(jì)算機(jī)、服務(wù)器、多處理器系統(tǒng)、便攜式計(jì)算機(jī)等。出于多種原因(包括質(zhì)量保證)，以及驗(yàn)證該應(yīng)用可滿足商業(yè)上、功能上和技術(shù)上的要求并如所預(yù)期地那樣工作，需要實(shí)施軟件應(yīng)用的性能評價(jià)。下文中，軟件應(yīng)用將也被稱為應(yīng)用。性能評價(jià)可以在應(yīng)用生命周期的任一階段進(jìn)行，包括應(yīng)用的開發(fā)階段、測試階段、分析階段和監(jiān)控階段。通常，性能的評價(jià)是基于多種性能參數(shù)來測評的，例如，處理器利用率、內(nèi)存利用率、網(wǎng)絡(luò)利用率、輸入-輸出利用率、數(shù)據(jù)庫查詢統(tǒng)計(jì)、反應(yīng)時(shí)間相關(guān)統(tǒng)計(jì)、時(shí)域相關(guān)統(tǒng)計(jì)、處理能力統(tǒng)計(jì)、進(jìn)程線程統(tǒng)計(jì)、及隊(duì)列統(tǒng)計(jì)?？梢岳斫?，這是關(guān)于性能評價(jià)的提示性列表，并不意味著窮舉。執(zhí)行性能評價(jià)的用戶可以進(jìn)而分析評價(jià)結(jié)果并提供建議，例如，當(dāng)性能參數(shù)位于原先預(yù)設(shè)的范圍之上或之下時(shí)，將這些信息反饋給應(yīng)用團(tuán)隊(duì)。這些建議可以是，例如，關(guān)于應(yīng)用、硬件或運(yùn)行時(shí)狀態(tài)。為此，性能參數(shù)通常以屏幕快照的形式記錄下來，并通過一個(gè)獨(dú)立的文本或工作表文件形式提供建議。基于性能評價(jià)結(jié)果及用戶建議，可以采取合適的措施，從而符合預(yù)設(shè)的可接受范圍。
有時(shí)，為了改進(jìn)一個(gè)性能參數(shù)所采取的措施可能會(huì)損害應(yīng)用中另一個(gè)性能參數(shù)。例如，為了改進(jìn)應(yīng)用的反應(yīng)時(shí)間，應(yīng)用的內(nèi)存利用率可能上升。因此，應(yīng)用可能在另一個(gè)時(shí)域被再次分析，不同的性能參數(shù)測評可能被記錄下來，如有需要可提供建議以供進(jìn)一步修改。可以理解，一個(gè)分析時(shí)域指的是應(yīng)用的性能被評價(jià)所花費(fèi)的時(shí)段。這種評價(jià)應(yīng)用性能及提供建議的循環(huán)通常一直重復(fù)，直至應(yīng)用的多個(gè)性能參數(shù)落入預(yù)設(shè)的可接受范圍內(nèi)。如上所述，傳統(tǒng)上，性能評價(jià)后所作出的建議通常不是系統(tǒng)性地記錄或存儲下來，這加大了后續(xù)階段中對性能診斷的難度。而且，為了比較兩個(gè)分析時(shí)域的應(yīng)用性能，需要對屏幕截圖進(jìn)行人工對比。分析時(shí)域之間可能在多方面都存在差異，如應(yīng)用版本、硬件設(shè)置、運(yùn)行時(shí)狀態(tài)(runtime condition)、時(shí)域時(shí)機(jī)(session timing)和時(shí)域期間(duration ofsession)等。時(shí)域時(shí)機(jī)指的是在執(zhí)行應(yīng)用的過程中，分析時(shí)域執(zhí)行時(shí)所在的時(shí)間。例如，分析時(shí)域的執(zhí)行可以發(fā)生在應(yīng)用剛開始運(yùn)行時(shí)，或者在應(yīng)用運(yùn)行了所設(shè)定的一段時(shí)間之后。時(shí)域期間指的是執(zhí)行分析時(shí)域持續(xù)的的時(shí)間段。如上所述，由于存在多種因素使得性能評價(jià)在不同的分析時(shí)域中存在差異，人工分析性能評價(jià)變得具有很高的難度。例如，假設(shè)將兩個(gè)分析時(shí)域的結(jié)果進(jìn)行對比，該兩個(gè)分析時(shí)域?qū)?yīng)于一個(gè)軟件應(yīng)用的不同版本的性能評價(jià)。如果軟件的第十一版的內(nèi)存利用率出現(xiàn)性能問題時(shí)，則很難分析出該性能問題是在之前的哪一個(gè)版本開始首先出現(xiàn)，以及相對應(yīng)的有何應(yīng)對措施，等等。在上述例子中，在第三版中對處理器利用率的優(yōu)化，可能是導(dǎo)致內(nèi)存利用率上升的根源，并且在后續(xù)版本的多種優(yōu)化至內(nèi)存利用率進(jìn)一步上升；內(nèi)存利用率可能在第十一版中超過了預(yù)先設(shè)定的可接受范圍。由于傳統(tǒng)的性能評價(jià)系統(tǒng)和方法無法直接地同時(shí)對兩個(gè)或多個(gè)分析時(shí)域的性能評價(jià)結(jié)果進(jìn)行對比，因此很難檢測到應(yīng)用中引起性能問題的原因。并且，在缺乏建議性文件和應(yīng)對措施文件時(shí)，很難確定該性能問題的原因。在另一個(gè)例子中，應(yīng)用的性能可能隨著時(shí)域時(shí)機(jī)(B卩，分析時(shí)域開始以及評價(jià)發(fā)生時(shí)的時(shí)間)而變化。例如，若應(yīng)用采用了緩存技術(shù)用于快速恢復(fù)數(shù)據(jù)，當(dāng)緩存被填充時(shí)，應(yīng)用的性能會(huì)隨著時(shí)間而變化，并在應(yīng)用運(yùn)行了一段時(shí)間之后達(dá)到一個(gè)穩(wěn)定狀態(tài)。在這種情況下，對時(shí)域時(shí)機(jī)變化的兩個(gè)分析時(shí)域的性能評價(jià)結(jié)果進(jìn)行比較時(shí)，同樣需要繁冗的人工對比。在另一個(gè)例子中，應(yīng)用的性能可能隨著性能評價(jià)的運(yùn)行時(shí)狀態(tài)而變化。例如，其性能可能隨著操作環(huán)境、輸入數(shù)據(jù)的大小、執(zhí)行的重復(fù)次數(shù)等而變化。在這種情形下，對具有不同運(yùn)行時(shí)狀態(tài)的多個(gè)時(shí)域的性能評價(jià)進(jìn)行人工對比，同樣是繁冗的。在本方案中，提出了用于應(yīng)用性能評價(jià)和報(bào)告的系統(tǒng)和方法。在所提出的性能評價(jià)和報(bào)告系統(tǒng)的一個(gè)實(shí)施例中，該系統(tǒng)使用戶(例如是各種利害關(guān)系者)能記錄對軟件應(yīng)用的單個(gè)段的評論及建議，并且把評論與其所對應(yīng)的段相聯(lián)系起來。該系統(tǒng)通過配置，可以生成綜合性的評價(jià)結(jié)果和分析報(bào)告，包括以多種文件形式存在的用戶評論。這些評價(jià)結(jié)果和報(bào)告可以被應(yīng)用的其他利害關(guān)系者所利用。而且，基于這些記錄下來的建議，可以采取多種措施對應(yīng)用的性能進(jìn)行變換和改進(jìn)。在一個(gè)實(shí)施例中，該系統(tǒng)也可以協(xié)助對不同分析時(shí)域的性能參數(shù)進(jìn)行對比。例如，該系統(tǒng)可以區(qū)分出在第一時(shí)域中分析的第一個(gè)應(yīng)用和在第二時(shí)域中分析的第二個(gè)應(yīng)用的 相同的段，對該相同的段的性能參數(shù)進(jìn)行對比，并生成一個(gè)對比報(bào)告?？梢岳斫猓谝粋€(gè)應(yīng)用和第二個(gè)應(yīng)用可以是應(yīng)用的相同的或不同的版本。類似地，第一和第二分析時(shí)域可以具有同樣的或不同的設(shè)置(例如硬件配置或運(yùn)行時(shí)狀態(tài))。對比報(bào)告可以含有多種參數(shù)(如相同的段的段執(zhí)行值、總的累計(jì)反應(yīng)時(shí)間、平均反應(yīng)時(shí)間)。該系統(tǒng)可以協(xié)助對比兩個(gè)或多個(gè)時(shí)域的評價(jià)結(jié)果，并且?guī)椭\斷軟件應(yīng)用中的性能問題。以下實(shí)施例是在示例性的系統(tǒng)結(jié)構(gòu)環(huán)境下描述的，但本發(fā)明的用于性能評價(jià)和報(bào)告的系統(tǒng)和方法可以以多種不同的計(jì)算機(jī)系統(tǒng)、在多種環(huán)境和配置下實(shí)施。
具體實(shí)施例方式圖I顯示了本發(fā)明的一個(gè)實(shí)施例的用于評價(jià)應(yīng)用的性能的性能評價(jià)和報(bào)告系統(tǒng)102。下文中，性能評價(jià)和報(bào)告系統(tǒng)102也被稱為PMR系統(tǒng)102。PMR系統(tǒng)102可以是多種傳統(tǒng)計(jì)算機(jī)裝置中的一種，包括服務(wù)器、臺式私人計(jì)算機(jī)、筆記本電腦、便攜式計(jì)算機(jī)、工作站、主機(jī)、移動(dòng)式計(jì)算機(jī)裝置或膝上型計(jì)算機(jī)。在所述的實(shí)施例中，PMR系統(tǒng)102包括一個(gè)或多個(gè)處理器104，輸入/輸出(I/O)接口 106，網(wǎng)絡(luò)接口 108，以及與處理器104相連的存儲器110。處理器104可以是一個(gè)或多個(gè)微處理器、微計(jì)算機(jī)、微控制器、數(shù)字信號處理器、中央處理單元、狀態(tài)機(jī)(statemachines)、邏輯電路，和/或任何通過操作指令操控信號的裝置。在其它功能中，處理器104經(jīng)配置，可讀取和執(zhí)行存儲于存儲器110中的計(jì)算機(jī)可讀指令和數(shù)據(jù)。I/O接口 106可以包括多種軟件和硬件接口，例如，外圍設(shè)備(如顯示單元、鍵盤、鼠標(biāo)、外部存儲器、打印機(jī)等)的接口。網(wǎng)絡(luò)接口 108可以使得PMR系統(tǒng)102可以與其他計(jì)算裝置和外圍設(shè)備通信，比如web服務(wù)器、網(wǎng)絡(luò)上的外部數(shù)據(jù)庫。網(wǎng)絡(luò)接口 108可以協(xié)助多種協(xié)議和網(wǎng)絡(luò)下的多路通信，例如有線網(wǎng)絡(luò)(局域網(wǎng)(LAN)、電纜網(wǎng)(cable)等)，和/或無線網(wǎng)絡(luò)(如無線局域網(wǎng)(WLAM)、蜂窩網(wǎng)絡(luò)(cellular)、衛(wèi)星網(wǎng)絡(luò)(satellite)等。)
在一個(gè)實(shí)施例中，PMR系統(tǒng)102可以連接至公共網(wǎng)絡(luò)或公司網(wǎng)絡(luò)，該網(wǎng)絡(luò)包含多個(gè)辦公室私人電腦、膝上型電腦、各種服務(wù)器(如刀片服務(wù)器(blade servers))、數(shù)據(jù)庫和其他計(jì)算裝置。在另一個(gè)實(shí)施例中，PMR系統(tǒng)102可以連接至私人網(wǎng)絡(luò)或家庭網(wǎng)絡(luò)，該網(wǎng)絡(luò)僅有有限數(shù)量的私人電腦或膝上型電腦。在另一個(gè)實(shí)施例中，PMR系統(tǒng)102可以是一個(gè)獨(dú)立系統(tǒng)。
存儲器110可以包括現(xiàn)有技術(shù)中已知的任何計(jì)算機(jī)可讀介質(zhì)，例如，易失性存儲器(如靜態(tài)隨機(jī)存儲器(SRAM)、動(dòng)態(tài)隨機(jī)存儲器(DRAM))，和/或非易失性存儲器(如只讀存儲器(ROM)、可擦寫可編程ROM、閃存、硬盤、光盤、磁帶)。存儲器110含有程序模塊112和程序數(shù)據(jù)114。程序模塊112包括例行程序、程序、對象、部件、數(shù)據(jù)結(jié)構(gòu)等,它們執(zhí)行著特定的任務(wù)或執(zhí)行特定的抽象數(shù)據(jù)類型。程序模塊112還包括分析模塊116、報(bào)告模塊118、對比模塊120和其他模塊122。其他模塊122可以包括用于補(bǔ)充RMP系統(tǒng)102的應(yīng)用和功能的程序或代碼指令(例如操作系統(tǒng)中的程序)。處其他用途外，程序數(shù)據(jù)114用作一個(gè)存儲庫，用于存儲由一個(gè)或多個(gè)程序模塊112處理、接收、生成的數(shù)據(jù)。程序數(shù)據(jù)114包括性能數(shù)據(jù)124、報(bào)告數(shù)據(jù)126、對比數(shù)據(jù)128、以及其他數(shù)據(jù)130。其他數(shù)據(jù)130可以包括由程序模塊112中的一個(gè)或多個(gè)模塊(例如其他模塊122)的執(zhí)行而生成的數(shù)據(jù)。此外，程序數(shù)據(jù)114可以包括應(yīng)用132-1……132_n，這將在下文解釋?！ぁ?br> 操作時(shí)，為了進(jìn)行性能評價(jià)，分析模塊116可以訪問一個(gè)或多個(gè)應(yīng)用132-1、132-2……132-n (它們統(tǒng)稱為應(yīng)用132)。分析模塊116可以通過I/O接口 106從例如光盤(⑶)驅(qū)動(dòng)器接收應(yīng)用132，或者可以通過網(wǎng)絡(luò)或程序數(shù)據(jù)114來訪問應(yīng)用132。為了更好地闡明方案，圖中應(yīng)用132被顯示為存儲于程序數(shù)據(jù)114中。但應(yīng)當(dāng)理解的是，應(yīng)用也可以作為程序模塊112的一部分，或者位于外部存儲裝置或其他計(jì)算裝置上。在一個(gè)實(shí)施例中，分析模塊116訪問一個(gè)應(yīng)用(例如，用于性能評價(jià)和報(bào)告的應(yīng)用132-1)。應(yīng)用132-1通常包括多個(gè)段，例如編碼的方法、過程、功能，以及其他部分。分析模塊116進(jìn)而在一個(gè)分析時(shí)域(例如第一分析時(shí)域)中分析應(yīng)用132-1?？梢岳斫獾氖?一個(gè)分析時(shí)域指的是評價(jià)應(yīng)用性能所持續(xù)的時(shí)間段。為了分析應(yīng)用132-1，分析模塊116在多種條件下運(yùn)行應(yīng)用132_1，并測評在第一分析時(shí)域中執(zhí)行的段的性能參數(shù)，從而獲得一個(gè)參數(shù)數(shù)據(jù)集。性能參數(shù)可以包括一個(gè)或多個(gè)度量(metrics)，例如CPU統(tǒng)計(jì)、內(nèi)存統(tǒng)計(jì)、網(wǎng)絡(luò)統(tǒng)計(jì)、I/O統(tǒng)計(jì)、數(shù)據(jù)庫查詢統(tǒng)計(jì)、反應(yīng)時(shí)間統(tǒng)計(jì)、段相關(guān)統(tǒng)計(jì)、處理能力統(tǒng)計(jì)、線程統(tǒng)計(jì)、系統(tǒng)進(jìn)程相關(guān)統(tǒng)計(jì)、隊(duì)列相關(guān)統(tǒng)計(jì)?？梢岳斫獾氖?，這是關(guān)于性能評價(jià)的提示性列表，并不意味著是窮舉的或限制性的。分析模塊116可以存儲在性能數(shù)據(jù)124中的應(yīng)用132-1的不同段所對應(yīng)的測評參數(shù)數(shù)據(jù)集。報(bào)告模塊118進(jìn)而生成一個(gè)時(shí)域報(bào)告,該報(bào)告提供關(guān)于不同段的參數(shù)數(shù)據(jù)集的總結(jié)。例如，時(shí)域報(bào)告可以含有片執(zhí)行值、累計(jì)反應(yīng)時(shí)間、各段的平均反應(yīng)時(shí)間等。時(shí)域報(bào)告可以存儲于報(bào)告數(shù)據(jù)126中。進(jìn)一步地，報(bào)告模塊118通過用戶接口(例如顯示設(shè)備)將時(shí)域報(bào)告提供給用戶。在另一個(gè)例子中，報(bào)告模塊118也可以以一份輸出文件或其他形式的文件(例如可移植文檔格式(PDF)、電子數(shù)據(jù)表、表格形式、圖表或其他任何由用戶所設(shè)定的形式)提供這份時(shí)域報(bào)告。在另一個(gè)例子中，在時(shí)域報(bào)告中，報(bào)告模塊118可以采用突出顯示或其他技術(shù)來顯示那些其中有一個(gè)或多個(gè)性能參數(shù)超出預(yù)設(shè)范圍的段。預(yù)設(shè)的范圍可以被提前儲存起來，例如儲存于性能數(shù)據(jù)124中，或者也可以由用戶輸入，例如在分析之前輸入。可以理解的是，預(yù)設(shè)的范圍基于所分析的應(yīng)用和應(yīng)用的技術(shù)說明而可隨時(shí)域變化。一旦將時(shí)域報(bào)告提供給用戶，報(bào)告模塊118可以提示用戶提供關(guān)于改變或改進(jìn)應(yīng)用132-1的一個(gè)或多個(gè)段的性能的評論或建議。這些評論可以是關(guān)于以下的一個(gè)或多個(gè)方面硬件設(shè)置、運(yùn)行時(shí)狀態(tài)、第一應(yīng)用的一部分、時(shí)域時(shí)機(jī)、時(shí)域期間。用戶通過I/O接口 106輸入的評論被與相應(yīng)的段相關(guān)聯(lián)，并與在性能數(shù)據(jù)124中的參數(shù)數(shù)據(jù)集一起保存。在一個(gè)實(shí)施例中，多用戶可以提供關(guān)于同一個(gè)時(shí)域報(bào)告的評論，并且該多個(gè)評論可以與參數(shù)數(shù)據(jù)集一起保存。在這種情況下，多個(gè)用戶所提供的評論可以用例如用戶名、顏色編碼等進(jìn)行標(biāo)記。進(jìn)一步地，從用戶接收到的評論可以通過例如用戶名、網(wǎng)絡(luò)ID等被可視化地區(qū)分。報(bào)告模塊118進(jìn)而生成一個(gè)含有參數(shù)數(shù)據(jù)集及所記錄的評論的綜合報(bào)告。該綜合報(bào)告也保存于報(bào)告數(shù)據(jù)126中，并且可進(jìn)一步被利用，例如被致力于該應(yīng)用132-1的應(yīng)用團(tuán)隊(duì)所利用?；跁r(shí)域報(bào)告和用戶評論，可以對多種要采取的措施進(jìn)行決策，例如，關(guān)于應(yīng)用132-1的編碼、硬件設(shè)置、運(yùn)行時(shí)狀態(tài)、時(shí)域時(shí)機(jī)、時(shí)域期間等的措施。該應(yīng)用隨后被再次進(jìn)行分析，例如作為應(yīng)用132-2進(jìn)行分析?？梢岳斫獾氖?，應(yīng)用132-2可以是與應(yīng)用132-1相同的或不同的版本。分析模塊116在第二時(shí)域再次分析應(yīng)用132-2，并生成一個(gè)如前所述的 第二參數(shù)數(shù)據(jù)集?；谒鶝Q策的措施，第二分析時(shí)域可以在以下的一個(gè)或多個(gè)方面不同于第一分析時(shí)域硬件設(shè)置、運(yùn)行時(shí)狀態(tài)、時(shí)域時(shí)機(jī)和時(shí)域期間。進(jìn)一步地，如前所述，報(bào)告模塊118可以生成時(shí)域報(bào)告，并且，如有需要，生成一份含有用戶對應(yīng)用132-2的評論的綜合報(bào)告。這種分析和采取措施的過程一直重復(fù)，直至應(yīng)用的性能與設(shè)定的要求相符。在一個(gè)實(shí)施例中,用戶可以選擇對兩個(gè)應(yīng)用132-1和132-2分析過程中的兩個(gè)分析時(shí)域中所生成的參數(shù)數(shù)據(jù)集進(jìn)行直接地對比。在這種情況下，對比模塊120識別出應(yīng)用132-1和132-2中相同的段，并且將相同的段的參數(shù)數(shù)據(jù)集進(jìn)行對比。基于參數(shù)數(shù)據(jù)集的對t匕，報(bào)告模塊118進(jìn)而生成關(guān)于相同的段的對比報(bào)告。進(jìn)一步地，報(bào)告模塊118可以選擇性地突出表示出參數(shù)數(shù)據(jù)集中不盡如人意的部分，或者與另一個(gè)段相比已經(jīng)發(fā)生變化的部分。例如，與對應(yīng)于應(yīng)用132-2的第二時(shí)域相t匕，對應(yīng)于應(yīng)用132-1的第一時(shí)域可能具有更高的內(nèi)存利用率，但可能具有較短的反應(yīng)時(shí)間。因此，在對比報(bào)告中，報(bào)告模塊118可以將第一時(shí)域中的內(nèi)存利用率統(tǒng)計(jì)和第二時(shí)域中的反應(yīng)時(shí)間統(tǒng)計(jì)突出顯示出來，以供用戶參閱。在另一個(gè)實(shí)施例中，用戶可以選擇對多個(gè)時(shí)域的分析結(jié)果進(jìn)行對比，這些分析結(jié)果可對應(yīng)于不同版本的應(yīng)用的分析，或不同的硬件設(shè)置，或不同的運(yùn)行時(shí)狀態(tài)，或不同的時(shí)域時(shí)機(jī)，或不同的時(shí)域期間，或它們的組合。在一個(gè)例子中，對比模塊120識別出在多個(gè)時(shí)域中分析的應(yīng)用之間的相同的段，并且對這些相同的段的參數(shù)數(shù)據(jù)集進(jìn)行對比。在另一個(gè)例子中，對比模塊120識別出相同的段，并且提示用戶指出哪些相同的段需要進(jìn)行比較。對比模塊120進(jìn)而對這些被指出的相同的段的參數(shù)數(shù)據(jù)集進(jìn)行對比。一旦對比模塊比較了這些參數(shù)數(shù)據(jù)集，報(bào)告模塊118可以以前述類似的方式生成一個(gè)對比報(bào)告。該對比報(bào)告也可以含有對比性的圖表，并且選擇性地將參數(shù)數(shù)據(jù)集中那些在多個(gè)時(shí)域中已經(jīng)改進(jìn)、惡化或改變的部分突出顯示出來。在一個(gè)實(shí)施例中，對比報(bào)告也可以含有一個(gè)內(nèi)存圖表，由此用戶可以將參數(shù)數(shù)據(jù)集發(fā)生的變化與應(yīng)用內(nèi)存利用率聯(lián)系起來。并且，當(dāng)一個(gè)或多個(gè)時(shí)域之前已被分析模塊116分析過并且用戶的評論已被記錄下來時(shí)，對比報(bào)告可以包括將這些關(guān)于該一個(gè)或多個(gè)較早時(shí)域中的相同的段的評論。因此，用戶可直接對多個(gè)時(shí)域的分析結(jié)果進(jìn)行比較，對早前的評論進(jìn)行學(xué)習(xí)，并對在時(shí)域中所采取的多種措施的效果進(jìn)行分析。圖2基于本發(fā)明的一個(gè)實(shí)施例，闡釋了用于性能評價(jià)和報(bào)告的方法200。圖3基于本發(fā)明的另一個(gè)實(shí)施例，闡釋了用于對比性能評價(jià)和報(bào)告的方法。方法200和300可以以計(jì)算機(jī)可執(zhí)行的指令的形式進(jìn)行描述。通常來說，計(jì)算機(jī)可執(zhí)行指令可以含有例行程序、程序、對象、部件、數(shù)據(jù)結(jié)構(gòu)、進(jìn)程、模塊、功能等，它們執(zhí)行特定的功能或者執(zhí)行特定的抽象數(shù)據(jù)類型。該方法也可以應(yīng)用于分布式計(jì)算環(huán)境，其中功能是由通過通訊網(wǎng)絡(luò)相連的遠(yuǎn)程處理設(shè)備來執(zhí)行的。在分布式計(jì)算環(huán)境中，計(jì)算機(jī)可執(zhí)行指令可以位于本地和遠(yuǎn)程計(jì)算機(jī)存儲介質(zhì)(包括存儲器存儲裝置(memory storagedevice))中。所述方法的描述順序不應(yīng)當(dāng)理解為對發(fā)明方案的限制 ，所述的這些方法步驟可以以任意的數(shù)目及任意的順序組合起來實(shí)現(xiàn)本發(fā)明方法或與本發(fā)明等同替換的方法。除此之夕卜，在不脫離本發(fā)明精神及范圍內(nèi)，可刪除某些單獨(dú)步驟。并且，這些方法可以被用于任何合適的硬件、軟件、固件或它們的組合中。參閱方法220，在步驟202中，應(yīng)用的性能在分析時(shí)域中被分析并生成參數(shù)數(shù)據(jù)集。例如，分析模塊116可以通過執(zhí)行應(yīng)用132-1的多個(gè)段并測評在多種條件下的性能參數(shù)以獲取參數(shù)數(shù)據(jù)集，從而分析應(yīng)用132-1的性能。性能參數(shù)可以包括以下度量，例如CPU統(tǒng)計(jì)、內(nèi)存統(tǒng)計(jì)、網(wǎng)絡(luò)統(tǒng)計(jì)、I/O統(tǒng)計(jì)、數(shù)據(jù)庫查詢統(tǒng)計(jì)、反應(yīng)時(shí)間統(tǒng)計(jì)、時(shí)域相關(guān)統(tǒng)計(jì)、處理能力統(tǒng)計(jì)、線程統(tǒng)計(jì)、系統(tǒng)進(jìn)程相關(guān)統(tǒng)計(jì)、隊(duì)列相關(guān)統(tǒng)計(jì)。在步驟204中，參數(shù)數(shù)據(jù)集被總結(jié)出來，生成一個(gè)時(shí)域報(bào)告。在一個(gè)實(shí)施例中，報(bào)告模塊118生成一個(gè)時(shí)域報(bào)告，該報(bào)告提及了應(yīng)用132-1的多個(gè)段，以及相對應(yīng)的性能參數(shù)。例如計(jì)數(shù)數(shù)目、總反應(yīng)時(shí)間、平均反應(yīng)時(shí)間、最大反應(yīng)時(shí)間、以及其他統(tǒng)計(jì)數(shù)據(jù)。報(bào)告模塊118也可以將其中一個(gè)或多個(gè)性能參數(shù)超出預(yù)設(shè)可接受范圍的那些段突出顯示出來。在步驟206中，接收用戶的評論，用以改進(jìn)性能評價(jià)，例如通過修改應(yīng)用中的一個(gè)或多個(gè)段，或者通過改變硬件設(shè)置、運(yùn)行時(shí)狀態(tài)、時(shí)域時(shí)機(jī)或時(shí)域期間等來改進(jìn)性能評價(jià)。例如，報(bào)告模塊118可以提醒用戶提供評論，并且可以通過例如鍵盤一類的輸入裝置來接收這些評論。在步驟208中，用戶的評論與對應(yīng)的段聯(lián)系起來。在一個(gè)實(shí)施例中，報(bào)告模塊118將用戶評論與所對應(yīng)的段聯(lián)系起來，并將相關(guān)的評論保存于性能數(shù)據(jù)124中。在步驟210中，生成一份含有關(guān)于多個(gè)段的參數(shù)數(shù)據(jù)集及用戶評論的綜合報(bào)告。這個(gè)綜合報(bào)告可以被多個(gè)利益相關(guān)者(例如軟件開發(fā)商、數(shù)據(jù)庫管理員、項(xiàng)目管理者等)所采用。該綜合報(bào)告可以由報(bào)告模塊118生成。進(jìn)一步地，可對多個(gè)時(shí)域(B卩，兩個(gè)或更多個(gè)時(shí)域)的性能度量進(jìn)行直接對比，例如,如方法300中的一個(gè)實(shí)施例所示。在步驟302中，接收來自應(yīng)用的兩個(gè)或多個(gè)分析時(shí)域的參數(shù)數(shù)據(jù)集。在一個(gè)實(shí)施例中，分析模塊116可以產(chǎn)生“η”個(gè)時(shí)域，并生成關(guān)于這“η”個(gè)時(shí)域的參數(shù)數(shù)據(jù)集。“η”個(gè)時(shí)域可以對應(yīng)于以下一種或多種情況的組合應(yīng)用的不同版本、或不同硬件設(shè)置、或不同運(yùn)行時(shí)狀態(tài)、或不同時(shí)域時(shí)機(jī)或不同時(shí)域期間。在步驟304中，多個(gè)時(shí)域中所分析的應(yīng)用之間相同的段被區(qū)分出來，并且這些相同段的參數(shù)數(shù)據(jù)集被對比。在一個(gè)實(shí)施例中，對比模塊120區(qū)分出相同的段。
在步驟306中，通過利用對應(yīng)于一個(gè)或多個(gè)相同的段的參數(shù)數(shù)據(jù)集生成一份對比報(bào)告。例如，報(bào)告模塊118可以提醒用戶選擇一個(gè)或多個(gè)相同的段和/或參數(shù)用于對比。報(bào)告模塊118可以進(jìn)而生成關(guān)于這些所選的段的對比報(bào)告，該對比報(bào)告可以含有對比性的圖表，并選擇性地將多個(gè)時(shí)域中發(fā)生變化的參數(shù)突出顯示出來。該對比報(bào)告也可以含有一個(gè)內(nèi)存圖表，由此用戶可以將參數(shù)數(shù)據(jù)集的變化與應(yīng)用的內(nèi)存利用率聯(lián)系起來。進(jìn)一步地，當(dāng)用戶關(guān)于一個(gè)或多個(gè)時(shí)域的評論被記錄下來時(shí)，對比報(bào)告可以含有與這些所選的段相關(guān)的評論。因此，應(yīng)用在一段時(shí)間周期內(nèi)的性能變化可被有效地追蹤和分析，從而有助于產(chǎn)生和提供滿足商業(yè)上、技術(shù)上、功能上的多種需求的有效的軟件應(yīng)用。盡管本發(fā)明中以特定的結(jié)構(gòu)特征和/或方法來描述性能評價(jià)和報(bào)告的實(shí)施例，但應(yīng)當(dāng)理解的是，本發(fā)明并不受限于這些特定的結(jié)構(gòu)特征和方法。這些特定的結(jié)構(gòu)特征和方 法僅僅是作為本發(fā)明性能評價(jià)系統(tǒng)和方法的一個(gè)具體實(shí)施例。
權(quán)利要求
1.用于應(yīng)用性能評價(jià)和報(bào)告的計(jì)算機(jī)執(zhí)行的方法，所述方法包括 在第一分析時(shí)域中生成關(guān)于應(yīng)用的段的性能的第一參數(shù)數(shù)據(jù)集；基于所述第一參數(shù)數(shù)據(jù)集產(chǎn)生時(shí)域報(bào)告；部分地基于所述時(shí)域報(bào)告，接收關(guān)于所述應(yīng)用的一個(gè)或多個(gè)段的評論；以及基于所述第一參數(shù)數(shù)據(jù)集和所述評論提供綜合報(bào)告。
2.如權(quán)利要求I所述的計(jì)算機(jī)執(zhí)行的方法，其中所述性能參數(shù)包括以下的至少一個(gè)方面處理器利用率、內(nèi)存利用率、網(wǎng)絡(luò)利用率、輸入/輸出利用率、數(shù)據(jù)庫查詢統(tǒng)計(jì)、反應(yīng)時(shí)間相關(guān)統(tǒng)計(jì)、時(shí)域相關(guān)統(tǒng)計(jì)、處理能力統(tǒng)計(jì)、進(jìn)程線程統(tǒng)計(jì)以及隊(duì)列相關(guān)統(tǒng)計(jì)。
3.如權(quán)利要求I所述的計(jì)算機(jī)執(zhí)行的方法，所述方法還包括確定所述第一參數(shù)數(shù)據(jù)集中的性能參數(shù)是否超出預(yù)設(shè)的范圍；以及當(dāng)確定超出預(yù)設(shè)的范圍時(shí)提醒一個(gè)或多個(gè)用戶提供評論。
4.如上述任一權(quán)利要求所述的計(jì)算機(jī)執(zhí)行的方法，其中所述評論是關(guān)于以下的至少一個(gè)方面硬件設(shè)置、運(yùn)行時(shí)狀態(tài)、第一應(yīng)用的一部分、時(shí)域時(shí)機(jī)以及時(shí)域期間。
5.如權(quán)利要求4所述的計(jì)算機(jī)執(zhí)行的方法，其中從一個(gè)或多個(gè)用戶所接收到的所述評論基于用戶名和網(wǎng)絡(luò)ID至的至少一項(xiàng)而被可視化地區(qū)分。
6.如權(quán)利要求I所述的計(jì)算機(jī)執(zhí)行的方法，其中該方法還包括 接收第二參數(shù)數(shù)據(jù)集，該參數(shù)數(shù)據(jù)集對應(yīng)于在第二分析時(shí)域中分析的第二應(yīng)用； 識別第一應(yīng)用與第二應(yīng)用之間相同的段； 基于第一參數(shù)數(shù)據(jù)集和第二參數(shù)數(shù)據(jù)集，生成關(guān)于至少一個(gè)相同段的對比報(bào)告。
7.如權(quán)利要求6所述的計(jì)算機(jī)執(zhí)行的方法，其中所述第二應(yīng)用是以下中的至少一種第一應(yīng)用和第一應(yīng)用的修改版本。
8.如權(quán)利要求6或7所述的計(jì)算機(jī)執(zhí)行的方法，其中所述對比報(bào)告含有至少一個(gè)部分地基于所述時(shí)域報(bào)告的評論。
9.用于性能評價(jià)和報(bào)告的計(jì)算機(jī)執(zhí)行的方法，所述方法包括 獲取參數(shù)數(shù)據(jù)集，所述參數(shù)數(shù)據(jù)集與在兩個(gè)或更多個(gè)分析時(shí)域中分析的應(yīng)用的性能參數(shù)相對應(yīng)； 識別這些應(yīng)用之間的相同的段；以及 基于參數(shù)數(shù)據(jù)集生成關(guān)于一個(gè)或多個(gè)相同的段的對比報(bào)告。
10.如權(quán)利要求9所述的計(jì)算機(jī)執(zhí)行的方法，其中生成對比報(bào)告的過程包括在所述對比報(bào)告中，以可視化的方式顯示對應(yīng)于一個(gè)或多個(gè)相同段的參數(shù)數(shù)據(jù)集的性能參數(shù)的變化。
11.用于性能評價(jià)和報(bào)告的系統(tǒng)(102)，所述系統(tǒng)包括 處理器(104);以及 存儲器(110)，其與處理器(104)相連，所述存儲器(110 )包括 分析模塊(116)，用于分析第一應(yīng)用的性能，并生成關(guān)于第一應(yīng)用中執(zhí)行的段的第一參數(shù)數(shù)據(jù)集；和 報(bào)告模塊(118)，用于接收評論，以改變一個(gè)或多個(gè)段的性能；并基于第一參數(shù)數(shù)據(jù)集和評論中的至少一個(gè)而生成報(bào)告。
12.如權(quán)利要求11所述的系統(tǒng)，其中所述報(bào)告模塊(118)還被配置成確定第一參數(shù)數(shù)據(jù)集中的至少一個(gè)數(shù)據(jù)點(diǎn)是否偏離于預(yù)設(shè)的范圍，以及 當(dāng)確定超出預(yù)設(shè)的范圍時(shí)在時(shí)域報(bào)告中顯示偏差。
13.如權(quán)利要求12所述的系統(tǒng)(102)，其還包括對比模塊(120)，用以識別兩個(gè)或更多個(gè)應(yīng)用間的相同的段，其中報(bào)告模塊(118)還被配置成 確定一個(gè)或多個(gè)相同的段的性能是否在兩個(gè)或多個(gè)應(yīng)用間發(fā)生變化； 當(dāng)確定發(fā)生變化時(shí)在對比報(bào)告中顯示出性能的變化。
14.一種計(jì)算機(jī)可讀介質(zhì)，所述介質(zhì)含有計(jì)算機(jī)程序，所述程序所執(zhí)行的方法包括 在第一分析時(shí)域中生成第一參數(shù)數(shù)據(jù)集； 獲取與第二分析時(shí)域相對應(yīng)的第二參數(shù)數(shù)據(jù)集； 基于第一參數(shù)數(shù)據(jù)集和第二參數(shù)數(shù)據(jù)集提供對比報(bào)告，所述對比報(bào)告還包括與第一分析時(shí)域中和第二分析時(shí)域中所分析的應(yīng)用中的至少一個(gè)相關(guān)的評論。
15.如權(quán)利要求14所述的計(jì)算機(jī)可讀介質(zhì)，其中所述第二分析時(shí)域在以下的至少一個(gè)方面不同于第一分析時(shí)域硬件設(shè)置、運(yùn)行時(shí)狀態(tài)、時(shí)域時(shí)機(jī)和時(shí)域期間。
全文摘要
本發(fā)明涉及一種用于性能評價(jià)和報(bào)告的系統(tǒng)和方法。在一種方法中，在第一分析時(shí)域分析第一應(yīng)用以生成第一參數(shù)數(shù)據(jù)集，該參數(shù)數(shù)據(jù)集與第一應(yīng)用的段的性能相關(guān)?；诘谝粎?shù)數(shù)據(jù)集，生成時(shí)域報(bào)告。進(jìn)一步地，部分地基于時(shí)域報(bào)告接收到關(guān)于一個(gè)或多個(gè)應(yīng)用的段的評論。進(jìn)而，基于第一參數(shù)數(shù)據(jù)集和評論，生成綜合報(bào)告。
文檔編號G06F11/36GK102902621SQ201210074239
公開日2013年1月30日 申請日期2012年3月20日 優(yōu)先權(quán)日2011年7月28日
發(fā)明者斯瓦魯普·查特基, 卡羅·薩哈周杜里, 索姆納西·森古塔 申請人:塔塔咨詢服務(wù)有限公司