本發(fā)明涉及軟件測試領域，特別是涉及一種軟件版本性能評估方法及裝置。
背景技術：
：軟件性能是軟件的一種非功能特性，其表征的是在完成相應功能時展示出來的及時性、可靠性、以及對資源的消耗量等。軟件在開發(fā)和維護階段會構建許多版本，各個軟件版本的性能測試是軟件測試的重要環(huán)節(jié)。軟件版本的性能指標包括很多，例如cpu、handlecount、pagefaults、privatebytes、virtualbytes以及workingset等。量化是指綜合考慮軟件性能的各個指標，通過的具體數(shù)字來表示軟件版本性能的優(yōu)劣，讓模糊的內(nèi)容具體化，使得版本間更有可比較性。由于感受軟件性能的主體是人，不同的人對于同樣的軟件能有不同的主觀感受，而且不同的人對于軟件性能關心的視角也不同，造成軟件性能評估結果差異較大，即軟件性能難以量化。技術實現(xiàn)要素：本發(fā)明的目的是提供一種軟件版本性能評估方法及裝置，以解決現(xiàn)有軟件性能難以量化的問題。為解決上述技術問題，本發(fā)明提供一種軟件版本性能評估方法，該方法包括：獲取待評估軟件的測試用例運行期間的各個預設軟件性能評估指標的數(shù)據(jù)；根據(jù)所述數(shù)據(jù)，計算各個所述預設軟件性能評估指標的均值；根據(jù)所述均值和所述待評估軟件的多個歷史版本的均值，形成各個所述預設軟件性能評估指標的標準正態(tài)分布；根據(jù)所述均值位于所述標準正態(tài)分布的區(qū)間，利用預設的區(qū)間分值對應關系，計算出各個所述預設軟件性能評估指標的分值；根據(jù)所述分值以及各個所述預設軟件性能評估指標的預設權重，加權平均計算出所述待評估軟件的當前版本的性能評估分值。可選地，在所述獲取待評估軟件的測試用例運行期間的各個預設軟件性能評估指標的數(shù)據(jù)之前還包括：在多個軟件領域內(nèi)的專家對各個所述預設軟件性能評估指標打分之后，獲取權重分值；根據(jù)所述權重分值，計算出各個所述預設軟件性能評估指標的所述預設權重。可選地，所述預設軟件性能評估指標包括processortime、handlecount、pagefaults、privatebytes、virtualbytes以及workingset?？蛇x地，在所述獲取待評估軟件的測試用例運行期間的各個預設軟件性能評估指標的數(shù)據(jù)之后還包括：去除所述數(shù)據(jù)的噪聲。此外，本發(fā)明還提供了一種軟件版本性能評估裝置，該裝置包括：數(shù)據(jù)獲取模塊，用于獲取待評估軟件的測試用例運行期間的各個預設軟件性能評估指標的數(shù)據(jù)；均值計算模塊，用于根據(jù)所述數(shù)據(jù)，計算各個所述預設軟件性能評估指標的均值；正態(tài)分布形成模塊，用于根據(jù)所述均值和所述待評估軟件的多個歷史版本的均值，形成各個所述預設軟件性能評估指標的標準正態(tài)分布；分值計算模塊，用于根據(jù)所述均值位于所述標準正態(tài)分布的區(qū)間，利用預設的區(qū)間分值對應關系，計算出各個所述預設軟件性能評估指標的分值；性能評估分值計算模塊，用于根據(jù)所述分值以及各個所述預設軟件性能評估指標的預設權重，加權平均計算出所述待評估軟件的當前版本的性能評估分值?？蛇x地，還包括：權重獲取模塊，用于在多個軟件領域內(nèi)的專家對各個所述預設軟件性能評估指標打分之后，獲取權重分值；權重設置模塊，用于根據(jù)所述權重分值，計算出各個所述預設軟件性能評估指標的所述預設權重?？蛇x地，所述預設軟件性能評估指標包括processortime、handlecount、pagefaults、privatebytes、virtualbytes以及workingset。可選地，還包括：去噪模塊，用于去除所述數(shù)據(jù)的噪聲。本發(fā)明所提供的一種軟件版本性能評估方法及裝置，通過獲取待評估軟件的測試用例運行期間的各個預設軟件性能評估指標的數(shù)據(jù)；根據(jù)數(shù)據(jù)，計算各個預設軟件性能評估指標的均值；根據(jù)均值和待評估軟件的多個歷史版本的均值，形成各個預設軟件性能評估指標的標準正態(tài)分布；根據(jù)均值位于標準正態(tài)分布的區(qū)間，利用預設的區(qū)間分值對應關系，計算出各個預設軟件性能評估指標的分值；根據(jù)分值以及各個預設軟件性能評估指標的預設權重，加權平均計算出待評估軟件的當前版本的性能評估分值。本申請通過性能評估分值評估當前軟件版本，即量化軟件版本性能，可以剔除評估過程中的主觀性干擾；且通過標準正態(tài)分布可以對比不同版本性能上的優(yōu)劣，定位導致軟件版本性能下降的指標以及顯示各個性能指標的好壞。附圖說明為了更清楚的說明本發(fā)明實施例或現(xiàn)有技術的技術方案，下面將對實施例或現(xiàn)有技術描述中所需要使用的附圖作簡單的介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實施例，對于本領域普通技術人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他的附圖。圖1為本發(fā)明實施例所提供的軟件版本性能評估方法的一種具體實施方式的流程示意圖；圖2為本發(fā)明實施例所提供的軟件版本性能評估裝置的結構框圖。具體實施方式為了使本
技術領域：
的人員更好地理解本發(fā)明方案，下面結合附圖和具體實施方式對本發(fā)明作進一步的詳細說明。顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例。基于本發(fā)明中的實施例，本領域普通技術人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。請參見圖1，圖1為本發(fā)明實施例所提供的軟件版本性能評估方法的一種具體實施方式的流程示意圖，該方法包括以下步驟：步驟101：獲取待評估軟件的測試用例運行期間的各個預設軟件性能評估指標的數(shù)據(jù)。需要說明的是，上述預設軟件性能評估指標可以是指預先從多個評估指標中選取出作為軟件版本性能評估的指標。優(yōu)選地，預設軟件性能評估指標可以具體為processortime、handlecount、pagefaults、privatebytes、virtualbytes以及workingset。其中，processortime指的是所有線程使用處理器執(zhí)行指令所花的時間百分比；handlecount指的是進程中打開的句柄總數(shù)；pagefaults指的是在進程中執(zhí)行線程造成的頁面錯誤出現(xiàn)的速度；privatebytes指的是進程不能與其他處理共享的、已分配的當前字節(jié)數(shù)；virtualbytes指的是進程使用的虛擬地址空間的以字節(jié)數(shù)顯示的當前大?。粀orkingset指的是被線程最近觸到的那個內(nèi)存頁集。當然，預設軟件性能評估指標還可以包括其它性能指標，在此不作限定。在運行待評估軟件的當前版本時的自動化測試用例前，需要選取確定作為預設軟件性能評估指標的性能指標，確定之后，再為所選取的各個性能指標分配權重。作為一種具體實施方式，在上述獲取待評估軟件的測試用例運行期間的各個預設軟件性能評估指標的數(shù)據(jù)之前還可以包括：在多個軟件領域內(nèi)的專家對各個所述預設軟件性能評估指標打分之后，獲取權重分值；根據(jù)所述權重分值，計算出各個所述預設軟件性能評估指標的所述預設權重。可以理解，上述專家的數(shù)量可以根據(jù)實際需求確定，且選定專家之后，向其介紹上述待評估軟件背景，并且其各個專家匿名對各個預設軟件性能評估指標進行打分，然后將打分匯總結果反饋給各個專家，如此進行多輪重復，最終根據(jù)各個專家的打分情況，計算出各個預設軟件性能評估指標的預設權重。顯然，為各個預設軟件性能評估指標分配權重可以是在步驟101之前進行，也可以在步驟101之后進行，即在評估過程中進行指標權重分配。由于待評估軟件在某些時刻的指標數(shù)據(jù)不準確，為了保證后續(xù)評估過程的準確性，可以對所獲取的數(shù)據(jù)進行去噪操作。作為一種具體實施方式，在上述獲取待評估軟件的測試用例運行期間的各個預設軟件性能評估指標的數(shù)據(jù)之后還可以包括：去除所述數(shù)據(jù)的噪聲。上述數(shù)據(jù)為各個預設軟件性能評估指標在自動化測試用例在運行期間的每一時刻的數(shù)據(jù)。例如，當預設軟件性能評估指標為processortime、handlecount、pagefaults、privatebytes、virtualbytes以及workingset時，獲取這6個指標在各個時刻的數(shù)據(jù)，然后取出各個指標數(shù)據(jù)的異常數(shù)據(jù)。可以看出，對數(shù)據(jù)進行去噪操作，可以提高后續(xù)評估的準確性。步驟102：根據(jù)所述數(shù)據(jù)，計算各個所述預設軟件性能評估指標的均值。步驟103：根據(jù)所述均值和所述待評估軟件的多個歷史版本的均值，形成各個所述預設軟件性能評估指標的標準正態(tài)分布?？梢岳斫猓恳粋€性能評估指標的均值在多個歷史版本張符合正態(tài)分布規(guī)律，即當前軟件版本和多個歷史版本的均值符合正態(tài)分布，可以根據(jù)每一個指標的歷史版本均值計算出其對應的標準正態(tài)分布的參數(shù)，進而轉(zhuǎn)換成其對應的標準正態(tài)分布。步驟104：根據(jù)所述均值位于所述標準正態(tài)分布的區(qū)間，利用預設的區(qū)間分值對應關系，計算出各個所述預設軟件性能評估指標的分值。需要說明的是，上述區(qū)間分值對應關系可以是指預先設定的標準正態(tài)分布圖中的各個區(qū)間對應的分值，例如，可以參見表1，表1為表1x分數(shù)(-∞,-1.65)0[-1.65,-1.04)10[-1.04,-0.68)20[-0.68,-0.39)30[-0.39,-0.13)40[-0.13,0.13)50[0.13,0.39)60[0.39,0.68)70[0.68,1.04)80[1.04,1.65)90[1.65,+∞)100在計算出每一個指標的標準正態(tài)分布規(guī)律之后，可以查看當前版本的均值落在其對應的標準正態(tài)分布圖中的哪個區(qū)間，將其區(qū)間對應的分值作為該指標的分值。例如，當某一個指標的均值落在表1中的區(qū)間[0.13，0.39)時，其對應的分值為60。依此類推，計算出各個預設軟件性能評估指標的分值。步驟105：根據(jù)所述分值以及各個所述預設軟件性能評估指標的預設權重，加權平均計算出所述待評估軟件的當前版本的性能評估分值。本發(fā)明實施例所提供的軟件版本性能評估方法，通過獲取待評估軟件的測試用例運行期間的各個預設軟件性能評估指標的數(shù)據(jù)；根據(jù)數(shù)據(jù)，計算各個預設軟件性能評估指標的均值；根據(jù)均值和待評估軟件的多個歷史版本的均值，形成各個預設軟件性能評估指標的標準正態(tài)分布；根據(jù)均值位于標準正態(tài)分布的區(qū)間，利用預設的區(qū)間分值對應關系，計算出各個預設軟件性能評估指標的分值；根據(jù)分值以及各個預設軟件性能評估指標的預設權重，加權平均計算出待評估軟件的當前版本的性能評估分值。該方法通過性能評估分值評估當前軟件版本，即量化軟件版本性能，可以剔除評估過程中的主觀性干擾；且通過標準正態(tài)分布可以對比不同版本性能上的優(yōu)劣，在整體版本性能下降的情況下，可以定位導致軟件版本性能下降的指標；同時可以顯示各個性能指標的好壞。下面對本發(fā)明實施例提供的軟件版本性能評估裝置進行介紹，下文描述的軟件版本性能評估裝置與上文描述的軟件版本性能評估方法可相互對應參照。圖2為本發(fā)明實施例所提供的軟件版本性能評估裝置的結構框圖，參照圖2軟件版本性能評估裝置可以包括：數(shù)據(jù)獲取模塊21，用于獲取待評估軟件的測試用例運行期間的各個預設軟件性能評估指標的數(shù)據(jù)；均值計算模塊22，用于根據(jù)所述數(shù)據(jù)，計算各個所述預設軟件性能評估指標的均值；正態(tài)分布形成模塊23，用于根據(jù)所述均值和所述待評估軟件的多個歷史版本的均值，形成各個所述預設軟件性能評估指標的標準正態(tài)分布；分值計算模塊24，用于根據(jù)所述均值位于所述標準正態(tài)分布的區(qū)間，利用預設的區(qū)間分值對應關系，計算出各個所述預設軟件性能評估指標的分值；性能評估分值計算模塊25，用于根據(jù)所述分值以及各個所述預設軟件性能評估指標的預設權重，加權平均計算出所述待評估軟件的當前版本的性能評估分值?？蛇x地，上述評估裝置還可以包括：權重獲取模塊，用于在多個軟件領域內(nèi)的專家對各個所述預設軟件性能評估指標打分之后，獲取權重分值；權重設置模塊，用于根據(jù)所述權重分值，計算出各個所述預設軟件性能評估指標的所述預設權重。可選地，上述預設軟件性能評估指標包括processortime、handlecount、pagefaults、privatebytes、virtualbytes以及workingset?？蛇x地，上述評估裝置還可以包括：去噪模塊，用于去除所述數(shù)據(jù)的噪聲。本發(fā)明實施例所提供的軟件版本性能評估裝置，通過性能評估分值評估當前軟件版本，即量化軟件版本性能，可以剔除評估過程中的主觀性干擾；且通過標準正態(tài)分布可以對比不同版本性能上的優(yōu)劣，定位導致軟件版本性能下降的指標以及顯示各個性能指標的好壞。本說明書中各個實施例采用遞進的方式描述，每個實施例重點說明的都是與其它實施例的不同之處，各個實施例之間相同或相似部分互相參見即可。對于實施例公開的裝置而言，由于其與實施例公開的方法相對應，所以描述的比較簡單，相關之處參見方法部分說明即可。專業(yè)人員還可以進一步意識到，結合本文中所公開的實施例描述的各示例的單元及算法步驟，能夠以電子硬件、計算機軟件或者二者的結合來實現(xiàn)，為了清楚地說明硬件和軟件的可互換性，在上述說明中已經(jīng)按照功能一般性地描述了各示例的組成及步驟。這些功能究竟以硬件還是軟件方式來執(zhí)行，取決于技術方案的特定應用和設計約束條件。專業(yè)技術人員可以對每個特定的應用來使用不同方法來實現(xiàn)所描述的功能，但是這種實現(xiàn)不應認為超出本發(fā)明的范圍。結合本文中所公開的實施例描述的方法或算法的步驟可以直接用硬件、處理器執(zhí)行的軟件模塊，或者二者的結合來實施。軟件模塊可以置于隨機存儲器(ram)、內(nèi)存、只讀存儲器(rom)、電可編程rom、電可擦除可編程rom、寄存器、硬盤、可移動磁盤、cd-rom、或
技術領域：
內(nèi)所公知的任意其它形式的存儲介質(zhì)中。以上對本發(fā)明所提供的軟件版本性能評估方法及裝置進行了詳細介紹。本文中應用了具體個例對本發(fā)明的原理及實施方式進行了闡述，以上實施例的說明只是用于幫助理解本發(fā)明的方法及其核心思想。應當指出，對于本
技術領域：
的普通技術人員來說，在不脫離本發(fā)明原理的前提下，還可以對本發(fā)明進行若干改進和修飾，這些改進和修飾也落入本發(fā)明權利要求的保護范圍內(nèi)。當前第1頁12