一種基于電力大數(shù)據(jù)平臺海量數(shù)據(jù)并行處理的測試方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及數(shù)據(jù)并行處理的測試方法，具體涉及一種基于電力大數(shù)據(jù)平臺海量數(shù)據(jù)并行處理的測試方法。
【背景技術(shù)】
[0002]電力大數(shù)據(jù)環(huán)境逐步形成，數(shù)據(jù)體量正在迅速膨脹，數(shù)據(jù)類型逐漸多樣化，數(shù)據(jù)時效性不斷提高。電力大數(shù)據(jù)平臺對整個電力信息技術(shù)架構(gòu)進(jìn)行了革命性的重構(gòu)，將信息系統(tǒng)的運(yùn)行方式轉(zhuǎn)變?yōu)橐詳?shù)據(jù)為中心，將計算用于數(shù)據(jù)，形成業(yè)務(wù)邏輯、計算結(jié)構(gòu)、數(shù)據(jù)模型間的柔性關(guān)聯(lián)。
[0003]“大數(shù)據(jù)”正是新形勢下技術(shù)融合型發(fā)展和應(yīng)用智能化理念的集中體現(xiàn)，具有應(yīng)對數(shù)據(jù)體量巨大、數(shù)據(jù)類型繁多、價值密度低和處理速度快等數(shù)據(jù)特征的技術(shù)架構(gòu)，及以行業(yè)內(nèi)外高附加值的內(nèi)容增值服務(wù)為目標(biāo)的應(yīng)用模式，其核心就是信息資源的開發(fā)利用。電力大數(shù)據(jù)是指通過傳感器、智能設(shè)備、視頻監(jiān)控設(shè)備、音頻通信設(shè)備、移動終端等各種信息獲取渠道收集到的，海量的，結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化的，且相互間存在關(guān)聯(lián)關(guān)系的業(yè)務(wù)數(shù)據(jù)集合。隨著科技的發(fā)展以及大量信息系統(tǒng)的推廣和深化應(yīng)用，用戶體驗需求正在不斷增長，在這過程中所積累的數(shù)據(jù)和服務(wù)也越來越多，趨于海量，傳統(tǒng)的數(shù)據(jù)庫已經(jīng)無法滿足如此龐大的數(shù)據(jù)存儲要求。
[0004]隨著電力大數(shù)據(jù)平臺的業(yè)務(wù)范圍覆蓋各類數(shù)據(jù)資源挖掘及業(yè)務(wù)創(chuàng)新，集成數(shù)據(jù)資源整合、計算中間件服務(wù)、智能信息處理服務(wù)，提供面向典型業(yè)務(wù)應(yīng)用的智能決策分析能力。需要一套對應(yīng)的方法或系統(tǒng)來測試電力大數(shù)據(jù)平臺的負(fù)載量，以便更好的利用電力大數(shù)據(jù)平臺。

【發(fā)明內(nèi)容】

[0005]在現(xiàn)有技術(shù)的基礎(chǔ)上，本發(fā)明使用的并發(fā)性測試過程，是一種負(fù)載壓力測試過程，通過逐步增加系統(tǒng)負(fù)載，觀察不同負(fù)載下系統(tǒng)性能的變化，確定在滿足性能指標(biāo)的情況下，系統(tǒng)所能承受的最大負(fù)載量，發(fā)現(xiàn)系統(tǒng)可能存在的性能瓶頸和高負(fù)載情況下可能出現(xiàn)的問題。負(fù)載壓力測試可以確定在什么負(fù)載條件下系統(tǒng)性能處于失效狀態(tài)，以此來獲得系統(tǒng)能提供的最大服務(wù)級別。提出了一種基于電力大數(shù)據(jù)平臺海量數(shù)據(jù)并行處理的測試方法，基于電力大數(shù)據(jù)平臺，對海量數(shù)據(jù)的并行處理進(jìn)行負(fù)載壓力測試。包括以下步驟:將對單個文件的讀取操作方法和寫入操作方法分別封裝為可運(yùn)行Java程序；啟動多個虛擬用戶，并發(fā)運(yùn)行對單個文件進(jìn)行讀取操作的可運(yùn)行Java程序或?qū)蝹€文件進(jìn)行寫入操作的可運(yùn)行Java程序，觀察記錄平均處理單個用戶運(yùn)行的可運(yùn)行Java程序的響應(yīng)時間和電力大數(shù)據(jù)平臺集群的網(wǎng)絡(luò)吞吐量、磁盤10、CPU、內(nèi)存等資源的占用情況；逐漸增加運(yùn)行對單個文件進(jìn)行讀取操作的可運(yùn)行Java程序或?qū)蝹€文件進(jìn)行寫入操作的可運(yùn)行Java程序的虛擬用戶的個數(shù)，觀察記錄當(dāng)前虛擬用戶數(shù)下平均處理單個用戶運(yùn)行的可運(yùn)行Java程序的響應(yīng)時間和電力大數(shù)據(jù)平臺集群的網(wǎng)絡(luò)吞吐量、磁盤10、CPU、內(nèi)存等資源的占用情況；當(dāng)平均處理單個用戶運(yùn)行的可運(yùn)行Java程序的響應(yīng)時間增加至初始值的10倍時，結(jié)束電力大數(shù)據(jù)平臺并行處理的負(fù)載壓力測試。
[0006]本發(fā)明的目的是采用下述技術(shù)方案實(shí)現(xiàn)的:
[0007]一種基于電力大數(shù)據(jù)平臺海量數(shù)據(jù)并行處理的測試方法，其改進(jìn)之處在于，所述方法包括:
[0008](I)將對單個文件的操作方法封裝為可運(yùn)行Java程序；
[0009](2)啟動虛擬用戶，并發(fā)運(yùn)行可運(yùn)行Java程序，觀察記錄單個用戶的響應(yīng)時間和電力大數(shù)據(jù)平臺集群的網(wǎng)絡(luò)吞吐量、磁盤10、CPU和內(nèi)存資源的占用情況；
[0010](3)逐漸增加運(yùn)行可運(yùn)行Java程序的虛擬用戶個數(shù)，觀察記錄當(dāng)前平均單個用戶的響應(yīng)時間和電力大數(shù)據(jù)平臺集群的網(wǎng)絡(luò)吞吐量、磁盤10、CPU和內(nèi)存資源的占用情況；
[0011](4)當(dāng)平均單個用戶的響應(yīng)時間增加至初始值的10倍時，停止增加虛擬用戶，該負(fù)載情況即為電力大數(shù)據(jù)平臺的最大負(fù)載量，完成壓力測試過程。
[0012]優(yōu)選的，所述步驟(I)中單個文件的操作可實(shí)現(xiàn)對不同大小、不同類型的單個文件進(jìn)行讀取、寫入、增加、刪除、修改和查找操作。
[0013]進(jìn)一步地，
[0014]所述讀取操作為從電力大數(shù)據(jù)平臺的分布式存儲系統(tǒng)中將文件下載至虛擬用戶客戶端；
[0015]所述寫入操作為從虛擬用戶客戶端將文件上傳至電力大數(shù)據(jù)平臺的分布式存儲系統(tǒng)中；
[0016]所述增加操作、刪除操作和修改操作為對電力大數(shù)據(jù)平臺分布式存儲系統(tǒng)中的文件進(jìn)行相應(yīng)的處理；和
[0017]所述查找操作為對電力大數(shù)據(jù)平臺分布式存儲系統(tǒng)中的文件進(jìn)行查找并將結(jié)果反饋回虛擬用戶客戶端。
[0018]優(yōu)選的，所述步驟(2)中虛擬用戶啟動數(shù)量需充分考慮分布式因素，啟動電力大數(shù)據(jù)平臺節(jié)點(diǎn)數(shù)同數(shù)量級的客戶端，保證每個客戶端的負(fù)載量都小于其網(wǎng)絡(luò)吞吐量，并均衡配置各客戶端的負(fù)載。
[0019]優(yōu)選的，所述步驟(3)中增加虛擬用戶時，當(dāng)平均處理單個用戶運(yùn)行的可運(yùn)行Java程序的響應(yīng)時間小于初始值的3倍時，每1/3響應(yīng)時間增加上一次虛擬用戶增加數(shù)的2倍；不小于初始值的3倍時，每1/2響應(yīng)時間增加上一次的虛擬用戶增加數(shù)。
[0020]優(yōu)選的，所述步驟(4)平均單個用戶的響應(yīng)時間未超過初始值的10倍，則返回步驟⑶。
[0021]與現(xiàn)有技術(shù)比，本發(fā)明的有益效果為:
[0022]1.本發(fā)明充分利用并行處理的優(yōu)勢進(jìn)行負(fù)載壓力測試，保證電力大數(shù)據(jù)平臺并發(fā)執(zhí)行指定數(shù)量的測試負(fù)載，測試結(jié)果可控、可靠。
[0023]2.本發(fā)明在進(jìn)行極限壓力測試的同時，獲得不同負(fù)載條件下電力大數(shù)據(jù)平臺的運(yùn)行性能指標(biāo)，節(jié)省資源和時間。
[0024]3.本發(fā)明每隔一段時間新增的虛擬用戶數(shù)靈活可變，每個虛擬用戶運(yùn)行的負(fù)載壓力也靈活可變，可測試隨意負(fù)載條件下電力大數(shù)據(jù)平臺的性能指標(biāo)，在接近系統(tǒng)處理極限時可迅速調(diào)整測試負(fù)載量，有效防止系統(tǒng)因過載而癱瘓。
[0025]4.本發(fā)明啟動與電力大數(shù)據(jù)平臺節(jié)點(diǎn)數(shù)同數(shù)量級的客戶端，充分?jǐn)U充可用網(wǎng)絡(luò)帶寬容量，打破分布式環(huán)境的網(wǎng)絡(luò)吞吐量測試瓶頸，利于測出電力大數(shù)據(jù)平臺的負(fù)載極限。
[0026]5.本發(fā)明可均衡配置各客戶端啟動的負(fù)載，突出了并行環(huán)境的優(yōu)越