本發(fā)明涉及電力技術(shù)領(lǐng)域，特別是涉及一種配用電大數(shù)據(jù)平臺(tái)測(cè)試方法和系統(tǒng)。

背景技術(shù)：

智能電網(wǎng)的核心是電力能量流與信息流的深度融合。經(jīng)過(guò)三十多年的高速發(fā)展，我國(guó)已經(jīng)建立起一個(gè)結(jié)構(gòu)靈活、技術(shù)先進(jìn)、運(yùn)行可靠的電力能量流網(wǎng)絡(luò)；隨著信息技術(shù)的突飛猛進(jìn)與建設(shè)成本的大幅降低，與之相匹配的信息流網(wǎng)絡(luò)也取得了飛速發(fā)展。相應(yīng)地，配電與用電的基礎(chǔ)與運(yùn)行數(shù)據(jù)經(jīng)過(guò)多年積累、尤其是近年的爆炸性增長(zhǎng)，蘊(yùn)藏了大量極有價(jià)值的信息，亟待進(jìn)行深度挖掘、綜合利用，為建設(shè)綠色、經(jīng)濟(jì)、可靠的智能電網(wǎng)提供堅(jiān)實(shí)的支撐。

針對(duì)智能配用電數(shù)據(jù)爆炸性增長(zhǎng)和電網(wǎng)業(yè)務(wù)創(chuàng)新的挑戰(zhàn)以及智能配用電數(shù)據(jù)爆炸性增長(zhǎng)和電網(wǎng)業(yè)務(wù)創(chuàng)新的迫切需求，可以現(xiàn)有電能量數(shù)據(jù)中心和營(yíng)配信息集成平臺(tái)，從智能配用電大數(shù)據(jù)體系構(gòu)建、數(shù)據(jù)管理、知識(shí)模型、業(yè)務(wù)創(chuàng)新和應(yīng)用示范等多層面開(kāi)展研究，進(jìn)一步擴(kuò)展配用電網(wǎng)內(nèi)部和外部(氣象、經(jīng)濟(jì)、用戶(hù)等)基礎(chǔ)數(shù)據(jù)源和數(shù)據(jù)規(guī)模，提出配用電大數(shù)據(jù)創(chuàng)新理論和技術(shù)，示范建設(shè)配用電大數(shù)據(jù)平臺(tái)，并基于大數(shù)據(jù)技術(shù)實(shí)現(xiàn)在浩瀚海量的配用電數(shù)據(jù)中發(fā)現(xiàn)用戶(hù)的用電規(guī)律、互動(dòng)潛力和市場(chǎng)行為，以用戶(hù)廣泛互動(dòng)提升配電網(wǎng)的可觀可控性、安全可靠性及經(jīng)濟(jì)運(yùn)行水平，以個(gè)性化服務(wù)提升用戶(hù)用電能效、客戶(hù)滿(mǎn)意度及互動(dòng)響應(yīng)水平，同時(shí)推動(dòng)配用電網(wǎng)從傳統(tǒng)業(yè)務(wù)模式向以數(shù)據(jù)信息相關(guān)性為基礎(chǔ)的大數(shù)據(jù)業(yè)務(wù)模式轉(zhuǎn)變，實(shí)現(xiàn)配用電業(yè)務(wù)模式創(chuàng)新和社會(huì)價(jià)值提升。

目前國(guó)內(nèi)外市場(chǎng)上的大數(shù)據(jù)平臺(tái)多種多樣，如何評(píng)價(jià)各個(gè)大數(shù)據(jù)平臺(tái)的性能成為了一個(gè)亟待解決的問(wèn)題。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的在于提供一種配用電大數(shù)據(jù)平臺(tái)測(cè)試方法和系統(tǒng)，可以實(shí)現(xiàn) 對(duì)各個(gè)大數(shù)據(jù)平臺(tái)的性能測(cè)試。

本發(fā)明的目的通過(guò)如下技術(shù)方案實(shí)現(xiàn)：

一種配用電大數(shù)據(jù)平臺(tái)測(cè)試方法，包括：

模擬生成多個(gè)數(shù)據(jù)量級(jí)別的配用電數(shù)據(jù)表；

根據(jù)各所述配用電數(shù)據(jù)表分別對(duì)目標(biāo)大數(shù)據(jù)平臺(tái)進(jìn)行性能測(cè)試，記錄所述目標(biāo)大數(shù)據(jù)平臺(tái)在各所述數(shù)據(jù)量級(jí)別下的測(cè)試相關(guān)參數(shù)，所述測(cè)試相關(guān)參數(shù)包括開(kāi)始執(zhí)行時(shí)間、結(jié)束執(zhí)行時(shí)間、CPU利用率、磁盤(pán)IO接口寫(xiě)入速度和內(nèi)存使用率；

根據(jù)各所述開(kāi)始執(zhí)行時(shí)間、各所述結(jié)束執(zhí)行時(shí)間分別確定所述目標(biāo)大數(shù)據(jù)平臺(tái)在各所述數(shù)據(jù)量級(jí)別下的執(zhí)行時(shí)間；

根據(jù)各所述執(zhí)行時(shí)間、各所述配用電數(shù)據(jù)表中的數(shù)據(jù)條數(shù)和各所述配用電數(shù)據(jù)表的數(shù)據(jù)量值分別確定所述目標(biāo)大數(shù)據(jù)平臺(tái)在各所述數(shù)據(jù)量級(jí)別下的單位時(shí)間執(zhí)行的數(shù)據(jù)條數(shù)和單位時(shí)間執(zhí)行的數(shù)據(jù)量值；

對(duì)所述目標(biāo)大數(shù)據(jù)平臺(tái)在各所述數(shù)據(jù)量級(jí)別下的所述執(zhí)行時(shí)間、所述單位時(shí)間執(zhí)行的數(shù)據(jù)條數(shù)、所述單位時(shí)間執(zhí)行的數(shù)據(jù)量值、所述CPU利用率、所述磁盤(pán)IO接口寫(xiě)入速度和所述內(nèi)存使用率進(jìn)行比較分析，獲得第一性能測(cè)試結(jié)果。

一種配用電大數(shù)據(jù)平臺(tái)測(cè)試系統(tǒng)，包括：

生成單元，用于模擬生成多個(gè)數(shù)據(jù)量級(jí)別的配用電數(shù)據(jù)表；

測(cè)試單元，用于根據(jù)各所述配用電數(shù)據(jù)表分別對(duì)目標(biāo)大數(shù)據(jù)平臺(tái)進(jìn)行性能測(cè)試，記錄所述目標(biāo)大數(shù)據(jù)平臺(tái)在各所述數(shù)據(jù)量級(jí)別下的測(cè)試相關(guān)參數(shù)，所述測(cè)試相關(guān)參數(shù)包括開(kāi)始執(zhí)行時(shí)間、結(jié)束執(zhí)行時(shí)間、CPU利用率、磁盤(pán)IO接口寫(xiě)入速度和內(nèi)存使用率；

第一處理單元，用于根據(jù)各所述開(kāi)始執(zhí)行時(shí)間、各所述結(jié)束執(zhí)行時(shí)間分別確定所述目標(biāo)大數(shù)據(jù)平臺(tái)在各所述數(shù)據(jù)量級(jí)別下的執(zhí)行時(shí)間；

第二處理單元，用于根據(jù)各所述執(zhí)行時(shí)間、各所述配用電數(shù)據(jù)表中的數(shù)據(jù)條數(shù)和各所述配用電數(shù)據(jù)表的數(shù)據(jù)量值分別確定所述目標(biāo)大數(shù)據(jù)平臺(tái)在各所述數(shù)據(jù)量級(jí)別下的單位時(shí)間執(zhí)行的數(shù)據(jù)條數(shù)和單位時(shí)間執(zhí)行的數(shù)據(jù)量值。

比較分析單元，用于對(duì)所述目標(biāo)大數(shù)據(jù)平臺(tái)在各所述數(shù)據(jù)量級(jí)別下的所述 執(zhí)行時(shí)間、所述單位時(shí)間執(zhí)行的數(shù)據(jù)條數(shù)、所述單位時(shí)間執(zhí)行的數(shù)據(jù)量值、所述CPU利用率、所述磁盤(pán)IO接口寫(xiě)入速度和所述內(nèi)存使用率進(jìn)行比較分析，獲得第一性能測(cè)試結(jié)果。

根據(jù)上述本發(fā)明的方案，其是模擬生成多個(gè)數(shù)據(jù)量級(jí)別的配用電數(shù)據(jù)表，根據(jù)各所述配用電數(shù)據(jù)表分別對(duì)目標(biāo)大數(shù)據(jù)平臺(tái)進(jìn)行性能測(cè)試，記錄所述目標(biāo)大數(shù)據(jù)平臺(tái)在各所述數(shù)據(jù)量級(jí)別下的測(cè)試相關(guān)參數(shù)，所述測(cè)試相關(guān)參數(shù)包括開(kāi)始執(zhí)行時(shí)間、結(jié)束執(zhí)行時(shí)間、CPU利用率、磁盤(pán)IO接口寫(xiě)入速度和內(nèi)存使用率，根據(jù)各所述開(kāi)始執(zhí)行時(shí)間、各所述結(jié)束執(zhí)行時(shí)間分別確定所述目標(biāo)大數(shù)據(jù)平臺(tái)在各所述數(shù)據(jù)量級(jí)別下的執(zhí)行時(shí)間，根據(jù)各所述執(zhí)行時(shí)間、各所述配用電數(shù)據(jù)表中的數(shù)據(jù)條數(shù)和各所述配用電數(shù)據(jù)表的數(shù)據(jù)量值分別確定所述目標(biāo)大數(shù)據(jù)平臺(tái)在各所述數(shù)據(jù)量級(jí)別下的單位時(shí)間執(zhí)行的數(shù)據(jù)條數(shù)和單位時(shí)間執(zhí)行的數(shù)據(jù)量值，對(duì)所述目標(biāo)大數(shù)據(jù)平臺(tái)在各所述數(shù)據(jù)量級(jí)別下的所述執(zhí)行時(shí)間、所述單位時(shí)間執(zhí)行的數(shù)據(jù)條數(shù)、所述單位時(shí)間執(zhí)行的數(shù)據(jù)量值、所述CPU利用率、所述磁盤(pán)IO接口寫(xiě)入速度和所述內(nèi)存使用率進(jìn)行比較分析，獲得第一性能測(cè)試結(jié)果，可以分別采用本發(fā)明的方案對(duì)各大數(shù)據(jù)平臺(tái)進(jìn)行性能測(cè)試，實(shí)現(xiàn)了對(duì)各個(gè)大數(shù)據(jù)平臺(tái)的性能的測(cè)試，可以基于測(cè)試結(jié)果、自身硬件配置環(huán)境的情況和業(yè)務(wù)數(shù)據(jù)量合理選取所需的大數(shù)據(jù)平臺(tái)。

附圖說(shuō)明

圖1為本發(fā)明實(shí)施例一的配用電大數(shù)據(jù)平臺(tái)測(cè)試方法的實(shí)現(xiàn)流程示意圖；

圖2為本發(fā)明實(shí)施例二的配用電大數(shù)據(jù)平臺(tái)測(cè)試系統(tǒng)的組成流程示意圖。

具體實(shí)施方式

為使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下結(jié)合附圖及實(shí)施例，對(duì)本發(fā)明進(jìn)行進(jìn)一步的詳細(xì)說(shuō)明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施方式僅僅用以解釋本發(fā)明，并不限定本發(fā)明的保護(hù)范圍。

實(shí)施例一

本發(fā)明實(shí)施例一提供一種配用電大數(shù)據(jù)平臺(tái)測(cè)試方法，參見(jiàn)圖1所示，為 本發(fā)明實(shí)施例一的配用電大數(shù)據(jù)平臺(tái)測(cè)試方法的實(shí)現(xiàn)流程示意圖。如圖1所示，本實(shí)施例的配用電大數(shù)據(jù)平臺(tái)測(cè)試方法包括如下步驟：

步驟S101：模擬生成多個(gè)數(shù)據(jù)量級(jí)別的配用電數(shù)據(jù)表；

具體地，可以在Oracle數(shù)據(jù)庫(kù)中模擬生成多個(gè)不同數(shù)據(jù)量級(jí)別的配用電數(shù)據(jù)表，并為每個(gè)數(shù)據(jù)量級(jí)別的配用電數(shù)據(jù)表中數(shù)據(jù)分配表名，不同的數(shù)據(jù)量級(jí)別的配用電數(shù)據(jù)表對(duì)應(yīng)的表名不同。

這里，數(shù)據(jù)量級(jí)別的級(jí)別數(shù)以及每個(gè)數(shù)據(jù)量級(jí)別下的配用電數(shù)據(jù)的記錄數(shù)(或者稱(chēng)為數(shù)據(jù)條數(shù))以及大小(或者稱(chēng)為數(shù)據(jù)量值)可以根據(jù)實(shí)際需要設(shè)定。表1中示出的是在實(shí)際測(cè)試中所設(shè)定的各個(gè)數(shù)據(jù)量級(jí)別的配用電數(shù)據(jù)表的相關(guān)參數(shù)。但本實(shí)施例中的數(shù)據(jù)量級(jí)別的配用電數(shù)據(jù)表的設(shè)定方式不限于此。

表1數(shù)據(jù)量級(jí)別的配用電數(shù)據(jù)的相關(guān)參數(shù)

步驟S102：根據(jù)各所述配用電數(shù)據(jù)表分別對(duì)目標(biāo)大數(shù)據(jù)平臺(tái)進(jìn)行性能測(cè)試，記錄所述目標(biāo)大數(shù)據(jù)平臺(tái)在各所述數(shù)據(jù)量級(jí)別下的測(cè)試相關(guān)參數(shù)，所述測(cè)試相關(guān)參數(shù)包括開(kāi)始執(zhí)行時(shí)間、結(jié)束執(zhí)行時(shí)間、CPU(Central Processing Unit，中央處理器)利用率、磁盤(pán)IO(Input Output，輸入輸出)接口寫(xiě)入速度和內(nèi)存使用率；

這里，所述性能測(cè)試可以包括數(shù)據(jù)寫(xiě)入測(cè)試、數(shù)據(jù)讀取測(cè)試、數(shù)據(jù)查詢(xún)測(cè) 試、數(shù)據(jù)排序測(cè)試和數(shù)據(jù)關(guān)聯(lián)查詢(xún)測(cè)試中的一種或者任意多種的組合。

所述開(kāi)始執(zhí)行時(shí)間和所述結(jié)束執(zhí)行時(shí)間根據(jù)性能測(cè)試的種類(lèi)不同，可以表示不同的含義。例如，在進(jìn)行數(shù)據(jù)寫(xiě)入測(cè)試時(shí)，開(kāi)始執(zhí)行時(shí)間表示開(kāi)始寫(xiě)入時(shí)間，結(jié)束執(zhí)行時(shí)間表示結(jié)束寫(xiě)入時(shí)間，對(duì)于其他類(lèi)型的性能測(cè)試也相似，在此不一一贅述。

其中，數(shù)據(jù)寫(xiě)入測(cè)試和數(shù)據(jù)讀取測(cè)試可以分別包括對(duì)三種不同類(lèi)型的數(shù)據(jù)的寫(xiě)入測(cè)試和讀取測(cè)試；這三種不同類(lèi)型包括結(jié)構(gòu)化數(shù)據(jù)、非機(jī)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù)。具體地，在進(jìn)行數(shù)據(jù)寫(xiě)入測(cè)試時(shí)，是將在一特定的Oracle數(shù)據(jù)庫(kù)(Oracle平臺(tái))中生成的各個(gè)配用電數(shù)據(jù)表寫(xiě)入目標(biāo)大數(shù)據(jù)平臺(tái)，在進(jìn)行數(shù)據(jù)讀取測(cè)試時(shí)，是將目標(biāo)大數(shù)據(jù)平臺(tái)中的配用電數(shù)據(jù)表寫(xiě)入該特定的Oracle平臺(tái)。

這里，所述目標(biāo)大數(shù)據(jù)平臺(tái)為CDH平臺(tái)、TDH平臺(tái)、HDP平臺(tái)或者Oracle平臺(tái)。

CDH的全稱(chēng)為Cloudera′s_Distribution Including Apache Hadoop，是以ApacheHadoop為基礎(chǔ)的大數(shù)據(jù)管理平臺(tái)。TDH的全稱(chēng)Transwarp Data Hub，是Hadoop集群大數(shù)據(jù)平臺(tái)。HDP全稱(chēng)Hortonworks Data Platform，是Apache Hadoop大數(shù)據(jù)管理平臺(tái)。

其中，上述的CPU利用率、磁盤(pán)IO接口寫(xiě)入速度和內(nèi)存使用率可以每隔設(shè)定時(shí)間記錄一次，也可以?xún)H在設(shè)定時(shí)刻記錄一次；

步驟S103：根據(jù)各所述開(kāi)始執(zhí)行時(shí)間、各所述結(jié)束執(zhí)行時(shí)間分別確定所述目標(biāo)大數(shù)據(jù)平臺(tái)在各所述數(shù)據(jù)量級(jí)別下的執(zhí)行時(shí)間；

具體地，分別用每個(gè)數(shù)據(jù)量級(jí)別下的結(jié)束執(zhí)行時(shí)間減去對(duì)應(yīng)的開(kāi)始執(zhí)行時(shí)間得到各數(shù)據(jù)量級(jí)別下的執(zhí)行時(shí)間，例如，用數(shù)據(jù)量級(jí)別1下的結(jié)束執(zhí)行時(shí)間減去數(shù)據(jù)量級(jí)別1下的開(kāi)始執(zhí)行時(shí)間得到數(shù)據(jù)量級(jí)別1下的執(zhí)行時(shí)間，用數(shù)據(jù)量級(jí)別2下的結(jié)束執(zhí)行時(shí)間減去數(shù)據(jù)量級(jí)別2下的開(kāi)始執(zhí)行時(shí)間得到數(shù)據(jù)量級(jí)別2下的執(zhí)行時(shí)間，以此類(lèi)推。

步驟S104：根據(jù)各所述執(zhí)行時(shí)間、各所述配用電數(shù)據(jù)表中的數(shù)據(jù)條數(shù)和各所述配用電數(shù)據(jù)表的數(shù)據(jù)量值分別確定所述目標(biāo)大數(shù)據(jù)平臺(tái)在各所述數(shù)據(jù)量級(jí)別下的單位時(shí)間執(zhí)行的數(shù)據(jù)條數(shù)和單位時(shí)間執(zhí)行的數(shù)據(jù)量值；

具體地，分別用每個(gè)配用電數(shù)據(jù)表中的數(shù)據(jù)條數(shù)除以對(duì)應(yīng)的執(zhí)行時(shí)間得到各數(shù)據(jù)量級(jí)別下的單位時(shí)間執(zhí)行的數(shù)據(jù)條數(shù)；分別用每個(gè)配用電數(shù)據(jù)表的數(shù)據(jù)量值除以對(duì)應(yīng)的執(zhí)行時(shí)間得到各數(shù)據(jù)量級(jí)別下的單位時(shí)間執(zhí)行的數(shù)據(jù)量值，例如，用數(shù)據(jù)量級(jí)別1的配用電數(shù)據(jù)表中的數(shù)據(jù)條數(shù)除以數(shù)據(jù)量級(jí)別1對(duì)應(yīng)的執(zhí)行時(shí)間得到數(shù)據(jù)量級(jí)別1下的單位時(shí)間執(zhí)行的數(shù)據(jù)條數(shù)，用數(shù)據(jù)量級(jí)別1的配用電數(shù)據(jù)表的數(shù)據(jù)量值除以數(shù)據(jù)量級(jí)別1對(duì)應(yīng)的執(zhí)行時(shí)間得到數(shù)據(jù)量級(jí)別1下的單位時(shí)間執(zhí)行的數(shù)據(jù)量值，用數(shù)據(jù)量級(jí)別2的配用電數(shù)據(jù)表中的數(shù)據(jù)條數(shù)除以數(shù)據(jù)量級(jí)別2對(duì)應(yīng)的執(zhí)行時(shí)間得到數(shù)據(jù)量級(jí)別2下的單位時(shí)間執(zhí)行的數(shù)據(jù)條數(shù)，用數(shù)據(jù)量級(jí)別2的配用電數(shù)據(jù)表的數(shù)據(jù)量值除以數(shù)據(jù)量級(jí)別2對(duì)應(yīng)的執(zhí)行時(shí)間得到數(shù)據(jù)量級(jí)別2下的單位時(shí)間執(zhí)行的數(shù)據(jù)量值，以此類(lèi)推。

步驟S105：對(duì)所述目標(biāo)大數(shù)據(jù)平臺(tái)在各所述數(shù)據(jù)量級(jí)別下的所述執(zhí)行時(shí)間、所述單位時(shí)間執(zhí)行的數(shù)據(jù)條數(shù)、所述單位時(shí)間執(zhí)行的數(shù)據(jù)量值、所述CPU利用率、所述磁盤(pán)IO接口寫(xiě)入速度和所述內(nèi)存使用率進(jìn)行比較分析，獲得第一性能測(cè)試結(jié)果。

具體地，對(duì)所述目標(biāo)大數(shù)據(jù)平臺(tái)在各所述數(shù)據(jù)量級(jí)別下的所述執(zhí)行時(shí)間、所述單位時(shí)間執(zhí)行的數(shù)據(jù)條數(shù)、所述單位時(shí)間執(zhí)行的數(shù)據(jù)量值、所述CPU利用率、所述磁盤(pán)IO接口寫(xiě)入速度和所述內(nèi)存使用率進(jìn)行比較分析，獲取所述目標(biāo)大數(shù)據(jù)平臺(tái)對(duì)應(yīng)的執(zhí)行時(shí)間、單位時(shí)間執(zhí)行的數(shù)據(jù)條數(shù)、單位時(shí)間執(zhí)行的數(shù)據(jù)量值、CPU利用率、磁盤(pán)IO接口寫(xiě)入速度和內(nèi)存使用率的在各數(shù)據(jù)量級(jí)別間的變化趨勢(shì)以及是否出現(xiàn)跳變等。在實(shí)際實(shí)現(xiàn)中，可以分別建立執(zhí)行時(shí)間、單位時(shí)間執(zhí)行的數(shù)據(jù)條數(shù)、單位時(shí)間執(zhí)行的數(shù)據(jù)量值、CPU利用率、磁盤(pán)IO接口寫(xiě)入速度和內(nèi)存使用率的圖表，橫坐標(biāo)為數(shù)據(jù)量級(jí)別，縱坐標(biāo)分別為執(zhí)行時(shí)間、單位時(shí)間執(zhí)行的數(shù)據(jù)條數(shù)、單位時(shí)間執(zhí)行的數(shù)據(jù)量值、CPU利用率、磁盤(pán)IO接口寫(xiě)入速度和內(nèi)存使用率，通過(guò)圖表查找執(zhí)行時(shí)間、單位時(shí)間執(zhí)行的數(shù)據(jù)條數(shù)、單位時(shí)間執(zhí)行的數(shù)據(jù)量值、CPU利用率、磁盤(pán)IO接口寫(xiě)入速度和內(nèi)存使用率的在各數(shù)據(jù)量級(jí)別間的變化趨勢(shì)。

這里，第一性能測(cè)試結(jié)果可以指執(zhí)行時(shí)間、單位時(shí)間執(zhí)行的數(shù)據(jù)條數(shù)、單位時(shí)間執(zhí)行的數(shù)據(jù)量值、CPU利用率、磁盤(pán)IO接口寫(xiě)入速度和內(nèi)存使用率的在 各數(shù)據(jù)量級(jí)別間的變化趨勢(shì)。

如果每隔設(shè)定時(shí)間記錄一次所述CPU利用率、所述磁盤(pán)IO接口寫(xiě)入速度和所述內(nèi)存使用率，則這里比較分析的對(duì)應(yīng)的數(shù)據(jù)量級(jí)別下記錄的CPU利用率的平均值、磁盤(pán)IO接口寫(xiě)入速度的平均值和內(nèi)存使用率的平均值。

據(jù)此，根據(jù)上述本實(shí)施例的方案，其是模擬生成多個(gè)數(shù)據(jù)量級(jí)別的配用電數(shù)據(jù)表，根據(jù)各所述配用電數(shù)據(jù)表分別對(duì)目標(biāo)大數(shù)據(jù)平臺(tái)進(jìn)行性能測(cè)試，記錄所述目標(biāo)大數(shù)據(jù)平臺(tái)在各所述數(shù)據(jù)量級(jí)別下的測(cè)試相關(guān)參數(shù)，所述測(cè)試相關(guān)參數(shù)包括開(kāi)始執(zhí)行時(shí)間、結(jié)束執(zhí)行時(shí)間、CPU利用率、磁盤(pán)IO接口寫(xiě)入速度和內(nèi)存使用率，根據(jù)各所述開(kāi)始執(zhí)行時(shí)間、各所述結(jié)束執(zhí)行時(shí)間分別確定所述目標(biāo)大數(shù)據(jù)平臺(tái)在各所述數(shù)據(jù)量級(jí)別下的執(zhí)行時(shí)間，根據(jù)各所述執(zhí)行時(shí)間、各所述配用電數(shù)據(jù)表中的數(shù)據(jù)條數(shù)和各所述配用電數(shù)據(jù)表的數(shù)據(jù)量值分別確定所述目標(biāo)大數(shù)據(jù)平臺(tái)在各所述數(shù)據(jù)量級(jí)別下的單位時(shí)間執(zhí)行的數(shù)據(jù)條數(shù)和單位時(shí)間執(zhí)行的數(shù)據(jù)量值，對(duì)所述目標(biāo)大數(shù)據(jù)平臺(tái)在各所述數(shù)據(jù)量級(jí)別下的所述執(zhí)行時(shí)間、所述單位時(shí)間執(zhí)行的數(shù)據(jù)條數(shù)、所述單位時(shí)間執(zhí)行的數(shù)據(jù)量值、所述CPU利用率、所述磁盤(pán)IO接口寫(xiě)入速度和所述內(nèi)存使用率進(jìn)行比較分析，獲得第一性能測(cè)試結(jié)果，可以分別采用本實(shí)施例的方案分別對(duì)各大數(shù)據(jù)平臺(tái)進(jìn)行性能測(cè)試，實(shí)現(xiàn)了對(duì)各個(gè)大數(shù)據(jù)平臺(tái)的性能的測(cè)試，可以基于各大數(shù)據(jù)平臺(tái)的測(cè)試結(jié)果、自身硬件配置環(huán)境的情況和業(yè)務(wù)數(shù)據(jù)量合理選取所需的大數(shù)據(jù)平臺(tái)。

此外，除了對(duì)同一大數(shù)據(jù)平臺(tái)的數(shù)據(jù)量級(jí)別下的測(cè)試結(jié)果進(jìn)行比較分析，還可以分別采用上述步驟S101-步驟S104獲得不同的大數(shù)據(jù)平臺(tái)在各所述數(shù)據(jù)量級(jí)別下的執(zhí)行時(shí)間、單位時(shí)間執(zhí)行的數(shù)據(jù)條數(shù)、單位時(shí)間執(zhí)行的數(shù)據(jù)量值、CPU利用率、磁盤(pán)IO接口寫(xiě)入速度和所述內(nèi)存使用率，對(duì)不同的大數(shù)據(jù)平臺(tái)的相關(guān)數(shù)據(jù)進(jìn)行比較分析。

在其中一個(gè)實(shí)施例中，本發(fā)的配用電大數(shù)據(jù)平臺(tái)測(cè)試方法，還包括：對(duì)不同類(lèi)型的大數(shù)據(jù)平臺(tái)在各數(shù)據(jù)量級(jí)別下的處理時(shí)間、單位時(shí)間處理的數(shù)據(jù)條數(shù)、單位時(shí)間處理的數(shù)據(jù)量值、CPU利用率、磁盤(pán)IO接口寫(xiě)入速度和內(nèi)存使用率進(jìn)行比較分析，獲得第二性能測(cè)試結(jié)果。

具體地，可以分別在各數(shù)據(jù)量級(jí)別下，對(duì)不同類(lèi)型的大數(shù)據(jù)平臺(tái)對(duì)應(yīng)的處 理時(shí)間、單位時(shí)間處理的數(shù)據(jù)條數(shù)、單位時(shí)間處理的數(shù)據(jù)量值、CPU利用率、磁盤(pán)IO接口寫(xiě)入速度和內(nèi)存使用率分別進(jìn)行比較分析，獲得第二性能測(cè)試結(jié)果?？梢越Y(jié)合第二性能測(cè)試結(jié)果、硬件配置環(huán)境和業(yè)務(wù)數(shù)據(jù)量確定所需的最佳數(shù)據(jù)平臺(tái)，即實(shí)現(xiàn)大數(shù)據(jù)平臺(tái)的選型。

上述的性能測(cè)試主要是測(cè)試在一定條件下目標(biāo)大數(shù)據(jù)平臺(tái)的軟件系統(tǒng)行為表現(xiàn)是否符合需求規(guī)格的性能指標(biāo)。例如，通過(guò)測(cè)試傳輸?shù)淖铋L(zhǎng)時(shí)限、傳輸?shù)腻e(cuò)誤率、計(jì)算的精度、響應(yīng)的時(shí)限和恢復(fù)時(shí)限等性能指標(biāo)，驗(yàn)證大數(shù)據(jù)平臺(tái)的軟件系統(tǒng)是否能夠達(dá)到需求規(guī)格說(shuō)明中所提出的性能指標(biāo)，發(fā)現(xiàn)了大數(shù)據(jù)平臺(tái)的軟件系統(tǒng)中所存在的性能瓶頸，達(dá)到優(yōu)化軟件系統(tǒng)的目的。

此外，對(duì)于大數(shù)據(jù)平臺(tái)，可靠性也是一個(gè)重要的評(píng)價(jià)指標(biāo)，也很有必要對(duì)大數(shù)據(jù)平臺(tái)可靠性進(jìn)行測(cè)試，可靠性主要是測(cè)試大數(shù)據(jù)平臺(tái)結(jié)構(gòu)化、非結(jié)構(gòu)化及半結(jié)構(gòu)化存儲(chǔ)節(jié)點(diǎn)、網(wǎng)絡(luò)或單個(gè)磁盤(pán)出現(xiàn)故障(或者事故)時(shí)，對(duì)整個(gè)系統(tǒng)的運(yùn)行影響情況，并根據(jù)測(cè)試的結(jié)果，優(yōu)化相應(yīng)的大數(shù)據(jù)框架結(jié)構(gòu)、網(wǎng)絡(luò)拓?fù)洳渴鸾Y(jié)構(gòu)。

具體地，在在其中一個(gè)實(shí)施例中，本發(fā)明的配用電大數(shù)據(jù)平臺(tái)測(cè)試方法，其特征在于，由多個(gè)同一類(lèi)型的大數(shù)據(jù)平臺(tái)構(gòu)成目標(biāo)大數(shù)據(jù)平臺(tái)集群，對(duì)所述目標(biāo)大數(shù)據(jù)平臺(tái)集群進(jìn)行可靠性測(cè)試，所述可靠性測(cè)試包括：從預(yù)設(shè)的故障集中選取待測(cè)故障，所述故障集中包括主元數(shù)據(jù)節(jié)點(diǎn)故障、備元數(shù)據(jù)節(jié)點(diǎn)故障、存儲(chǔ)節(jié)點(diǎn)故障、存儲(chǔ)節(jié)點(diǎn)單磁盤(pán)故障、存儲(chǔ)節(jié)點(diǎn)網(wǎng)絡(luò)故障、主作業(yè)調(diào)度節(jié)點(diǎn)故障和任務(wù)節(jié)點(diǎn)磁盤(pán)故障；按照所述待測(cè)故障對(duì)所述目標(biāo)大數(shù)據(jù)平臺(tái)集群進(jìn)行故障模擬，驗(yàn)證故障模擬后是否影響大數(shù)據(jù)平臺(tái)集群或者和插件的使用，獲得驗(yàn)證結(jié)果。

其中，目標(biāo)大數(shù)據(jù)平臺(tái)集群的網(wǎng)絡(luò)拓?fù)洳渴鸾Y(jié)構(gòu)可以根據(jù)實(shí)際需要進(jìn)行設(shè)定。目標(biāo)大數(shù)據(jù)平臺(tái)集群中包括主元數(shù)據(jù)節(jié)點(diǎn)、備元數(shù)據(jù)節(jié)點(diǎn)、存儲(chǔ)節(jié)點(diǎn)、主作業(yè)調(diào)度節(jié)點(diǎn)和任務(wù)節(jié)點(diǎn)；模擬主元數(shù)據(jù)節(jié)點(diǎn)故障可以是模擬主節(jié)點(diǎn)進(jìn)程死掉，模擬備元數(shù)據(jù)節(jié)點(diǎn)故障可以是刪除備元數(shù)據(jù)節(jié)點(diǎn)故障；模擬存儲(chǔ)節(jié)點(diǎn)故障可以是關(guān)閉存儲(chǔ)節(jié)點(diǎn)；模擬存儲(chǔ)節(jié)點(diǎn)單磁盤(pán)故障可以是手動(dòng)拔掉一個(gè)存儲(chǔ)節(jié)點(diǎn)的所有硬盤(pán)；模擬存儲(chǔ)節(jié)點(diǎn)網(wǎng)絡(luò)故障可以是在一個(gè)存儲(chǔ)節(jié)點(diǎn)模擬自動(dòng)宕機(jī)。

此外，可用性測(cè)試的目的是檢測(cè)用戶(hù)使用大數(shù)據(jù)平臺(tái)的系統(tǒng)軟件是否滿(mǎn)意，其測(cè)試目的是讓系統(tǒng)軟件適合于用戶(hù)的實(shí)際工作風(fēng)格，而不是強(qiáng)迫用戶(hù)的工作風(fēng)格適應(yīng)于軟件系統(tǒng)。大數(shù)據(jù)平臺(tái)中的可用性測(cè)試時(shí)，主要是測(cè)試大數(shù)據(jù)平臺(tái)的安裝部署是否符合預(yù)設(shè)的平臺(tái)系統(tǒng)安裝部署，日志審計(jì)功能是否完備，用戶(hù)管理界面是否友好等方案。

在其中一個(gè)實(shí)施例中，本發(fā)明的配用電大數(shù)據(jù)平臺(tái)測(cè)試方法，還可以包括：對(duì)所述目標(biāo)大數(shù)據(jù)平臺(tái)進(jìn)行可用性測(cè)試，所述可用性測(cè)試包括安裝部署測(cè)試和管理界面測(cè)試；所述安裝部署測(cè)試包括測(cè)試在所述目標(biāo)大數(shù)據(jù)平臺(tái)上安裝的插件和版本是否兼容，檢測(cè)所述目標(biāo)大數(shù)據(jù)平臺(tái)的適應(yīng)平臺(tái)、安裝復(fù)雜程度，有無(wú)圖形化，配置復(fù)雜度等信息和版本信息；所述管理界面測(cè)試包括測(cè)試所述目標(biāo)大數(shù)據(jù)平臺(tái)的管理界面是否可以訪(fǎng)問(wèn)，測(cè)試所述目標(biāo)大數(shù)據(jù)平臺(tái)的文件系統(tǒng)是否可以正常使用，以及測(cè)試在所述目標(biāo)大數(shù)據(jù)平臺(tái)的管理界面下是否可以查看日志、是否具有圖形化界面、是否具有模板化服務(wù)管理以及是否具有日志分析功能。

可擴(kuò)展性是一種對(duì)軟件系統(tǒng)計(jì)算處理能力的設(shè)計(jì)指標(biāo)，高可伸縮性代表一種彈性，在系統(tǒng)擴(kuò)展成長(zhǎng)過(guò)程中，軟件能夠保證旺盛的生命力，通過(guò)很少的改動(dòng)甚至只是硬件設(shè)備的添置，就能實(shí)現(xiàn)整個(gè)系統(tǒng)處理能力的線(xiàn)性增長(zhǎng)，實(shí)現(xiàn)高吞吐量和低延遲高性能。每年配用數(shù)據(jù)量在以幾個(gè)TB的數(shù)據(jù)在高速增長(zhǎng)，對(duì)大數(shù)據(jù)平臺(tái)進(jìn)行擴(kuò)展增容是很正常的，測(cè)試配用大數(shù)據(jù)平臺(tái)的可擴(kuò)展性將是一個(gè)很重要的指標(biāo)。在其中一個(gè)實(shí)施例中，本發(fā)明的配用電大數(shù)據(jù)平臺(tái)測(cè)試方法，還可以包括對(duì)所述目標(biāo)大數(shù)據(jù)平臺(tái)集群進(jìn)行動(dòng)態(tài)擴(kuò)展測(cè)試，所述動(dòng)態(tài)擴(kuò)展測(cè)試包括：在正在運(yùn)行的所述目標(biāo)大數(shù)據(jù)平臺(tái)集群中增加一臺(tái)數(shù)據(jù)節(jié)點(diǎn)，驗(yàn)證是否影響文件系統(tǒng)的使用。

此外，本發(fā)明的配用電大數(shù)據(jù)平臺(tái)測(cè)試方法，還可以包括對(duì)所述目標(biāo)大數(shù)據(jù)平臺(tái)集群進(jìn)行安全性測(cè)試，所述安全性測(cè)試包括：在正在運(yùn)行的所述目標(biāo)大數(shù)據(jù)平臺(tái)集群中分別輸入有效用戶(hù)信息、無(wú)效用戶(hù)信息，分別驗(yàn)證是否可以登錄系統(tǒng)；或者/和，在正在運(yùn)行的所述目標(biāo)大數(shù)據(jù)平臺(tái)集群中使用各種權(quán)限分別登錄系統(tǒng)，驗(yàn)證所述目標(biāo)大數(shù)據(jù)平臺(tái)集群是否覆蓋系統(tǒng)所有權(quán)限；或者/和，采 用非法方式訪(fǎng)問(wèn)所述目標(biāo)大數(shù)據(jù)平臺(tái)集群后，查看審計(jì)日志是否記錄有該非法訪(fǎng)問(wèn)。

另外，在進(jìn)行可用性測(cè)試、可靠性測(cè)試、擴(kuò)展性測(cè)試或者安全性測(cè)試等等之后，也可以對(duì)不同類(lèi)型的大數(shù)據(jù)平臺(tái)(或者不同類(lèi)型的集群)的測(cè)試結(jié)果進(jìn)行比較分析，在此不一一贅述。

本發(fā)明的配用電大數(shù)據(jù)平臺(tái)測(cè)試方法，還可以根據(jù)各所述配用電數(shù)據(jù)表分別對(duì)目標(biāo)大數(shù)據(jù)平臺(tái)進(jìn)行算法模型測(cè)試；所述算法模型測(cè)試包括K-Means聚類(lèi)測(cè)試和Linear Regression分類(lèi)測(cè)試。其中，在根據(jù)各所述配用電數(shù)據(jù)表分別對(duì)目標(biāo)大數(shù)據(jù)平臺(tái)進(jìn)行算法模型測(cè)試和在根據(jù)各所述配用電數(shù)據(jù)表分別對(duì)目標(biāo)大數(shù)據(jù)平臺(tái)進(jìn)行性能測(cè)試時(shí)，記錄的內(nèi)容和對(duì)內(nèi)容的處理方式是相似的。

為了便于理解本發(fā)明的方案，考慮到電網(wǎng)的數(shù)據(jù)特性，以下以分別對(duì)CDH平臺(tái)、TDH平臺(tái)、HDP平臺(tái)和Oracle平臺(tái)四個(gè)大數(shù)據(jù)平臺(tái)為例進(jìn)行說(shuō)明。

1)性能測(cè)試

1.1)數(shù)據(jù)寫(xiě)入測(cè)試

這里，數(shù)據(jù)寫(xiě)入測(cè)試包括對(duì)三種不同類(lèi)型的數(shù)據(jù)的寫(xiě)入測(cè)試，這三種不同類(lèi)型的數(shù)據(jù)的寫(xiě)入測(cè)試分別為結(jié)構(gòu)化數(shù)據(jù)寫(xiě)入測(cè)試、非結(jié)構(gòu)化數(shù)據(jù)寫(xiě)入測(cè)試和半結(jié)構(gòu)化數(shù)據(jù)寫(xiě)入。

1.1.1)結(jié)構(gòu)化數(shù)據(jù)寫(xiě)入測(cè)試

在Oracle數(shù)據(jù)庫(kù)中模擬生成如表1中的9個(gè)數(shù)據(jù)量級(jí)別的結(jié)構(gòu)化的配用電數(shù)據(jù)表，將9個(gè)數(shù)據(jù)量級(jí)別分別從Oracle平臺(tái)導(dǎo)入到CDH平臺(tái)、TDH平臺(tái)、HDP平臺(tái)和Oracle平臺(tái)，獲取CDH平臺(tái)、TDH平臺(tái)、HDP平臺(tái)和Oracle平臺(tái)在9個(gè)數(shù)據(jù)量級(jí)別下的導(dǎo)入時(shí)間(單位為秒)、單位時(shí)間存儲(chǔ)的數(shù)據(jù)記錄條數(shù)(單位為條數(shù)/秒)、單位時(shí)間存儲(chǔ)的數(shù)據(jù)大小(單位為MB/秒)、CPU利用率、磁盤(pán)IO接口寫(xiě)入速度(單位為KB/秒)和內(nèi)存使用率，可以將這些參量分別繪制成圖表，橫坐標(biāo)為數(shù)據(jù)量級(jí)，縱坐標(biāo)為對(duì)應(yīng)的參量值。

其中，CDH平臺(tái)、TDH平臺(tái)、HDP平臺(tái)和Oracle平臺(tái)在9個(gè)數(shù)據(jù)量級(jí)別下的導(dǎo)入時(shí)間等于對(duì)應(yīng)的導(dǎo)入開(kāi)始時(shí)間與對(duì)應(yīng)的導(dǎo)入結(jié)束時(shí)間的差值；

CDH平臺(tái)、TDH平臺(tái)、HDP平臺(tái)和Oracle平臺(tái)在9個(gè)數(shù)據(jù)量級(jí)別下的單 位時(shí)間存儲(chǔ)的數(shù)據(jù)記錄條數(shù)等于對(duì)應(yīng)的數(shù)據(jù)記錄總條數(shù)與對(duì)應(yīng)的導(dǎo)入時(shí)間的比值；

CDH平臺(tái)、TDH平臺(tái)、HDP平臺(tái)和Oracle平臺(tái)在9個(gè)數(shù)據(jù)量級(jí)別下的單位時(shí)間存儲(chǔ)的數(shù)據(jù)大小等于對(duì)應(yīng)的數(shù)據(jù)總大小與對(duì)應(yīng)的導(dǎo)入時(shí)間的比值。

在將9個(gè)數(shù)據(jù)量級(jí)別分別導(dǎo)入到CDH平臺(tái)、TDH平臺(tái)、HDP平臺(tái)和Oracle平臺(tái)的過(guò)程中，分別記錄CDH平臺(tái)、TDH平臺(tái)、HDP平臺(tái)和Oracle平臺(tái)在9個(gè)數(shù)據(jù)量級(jí)別下的導(dǎo)入開(kāi)始時(shí)間、導(dǎo)入結(jié)束時(shí)間和服務(wù)器磁盤(pán)IO、CPU、內(nèi)存消耗情況。

測(cè)試結(jié)果表明：一)對(duì)于導(dǎo)入時(shí)間，隨著數(shù)據(jù)量級(jí)的增大，各大數(shù)據(jù)平臺(tái)導(dǎo)入時(shí)間也相應(yīng)的隨著增大。在各大數(shù)據(jù)平臺(tái)中分別導(dǎo)入小于1億數(shù)量級(jí)的結(jié)構(gòu)化的配用電數(shù)據(jù)時(shí)，導(dǎo)入時(shí)間相差不大，但是當(dāng)數(shù)據(jù)量級(jí)達(dá)到7億以后，在Oracle平臺(tái)中導(dǎo)入數(shù)據(jù)到Oracle平臺(tái)的時(shí)間要明顯要長(zhǎng)很多，而CDH、TDH、HDP三個(gè)平臺(tái)導(dǎo)入的時(shí)間相差不大。

二)對(duì)于單位時(shí)間存儲(chǔ)的數(shù)據(jù)記錄條數(shù)，當(dāng)數(shù)據(jù)量級(jí)在1000萬(wàn)以?xún)?nèi)時(shí)，各大數(shù)平臺(tái)導(dǎo)入數(shù)據(jù)時(shí)曲線(xiàn)比較緩和，但隨著數(shù)據(jù)量級(jí)的增大，當(dāng)數(shù)據(jù)量級(jí)在1000萬(wàn)到1億時(shí)，各大平臺(tái)單位時(shí)間存儲(chǔ)的數(shù)據(jù)明顯增大；當(dāng)數(shù)據(jù)量級(jí)在達(dá)到7億到30億時(shí)，隨著數(shù)據(jù)量級(jí)進(jìn)一步增大，Oracle平臺(tái)單位時(shí)間存儲(chǔ)的數(shù)據(jù)有明顯回落趨勢(shì)，而其它三個(gè)平臺(tái)單位時(shí)間存儲(chǔ)的數(shù)據(jù)基本變化不大。

三)對(duì)于單位時(shí)間存儲(chǔ)的數(shù)據(jù)量值，當(dāng)數(shù)據(jù)量級(jí)在5000萬(wàn)以?xún)?nèi)時(shí)，各大數(shù)平臺(tái)導(dǎo)入數(shù)據(jù)時(shí)趨勢(shì)比較緩和，但隨著數(shù)據(jù)量級(jí)的增大，當(dāng)數(shù)據(jù)量級(jí)在5000萬(wàn)到1億時(shí)，oracle平臺(tái)單位時(shí)間存儲(chǔ)的數(shù)據(jù)量值明顯增大，而其它三個(gè)平臺(tái)單位時(shí)間存儲(chǔ)大小的數(shù)據(jù)量值也隨著緩緩增大；當(dāng)數(shù)據(jù)量級(jí)在達(dá)到7億時(shí)，隨著數(shù)據(jù)量級(jí)進(jìn)一步增大，Oracle平臺(tái)單位時(shí)間存儲(chǔ)的數(shù)據(jù)量值明顯回落，而其它三個(gè)平臺(tái)單位時(shí)間存儲(chǔ)的數(shù)據(jù)量值基本不變；當(dāng)數(shù)據(jù)量級(jí)大于7億時(shí)，各大數(shù)據(jù)平臺(tái)單位時(shí)間存儲(chǔ)數(shù)據(jù)大小基本不變。

四)對(duì)于CPU利用率的圖表，在各大數(shù)據(jù)平臺(tái)中隨著數(shù)據(jù)集的增大，服務(wù)結(jié)點(diǎn)CPU利用率基本不變，數(shù)據(jù)節(jié)點(diǎn)CPU利用率隨著增大，但Oracle平臺(tái)CPU利用率要比其它三個(gè)平臺(tái)高出很多，而其它三個(gè)平臺(tái)CPU利用率相差不大。

五)對(duì)于磁盤(pán)IO接口寫(xiě)入速度，在各大數(shù)據(jù)平臺(tái)中隨著數(shù)據(jù)集增大，各個(gè)平臺(tái)磁盤(pán)IO接口寫(xiě)入速度明顯提高。在數(shù)據(jù)集200W以下時(shí)磁盤(pán)IO接口寫(xiě)入速度相差不大；當(dāng)數(shù)據(jù)集500萬(wàn)到1000萬(wàn)時(shí)，Oracle平臺(tái)磁盤(pán)IO接口寫(xiě)入速度明顯高于其它三個(gè)平臺(tái)，而其它平臺(tái)的磁盤(pán)IO接口寫(xiě)入速度緩慢；當(dāng)數(shù)據(jù)集5000萬(wàn)以上時(shí)，各平臺(tái)IO讀寫(xiě)速度大幅度提高，而Oracle平臺(tái)磁盤(pán)IO接口寫(xiě)入速度有明顯的回落，在數(shù)據(jù)集1億時(shí)其他三個(gè)平臺(tái)的磁盤(pán)IO接口寫(xiě)入速度變化非常緩慢。

六)對(duì)于內(nèi)存使用率，在各大數(shù)據(jù)平臺(tái)中隨著數(shù)據(jù)集的增大，各平臺(tái)內(nèi)存使用率變化緩慢，但是Oracle平臺(tái)導(dǎo)入時(shí)內(nèi)存使用率明顯小于其它三個(gè)平臺(tái)。

小結(jié)：對(duì)CDH、TDH、HDP和Oracle平臺(tái)在寫(xiě)入數(shù)據(jù)指標(biāo)測(cè)試結(jié)果表明：

1、都采用hadoop為生態(tài)的大數(shù)據(jù)平臺(tái)在1億級(jí)數(shù)據(jù)量之前，比Oralce的寫(xiě)入性能比較大的差距；1億數(shù)據(jù)量后，大數(shù)據(jù)的優(yōu)勢(shì)才得體現(xiàn)；

2、大數(shù)據(jù)平臺(tái)各服務(wù)節(jié)點(diǎn)的CPU利用率相對(duì)比較低，而Oracle的ISCSI節(jié)點(diǎn)服務(wù)器CPU利用率相對(duì)比較高；

3、大數(shù)據(jù)平臺(tái)各服務(wù)節(jié)點(diǎn)的磁盤(pán)IO在1億數(shù)據(jù)量之后，IO的速度快慢取決于硬件的性能；

4、大數(shù)據(jù)平臺(tái)的內(nèi)存基本上被大數(shù)據(jù)的服務(wù)全部占用，無(wú)法在做其他開(kāi)銷(xiāo)。

1.1.2)非結(jié)構(gòu)化數(shù)據(jù)寫(xiě)入測(cè)試和半結(jié)構(gòu)化數(shù)據(jù)寫(xiě)入測(cè)試；

非結(jié)構(gòu)化數(shù)據(jù)寫(xiě)入測(cè)試和半結(jié)構(gòu)化數(shù)據(jù)寫(xiě)入測(cè)試均與結(jié)構(gòu)化數(shù)據(jù)寫(xiě)入測(cè)試是相似的，只是配用電數(shù)據(jù)表的類(lèi)型不同，在進(jìn)行非結(jié)構(gòu)化數(shù)據(jù)寫(xiě)入測(cè)試采用的是非結(jié)構(gòu)化(具體為視頻文件)的配用電數(shù)據(jù)表，在進(jìn)行半結(jié)構(gòu)化數(shù)據(jù)寫(xiě)入測(cè)試采用的是半結(jié)構(gòu)化的配用電數(shù)據(jù)表，為節(jié)約篇幅，在此不一一進(jìn)行贅述。

1.2)數(shù)據(jù)讀取測(cè)試

這里，數(shù)據(jù)讀取測(cè)試包括對(duì)三種不同類(lèi)型的數(shù)據(jù)的讀取測(cè)試，這三種不同類(lèi)型的數(shù)據(jù)的讀取測(cè)試分別為結(jié)構(gòu)化數(shù)據(jù)讀取測(cè)試、非結(jié)構(gòu)化數(shù)據(jù)讀取測(cè)試和半結(jié)構(gòu)化數(shù)據(jù)讀取。

1.2.1)結(jié)構(gòu)化數(shù)據(jù)讀取測(cè)試

在Oracle數(shù)據(jù)庫(kù)中模擬生成如表1中的9個(gè)數(shù)據(jù)量級(jí)別的結(jié)構(gòu)化的配用電 數(shù)據(jù)表，將9個(gè)數(shù)據(jù)量級(jí)別分別從CDH平臺(tái)、TDH平臺(tái)、HDP平臺(tái)和Oracle平臺(tái)導(dǎo)入到Oracle平臺(tái)，獲取CDH平臺(tái)、TDH平臺(tái)、HDP平臺(tái)和Oracle平臺(tái)在9個(gè)數(shù)據(jù)量級(jí)別下的導(dǎo)入時(shí)間(單位為秒)、單位時(shí)間存儲(chǔ)的數(shù)據(jù)記錄條數(shù)(單位為條數(shù)/秒)、單位時(shí)間存儲(chǔ)的數(shù)據(jù)大小(單位為MB/秒)、CPU利用率、磁盤(pán)IO導(dǎo)入速度(單位為KB/秒)和內(nèi)存使用率，可以將這些參量分別繪制成圖表，橫坐標(biāo)為數(shù)據(jù)量級(jí)，縱坐標(biāo)為對(duì)應(yīng)的參量值。

其中，CDH平臺(tái)、TDH平臺(tái)、HDP平臺(tái)和Oracle平臺(tái)在9個(gè)數(shù)據(jù)量級(jí)別下的導(dǎo)入時(shí)間等于對(duì)應(yīng)的導(dǎo)入開(kāi)始時(shí)間與對(duì)應(yīng)的導(dǎo)入結(jié)束時(shí)間的差值；

CDH平臺(tái)、TDH平臺(tái)、HDP平臺(tái)和Oracle平臺(tái)在9個(gè)數(shù)據(jù)量級(jí)別下的單位時(shí)間存儲(chǔ)的數(shù)據(jù)記錄條數(shù)等于對(duì)應(yīng)的數(shù)據(jù)記錄總條數(shù)與對(duì)應(yīng)的導(dǎo)入時(shí)間的比值；

CDH平臺(tái)、TDH平臺(tái)、HDP平臺(tái)和Oracle平臺(tái)在9個(gè)數(shù)據(jù)量級(jí)別下的單位時(shí)間存儲(chǔ)的數(shù)據(jù)大小等于對(duì)應(yīng)的數(shù)據(jù)總大小與對(duì)應(yīng)的導(dǎo)入時(shí)間的比值。

在將9個(gè)數(shù)據(jù)量級(jí)別分別從Oracle平臺(tái)導(dǎo)入到CDH平臺(tái)、TDH平臺(tái)、HDP平臺(tái)和Oracle平臺(tái)的過(guò)程中，分別記錄CDH平臺(tái)、TDH平臺(tái)、HDP平臺(tái)和Oracle平臺(tái)在9個(gè)數(shù)據(jù)量級(jí)別下的導(dǎo)入開(kāi)始時(shí)間、導(dǎo)入結(jié)束時(shí)間和服務(wù)器磁盤(pán)IO、CPU、內(nèi)存消耗情況。

測(cè)試結(jié)果表明：一)對(duì)于導(dǎo)入時(shí)間，隨著數(shù)據(jù)量級(jí)的增大，從各大數(shù)據(jù)平臺(tái)導(dǎo)入到Oracle平臺(tái)時(shí)間也相應(yīng)的隨著增大。在各大數(shù)據(jù)平臺(tái)中導(dǎo)入小于1億數(shù)量集時(shí)發(fā)現(xiàn)導(dǎo)入的時(shí)間相差不大，但是當(dāng)數(shù)據(jù)量達(dá)到7億以后，在Oracle平臺(tái)中導(dǎo)入數(shù)據(jù)到Oracle平臺(tái)的時(shí)間有明顯回落，而CDH、TDH、HDP三個(gè)平臺(tái)導(dǎo)入的時(shí)間相差不大。

二)對(duì)于單位時(shí)間存儲(chǔ)的數(shù)據(jù)記錄條數(shù)，隨著各大數(shù)平臺(tái)數(shù)據(jù)導(dǎo)入Oracle平臺(tái)時(shí)，不同量級(jí)的單位時(shí)間存儲(chǔ)的數(shù)據(jù)記錄數(shù)明顯提高，由于Oracle平臺(tái)占用時(shí)間存儲(chǔ)比較大，其它各平臺(tái)時(shí)間存儲(chǔ)體現(xiàn)不明顯，但是當(dāng)數(shù)據(jù)量級(jí)大于7億時(shí)，各大數(shù)據(jù)平臺(tái)單位時(shí)間存儲(chǔ)數(shù)據(jù)基本不變。

三)對(duì)于單位時(shí)間存儲(chǔ)的數(shù)據(jù)量值，數(shù)據(jù)量級(jí)在1000萬(wàn)以?xún)?nèi)時(shí)，各大數(shù)平臺(tái)導(dǎo)入數(shù)據(jù)時(shí)曲線(xiàn)比較緩和，但隨著數(shù)據(jù)量級(jí)的增大，當(dāng)數(shù)據(jù)量級(jí)在1000萬(wàn)到 1億時(shí)，oracle平臺(tái)單位時(shí)間存儲(chǔ)的數(shù)據(jù)大小明顯增大，而其它三個(gè)平臺(tái)單位時(shí)間存儲(chǔ)的數(shù)據(jù)大小也隨著緩緩增大；當(dāng)數(shù)據(jù)量級(jí)在達(dá)到7億時(shí)，隨著數(shù)據(jù)量級(jí)進(jìn)一步增大，Oracle平臺(tái)單位時(shí)間存儲(chǔ)的數(shù)據(jù)大小明顯回落趨勢(shì)，而其它三個(gè)平臺(tái)單位時(shí)間存儲(chǔ)的數(shù)據(jù)大小基本不變；當(dāng)數(shù)據(jù)量級(jí)大于7億時(shí)，各大數(shù)據(jù)平臺(tái)單位時(shí)間存儲(chǔ)數(shù)據(jù)大小基本不變。

四)對(duì)于CPU利用率的圖表，在各大數(shù)據(jù)平臺(tái)中隨著數(shù)據(jù)集的增大，服務(wù)結(jié)點(diǎn)CPU利用率基本不變，數(shù)據(jù)節(jié)點(diǎn)CPU利用率隨著增大，但Oracle平臺(tái)CPU利用率要比其它三個(gè)平臺(tái)有所提高，而其它三個(gè)平臺(tái)CPU利用率相差不大。

五)對(duì)于磁盤(pán)IO接口寫(xiě)入速度，在各大數(shù)據(jù)平臺(tái)中隨著數(shù)據(jù)集增大，各個(gè)平臺(tái)磁盤(pán)IO讀取速度明顯提高。在數(shù)據(jù)集200W以下時(shí)磁盤(pán)IO讀取速度相差不大；當(dāng)數(shù)據(jù)集500萬(wàn)到1000萬(wàn)時(shí)，Oracle平臺(tái)磁盤(pán)IO接口寫(xiě)入速度明顯高于其它三個(gè)平臺(tái)，而其它平臺(tái)的磁盤(pán)IO讀取速度平穩(wěn)；當(dāng)數(shù)據(jù)集5000萬(wàn)以上時(shí)，各平臺(tái)IO讀寫(xiě)速度大幅度提高，而Oracle平臺(tái)磁盤(pán)IO讀取速度有明顯的回落，在數(shù)據(jù)集1億時(shí)其他三個(gè)平臺(tái)的磁盤(pán)IO讀寫(xiě)速度大幅度提高。

六)對(duì)于內(nèi)存使用率，在各大數(shù)據(jù)平臺(tái)中隨著數(shù)據(jù)集的增大，各平臺(tái)內(nèi)存使用率變化緩慢，但是Oracle平臺(tái)導(dǎo)入時(shí)內(nèi)存使用率明顯低于其它三個(gè)平臺(tái)。

小結(jié)：對(duì)CDH、TDH、HDP和Oracle平臺(tái)結(jié)構(gòu)化數(shù)據(jù)導(dǎo)入Oracle指標(biāo)測(cè)試結(jié)果表明：

1、從3個(gè)大數(shù)據(jù)平臺(tái)導(dǎo)出的數(shù)據(jù)在整個(gè)測(cè)試過(guò)程中始終比Oracle導(dǎo)出時(shí)間上都比較慢，分析原因主要是3個(gè)大數(shù)據(jù)平臺(tái)都要轉(zhuǎn)化到HDFS，然后再能導(dǎo)如Oracle平臺(tái)，而Oralce是直接導(dǎo)入另外一個(gè)Oracle，因此Oracle比3個(gè)大數(shù)據(jù)平臺(tái)在此指標(biāo)上性能優(yōu)越；

2、內(nèi)存和CPU利用率，跟之前的性能測(cè)試趨勢(shì)是一致的，只是磁盤(pán)IO讀寫(xiě)Oracle在500萬(wàn)數(shù)據(jù)的時(shí)候突然增加，然后逐步減少。

1.1.2)非結(jié)構(gòu)化數(shù)據(jù)讀取測(cè)試和半結(jié)構(gòu)化數(shù)據(jù)讀取測(cè)試；

非結(jié)構(gòu)化數(shù)據(jù)讀取測(cè)試和半結(jié)構(gòu)化數(shù)據(jù)讀取測(cè)試均與結(jié)構(gòu)化數(shù)據(jù)讀取測(cè)試是相似的，只是配用電數(shù)據(jù)表的類(lèi)型不同，在進(jìn)行非結(jié)構(gòu)化數(shù)據(jù)讀取測(cè)試采用的是非結(jié)構(gòu)化(具體為視頻文件)的配用電數(shù)據(jù)表，在進(jìn)行半結(jié)構(gòu)化數(shù)據(jù)讀取測(cè)試 采用的是半結(jié)構(gòu)化的配用電數(shù)據(jù)表，為節(jié)約篇幅，在此不一一進(jìn)行贅述。

1.3)數(shù)據(jù)查詢(xún)測(cè)試

在CDH平臺(tái)、TDH平臺(tái)、HDP平臺(tái)和Oracle平臺(tái)分別模擬在如上的9個(gè)測(cè)試數(shù)據(jù)級(jí)別的配用電數(shù)據(jù)表中分別查詢(xún)指定對(duì)象，例如，查詢(xún)2月份用戶(hù)用電類(lèi)型的電費(fèi)情況，驗(yàn)證大數(shù)據(jù)平臺(tái)對(duì)查詢(xún)數(shù)據(jù)的執(zhí)行性能。記錄CDH平臺(tái)、TDH平臺(tái)、HDP平臺(tái)和Oracle平臺(tái)在各個(gè)測(cè)試數(shù)據(jù)級(jí)別的查詢(xún)時(shí)間，并以每5秒為間隔，記錄每個(gè)節(jié)點(diǎn)的CPU利用率、磁盤(pán)IO接口寫(xiě)入速度、內(nèi)存使用率。

測(cè)試結(jié)果表明：對(duì)于查詢(xún)時(shí)間，隨著數(shù)據(jù)量級(jí)的增大，各平臺(tái)查詢(xún)相應(yīng)的時(shí)間也隨著增大。在各大數(shù)據(jù)平臺(tái)中分別查詢(xún)小于1億數(shù)量級(jí)時(shí)發(fā)現(xiàn)時(shí)間相差不大，但是當(dāng)數(shù)據(jù)量級(jí)達(dá)到7億以后時(shí)，在Oracle平臺(tái)中查詢(xún)數(shù)據(jù)到Oracle平臺(tái)的時(shí)間大幅度提高，而CDH、TDH、HDP三個(gè)平臺(tái)查詢(xún)時(shí)間相差不大。

根據(jù)所記錄的查詢(xún)時(shí)間生成從各大數(shù)據(jù)平臺(tái)查詢(xún)2月份用戶(hù)用電類(lèi)型的電費(fèi)情況，不同量級(jí)的單位時(shí)間存儲(chǔ)的數(shù)據(jù)記錄(條數(shù)/秒)圖表，從圖中可看出，隨著各大數(shù)平臺(tái)數(shù)據(jù)集增大，在查詢(xún)操作時(shí)，不同量級(jí)的單位時(shí)間存儲(chǔ)的數(shù)據(jù)記錄數(shù)明顯提高，但是Oracle平臺(tái)占用時(shí)間存儲(chǔ)記錄數(shù)比較平穩(wěn)，而其它各平臺(tái)時(shí)間存儲(chǔ)處于上升趨勢(shì)。

根據(jù)所記錄的查詢(xún)時(shí)間生成從各大數(shù)據(jù)平臺(tái)查詢(xún)2月份用戶(hù)用電類(lèi)型的電費(fèi)情況，不同量級(jí)的單位時(shí)間存儲(chǔ)的數(shù)據(jù)大小(MB/秒)圖表，從圖中可看出，隨著各大數(shù)平臺(tái)數(shù)據(jù)集增大，在查詢(xún)操作時(shí)，不同量級(jí)的單位時(shí)間存儲(chǔ)數(shù)據(jù)大小明顯提高，由于Oracle平臺(tái)占用時(shí)間存儲(chǔ)數(shù)據(jù)大小比較平穩(wěn)，而其它各平臺(tái)時(shí)間存儲(chǔ)數(shù)據(jù)大小處于上升趨勢(shì)。

根據(jù)所記錄的CPU利用率生成CPU利用率圖表，從CPU利用率圖表中可看出，在各大數(shù)據(jù)平臺(tái)中隨著數(shù)據(jù)集的增大，查詢(xún)操作時(shí)CPU利用率隨著增大，但Oracle平臺(tái)CPU利用率要比其它三個(gè)平臺(tái)高出許多，而其它三個(gè)平臺(tái)數(shù)據(jù)集大于7億時(shí)CPU利用率相差不大。

根據(jù)所記錄的磁盤(pán)IO接口寫(xiě)入速度生成磁盤(pán)IO接口寫(xiě)入速度(KB/S)圖表，從該圖表中可看出，在各大數(shù)據(jù)平臺(tái)中隨著數(shù)據(jù)集增大，查詢(xún)操作對(duì)各個(gè)平臺(tái)磁盤(pán)IO讀取速度明顯提高。在查詢(xún)500W以下數(shù)據(jù)集時(shí)磁盤(pán)IO讀取速度 相差不大；當(dāng)查詢(xún)1000萬(wàn)到5000萬(wàn)數(shù)據(jù)集時(shí)，各平臺(tái)的磁盤(pán)IO讀取速度增幅不大；當(dāng)查詢(xún)1億數(shù)據(jù)集時(shí)，各平臺(tái)IO讀寫(xiě)速度大幅度提高，而Oracle平臺(tái)磁盤(pán)IO讀取速度有明顯的回落，在查詢(xún)30億數(shù)據(jù)集時(shí)各平臺(tái)的磁盤(pán)IO讀取速度變化非常大。

根據(jù)所記錄的內(nèi)存使用率生成內(nèi)存使用率圖表，從該圖表中可看出，在各大數(shù)據(jù)平臺(tái)中隨著查詢(xún)數(shù)據(jù)集的增大，各平臺(tái)內(nèi)存使用率變化緩慢，但是Oracle平臺(tái)內(nèi)存使用率明顯小于其它三個(gè)平臺(tái)。

小結(jié)：對(duì)CDH、TDH、HDP和Oracle平臺(tái)數(shù)據(jù)查詢(xún)指標(biāo)測(cè)試結(jié)果表明：

1、3個(gè)大數(shù)據(jù)平臺(tái)對(duì)查詢(xún)的性能相差不遠(yuǎn)，其中CDH稍微比TDH和HDP強(qiáng)一點(diǎn)點(diǎn)，Oracle在小于1億數(shù)據(jù)量級(jí)的查詢(xún)之中比大數(shù)據(jù)結(jié)構(gòu)的平臺(tái)好，之后則處理時(shí)間變長(zhǎng)；

2、大數(shù)據(jù)平臺(tái)各服務(wù)節(jié)點(diǎn)的CPU利用率相對(duì)比較低，而Oracle的ISCSI節(jié)點(diǎn)服務(wù)器CPU利用率相對(duì)比較高；

3、大數(shù)據(jù)平臺(tái)各服務(wù)節(jié)點(diǎn)的磁盤(pán)IO在1億數(shù)據(jù)量之后，IO的速度快慢取決于硬件的性能；

4、大數(shù)據(jù)平臺(tái)的內(nèi)存基本上被大數(shù)據(jù)的服務(wù)全部占用，無(wú)法在做其他開(kāi)銷(xiāo)。

1.4)數(shù)據(jù)排序測(cè)試

在CDH平臺(tái)、TDH平臺(tái)、HDP平臺(tái)和Oracle平臺(tái)分別模擬在如上的9個(gè)測(cè)試數(shù)據(jù)級(jí)別的配用電數(shù)據(jù)表中取出指定數(shù)目(例如20條)數(shù)據(jù)，并對(duì)所取出的數(shù)據(jù)進(jìn)行排序查詢(xún)(例如降序查詢(xún))，記錄CDH平臺(tái)、TDH平臺(tái)、HDP平臺(tái)和Oracle平臺(tái)在各個(gè)測(cè)試數(shù)據(jù)級(jí)別的查詢(xún)執(zhí)行時(shí)間、磁盤(pán)IO、CPU、內(nèi)存消耗情況。

以下以從各大數(shù)據(jù)平臺(tái)取出100條數(shù)據(jù)做降序排序到Oracle為例說(shuō)明測(cè)試結(jié)果。

將從各大數(shù)據(jù)平臺(tái)取出100條數(shù)據(jù)做降序排序到Oracle的查詢(xún)執(zhí)行時(shí)間生成圖表，由生成的圖表可以看出隨著數(shù)據(jù)量級(jí)的增大，各各大數(shù)據(jù)平臺(tái)對(duì)排序操作相應(yīng)的時(shí)間也隨著增大。在各大數(shù)據(jù)平臺(tái)中在排序小于1億數(shù)量量級(jí)時(shí)發(fā)現(xiàn)排序的時(shí)間相差不大，但是當(dāng)數(shù)據(jù)量級(jí)達(dá)到7億以后，在Oracle平臺(tái)中排序 數(shù)據(jù)的時(shí)間有大幅度提高，而CDH、TDH、HDP三個(gè)平臺(tái)排序時(shí)間相差不大。

將從各大數(shù)據(jù)平臺(tái)取出100條數(shù)據(jù)做降序排序到Oracle的單位時(shí)間存儲(chǔ)的數(shù)據(jù)記錄(條數(shù)/秒)生成圖表，由生成的圖表可以看出，隨著各大數(shù)平臺(tái)取出100條數(shù)據(jù)做降序查詢(xún)時(shí)，不同量級(jí)的單位時(shí)間存儲(chǔ)的數(shù)據(jù)記錄數(shù)明顯提高，由于Oracle平臺(tái)占用時(shí)間存儲(chǔ)比較小，其它各平臺(tái)時(shí)間存儲(chǔ)處于上升趨勢(shì)。

將從各大數(shù)據(jù)平臺(tái)取出100條數(shù)據(jù)做降序排序到Oracle的單位時(shí)間存儲(chǔ)的數(shù)據(jù)大小(MB/秒)生成圖表，由生成的圖表可以看出，當(dāng)數(shù)據(jù)量級(jí)在500萬(wàn)以?xún)?nèi)時(shí)，在Oracle平臺(tái)排序數(shù)據(jù)時(shí)曲線(xiàn)波動(dòng)大，但隨著數(shù)據(jù)量級(jí)的增大，在500萬(wàn)到30億時(shí)曲線(xiàn)波動(dòng)比較平穩(wěn)，而其他三個(gè)平臺(tái)單位時(shí)間存儲(chǔ)的數(shù)據(jù)大小也隨著緩緩增大；當(dāng)數(shù)據(jù)量級(jí)在達(dá)到15億時(shí)，隨著數(shù)據(jù)量級(jí)進(jìn)一步提高，Oracle平臺(tái)單位時(shí)間存儲(chǔ)數(shù)據(jù)大小有經(jīng)微的回落。

將從各大數(shù)據(jù)平臺(tái)取出100條數(shù)據(jù)做降序排序到Oracle的CPU利用率生成圖表，由生成的圖表可以看出，在各大數(shù)據(jù)平臺(tái)中隨著排序數(shù)據(jù)集的增大，CPU利用率隨著增大，但Oracle平臺(tái)CPU利用率要比其它三個(gè)平臺(tái)有所提高，而其它三個(gè)平臺(tái)CPU利用率相差不大。

將從各大數(shù)據(jù)平臺(tái)取出100條數(shù)據(jù)做降序排序到Oracle的磁盤(pán)IO接口寫(xiě)入速度(KB/S)生成圖表，由生成的圖表可以看出，在各大數(shù)據(jù)平臺(tái)中隨著數(shù)據(jù)集增大，排序操作對(duì)各個(gè)平臺(tái)磁盤(pán)IO讀取速度明顯提高。在查詢(xún)500W以下數(shù)據(jù)集時(shí)磁盤(pán)IO讀取速度上升不大；當(dāng)查詢(xún)1000萬(wàn)到5000萬(wàn)數(shù)據(jù)集時(shí)，各平臺(tái)的磁盤(pán)IO讀取速度差不多；當(dāng)查詢(xún)1億數(shù)據(jù)集時(shí)，各平臺(tái)IO讀寫(xiě)速度幅度提高，而Oracle平臺(tái)磁盤(pán)IO讀取速度有明顯的回落，在查詢(xún)30億數(shù)據(jù)集時(shí)各平臺(tái)的磁盤(pán)IO讀取速度變化非常大。

將從各大數(shù)據(jù)平臺(tái)取出100條數(shù)據(jù)做降序排序到Oracle的內(nèi)存使用率生成圖表，由生成的圖表可以看出，在各大數(shù)據(jù)平臺(tái)中隨著數(shù)據(jù)集的增大，各平臺(tái)內(nèi)存使用率變化緩慢，但是Oracle平臺(tái)內(nèi)存使用率明顯小于其它三個(gè)平臺(tái)。

小結(jié)：對(duì)CDH、TDH、HDP和Oracle平臺(tái)數(shù)據(jù)排序指標(biāo)測(cè)試結(jié)果表明：跟數(shù)據(jù)查詢(xún)指標(biāo)的結(jié)果是一致的。

1.5)數(shù)據(jù)關(guān)聯(lián)查詢(xún)測(cè)試

首先在在Oracle平臺(tái)中模擬生成如表1中的9個(gè)測(cè)試數(shù)據(jù)量級(jí)別的配用電數(shù)據(jù)表；其次，分別在CDH平臺(tái)、TDH平臺(tái)、HDP平臺(tái)和Oracle平臺(tái)分別在9個(gè)配用電數(shù)據(jù)表中左關(guān)聯(lián)查詢(xún)目標(biāo)數(shù)據(jù)(例如2月份用戶(hù)用電類(lèi)型的電費(fèi)情況)，并記錄CDH平臺(tái)、TDH平臺(tái)、HDP平臺(tái)和Oracle平臺(tái)在各個(gè)測(cè)試數(shù)據(jù)級(jí)別下的查詢(xún)執(zhí)行時(shí)間、磁盤(pán)IO、CPU、內(nèi)存消耗情況。

以下對(duì)從各大數(shù)據(jù)平臺(tái)中的各個(gè)測(cè)試數(shù)據(jù)量級(jí)別的配用電數(shù)據(jù)表中電費(fèi)表和用戶(hù)類(lèi)型表左關(guān)聯(lián)查詢(xún)2月份用戶(hù)用電類(lèi)型的電費(fèi)情況的測(cè)試結(jié)果進(jìn)行說(shuō)明。

由測(cè)試結(jié)果中的查詢(xún)執(zhí)行時(shí)間生成從各大數(shù)據(jù)平臺(tái)中的配用電數(shù)據(jù)表中電費(fèi)表和用戶(hù)類(lèi)型表左關(guān)聯(lián)查詢(xún)2月份用戶(hù)用電類(lèi)型的電費(fèi)情況，不同測(cè)試數(shù)據(jù)量級(jí)別的數(shù)據(jù)到Oracle的時(shí)間(秒)圖表，從圖表中可看出，隨著數(shù)據(jù)量級(jí)的增大，各平臺(tái)關(guān)聯(lián)查詢(xún)相應(yīng)的時(shí)間也隨著增大。在各大數(shù)據(jù)平臺(tái)中關(guān)聯(lián)查詢(xún)小于1億數(shù)量級(jí)時(shí)發(fā)現(xiàn)關(guān)聯(lián)查詢(xún)的時(shí)間相差不大，但是當(dāng)數(shù)據(jù)量級(jí)達(dá)到7億以后，在Oracle平臺(tái)中關(guān)聯(lián)查詢(xún)數(shù)據(jù)的時(shí)間有大幅度提高，而CDH、TDH、HDP三個(gè)平臺(tái)關(guān)聯(lián)查詢(xún)時(shí)間相差不大。

根據(jù)測(cè)試結(jié)果中的查詢(xún)執(zhí)行時(shí)間生成從各大數(shù)據(jù)平臺(tái)中的配用電數(shù)據(jù)表中電費(fèi)表和用戶(hù)類(lèi)型表左關(guān)聯(lián)查詢(xún)2月份用戶(hù)用電類(lèi)型的電費(fèi)情況，不同測(cè)試數(shù)據(jù)量級(jí)別的單位時(shí)間存儲(chǔ)的數(shù)據(jù)記錄(條數(shù)/秒)圖表，從圖表中可看出，隨著各大數(shù)平臺(tái)電費(fèi)表和用戶(hù)類(lèi)型表左關(guān)聯(lián)查詢(xún)的數(shù)據(jù)集增大，不同量級(jí)的單位時(shí)間存儲(chǔ)的數(shù)據(jù)記錄數(shù)明顯提高，由于Oracle平臺(tái)占用時(shí)間存儲(chǔ)比較小，其它各平臺(tái)時(shí)間存儲(chǔ)處于上升趨勢(shì)。

根據(jù)測(cè)試結(jié)果中的查詢(xún)執(zhí)行時(shí)間生成從各大數(shù)據(jù)平臺(tái)中的配用電數(shù)據(jù)表中電費(fèi)表和用戶(hù)類(lèi)型表左關(guān)聯(lián)查詢(xún)2月份用戶(hù)用電類(lèi)型的電費(fèi)情況，不同測(cè)試數(shù)據(jù)量級(jí)別的單位時(shí)間存儲(chǔ)的數(shù)據(jù)大小(MB/秒)圖表，從圖表中可看出，當(dāng)數(shù)據(jù)量級(jí)在500萬(wàn)以?xún)?nèi)時(shí)，在Oracle平臺(tái)關(guān)聯(lián)查詢(xún)時(shí)曲線(xiàn)波動(dòng)大，但隨著數(shù)據(jù)量級(jí)的增大，在500萬(wàn)到30億時(shí)曲線(xiàn)波動(dòng)比較平穩(wěn)，而其他三個(gè)平臺(tái)單位時(shí)間存儲(chǔ)的數(shù)據(jù)大小也隨著緩緩增大；當(dāng)數(shù)據(jù)量級(jí)在達(dá)到15億時(shí)，隨著數(shù)據(jù)量級(jí)進(jìn)一步提高，Oracle平臺(tái)單位時(shí)間存儲(chǔ)的數(shù)據(jù)有輕微的回落。

根據(jù)測(cè)試結(jié)果中的CPU利用率生成從各大數(shù)據(jù)平臺(tái)中的配用電數(shù)據(jù)表中電 費(fèi)表和用戶(hù)類(lèi)型表左關(guān)聯(lián)查詢(xún)2月份用戶(hù)用電類(lèi)型的電費(fèi)情況，不同測(cè)試數(shù)據(jù)量級(jí)別的CPU利用率圖表，從圖表中可看出，在各大數(shù)據(jù)平臺(tái)中隨著關(guān)聯(lián)查詢(xún)數(shù)據(jù)集的增大，CPU利用率隨著增大，但Oracle平臺(tái)CPU利用率要比其他三個(gè)平臺(tái)有所提高，而其他三個(gè)平臺(tái)CPU利用率相差不大。

根據(jù)測(cè)試結(jié)果中的磁盤(pán)IO接口寫(xiě)入速度(KB/S)生成從各大數(shù)據(jù)平臺(tái)中的配用電數(shù)據(jù)表中電費(fèi)表和用戶(hù)類(lèi)型表左關(guān)聯(lián)查詢(xún)2月份用戶(hù)用電類(lèi)型的電費(fèi)情況，不同測(cè)試數(shù)據(jù)量級(jí)別的磁盤(pán)IO接口寫(xiě)入速度(KB/S圖表，從圖表中可看出，在各大數(shù)據(jù)平臺(tái)中隨著數(shù)據(jù)集增大，各個(gè)平臺(tái)磁盤(pán)IO讀取速度明顯提高。在數(shù)據(jù)集15億以下時(shí)磁盤(pán)IO讀取速度幅度比較緩和；當(dāng)數(shù)據(jù)集30億時(shí)，Oracle平臺(tái)磁盤(pán)IO讀取速度明顯低于其它三個(gè)平臺(tái)，而其它平臺(tái)的磁盤(pán)IO讀取速度非常大。根據(jù)測(cè)試結(jié)果中的內(nèi)存使用率生成從各大數(shù)據(jù)平臺(tái)中的配用電數(shù)據(jù)表中電費(fèi)表和用戶(hù)類(lèi)型表左關(guān)聯(lián)查詢(xún)2月份用戶(hù)用電類(lèi)型的電費(fèi)情況，不同測(cè)試數(shù)據(jù)量級(jí)別的內(nèi)存使用率圖表，從圖表中可看出，各大數(shù)據(jù)平臺(tái)中隨著數(shù)據(jù)集的增大，各平臺(tái)內(nèi)存使用率變化緩慢，但是Oracle平臺(tái)內(nèi)存使用率明顯小于其它三個(gè)平臺(tái)。

小結(jié)：對(duì)CDH、TDH、HDP和Oracle平臺(tái)數(shù)據(jù)關(guān)聯(lián)指標(biāo)測(cè)試結(jié)果表明：跟數(shù)據(jù)查詢(xún)指標(biāo)的結(jié)果是一致的。

2)可靠性測(cè)試

2.1)存儲(chǔ)節(jié)點(diǎn)引擎測(cè)試

2.1.1)主元數(shù)據(jù)節(jié)點(diǎn)故障測(cè)試

模擬各大數(shù)據(jù)平臺(tái)集群中的主節(jié)點(diǎn)處的大數(shù)據(jù)平臺(tái)故障，驗(yàn)證主節(jié)點(diǎn)處的大數(shù)據(jù)平臺(tái)故障是否影響系統(tǒng)和插件的使用，目的是測(cè)試主節(jié)點(diǎn)處的大數(shù)據(jù)平臺(tái)故障(例如進(jìn)程死掉)是否對(duì)大數(shù)據(jù)平臺(tái)集群有無(wú)影響。

具體地，對(duì)于目標(biāo)數(shù)據(jù)平臺(tái)集群(各大數(shù)據(jù)平臺(tái)集群中任意一個(gè))，在正常啟動(dòng)后，執(zhí)行目錄查看操作查找對(duì)應(yīng)的主元數(shù)據(jù)節(jié)點(diǎn)的進(jìn)程號(hào)，刪除該進(jìn)程號(hào)對(duì)應(yīng)的進(jìn)程后，查看是否可以訪(fǎng)問(wèn)WEB頁(yè)面。

測(cè)試結(jié)果表明，主元數(shù)據(jù)丟失或者出現(xiàn)故障時(shí)，不管是3個(gè)大數(shù)據(jù)平臺(tái)集群或者是Oracle集群平臺(tái)，都會(huì)給系統(tǒng)運(yùn)行造成故障，如果過(guò)回復(fù)主元數(shù)據(jù)后， 業(yè)務(wù)數(shù)據(jù)不會(huì)丟失。

2.1.2)備元數(shù)據(jù)節(jié)點(diǎn)故障測(cè)試

模擬各大數(shù)據(jù)平臺(tái)集群中的備元數(shù)據(jù)節(jié)點(diǎn)的大數(shù)據(jù)平臺(tái)故障，驗(yàn)證備元數(shù)據(jù)節(jié)點(diǎn)處的大數(shù)據(jù)平臺(tái)故障是否影響系統(tǒng)和插件的使用，目的是測(cè)試備元數(shù)據(jù)節(jié)點(diǎn)處的大數(shù)據(jù)平臺(tái)故障(例如硬盤(pán)故障)是否對(duì)大數(shù)據(jù)平臺(tái)集群有無(wú)影響。

2.1.3)存儲(chǔ)節(jié)點(diǎn)故障測(cè)試

模擬各大數(shù)據(jù)平臺(tái)集群中的其中一個(gè)數(shù)據(jù)節(jié)點(diǎn)處的大數(shù)據(jù)平臺(tái)故障，驗(yàn)證數(shù)據(jù)節(jié)點(diǎn)處的大數(shù)據(jù)平臺(tái)故障(例如刪除該節(jié)點(diǎn)處的)是否影響系統(tǒng)和插件的使用，目的是測(cè)試備元數(shù)據(jù)節(jié)點(diǎn)處的大數(shù)據(jù)平臺(tái)故障(例如硬盤(pán)故障)是否對(duì)大數(shù)據(jù)平臺(tái)集群有無(wú)影響。

2.1.4)存儲(chǔ)節(jié)點(diǎn)單磁盤(pán)故障測(cè)試

模擬各大數(shù)據(jù)平臺(tái)集群中的其中一個(gè)數(shù)據(jù)節(jié)點(diǎn)處的硬盤(pán)故障，驗(yàn)證數(shù)據(jù)節(jié)點(diǎn)處的硬盤(pán)故障是否影響系統(tǒng)和插件的使用，目的是測(cè)試各大數(shù)據(jù)平臺(tái)集群中的其中一個(gè)數(shù)據(jù)節(jié)點(diǎn)處的硬盤(pán)故障是否對(duì)大數(shù)據(jù)平臺(tái)集群有無(wú)影響。

測(cè)試結(jié)果表明：大數(shù)據(jù)平臺(tái)集群中任何節(jié)點(diǎn)的硬盤(pán)故障對(duì)數(shù)據(jù)存儲(chǔ)的完整性無(wú)影響

2.1.5)存儲(chǔ)節(jié)點(diǎn)網(wǎng)絡(luò)故障測(cè)試

模擬各大數(shù)據(jù)平臺(tái)集群中的其中一個(gè)數(shù)據(jù)節(jié)點(diǎn)處的網(wǎng)絡(luò)故障(宕機(jī)故障)，驗(yàn)證數(shù)據(jù)節(jié)點(diǎn)處的網(wǎng)絡(luò)故障是否影響系統(tǒng)和插件的使用，目的是測(cè)試各大數(shù)據(jù)平臺(tái)集群中的其中一個(gè)數(shù)據(jù)節(jié)點(diǎn)處的網(wǎng)絡(luò)故障是否對(duì)大數(shù)據(jù)平臺(tái)集群有無(wú)影響。

測(cè)試結(jié)果表明，大數(shù)據(jù)平臺(tái)集群中任何一臺(tái)存儲(chǔ)節(jié)點(diǎn)節(jié)意外宕機(jī)，不會(huì)影響文件系統(tǒng)和hbase的正常使用。

2.2)并行計(jì)算引擎測(cè)試

2.2.1)主作業(yè)調(diào)度節(jié)點(diǎn)故障測(cè)試

模擬各大數(shù)據(jù)平臺(tái)集群中的主作業(yè)調(diào)度節(jié)點(diǎn)故障，驗(yàn)證數(shù)據(jù)節(jié)點(diǎn)處的網(wǎng)絡(luò)故障是否影響調(diào)度系統(tǒng)和hbase的使用，目的是測(cè)試集群中主作業(yè)調(diào)度節(jié)點(diǎn)故障對(duì)數(shù)據(jù)調(diào)試的完整性有無(wú)影響。

測(cè)試結(jié)果表明，各大數(shù)據(jù)平臺(tái)集群調(diào)度主節(jié)點(diǎn)的故障對(duì)數(shù)據(jù)存儲(chǔ)的完整性有影響。

2.2.2)任務(wù)節(jié)點(diǎn)磁盤(pán)故障測(cè)試

模擬各大數(shù)據(jù)平臺(tái)集群中的其中一臺(tái)任務(wù)數(shù)據(jù)節(jié)點(diǎn)硬盤(pán)故障，驗(yàn)證任務(wù)數(shù)據(jù)節(jié)點(diǎn)硬盤(pán)故障是否影響調(diào)度系統(tǒng)和Oozie的使用，目的是各大數(shù)據(jù)平臺(tái)集群中手動(dòng)移除任何其中一臺(tái)Oozie節(jié)點(diǎn)，對(duì)文件系統(tǒng)沒(méi)有無(wú)影響。

測(cè)試結(jié)果表明，各大數(shù)據(jù)平臺(tái)刪除集群Oozie調(diào)度節(jié)點(diǎn)的故障對(duì)數(shù)據(jù)存儲(chǔ)的完整性沒(méi)有影響。

3)可用性測(cè)試

3.1)安裝部署測(cè)試

安裝部署測(cè)試是指對(duì)各大數(shù)據(jù)平臺(tái)安裝容易難度進(jìn)行比較，測(cè)試各大數(shù)據(jù)平臺(tái)安裝插件和版本是否兼容，是否正常使用。各大數(shù)據(jù)平臺(tái)安裝適應(yīng)平臺(tái)，安裝復(fù)雜程序，有無(wú)圖形化，配置復(fù)雜度等信息。3.2)管理界面測(cè)試

模擬測(cè)試各大數(shù)據(jù)平臺(tái)管理界面是否可以訪(fǎng)問(wèn)，文件系統(tǒng)HDFS可否正常使用，各大數(shù)據(jù)平臺(tái)管理界面下查看審計(jì)日志，監(jiān)控分析，模板化管理等內(nèi)容。4)擴(kuò)展和安全測(cè)試

4.1)動(dòng)態(tài)擴(kuò)展測(cè)試

在各大數(shù)據(jù)平臺(tái)集群中分別增加一臺(tái)數(shù)據(jù)節(jié)點(diǎn)，驗(yàn)證是否影響文件系統(tǒng)的使用。

各大數(shù)據(jù)平臺(tái)集群中手動(dòng)增加一臺(tái)數(shù)據(jù)節(jié)點(diǎn)不影響文件系統(tǒng)和hbase數(shù)據(jù)庫(kù)的查看和使用。

4.2)身份認(rèn)證測(cè)試

模擬往正在運(yùn)行的各大集群中密碼進(jìn)行登錄、輸入無(wú)效用戶(hù)信息、添加和刪除用戶(hù)是否可以登錄系統(tǒng)。

4.3)訪(fǎng)問(wèn)控制測(cè)試

在正在運(yùn)行的各目標(biāo)大數(shù)據(jù)平臺(tái)集群中分別使用各種權(quán)限分別登錄系統(tǒng)，驗(yàn)證對(duì)應(yīng)的目標(biāo)大數(shù)據(jù)平臺(tái)集群是否覆蓋系統(tǒng)所有權(quán)限

4.4)審計(jì)測(cè)試

對(duì)正在運(yùn)行的各目標(biāo)大數(shù)據(jù)平臺(tái)集群中分別進(jìn)行非法訪(fǎng)問(wèn)，查看相應(yīng)的日記記錄是否記錄有本次非法訪(fǎng)問(wèn)，查看所記錄的非法訪(fǎng)問(wèn)的記錄時(shí)間、IP地址、用戶(hù)名、操作等信息是否與本次非法訪(fǎng)問(wèn)相一致。

5)算法模型測(cè)試用例

5.1)K-Means聚類(lèi)

具體地，在大數(shù)據(jù)平臺(tái)中模擬生成9個(gè)數(shù)據(jù)量級(jí)別的配用電數(shù)據(jù)表；根據(jù)每個(gè)數(shù)據(jù)量級(jí)別的配用電數(shù)據(jù)表中進(jìn)行K-Means聚類(lèi)測(cè)試；每個(gè)聚類(lèi)執(zhí)行5次以上，記錄執(zhí)行時(shí)間，取平均時(shí)間作為性能測(cè)試的最終結(jié)果；以每5秒為間隔，記錄每個(gè)節(jié)點(diǎn)的磁盤(pán)IO、網(wǎng)絡(luò)的IO、內(nèi)存利用率、CPU使用率。

5.2)Linear Regression分類(lèi)測(cè)試

具體地，在大數(shù)據(jù)平臺(tái)中模擬生成9個(gè)數(shù)據(jù)量級(jí)別的配用電數(shù)據(jù)表，根據(jù)每個(gè)配用電數(shù)據(jù)表的不同字段，例如電費(fèi)字段、行業(yè)編碼字段進(jìn)行LinearRegressionn分類(lèi)測(cè)試記錄執(zhí)行時(shí)間，取平均時(shí)間作為性能測(cè)試的最終結(jié)果；以每5秒為間隔，記錄每個(gè)節(jié)點(diǎn)的磁盤(pán)IO、網(wǎng)絡(luò)的IO、內(nèi)存利用率、CPU使用率。

對(duì)上述幾項(xiàng)的測(cè)試結(jié)果進(jìn)行歸納總結(jié)如下：

(一)性能評(píng)價(jià)

1、對(duì)CDH平臺(tái)、TDH平臺(tái)、HDP平臺(tái)和Oracle平臺(tái)在相同硬件環(huán)境測(cè)試時(shí)，數(shù)據(jù)量在1億(大小在10G)左右時(shí)，Oracle關(guān)系型數(shù)據(jù)庫(kù)(Oracle平臺(tái))的插入、讀寫(xiě)、關(guān)聯(lián)、查詢(xún)的性能比其他3個(gè)大數(shù)據(jù)平臺(tái)優(yōu)越，超過(guò)7億數(shù)據(jù)量(或30G大小)時(shí)，其他大數(shù)據(jù)平臺(tái)的性能比Oracle強(qiáng)很多。在本測(cè)試環(huán)境中，CDH的性能比稍微比TDH、HDP要優(yōu)勝一點(diǎn)；

2、在本測(cè)試環(huán)境中，CDH平臺(tái)、TDH平臺(tái)、HDP平臺(tái)的利用率都比較低，平均利用率都在10％左右以?xún)?nèi)，但是Oracle平臺(tái)的利用率，其中訪(fǎng)問(wèn)節(jié)點(diǎn)服務(wù)器的利用率達(dá)到了70-80％，其他的服務(wù)節(jié)點(diǎn)在7-9％；

3、對(duì)于磁盤(pán)IO的讀寫(xiě)情況，CDH、TDH、HDP3個(gè)大數(shù)據(jù)平臺(tái)，在達(dá)到硬件磁盤(pán)的讀寫(xiě)最大值后趨于平穩(wěn)，但是Oracle的磁盤(pán)IO情況都維持在一個(gè)相對(duì)較低的綜合平均值，而且各數(shù)量級(jí)起伏比較大；

4、對(duì)于測(cè)試的內(nèi)存情況，CDH、TDH、HDP3個(gè)大數(shù)據(jù)平臺(tái)主元數(shù)據(jù)節(jié)點(diǎn) 的內(nèi)存占用率比較低，但是其他數(shù)據(jù)節(jié)點(diǎn)內(nèi)存占用率一直都達(dá)到了95％上。而Oracle的內(nèi)存占用率是起伏不定的，到達(dá)一定峰值后，會(huì)逐步的降低。

(二)可靠性評(píng)價(jià)

1、在本測(cè)試環(huán)境中，CDH、TDH、HDP的主元數(shù)據(jù)節(jié)點(diǎn)出現(xiàn)故障，其系統(tǒng)都無(wú)法正常運(yùn)行，從備元數(shù)據(jù)回復(fù)后，可以正常運(yùn)行，無(wú)數(shù)據(jù)丟失，而Oracle主元數(shù)據(jù)出現(xiàn)故障，也不能正常運(yùn)行，需要從備份文件中恢復(fù)；

2、CDH、TDH、HDP的存儲(chǔ)節(jié)點(diǎn)故障、磁盤(pán)故障、網(wǎng)絡(luò)故障，只要節(jié)點(diǎn)在其配置允許的故障范圍內(nèi)，系統(tǒng)將會(huì)正常運(yùn)行。Oracle的存儲(chǔ)節(jié)點(diǎn)故障，平臺(tái)不能正常運(yùn)行，數(shù)據(jù)可能無(wú)法完全修復(fù)；

3、CDH、TDH、HDP在并行計(jì)算時(shí)，主任務(wù)節(jié)點(diǎn)出現(xiàn)故障，則計(jì)算任務(wù)無(wú)法進(jìn)行正常運(yùn)行，任務(wù)節(jié)點(diǎn)出現(xiàn)故障，其計(jì)算任務(wù)將會(huì)轉(zhuǎn)移到其他任務(wù)節(jié)點(diǎn)。

(三)可用性評(píng)價(jià)

1、CDH、TDH和HDP3個(gè)大數(shù)據(jù)平臺(tái)，安裝都是命令窗口相對(duì)都比較難，只適用于Linux操作平臺(tái)，而Oracle是圖形化安裝界面，安裝配置相對(duì)比較容易

2、CDH、TDH和HDP3個(gè)大數(shù)據(jù)平臺(tái)，都有WEB的管理界面，Oracle也有WEB管理界面，但是比較簡(jiǎn)單。

(四)擴(kuò)展和安全評(píng)價(jià)

1、可擴(kuò)展性方面，4個(gè)平臺(tái)都能進(jìn)行節(jié)點(diǎn)擴(kuò)展，擴(kuò)展后對(duì)數(shù)據(jù)和計(jì)算無(wú)影響；

2、在安全性方面，4個(gè)平臺(tái)都要進(jìn)行身份認(rèn)證、審計(jì)日志記錄，但Oracle的審計(jì)日志記錄是命令分析，而CDH、TDH和HDP是在WEB界面直接查看。

綜上，在選擇數(shù)據(jù)平臺(tái)時(shí)，需要根據(jù)自身硬件配置環(huán)境的情況和業(yè)務(wù)數(shù)據(jù)量的情況進(jìn)行考慮。

實(shí)施例二

根據(jù)上述實(shí)施例中的配用電大數(shù)據(jù)平臺(tái)測(cè)試方法，本發(fā)明還提供一種配用電大數(shù)據(jù)平臺(tái)測(cè)試系統(tǒng)。圖2為本發(fā)明實(shí)施例二的配用電大數(shù)據(jù)平臺(tái)測(cè)試系統(tǒng) 的組成結(jié)構(gòu)示意圖。圖2中示出了本發(fā)明實(shí)施例二的配用電大數(shù)據(jù)平臺(tái)測(cè)試系統(tǒng)的組成結(jié)構(gòu)示意圖。如圖2所示，本實(shí)施例中的配用電大數(shù)據(jù)平臺(tái)測(cè)試系統(tǒng)，包括生成單元201、測(cè)試單元202、第一處理單元203、第二處理單元204和比較分析單元205，其中：

生成單元201，用于模擬生成多個(gè)數(shù)據(jù)量級(jí)別的配用電數(shù)據(jù)表；

測(cè)試單元202，用于根據(jù)各所述配用電數(shù)據(jù)表分別對(duì)目標(biāo)大數(shù)據(jù)平臺(tái)進(jìn)行性能測(cè)試，記錄所述目標(biāo)大數(shù)據(jù)平臺(tái)在各所述數(shù)據(jù)量級(jí)別下的測(cè)試相關(guān)參數(shù)，所述測(cè)試相關(guān)參數(shù)包括開(kāi)始執(zhí)行時(shí)間、結(jié)束執(zhí)行時(shí)間、CPU利用率、磁盤(pán)IO接口寫(xiě)入速度和內(nèi)存使用率；

第一處理單元203，用于根據(jù)各所述開(kāi)始執(zhí)行時(shí)間、各所述結(jié)束執(zhí)行時(shí)間分別確定所述目標(biāo)大數(shù)據(jù)平臺(tái)在各所述數(shù)據(jù)量級(jí)別下的執(zhí)行時(shí)間；

第二處理單元204，用于根據(jù)各所述執(zhí)行時(shí)間、各所述配用電數(shù)據(jù)表中的數(shù)據(jù)條數(shù)和各所述配用電數(shù)據(jù)表的數(shù)據(jù)量值分別確定所述目標(biāo)大數(shù)據(jù)平臺(tái)在各所述數(shù)據(jù)量級(jí)別下的單位時(shí)間執(zhí)行的數(shù)據(jù)條數(shù)和單位時(shí)間執(zhí)行的數(shù)據(jù)量值；

比較分析單元205，用于對(duì)所述目標(biāo)大數(shù)據(jù)平臺(tái)在各所述數(shù)據(jù)量級(jí)別下的所述執(zhí)行時(shí)間、所述單位時(shí)間執(zhí)行的數(shù)據(jù)條數(shù)、所述單位時(shí)間執(zhí)行的數(shù)據(jù)量值、所述CPU利用率、所述磁盤(pán)IO接口寫(xiě)入速度和所述內(nèi)存使用率進(jìn)行比較分析，獲得第一性能測(cè)試結(jié)果。

本發(fā)明實(shí)施例提供的配用電大數(shù)據(jù)平臺(tái)測(cè)試系統(tǒng)，需要指出的是：以上對(duì)于配用電大數(shù)據(jù)平臺(tái)測(cè)試系統(tǒng)的描述，與上述配用電大數(shù)據(jù)平臺(tái)測(cè)試方法的描述是類(lèi)似的，并且具有上述配用電大數(shù)據(jù)平臺(tái)測(cè)試方法的有益效果，為節(jié)約篇幅，不再贅述；因此，以上對(duì)本發(fā)明實(shí)施例提供的配用電大數(shù)據(jù)平臺(tái)測(cè)試系統(tǒng)中未披露的技術(shù)細(xì)節(jié)，請(qǐng)參照上述提供的配用電大數(shù)據(jù)平臺(tái)測(cè)試方法的描述。

以上所述實(shí)施例的各技術(shù)特征可以進(jìn)行任意的組合，為使描述簡(jiǎn)潔，未對(duì)上述實(shí)施例中的各個(gè)技術(shù)特征所有可能的組合都進(jìn)行描述，然而，只要這些技術(shù)特征的組合不存在矛盾，都應(yīng)當(dāng)認(rèn)為是本說(shuō)明書(shū)記載的范圍。

以上所述實(shí)施例僅表達(dá)了本發(fā)明的幾種實(shí)施方式，其描述較為具體和詳細(xì)，但并不能因此而理解為對(duì)發(fā)明專(zhuān)利范圍的限制。應(yīng)當(dāng)指出的是，對(duì)于本領(lǐng)域的 普通技術(shù)人員來(lái)說(shuō)，在不脫離本發(fā)明構(gòu)思的前提下，還可以做出若干變形和改進(jìn)，這些都屬于本發(fā)明的保護(hù)范圍。因此，本發(fā)明專(zhuān)利的保護(hù)范圍應(yīng)以所附權(quán)利要求為準(zhǔn)。