本發(fā)明涉及大數(shù)據(jù)挖掘
技術(shù)領(lǐng)域：
，特別涉及一種運(yùn)維大數(shù)據(jù)分析方法、裝置及系統(tǒng)。
背景技術(shù)：
：目前，我國信息化程度不斷提高，各類數(shù)據(jù)中心如雨后春筍般涌現(xiàn)。相應(yīng)的，it運(yùn)維的數(shù)據(jù)量也成幾何速度上升。一方面，運(yùn)維人員的增長遠(yuǎn)遠(yuǎn)跟不上服務(wù)器、數(shù)據(jù)量的增長；另一方面，公司對于提高it系統(tǒng)穩(wěn)定性，降低成本的需求卻越來越高。這就要求不斷的提高運(yùn)維的自動化水平?，F(xiàn)在市場上和業(yè)界，監(jiān)控、程序部署的自動化產(chǎn)品比較豐富，但是對運(yùn)維數(shù)據(jù)利用不足。由于開發(fā)人員缺乏運(yùn)維經(jīng)驗(yàn)，不了解運(yùn)維數(shù)據(jù)挖掘的算法；而運(yùn)維人員由于時(shí)間和技術(shù)水平的限制，無法將思路產(chǎn)品化，因此現(xiàn)有的對大數(shù)據(jù)的運(yùn)維多局限于人工查看日志、性能圖標(biāo)，這種人工方法效率低且無法覆蓋所有服務(wù)器。此外，大數(shù)據(jù)在各行各業(yè)的應(yīng)用也愈加廣泛，創(chuàng)造出了數(shù)以千億的市場。如何提高運(yùn)維大數(shù)據(jù)的利用效率，從中挖掘到金子，發(fā)現(xiàn)現(xiàn)有it系統(tǒng)中的問題，降低設(shè)備和人員成本，并且對未來做出預(yù)測，成為當(dāng)前it維護(hù)部門的一個(gè)重要問題。技術(shù)實(shí)現(xiàn)要素：本發(fā)明實(shí)施例提供了一種運(yùn)維大數(shù)據(jù)分析方法，比人工方式大大的節(jié)省了人力，提高了運(yùn)維大數(shù)據(jù)的利用效率，同時(shí)避免了可能的遺漏以及維護(hù)人員長期重復(fù)性工作中產(chǎn)生的懈怠，使性能分析、健康評價(jià)等工作切實(shí)的產(chǎn)生了效益。該運(yùn)維大數(shù)據(jù)分析方法包括：從客戶端獲取所需運(yùn)維數(shù)據(jù)；將所述所需運(yùn)維數(shù)據(jù)按鍵值對格式進(jìn)行轉(zhuǎn)換，獲得鍵值對格式的所需運(yùn)維數(shù)據(jù)；按照預(yù)設(shè)格式對所述鍵值對格式的所需運(yùn)維數(shù)據(jù)進(jìn)行封裝處理，獲得封裝后的所需運(yùn)維數(shù)據(jù)；對所述封裝后的所需運(yùn)維數(shù)據(jù)進(jìn)行數(shù)據(jù)挖掘，獲得數(shù)據(jù)挖掘結(jié)果；將所述數(shù)據(jù)挖掘結(jié)果進(jìn)行展示。在一個(gè)實(shí)施例中，所述所需運(yùn)維數(shù)據(jù)包括操作系統(tǒng)層面數(shù)據(jù)、日志記錄數(shù)據(jù)和應(yīng)用接口數(shù)據(jù)；從客戶端獲取所需運(yùn)維數(shù)據(jù)，包括：設(shè)定監(jiān)聽端口，通過監(jiān)聽端口獲取客戶端主動上送的所需運(yùn)維數(shù)據(jù)中的操作系統(tǒng)層面數(shù)據(jù)和日志記錄數(shù)據(jù)；通過應(yīng)用程序接口從客戶端獲取所需運(yùn)維數(shù)據(jù)中的應(yīng)用接口數(shù)據(jù)。在一個(gè)實(shí)施例中，所述操作系統(tǒng)層面數(shù)據(jù)包括cpu使用率、io數(shù)據(jù)讀速度、io數(shù)據(jù)寫速度、服務(wù)端口建立連接數(shù)、網(wǎng)絡(luò)流量；所述日志記錄數(shù)據(jù)包括交易量、交易響應(yīng)時(shí)間、jvm使用率、單次垃圾回收時(shí)長、和與上一次垃圾回收的時(shí)間間隔時(shí)長；所述應(yīng)用接口數(shù)據(jù)包括當(dāng)前數(shù)據(jù)源連接池大小、當(dāng)前webccontainer線程池大小、數(shù)據(jù)源連接池最大值、webccontainer線程池最大值、數(shù)據(jù)源平均和webccontainer線程池活動線程數(shù)。在一個(gè)實(shí)施例中，在按照預(yù)設(shè)格式對所述鍵值對格式的所需運(yùn)維數(shù)據(jù)進(jìn)行封裝處理之前，還包括：將所述鍵值對格式的所需運(yùn)維數(shù)據(jù)進(jìn)行篩選，獲得日志緩存數(shù)據(jù)和數(shù)據(jù)庫緩存數(shù)據(jù)；按照預(yù)設(shè)格式對所述鍵值對格式的所需運(yùn)維數(shù)據(jù)進(jìn)行封裝處理，包括：將所述日志緩存數(shù)據(jù)按照日志緩存所需格式進(jìn)行封裝，將所述數(shù)據(jù)庫緩存數(shù)據(jù)按照數(shù)據(jù)庫緩存所需格式進(jìn)行封裝。在一個(gè)實(shí)施例中，在將所述日志緩存數(shù)據(jù)按照日志緩存所需格式進(jìn)行封裝，將所述數(shù)據(jù)庫緩存數(shù)據(jù)按照數(shù)據(jù)庫緩存所需格式進(jìn)行封裝之后，還包括：將封裝后的日志緩存數(shù)據(jù)記錄到指定的日志文件中，將封裝后的數(shù)據(jù)庫緩存數(shù)據(jù)存入相應(yīng)的數(shù)據(jù)庫表中。在一個(gè)實(shí)施例中，按照預(yù)設(shè)格式對所述鍵值對格式的所需運(yùn)維數(shù)據(jù)進(jìn)行封裝處理，包括：將所述鍵值對格式的所需運(yùn)維數(shù)據(jù)解析為map數(shù)組格式的所需運(yùn)維數(shù)據(jù)；按照預(yù)設(shè)格式對map數(shù)組格式的所需運(yùn)維數(shù)據(jù)進(jìn)行封裝處理。在一個(gè)實(shí)施例中，將所述數(shù)據(jù)挖掘結(jié)果進(jìn)行展示，包括：將所述數(shù)據(jù)挖掘結(jié)果以郵件或excel表的形式進(jìn)行展示。本發(fā)明實(shí)施例提供了一種運(yùn)維大數(shù)據(jù)分析裝置，比人工方式大大的節(jié)省了人力，提高了運(yùn)維大數(shù)據(jù)的利用效率，同時(shí)避免了可能的遺漏以及維護(hù)人員長期重復(fù)性工作中產(chǎn)生的懈怠，使性能分析、健康評價(jià)等工作切實(shí)的產(chǎn)生了效益。該運(yùn)維大數(shù)據(jù)分析裝置包括：數(shù)據(jù)獲取模塊，用于從客戶端獲取所需運(yùn)維數(shù)據(jù)；格式轉(zhuǎn)換模塊，用于將所述所需運(yùn)維數(shù)據(jù)按鍵值對格式進(jìn)行轉(zhuǎn)換，獲得鍵值對格式的所需運(yùn)維數(shù)據(jù)；數(shù)據(jù)封裝模塊，用于按照預(yù)設(shè)格式對所述鍵值對格式的所需運(yùn)維數(shù)據(jù)進(jìn)行封裝處理，獲得封裝后的所需運(yùn)維數(shù)據(jù)；數(shù)據(jù)挖掘模塊，用于對所述封裝后的所需運(yùn)維數(shù)據(jù)進(jìn)行數(shù)據(jù)挖掘，獲得數(shù)據(jù)挖掘結(jié)果；展示模塊，用于將所述數(shù)據(jù)挖掘結(jié)果進(jìn)行展示。在一個(gè)實(shí)施例中，所述所需運(yùn)維數(shù)據(jù)包括操作系統(tǒng)層面數(shù)據(jù)、日志記錄數(shù)據(jù)和應(yīng)用接口數(shù)據(jù)；所述數(shù)據(jù)獲取模塊具體用于：按照如下方式從客戶端獲取所需運(yùn)維數(shù)據(jù)：設(shè)定監(jiān)聽端口，通過監(jiān)聽端口獲取客戶端主動上送的所需運(yùn)維數(shù)據(jù)中的操作系統(tǒng)層面數(shù)據(jù)和日志記錄數(shù)據(jù)；通過應(yīng)用程序接口從客戶端獲取所需運(yùn)維數(shù)據(jù)中的應(yīng)用接口數(shù)據(jù)。在一個(gè)實(shí)施例中，所述操作系統(tǒng)層面數(shù)據(jù)包括cpu使用率、io數(shù)據(jù)讀速度、io數(shù)據(jù)寫速度、服務(wù)端口建立連接數(shù)、網(wǎng)絡(luò)流量；所述日志記錄數(shù)據(jù)包括交易量、交易響應(yīng)時(shí)間、jvm使用率、單次垃圾回收時(shí)長、與上一次垃圾回收的時(shí)間間隔時(shí)長；所述應(yīng)用接口數(shù)據(jù)包括當(dāng)前數(shù)據(jù)源連接池大小、當(dāng)前webccontainer線程池大小、數(shù)據(jù)源連接池最大值、webccontainer線程池最大值、數(shù)據(jù)源平均和webccontainer線程池活動線程數(shù)。在一個(gè)實(shí)施例中，還包括：篩選模塊，用于將所述鍵值對格式的所需運(yùn)維數(shù)據(jù)進(jìn)行篩選，獲得日志緩存數(shù)據(jù)和數(shù)據(jù)庫緩存數(shù)據(jù)；所述數(shù)據(jù)封裝模塊具體用于：將所述日志緩存數(shù)據(jù)按照日志緩存所需格式進(jìn)行封裝，將所述數(shù)據(jù)庫緩存數(shù)據(jù)按照數(shù)據(jù)庫緩存所需格式進(jìn)行封裝。在一個(gè)實(shí)施例中，還包括：記錄存儲模塊，用于將封裝后的日志緩存數(shù)據(jù)記錄到指定的日志文件中，將封裝后的數(shù)據(jù)庫緩存數(shù)據(jù)存入相應(yīng)的數(shù)據(jù)庫表中。在一個(gè)實(shí)施例中，所述數(shù)據(jù)封裝模塊具體用于：將所述所鍵值對格式的所需運(yùn)維數(shù)據(jù)解析為map數(shù)組格式的所需運(yùn)維數(shù)據(jù)；按照預(yù)設(shè)格式對map數(shù)組格式的所需運(yùn)維數(shù)據(jù)進(jìn)行封裝處理。在一個(gè)實(shí)施例中，所述展示模塊具體用于：將所述數(shù)據(jù)挖掘結(jié)果以郵件或excel表的形式進(jìn)行展示。本發(fā)明實(shí)施例還提供了一種運(yùn)維大數(shù)據(jù)分析系統(tǒng)，包括：客戶端和如上所述的運(yùn)維大數(shù)據(jù)分析裝置。在本發(fā)明實(shí)施例中，首先，從客戶端獲取所需運(yùn)維數(shù)據(jù)，然后將所述所需運(yùn)維數(shù)據(jù)按鍵值對格式進(jìn)行轉(zhuǎn)換，獲得鍵值對格式的所需運(yùn)維數(shù)據(jù)；按照預(yù)設(shè)格式對所述鍵值對格式的所需運(yùn)維數(shù)據(jù)進(jìn)行封裝處理，獲得封裝后的所需運(yùn)維數(shù)據(jù)，然后，對所述封裝后的所需運(yùn)維數(shù)據(jù)進(jìn)行數(shù)據(jù)挖掘，獲得數(shù)據(jù)挖掘結(jié)果，最后，將所述數(shù)據(jù)挖掘結(jié)果進(jìn)行展示。該方案取代了傳統(tǒng)的人工查看日志、圖表的方式，自動化判斷數(shù)據(jù)需關(guān)注的要點(diǎn)。相比人工方式來說，本發(fā)明方法大大的節(jié)省了人力，提高了運(yùn)維大數(shù)據(jù)的利用效率，同時(shí)避免了可能的遺漏以及維護(hù)人員長期重復(fù)性工作中產(chǎn)生的懈怠，使性能分析、健康評價(jià)等工作切實(shí)的產(chǎn)生了效益。附圖說明為了更清楚地說明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他的附圖。圖1是本發(fā)明實(shí)施例提供的一種運(yùn)維大數(shù)據(jù)分析方法流程圖；圖2是本發(fā)明實(shí)施例提供的一種運(yùn)維大數(shù)據(jù)分析裝置結(jié)構(gòu)示意圖。具體實(shí)施方式下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍?，F(xiàn)有技術(shù)中，因服務(wù)器系統(tǒng)，以及其產(chǎn)生的運(yùn)維數(shù)據(jù)日益繁多，采用人工查看日志、圖表的方法和現(xiàn)有的工具已無法很好的滿足生產(chǎn)運(yùn)維自動化、精確化的管理要求，特別在問題發(fā)現(xiàn)和成本降低方面。本發(fā)明基于多年運(yùn)維經(jīng)驗(yàn)，提煉最有代表性和前瞻性的數(shù)據(jù)指標(biāo)，將人工數(shù)據(jù)挖掘的思路轉(zhuǎn)換為算法，對運(yùn)維歷史數(shù)據(jù)進(jìn)行統(tǒng)計(jì)和挖掘，并結(jié)合歷史故障信息和性能瓶頸進(jìn)行印證，提出并實(shí)現(xiàn)了一種新的更加自動化、智能化、可擴(kuò)展的運(yùn)維大數(shù)據(jù)挖掘方法、裝置及系統(tǒng)。該應(yīng)用系統(tǒng)能夠有效地預(yù)判生產(chǎn)故障和性能瓶頸，發(fā)現(xiàn)資源浪費(fèi)，提高運(yùn)維人員工作效率，對于銀行業(yè)及其他擁有大量運(yùn)維數(shù)據(jù)、重視it系統(tǒng)質(zhì)量、同時(shí)又想降低成本的企業(yè)，具有重要的現(xiàn)實(shí)意義。在本發(fā)明實(shí)施例中，提供了一種運(yùn)維大數(shù)據(jù)分析方法，如圖1所示，該方法包括：步驟101：從客戶端獲取所需運(yùn)維數(shù)據(jù)；步驟102：將所述所需運(yùn)維數(shù)據(jù)按鍵值對格式進(jìn)行轉(zhuǎn)換，獲得鍵值對格式的所需運(yùn)維數(shù)據(jù)；步驟103：按照預(yù)設(shè)格式對所述鍵值對格式的所需運(yùn)維數(shù)據(jù)進(jìn)行封裝處理，獲得封裝后的所需運(yùn)維數(shù)據(jù)；步驟104：對所述封裝后的所需運(yùn)維數(shù)據(jù)進(jìn)行數(shù)據(jù)挖掘，獲得數(shù)據(jù)挖掘結(jié)果；步驟105：將所述數(shù)據(jù)挖掘結(jié)果進(jìn)行展示。具體實(shí)施時(shí)，從客戶端獲取的數(shù)據(jù)主要包括三種：操作系統(tǒng)層面數(shù)據(jù)、日志記錄數(shù)據(jù)和應(yīng)用接口數(shù)據(jù)。這三種數(shù)據(jù)是通過如下方式獲得的：設(shè)定監(jiān)聽端口，通過監(jiān)聽端口獲取客戶端主動上送的所需運(yùn)維數(shù)據(jù)中的操作系統(tǒng)層面數(shù)據(jù)和日志記錄數(shù)據(jù)；通過應(yīng)用程序接口從客戶端獲取所需運(yùn)維數(shù)據(jù)中的應(yīng)用接口數(shù)據(jù)。然后將所述所需運(yùn)維數(shù)據(jù)按鍵值對格式進(jìn)行轉(zhuǎn)換，獲得鍵值對格式的所需運(yùn)維數(shù)據(jù)。具體的，(1)從客戶端通過系統(tǒng)命令對cpu、連接數(shù)、io、網(wǎng)絡(luò)流量等操作系統(tǒng)層面數(shù)據(jù)獲?。粚?shù)據(jù)初步處理為鍵值對格式(鍵值對就是可以根據(jù)一個(gè)鍵值獲得對應(yīng)的一個(gè)值。例如，一般的面向?qū)ο缶庉嬛?，?jīng)常會使用form.enable＝true或false，就是用一系列api函數(shù)對一個(gè)值的封裝。)，并主動報(bào)送服務(wù)端。其中，表1為獲取的操作系統(tǒng)層面數(shù)據(jù)的關(guān)鍵字段列表：表1(2)在客戶端通過文本處理從日志中提取交易量、交易響應(yīng)時(shí)間、jvm使用率、gc時(shí)間、gc間隔等數(shù)據(jù)。jvm是javavirtualmachine(java虛擬機(jī))的縮寫，jvm是一種用于計(jì)算設(shè)備的規(guī)范，它是一個(gè)虛構(gòu)出來的計(jì)算機(jī)，是通過在實(shí)際的計(jì)算機(jī)上仿真模擬各種計(jì)算機(jī)功能來實(shí)現(xiàn)的。將數(shù)據(jù)處理為鍵值對格式，并主動報(bào)送服務(wù)端。其中，表2為獲取的日志記錄數(shù)據(jù)的關(guān)鍵字段列表：表2(3)由服務(wù)端主動發(fā)起，通過應(yīng)用程序接口，獲取客戶端數(shù)據(jù)(應(yīng)用接口數(shù)據(jù))，客戶端不主動上送數(shù)據(jù)。其中，表3為獲取的應(yīng)用接口數(shù)據(jù)的關(guān)鍵字段列表：表3具體實(shí)施時(shí)，在本方法涉及的應(yīng)用程序啟動時(shí)需要讀取本發(fā)明的配置文件，獲取本發(fā)明各項(xiàng)參數(shù)配置；更新配置文件后，手工將配置文件內(nèi)容加載至內(nèi)存。表4為配置的各項(xiàng)參數(shù)的關(guān)鍵字段列表：表4具體實(shí)施時(shí)，在按照預(yù)設(shè)格式對所述鍵值對格式的所需運(yùn)維數(shù)據(jù)進(jìn)行封裝處理(步驟103)之前，還包括：將所述鍵值對格式的所需運(yùn)維數(shù)據(jù)進(jìn)行篩選，獲得日志緩存數(shù)據(jù)和數(shù)據(jù)庫緩存數(shù)據(jù)。那步驟103具體的就是將所述日志緩存數(shù)據(jù)按照日志緩存所需格式進(jìn)行封裝，將所述數(shù)據(jù)庫緩存數(shù)據(jù)按照數(shù)據(jù)庫緩存所需格式進(jìn)行封裝。在將所述日志緩存數(shù)據(jù)按照日志緩存所需格式進(jìn)行封裝，將所述數(shù)據(jù)庫緩存數(shù)據(jù)按照數(shù)據(jù)庫緩存所需格式進(jìn)行封裝之后，還需要將封裝后的日志緩存數(shù)據(jù)記錄到指定的日志文件中，將封裝后的數(shù)據(jù)庫緩存數(shù)據(jù)存入相應(yīng)的數(shù)據(jù)庫表中，如表5所示。在將日志緩存數(shù)據(jù)記錄到指定的日志文件中時(shí)，還可以將操作過程中的提示性信息、系統(tǒng)輸出記錄寫入磁盤日志文件。表5在將封裝后的日志緩存數(shù)據(jù)記錄到指定的日志文件中，將封裝后的數(shù)據(jù)庫緩存數(shù)據(jù)存入相應(yīng)的數(shù)據(jù)庫表中時(shí)，涉及到數(shù)據(jù)庫操作和文件讀寫操作。數(shù)據(jù)庫操作包括：打開數(shù)據(jù)庫庫，自建數(shù)據(jù)源連接池，實(shí)現(xiàn)數(shù)據(jù)源連接的創(chuàng)建關(guān)閉清理等；文件讀寫操作包括：文件讀寫，重寫了文件類實(shí)現(xiàn)自身的需求；日志格式調(diào)整，重寫日志類增加了時(shí)間戳等自定義內(nèi)容。日志文件可通過tivoli等外部程序進(jìn)行處理。具體實(shí)施時(shí)，若要完成步驟103還需要將所述鍵值對格式的所需運(yùn)維數(shù)據(jù)解析為map數(shù)組格式的所需運(yùn)維數(shù)據(jù)，并進(jìn)行大小寫，長度轉(zhuǎn)換；然后再按照預(yù)設(shè)格式對map數(shù)組格式的所需運(yùn)維數(shù)據(jù)進(jìn)行封裝處理。具體實(shí)施時(shí)，在完成了上述數(shù)據(jù)封裝之后，就需要對封裝之后的數(shù)據(jù)進(jìn)行數(shù)據(jù)挖掘(步驟104)。具體的，可以按照如下幾種方式分別針對不同參數(shù)和指標(biāo)完成數(shù)據(jù)挖掘：(1)某些數(shù)據(jù)具有固定上限。如cpu上限為100，數(shù)據(jù)源上限為數(shù)據(jù)源最大值。對于這些數(shù)據(jù)可以設(shè)定一個(gè)固定窗口(也即是閾值)，按照不同應(yīng)用，取各應(yīng)用主要業(yè)務(wù)時(shí)段平均值，比如，主要業(yè)務(wù)時(shí)段主要包括上午9-11時(shí)，下午14-17時(shí)，部分應(yīng)用服務(wù)器批量時(shí)段等。閾值根據(jù)應(yīng)用實(shí)際情況設(shè)置。(2)某些數(shù)據(jù)不具有固定上限，即閾值不固定。對于這些數(shù)據(jù)可以設(shè)定一個(gè)滑動窗口，適用于需要與之前某一時(shí)段對比的情況。本發(fā)明主要與上周同一時(shí)段進(jìn)行對比，部分時(shí)段與上月同一時(shí)段進(jìn)行對比。比如，針對各類連接數(shù)等一般無上限要求或上限要求太過寬松的指標(biāo)，采用滑動窗口，發(fā)現(xiàn)性能指標(biāo)突然的變化。(3)針對某些數(shù)據(jù)，主要發(fā)現(xiàn)其平均值較低，但高峰期性能出現(xiàn)瓶頸的情況。比如，a)發(fā)現(xiàn)一段時(shí)間內(nèi)出現(xiàn)n(n根據(jù)應(yīng)用不同)次超過閾值(根據(jù)應(yīng)用不同)瞬高的情況；b)發(fā)現(xiàn)高峰期交易有明顯緩慢的情況，基準(zhǔn)閾值為5秒，根據(jù)用戶習(xí)慣的調(diào)查，超過5秒的請求響應(yīng)時(shí)間足以使用戶離開頁面。還可以模擬人的思維，通過設(shè)置復(fù)雜參數(shù)，基于基礎(chǔ)的數(shù)據(jù)挖掘算法(初始算法)，實(shí)現(xiàn)復(fù)雜場景的數(shù)據(jù)挖掘，其中，初始算法和閾值主要根據(jù)經(jīng)驗(yàn)設(shè)置。主要包括：a)通過一段時(shí)間內(nèi)訪問量最高的ip與其他ip對比，以及該ip歷史訪問情況和訪問總量，發(fā)現(xiàn)異常訪問ip。如異常訪問請求時(shí)間明顯延長或大部分為失敗交易，則將問題升級。b)通過垃圾回收后的jvm每次平均值對比，并參照jvm最大值，發(fā)現(xiàn)內(nèi)存泄露。c)通過將采用第(1)、(2)、(3)種方法進(jìn)行數(shù)據(jù)挖掘獲得的數(shù)據(jù)挖掘結(jié)果，以及外部應(yīng)用的連接數(shù)報(bào)警，與對應(yīng)時(shí)間的交易情況進(jìn)行對比，評估閾值設(shè)置的合理性。在獲得了數(shù)據(jù)挖掘結(jié)果之后，發(fā)現(xiàn)目前分析結(jié)果(數(shù)據(jù)挖掘結(jié)果)并沒有準(zhǔn)確反映it系統(tǒng)運(yùn)行情況，可以結(jié)合用戶體驗(yàn)不斷發(fā)現(xiàn)報(bào)警的不合理處，添加個(gè)人定制的參數(shù)，結(jié)合基礎(chǔ)的算法生成個(gè)人定制算法。然后證明效果良好的個(gè)人定制算法加以保存，下次可直接使用。個(gè)人定制的參數(shù)可以包括：a可選挖掘時(shí)段；b可按主機(jī)；c可選應(yīng)用類型；d可指定基礎(chǔ)算法；e可調(diào)整閾值。數(shù)據(jù)挖掘的主要指標(biāo)如表6所示：表6具體實(shí)施時(shí)，在獲得了數(shù)據(jù)挖掘結(jié)果之后，需要將結(jié)果通過各種形式，直觀的展現(xiàn)在用戶面前。比如，可以將數(shù)據(jù)挖掘結(jié)果(是一個(gè)結(jié)果集)封裝后，將結(jié)果發(fā)送郵件。這個(gè)結(jié)果發(fā)送郵件可以是定時(shí)執(zhí)行，也可以是隨時(shí)查看。還可以以excel表的形式進(jìn)行展示郵件格式類似如下：以下為web服務(wù)器連接數(shù)對比一周前突增的服務(wù)器：應(yīng)用名稱主機(jī)名ipweb連接數(shù)(當(dāng)天)web連接數(shù)(一周前)基于同一發(fā)明構(gòu)思，本發(fā)明實(shí)施例中還提供了一種運(yùn)維大數(shù)據(jù)分析裝置，如下面的實(shí)施例所述。由于運(yùn)維大數(shù)據(jù)分析裝置解決問題的原理與運(yùn)維大數(shù)據(jù)分析方法相似，因此運(yùn)維大數(shù)據(jù)挖掘裝置的實(shí)施可以參見運(yùn)維大數(shù)據(jù)分析方法的實(shí)施，重復(fù)之處不再贅述。以下所使用的，術(shù)語“單元”或者“模塊”可以實(shí)現(xiàn)預(yù)定功能的軟件和/或硬件的組合。盡管以下實(shí)施例所描述的裝置較佳地以軟件來實(shí)現(xiàn)，但是硬件，或者軟件和硬件的組合的實(shí)現(xiàn)也是可能并被構(gòu)想的。圖2是本發(fā)明實(shí)施例的運(yùn)維大數(shù)據(jù)分析裝置的一種結(jié)構(gòu)框圖，如圖2所示，改運(yùn)維大數(shù)據(jù)分析包括：數(shù)據(jù)獲取模塊201，用于從客戶端獲取所需運(yùn)維數(shù)據(jù)；格式轉(zhuǎn)換模塊202，用于將所述所需運(yùn)維數(shù)據(jù)按鍵值對格式進(jìn)行轉(zhuǎn)換，獲得鍵值對格式的所需運(yùn)維數(shù)據(jù)；數(shù)據(jù)封裝模塊203，用于按照預(yù)設(shè)格式對所述鍵值對格式的所需運(yùn)維數(shù)據(jù)進(jìn)行封裝處理，獲得封裝后的所需運(yùn)維數(shù)據(jù)；數(shù)據(jù)挖掘模塊204，用于對所述封裝后的所需運(yùn)維數(shù)據(jù)進(jìn)行數(shù)據(jù)挖掘，獲得數(shù)據(jù)挖掘結(jié)果；展示模塊205，用于將所述數(shù)據(jù)挖掘結(jié)果進(jìn)行展示。下面對該結(jié)構(gòu)進(jìn)行說明。具體實(shí)施時(shí)，所述所需運(yùn)維數(shù)據(jù)包括操作系統(tǒng)層面數(shù)據(jù)、日志記錄數(shù)據(jù)和應(yīng)用接口數(shù)據(jù)；所述數(shù)據(jù)獲取模塊201具體用于：按照如下方式從客戶端獲取所需運(yùn)維數(shù)據(jù)：設(shè)定監(jiān)聽端口，通過監(jiān)聽端口獲取客戶端主動上送的所需運(yùn)維數(shù)據(jù)中的操作系統(tǒng)層面數(shù)據(jù)和日志記錄數(shù)據(jù)；通過應(yīng)用程序接口從客戶端獲取所需運(yùn)維數(shù)據(jù)中的應(yīng)用接口數(shù)據(jù)。具體實(shí)施時(shí)，所述操作系統(tǒng)層面數(shù)據(jù)包括cpu使用率、io數(shù)據(jù)讀速度、io數(shù)據(jù)寫速度、服務(wù)端口建立連接數(shù)、網(wǎng)絡(luò)流量；所述日志記錄數(shù)據(jù)包括交易量、交易響應(yīng)時(shí)間、jvm使用率、單次垃圾回收時(shí)長、與上一次垃圾回收的時(shí)間間隔時(shí)長；所述應(yīng)用接口數(shù)據(jù)包括當(dāng)前數(shù)據(jù)源連接池大小、當(dāng)前webccontainer線程池大小、數(shù)據(jù)源連接池最大值、webccontainer線程池最大值、數(shù)據(jù)源平均和webccontainer線程池活動線程數(shù)。具體實(shí)施時(shí)，還包括：篩選模塊，用于將所述鍵值對格式的所需運(yùn)維數(shù)據(jù)進(jìn)行篩選，獲得日志緩存數(shù)據(jù)和數(shù)據(jù)庫緩存數(shù)據(jù)；所述數(shù)據(jù)封裝模塊203具體用于：將所述日志緩存數(shù)據(jù)按照日志緩存所需格式進(jìn)行封裝，將所述數(shù)據(jù)庫緩存數(shù)據(jù)按照數(shù)據(jù)庫緩存所需格式進(jìn)行封裝。具體實(shí)施時(shí)，還包括：記錄存儲模塊，用于將封裝后的日志緩存數(shù)據(jù)記錄到指定的日志文件中，將封裝后的數(shù)據(jù)庫緩存數(shù)據(jù)存入相應(yīng)的數(shù)據(jù)庫表中。具體實(shí)施時(shí)，所述數(shù)據(jù)封裝模塊203具體用于：將所述所鍵值對格式的所需運(yùn)維數(shù)據(jù)解析為map數(shù)組格式的所需運(yùn)維數(shù)據(jù)；按照預(yù)設(shè)格式對map數(shù)組格式的所需運(yùn)維數(shù)據(jù)進(jìn)行封裝處理。具體實(shí)施時(shí)，所述展示模塊205具體用于：將所述數(shù)據(jù)挖掘結(jié)果以郵件或excel表的形式進(jìn)行展示。具體實(shí)施時(shí)，本發(fā)明還提出一種運(yùn)維大數(shù)據(jù)分析系統(tǒng)，包括：客戶端和以上所述的運(yùn)維大數(shù)據(jù)分析裝置。綜上所述，本發(fā)明提出的自動化、可擴(kuò)展的運(yùn)維大數(shù)據(jù)分析方法、裝置及系統(tǒng)，取代了傳統(tǒng)的人工查看日志、圖表的方式，自動化判斷數(shù)據(jù)需關(guān)注的要點(diǎn)。比人工方式大大的節(jié)省了人力，同時(shí)避免了可能的遺漏以及維護(hù)人員長期重復(fù)性工作中產(chǎn)生的懈怠，使性能分析、健康評價(jià)等工作切實(shí)的產(chǎn)生了效益。另外基于多年運(yùn)維經(jīng)驗(yàn)，采用獨(dú)創(chuàng)的、經(jīng)得起實(shí)踐檢驗(yàn)的數(shù)據(jù)挖掘算法，模擬人工判斷時(shí)的思路，實(shí)現(xiàn)智能化大數(shù)據(jù)挖掘。本發(fā)明是一個(gè)開放的系統(tǒng)，實(shí)現(xiàn)了數(shù)據(jù)挖掘、數(shù)據(jù)展現(xiàn)、結(jié)果分析、算法生成，再到數(shù)據(jù)挖掘的閉環(huán)，使數(shù)據(jù)挖掘的算法可以在實(shí)踐中不斷自我優(yōu)化擴(kuò)展，達(dá)到更加完美的效果。本發(fā)明還支持外部程序的擴(kuò)展，如tivoli等得集成，可將報(bào)警內(nèi)容通過tivoli展現(xiàn)。通過本發(fā)明的不斷完善，可以更加準(zhǔn)確做好資源的利用，避免可能的故障風(fēng)險(xiǎn)，有效的降低企業(yè)的資源使用成本和故障停機(jī)成本，對企業(yè)it運(yùn)維水平的提高有著重要的現(xiàn)實(shí)意義。本領(lǐng)域內(nèi)的技術(shù)人員應(yīng)明白，本發(fā)明的實(shí)施例可提供為方法、系統(tǒng)、或計(jì)算機(jī)程序產(chǎn)品。因此，本發(fā)明可采用完全硬件實(shí)施例、完全軟件實(shí)施例、或結(jié)合軟件和硬件方面的實(shí)施例的形式。而且，本發(fā)明可采用在一個(gè)或多個(gè)其中包含有計(jì)算機(jī)可用程序代碼的計(jì)算機(jī)可用存儲介質(zhì)(包括但不限于磁盤存儲器、cd-rom、光學(xué)存儲器等)上實(shí)施的計(jì)算機(jī)程序產(chǎn)品的形式。本發(fā)明是參照根據(jù)本發(fā)明實(shí)施例的方法、設(shè)備(系統(tǒng))、和計(jì)算機(jī)程序產(chǎn)品的流程圖和/或方框圖來描述的。應(yīng)理解可由計(jì)算機(jī)程序指令實(shí)現(xiàn)流程圖和/或方框圖中的每一流程和/或方框、以及流程圖和/或方框圖中的流程和/或方框的結(jié)合?？商峁┻@些計(jì)算機(jī)程序指令到通用計(jì)算機(jī)、專用計(jì)算機(jī)、嵌入式處理機(jī)或其他可編程數(shù)據(jù)處理設(shè)備的處理器以產(chǎn)生一個(gè)機(jī)器，使得通過計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備的處理器執(zhí)行的指令產(chǎn)生用于實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能的裝置。這些計(jì)算機(jī)程序指令也可存儲在能引導(dǎo)計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備以特定方式工作的計(jì)算機(jī)可讀存儲器中，使得存儲在該計(jì)算機(jī)可讀存儲器中的指令產(chǎn)生包括指令裝置的制造品，該指令裝置實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能。這些計(jì)算機(jī)程序指令也可裝載到計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備上，使得在計(jì)算機(jī)或其他可編程設(shè)備上執(zhí)行一系列操作步驟以產(chǎn)生計(jì)算機(jī)實(shí)現(xiàn)的處理，從而在計(jì)算機(jī)或其他可編程設(shè)備上執(zhí)行的指令提供用于實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能的步驟。以上所述僅為本發(fā)明的優(yōu)選實(shí)施例而已，并不用于限制本發(fā)明，對于本領(lǐng)域的技術(shù)人員來說，本發(fā)明實(shí)施例可以有各種更改和變化。凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。當(dāng)前第1頁12