本發(fā)明涉及數(shù)據(jù)采集
技術領域：
，尤其涉及一種機組數(shù)據(jù)采集系統(tǒng)及數(shù)據(jù)采集方法。
背景技術：
：為保證機組(如，空調機組)在安全、可靠的情況下長期穩(wěn)定運行，會采用無線通訊方式對空調機組的運行執(zhí)行實時監(jiān)測，以便能及時掌握空調機組的各項運行數(shù)據(jù)?，F(xiàn)有技術下，通常會以下兩種無線通訊方式，將空調機組的各項運行數(shù)據(jù)上傳至管理系統(tǒng)：方式一：通過2g網(wǎng)絡將空調機組的各項運行數(shù)據(jù)上傳至管理系統(tǒng)，然而，上述方式不僅會產生大量的計費流量，而且，2g網(wǎng)絡的傳輸速率也并不理想。方式二：通過wifi模塊將空調機組的各項運行數(shù)據(jù)上傳至管理系統(tǒng)，然而，上述方式通常是針對傳輸控制協(xié)議(transmissioncontrolprotocol，tcp)實現(xiàn)的，總所周知，tcp協(xié)議是面向連接的，即，通信雙方在正式發(fā)送數(shù)據(jù)之前，需通過三次對話建立可靠連接，然而，針對多空調機組的情況，上述方式后期維護時比較復雜。有鑒于此，本發(fā)明采用用戶數(shù)據(jù)報協(xié)議(userdataprotocol，udp)實現(xiàn)wifi模塊的無線通信，然而，針對udp協(xié)議，現(xiàn)有的機組數(shù)據(jù)采集系統(tǒng)并不適用，因此，需重新設計一種機組數(shù)據(jù)采集系統(tǒng)，以滿足udp協(xié)議的傳輸要求。技術實現(xiàn)要素：本發(fā)明實施例提供一種機組數(shù)據(jù)采集系統(tǒng)及數(shù)據(jù)采集方法，用以解決現(xiàn)有的機組數(shù)據(jù)采集系統(tǒng)不能支持udp協(xié)議的問題。本發(fā)明實施例提供的具體技術方案如下：一種機組數(shù)據(jù)采集系統(tǒng)，包括：數(shù)據(jù)傳輸模塊，用于監(jiān)聽預設的用戶數(shù)據(jù)報協(xié)議udp端口，并將監(jiān)聽到的若干機組數(shù)據(jù)保存在指定存儲區(qū)域，以及確定所述指定存儲區(qū)域的存儲量滿足設定條件時，從所述指定存儲區(qū)域中提取相應的機組數(shù)據(jù)，并將提取到的機組數(shù)據(jù)上傳至指定分布式存儲系統(tǒng)；數(shù)據(jù)管理模塊，用于接收到數(shù)據(jù)解析模塊發(fā)送的數(shù)據(jù)請求指令時，從所述指定分布式存儲系統(tǒng)中提取相應的機組數(shù)據(jù)，并將提取到的機組數(shù)據(jù)發(fā)送至相應的數(shù)據(jù)解析模塊；至少一個數(shù)據(jù)解析模塊，用于接收所述數(shù)據(jù)管理模塊發(fā)送的相應的機組數(shù)據(jù)，以及對所述相應的機組數(shù)據(jù)進行解析，并將解析結果保存至指定數(shù)據(jù)庫?？蛇x的，所示指定存儲區(qū)域為本地文件系統(tǒng)，其中，所述本地文件系統(tǒng)包含至少一個存儲文件?？蛇x的，將監(jiān)聽到的若干機組數(shù)據(jù)保存在指定存儲區(qū)域之前，所述數(shù)據(jù)傳輸模塊用于：基于預設規(guī)則，分別對監(jiān)聽到的每一個機組數(shù)據(jù)進行有效性判斷；篩選出具有有效性的各個機組數(shù)據(jù)，并確定所述各個機組數(shù)據(jù)各自在本地文件系統(tǒng)中對應的存儲文件；所述將監(jiān)聽到的若干機組數(shù)據(jù)保存在指定存儲區(qū)域，包括：將具有有效性的各個機組數(shù)據(jù)保存在各自對應的存儲文件中?？蛇x的，確定所述指定存儲區(qū)域的存儲量滿足設定條件時，從所述指定存儲區(qū)域中提取相應的機組數(shù)據(jù)，并將提取到的機組數(shù)據(jù)上傳至指定分布式存儲系統(tǒng)時，所述數(shù)據(jù)傳輸模塊用于：分別針對本地文件系統(tǒng)包含的每一個存儲文件，執(zhí)行以下操作：確定存儲量達到設定閾值時，提取存儲的全部或部分機組數(shù)據(jù)；將提取到的所述全部或部分機組數(shù)據(jù)上傳至所述指定分布式存儲系統(tǒng)?？蛇x的，對所述相應的機組數(shù)據(jù)進行解析，并將解析結果保存至指定數(shù)據(jù)庫時，所述數(shù)據(jù)解析模塊用于：分別針對接收到的每一個機組數(shù)據(jù)，執(zhí)行以下操作：基于預設的udp協(xié)議，對機組數(shù)據(jù)包含的各個字段進行解析；確定所述各個字段各自對應的實際參數(shù)；將確定的各個實際參數(shù)，保存至所述指定數(shù)據(jù)庫?？蛇x的，所述數(shù)據(jù)管理模塊還用于：管理并維護所述至少一個數(shù)據(jù)解析模塊。一種機組數(shù)據(jù)采集方法，包括：監(jiān)聽預設的用戶數(shù)據(jù)報協(xié)議udp端口，并將監(jiān)聽到的若干機組數(shù)據(jù)保存在指定存儲區(qū)域；確定所述指定存儲區(qū)域的存儲量滿足設定條件時，從所述指定存儲區(qū)域中提取相應的機組數(shù)據(jù)，并將提取到的機組數(shù)據(jù)保存在指定分布式存儲系統(tǒng)；基于產生的數(shù)據(jù)請求指令，從所述指定分布式存儲系統(tǒng)中提取相應的機組數(shù)據(jù)，以及對提取到的機組數(shù)據(jù)進行解析，并將解析結果保存至指定數(shù)據(jù)庫?？蛇x的，所示指定存儲區(qū)域為本地文件系統(tǒng)，其中，所述本地文件系統(tǒng)包含至少一個存儲文件?？蛇x的，將監(jiān)聽到的若干機組數(shù)據(jù)保存在指定存儲區(qū)域之前，還包括：基于預設規(guī)則，分別對監(jiān)聽到的每一個機組數(shù)據(jù)進行有效性判斷；篩選出具有有效性的各個機組數(shù)據(jù)，并確定所述各個機組數(shù)據(jù)各自在本地文件系統(tǒng)中對應的存儲文件；所述將監(jiān)聽到的若干機組數(shù)據(jù)保存在指定存儲區(qū)域，包括：將具有有效性的各個機組數(shù)據(jù)保存在各自對應的存儲文件中?？蛇x的，確定所述指定存儲區(qū)域的存儲量滿足設定條件時，從所述指定存儲區(qū)域中提取相應的機組數(shù)據(jù)，并將提取到的機組數(shù)據(jù)保存在指定分布式存儲系統(tǒng)，包括：分別針對本地文件系統(tǒng)包含的每一個存儲文件，執(zhí)行以下操作：確定存儲量達到設定閾值時，提取存儲的全部或部分機組數(shù)據(jù)；將提取到的所述全部或部分機組數(shù)據(jù)保存在所述指定分布式存儲系統(tǒng)?？蛇x的，對提取到的機組數(shù)據(jù)進行解析，并將解析結果保存至指定數(shù)據(jù)庫，包括：分別針對接收到的每一個機組數(shù)據(jù)，執(zhí)行以下操作：基于預設的udp協(xié)議，對機組數(shù)據(jù)包含的各個字段進行解析；確定所述各個字段各自對應的實際參數(shù)；將確定的各個實際參數(shù)，保存至所述指定數(shù)據(jù)庫。本發(fā)明實施例中，機組數(shù)據(jù)采集系統(tǒng)包括：數(shù)據(jù)傳輸模塊、數(shù)據(jù)管理模塊和至少一個數(shù)據(jù)解析模塊，其中，數(shù)據(jù)傳輸模塊能用于監(jiān)聽預設的udp端口，并將監(jiān)聽到的若干機組數(shù)據(jù)從指定存儲區(qū)域上傳到hdfs，再由至少一個數(shù)據(jù)解析模塊，通過數(shù)據(jù)管理模塊對從hdfs中提取到的機組數(shù)據(jù)進行解析，并將解析結果保存至指定數(shù)據(jù)庫，這樣，改進后的機組數(shù)據(jù)采集系統(tǒng)不僅能支持udp協(xié)議，而且，通過多級存儲機制，能將監(jiān)聽到的所有機組數(shù)據(jù)進行正確收錄，進而提高了數(shù)據(jù)采集速率以及數(shù)據(jù)處理效率，從而提高了用戶體驗。附圖說明圖1為本發(fā)明實施例中，機組數(shù)據(jù)采集系統(tǒng)結構示意圖；圖2為本發(fā)明實施例中，機組數(shù)據(jù)采集方法流程圖。具體實施方式為了解決現(xiàn)有的機組數(shù)據(jù)采集系統(tǒng)不能支持udp協(xié)議的問題，本發(fā)明實施例中，重新設計了一種機組數(shù)據(jù)采集系統(tǒng)及數(shù)據(jù)采集方法，該系統(tǒng)包括：數(shù)據(jù)傳輸模塊、數(shù)據(jù)管理模塊和至少一個數(shù)據(jù)解析模塊，其中，數(shù)據(jù)傳輸模塊用于監(jiān)聽預設的用戶數(shù)據(jù)報協(xié)議udp端口，并將監(jiān)聽到的若干機組數(shù)據(jù)保存在指定存儲區(qū)域，以及確定指定存儲區(qū)域的存儲量滿足設定條件時，從指定存儲區(qū)域中提取相應的機組數(shù)據(jù)，并將提取到的機組數(shù)據(jù)上傳至指定分布式存儲系統(tǒng)；數(shù)據(jù)管理模塊，用于接收到數(shù)據(jù)解析模塊發(fā)送的數(shù)據(jù)請求指令時，從指定分布式存儲系統(tǒng)中提取相應的機組數(shù)據(jù)，并將提取到的機組數(shù)據(jù)發(fā)送至相應的數(shù)據(jù)解析模塊；至少一個數(shù)據(jù)解析模塊，用于接收數(shù)據(jù)管理模塊發(fā)送的相應的機組數(shù)據(jù)，以及對相應的機組數(shù)據(jù)進行解析，并將解析結果保存至指定數(shù)據(jù)庫。下面將結合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，并不是全部的實施例?；诒景l(fā)明中的實施例，本領域普通技術人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。下面將通過具體實施例對本發(fā)明的方案進行詳細描述，當然，本發(fā)明并不限于以下實施例。本發(fā)明實施例中，所有的機組(以下均以空調機組為例進行說明)都配置有相應的wifi模塊，每一臺空調機組產生的空調機組數(shù)據(jù)都可通過與自身關聯(lián)的wifi模塊向外發(fā)送，其中，空調機組與wifi模塊之間，可以通過串口進行數(shù)據(jù)通信，在此不做限定。參閱圖1所示，本發(fā)明實施例中，設計了一種機組數(shù)據(jù)采集系統(tǒng)，至少包括數(shù)據(jù)傳輸模塊、數(shù)據(jù)管理模塊和至少一個數(shù)據(jù)解析模塊，其中，數(shù)據(jù)傳輸模塊，用于接收若干空調機組數(shù)據(jù)，并將接收到的若干空調機組數(shù)據(jù)保存在指定存儲區(qū)域，以及確定指定存儲區(qū)域的存儲量滿足設定條件時，從指定存儲區(qū)域中提取相應的空調機組數(shù)據(jù)，并將提取到的空調機組數(shù)據(jù)上傳至指定分布式存儲系統(tǒng)；數(shù)據(jù)管理模塊，用于接收到數(shù)據(jù)解析模塊發(fā)送的數(shù)據(jù)請求指令時，從指定分布式存儲系統(tǒng)中提取相應的空調機組數(shù)據(jù)，并將提取到的空調機組數(shù)據(jù)發(fā)送至相應的數(shù)據(jù)解析模塊；至少一個數(shù)據(jù)解析模塊，用于接收數(shù)據(jù)管理模塊發(fā)送的相應的空調機組數(shù)據(jù)，以及對相應的空調機組數(shù)據(jù)進行解析，并將解析結果保存至指定數(shù)據(jù)庫。具體的，參閱圖2所示，結合附圖對本發(fā)明優(yōu)選的實施方式進行詳細的說明，本發(fā)明實施例中空調機組數(shù)據(jù)采集的具體流程如下：步驟200：數(shù)據(jù)傳輸模塊接收若干空調機組數(shù)據(jù)，并將接收到的若干空調機組數(shù)據(jù)保存在指定存儲區(qū)域。具體的，本發(fā)明實施例中，預先為各個wifi模塊，配置數(shù)據(jù)傳輸模塊指定的服務器的域名和用戶數(shù)據(jù)報協(xié)議(userdatagramprotocol，udp)端口，當wifi模塊接收到對應空調機組上傳的空調機組數(shù)據(jù)后，wifi模塊會將待傳的空調機組數(shù)據(jù)以udp數(shù)據(jù)包的形式發(fā)送到已配置好的udp端口上。本實施例之所以采用udp通信，是因為udp協(xié)議是面向無連接的，即，通信雙方無需建立可靠連接，發(fā)送端只要確定接收端的udp端口，就可向接收端發(fā)送數(shù)據(jù)。進一步地，數(shù)據(jù)傳輸模塊會監(jiān)聽指定的服務器的udp端口，一旦監(jiān)聽到udp端口有數(shù)據(jù)，會對監(jiān)聽到的空調機組數(shù)據(jù)執(zhí)行初步篩選，將篩選得到的空調機組數(shù)據(jù)保存在指定存儲區(qū)域，較佳的，本實施例優(yōu)選的指定存儲區(qū)域為本地文件系統(tǒng)，其中，本地文件系統(tǒng)包含至少一個存儲文件，上述存儲文件即是指一種存儲區(qū)域。具體的，數(shù)據(jù)傳輸模塊會基于預設規(guī)則，分別對接收到的每一個空調機組數(shù)據(jù)進行有效性判斷，篩選出具有有效性的各個空調機組數(shù)據(jù)，并確定具有有效性的各個空調機組數(shù)據(jù)各自對應的存儲文件，其中，有效性判斷可以包括：空調機組數(shù)據(jù)是否為完整數(shù)據(jù)，空調機組數(shù)據(jù)是否為干擾數(shù)據(jù)，空調機組數(shù)據(jù)是否為錯誤數(shù)據(jù)，等等。例如，數(shù)據(jù)傳輸模塊可采用循環(huán)冗余校驗(cyclicredundancycheck，crc)檢測，接收到的空調機組數(shù)據(jù)是否為錯誤數(shù)據(jù)。當數(shù)據(jù)傳輸模塊確定具有有效性的各個空調機組數(shù)據(jù)，各自在本地文件系統(tǒng)中對應的存儲文件后，會將上述各個空調機組數(shù)據(jù)保存在各自對應的存儲文件中。步驟210：數(shù)據(jù)傳輸模塊確定指定存儲區(qū)域的存儲量滿足設定條件時，從指定存儲區(qū)域中提取相應的空調機組數(shù)據(jù)，并將提取到的空調機組數(shù)據(jù)上傳至指定分布式存儲系統(tǒng)。具體的，數(shù)據(jù)傳輸模塊將具有有效性的各個空調機組數(shù)據(jù)保存在各自對應的存儲文件中后，若存在一個存儲文件的存儲量達到設定閾值時，將提取上述一個存儲文件中存儲的全部或部分空調機組數(shù)據(jù)，并將提取到的上述全部或部分空調機組數(shù)據(jù)，上傳至指定分布式存儲系統(tǒng)中。本發(fā)明實施例中，分布式存儲系統(tǒng)，可以為hadoop分布式文件系統(tǒng)(hadoopdistributefilesystem，hdfs)，也可以為谷歌文件系統(tǒng)(googlefilesystem，gfs)，或者為lustre平行分布式文件系統(tǒng)，等等，為便于理解，以下描述中，均以hdfs表示分布式存儲系統(tǒng)，當然，實際應用時，分布式存儲系統(tǒng)并不限定于hdfs。例如，假設本地文件系統(tǒng)中存在存儲文件1、存儲文件2和存儲文件3，且每一個存儲文件的存儲空間都為500m，若預先為每一個存儲文件設置的閾值為450m，當數(shù)據(jù)傳輸模塊檢測到，存儲文件1中當前存儲量達到450m時，則將存儲文件1中的全部或部分空調機組數(shù)據(jù)上傳至指定hdfs中。當然，每一個存儲文件的存儲空間也可以不同，每一個存儲文件設置的閾值也可以不同，上述僅僅是舉例，具體可看實際配置。進一步地，之所以，要將存儲在本地文件系統(tǒng)中的空調機組數(shù)據(jù)上傳到hdfs中，是因為本地文件系統(tǒng)的存儲能力是有限的，而各個空調機組又隨時在產生大量的空調機組數(shù)據(jù)，因此，本實施例中，為減輕本地文件系統(tǒng)的負荷，將已滿載或即將滿載的存儲文件中的空調機組數(shù)據(jù)，上傳至指定hdfs中。當然，在具體實施時，數(shù)據(jù)傳輸模塊實現(xiàn)步驟200可由數(shù)據(jù)接收程序完成，數(shù)據(jù)傳輸模塊實現(xiàn)步驟210可由數(shù)據(jù)上傳程序完成。步驟220：數(shù)據(jù)解析模塊向數(shù)據(jù)管理模塊發(fā)送數(shù)據(jù)請求指令。具體的，本發(fā)明實施例提供的空調機組數(shù)據(jù)采集系統(tǒng)，包含了若干數(shù)據(jù)解析模塊，當數(shù)據(jù)解析模塊需要執(zhí)行數(shù)據(jù)解析操作時，會基于實際需求向數(shù)據(jù)管理模塊發(fā)送數(shù)據(jù)請求指令，以便能獲取空調機組數(shù)據(jù)，其中，數(shù)據(jù)請求指令可以包含數(shù)據(jù)解析模塊的id號，需獲取的數(shù)據(jù)數(shù)目，等等。而數(shù)據(jù)解析模塊何時需要執(zhí)行數(shù)據(jù)解析操作，可以以上一數(shù)據(jù)解析操作已完成，或者，得到了解析指令來判定。例如，假設空調機組數(shù)據(jù)系統(tǒng)中存在數(shù)據(jù)解析模塊1、數(shù)據(jù)解析模塊2、數(shù)據(jù)解析模塊3和數(shù)據(jù)解析模塊4，若數(shù)據(jù)解析模塊1和數(shù)據(jù)解析模塊4需執(zhí)行數(shù)據(jù)解析操作，則分別會向數(shù)據(jù)管理模塊發(fā)送數(shù)據(jù)請求指令a和數(shù)據(jù)請求指令b，其中，數(shù)據(jù)請求指令a為{數(shù)據(jù)解析模塊1，10條}，數(shù)據(jù)請求指令b為{數(shù)據(jù)解析模塊2，50條}。步驟230：數(shù)據(jù)管理模塊接收到數(shù)據(jù)解析模塊發(fā)送的數(shù)據(jù)請求指令時，從指定分布式存儲系統(tǒng)中提取相應的空調機組數(shù)據(jù)，并將提取到的空調機組數(shù)據(jù)發(fā)送至相應的數(shù)據(jù)解析模塊。具體的，數(shù)據(jù)管理模塊接收到各個數(shù)據(jù)解析模塊發(fā)送的數(shù)據(jù)請求指令時，從指定hdfs中提取相應的空調機組數(shù)據(jù)，并基于接收到的各個數(shù)據(jù)請求指令，將提取到的空調機組數(shù)據(jù)返回給對應的數(shù)據(jù)解析模塊。例如，繼續(xù)以上述示例進行說明，數(shù)據(jù)管理模塊接收到數(shù)據(jù)解析模塊1發(fā)送的數(shù)據(jù)請求指令a，以及數(shù)據(jù)解析模塊2發(fā)送的數(shù)據(jù)請求指令b，經過解析，確定數(shù)據(jù)解析模塊1需要10條空調機組數(shù)據(jù)，數(shù)據(jù)解析模塊2需要50條空調機組數(shù)據(jù)，則從指定hdfs中，提取10條空調機組數(shù)據(jù)，并將上述10條空調機組數(shù)據(jù)返回給數(shù)據(jù)解析模塊1，以及從指定hdfs中，提取50條空調機組數(shù)據(jù)，并將上述50條空調機組數(shù)據(jù)返回給數(shù)據(jù)解析模塊5。步驟240：數(shù)據(jù)解析模塊接收到數(shù)據(jù)管理模塊返回的相應的空調機組數(shù)據(jù)后，對接收到的空調機組數(shù)據(jù)進行解析，并將解析結果保存在指定數(shù)據(jù)庫。具體的，數(shù)據(jù)解析模塊接收到數(shù)據(jù)管理模塊返回的相應的空調機組數(shù)據(jù)后，對接收到的空調機組數(shù)據(jù)進行解析，之所以數(shù)據(jù)解析模塊還需對數(shù)據(jù)管理模塊返回的空調機組數(shù)據(jù)解析，是因為，wifi模塊在向數(shù)據(jù)傳輸模塊發(fā)送空調機組數(shù)據(jù)時，已將空調機組數(shù)據(jù)轉換為udp數(shù)據(jù)包，故，數(shù)據(jù)解析模塊在接收到空調機組數(shù)據(jù)時，需基于預設的udp協(xié)議，對接收到的空調機組數(shù)據(jù)進行解析。進一步地，以一個數(shù)據(jù)解析模塊接收到的一個空調機組數(shù)據(jù)為例，上述一個數(shù)據(jù)解析模塊，會基于預設的udp協(xié)議，對上述一個空調機組數(shù)據(jù)包含的各個字段進行解析，確定上述各個字段各自對應的實際參數(shù)，并將確定的各個實際參數(shù)，保存在指定數(shù)據(jù)庫中。例如，假設預設的udp協(xié)議中，定義第一個字段對應為空調機組編號，定義第二個字段對應的實際參數(shù)為“室溫”，定義第三個字段對應的實際參數(shù)為“運行模式”，其中，第一個字段包含2個字節(jié)，第二個字段包含2個字節(jié)，第三字段包含4個字節(jié)；若數(shù)據(jù)解析模塊1接收到的空調機組數(shù)據(jù)a，其中，空調機組數(shù)據(jù)a為{78、18、制冷}，數(shù)據(jù)解析模塊1接收到的空調機組數(shù)據(jù)b，其中，空調機組數(shù)據(jù)b為{03、22、制冷}；數(shù)據(jù)解析模塊2接收到的空調機組數(shù)據(jù)c，其中，空調機組數(shù)據(jù)c為{31、30、制熱}；數(shù)據(jù)解析模塊3接收到的空調機組數(shù)據(jù)d，其中，空調機組數(shù)據(jù)d為{09、25、制熱}；經解析，數(shù)據(jù)解析模塊1確定，空調機組78號當前處于“制冷”狀態(tài)，室溫為“18”℃；數(shù)據(jù)解析模塊1確定，空調機組03號當前處于“制冷”狀態(tài)，室溫為“22”℃；數(shù)據(jù)解析模塊2確定，空調機組31號當前處于“制熱”狀態(tài)，室溫為“30”℃；數(shù)據(jù)解析模塊3確定，空調機組09號當前處于“制熱”狀態(tài)，室溫為“25”℃。進一步地，數(shù)據(jù)解析模塊1、數(shù)據(jù)解析模塊2和數(shù)據(jù)解析模塊3會，分別將各自解析得到的各個空調機組數(shù)據(jù)結果保存在數(shù)據(jù)庫的數(shù)據(jù)表中，如，參見表1所示。表1空調機組編號室溫(℃)運行模式7818制冷0322制冷3130制熱0925制熱進一步地，由于本實施中存在多個數(shù)據(jù)解析模塊，因此，數(shù)據(jù)管理模塊也可以提供管理和維護各個數(shù)據(jù)解析模塊的功能。當然，本發(fā)明實施例提供的機組數(shù)據(jù)采集系統(tǒng)，并不僅限于在空調機組中使用，上述僅僅是以空調機組為例，其他類似的大型設備(如，由多個機組或設備構成)也適用。綜上所述，本發(fā)明實施例中，機組數(shù)據(jù)采集系統(tǒng)包括：數(shù)據(jù)傳輸模塊、數(shù)據(jù)管理模塊和至少一個數(shù)據(jù)解析模塊，其中，數(shù)據(jù)傳輸模塊能用于監(jiān)聽預設的udp端口，并將監(jiān)聽到的若干機組數(shù)據(jù)從指定存儲區(qū)域上傳到指定hdfs，再由至少一個數(shù)據(jù)解析模塊，通過數(shù)據(jù)管理模塊對從上述指定hdfs中提取到的機組數(shù)據(jù)進行解析，并將解析結果保存至指定數(shù)據(jù)庫，這樣，改進后的機組數(shù)據(jù)采集系統(tǒng)可以支持udp協(xié)議，能快速的將海量的機組數(shù)據(jù)上傳到指定存儲區(qū)域，而且，通過上述多級存儲機制，能對監(jiān)聽到的所有機組數(shù)據(jù)進行正確收錄。進一步地，本發(fā)明實施例中，為避免指定hdfs存儲太多的臨時數(shù)據(jù)，利用數(shù)據(jù)管理模塊實現(xiàn)對海量機組數(shù)據(jù)的調度，以及對多個數(shù)據(jù)解析模塊的調度，這樣，通過數(shù)據(jù)管理模塊調度多個數(shù)據(jù)解析模塊完成對海量機組數(shù)據(jù)的解析，并將解析結果保存在指定數(shù)據(jù)庫中，提高了數(shù)據(jù)采集速率和數(shù)據(jù)處理效率，從而提高了用戶體驗。本領域內的技術人員應明白，本發(fā)明的實施例可提供為方法、系統(tǒng)、或計算機程序產品。因此，本發(fā)明可采用完全硬件實施例、完全軟件實施例、或結合軟件和硬件方面的實施例的形式。而且，本發(fā)明可采用在一個或多個其中包含有計算機可用程序代碼的計算機可用存儲介質(包括但不限于磁盤存儲器、cd-rom、光學存儲器等)上實施的計算機程序產品的形式。本發(fā)明是參照根據(jù)本發(fā)明實施例的方法、設備(系統(tǒng))、和計算機程序產品的流程圖和/或方框圖來描述的。應理解可由計算機程序指令實現(xiàn)流程圖和/或方框圖中的每一流程和/或方框、以及流程圖和/或方框圖中的流程和/或方框的結合?？商峁┻@些計算機程序指令到通用計算機、專用計算機、嵌入式處理機或其他可編程數(shù)據(jù)處理設備的處理器以產生一個機器，使得通過計算機或其他可編程數(shù)據(jù)處理設備的處理器執(zhí)行的指令產生用于實現(xiàn)在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的裝置。這些計算機程序指令也可存儲在能引導計算機或其他可編程數(shù)據(jù)處理設備以特定方式工作的計算機可讀存儲器中，使得存儲在該計算機可讀存儲器中的指令產生包括指令裝置的制造品，該指令裝置實現(xiàn)在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能。這些計算機程序指令也可裝載到計算機或其他可編程數(shù)據(jù)處理設備上，使得在計算機或其他可編程設備上執(zhí)行一系列操作步驟以產生計算機實現(xiàn)的處理，從而在計算機或其他可編程設備上執(zhí)行的指令提供用于實現(xiàn)在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的步驟。盡管已描述了本發(fā)明的優(yōu)選實施例，但本領域內的技術人員一旦得知了基本創(chuàng)造性概念，則可對這些實施例作出另外的變更和修改。所以，所附權利要求意欲解釋為包括優(yōu)選實施例以及落入本發(fā)明范圍的所有變更和修改。顯然，本領域的技術人員可以對本發(fā)明實施例進行各種改動和變型而不脫離本發(fā)明實施例的精神和范圍。這樣，倘若本發(fā)明實施例的這些修改和變型屬于本發(fā)明權利要求及其等同技術的范圍之內，則本發(fā)明也意圖包含這些改動和變型在內。當前第1頁12