本實用新型涉及數據處理領域,尤其涉及一種數據接收服務器、及數據處理系統。
背景技術:
對于分布式的終端設備,對其進行數據監(jiān)測和控制,是現有技術發(fā)展的一個需要。
隨著網絡的發(fā)展,監(jiān)測終端設備的種類、數量急劇增加,呈現了急劇增長的數據量以及數據并發(fā)量與現有數據處理系統的性能之間的矛盾。
在現有的數據處理系統的框架結構下,數據獲取部件、數據存儲部件、數據解析部件及其構成的框架面對較大數數據量、數據并發(fā)量時,存在性能缺陷,容易導致數據丟失、錯亂,以至于對終端設備的監(jiān)測、控制出現錯誤或誤差。
技術實現要素:
本實用新型的主要目的在于克服上述現有技術的缺陷,提出了一種數據接收服務器、及數據處理系統,以解決現有技術中數據處理系統框架面對大數據或數據突發(fā)量時的性能缺陷,能夠提高數據處理的效率,合理分配系統資源,進而提高數據的安全性。
本實用新型一方面提供了一種數據接收服務器,包括數據接收裝置和第一存儲裝置,所述數據接收裝置,用于通過至少一個連接接收來自 客戶端的數據;所述第一存儲裝置,包括至少一個第一存儲單元和至少一個第二存儲單元,所述第一存儲單元中的每一個與所述數據接收單元的每一個連接相對應;所述第二存儲單元中的每一個與至少一個所述客戶端的屬性中的每一個相對應。
可選地,所述連接包括所述數據接收裝置與客戶端的連接、和/或所述數據接收裝置通過網絡模塊與客戶端的連接。
可選地,還包括控制裝置,所述控制裝置用于當所述第一存儲單元存儲的數據大于等于第一閾值或者第一存儲單元對應的連接中斷時,將所述第一存儲單元存儲的數據分配至與數據相對應的所述第二存儲單元中。
可選地,還包括第二存儲裝置和控制裝置,所述控制裝置用于當所述第二存儲單元存儲的數據大于等于第二閾值時,將所述第二存儲單元存儲的數據保存至所述第二存儲裝置中。
可選地,所述客戶端屬性包括客戶端的類型,和/或客戶端所在區(qū)域。
可選地,所述客戶端包括家用電器、電腦、可穿戴設備、傳感器中的至少一種。
可選地,所述第一存儲單元、第二存儲單元包括緩存器,所述第二存儲裝置包括本地服務器。
本實用新型又一方面提供了一種數據處理系統,其特征在于包括上述任一的數據接收服務器。
可選地,所述數據處理系統還包括數據轉發(fā)服務器,所述數據轉發(fā)服務器包括第三存儲單元和第四存儲單元和轉發(fā)控制單元,所述第三存儲單元,用于存儲已建立連接的客戶端;所述第四存儲單元,用于存儲已建立連接的網絡模塊,以及與監(jiān)聽所述網絡模塊的全部客戶端,所述 轉發(fā)控制單元,用于根據轉發(fā)模式,根據所述第三存儲單元或所述第四存儲單元將待轉發(fā)的數據轉發(fā)至已建立連接的客戶端或監(jiān)聽已建立連接的網絡模塊的全部客戶端。
可選地,所述數據處理系統還包括第三存儲裝置和上傳控制器,所述上傳控制器用于將第二存儲裝置中的新數據上傳至所述第三存儲裝置中,和/或將所述第二存儲單元中的數據上傳至所述第三存儲裝置。
可選地,所述第三存儲裝置包括HDFS(Hadoop Distributed File System)存儲器。
可選地,所述數據處理系統還包括數據解析裝置,所述數據解析裝置包括數據接口單元,解析數據分配單元,以及至少一個解析數據處理單元;所述數據接口單元,用于接收來自所述第三存儲裝置的待解析的數據;所述解析數據分配單元,用于根據所述解析數據處理單元的處理能力和/或數據負荷將所述待解析數據分配至所述至少一個解析數據處理單元;所述解析數據處理單元,用于解析待解析數據形成解析后的數據。
可選地,所述數據處理系統還包括第四存儲裝置,所述第四存儲裝置用于存儲所述解析后的數據,所述客戶端能夠對所述第四存儲裝置的數據進行處理。
本實用新型的技術方案能夠解決現有技術中數據處理系統框架面對大數據或數據突發(fā)量時的性能缺陷,能夠提高數據處理的效率,合理分配系統資源,進而提高數據的安全性。
附圖說明
此處所說明的附圖用來提供對本實用新型的進一步理解,構成本實 用新型的一部分,本實用新型的示意性實施例及其說明用于解釋本實用新型,并不構成對本實用新型的不當限定。在附圖中:
圖1是本實用新型提供的數據接收服務器的一實施例的結構示意圖;
圖2是本實用新型提供的數據接收服務器的一實施例的結構示意圖;
圖3是本實用新型提供的數據處理系統的一實施例的結構示意圖;
圖4是本實用新型提供的數據轉發(fā)服務器的一實施例的結構示意圖;
圖5是本實用新型提供的數據處理系統的一實施例的結構示意圖;
圖6是本實用新型提供的數據處理系統的一實施例的結構示意圖;
圖7是本實用新型提供的數據解析裝置的一實施例的結構示意圖;
圖8是本實用新型提供的數據處理系統的一實施例的結構示意圖。
具體實施方式
為使本實用新型的目的、技術方案和優(yōu)點更加清楚,下面將結合本實用新型具體實施例及相應的附圖對本實用新型技術方案進行清楚、完整地描述。顯然,所描述的實施例僅是本實用新型一部分實施例,而不是全部的實施例?;诒緦嵱眯滦椭械膶嵤├?,本領域普通技術人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例,都屬于本實用新型保護的范圍。
需要說明的是,本實用新型的說明書和權利要求書及上述附圖中的術語“第一”、“第二”等是用于區(qū)別類似的對象,而不必用于描述特定的順序或先后次序。應該理解這樣使用的數據在適當情況下可以互換, 以便這里描述的本實用新型的實施例能夠以除了在這里圖示或描述的那些以外的順序實施。此外,術語“包括”和“具有”以及他們的任何變形,意圖在于覆蓋不排他的包含,例如,包含了一系列步驟或單元的過程、方法、系統、產品或設備不必限于清楚地列出的那些步驟或單元,而是可包括沒有清楚地列出的或對于這些過程、方法、產品或設備固有的其它步驟或單元。
圖1是本實用新型提供的數據接收服務器的一實施例的結構示意圖。
本實用新型一具體實施方式,如圖1所示。本實用新型實施方式提供的數據接收服務器11,包括數據接收裝置111和第一存儲裝置113。
數據接收裝置111,用于通過至少一個連接接收來自客戶端數據。例如,數據接收裝置111通過一連接連接至客戶端,或者數據接收裝置111連接至網絡模塊,網絡模塊再進一步連接至一個或多個客戶端。
可選地,網絡模塊包括GPRS模塊、3G/4G模塊、Wi-Fi模塊等。
可選地,客戶端包括家用電器、電腦、可穿戴設備、各種傳感器等可監(jiān)測數據和/或需要進行控制的終端中的至少一種。
第一存儲裝置113,包括至少一個第一存儲單元1131和至少一個第二存儲單元1133。
第一存儲單元1131中的每一個與所述數據接收單元的每一個連接相對應。
例如,數據接收裝置與N個網絡模塊連接形成N個連接,則包括N個第一存儲單元,每一個第一存儲單元與N個連接中的每一個相對應。可選地,第一存儲單元包括緩存器。
第二存儲單元1133中的每一個與至少一個所述客戶端的屬性中的每一個相對應。
例如,客戶端屬性可以包括客戶端的類型和客戶端所在的區(qū)域。例如,假設對某一寫字樓內的客戶端進行監(jiān)測,可以根據待監(jiān)測客戶端的類型分配第二存儲單元,例如將寫字樓的客戶端分為三種類型:空調、攝像頭、照明。則包括三個第二存儲單元,分別存儲三種不同類型的客戶端的數據。
再例如,根據寫字樓的樓層分配第二存儲單元,對于21層的辦公區(qū)域,分配21個第二存儲單元,每一層的客戶端的數據對應一個第二存儲單元。
本領域技術人員根據以上示例可以明了,也可以根據客戶端類型以及所在區(qū)域,或者其它客戶端屬性確定第二存儲單元??蛇x地,第二存儲單元包括緩存器。
本實用新型一具體實施方式,結合本實用新型其他實施方式的各個方面。如圖2所示。本實用新型實施方式提供的數據接收服務器21,包括數據接收裝置211和第一存儲裝置213以及控制裝置216。
數據接收裝置211,用于通過至少一個連接接收來自客戶端數據。例如,數據接收裝置211通過一連接連接至客戶端,或者數據接收裝置211連接至網絡模塊,網絡模塊再進一步連接至一個或多個客戶端。
可選地,網絡模塊包括GPRS模塊、3G/4G模塊、Wi-Fi模塊等。
可選地,客戶端包括家用電器、電腦、可穿戴設備、各種傳感器等可監(jiān)測數據和/或需要進行控制的終端中的至少一種。
第一存儲裝置213,包括至少一個第一存儲單元和至少一個第二存儲單元。
第一存儲單元中的每一個與數據接收單元的每一個連接相對應。
例如,數據接收裝置與N個網絡模塊連接形成N個連接,則包括N個第一存儲單元,每一個第一存儲單元與N個連接中的每一個相對應。 可選地,第一存儲單元包括緩存器。
第二存儲單元中的每一個與至少一個所述客戶端的屬性中的每一個相對應。
例如,客戶端屬性可以包括客戶端的類型和客戶端所在的區(qū)域。例如,假設對某一寫字樓內的客戶端進行監(jiān)測,可以根據待監(jiān)測客戶端的類型分配第二存儲單元,例如將寫字樓的客戶端分為三種類型:空調、攝像頭、照明。則包括三個第二存儲單元,分別存儲三種不同類型的客戶端的數據。
再例如,根據寫字樓的樓層分配第二存儲單元,對于21層的辦公區(qū)域,分配21個第二存儲單元,每一層的客戶端的數據對應一個第二存儲單元。
本領域技術人員根據以上示例可以明了,也可以根據客戶端類型以及所在區(qū)域,或者其它客戶端屬性確定第二存儲單元??蛇x地,第二存儲單元包括緩存器。
控制裝置216,用于當第一存儲單元存儲的數據大于等于第一閾值A時或者第一存儲單元對應的連接中斷時,將第一存儲單元存儲的數據分配至與數據相對應的第二存儲單元中。
例如,某一第一存儲單元的存儲的數據大于等于A時,或者該存儲單元相應的連接中斷時,此時將第一存儲單元的數據存儲至第二存儲單元,例如第二存儲單元與空調、攝像頭、照明三種客戶端類型相對應,則將第一存儲單元存儲的數據分別存儲至對應客戶端類型的第二存儲單元。
在本實用新型一具體實施方式中,結合其他實施方式的各個方面。除了控制裝置216之外,數據接收服務器還可以包括第二存儲器215。
可選地,第二存儲器215可以是本地服務器??刂蒲b置216用于當 第二存儲單元存儲的數據大于等于第二閾值B時,將第二存儲單元存儲的數據保存至第二存儲裝置215中。
本實用新型一具體實施方式,提供數據處理系統包括如本實用新型各實施方式提供的數據接收服務器。
圖3是本實用新型提供的數據處理系統的一實施例的結構示意圖。
本實用新型一具體實施方式,結合本實用新型其他實施方式的各個方面。如圖3所示,數據處理系統3包括數據接收服務器31和數據轉發(fā)服務器33。
其中數據接收服務器31包括本實用新型各實施方式提供的數據接收服務器的各個方面。
圖4是本實用新型提供的數據轉發(fā)服務器的一實施例的結構示意圖
如圖4所示,數據轉發(fā)服務器33包括第三存儲單元331和第四存儲單元333和轉發(fā)控制單元335,
第三存儲單元331,用于存儲已建立連接的客戶端。
第四存儲單元333,用于存儲已建立連接的網絡模塊,以及與監(jiān)聽已建立連接的網絡模塊的全部客戶端。
轉發(fā)控制單元335,用于根據轉發(fā)模式,根據所述第三存儲單元或所述第四存儲單元將待轉發(fā)的數據轉發(fā)至已建立連接的客戶端或監(jiān)聽已建立連接的網絡模塊的全部客戶端。
轉發(fā)模式包括第一轉發(fā)模式和第二轉發(fā)模式,第一轉發(fā)模式包括將數據轉發(fā)至已建立連接的客戶端。第二轉發(fā)模式包括將數據轉發(fā)至已連接的網絡模塊,并進一步轉發(fā)至監(jiān)聽該網絡模塊的全部客戶端。
圖5是本實用新型提供的數據處理系統的一實施例的結構示意圖。本實用新型一具體實施方式提供的數據處理系統4包括數據接收服務器41和第三存儲裝置45,以及上傳控制器43。
其中數據接收服務器41包括本實用新型各實施方式提供的數據接收服務器的各個方面。
上傳控制器43,用于將第二存儲裝置中的新數據上傳至第三存儲裝置45中,和/或將第二存儲單元中的數據上傳至第三存儲裝置45中。
在本實用新型提供的一具體實施方式中,第三存儲裝置45包括HDFS存儲器。
圖6是本實用新型提供的數據處理系統的一實施例的結構示意圖。
本實用新型一具體實施方式,結合本實用新型各實施方式的各個方面。數據處理系統5包括數據接收服務器51、第三存儲裝置55、上傳控制器53和數據解析裝置57。
其中數據接收服務器51包括本實用新型各實施方式提供的數據接收服務器的各個方面。
上傳控制器53,用于將第二存儲裝置中的新數據上傳至第三存儲裝置55中,和/或將第二存儲單元中的數據上傳至第三存儲裝置55中。
在本實用新型提供的一具體實施方式中,第三存儲裝置55包括HDFS存儲器。
圖7是本實用新型提供的數據解析裝置的一實施例的結構示意圖。數據解析裝置57如圖7所示。
數據解析裝置57包括數據接口單元571,解析數據分配單元573,以及至少一個解析數據處理單元575。
數據接口單元571,用于接收來自第三存儲裝置的待解析的數據。
解析數據分配單元573,用于根據所述解析數據處理單元的處理能力和/或數據負荷將待解析數據分配至所述至少一個解析數據處理單元。
解析數據處理單元575,用于解析待解析數據形成解析后的數據。
解析數據分配單元573能夠合理調配解析資源,使得各解析處理單 元處理的數據量與處理能力相匹配,能夠有效地減少數據擁塞,保證數據的準確性和安全性。
圖8是本實用新型提供的數據處理系統的一實施例的結構示意圖。
本實用新型一具體實施方式,結合本實用新型各實施方式的各個方面。數據處理系統6包括數據接收服務器61、第三存儲裝置65、上傳控制器63、數據解析裝置67、和第四存儲裝置69。
其中數據接收服務器61包括本實用新型各實施方式提供的數據接收服務器的各個方面。
上傳控制器63,用于將第二存儲裝置中的新數據上傳至第三存儲裝置65中,和/或將第二存儲單元中的數據上傳至第三存儲裝置65中。
在本實用新型提供的一具體實施方式中,第三存儲裝置65包括HDFS存儲器。
數據解析裝置67包括數據接口單元,解析數據分配單元,以及至少一個解析數據處理單元。
數據接口單元,用于接收來自第三存儲裝置的待解析的數據。
解析數據分配單元,用于根據所述解析數據處理單元的處理能力和/或數據負荷將待解析數據分配至所述至少一個解析數據處理單元。
解析數據處理單元,用于解析待解析數據形成解析后的數據。
解析數據分配單元能夠合理調配解析資源,使得各解析處理單元處理的數據量與處理能力相匹配,能夠有效地減少數據擁塞,保證數據的準確性和安全性。
第四存儲裝置69用于存儲所述解析后的數據,所述客戶端能夠對第四存儲裝置的數據進行處理。
例如,第四存儲包含但不限于SQL等數據庫系統。
綜上所述,本實用新型具體實施方式提供的方案能夠提高數據處理 的效率,合理分配系統資源,進而提高數據的安全性。
本文中所描述的功能可在硬件、由處理器執(zhí)行的軟件、固件或其任何組合中實施。如果在由處理器執(zhí)行的軟件中實施,那么可將功能作為一或多個指令或代碼存儲于計算機可讀媒體上或經由計算機可讀媒體予以傳輸。其它實例及實施方案在本實用新型及所附權利要求書的范圍及精神內。舉例來說,歸因于軟件的性質,上文所描述的功能可使用由處理器、硬件、固件、硬連線或這些中的任何者的組合執(zhí)行的軟件實施。此外,各功能單元可以集成在一個處理單元中,也可以是各個單元單獨物理存在,也可以兩個或兩個以上單元集成在一個單元中。
在本申請所提供的幾個實施例中,應該理解到,所揭露的技術內容,可通過其它的方式實現。其中,以上所描述的裝置實施例僅僅是示意性的,例如所述單元的劃分,可以為一種邏輯功能劃分,實際實現時可以有另外的劃分方式,例如多個單元或組件可以結合或者可以集成到另一個系統,或一些特征可以忽略,或不執(zhí)行。另一點,所顯示或討論的相互之間的耦合或直接耦合或通信連接可以是通過一些接口,單元或模塊的間接耦合或通信連接,可以是電性或其它的形式。
所述作為分離部件說明的單元可以是或者也可以不是物理上分開的,作為控制裝置的部件可以是或者也可以不是物理單元,即可以位于一個地方,或者也可以分布到多個單元上??梢愿鶕嶋H的需要選擇其中的部分或者全部單元來實現本實施例方案的目的。
所述集成的單元如果以軟件功能單元的形式實現并作為獨立的產品銷售或使用時,可以存儲在一個計算機可讀取存儲介質中。基于這樣的理解,本實用新型的技術方案本質上或者說對現有技術做出貢獻的部分或者該技術方案的全部或部分可以以軟件產品的形式體現出來,該計算機軟件產品存儲在一個存儲介質中,包括若干指令用以使得一臺計算機 設備(可為個人計算機、服務器或者網絡設備等)執(zhí)行本實用新型各個實施例所述方法的全部或部分步驟。而前述的存儲介質包括:U盤、只讀存儲器(ROM,Read-Only Memory)、隨機存取存儲器(RAM,Random Access Memory)、移動硬盤、磁碟或者光盤等各種可以存儲程序代碼的介質。
以上所述僅為本實用新型的實施例而已,并不用于限制本實用新型,對于本領域的技術人員來說,本實用新型可以有各種更改和變化。凡在本實用新型的精神和原則之內,所作的任何修改、等同替換、改進等,均應包含在本實用新型的權利要求范圍之內。