亚洲成年人黄色一级片,日本香港三级亚洲三级,黄色成人小视频,国产青草视频,国产一区二区久久精品,91在线免费公开视频,成年轻人网站色直接看

支持海量采集終端的分布式內(nèi)存實時存儲裝置及方法與流程

文檔序號:12038996閱讀:來源:國知局
支持海量采集終端的分布式內(nèi)存實時存儲裝置及方法與流程

技術(shù)特征:
1.一種支持海量采集終端的分布式內(nèi)存實時存儲裝置,包括主控服務(wù)器和至少一個數(shù)據(jù)服務(wù)器,所述的主控服務(wù)器與數(shù)據(jù)服務(wù)器通訊,其特征在于:所述的主控服務(wù)器,其用于從系統(tǒng)數(shù)據(jù)庫中讀取終端檔案信息表,并將所讀取的終端檔案信息表分割成多個檔案塊,并將每個檔案塊分配到所轄數(shù)據(jù)服務(wù)器,在所述的主控服務(wù)器內(nèi)存中存儲記錄了終端檔案信息表的分割情況及檔案塊存儲情況的檔案塊元數(shù)據(jù),并提供所轄數(shù)據(jù)服務(wù)器當(dāng)前負(fù)載情況查詢及比較功能;所述的數(shù)據(jù)服務(wù)器,用于接收主控服務(wù)器分配的檔案塊,以多個檔案塊的形式將終端檔案信息表存儲在內(nèi)存中,并面向電量計算任務(wù)模塊提供查詢功能,數(shù)據(jù)服務(wù)器數(shù)量設(shè)置多個并能實現(xiàn)動態(tài)增減;所述主控服務(wù)器還包括以下模塊:檔案分配模塊,用于從系統(tǒng)數(shù)據(jù)庫中讀取終端檔案信息表,將其分割成多個檔案塊并分配到所轄數(shù)據(jù)服務(wù)器;檔案分配模塊根據(jù)終端檔案信息表的實際情況配置檔案塊的大小,從終端檔案信息表中按終端編號從小至大的順序讀取檔案信息,當(dāng)讀入的終端檔案信息達到配置大小時,打包形成一個檔案塊;因此檔案塊元數(shù)據(jù)的檔案表分割情況中只需記錄第一個及最后一個存入該檔案塊的終端編號;檔案元數(shù)據(jù)存儲模塊,用于存儲檔案分配模塊形成的檔案塊元數(shù)據(jù),提供基于終端編號的檔案塊位置查詢;負(fù)載比較模塊,用于查詢所轄數(shù)據(jù)服務(wù)器當(dāng)前的負(fù)載情況,在此基礎(chǔ)上比較所轄數(shù)據(jù)服務(wù)器的負(fù)載大小,得出負(fù)載最小的數(shù)據(jù)服務(wù)器。2.如權(quán)利要求1所述的分布式內(nèi)存實時存儲裝置,其特征在于:所述數(shù)據(jù)服務(wù)器還包括以下模塊:檔案管理模塊,用于接收檔案分配模塊分配的檔案塊;檔案存儲模塊,用于存儲檔案塊的實際數(shù)據(jù),并接受檔案查詢模塊的查詢;檔案查詢模塊,用于提供數(shù)據(jù)服務(wù)器的負(fù)載信息以及實現(xiàn)終端檔案信息表的查詢,并面向電量計算任務(wù)模塊提供查詢功能。3.如權(quán)利要求2所述的分布式內(nèi)存實時存儲裝置,其特征在于:所述的每個數(shù)據(jù)服務(wù)器的檔案管理模塊之間能相互復(fù)制。4.如權(quán)利要求1所述的分布式內(nèi)存實時存儲裝置,其特征在于:所述的負(fù)載比較模塊能查詢數(shù)據(jù)服務(wù)器的檔案查詢模塊。5.如權(quán)利要求1所述的分布式內(nèi)存實時存儲裝置,其特征在于:所述的負(fù)載比較模塊查 詢到負(fù)載最小的數(shù)據(jù)服務(wù)器后,發(fā)送給電量計算任務(wù)模塊。6.一種支持海量采集終端的分布式內(nèi)存實時存儲裝置的存儲方法,其特征在于,包括以下步驟:(1)主控服務(wù)器的檔案分配模塊根據(jù)終端檔案信息表的實際情況配置檔案塊的大小,從終端檔案信息表中按終端編號從小至大的順序讀取檔案信息,當(dāng)讀入的終端檔案信息達到配置大小時,打包形成一個檔案塊;因此檔案塊元數(shù)據(jù)的檔案表分割情況中只需記錄第一個及最后一個存入該檔案塊的終端編號,減小了檔案塊元數(shù)據(jù)所占用的內(nèi)存;(2)為保證檔案數(shù)據(jù)的高可靠性,為每個檔案塊設(shè)置n個副本;檔案分配模塊的分配方式是將一個檔案塊分配到n個不同的數(shù)據(jù)服務(wù)器進行存儲,并保證其n個不同的數(shù)據(jù)服務(wù)器中位于不同的機架上,其中n為自然數(shù),且n≥3;(3)將檔案塊元數(shù)據(jù)寫入檔案元數(shù)據(jù)存儲模塊,將檔案的實際數(shù)據(jù)寫入分配的數(shù)據(jù)服務(wù)器中;(4)數(shù)據(jù)服務(wù)器中的檔案管理模塊接收檔案分配模塊分配的檔案塊存入檔案存儲模塊,終端檔案數(shù)據(jù)以流水線的方式從檔案分配模塊寫入第一個數(shù)據(jù)服務(wù)器檔案存儲模塊,從第一個復(fù)制到第二個,從第二個復(fù)制到第三個,依次輪推,直到從第n-1個復(fù)制到n個。7.如權(quán)利要求6所述的存儲方法,其特征在于,所述的步驟(4)中的檔案塊寫入數(shù)據(jù)服務(wù)器的同時,檔案分配模塊繼續(xù)接收終端檔案信息表中的數(shù)據(jù);檔案分配模塊定期從系統(tǒng)數(shù)據(jù)庫中讀取采集終端檔案信息表,重復(fù)以上存儲過程,實現(xiàn)檔案信息的同步。8.如權(quán)利要求6所述的存儲方法,其特征在于:在步驟(4)的檔案存儲完成后,面向電量計算任務(wù)模塊的檔案查詢是由電量計算任務(wù)模塊發(fā)起的,包括以下步驟:(1)首先電量計算任務(wù)模塊與檔案塊元數(shù)據(jù)存儲模塊通信,查詢?nèi)蝿?wù)涉及終端所屬的檔案塊及檔案塊位置;終端編號位于某檔案塊的編號區(qū)間內(nèi),則返回這一檔案塊所處的數(shù)據(jù)服務(wù)器信息;轉(zhuǎn)到步驟(2);(2)將數(shù)據(jù)服務(wù)器信息輸入負(fù)載比較模塊,通過與數(shù)據(jù)服務(wù)器的檔案查詢模塊通信,查詢比較這些數(shù)據(jù)服務(wù)器的負(fù)載情況,向電量計算任務(wù)模塊返回負(fù)載最小的數(shù)據(jù)服務(wù)器信息;(3)電量計算任務(wù)模塊向該服務(wù)器發(fā)起查詢,檔案查詢模塊接受查詢指令,在檔案存儲模塊中進行匹配查詢,向電量計算任務(wù)模塊返回終端檔案信息,完成檔案查詢。
當(dāng)前第2頁1 2 3 
網(wǎng)友詢問留言 已有0條留言
  • 還沒有人留言評論。精彩留言會獲得點贊!
1