云計(jì)算資源分配方法及系統(tǒng)的制作方法
【專利摘要】本發(fā)明提供了一種云計(jì)算資源分配方法及系統(tǒng)。所述方法包括在云計(jì)算集群系統(tǒng)中接受用戶訪問,對(duì)于不同的服務(wù)類型,由內(nèi)容服務(wù)處理模塊分配不同的服務(wù)端口號(hào),通過數(shù)據(jù)的統(tǒng)一連續(xù)存儲(chǔ)實(shí)現(xiàn)云計(jì)算資源的整合。本發(fā)明針對(duì)數(shù)據(jù)存儲(chǔ)進(jìn)行了連續(xù)化存儲(chǔ),以平衡云計(jì)算集群的資源剩余量。不僅提高了資源的利用率,還可以改善用戶體驗(yàn)。
【專利說明】云計(jì)算資源分配方法及系統(tǒng)
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及網(wǎng)絡(luò)計(jì)算領(lǐng)域,特別涉及云計(jì)算資源分配與服務(wù)整合的方法和系統(tǒng)?!颈尘凹夹g(shù)】
[0002]云計(jì)算是把大量計(jì)算資源集中到一個(gè)公共資源池中,通過租用的方式共享計(jì)算資源。云計(jì)算應(yīng)用的獨(dú)特性在于它是完全建立在可自我維護(hù)和管理的虛擬資源層上。隨著云技術(shù)的發(fā)展,使用者可以按不同需求動(dòng)態(tài)改變需要訪問的資源和服務(wù)的種類和數(shù)量。云計(jì)算在用戶應(yīng)用中根據(jù)服務(wù)類型分類主要包括數(shù)據(jù)服務(wù)器服務(wù)、用戶數(shù)據(jù)終端服務(wù)和大數(shù)據(jù)存儲(chǔ)服務(wù)。以上三種服務(wù)都依托于云存儲(chǔ)的動(dòng)態(tài)擴(kuò)展和集中式管理方式,加上虛擬化技術(shù)來實(shí)現(xiàn)。
[0003]數(shù)據(jù)服務(wù)器服務(wù)應(yīng)用的主要的對(duì)象為私營業(yè)主,對(duì)于小私營業(yè)主或者個(gè)人來說,獨(dú)立購買一套服務(wù)器建立自己的獨(dú)立網(wǎng)站,需要專門的人來維護(hù),成本太高,就采用租用供應(yīng)商地址空間的方式,供應(yīng)商使用云計(jì)算技術(shù),在云計(jì)算集群服務(wù)器中根據(jù)客戶需求虛擬出一個(gè)符合客戶需求的磁盤空間用于存儲(chǔ)客戶的網(wǎng)站內(nèi)容,這種動(dòng)態(tài)租用可以大大減少成本。用戶數(shù)據(jù)終端服務(wù)主要是針對(duì)企業(yè)部門員工工作,當(dāng)一個(gè)企業(yè)需要客戶在一個(gè)相對(duì)安全的環(huán)境中移動(dòng)辦公時(shí),可以采用租用虛擬PC的方式,這種租用方式對(duì)企業(yè)來說,員工可以使用任何PC,遠(yuǎn)程登錄到供應(yīng)商提供的虛擬PC上進(jìn)行工作,當(dāng)員工需要在家辦公時(shí),也可以直接登錄到供應(yīng)商的虛擬PC中繼續(xù)進(jìn)行工作,這種方式只需要用戶擁有自己的獨(dú)立用戶名密碼,通過外網(wǎng)訪問供應(yīng)商提供的IP地址進(jìn)行登錄即可,簡單方便,對(duì)于企業(yè)人員流動(dòng)性大的特點(diǎn)來說,也大大節(jié)約了成本。在大數(shù)據(jù)存儲(chǔ)服務(wù)中,用戶通過遠(yuǎn)程備份數(shù)據(jù)的方式,對(duì)數(shù)據(jù)進(jìn)行實(shí)時(shí)的備份和提取,保證重要數(shù)據(jù)的安全。
[0004]針對(duì)以上三種云計(jì)算服務(wù),如果整合到一個(gè)云計(jì)算存儲(chǔ)系統(tǒng)中,對(duì)供應(yīng)商和用戶而言都是非常有益的。然而,現(xiàn)有技術(shù)主要采用的是以下兩種方式進(jìn)行服務(wù)整合。一是使用物理劃分的方式,也就是對(duì)每一種場景分別獨(dú)立出一個(gè)物理存儲(chǔ)空間和控制終端,對(duì)用戶提供不同的外網(wǎng)端口,簡單的將功能進(jìn)行劃分。第二種是采用集中式計(jì)算量劃分,區(qū)分式物理劃分的方式,對(duì)用戶來說是一個(gè)訪問外網(wǎng)地址,針對(duì)一級(jí)頁面進(jìn)入之后選取業(yè)務(wù)類型再進(jìn)行二次識(shí)別。
[0005]從上述兩種機(jī)制中明顯看出,其容易導(dǎo)致的缺點(diǎn)是,無法平衡三種業(yè)務(wù)之間的資源空閑度。也就是說有的業(yè)務(wù)可能已經(jīng)使用了將近90%的硬盤的計(jì)算資源,有的可能才使用50%。對(duì)于集中式計(jì)算量劃分,對(duì)內(nèi)來說實(shí)質(zhì)上只是簡單的使用了一個(gè)分流的識(shí)別裝置,并不是真正意義的云計(jì)算模式整合,無法充分利用資源。
[0006]針對(duì)相關(guān)技術(shù)中所存在的上述問題,目前尚未提出有效的解決方案。
【發(fā)明內(nèi)容】
[0007]本發(fā)明的目的是提供一種云計(jì)算資源分配的方法和系統(tǒng),使多種業(yè)務(wù)可以不通過物理方式劃分而虛擬到資源中,以平衡云計(jì)算集群的資源剩余量。[0008]根據(jù)本發(fā)明的一個(gè)方面,提供了一種云計(jì)算資源分配方法,用于在云計(jì)算集群系統(tǒng)中針對(duì)不同的服務(wù)類型,通過數(shù)據(jù)的統(tǒng)一連續(xù)存儲(chǔ)實(shí)現(xiàn)云計(jì)算資源的分配,所述方法包括以下步驟:步驟S101,利用統(tǒng)一入口接受終端用戶對(duì)所述云計(jì)算集群服務(wù)器的訪問;步驟S102,當(dāng)發(fā)現(xiàn)用戶訪問時(shí),根據(jù)用戶終端的消息截獲服務(wù)信息碼,對(duì)數(shù)據(jù)流進(jìn)行服務(wù)識(shí)另O,獲取服務(wù)類型;步驟S103,內(nèi)容服務(wù)處理模塊分配不同的服務(wù)端口號(hào);步驟S104,在需要存儲(chǔ)數(shù)據(jù)時(shí),采用混合連續(xù)的存儲(chǔ)方式進(jìn)行多種業(yè)務(wù)的存儲(chǔ)。
[0009]優(yōu)選的,所述步驟SlOl中,使用統(tǒng)一登錄外網(wǎng)頁面地址來接收用戶終端的訪問。
[0010]優(yōu)選的,所述步驟S102還包括,當(dāng)發(fā)現(xiàn)用戶訪問時(shí),解析用戶會(huì)話中所包含的報(bào)文,獲取報(bào)文中用于標(biāo)識(shí)所請(qǐng)求的服務(wù)類型的字段,從而確定并獲取服務(wù)類型。
[0011]優(yōu)選的,所述步驟S103還包括,由內(nèi)容服務(wù)處理模塊分配不同的讀取數(shù)據(jù)端口號(hào)和寫入數(shù)據(jù)端口號(hào)。
[0012]優(yōu)選的,所述步驟S104還包括:記錄數(shù)據(jù)的起始節(jié)點(diǎn)位置;當(dāng)數(shù)據(jù)記錄結(jié)束時(shí),記錄數(shù)據(jù)的末尾節(jié)點(diǎn)位置;以及當(dāng)存在需要存儲(chǔ)的下一數(shù)據(jù)時(shí),如果是相同的數(shù)據(jù)類型,則將上一個(gè)節(jié)點(diǎn)的末尾位置標(biāo)記為下一個(gè)節(jié)點(diǎn)的起始位置,以使每種數(shù)據(jù)類型的數(shù)據(jù)存儲(chǔ)分別形成一個(gè)鏈表結(jié)構(gòu)。
[0013]優(yōu)選的,當(dāng)用戶訪問以請(qǐng)求讀取數(shù)據(jù)時(shí),首先獲得第一個(gè)節(jié)點(diǎn)位置,在所述鏈表結(jié)構(gòu)中不斷遍歷下一個(gè)節(jié)點(diǎn)位置,以得到相同服務(wù)類型的任一數(shù)據(jù)。
[0014]優(yōu)選的,所述服務(wù)類型包括:數(shù)據(jù)服務(wù)器服務(wù)、用戶數(shù)據(jù)終端服務(wù)和大數(shù)據(jù)存儲(chǔ)服務(wù)。
[0015]優(yōu)選的,在所述數(shù)據(jù)服務(wù)器服務(wù)中,所述云計(jì)算集群系統(tǒng)對(duì)用戶提供地址空間租用,即將用戶的網(wǎng)站掛靠到集群系統(tǒng)中;在用戶數(shù)據(jù)終端服務(wù)中,所述用戶租用云計(jì)算集群系統(tǒng)的虛擬PC工作站,作為終端業(yè)務(wù)處理;在大數(shù)據(jù)存儲(chǔ)服務(wù)中,所述用戶將數(shù)據(jù)傳遞到云計(jì)算集群系統(tǒng)的地址虛擬硬盤空間中,通過遠(yuǎn)程備份數(shù)據(jù)的方式,對(duì)數(shù)據(jù)進(jìn)行實(shí)時(shí)的備份和提取。
[0016]根據(jù)本發(fā)明的另一方面,提供了一種云計(jì)算集群系統(tǒng),用于針對(duì)不同的服務(wù)類型通過數(shù)據(jù)的統(tǒng)一連續(xù)存儲(chǔ)方式實(shí)現(xiàn)云計(jì)算資源的分配,所述系統(tǒng)包括以下模塊:用戶接口模塊201,用于利用統(tǒng)一入口接受終端用戶對(duì)所述系統(tǒng)的訪問;服務(wù)識(shí)別模塊202,用于當(dāng)發(fā)現(xiàn)用戶訪問時(shí),根據(jù)用戶終端的消息截獲服務(wù)信息碼,對(duì)數(shù)據(jù)流自動(dòng)進(jìn)行服務(wù)識(shí)別,獲取服務(wù)類型;內(nèi)容服務(wù)處理模塊203,用于在確定服務(wù)類型之后分配不同的服務(wù)端口號(hào);以及存儲(chǔ)整合模塊204,用于在需要存儲(chǔ)數(shù)據(jù)時(shí),采用混合連續(xù)的存儲(chǔ)方式進(jìn)行多種業(yè)務(wù)的存儲(chǔ)。
[0017]優(yōu)選的,所述用戶接口模塊201包括統(tǒng)一登錄外網(wǎng)頁面,利用該頁面地址來接收用戶終端的訪問。
[0018]優(yōu)選的,所述服務(wù)識(shí)別模塊202進(jìn)一步包括報(bào)文解析模塊,用于解析用戶會(huì)話中所包含的報(bào)文,獲取報(bào)文中用于標(biāo)識(shí)所請(qǐng)求的服務(wù)類型的字段,從而確定并獲取服務(wù)類型。
[0019]優(yōu)選的,所述內(nèi)容服務(wù)處理模塊203還用于為服務(wù)分配不同的讀取數(shù)據(jù)端口號(hào)和寫入數(shù)據(jù)端口號(hào)。
[0020]優(yōu)選的,所述存儲(chǔ)整合模塊204進(jìn)一步執(zhí)行下述操作:記錄數(shù)據(jù)的起始節(jié)點(diǎn)位置;當(dāng)數(shù)據(jù)記錄結(jié)束時(shí),記錄數(shù)據(jù)的末尾節(jié)點(diǎn)位置;以及當(dāng)存在需要存儲(chǔ)的下一數(shù)據(jù)時(shí),如果是相同的數(shù)據(jù)類型,則將上一個(gè)節(jié)點(diǎn)的末尾位置標(biāo)記為下一個(gè)節(jié)點(diǎn)的起始位置,以使每種數(shù)據(jù)類型的數(shù)據(jù)存儲(chǔ)分別形成一個(gè)鏈表結(jié)構(gòu)。
[0021]優(yōu)選的,所述服務(wù)識(shí)別模塊202在用戶請(qǐng)求讀取該系統(tǒng)中的數(shù)據(jù)時(shí),首先獲得第一個(gè)節(jié)點(diǎn)位置,在所述鏈表結(jié)構(gòu)中不斷遍歷下一個(gè)節(jié)點(diǎn)位置,以得到相同服務(wù)類型的任一數(shù)據(jù)。
[0022]優(yōu)選的,所述服務(wù)類型包括:數(shù)據(jù)服務(wù)器服務(wù)、用戶數(shù)據(jù)終端服務(wù)和大數(shù)據(jù)存儲(chǔ)服務(wù)。
[0023]優(yōu)選的,本發(fā)明的上述方法和系統(tǒng)使用Mongo數(shù)據(jù)存儲(chǔ)引擎,其配置為schmafree形式的nosql,并使用復(fù)合文檔,利用Mongo分片方式,數(shù)據(jù)擴(kuò)容對(duì)應(yīng)用端透明,采用Mongo的代理機(jī)制支持跨分片的查詢和提取,在Mongo的mapreduce計(jì)算框架中,以腳本的方式實(shí)時(shí)執(zhí)行統(tǒng)計(jì)任務(wù),為平臺(tái)提供數(shù)據(jù)統(tǒng)計(jì)支持,并且在spring data Mongo框架中,實(shí)現(xiàn)快速的數(shù)據(jù)映射。
[0024]通過采用本發(fā)明技術(shù)方案,云計(jì)算集群的多種服務(wù)類型可以在同一個(gè)計(jì)算資源下進(jìn)行整合,而不是簡單地通過物理方式劃分,針對(duì)數(shù)據(jù)存儲(chǔ)進(jìn)行了連續(xù)化存儲(chǔ),因而所有的存儲(chǔ)空間都有效的連續(xù)利用起來,以平衡云計(jì)算集群的資源剩余量。因此不僅提高了資源的利用率,還可以改善用戶體驗(yàn)。
【專利附圖】
【附圖說明】
[0025]此處所說明的附圖用來提供對(duì)本發(fā)明的進(jìn)一步理解,構(gòu)成本申請(qǐng)的一部分,本發(fā)明的示意性實(shí)施例及其說明用于解釋本發(fā)明,并不構(gòu)成對(duì)本發(fā)明的過分限定。其中:
[0026]圖1顯示了根據(jù)本發(fā)明實(shí)施例的云計(jì)算資源分配方法的流程圖;
[0027]圖2顯示了根據(jù)本發(fā)明實(shí)施例的用于云計(jì)算資源分配的云計(jì)算集群系統(tǒng)的結(jié)構(gòu)圖。
【具體實(shí)施方式】
[0028]為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚明了,下面結(jié)合【具體實(shí)施方式】并參照附圖,對(duì)本發(fā)明進(jìn)一步詳細(xì)說明。需要說明的是,本申請(qǐng)中的實(shí)施例及實(shí)施例中的特征可以相互組合。下面將參考附圖并結(jié)合實(shí)施例來詳細(xì)說明本發(fā)明。
[0029]圖1顯示了根據(jù)本發(fā)明實(shí)施例的云計(jì)算資源分配方法的流程圖。
[0030]如圖1所示,本發(fā)明提供的方法應(yīng)用在一個(gè)云計(jì)算集群服務(wù)器系統(tǒng)中,針對(duì)不同服務(wù)類型的業(yè)務(wù)進(jìn)行再平衡,包括:
[0031]步驟S101,利用統(tǒng)一入口接受終端用戶的訪問。
[0032]接受用戶的訪問的統(tǒng)一入口例如可使用統(tǒng)一登錄外網(wǎng)頁面地址來接收訪問。
[0033]步驟S102,當(dāng)用戶訪問頁面時(shí),根據(jù)用戶終端的消息截獲服務(wù)信息碼,對(duì)數(shù)據(jù)流進(jìn)行自動(dòng)處理服務(wù)識(shí)別。
[0034]如上所述,云計(jì)算集群系統(tǒng)提供的主要服務(wù)可為數(shù)據(jù)服務(wù)器服務(wù)、用戶數(shù)據(jù)終端服務(wù)和大數(shù)據(jù)存儲(chǔ)服務(wù)三種。其中,所述數(shù)據(jù)服務(wù)器服務(wù)指的是云計(jì)算集群系統(tǒng)對(duì)客戶提供地址空間租用,即將用戶的網(wǎng)站掛靠到集群系統(tǒng)中。用戶數(shù)據(jù)終端服務(wù)是指用戶租用云計(jì)算集群系統(tǒng)的虛擬PC工作站,用來作為終端業(yè)務(wù)處理。大數(shù)據(jù)存儲(chǔ)服務(wù)指的是用戶將數(shù)據(jù)傳遞到服務(wù)提供商提供的地址虛擬硬盤空間中,通過遠(yuǎn)程備份數(shù)據(jù)的方式,對(duì)數(shù)據(jù)進(jìn)行實(shí)時(shí)的備份和提取。
[0035]具體地,根據(jù)用戶終端的消息截獲服務(wù)信息碼包括,解析用戶會(huì)話中所包含的報(bào)文,獲取報(bào)文相應(yīng)字段的服務(wù)信息碼,該信息碼用于標(biāo)識(shí)該終端所請(qǐng)求的云計(jì)算集群的服務(wù)類型,例如可包括上述數(shù)據(jù)服務(wù)器服務(wù)、用戶數(shù)據(jù)終端服務(wù)和大數(shù)據(jù)存儲(chǔ)服務(wù)。
[0036]步驟S103,在確定服務(wù)類型后,進(jìn)入內(nèi)容服務(wù)處理模塊,在內(nèi)容處理服務(wù)模塊中,分配不同的服務(wù)端口號(hào)。具體地,每個(gè)服務(wù)關(guān)聯(lián)于讀取數(shù)據(jù)端口號(hào)和寫入數(shù)據(jù)端口號(hào)。
[0037]在一個(gè)實(shí)施例中,對(duì)于以上三種服務(wù)類型,每種服務(wù)分成讀和寫兩個(gè)子服務(wù),即總共6種服務(wù)方式。
[0038]通過以上的服務(wù)和服務(wù)端口號(hào)的方式,將所有的服務(wù)集中在一個(gè)計(jì)算資源下,此方法得益于端口號(hào)的使用,有效地將服務(wù)和兩種類型進(jìn)行了二元編號(hào)區(qū)分。
[0039]步驟S104,在需要數(shù)據(jù)存儲(chǔ)時(shí),采用混合連續(xù)的存儲(chǔ)方式進(jìn)行多種業(yè)務(wù)的存儲(chǔ)。
[0040]在一個(gè)實(shí)施例中,采用鏈表結(jié)構(gòu)對(duì)數(shù)據(jù)進(jìn)行邏輯上的連續(xù)存儲(chǔ)。具體地,當(dāng)有數(shù)據(jù)需要進(jìn)行存儲(chǔ)時(shí),首先記錄數(shù)據(jù)的起始節(jié)點(diǎn)位置,當(dāng)數(shù)據(jù)記錄結(jié)束時(shí),記錄數(shù)據(jù)的末尾位置。
[0041]當(dāng)下一個(gè)數(shù)據(jù)需要記錄時(shí),如果是相同的數(shù)據(jù)類型,則將上一個(gè)節(jié)點(diǎn)的末尾位置標(biāo)記為下一個(gè)節(jié)點(diǎn)的起始位置,以使每種數(shù)據(jù)類型的數(shù)據(jù)存儲(chǔ)分別形成一個(gè)鏈表結(jié)構(gòu)。
[0042]在一個(gè)實(shí)施例中,若用戶提交的一個(gè)待存儲(chǔ)數(shù)據(jù)塊由以下數(shù)據(jù)結(jié)構(gòu)表示:
【權(quán)利要求】
1.一種云計(jì)算資源分配方法,用于在云計(jì)算集群系統(tǒng)中針對(duì)不同的服務(wù)類型,通過數(shù)據(jù)的統(tǒng)一連續(xù)存儲(chǔ)實(shí)現(xiàn)云計(jì)算資源的分配,所述方法包括以下步驟: 步驟S101,利用統(tǒng)一入口接受終端用戶對(duì)所述云計(jì)算集群服務(wù)器的訪問; 步驟S102,當(dāng)發(fā)現(xiàn)用戶訪問時(shí),根據(jù)用戶終端的消息截獲服務(wù)信息碼,對(duì)數(shù)據(jù)流進(jìn)行服務(wù)識(shí)別,獲取服務(wù)類型; 步驟S103,內(nèi)容服務(wù)處理模塊分配不同的服務(wù)端口號(hào); 步驟S104,在需要存儲(chǔ)數(shù)據(jù)時(shí),采用混合連續(xù)的存儲(chǔ)方式進(jìn)行多種業(yè)務(wù)的存儲(chǔ)。
2.根據(jù)權(quán)利要求1所述的方法,在所述步驟SlOl中,使用統(tǒng)一登錄外網(wǎng)頁面地址來接收用戶終端的訪問。
3.根據(jù)權(quán)利要求1所述的方法,所述步驟S102還包括,當(dāng)發(fā)現(xiàn)用戶訪問時(shí),解析用戶會(huì)話中所包含的報(bào)文,獲取報(bào)文中用于標(biāo)識(shí)所請(qǐng)求的服務(wù)類型的字段,從而確定并獲取服務(wù)類型。
4.根據(jù)權(quán)利要求1所述的方法,所述步驟S103還包括,由內(nèi)容服務(wù)處理模塊分配不同的讀取數(shù)據(jù)端口號(hào)和寫入數(shù)據(jù)端口號(hào)。
5.根據(jù)權(quán)利要求1所述的方法,所述步驟S104還包括: 記錄數(shù)據(jù)的起始節(jié)點(diǎn)位置; 當(dāng)數(shù)據(jù)記錄結(jié)束時(shí),記錄數(shù)據(jù)的末尾節(jié)點(diǎn)位置;以及 當(dāng)存在需要存儲(chǔ)的下一數(shù)據(jù)時(shí),如果是相同的數(shù)據(jù)類型,則將上一個(gè)節(jié)點(diǎn)的末尾位置標(biāo)記為下一個(gè)節(jié)點(diǎn)的起始位置,以使每種數(shù)據(jù)類型的數(shù)據(jù)存儲(chǔ)分別形成一個(gè)鏈表結(jié)構(gòu)。
6.根據(jù)權(quán)利要求1-5中任一項(xiàng)所述的方法,其特征在于,當(dāng)用戶訪問以請(qǐng)求讀取數(shù)據(jù)時(shí),首先獲得第一個(gè)節(jié)點(diǎn)位置,在所述鏈表結(jié)構(gòu)中不斷遍歷下一個(gè)節(jié)點(diǎn)位置,以得到相同服務(wù)類型的任一數(shù)據(jù)。
7.根據(jù)權(quán)利要求1-5中任一項(xiàng)所述的方法,所述服務(wù)類型包括:數(shù)據(jù)服務(wù)器服務(wù)、用戶數(shù)據(jù)終端服務(wù)和大數(shù)據(jù)存儲(chǔ)服務(wù)。
8.根據(jù)權(quán)利要求7所述的方法,其特征在于, 在所述數(shù)據(jù)服務(wù)器服務(wù)中,所述云計(jì)算集群系統(tǒng)對(duì)用戶提供地址空間租用,即將用戶的網(wǎng)站掛靠到集群系統(tǒng)中; 在用戶數(shù)據(jù)終端服務(wù)中,所述用戶租用云計(jì)算集群系統(tǒng)的虛擬PC工作站,作為終端業(yè)務(wù)處理; 在大數(shù)據(jù)存儲(chǔ)服務(wù)中,所述用戶將數(shù)據(jù)傳遞到云計(jì)算集群系統(tǒng)的地址虛擬硬盤空間中,通過遠(yuǎn)程備份數(shù)據(jù)的方式,對(duì)數(shù)據(jù)進(jìn)行實(shí)時(shí)的備份和提取。
9.根據(jù)權(quán)利要求1-5中任一項(xiàng)所述的方法,其特征在于, 所述云計(jì)算集群系統(tǒng)使用Mongo數(shù)據(jù)存儲(chǔ)引擎,其配置為schma free形式的nosql,并使用復(fù)合文檔,利用Mongo分片方式,數(shù)據(jù)擴(kuò)容對(duì)應(yīng)用端透明,采用Mongo的代理機(jī)制支持跨分片的查詢和提取,在Mongo的mapreduce計(jì)算框架中,以腳本的方式實(shí)時(shí)執(zhí)行統(tǒng)計(jì)任務(wù),為平臺(tái)提供數(shù)據(jù)統(tǒng)計(jì)支持,并且在spring data Mongo框架中,實(shí)現(xiàn)快速的數(shù)據(jù)映射。
10.一種云計(jì)算集群系統(tǒng),用于針對(duì)不同的服務(wù)類型通過數(shù)據(jù)的統(tǒng)一連續(xù)存儲(chǔ)方式實(shí)現(xiàn)云計(jì)算資源的分配,所述系統(tǒng)包括以下模塊: 用戶接口模塊(201),用于 利用統(tǒng)一入口接受終端用戶對(duì)所述系統(tǒng)的訪問;服務(wù)識(shí)別模塊(202),用于當(dāng)發(fā)現(xiàn)用戶訪問時(shí),根據(jù)用戶終端的消息截獲服務(wù)信息碼,對(duì)數(shù)據(jù)流自動(dòng)進(jìn)行服務(wù)識(shí)別,獲取服務(wù)類型; 內(nèi)容服務(wù)處理模塊(203 ),用于在確定服務(wù)類型之后分配不同的服務(wù)端口號(hào);以及 存儲(chǔ)整合模塊(204),用于在需要存儲(chǔ)數(shù)據(jù)時(shí),采用混合連續(xù)的存儲(chǔ)方式進(jìn)行多種業(yè)務(wù)的存儲(chǔ)。
11.根據(jù)權(quán)利要求10所述的系統(tǒng),所述用戶接口模塊(201)包括統(tǒng)一登錄外網(wǎng)頁面,利用該頁面地址來接收用戶終端的訪問。
12.根據(jù)權(quán)利要求10所述的系統(tǒng),所述服務(wù)識(shí)別模塊(202)進(jìn)一步包括報(bào)文解析模塊,用于解析用戶會(huì)話中所包含的報(bào)文,獲取報(bào)文中用于標(biāo)識(shí)所請(qǐng)求的服務(wù)類型的字段,從而確定并獲取服務(wù)類型。
13.根據(jù)權(quán)利要求10所述的系統(tǒng),所述內(nèi)容服務(wù)處理模塊(203)還用于為服務(wù)分配不同的讀取數(shù)據(jù)端口號(hào)和寫入數(shù)據(jù)端口號(hào)。
14.根據(jù)權(quán)利要求10所述的系統(tǒng),所述存儲(chǔ)整合模塊(204)進(jìn)一步執(zhí)行下述操作: 記錄數(shù)據(jù)的起始節(jié)點(diǎn)位置; 當(dāng)數(shù)據(jù)記錄結(jié)束時(shí),記錄數(shù)據(jù)的末尾節(jié)點(diǎn)位置;以及 當(dāng)存在需要存儲(chǔ)的下一數(shù)據(jù)時(shí),如果是相同的數(shù)據(jù)類型,則將上一個(gè)節(jié)點(diǎn)的末尾位置標(biāo)記為下一個(gè)節(jié)點(diǎn)的起始位置,以使每種數(shù)據(jù)類型的數(shù)據(jù)存儲(chǔ)分別形成一個(gè)鏈表結(jié)構(gòu)。
15.根據(jù)權(quán)利要求10-14中任一項(xiàng)所述的系統(tǒng),所述服務(wù)識(shí)別模塊(202)在用戶請(qǐng)求讀取該系統(tǒng)中的數(shù)據(jù)時(shí),首先獲得第一個(gè)節(jié)點(diǎn)位置,在所述鏈表結(jié)構(gòu)中不斷遍歷下一個(gè)節(jié)點(diǎn)位置,以得到相同服務(wù)類型的任一數(shù)據(jù)。
16.根據(jù)權(quán)利要求10-14中任一項(xiàng)所述的系統(tǒng),所述服務(wù)類型包括:數(shù)據(jù)服務(wù)器服務(wù)、用戶數(shù)據(jù)終端服務(wù)和大數(shù)據(jù)存儲(chǔ)服務(wù)。
17.根據(jù)權(quán)利要 求10-14中任一項(xiàng)所述的系統(tǒng),其特征在于, 所述系統(tǒng)使用Mongo數(shù)據(jù)存儲(chǔ)引擎,其配置為schma free形式的nosql,并使用復(fù)合文檔,利用Mongo分片方式,數(shù)據(jù)擴(kuò)容對(duì)應(yīng)用端透明,采用Mongo的代理機(jī)制支持跨分片的查詢和提取,在Mongo的mapreduce計(jì)算框架中,以腳本的方式實(shí)時(shí)執(zhí)行統(tǒng)計(jì)任務(wù),為平臺(tái)提供數(shù)據(jù)統(tǒng)計(jì)支持,并且在spring data Mongo框架中,實(shí)現(xiàn)快速的數(shù)據(jù)映射。
【文檔編號(hào)】H04L29/08GK103888542SQ201410134313
【公開日】2014年6月25日 申請(qǐng)日期:2014年4月3日 優(yōu)先權(quán)日:2014年1月17日
【發(fā)明者】康暖 申請(qǐng)人:漢柏科技有限公司