本發(fā)明涉及云平臺(tái)領(lǐng)域,具體地說(shuō)是一種云平臺(tái)下有效實(shí)現(xiàn)主機(jī)集群資源調(diào)度的方法。
背景技術(shù):
大數(shù)據(jù)(big data),是指無(wú)法在可承受的時(shí)間范圍內(nèi)用常規(guī)軟件工具進(jìn)行捕捉、管理和處理的數(shù)據(jù)集合。大數(shù)據(jù)的4V特點(diǎn):Volume(大量)、Velocity(高速)、Variety(多樣)、Value(價(jià)值)。
從技術(shù)上看,大數(shù)據(jù)與云計(jì)算的關(guān)系就像一枚硬幣的正反面一樣密不可分。大數(shù)據(jù)必然無(wú)法用單臺(tái)的計(jì)算機(jī)進(jìn)行處理,必須采用分布式計(jì)算架構(gòu)。它的特色在于對(duì)海量數(shù)據(jù)的挖掘,但它必須依托云計(jì)算的分布式處理、分布式數(shù)據(jù)庫(kù)、云存儲(chǔ)和虛擬化技術(shù)。
隨著信息化水平的發(fā)展,當(dāng)今社會(huì)的數(shù)據(jù)量日益膨脹,云計(jì)算與大數(shù)據(jù)技術(shù)應(yīng)運(yùn)而生,越來(lái)越多的廠商開(kāi)始構(gòu)建自己的商業(yè)化云平臺(tái),平臺(tái)的運(yùn)轉(zhuǎn)依托于Iass層物理資源,如何實(shí)現(xiàn)對(duì)這些Iass層物理資源的合理利用成為各大平臺(tái)急需解決的問(wèn)題。
技術(shù)實(shí)現(xiàn)要素:
本發(fā)明的技術(shù)任務(wù)是提供一種云平臺(tái)下有效實(shí)現(xiàn)主機(jī)集群資源調(diào)度的方法,來(lái)解決如何實(shí)現(xiàn)對(duì)這些Iass層物理資源的合理利用成為各大平臺(tái)的問(wèn)題。
本發(fā)明的技術(shù)任務(wù)是按以下方式實(shí)現(xiàn)的,一種云平臺(tái)下有效實(shí)現(xiàn)主機(jī)集群資源調(diào)度的方法,該方法包括如下步驟:
(1)、云平臺(tái)通過(guò)Iass平臺(tái)接口同步獲取對(duì)應(yīng)的Iass平臺(tái)所有物理資源的元數(shù)據(jù)信息并存儲(chǔ)到平臺(tái)端;
(2)、對(duì)Iass平臺(tái)所有物理資源進(jìn)行分類(lèi)并打上對(duì)應(yīng)的標(biāo)簽,將此標(biāo)簽作為資源調(diào)度的依據(jù),所有通過(guò)Iass平臺(tái)發(fā)起的資源申請(qǐng)任務(wù),都會(huì)經(jīng)過(guò)調(diào)度策略進(jìn)行分配,獲取最終的資源;
(3)、通過(guò)調(diào)度策略調(diào)度完成后,對(duì)平臺(tái)端的元數(shù)據(jù)信息進(jìn)行更新,確保平臺(tái)端的元數(shù)據(jù)信息與Iass平臺(tái)真實(shí)管理的資源數(shù)據(jù)的一致性。
作為優(yōu)選,所述物理資源的元數(shù)據(jù)信息包括平臺(tái)物理主機(jī)、主機(jī)掛載的物理存儲(chǔ)和CPU信息。
作為優(yōu)選,所述調(diào)度策略會(huì)針對(duì)用戶申請(qǐng)的資源進(jìn)行三層評(píng)估,分別為:
第一層評(píng)估:評(píng)估當(dāng)前資源是否可以滿足申請(qǐng)需求,并計(jì)算獲得集群中各主機(jī)提供該資源的可用倍數(shù),若可用倍數(shù)均低于1,則平臺(tái)資源不足以滿足該申請(qǐng),調(diào)度結(jié)束;
第二層評(píng)估:滿足第一層評(píng)估后,算法會(huì)根據(jù)調(diào)度策略對(duì)用戶申請(qǐng)的資源進(jìn)行分配,默認(rèn)采用資源分散策略,將資源分散到不同的主機(jī);比如申請(qǐng)了6份資源,總共4臺(tái)物理主機(jī),則優(yōu)先將4臺(tái)主機(jī)各分配一份,剩下的兩份會(huì)在這4臺(tái)中擇優(yōu)調(diào)度選擇。
第三次評(píng)估:根據(jù)申請(qǐng)資源的特性與物理資源的標(biāo)簽做匹配度的對(duì)比,優(yōu)先選擇匹配度高的資源進(jìn)行分配。
更優(yōu)地,所述申請(qǐng)資源的特性包括性能型和存儲(chǔ)型。
作為優(yōu)選,所述步驟(3)中平臺(tái)端通過(guò)啟用定時(shí)任務(wù)進(jìn)行元數(shù)據(jù)同步拉取和更新。
本發(fā)明的云平臺(tái)下有效實(shí)現(xiàn)主機(jī)集群資源調(diào)度的方法具有以下優(yōu)點(diǎn):
1、本發(fā)明能夠最大化的利用云平臺(tái)的物理資源,在云平臺(tái)的環(huán)境下對(duì)集群資源進(jìn)行有效調(diào)度、合理分配,云平臺(tái)的資源調(diào)用模塊按照調(diào)度策略來(lái)實(shí)現(xiàn),可以解決傳統(tǒng)物理資源利用低下、維護(hù)混亂等問(wèn)題,實(shí)現(xiàn)對(duì)云平臺(tái)資源的有效管理、維護(hù)及利用,同時(shí)既可保證云平臺(tái)運(yùn)行的功能穩(wěn)定性,又實(shí)現(xiàn)了對(duì)Iass平臺(tái)資源高效合理的利用;
2、本發(fā)明通過(guò)調(diào)度策略對(duì)Iass平臺(tái)的集群資源進(jìn)行合理分配,保證云平臺(tái)正常運(yùn)轉(zhuǎn)過(guò)程中保持較高的計(jì)算性能和資源利用率;云平臺(tái)對(duì)所有可用集群物理資源進(jìn)行打標(biāo)簽,這些資源包括物理主機(jī)CPU、內(nèi)存以及存儲(chǔ)等,同時(shí)存儲(chǔ)并維護(hù)其對(duì)應(yīng)的元數(shù)據(jù)到Iass平臺(tái),作為資源調(diào)度策略的依據(jù),每次進(jìn)行資源的申請(qǐng)及使用時(shí)實(shí)時(shí)更新元數(shù)據(jù)信息,保證平臺(tái)調(diào)度的準(zhǔn)確性以及平臺(tái)功能的穩(wěn)定性,增強(qiáng)了云平臺(tái)的智能型;
3、本發(fā)明可以精準(zhǔn)、智能的對(duì)Iass 層物理資源進(jìn)行篩選、分配,保證云平臺(tái)運(yùn)行更新穩(wěn)定,資源申請(qǐng)更加合理、智能,保證平臺(tái)運(yùn)行的功能穩(wěn)定性,又能實(shí)現(xiàn)對(duì)Iass資源高效合理的利用,同時(shí)支持多種策略進(jìn)行調(diào)度,可滿足多種類(lèi)型的資源申請(qǐng)。
故本發(fā)明具有設(shè)計(jì)合理、結(jié)構(gòu)簡(jiǎn)單、使用方便、一物多用等特點(diǎn),因而,具有很好的推廣使用價(jià)值。
附圖說(shuō)明
下面結(jié)合附圖對(duì)本發(fā)明進(jìn)一步說(shuō)明。
附圖1為云平臺(tái)下有效實(shí)現(xiàn)主機(jī)集群資源調(diào)度的方法的流程框圖。
具體實(shí)施方式
參照說(shuō)明書(shū)附圖和具體實(shí)施例對(duì)本發(fā)明的云平臺(tái)下有效實(shí)現(xiàn)主機(jī)集群資源調(diào)度的方法作以下詳細(xì)地說(shuō)明。
實(shí)施例:
如附圖1所示,本發(fā)明的云平臺(tái)下有效實(shí)現(xiàn)主機(jī)集群資源調(diào)度的方法, 該方法包括如下步驟:
(1)、云平臺(tái)通過(guò)Iass平臺(tái)接口同步獲取對(duì)應(yīng)的Iass平臺(tái)所有物理資源的元數(shù)據(jù)信息并存儲(chǔ)到平臺(tái)端;物理資源的元數(shù)據(jù)信息包括平臺(tái)物理主機(jī)、主機(jī)掛載的物理存儲(chǔ)和CPU信息。
(2)、對(duì)Iass平臺(tái)所有物理資源進(jìn)行分類(lèi)并打上對(duì)應(yīng)的標(biāo)簽,將此標(biāo)簽作為資源調(diào)度的依據(jù),所有通過(guò)Iass平臺(tái)發(fā)起的資源申請(qǐng)任務(wù),都會(huì)經(jīng)過(guò)調(diào)度策略進(jìn)行分配,獲取最終的資源;調(diào)度策略會(huì)針對(duì)用戶申請(qǐng)的資源進(jìn)行三層評(píng)估,分別為:第一層評(píng)估:評(píng)估當(dāng)前資源是否可以滿足申請(qǐng)需求,并計(jì)算獲得集群中各主機(jī)提供該資源的可用倍數(shù),若可用倍數(shù)均低于1,則平臺(tái)資源不足以滿足該申請(qǐng),調(diào)度結(jié)束;第二層評(píng)估:滿足第一層評(píng)估后,算法會(huì)根據(jù)調(diào)度策略對(duì)用戶申請(qǐng)的資源進(jìn)行分配,默認(rèn)采用資源分散策略,將資源分散到不同的主機(jī);比如申請(qǐng)了6份資源,總共4臺(tái)物理主機(jī),則優(yōu)先將4臺(tái)主機(jī)各分配一份,剩下的兩份會(huì)在這4臺(tái)中擇優(yōu)調(diào)度選擇。第三次評(píng)估:根據(jù)申請(qǐng)資源的特性與物理資源的標(biāo)簽做匹配度的對(duì)比,優(yōu)先選擇匹配度高的資源進(jìn)行分配。申請(qǐng)資源的特性包括性能型和存儲(chǔ)型。
(3)、通過(guò)調(diào)度策略調(diào)度完成后,對(duì)平臺(tái)端的元數(shù)據(jù)信息進(jìn)行更新,確保平臺(tái)端的元數(shù)據(jù)信息與Iass平臺(tái)真實(shí)管理的資源數(shù)據(jù)的一致性,平臺(tái)端通過(guò)啟用定時(shí)任務(wù)進(jìn)行元數(shù)據(jù)同步拉取和更新。
通過(guò)上面具體實(shí)施方式,所述技術(shù)領(lǐng)域的技術(shù)人員可容易的實(shí)現(xiàn)本發(fā)明。但是應(yīng)當(dāng)理解,本發(fā)明并不限于上述的一種具體實(shí)施方式。在公開(kāi)的實(shí)施方式的基礎(chǔ)上,所述技術(shù)領(lǐng)域的技術(shù)人員可任意組合不同的技術(shù)特征,從而實(shí)現(xiàn)不同的技術(shù)方案。
除說(shuō)明書(shū)所述的技術(shù)特征外,均為本專(zhuān)業(yè)技術(shù)人員的已知技術(shù)。