專利名稱:云計(jì)算服務(wù)平臺(tái)的虛擬計(jì)算資源動(dòng)態(tài)管理系統(tǒng)的制作方法
技術(shù)領(lǐng)域:
云計(jì)算在IT領(lǐng)域里被認(rèn)為是繼微型計(jì)算機(jī)、互聯(lián)網(wǎng)之后的第三次變革,是互聯(lián)網(wǎng)發(fā)展的大勢(shì)所趨。云計(jì)算是隨著虛擬化技術(shù)、CPU多核技術(shù)、寬帶技術(shù)、并行運(yùn)算、分布式計(jì)算、網(wǎng)格計(jì)算的發(fā)展,互聯(lián)網(wǎng)規(guī)模的不斷擴(kuò)大,用戶對(duì)信息、網(wǎng)絡(luò)、計(jì)算、存儲(chǔ)的需求不斷增大,服務(wù)商為適應(yīng)這種需求而逐漸發(fā)展起來的技術(shù)和服務(wù)。云計(jì)算通過將作為IT信息服務(wù)提供主體的服務(wù)器、操作系統(tǒng)、網(wǎng) 絡(luò)、存儲(chǔ)、基礎(chǔ)軟件、平臺(tái)、架構(gòu)等技術(shù)細(xì)節(jié)屏蔽并抽象為可運(yùn)營(yíng)可管理的計(jì)算能力、存儲(chǔ)能力等服務(wù)形式,通過網(wǎng)絡(luò)動(dòng)態(tài)地提供給信息使用者,用戶按實(shí)際使用量進(jìn)行付費(fèi)。云計(jì)算具有以下幾個(gè)關(guān)鍵點(diǎn)1)共享的資源和共享的技術(shù)架構(gòu)2)具有分布式的計(jì)算模式和存儲(chǔ)模式;3)通過虛擬化實(shí)現(xiàn)數(shù)據(jù)中心硬件資源的統(tǒng)計(jì)復(fù)用和可流動(dòng)的資源;4)能為用戶提供包括軟硬件設(shè)施在內(nèi)的不同級(jí)別的IT資源服務(wù);5)資源動(dòng)態(tài)擴(kuò)展,按需供給,按量計(jì)費(fèi)。6)智能化的應(yīng)用到資源分配;7)自動(dòng)化的應(yīng)用部署和資源配置?,F(xiàn)在云計(jì)算已經(jīng)不單單是一種技術(shù)術(shù)語或技術(shù)架構(gòu),更是一種新的服務(wù)模式和商務(wù)模式。云計(jì)算通過將技術(shù)領(lǐng)域的服務(wù)器、網(wǎng)絡(luò)、存儲(chǔ)、各種操作系統(tǒng)、軟件做整合,并進(jìn)一步將產(chǎn)業(yè)領(lǐng)域里的公司、單位和企業(yè)里的數(shù)據(jù)中心、設(shè)備、人員、服務(wù)等作整合,使信息服務(wù)做到產(chǎn)業(yè)化、規(guī)?;?、專業(yè)化、集約化,大大提升了信息基礎(chǔ)資源的使用率和信息服務(wù)的效率,節(jié)省了社會(huì)成本、資源和消耗。
二.
背景技術(shù):
云計(jì)算的核心技術(shù)包含了虛擬化技術(shù)、分布式計(jì)算技術(shù)、云平臺(tái)管理技術(shù)2. I虛擬化技術(shù)2006年以來基于Xen的開源虛擬化發(fā)展迅猛,使虛擬化技術(shù)逐步開始廣泛普及。由于虛擬化技術(shù)可以在一臺(tái)服務(wù)器上安裝多個(gè)操作系統(tǒng),從而大大提高了服務(wù)器的使用效率。虛擬化代表資源的邏輯表示,理論上不受物理資源的限制。虛擬化技術(shù)的實(shí)現(xiàn)形式是在操作系統(tǒng)中加入一個(gè)虛擬化層,將下層的資源抽象成另一形式的資源,提供給上層使用。在實(shí)踐中有CPU的虛擬化、內(nèi)存的虛擬化和I/O的虛擬化。雖然IBM早在70年代就開始研究此項(xiàng)技術(shù),但在X86架構(gòu)上實(shí)現(xiàn)虛擬化是從VMware在90年代開始的,因?yàn)閄86很難實(shí)現(xiàn)虛擬化,這是因?yàn)閄86的ISA架構(gòu)有17條敏感指令不屬于特權(quán)指令,也就是說虛擬機(jī)如果執(zhí)行這些指令肯能會(huì)導(dǎo)致整個(gè)系統(tǒng)的不穩(wěn)定。所以Vmware推出了全虛擬化的商業(yè)版產(chǎn)品,即無需修改客戶機(jī)的操作系統(tǒng),通過截獲客戶機(jī)執(zhí)行的特權(quán)指令并且掃描客戶機(jī)內(nèi)核執(zhí)行的二進(jìn)制代碼,將敏感指令翻譯成虛擬化指令來執(zhí)行。2005年以后出現(xiàn)了以Xen為代表的開源的半虛擬化產(chǎn)品,通過修改Guest OS的代碼,使其將那些和特權(quán)指令相關(guān)的操作都轉(zhuǎn)換會(huì)發(fā)給VMM的Hypercall (超級(jí)調(diào)用),而且Hypercall支持批處理和異步這兩種優(yōu)化方式,使得通過Hypercall能得到近似于物理機(jī)的速度。2007年以后Intel和AMD都推出了支持硬件虛擬化的產(chǎn)品,通過引入新的CPU指令和運(yùn)行模式,讓虛擬機(jī)和VMM運(yùn)行于不同的處理器模式,如Root模式和Operation模式,當(dāng)虛擬機(jī)執(zhí)行敏感指令時(shí),系統(tǒng)自動(dòng)切換到Root模式由VMM來執(zhí)行。還有一類虛擬化是以O(shè)penVZ和Solaris Container為代表的操作系統(tǒng)虛擬化產(chǎn)品,即將主機(jī)的操作系統(tǒng)分區(qū),在內(nèi)核實(shí)例的基礎(chǔ)上實(shí)現(xiàn)虛擬化,系統(tǒng)開銷更小。但是由于不提供虛擬的操作系統(tǒng)環(huán)境,許多需要訪問底層驅(qū)動(dòng)的應(yīng)用無法運(yùn)行,而且與主機(jī)操作系統(tǒng)不同的操作系統(tǒng)也無法運(yùn)行。Vmware雖然提供了許多有效的虛擬機(jī)管理系統(tǒng),但是由于VMware是商業(yè)版本,按照主機(jī)上的CPU插槽數(shù)目來收取版本費(fèi),對(duì)于互聯(lián)網(wǎng)公司這樣需要依靠海量PC服務(wù)器來提 供服務(wù)的用戶來講,使用VMware的成本是極高的。而基于XEN或KVM這樣的開源虛擬化產(chǎn)品,雖然也有VM的動(dòng)態(tài)遷移功能,但是缺乏虛擬機(jī)的管理系統(tǒng),當(dāng)應(yīng)對(duì)海量虛擬機(jī)資源時(shí),缺乏有效的管理工具,無法自動(dòng)化地分配虛擬機(jī)資源和供應(yīng)虛擬機(jī)資源,也缺乏與應(yīng)用的接口來調(diào)用虛擬機(jī)資源為應(yīng)用服務(wù)。2. 2分布式計(jì)算技術(shù)分布式處理是信息處理的一種方式,是與集中式處理相對(duì)的一個(gè)概念,它通過通信網(wǎng)絡(luò)將分散在各地的多臺(tái)計(jì)算機(jī)連接起來,在控制系統(tǒng)的管理控制下,協(xié)調(diào)地完成信息處理任務(wù)。分布式處理常用于對(duì)海量數(shù)據(jù)進(jìn)行分析計(jì)算,它把數(shù)據(jù)和計(jì)算任務(wù)分配到網(wǎng)絡(luò)上不同的計(jì)算機(jī),這些計(jì)算機(jī)在控制器的調(diào)度下共同完成計(jì)算任務(wù),分布式處理的性能主要取決于數(shù)據(jù)和控制的通信效率。分布式處理是云計(jì)算的一個(gè)關(guān)鍵環(huán)節(jié),它可以部署在虛擬化之上,解決云計(jì)算數(shù)據(jù)中心大規(guī)模服務(wù)器群的協(xié)同工作問題,由分布式文件系統(tǒng)、分布式計(jì)算、分布式數(shù)據(jù)庫(kù)和分布式同步機(jī)制四部分組成。分布式文件系統(tǒng)是分布式計(jì)算環(huán)境的基礎(chǔ)架構(gòu)之一,它把分散在網(wǎng)絡(luò)中的文件資源以統(tǒng)一的視點(diǎn)呈現(xiàn)給用戶,簡(jiǎn)化了用戶訪問的復(fù)雜性,加強(qiáng)了分布系統(tǒng)的可管理性,也為進(jìn)一步開發(fā)分布式應(yīng)用準(zhǔn)備了條件。分布式文件系統(tǒng)建立在客戶機(jī)/服務(wù)器技術(shù)基礎(chǔ)之上,由服務(wù)器與客戶機(jī)文件系統(tǒng)協(xié)同操作。控制功能分散在客戶機(jī)和服務(wù)器之間,使得諸如共享、數(shù)據(jù)安全性、透明性等在集中式文件系統(tǒng)中很容易處理的事情變得相當(dāng)復(fù)雜。文件共享可分為讀共享、順序?qū)懝蚕砗筒l(fā)寫共享,在分布式文件系統(tǒng)中順序?qū)懶枰鉀Q共享用戶的同一視點(diǎn)問題,并發(fā)寫則需要考慮中間插入更新導(dǎo)致的一致性問題。在數(shù)據(jù)安全性方面,需要考慮數(shù)據(jù)的私有性和沖突時(shí)的數(shù)據(jù)恢復(fù)。透明性要求文件系統(tǒng)給用戶的界面是統(tǒng)一完整的,至少需要保證位置透明、并發(fā)訪問透明和故障透明。此外,擴(kuò)展性也是分布式文件系統(tǒng)需要重點(diǎn)考慮的問題,增加或減少服務(wù)器時(shí),分布式文件系統(tǒng)應(yīng)能自動(dòng)感知,而且不對(duì)用戶造成任何影響。分布式文件系統(tǒng)的例子有6 5,冊(cè) 5,(印11,1^8丨11代41118丨6沖5,即3
坐寸O分布式數(shù)據(jù)庫(kù)是一組結(jié)構(gòu)化的數(shù)據(jù)集,邏輯上屬于同一系統(tǒng),而物理上分散在用計(jì)算機(jī)網(wǎng)絡(luò)連接的多個(gè)場(chǎng)地上,并統(tǒng)一由一個(gè)分布式數(shù)據(jù)庫(kù)管理系統(tǒng)管理。與集中式或分散數(shù)據(jù)庫(kù)相比,分布式數(shù)據(jù)庫(kù)具有可靠性高、模塊擴(kuò)展容易、響應(yīng)延遲小、負(fù)載均衡、容錯(cuò)能力強(qiáng)等優(yōu)點(diǎn)。數(shù)據(jù)冗余是分布式數(shù)據(jù)庫(kù)區(qū)別于其他數(shù)據(jù)庫(kù)的主要特征之一,它保證了分布式數(shù)據(jù)庫(kù)的可靠性,也是并行的基礎(chǔ)。隨著以SNS為代表的web2. O動(dòng)態(tài)網(wǎng)站的發(fā)展,高并發(fā)、海量存儲(chǔ)和高擴(kuò)展成了傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)的瓶頸,解決這些問題的非關(guān)系型數(shù)據(jù)庫(kù)NoSQL逐漸發(fā)展起來??傊植际綌?shù)據(jù)和NoSQL數(shù)據(jù)庫(kù)的例子有BigTable,HBase,MongoDB,Redis, Tokyo Cabinet, CouchDB, Cassandra 等。分布式計(jì)算是讓幾個(gè)物理上獨(dú)立的組件作為一個(gè)單獨(dú)的系統(tǒng)協(xié)同工作。對(duì)于分布式編程而言,核心的問題是如何把一個(gè)大的應(yīng)用程序分解成若干可以并行處理的子程序。有兩種可能處理的方法,一種是分割計(jì)算,即把應(yīng)用程序的功能分割成若干個(gè)模塊,由網(wǎng)絡(luò)上多臺(tái)機(jī)器協(xié)同完成;另一種是分割數(shù)據(jù),即把數(shù)據(jù)集分割成小塊,由網(wǎng)絡(luò)上的多臺(tái)計(jì)算機(jī)分別計(jì)算。大型分布式系統(tǒng)通常會(huì)同時(shí)采取這兩種方法,并解決各功能模塊間協(xié)同工作的問題。這類系統(tǒng)可能采用以C/S結(jié)構(gòu)為基礎(chǔ)的三層或多層分布式對(duì)象體系結(jié)構(gòu),把表示邏輯、業(yè)務(wù)邏輯和數(shù)據(jù)邏輯分布在不同的機(jī)器上,C0RBA、EJB、DC0M是三種主流的中間件技術(shù)。也可能采用基于Web的體系結(jié)構(gòu),或稱Web Service,此模型是高度分布的面向服務(wù)的架 構(gòu),SOAP, WSDL, UDDI 是 Web Service 的核心技術(shù)。在分布式系統(tǒng)中,對(duì)共享資源的并行操作可能會(huì)引起丟失修改、讀臟數(shù)據(jù)、不可重復(fù)讀等數(shù)據(jù)不一致問題,這時(shí)需要引入分布式同步機(jī)制對(duì)并發(fā)操作進(jìn)行控制,最常用的方式是分布式鎖機(jī)制以及沖突檢測(cè)。有幾種常用的并發(fā)控制方法基于鎖機(jī)制的并發(fā)控制方法基于時(shí)間戳的并發(fā)控制方法樂觀并發(fā)控制(OptimisticConcurrency Control)方法基于版本的并發(fā)控制方法基于事務(wù)類的并發(fā)控制方法對(duì)于由大規(guī)模廉價(jià)服務(wù)器群構(gòu)成的云計(jì)算數(shù)據(jù)中心而言,分布式同步機(jī)制是開展一切上層應(yīng)用的基礎(chǔ),是系統(tǒng)正確性和可靠性的基本保證。Google Chubby和HadoopZooKeeper是云基礎(chǔ)架構(gòu)分布式同步機(jī)制的典型代表,用于協(xié)調(diào)系統(tǒng)各部件,其他分布式系統(tǒng)可以用它來同步訪問共享資源。2. 3云平臺(tái)管理技術(shù)云計(jì)算的主要功能是將計(jì)算資源、存儲(chǔ)資源、網(wǎng)絡(luò)資源有效地管理起來,以服務(wù)的形式提供給使用者。所以不單需要虛擬化技術(shù)和分布式計(jì)算技術(shù)作為基本技術(shù)元素,作為一個(gè)提供給用戶調(diào)用計(jì)算資源的服務(wù)平臺(tái),更需要處理虛擬資源和物理資源的整合,解決資源按需分配的問題,動(dòng)態(tài)擴(kuò)展的問題,自動(dòng)化管理的問題,應(yīng)用程序部署的問題,數(shù)據(jù)管理的問題,以及用戶管理、安全備份等問題,這就需要一個(gè)完善的云平臺(tái)管理系統(tǒng)來完成。
以上涉及到的虛擬化技術(shù)、分布式計(jì)算、分布式存儲(chǔ)等技術(shù)都是云計(jì)算的基本技術(shù)組件,但是要將大規(guī)模的網(wǎng)絡(luò)系統(tǒng)、數(shù)據(jù)庫(kù)、基礎(chǔ)軟件等作為計(jì)算能力、存儲(chǔ)能力等以服務(wù)的形式提供給使用者,還需要云平臺(tái)的管理技術(shù)將這些組件組織和管理起來,來實(shí)現(xiàn)自動(dòng)化的部署、動(dòng)態(tài)的擴(kuò)展、應(yīng)用的支撐、數(shù)據(jù)的訪問等等。2. 3. I云平臺(tái)的服務(wù)模式和服務(wù)類型而云計(jì)算是一種創(chuàng)新的服務(wù)模式,而云平臺(tái)的服務(wù)模式按照按照技術(shù)體系架構(gòu)可分為IaaS, PaaS和SaaS三種
IaaS云計(jì)算平臺(tái)的最底層是IT基礎(chǔ)設(shè)施,Infrastructure as a Service就是服務(wù)商將IT基礎(chǔ)設(shè)施包括服務(wù)器、網(wǎng)絡(luò)、存儲(chǔ)、操作系統(tǒng)虛擬化后變成一種程序可管理的虛擬資源,通過網(wǎng)絡(luò)為用戶提供計(jì)算和存儲(chǔ)服務(wù)。典型的例子如Amazon的EC2,Gogrid和Rackspace也都是云計(jì)算IaaS服務(wù)提供商。PaaSPaaS平臺(tái)是一種開發(fā)和托管網(wǎng)絡(luò)應(yīng)用的平臺(tái),該平臺(tái)提供幾種網(wǎng)絡(luò)編程語言和框架,用戶可以使用這種編程語言和框架編寫可擴(kuò)展和伸縮的應(yīng)用,在云計(jì)算平臺(tái)中運(yùn)行,而無需考慮程序是否受到資源的限制。這一般是服務(wù)商設(shè)計(jì)一種編程框架API讓用戶寫的應(yīng)用調(diào)用運(yùn)行在自己內(nèi)部的云計(jì)算設(shè)施上。例如Google的Apps Engine。
SaaS軟件即服務(wù),例如Google Gmail,Google Docs。這是一種通過互聯(lián)網(wǎng)提供軟件服務(wù)的模式,廠商將應(yīng)用軟件統(tǒng)一部署在自己的服務(wù)器上,用戶不需要下載安裝到本地,通過瀏覽器即可使用。用戶可以根據(jù)自己實(shí)際需求,按定購(gòu)的服務(wù)多少和時(shí)間長(zhǎng)短向廠商支付費(fèi)用。用戶不用再購(gòu)買軟件,且無需對(duì)軟件進(jìn)行維護(hù),服務(wù)提供商會(huì)全權(quán)管理和維護(hù)軟件,軟件廠商在向客戶提供互聯(lián)網(wǎng)應(yīng)用的同時(shí),也提供軟件的離線操作和本地?cái)?shù)據(jù)存儲(chǔ),讓用戶隨時(shí)隨地都可以使用其定購(gòu)的軟件和服務(wù)。云計(jì)算平臺(tái)按照服務(wù)類型又可分為私有云和公有云。在企業(yè)內(nèi)部即防火墻以內(nèi)部署的,為企業(yè)內(nèi)部IT和生產(chǎn)提供服務(wù)的是私有云;在防火墻以外部署的,為公眾提供公共服務(wù)的是公有云;對(duì)于云計(jì)算客戶來講,自己有私有云,同時(shí)又將一部分?jǐn)?shù)據(jù)和計(jì)算放到公有云平臺(tái),這種云計(jì)算的使用模式叫混合云。2. 3. 2云平臺(tái)的管理技術(shù)分析對(duì)于IaaS而言,云平臺(tái)的管理是用虛擬化技術(shù)將閑散的物理資源集中和管理起來后,考慮如何將這些抽象的虛擬資源提供給用戶,并從中創(chuàng)造經(jīng)濟(jì)效益。一方面需對(duì)IT基礎(chǔ)設(shè)施進(jìn)行管理,包括屏蔽硬件差異、監(jiān)控物理資源使用狀態(tài)、動(dòng)態(tài)分配虛擬資源等 ’另一方面還需提供與用戶交互的接口,包括提供標(biāo)準(zhǔn)的API接口、提供虛擬資源的配置接口、提供服務(wù)目錄供用戶查找可用服務(wù)、提供實(shí)時(shí)監(jiān)視和統(tǒng)計(jì)功能等。對(duì)PaaS服務(wù)而言,在云平臺(tái)上需要部署分布式存儲(chǔ)、分布式數(shù)據(jù)庫(kù)、分布式同步機(jī)制和分布式計(jì)算模式等技術(shù),使平臺(tái)就具備分布式軟件開發(fā)的基本能力后,PaaS云服務(wù)商還需要考慮如何將這個(gè)開發(fā)平臺(tái)提供給用戶,如在用戶接口方面,需要提供代碼庫(kù)、編程模型、編程接口、開發(fā)環(huán)境等。代碼庫(kù)封裝平臺(tái)的存儲(chǔ)、計(jì)算、數(shù)據(jù)庫(kù)等基本功能,供用戶開發(fā)應(yīng)用程序時(shí)使用。編程模型決定了用戶基于云平臺(tái)開發(fā)的應(yīng)用程序類型,它取決于平臺(tái)選擇的分布式計(jì)算模型。PaaS運(yùn)營(yíng)管理系統(tǒng)需解決用戶應(yīng)用程序運(yùn)營(yíng)過程中所需的存儲(chǔ)、計(jì)算、網(wǎng)絡(luò)基礎(chǔ)資源的供給和管理問題,需根據(jù)應(yīng)用程序?qū)嶋H運(yùn)行情況動(dòng)態(tài)增加或減少運(yùn)行實(shí)例。為保證應(yīng)用程序的可靠運(yùn)行,系統(tǒng)還需要考慮不同應(yīng)用程序間的相互隔離問題,讓它們?cè)诎踩纳澈协h(huán)境中可靠運(yùn)行。對(duì)SaaS而言,由于服務(wù)本身構(gòu)建在互聯(lián)網(wǎng)上,用戶具備聯(lián)網(wǎng)能力即可在線使用。不管哪一種服務(wù)的運(yùn)營(yíng)管理系統(tǒng),都需要解決產(chǎn)品在運(yùn)營(yíng)過程中涉及到的計(jì)費(fèi)、認(rèn)證、安全、監(jiān)控等系統(tǒng)管理問題和用戶管理。此外,針對(duì)業(yè)務(wù)特點(diǎn)的不同,各業(yè)務(wù)運(yùn)營(yíng)管理系統(tǒng)還需解決各自不同的問題。SaaS模式在云計(jì)算出現(xiàn)以前就已經(jīng)存在了,但是SaaS模式在中國(guó)也始終沒有打開局面。很多SaaS公司都倒閉了,在美國(guó)也只有Salesforce —家比較成功?,F(xiàn)有的云計(jì)算服務(wù)平臺(tái)的主流就是PaaS產(chǎn)品和IaaS兩種類型。PaaS服務(wù)是以Google和微軟為代表,主要采用并行運(yùn)算、分布式運(yùn)算、分布式存儲(chǔ)技術(shù),適用的客戶具有大型運(yùn)算任務(wù),如數(shù)據(jù)挖掘、數(shù)據(jù)分析、搜索等,用戶需要學(xué)習(xí)一種新的并行編程方法或編程工具,并使用這種新工具來重新編寫程序來完成計(jì)算任務(wù),用戶雖可以成倍地縮短應(yīng)用的運(yùn)算時(shí)間,但是原有的應(yīng)用不能平滑地過渡到新的系統(tǒng)。這種類型的特點(diǎn)是將用戶的應(yīng)用打散揉碎然后分散到資源池中,將計(jì)算作為任務(wù)發(fā)送給各個(gè)處于不同地理位置的服務(wù)器處理,得到結(jié)果返回。 IaaS服務(wù)是以Amazon和RackSpace為代表,主要采用虛擬化技術(shù),適用于單個(gè)計(jì)算任務(wù)不是超大,但是單個(gè)應(yīng)用獨(dú)占服務(wù)器而浪費(fèi)計(jì)算資源,同時(shí)面向眾多這種類型的應(yīng)用和計(jì)算任務(wù),或者面向眾多這種類型的客戶。這種類型的服務(wù)將硬件服務(wù)器資源虛擬化分區(qū),提供給多個(gè)計(jì)算任務(wù)或多個(gè)用戶服務(wù),并管理眾多的虛擬化服務(wù)器構(gòu)成的資源池。對(duì)于用戶來講,原有的應(yīng)用可以遷移到云的環(huán)境中,而不需要學(xué)習(xí)新的編程工具重新編寫應(yīng)用,也不需要安裝其他的應(yīng)用程序,從而可以保護(hù)原有的投資,這種類型的特點(diǎn)是將資源池中的資源按需動(dòng)態(tài)分配給需要資源的應(yīng)用。目前在市場(chǎng)上,IaaS的云計(jì)算服務(wù)占了絕大多數(shù)。這是因?yàn)?,市?chǎng)相對(duì)比較成熟,商務(wù)模式相對(duì)清晰,用戶的應(yīng)用更容易遷移到云計(jì)算環(huán)境中,而第一種模式更適用于開發(fā)者在云環(huán)境中直接編寫新的云應(yīng)用。IaaS服務(wù)是在基礎(chǔ)架構(gòu)上構(gòu)造的云計(jì)算模式,需要底層的虛擬化產(chǎn)品,如VMware,Xen,KVM等,其中Xen/KVM是開源的產(chǎn)品,Redhat已經(jīng)集成了 Xen和KVM,這些軟件被稱為HypeVisor或VMM,實(shí)現(xiàn)了單臺(tái)物理機(jī)上的虛擬機(jī)化資源管理,包括CPU、內(nèi)存、I/O的虛擬化管理和虛擬機(jī)管理。但是如何將眾多的虛擬化服務(wù)器和網(wǎng)絡(luò)、存儲(chǔ)等作為一個(gè)資源池來管理起來,構(gòu)成一個(gè)云計(jì)算平臺(tái),智能化自動(dòng)化地為應(yīng)用提供動(dòng)態(tài)按需分配的資源,單獨(dú)的虛擬化軟件是無法解決的,這需要一個(gè)云計(jì)算的管理軟件來完成,或者叫做云平臺(tái)管理系統(tǒng)來完成,這方面沒有標(biāo)準(zhǔn),沒有成熟的產(chǎn)品和方案,少有成功案例可以借鑒。從以上分析可以看出,PaaS平臺(tái)服務(wù)是最復(fù)雜的,既需要大規(guī)模的數(shù)據(jù)中心和網(wǎng)絡(luò)系統(tǒng)平臺(tái)作支持,又需要提供完善的分布式應(yīng)用程序開發(fā)環(huán)境、編程接口、代碼庫(kù)、編程模型、分布式數(shù)據(jù)庫(kù)等,目前只有Google和微軟真正有能力提供以Apps Engine為核心的PaaS服務(wù)。國(guó)內(nèi)也僅僅有新浪試驗(yàn)了 SAE。PaaS平臺(tái)服務(wù)的對(duì)象是應(yīng)用開發(fā)人員,受眾面較小,而且開發(fā)人員需要從新學(xué)習(xí)新的并行編程方式,更增加使用難度。PaaS的商業(yè)模式不適很清晰,對(duì)于Apps Engine的服務(wù)類型講,按照請(qǐng)求調(diào)用量、(PU使用量對(duì)應(yīng)用程序計(jì)費(fèi)很難實(shí)現(xiàn),而且由于面向小眾的開發(fā)者,真正的收入也不高。云計(jì)算運(yùn)營(yíng)真正成功的、有清晰盈利模式的是IaaS,以Amazon為代表,RackSpachGoGrid等許多公司都自復(fù)制這個(gè)模式。而且目前云計(jì)算服務(wù)市場(chǎng)上絕大多數(shù)的用戶都是在使用Amazon的EC2和S3服務(wù),例如世界上最大的影視租賃服務(wù)商N(yùn)etflix已經(jīng)轉(zhuǎn)型為以視頻流的方式為用戶提供影視點(diǎn)播和下載服務(wù),而他們也從原先的自建自運(yùn)維數(shù)據(jù)中心到使用基于Amazon EC2的云服務(wù),因?yàn)镋C2可提供線性擴(kuò)展。2. 3. 3 IaaS平臺(tái)管理技術(shù)Amazon EC2是典型的IaaS服務(wù),提供了可安裝操作系統(tǒng)的虛擬機(jī),用戶可以自己安裝應(yīng)用程序,也可以使用AMI (Amazon Machine Image),用Amazon EC2可構(gòu)建一個(gè)高度復(fù)雜的定制應(yīng)用。EC2允許用戶控制環(huán)境參數(shù)、底層操作系統(tǒng)、存儲(chǔ)和網(wǎng)絡(luò)需求,從技術(shù)上講,它屬于很底層的服務(wù),用戶可以調(diào)整所需要的大部分東西。Amazon的EC2作為IaaS服務(wù)提供的是一個(gè)平臺(tái),它的服務(wù)是提供虛擬機(jī)資源的調(diào)用和配置服務(wù),但是調(diào)用接口是Amazon自己定義的一系列API程序接口。許多第 三方 平臺(tái)開發(fā)商可以在Amazon平臺(tái)之上開發(fā)第三方應(yīng)用,實(shí)現(xiàn)用戶應(yīng)用程序的自動(dòng)化部署,資源的動(dòng)態(tài)擴(kuò)展等。如果用戶選擇自服務(wù),則需要學(xué)習(xí)Amazon EC2服務(wù)的API程序接口,再自己編寫腳本申請(qǐng)和創(chuàng)建虛擬機(jī)環(huán)境,應(yīng)用程序的部署也需要用戶自己完成。 與Amazon EC2 類似 IaaS 云平臺(tái)還有 Joyent、Gogrid, Rackspace, Savvis,Terremark和世紀(jì)互聯(lián)的CloudEx等。由于缺乏統(tǒng)一的接口和通信標(biāo)準(zhǔn),這些平臺(tái)間的互操作性很差,用戶無法在IaaS服務(wù)提供商間無縫遷移。Abiquo公司推出了開源云計(jì)算平臺(tái)AbiCloud,該平臺(tái)提供了統(tǒng)一的云核心,可用于創(chuàng)建具有擴(kuò)展能力的公有云和私有云,還提供了用于集成第三方工具和軟件的各種接口,協(xié)助服務(wù)提供商建設(shè)滿足特定需求的各種云,在IaaS標(biāo)準(zhǔn)化和開源方面做出的努力嘗試,但這些嘗試并不足以保證IaaS運(yùn)營(yíng)管理系統(tǒng)隨手可用。服務(wù)提供商需要根據(jù)需要,選擇自行研發(fā)或在現(xiàn)有開源項(xiàng)目的基礎(chǔ)上構(gòu)建滿足企業(yè)特定需求的IaaS運(yùn)營(yíng)管理系統(tǒng)。這些IaaS平臺(tái)本身實(shí)現(xiàn)的基本功能只是一個(gè)較簡(jiǎn)單的虛擬機(jī)分配,但是即使這樣其內(nèi)部的系統(tǒng)實(shí)現(xiàn)也非常復(fù)雜,Amazon從沒有公開過其后臺(tái)系統(tǒng)的實(shí)現(xiàn)細(xì)節(jié),但是有些開源軟件聲稱實(shí)現(xiàn)了 Amazon EC2的全部功能,比如OpenNebula, Nimbus, OpenStack,Eucaptuso總之,云計(jì)算服務(wù)平臺(tái)的管理是一個(gè)復(fù)雜的問題,目前業(yè)界還未形成相關(guān)的標(biāo)準(zhǔn),也沒有可以拿來直接部署使用的系統(tǒng),云服務(wù)提供商需各自實(shí)現(xiàn)。2. 3. 4 IaaS平臺(tái)管理系統(tǒng)的開源產(chǎn)品及其問題Xen Cloud PlatformXen Cloud Platform是由開源hypervisor Xen的開發(fā)者社區(qū)發(fā)起的項(xiàng)目,致力于提供給服務(wù)商一個(gè)完整的基礎(chǔ)設(shè)施平臺(tái),具備開放和基于標(biāo)準(zhǔn)的API,多用戶租賃,服務(wù)水平協(xié)議保障,按需計(jì)費(fèi)的特點(diǎn)。該項(xiàng)目起始于09年中,目前處于快速開發(fā)中,系統(tǒng)不夠成熟,并且安裝配置較為復(fù)雜。EucalyptusEucalyptus是用于實(shí)現(xiàn)云計(jì)算件基礎(chǔ)設(shè)施的軟件,讓用戶充分利用自己的服務(wù)器群。Eucalyptus僅實(shí)現(xiàn)基本的簡(jiǎn)單的虛擬機(jī)管理功能,其主要目標(biāo)不是管理功能的強(qiáng)大,而是將基本的虛擬化管理API化。它具有以下特性與EC2接口兼容(主要接口)用Rocks集群管理工具,安裝和部署都很簡(jiǎn)單安全的內(nèi)部通信,使用SOAP和WS-Security疊加式的工作方式,無需修改目標(biāo)Linux環(huán)境基本的“云管理”工具,實(shí)現(xiàn)系統(tǒng)和用戶帳戶管理,可將多個(gè)集群配置成單個(gè)云。Nimbus
Nimbus是網(wǎng)格中間件Globus旗下的開源云計(jì)算項(xiàng)目,Nimbus面向科學(xué)計(jì)算需求,通過一組開源工具來實(shí)現(xiàn)基礎(chǔ)設(shè)施即服務(wù)(IaaS)的云計(jì)算解決方案。在Nimbus平臺(tái)里,包含的組件有=Workspace節(jié)點(diǎn)管理器、基于WSRF的遠(yuǎn)程協(xié)議實(shí)現(xiàn)、基于EC2的遠(yuǎn)程協(xié)議實(shí)現(xiàn)、云計(jì)算客戶端、WorkspacePilot整合虛擬機(jī)等面向不同層面的應(yīng)用組件,Nimbus項(xiàng)目各個(gè)組件在設(shè)計(jì)上非常輕量化且具備自身完備性,可以通過多種異構(gòu)方式進(jìn)行組合。OpenNebulaOpenNebula是一個(gè)建設(shè)私有、公共、混合云的開源工具。提供靈活的架構(gòu)、接口、組件。主要特性包括支持Xen, Kvm, Vmware,虛擬化平臺(tái)可對(duì)接EC2和ElasticHost,使用libvirt,支持 EC2 和 OGC OCCI 接口
LibvirtIibvirt是一套免費(fèi)、開源的支持Linux下主流虛擬化工具的C函數(shù)庫(kù),其旨在為包括Xen在內(nèi)的各種虛擬化工具提供一套方便、可靠的編程接口,支持與C等多種主流開發(fā)語言的綁定。當(dāng)前主流Iinux平臺(tái)上默認(rèn)的虛擬化管理工具virt-manager (圖形化),virt-install (命令行模式)等均基于Iibvirt開發(fā)而成。特點(diǎn)原生C語言接口,以及其他流行語言的綁定接口,符合CM和QMF規(guī)范,支持Xen、Qemu, KVM、LXC, OpenVZ, UML,Virtualbox、VMWare ESX,可遠(yuǎn)程管理虛擬機(jī)、虛擬網(wǎng)絡(luò)。這些開源軟件的確實(shí)現(xiàn)了 Amazon EC2的大部分功能,然后其實(shí)質(zhì)還是計(jì)算資源和存儲(chǔ)資源的分配,用戶的自服務(wù),用戶的管理和認(rèn)證等,而沒有真正實(shí)現(xiàn)云計(jì)算平臺(tái)所要求的自動(dòng)化管理、資源的動(dòng)態(tài)擴(kuò)展、應(yīng)用的自動(dòng)化部署等功能,在Amazon平臺(tái),這些都是依靠第三方平臺(tái)開發(fā)商提供的,如RightScale等,但是這些公司的軟件都是商業(yè)化的。用戶并不能免費(fèi)得到。2. 3. 5 IaaS平臺(tái)管理系統(tǒng)的商業(yè)化產(chǎn)品及其問題云平臺(tái)系統(tǒng)管理軟件的商業(yè)版本有VMware vSphere/vCloud, Dell VIS,Platform ISF, Heroku, RightScale, BMC, IBM, HP, OpSource 等。VMwareVMware用于虛擬化和云計(jì)算平臺(tái)管理的產(chǎn)品主要是vSphere和vCloud。vSphere主要用于服務(wù)器端虛擬化,通過在一臺(tái)物理服務(wù)器上虛擬出多臺(tái)虛擬機(jī)來起到服務(wù)器整合和資源優(yōu)化等目的。vSphere可被為兩部分其一是VMM(虛擬化管理器Hypervisor)部分,其二是用于整合和管理VMM的vCenter,主要功能有資源和虛擬機(jī)清單管理,任務(wù)調(diào)度,日志管理,警告和實(shí)踐管理,虛擬機(jī)部署和設(shè)置等。vCloud Director,是VMware的云計(jì)算計(jì)劃,有兩個(gè)分支,其一是名為VMwarevCloud Express 的 IaaS 解決方案,其二是名為 VMware Platform as a Service 的 PaaS 解決方案。vCloud Director 是基于 VMware vSphere 的虛擬化能力,并擴(kuò)展了 VMwarevCenter的資源池功能以使IT部門能夠創(chuàng)建“VDC(Virtual Data Center,虛擬數(shù)據(jù)中心)”,即由計(jì)算、網(wǎng)絡(luò)和存儲(chǔ)資源組成的資源池以及預(yù)定義的管理策略、服務(wù)水平協(xié)議和定價(jià)機(jī)制,并為用戶提供基于VDC的計(jì)算資源和能在其之上部署應(yīng)用。vCloud在設(shè)計(jì)上支持資源隔離和多租戶,為此vCloud引入了兩個(gè)非常核心的概念其一是用于對(duì)資源進(jìn)行隔離的VDC ;其二是用于支持多租戶機(jī)制的組織(organization)。
VDC是一個(gè)包含用于云計(jì)算的計(jì)算和存儲(chǔ)等資源的集合,而管理員通過規(guī)則(Policy)來將多個(gè)用戶組合成同一個(gè)組織。目前云平臺(tái)管理系統(tǒng)市場(chǎng)上份額最大的商家就是VMware,但是它的產(chǎn)品線很多,為了保護(hù)它以前的虛擬化產(chǎn)品,它的新的面向云計(jì)算數(shù)據(jù)中心的產(chǎn)品都是在原有產(chǎn)品上增加的,平臺(tái)產(chǎn)品和數(shù)據(jù)中心產(chǎn)品也是分開的,并且資源的隔離和組織的劃分都需要人工操作,功能能非常復(fù)雜,需要有專門的VMware管理人員才能管理,這都增加了 IT管理成本。Dell VIS戴爾VIS架構(gòu)能夠動(dòng)態(tài)調(diào)節(jié)應(yīng)用負(fù)載并將計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)資產(chǎn)整合進(jìn)統(tǒng)一的資源池。VIS架構(gòu)由模塊化組件構(gòu)成,可與客戶現(xiàn)有的IT環(huán)境相互集成。VIS架構(gòu)包含以下三個(gè)主要組件 高級(jí)基礎(chǔ)設(shè)施管理器(AM),支持管理員根據(jù)應(yīng)用負(fù)載分配服務(wù)器、存儲(chǔ)和網(wǎng)絡(luò)資源,AIM能夠從數(shù)據(jù)中心提取硬件和虛擬化層,因此,客戶可專注于配置單一的資源池而非管理多種不同的技術(shù)。
VIS自助式創(chuàng)建器,能夠標(biāo)準(zhǔn)化并自動(dòng)執(zhí)行應(yīng)用的部署流程,進(jìn)而將工作負(fù)載的部署時(shí)間縮短至幾分鐘。VIS自助式創(chuàng)建器能夠增強(qiáng)IT控制力,同時(shí)加速IT流程,從而節(jié)省時(shí)間和資源。
Dell VIS Director,支持用戶全面查看虛擬依賴關(guān)系并快速識(shí)別虛擬環(huán)境中的問題。該模塊包含先進(jìn)的報(bào)告、假設(shè)和趨勢(shì)分析、容量和使用率報(bào)告、成本分配和拒付解決方案。Dell也是云計(jì)算平臺(tái)管理軟件領(lǐng)域一個(gè)重要的廠家,VIS可以動(dòng)態(tài)調(diào)節(jié)應(yīng)用負(fù)責(zé),但是它的硬件自動(dòng)化部署只能運(yùn)行于Dell自己的硬件平臺(tái)上,不支持異構(gòu)的硬件平臺(tái)。Platform ISFPlatform近期也推出了云計(jì)算平臺(tái)管理產(chǎn)品ISF,是針對(duì)企業(yè)內(nèi)部私有云的自動(dòng)化建設(shè),可以集成各種應(yīng)用程序環(huán)境如J2EE, webSphere, Test/Dev等等,并且有多種資源分配策略,關(guān)鍵業(yè)務(wù)可以預(yù)約資源,產(chǎn)品本身做得很好。但是Platform過去十幾年以來都是做科學(xué)計(jì)算HPC領(lǐng)域的,最近才轉(zhuǎn)到云計(jì)算領(lǐng)域,所以他的產(chǎn)品自然帶有科學(xué)計(jì)算的痕跡,如控制應(yīng)用負(fù)載分配到不同的虛擬機(jī)中,這個(gè)其實(shí)可以用LSF等負(fù)載均衡來替代。這個(gè)產(chǎn)品更多面向企業(yè)內(nèi)部大規(guī)模應(yīng)用,而不是互聯(lián)網(wǎng)web應(yīng)用。另外ISF的價(jià)格非常昂貴,按照服務(wù)器的每個(gè)CPU插槽收取$ 795美金的版本費(fèi)。對(duì)于互聯(lián)網(wǎng)公司來說,大都采用海量廉價(jià)的PC服務(wù)器,這種價(jià)格是沒人能夠負(fù)擔(dān)的。BMCBMC推出一個(gè)云計(jì)算生命周期管理方案,包括策略推動(dòng)的服務(wù)目錄,并且對(duì)服務(wù)進(jìn)行定制化,用于云計(jì)算資源請(qǐng)求和控制的自助服務(wù);適用私有云和公共云服務(wù)的基礎(chǔ)架構(gòu),對(duì)于包括計(jì)算、網(wǎng)絡(luò)、存儲(chǔ)、應(yīng)用在內(nèi)的整個(gè)服務(wù)棧進(jìn)行動(dòng)態(tài)配置;基于性能分級(jí)的安全網(wǎng)絡(luò)服務(wù)和即用的云管理工作流;性能監(jiān)測(cè)工具監(jiān)管云服務(wù)的性能表現(xiàn);基于ITIL的實(shí)現(xiàn)流程。云計(jì)算生命周期管理方案隸屬于BMC云服務(wù)管理方案系列,通過該方案建立的云平臺(tái),能夠?qū)崿F(xiàn)對(duì)多租戶云基礎(chǔ)架構(gòu)物理和虛擬分割的自動(dòng)化,負(fù)載平衡、防火墻和服務(wù)等級(jí)管理可以自動(dòng)連接到每個(gè)容器上;可實(shí)現(xiàn)“自助服務(wù)”云管理門戶,并簡(jiǎn)化操作,無縫集成對(duì)公共和私有云基礎(chǔ)架構(gòu)的規(guī)劃、調(diào)配以及管理。
但是BMC是做軟件業(yè)務(wù)流程起家的,所以他的云計(jì)算管理軟件更加側(cè)重于業(yè)務(wù)服務(wù)流程管理,BMC的老板也說BMC做的是云計(jì)算的管理,做的不是提供云計(jì)算,但是必須先要有整合物理和虛擬計(jì)算資源,才能有云計(jì)算的服務(wù)提供。所以BMC的軟件是針對(duì)已經(jīng)使用了如Amazon EC2云計(jì)算的客戶的,即用BMC的云管理軟件來管理使用的Amazon EC2,所以這套軟件并不針對(duì)要建立和管理云計(jì)算基礎(chǔ)設(shè)施并提供云服務(wù)的用戶。國(guó)內(nèi)自研發(fā)華為,世紀(jì)互聯(lián),大運(yùn),浪潮目前國(guó)內(nèi)很多IT巨頭如華為、聯(lián)想、浪潮、方正、曙光、阿里巴巴、世紀(jì)互聯(lián)等也紛紛高調(diào)涉足云計(jì)算產(chǎn)業(yè),投入巨資試圖在中國(guó)的云計(jì)算產(chǎn)業(yè)占有一席之地,很多公司甚至單獨(dú)分出一家子公司來專作此業(yè)務(wù)。華為在開源軟件Eucalyptus的基礎(chǔ)上開發(fā)了一套云計(jì)算平臺(tái)管理軟件,現(xiàn)在正試圖與中國(guó)移動(dòng)、聯(lián)通和電信三大運(yùn)營(yíng)商合作,推出他們的云計(jì)算軟硬件解決方案。浪潮和曙光等也在開發(fā)云操作系統(tǒng),涵蓋虛擬化、資源管理、任務(wù)調(diào)度、負(fù)載均衡、作業(yè)管理、安全認(rèn)證、計(jì)費(fèi)等,但是還沒有在市場(chǎng)上推出。市場(chǎng)上可見到的是世紀(jì)互聯(lián)的云快線,目前這個(gè)產(chǎn)品還是半自動(dòng)化,在用戶自助服務(wù)、資源配置管理、動(dòng)態(tài)擴(kuò)展方面還很不成熟。目前中國(guó)的大部分公司都是靠開源軟件做云計(jì)算平臺(tái)管理系統(tǒng),因?yàn)檫@個(gè)市場(chǎng)不成熟,客戶也沒有見過什么是云計(jì)算的產(chǎn)品,所以很容易取得初期的市場(chǎng),但是開源軟件也有很多問題,這個(gè)幾個(gè)開源軟件都是只能提供虛擬機(jī)分配的基本功能,基于策略的資源自動(dòng)分配和資源動(dòng)態(tài)擴(kuò)展功能,也沒有硬件平臺(tái)的自動(dòng)化供應(yīng)。而且這些開源軟件作了很多網(wǎng)絡(luò)池和存儲(chǔ)池等較少用到的功能,然而在實(shí)際應(yīng)用中,網(wǎng)絡(luò)池可以依靠LVS來實(shí)現(xiàn),存儲(chǔ)池也可以靠分布式文件系統(tǒng)實(shí)現(xiàn)。而且開源軟件本身并不能直接拿來做企業(yè)運(yùn)行的工程化軟件,程序漏洞很多,沒有經(jīng)過壓力測(cè)試,缺少管理風(fēng)險(xiǎn)和處理問題的機(jī)制,可靠性都不高,無法承擔(dān)工程化任務(wù)。同時(shí)開源社區(qū)本身也并不總是能夠提供及時(shí)的技術(shù)支持和幫助的。例如華為現(xiàn)在在市場(chǎng)上推的系統(tǒng)是基于Eucalyptus就不是完全開源的,有很多高級(jí)功能比如負(fù)載均衡和擴(kuò)展就不是開源的??傊壳笆袌?chǎng)上的商業(yè)軟件和基于開源的軟件都有這樣那樣的問題缺少自動(dòng)化管理,同質(zhì)性高,功能太復(fù)雜,需要太多的人工配置,缺少自動(dòng)化供應(yīng),缺少資源動(dòng)態(tài)擴(kuò)展,國(guó)外的商業(yè)化云計(jì)算管理軟件還沒有漢化,國(guó)內(nèi)的軟件還沒有開發(fā)出來。
三.
發(fā)明內(nèi)容
這個(gè)發(fā)明是一個(gè)云計(jì)算服務(wù)平臺(tái)的虛擬計(jì)算資動(dòng)態(tài)管理系統(tǒng),解決了上述的開源系統(tǒng)和商業(yè)化系統(tǒng)的各種問題,可提供虛擬化資源的供應(yīng)、配置、分配、擴(kuò)展、管理。專注于云計(jì)算資源的快速部署、供應(yīng)、資源的分層管理、資源的高效整合和共享、資源的彈性伸縮,動(dòng)態(tài)觸發(fā)機(jī)制,資源池的線性擴(kuò)展。3. I 特點(diǎn): 可生成共享的物理資源池,在不同部門和不同應(yīng)用之間共享 對(duì)應(yīng)業(yè)務(wù)邏輯的分層架構(gòu)模型 支持Xen、KVM、VMware、OpenVZ等主流虛擬化驅(qū)動(dòng),采用Libvirt調(diào)用
支持Windows、Solaris、Linux等虛擬計(jì)操作系統(tǒng) 支持 Kickstart, Systemlmager, TFTP, PXE, DHCP 等協(xié)議 生成可流動(dòng)的虛擬資源池,消除單點(diǎn)故障,增加穩(wěn)定性 智能化的資源對(duì)應(yīng)用分配策略,減少人工輔助。 自動(dòng)化的物理服務(wù)器到虛擬資源池的快速供應(yīng),增強(qiáng)了業(yè)務(wù)響應(yīng)的敏捷性。 自動(dòng)化的應(yīng)用程序部署
資源動(dòng)態(tài)擴(kuò)展,不會(huì)影響應(yīng)用程序的服務(wù)。 自適應(yīng)的擴(kuò)容觸發(fā)機(jī)制,可調(diào)節(jié)觸發(fā)閾值。籲應(yīng)用程序負(fù)載均衡集成 分布式的緩存 不同類型的應(yīng)用程序集成,J2EE,HPC, Test/Dev 管理界面簡(jiǎn)潔,提供命令行接口。3. 2 功能提供圖形化的友好界面讓用戶自己定義或選擇所需的計(jì)算資源,用戶可用鼠標(biāo)拖拽的方式在云平臺(tái)上搭建一個(gè)企業(yè)IT或互聯(lián)網(wǎng)應(yīng)用架構(gòu)。系統(tǒng)可在數(shù)分鐘內(nèi)動(dòng)態(tài)生成并交付滿足用戶需求的計(jì)算資源。云平臺(tái)管理系統(tǒng)自動(dòng)分析用戶需求,按照預(yù)定義好的策略分配所需資源。用戶無需安裝配置操作系統(tǒng),系統(tǒng)已在所有虛機(jī)中完成操作系統(tǒng)的安裝。用戶無需自己安裝配置應(yīng)用程序,管理系統(tǒng)將用戶提交的應(yīng)用程序自動(dòng)部署,并提供負(fù)載均衡服務(wù)、級(jí)別管理、帳號(hào)管理、容錯(cuò)管理、備份管理等。云平臺(tái)系統(tǒng)為所有用戶提供緩存服務(wù)、web服務(wù)、郵件服務(wù)、目錄服務(wù)、VPN服務(wù)等基礎(chǔ)IT服務(wù)。云平臺(tái)系統(tǒng)為用戶提供按需動(dòng)態(tài)擴(kuò)展服務(wù),用戶編寫的程序無需考慮資源擴(kuò)展問題,海量用戶并發(fā)量和流量帶來的負(fù)載壓力問題。用戶無需學(xué)習(xí)新的編程工具和編程框架,原有的應(yīng)用程序可無縫地遷移到云平臺(tái)上。云平臺(tái)系統(tǒng)可自動(dòng)完成硬件服務(wù)器初始化和虛擬化,并自動(dòng)安裝配置虛擬機(jī),組成虛擬資源池。系統(tǒng)實(shí)現(xiàn)自動(dòng)化管理,減少了人工操作。只需在系統(tǒng)初始安裝時(shí)指定資源分層級(jí)別和系統(tǒng)動(dòng)態(tài)擴(kuò)展策略,在以后的服務(wù)中,系統(tǒng)可自動(dòng)化地分配與擴(kuò)展資源,而操作者只需向資源池中添加物理服務(wù)器即可。總之系統(tǒng)提高了服務(wù)器運(yùn)行效率和使用效率,增強(qiáng)了平臺(tái)穩(wěn)定性,提高了自動(dòng)化管理能力,降低了業(yè)務(wù)響應(yīng)時(shí)間。3. 3工作原理一個(gè)典型的互聯(lián)網(wǎng)應(yīng)用的技術(shù)框架圖如圖I所示。每個(gè)方框代表一組程序完成的特定功能。在每個(gè)水平方向上的方框都處在同一業(yè)務(wù)邏輯層次上,整個(gè)應(yīng)用的邏輯走向是從上到下由箭頭方向所示。大型的互聯(lián)網(wǎng)企業(yè)或其它IT企業(yè)都是有多個(gè)這樣相同或類似的應(yīng)用部署在這樣的架構(gòu)上,而每個(gè)應(yīng)用的程序組件都綁定特定的服務(wù)器資源。那么根據(jù)業(yè)務(wù)的邏輯流程,這個(gè)架構(gòu)可以抽象為圖2所示,即把資源分成以下不同的層次。服務(wù)器硬件資源經(jīng)過虛擬化后按照預(yù)定義的策略被分成多個(gè)的邏輯層次。每個(gè)層次抽象成一個(gè)虛擬機(jī)組成的資源池。每個(gè)層次的虛擬機(jī)資源配置都不相同。層次之內(nèi)所有的虛擬機(jī)配置是相同的。每個(gè)層次都支持不同的業(yè)務(wù),每個(gè)業(yè)務(wù)在特定層次內(nèi)是共享這個(gè)層次的虛擬機(jī)資源池。每個(gè)業(yè)務(wù)在縱向?qū)哟斡羞壿嫎I(yè)務(wù)和數(shù)據(jù)的走向。
在系統(tǒng)中定義3 種對(duì)象,Aggregate, Vol, vTask。Aggregate對(duì)象是一種代表所有同類虛擬機(jī)(VM)的聚合,每一個(gè)Aggregate對(duì)應(yīng)如圖3所示的一個(gè)層次的虛擬機(jī)集合。Vol對(duì)象是在Aggregate之上的一個(gè)子集對(duì)象,是代表某一業(yè)務(wù)在這個(gè)層次的分配的虛擬機(jī)集合。vTask對(duì)象代表一個(gè)虛擬的業(yè)務(wù)在各層次上所需的vol的集合,包含了業(yè)務(wù)邏輯流程。三者之間的關(guān)系如圖3所示。每個(gè)對(duì)象的特點(diǎn)Aggr Aggr是代表一種相同類型虛擬機(jī)的聚合的對(duì)象,在聚合中的每個(gè)虛擬機(jī)都具有相同的屬性,比如相同的CPU數(shù)量和頻率,內(nèi)存大小,硬盤容量等。 當(dāng)系統(tǒng)生成Aggr的實(shí)例時(shí),只需指定一系列具有相同虛擬機(jī)配置的物理機(jī)名,系統(tǒng)即將這些物理機(jī)上的連續(xù)VM分配給Aggr的實(shí)例。
Aggr的底層是物理機(jī)。^Aggr可以靠添加機(jī)器手動(dòng)擴(kuò)展。Vol Vol是一種邏輯上的裝載VM的容器,可以通過增加或減少VM任意改變?nèi)萜鞯拇笮?,所以不受物理機(jī)的硬件限制。
Vol的大小決定于應(yīng)用需要多少數(shù)據(jù)量傳輸、多少數(shù)據(jù)存儲(chǔ)等資源需求,而不是決定于物理機(jī)上有多少虛擬機(jī)。
Vol里的VM是分布在不同的物理機(jī)上的,如圖4所示,可以將流量分配到不同的機(jī)器上,并且一臺(tái)機(jī)器出現(xiàn)故障時(shí),也僅影響業(yè)務(wù)的一部分,而不會(huì)影響整個(gè)業(yè)務(wù)。
Vol可以自動(dòng)的在線增加和減少。
Vol是為某個(gè)具體應(yīng)用在某個(gè)Aggr實(shí)例上產(chǎn)生的。vTask vTask對(duì)應(yīng)一個(gè)應(yīng)用 vTask由分布在不同Aggr里的vol組成 vTask定義不同Aggr里的vol的邏輯走向。物理機(jī)、虛擬機(jī)、Aggr對(duì)象、Vol對(duì)象和vTask對(duì)象的關(guān)系如圖5所示系統(tǒng)中每一對(duì)象都有一個(gè)全局屬性,用來描述對(duì)象中數(shù)據(jù)記錄的元信息。
系統(tǒng)把每個(gè)VM當(dāng)作一個(gè)dead end來管理,所有經(jīng)過系統(tǒng)部署的VM都有一個(gè)數(shù)據(jù)記錄,記錄名字、IP地址、操作系統(tǒng)版本、CPU個(gè)數(shù)、內(nèi)存、硬盤大小、VM在物理機(jī)的位置和物
理機(jī)的名字等等。每個(gè)Aggr維護(hù)一個(gè)VM的可分配資源池,由雙向鏈表組成;還維護(hù)一個(gè)vol的鏈表。每個(gè)Vol維護(hù)一個(gè)已分配的VM鏈表。每個(gè)vTask維護(hù)一個(gè)分配的Aggr鏈表。系統(tǒng)還維護(hù)總的物理機(jī)鏈表、Aggr的列表和vTask的列表。系統(tǒng)用heartbeat來監(jiān)測(cè)屬于Aggr的每個(gè)VM,如果由于服務(wù)器巖機(jī)而VM不可達(dá), 該VM會(huì)被打上不可用標(biāo)記,VM恢復(fù)時(shí),系統(tǒng)恢復(fù)標(biāo)記。當(dāng)Aggr上VM的可分配資源池足夠小時(shí),添加物理機(jī)可擴(kuò)展Aggr,新增的VM會(huì)加入到備用VM池的雙向列表的尾部。這種設(shè)計(jì)的好處是資源利用效率提高,配置靈活,資源共享。圖6是采用以前的配置,每個(gè)應(yīng)用都被限制在物理機(jī)上,富裕的資源和性能不能被緊缺資源或性能的應(yīng)用分享。圖7顯示通過這種新的設(shè)計(jì)而部署的應(yīng)用可以共享VM聚合的資源和性能。在系統(tǒng)實(shí)現(xiàn)時(shí),物理資源被虛擬化為由虛擬機(jī)構(gòu)成的資源池,虛擬機(jī)被劃分到各個(gè)Aggr對(duì)象,在Aggr對(duì)象上產(chǎn)生可伸縮的由VM組成的VOL變量。每個(gè)Aggr上可有多個(gè)Vol, Vol可動(dòng)態(tài)伸縮,當(dāng)Aggr空間不夠時(shí),管理員可添加VM擴(kuò)展Aggr。例如在Aggr實(shí)例之上生成vol的實(shí)例,通過命令行create vol voll on aggrlvm 10,在aggrl上生成voll實(shí)例,要求系統(tǒng)分配10個(gè)VM。系統(tǒng)會(huì)在Aggrl中不同的物理機(jī)上選擇VM來生成Vol。這樣任意一個(gè)物理機(jī)宕機(jī)不影響Vol上的應(yīng)用,增加了可用性。生成vol對(duì)象實(shí)例后,我們指定系統(tǒng)生成對(duì)象vTask的實(shí)例,即根據(jù)應(yīng)用的需求,指定不同層次的 vol。例如 create vTask vtaskl aggrl. voll, aggr2. voll, aggr4. voll.這里我們生成一個(gè)vTask對(duì)象的實(shí)例,vtaskl,包含aggrl上的voll、aggr2上的voll、aggr4 上的 voll 等。
四.
圖1,典型的企業(yè)IT軟件或互聯(lián)網(wǎng)應(yīng)用的技術(shù)架構(gòu)。圖2,分層的業(yè)務(wù)邏輯架構(gòu)。圖3,三個(gè)對(duì)象在分層架構(gòu)上的表示。圖4,Vol對(duì)象上的虛擬機(jī)跨物理機(jī)分布。圖5,三個(gè)對(duì)象和物理機(jī)、虛擬機(jī)的關(guān)系。圖6,采用本系統(tǒng)之前的應(yīng)用模式。圖7,采用本系統(tǒng)之后的應(yīng)用模式。圖8,5個(gè)子系統(tǒng)的關(guān)系圖。圖9,Aggr的虛擬機(jī)備用池的雙向鏈表圖10,應(yīng)用程序進(jìn)程間通訊圖11,系統(tǒng)生成Vol實(shí)例的算法
圖12,系統(tǒng)分配虛擬機(jī)(VM)的算法圖13,神經(jīng)網(wǎng)絡(luò)的矩陣訓(xùn)練算法
五.
具體實(shí)施例方式云平臺(tái)管理系統(tǒng)由5個(gè)子系統(tǒng)構(gòu)成,如圖8所示I)資源自動(dòng)化部署系統(tǒng)2)虛擬機(jī)管理系統(tǒng)3)應(yīng)用部署系統(tǒng)4)資源分配與管理系統(tǒng) 5)資源動(dòng)態(tài)擴(kuò)展系統(tǒng)5. I資源自動(dòng)化部署系統(tǒng)資源自動(dòng)化部署系統(tǒng)完成物理資源初始化、安裝、配置和轉(zhuǎn)化為虛擬化資源池。自動(dòng)化部署也叫Provisioning系統(tǒng),是一套基于Kickstart的并使用Perl,Python和腳本開發(fā)的系統(tǒng)。在交換機(jī)做好端口初始化后,將物理機(jī)接入網(wǎng)絡(luò)端口,機(jī)器啟動(dòng)后,自動(dòng)通過PXE引導(dǎo)boot,發(fā)現(xiàn)所在的網(wǎng)段,根據(jù)設(shè)定好的要求,自動(dòng)選擇Kickstart profile,完成自動(dòng)化系統(tǒng)安裝與配置。在主機(jī)操作系統(tǒng)安裝的同時(shí)安裝虛擬機(jī)操作系統(tǒng),按照定義好的配置模板配置虛擬機(jī),配置應(yīng)用服務(wù),最后進(jìn)入到虛擬資源備用池,按照分層架構(gòu)和預(yù)定義的規(guī)則庫(kù)自動(dòng)地將資源池中的虛擬機(jī)分成不同的聚合集群,每個(gè)聚合對(duì)應(yīng)一個(gè)層次。5. I. 2前期準(zhǔn)備自動(dòng)化部署的前期準(zhǔn)備需要手動(dòng)完成,包括# BIOS和firmware的配置,包括firmware的升級(jí),時(shí)間的配置,VT enable,Hyperthreading disable, PXE enable, Raid config 等等。 配置好交換機(jī)網(wǎng)絡(luò)端口和網(wǎng)段,不同的應(yīng)用服務(wù)器連接到不同的網(wǎng)段。 配置好DNS,即加入IP和服務(wù)器主機(jī)名。5. I. 3操作系統(tǒng)自動(dòng)安裝在安裝操作系統(tǒng)后可自動(dòng)配置系統(tǒng)參數(shù)的配置,包括主機(jī)名,Username,Password,IP,kernel Parameters,ulimit,disable services, enable cache etc.該系統(tǒng)支持Kickstart,Systemlmager, PXE, DHCP, TFTP 等協(xié)議。系統(tǒng)支持Image映像,并存放在Systemlmager服務(wù)器中。應(yīng)用的首臺(tái)服務(wù)器安裝由kickstart完成,其它服務(wù)器配置由Systemlmage完成自動(dòng)化部署。由Systemlmager完成自動(dòng)化部署的時(shí)間比Kickstart縮短3到5倍,大大提高安裝效率。5. I. 4虛擬機(jī)的配置與安裝虛擬機(jī)的Hypervisior 選用 KVM。KVM要求服務(wù)器BIOS必須先enable VT0 VT是Intel擴(kuò)展的CPU運(yùn)行模式,可在硬件級(jí)別運(yùn)行虛擬機(jī)的敏感指令。由于使用了 VT, KVM可以大大簡(jiǎn)化其作為Hypervisior的代碼,并且利用Linux Kernel自身的功能實(shí)現(xiàn)虛擬機(jī)要求的環(huán)境,所以KVM比Xen小巧,且自身作為Kernel model運(yùn)行,不需要像Xen —樣另外加載一個(gè)Kernel.
虛擬機(jī)的CPU的分配每個(gè)虛擬機(jī)可分配一到兩個(gè)物理CPU內(nèi)核虛擬機(jī)的內(nèi)存分配根據(jù)不同業(yè)務(wù)和應(yīng)用的需求,虛擬機(jī)內(nèi)存可分為4G,8G,12G,16G,24G。虛擬機(jī)的硬盤分配虛擬機(jī)的硬盤直接分配在物理機(jī)硬盤塊分區(qū)上,可提高I/O讀寫速度3到5倍。虛擬機(jī)的安裝 物理機(jī)和虛擬機(jī)混合部署,在安裝物理機(jī)的postinstall階段將壓縮的虛擬機(jī)映像copy到物理機(jī),然后解壓縮并安裝所有虛擬機(jī),可節(jié)省5到10倍的時(shí)間。虛擬機(jī)的配置按照規(guī)則庫(kù)劃分虛擬機(jī)網(wǎng)絡(luò)、CPU、內(nèi)存和硬盤分區(qū)。5. I. 5 補(bǔ)丁升級(jí)(patching)Patching系統(tǒng)用來統(tǒng)一為天涯數(shù)據(jù)中心的各種操作系統(tǒng)作升級(jí)服務(wù)。Patching系統(tǒng)維護(hù)一個(gè)系統(tǒng)和軟件的補(bǔ)丁和包的Repository Server,可從外網(wǎng)下在各種軟件包和補(bǔ)丁,在內(nèi)網(wǎng)為不同環(huán)境的系統(tǒng)提供服務(wù)。Patching系統(tǒng)管理不同類型的補(bǔ)丁的版本,并可為Image服務(wù)器的各Image打補(bǔ)丁或升級(jí)。Patching 系統(tǒng)選用 mrepo Server 來保存補(bǔ)丁文件,mrepo 支持 Yum 和 up2date。5. I. 6虛擬資源池的生成生成虛擬資源池的過程是向表里添加記錄,生成對(duì)象和指針鏈表等I)生成物理機(jī)庫(kù)表記錄物理機(jī)表
ID Hostname IP Addr System Version Partition VM List2)生成虛擬機(jī)表記錄虛擬機(jī)表
ID Hostname IP System Version Host Avail Vol Aggr vTask User 丨 _________. .___ID__;_-虛擬機(jī)ID,Hostname,IP,System, Version, Host ID,location,Availibility, Vol, Aggr,vTask,User,CPU,Memory, Size, Timestamp3)通過規(guī)則庫(kù),生成缺省的Aggr對(duì)象。Aggr對(duì)象如下表所示
Aggr對(duì)象屬性 AggrOLVS
AggrlVarnish
Aggr2Web
Aggr3__Java
Aggr4PHP
權(quán)利要求
1.一種云計(jì)算服務(wù)平臺(tái)的虛擬計(jì)算資源動(dòng)態(tài)管理技術(shù),其特征在于 具有自動(dòng)化物理服務(wù)器到虛擬服務(wù)器的供應(yīng)能力,根據(jù)應(yīng)用邏輯架構(gòu)定義的虛擬機(jī)資源分層管理,計(jì)算資源的智能分配,在線動(dòng)態(tài)擴(kuò)展資源。
2.上述權(quán)利要求I所述的系統(tǒng),具備自動(dòng)化供應(yīng)能力,其特征在于 具有大規(guī)模物理服務(wù)器通過網(wǎng)絡(luò)DHCP、TFTP、PXE、Kickstart、SystemImager自動(dòng)化安裝操作系統(tǒng),并自動(dòng)引導(dǎo)虛擬機(jī)的配置和操作系統(tǒng)的安裝; 通過網(wǎng)絡(luò)實(shí)時(shí)從映像機(jī)下載虛擬機(jī)操作系統(tǒng)壓縮映像,復(fù)制到各個(gè)虛擬機(jī)磁盤分區(qū),并解壓縮完成虛擬機(jī)系統(tǒng)安裝,通過腳本程序完成操作系統(tǒng)的配置; 當(dāng)主機(jī)操作系統(tǒng)已完成,僅需虛擬機(jī)系統(tǒng)安裝、擴(kuò)展或重新配置時(shí),在主機(jī)中使用Kickstart完成指定虛擬機(jī)的重安裝。
3.上述權(quán)利要求I所述的系統(tǒng),具備虛擬計(jì)算資源的管理能力,其特征在于 分層的資源池管理技木,按照業(yè)務(wù)的邏輯架構(gòu)將自動(dòng)化供應(yīng)的虛擬機(jī)分層,如負(fù)載均衡層、全局緩存層、web層、應(yīng)用層、數(shù)據(jù)庫(kù)緩存層、數(shù)據(jù)庫(kù)層等,每個(gè)層次生成ー個(gè)由數(shù)據(jù)對(duì)象結(jié)構(gòu)和列表表示的虛擬機(jī)資源池。
4.上述權(quán)利要求2所述的能力,其特征在于 定義了 3 種對(duì)象,Aggregate, Vol, vTask Aggregate對(duì)象表示所有同類虛擬機(jī)的聚合,姆ー個(gè)Aggregate對(duì)象的實(shí)例對(duì)應(yīng)ー個(gè)層次的虛擬機(jī)聚合,在聚合中的每個(gè)虛擬機(jī)都具有相同的屬性,底層是物理機(jī),可以通過自動(dòng)化供應(yīng)新的物理機(jī)實(shí)現(xiàn)自動(dòng)擴(kuò)展; Vol對(duì)象是在Aggregate之上的ー個(gè)子集對(duì)象,代表某ー業(yè)務(wù)在這個(gè)Aggregate實(shí)例層次上被分配的虛擬機(jī)集合,Vol是ー種邏輯上的裝載VM的容器,可以通過増加或減少VM任意改變?nèi)萜鞯拇笮?;Vol的大小決定于應(yīng)用需要多少數(shù)據(jù)量傳輸、多少數(shù)據(jù)存儲(chǔ)等資源需求,而不是決定于物理機(jī)上有多少虛擬機(jī);Vol里的VM是分布在不同的物理機(jī)上的,可將流量分配到不同的機(jī)器上,一臺(tái)機(jī)器出現(xiàn)故障時(shí),不會(huì)影響整個(gè)業(yè)務(wù);Vol可以自動(dòng)的在線增加和減少,只要Aggr有足夠的空間;Vol是為某個(gè)具體應(yīng)用在某個(gè)Aggr實(shí)例上產(chǎn)生的; vTask對(duì)象代表一個(gè)業(yè)務(wù)在各Aggregate層次上所需的vol對(duì)象的集合,包含了業(yè)務(wù)邏輯流程; vTask對(duì)應(yīng)一個(gè)應(yīng)用,由分布在不同Aggr里的vol組成;vTask定義不同Aggr里的vol的邏輯走向。
5.上述權(quán)利要求I所述的系統(tǒng),其特征在于 具備虛擬計(jì)算資源的智能分配能力,接收應(yīng)用程序部署、虛擬機(jī)申請(qǐng)和動(dòng)態(tài)擴(kuò)展子系統(tǒng)的服務(wù)請(qǐng)求,生成對(duì)應(yīng)層次的三個(gè)對(duì)象的實(shí)例,每個(gè)層次有自己的資源分配策略,應(yīng)用層按照分散原則在資源池中找到下ー個(gè)可分配的虛擬機(jī)資源,保證該虛擬機(jī)在不同的物理機(jī)上,劃分虛擬機(jī)到Vol變量的VM列表中,并將該虛擬機(jī)從資源池中刪除。
6.上述權(quán)利要求I所述的系統(tǒng),其特征在于 具備虛擬計(jì)算資源的動(dòng)態(tài)擴(kuò)展能力,動(dòng)態(tài)擴(kuò)容觸發(fā)機(jī)制 通過實(shí)時(shí)監(jiān)測(cè)應(yīng)用程序和虛擬機(jī)的負(fù)載,輸入經(jīng)過人工神經(jīng)網(wǎng)絡(luò)訓(xùn)練的ニ維矩陣,判斷是否擴(kuò)容和縮容,當(dāng)系統(tǒng)通過人工神經(jīng)網(wǎng)絡(luò)的判度決定擴(kuò)容或縮容時(shí),系統(tǒng)向資源分配系統(tǒng)申請(qǐng)?jiān)黾踊驕p少VM,如果是新增VM,系統(tǒng)復(fù)制預(yù)先存好的VM配置拷貝到新的VM中,系統(tǒng)找到Aggr(i-l)中的vol的所有VM,察看姆ー個(gè)VM的服務(wù)或應(yīng)用,如果是LVS、Apache、PHP, Java等標(biāo)準(zhǔn)服務(wù),在服務(wù)配置表中找出該服務(wù)的配置文件,増加的新的VM名字的IP,在按照服務(wù)對(duì)應(yīng)表中指定的命令使服務(wù)重讀修改過的配置文件。
7.上述權(quán)利要求I所述的系統(tǒng),其特征在于,具備虛擬機(jī)管理技術(shù) 虛擬機(jī)管理系統(tǒng)為程序員管理和分配開發(fā)用虛擬機(jī)。程序員通過web界面向系統(tǒng)提交所需虛擬機(jī)配置、數(shù)量、應(yīng)用開發(fā)所需的服務(wù)、開發(fā)周期等需求,系統(tǒng)接收請(qǐng)求后,生成程序員記錄。系統(tǒng)管理員登陸管理接ロ,從資源池中分配下ー個(gè)可分配的符合要求的虛擬機(jī),并劃分到程序員記錄中。系統(tǒng)后臺(tái)將分配的虛擬機(jī)從資源池中刪除,當(dāng)程序開發(fā)完成、或程序員離職,系統(tǒng)將收回已分配的虛擬機(jī)到資源池中,并刪除程序員記錄。
全文摘要
云計(jì)算是IT技術(shù)的第三次變革,將深刻影響信息化社會(huì)的信息獲取模式。云計(jì)算服務(wù)平臺(tái)將計(jì)算、網(wǎng)絡(luò)和存儲(chǔ)轉(zhuǎn)化為資源池通過網(wǎng)絡(luò)為用戶提供服務(wù)。云計(jì)算服務(wù)平臺(tái)的虛擬計(jì)算資源動(dòng)態(tài)管理技術(shù),提出了一個(gè)分層的云計(jì)算基礎(chǔ)架構(gòu)模型,定義了三種對(duì)象來描述并管理可伸縮的虛擬機(jī)資源的狀態(tài)、屬性、特征和行為;可自動(dòng)化物理服務(wù)器到虛擬資源池的供應(yīng);提出了一種在線動(dòng)態(tài)擴(kuò)容的方法,通過實(shí)時(shí)采集系統(tǒng)負(fù)載狀態(tài)和應(yīng)用運(yùn)行狀況,由人工神經(jīng)網(wǎng)絡(luò)作為判斷資源伸縮觸發(fā)的機(jī)制,在不中斷服務(wù)的情況下動(dòng)態(tài)擴(kuò)展虛擬機(jī)算資源。
文檔編號(hào)G06F9/50GK102681899SQ20111005938
公開日2012年9月19日 申請(qǐng)日期2011年3月14日 優(yōu)先權(quán)日2011年3月14日
發(fā)明者金劍 申請(qǐng)人:金劍