本發(fā)明涉及計算機教學(xué)領(lǐng)域,尤其涉及一種基于虛擬化和云計算的大數(shù)據(jù)教學(xué)系統(tǒng)。
背景技術(shù):
進入21世紀以來,信息技術(shù)特別是互聯(lián)網(wǎng)悄然變革了人們的生活方式、工作方式和思維方式。中國IT產(chǎn)業(yè)未來發(fā)展的陣營中,電子商務(wù)、電子政務(wù)、社交網(wǎng)絡(luò)等一系列導(dǎo)向型應(yīng)用背后,是海量大數(shù)據(jù)基礎(chǔ)支撐和云計算引擎。存儲1TB也就是約1000GB數(shù)據(jù)的成本大約是16億美元,如今存儲到云上只需不到100美元,但存儲下來的數(shù)據(jù),如果不以云計算進行挖掘和分析,就只是僵死的數(shù)據(jù),沒有太大價值。
伴隨相關(guān)項目的不斷立項,數(shù)據(jù)庫和云計算相關(guān)的專業(yè)技術(shù)人才需求存在龐大的缺口。在社會經(jīng)濟發(fā)展中的貢獻日益突出,面對新的形勢和任務(wù),理工類傳統(tǒng)專業(yè)在獲得難得的發(fā)展機遇之時,也面臨著前所未有的嚴峻挑戰(zhàn)和許多亟待解決的問題。
技術(shù)實現(xiàn)要素:
本發(fā)明要解決的技術(shù)問題是設(shè)計一種基于虛擬化和云計算的大數(shù)據(jù)教學(xué)系統(tǒng),解決現(xiàn)有的技術(shù)問題。
為解決上述技術(shù)問題,本發(fā)明的基于虛擬化和云計算的大數(shù)據(jù)教學(xué)系統(tǒng)包括服務(wù)器、管理終端和學(xué)習終端,所述服務(wù)器包括服務(wù)器主機和存儲陣列,所述服務(wù)器主機和存儲陣列之間通過光纖交換機連接,所述管理終端通過千兆交換機和服務(wù)器與存儲陣列連接,所述學(xué)習終端通過千兆交換機和服務(wù)器連接;所述服務(wù)器內(nèi)設(shè)有教學(xué)模板和軟件,服務(wù)器安裝有虛擬化軟件和云管理軟件,服務(wù)器通過虛擬化軟件將服務(wù)器資源進行池化,并通過使用教學(xué)模板批量創(chuàng)建的虛擬機以云發(fā)布的形式提供給學(xué)習終端使用。
進一步的,所述虛擬化軟件為VMware VSphere,所述云管理軟件為VMware vCenter。
進一步的,所述服務(wù)器主機的型號為Dell PowerEdge12G R720。
進一步的,所述存儲陣列型號為Dell SCv2020FC。
進一步的,所述光纖交換機型號為Bocade300。
進一步的,所述千兆交換機型號為華為H3C S5500-48P-WiNet,所述管理終端型號為聯(lián)想T4900C。
進一步的,所述教學(xué)軟件包括Linux操作系統(tǒng)實驗?zāi)0?、Oracle數(shù)據(jù)庫基礎(chǔ)實驗?zāi)0?、RAC集群高可用實驗?zāi)0濉ata Guard容災(zāi)實驗?zāi)0?、GoldenGate容災(zāi)實驗?zāi)0濉racle性能優(yōu)化實驗?zāi)0?、MySQL系統(tǒng)管理實驗?zāi)0?、MySQL開發(fā)實驗?zāi)0濉ySQL集群實驗?zāi)0?、MySQL性能優(yōu)化模板、Hadoop集群構(gòu)建與管理實驗?zāi)0?、HDFS分布式文件系統(tǒng)實驗?zāi)0?、YARN資源管理實驗?zāi)0?、MapReduce計算框架實驗?zāi)0?、HBase NoSQL數(shù)據(jù)庫實驗?zāi)0?、Spark環(huán)境編譯與部署實驗?zāi)0?、Scala與Python語言實驗?zāi)0?、SparkSQL查詢實驗?zāi)0?、Spark Streaming流式處理實驗?zāi)0?、Spark MLib機器學(xué)習實驗?zāi)0?、Spark GraphX圖處理實驗?zāi)0寮癏ive數(shù)據(jù)倉庫實驗?zāi)0濉?/p>
本發(fā)明的有益效果:
1)服務(wù)器機群對全部的計算機資源進行了池化,具備強大的計算處理能力;
2)客戶應(yīng)用所需CPU、內(nèi)存、磁盤等資源可按需配置,體現(xiàn)云計算的優(yōu)勢;
3)計算能力和資源均集中在服務(wù)器,瘦客戶端可以極大節(jié)省機房建設(shè)投入;
4)系統(tǒng)規(guī)模可線性擴充,批量支持多個專業(yè)和班級學(xué)生的教學(xué)與實訓(xùn)要求;
5)基于虛擬機模板的實驗環(huán)境部署,極大減少了機房管理員的數(shù)量和負擔;
6)不同課程的實驗環(huán)境可通過模板快速進行部署,極大提高了教學(xué)效率。
附圖說明
下面結(jié)合附圖對本發(fā)明的具體實施方式做進一步闡明。
圖1為本發(fā)明的基于虛擬化和云計算的大數(shù)據(jù)教學(xué)系統(tǒng)的拓撲圖。
具體實施方式
結(jié)合圖1,本發(fā)明的基于虛擬化和云計算的大數(shù)據(jù)教學(xué)系統(tǒng)包括服務(wù)器、管理終端和學(xué)習終端,所述服務(wù)器包括服務(wù)器主機和存儲陣列,所述服務(wù)器主機和存儲陣列之間通過光纖交換機連接,所述管理終端通過千兆交換機和服務(wù)器與存儲陣列連接,所述學(xué)習終端通過千兆交換機和服務(wù)器連接;所述服務(wù)器內(nèi)設(shè)有教學(xué)模板和軟件,服務(wù)器安裝有虛擬化軟件和云管理軟件,服務(wù)器通過虛擬化軟件將服務(wù)器資源進行池化,并通過使用教學(xué)模板批量創(chuàng)建的虛擬機以云發(fā)布的形式提供給學(xué)習終端使用。
本實施例中,標準配置方案的四臺Dell PowerEdge12G R720服務(wù)器主機,每臺服務(wù)器配置2顆E5-2650V2處理器,該型號處理器單片包含8個內(nèi)核,16個線程,GFLOPS達到166.4,單臺服務(wù)器提供16內(nèi)核32線程、GFLOPS為332.8的計算性能。四臺機群整體GFLOPS可達到1331.2,能夠很好滿足數(shù)據(jù)庫、大數(shù)據(jù)及虛擬化和云計算實訓(xùn)實驗的教學(xué)及科研的需求。內(nèi)存方面,每臺服務(wù)器配置128G內(nèi)存,除去EXSi虛擬化系統(tǒng)保留8G外,可以提供120G給用戶虛擬機使用,單臺服務(wù)器能同時創(chuàng)建和運行30臺4G或60臺2G的客戶機系統(tǒng)。機群四臺服務(wù)器除去云計算服務(wù)等資源消耗,總共能提供100臺4G或200臺2G的客戶機系統(tǒng)。
對于數(shù)據(jù)的存儲,考慮到教學(xué)系統(tǒng)的高并發(fā)程度,為消除I/O熱點,保證性能,系統(tǒng)采用DellSCv2020FC高性能存儲陣列,存儲陣列和服務(wù)器主機通過光纖交換機連接。SCv2020FC服務(wù)器存儲配置有24塊15K高速SAS磁盤,每塊磁盤的容量為600G,整體容量達到14.4T,能很好滿足大數(shù)據(jù)教學(xué)對海量數(shù)據(jù)的存儲要求。在數(shù)據(jù)冗余方面,SCv2020FC存儲支持RAID5/6、RAID10和RAID10DM(雙鏡像)。
對于數(shù)據(jù)的傳輸效率,在服務(wù)器和存儲之間采用高性能的Brocade300光纖交換機,該交換機可提供高達8.5Gbit/Sec全雙工的傳輸能力,足以滿足系統(tǒng)高并發(fā)性及數(shù)據(jù)庫與大數(shù)據(jù)項目大數(shù)據(jù)量傳輸對系統(tǒng)性能的嚴格要求。
對于系統(tǒng)數(shù)據(jù)的安全,除了每臺服務(wù)器和存儲通過RAID10提供冗余外,VMware數(shù)據(jù)中心虛擬化軟件還提供系統(tǒng)元數(shù)據(jù)與用戶數(shù)據(jù)的可靠備份,可以做到數(shù)據(jù)的絕對安全。
進一步的,所述虛擬化軟件為VMware VSphere,所述云管理軟件為VMware vCenter。虛擬化軟件為vSphere6.0,云管理軟件采用vCenter6.0,vSphere是業(yè)界市場占有率最高的虛擬化產(chǎn)品,具有穩(wěn)定性好、易于使用和管理、兼容性好等特點,其主要作用是對服務(wù)器資源進行虛擬化,需要針對每臺服務(wù)器安裝部署。vCenter基于vSphere部署,提供云發(fā)布及云管理的功能。
進一步的,所述教學(xué)軟件包括Linux操作系統(tǒng)實驗?zāi)0?、Oracle數(shù)據(jù)庫基礎(chǔ)實驗?zāi)0?、RAC集群高可用實驗?zāi)0濉ata Guard容災(zāi)實驗?zāi)0?、GoldenGate容災(zāi)實驗?zāi)0濉racle性能優(yōu)化實驗?zāi)0?、MySQL系統(tǒng)管理實驗?zāi)0?、MySQL開發(fā)實驗?zāi)0濉ySQL集群實驗?zāi)0?、MySQL性能優(yōu)化模板、Hadoop集群構(gòu)建與管理實驗?zāi)0?、HDFS分布式文件系統(tǒng)實驗?zāi)0?、YARN資源管理實驗?zāi)0?、MapReduce計算框架實驗?zāi)0?、HBase NoSQL數(shù)據(jù)庫實驗?zāi)0?、Spark環(huán)境編譯與部署實驗?zāi)0?、Scala與Python語言實驗?zāi)0?、SparkSQL查詢實驗?zāi)0濉park Streaming流式處理實驗?zāi)0?、Spark MLib機器學(xué)習實驗?zāi)0?、Spark GraphX圖處理實驗?zāi)0寮癏ive數(shù)據(jù)倉庫實驗?zāi)0濉?/p>
以1 Oracle數(shù)據(jù)庫教學(xué)為例:
虛擬機配置:每用戶分配一臺虛擬服務(wù)器,主要配置參數(shù)為4GB內(nèi)存,2個CPU核心,50GB磁盤空間,1塊虛擬網(wǎng)卡。
實驗環(huán)境:虛擬機模板安裝好Oracle Linux Enterprise 6.4,已上傳有Oracle Database 11gR2企業(yè)版安裝鏡像。
教學(xué)內(nèi)容:Oracle數(shù)據(jù)庫基礎(chǔ)實驗課是Oracle數(shù)據(jù)庫教學(xué)的重要組成部分,內(nèi)容涵蓋了Oracle 11gR2數(shù)據(jù)庫系統(tǒng)在生產(chǎn)實踐環(huán)節(jié)中的安裝、管理及使用方法,并結(jié)合生產(chǎn)實際對常見問題及故障的處理做了經(jīng)驗性的總結(jié),是Oracle數(shù)據(jù)庫基礎(chǔ)運維及管理的完整過程。
以2RAC高可用實驗教學(xué)為例:
虛擬機配置:每用戶分配兩臺虛擬服務(wù)器,每臺服務(wù)器主要配置參數(shù)為4G內(nèi)存,2個CPU核心,50G磁盤空間,兩塊虛擬網(wǎng)卡。另外每用戶分配30GB共享磁盤。
實驗環(huán)境:兩臺虛擬服務(wù)器模板均安裝好Oracle Linux Enterprise6.4,管理用虛擬服務(wù)器上已上傳有Oracle Database 11gR2企業(yè)版安裝鏡像。
教學(xué)內(nèi)容:RAC高可用實驗是Oracle數(shù)據(jù)庫的高級實驗課程,實驗內(nèi)容涉及到Oracle RAC(Real Application Cluster)的安裝、部署、配置及管理。RAC+DG、RAC+GG的集群加容災(zāi)數(shù)據(jù)庫結(jié)構(gòu)在各行業(yè)的關(guān)鍵性生產(chǎn)系統(tǒng)中得到了廣泛的應(yīng)用,掌握好RAC的部署及管理對于DBA是至關(guān)重要的。
以上僅僅是對于教學(xué)內(nèi)容的舉例,本發(fā)明的技術(shù)特征在于基于虛擬化和云計算技術(shù),服務(wù)器機群對全部的計算機資源進行了池化,具備強大的計算處理能力,客戶應(yīng)用所需CPU、內(nèi)存、磁盤等資源可按需配置,體現(xiàn)云計算的優(yōu)勢,計算能力和資源均集中在服務(wù)器,瘦客戶端可以極大節(jié)省機房建設(shè)投入,系統(tǒng)規(guī)模可線性擴充,批量支持多個專業(yè)和班級學(xué)生的教學(xué)實訓(xùn)要求,基于虛擬機模板的實驗環(huán)境部署,極大減少了機房管理員的數(shù)量和負擔。
在以上的描述中闡述了很多具體細節(jié)以便于充分理解本發(fā)明。但是以上描述僅是本發(fā)明的較佳實施例而已,本發(fā)明能夠以很多不同于在此描述的其它方式來實施,因此本發(fā)明不受上面公開的具體實施的限制。同時任何熟悉本領(lǐng)域技術(shù)人員在不脫離本發(fā)明技術(shù)方案范圍情況下,都可利用上述揭示的方法和技術(shù)內(nèi)容對本發(fā)明技術(shù)方案做出許多可能的變動和修飾,或修改為等同變化的等效實施例。凡是未脫離本發(fā)明技術(shù)方案的內(nèi)容,依據(jù)本發(fā)明的技術(shù)實質(zhì)對以上實施例所做的任何簡單修改、等同變化及修飾,均仍屬于本發(fā)明技術(shù)方案保護的范圍內(nèi)。