專利名稱:一種動(dòng)態(tài)構(gòu)建和自主管理的移動(dòng)云存儲(chǔ)集群系統(tǒng)的制作方法
技術(shù)領(lǐng)域:
本發(fā)明涉及一種動(dòng)態(tài)構(gòu)建和自主管理的移動(dòng)云存儲(chǔ)集群系統(tǒng)。
背景技術(shù):
隨著云計(jì)算的發(fā)展及其在學(xué)術(shù)、產(chǎn)業(yè)、商業(yè)等的研究與應(yīng)用,服務(wù)計(jì)算成為人們社會(huì)生產(chǎn)、生活等密切關(guān)聯(lián)的部分。云計(jì)算將IT基礎(chǔ)設(shè)施、平臺(tái)及軟件等資源集中起來,統(tǒng)一分發(fā)和管理,大大降低了日益復(fù)雜的信息化管理和維護(hù)開銷,提高了生產(chǎn)率和資源利用率,降低了企業(yè)運(yùn)營(yíng)和創(chuàng)新成本,引入了新的服務(wù)部署和分發(fā)模式與機(jī)制。云存儲(chǔ)作為云計(jì)算的基礎(chǔ)設(shè)施和核心應(yīng)用,得到廣泛關(guān)注和深入應(yīng)用。人們將按傳統(tǒng)方式存儲(chǔ)在本地桌面的數(shù)據(jù)文件,隨著海量數(shù)據(jù)的產(chǎn)生,趨向存儲(chǔ)網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)中,增加了投資成本、管理復(fù)雜性和維護(hù)開銷,受到存儲(chǔ)空間、擴(kuò)展性、速度、利用率、可用性、可共享性、安全、管理及維護(hù)等諸多制約。云存儲(chǔ)通過將商用的存儲(chǔ)資源以低成本方式集中統(tǒng)一管理,提供簡(jiǎn)單的訪問接口為多用戶存儲(chǔ)服務(wù),具有良好的可擴(kuò)展性、可共享性和安全性,
并降低了系統(tǒng)總體擁有成本。目前,云存儲(chǔ)平臺(tái)有公共云存儲(chǔ)、私有云存儲(chǔ)和混合云存儲(chǔ)等,其分別適宜大眾、企業(yè)和個(gè)人及社區(qū)等的用戶群。同時(shí),移動(dòng)用戶正在形成為除主流的固定用戶(如PC等位置固定的富客戶端)之外的龐大用戶群體。云計(jì)算與移動(dòng)計(jì)算的結(jié)合正成為新趨勢(shì)。現(xiàn)有的云存儲(chǔ)技術(shù)在具有前述易用性、擴(kuò)展性等諸多優(yōu)點(diǎn)的同時(shí),也因網(wǎng)絡(luò)帶寬、技術(shù)門檻、用戶熟悉程度、終端性能等原因,其廣泛和深入的使用受到限制?,F(xiàn)有的云存儲(chǔ)可使用分布式系統(tǒng)集成存儲(chǔ)資源,但未考慮需要專用系統(tǒng)應(yīng)用的需求,也未考慮加入移動(dòng)存儲(chǔ)作為系統(tǒng)節(jié)點(diǎn)。難以克服單純依靠遠(yuǎn)程云存儲(chǔ)系統(tǒng)的虛擬機(jī)重構(gòu)易導(dǎo)致的網(wǎng)絡(luò)斷接、系統(tǒng)并發(fā)響應(yīng)性能下降、專有應(yīng)用難以支持、數(shù)據(jù)可控性與安全性控制等問題。
發(fā)明內(nèi)容
本發(fā)明所要解決的技術(shù)問題是克服現(xiàn)有技術(shù)的不足,提供一種通過動(dòng)態(tài)構(gòu)建可移動(dòng)的移動(dòng)節(jié)點(diǎn)系統(tǒng),動(dòng)態(tài)加入或退出骨干云存儲(chǔ)集群系統(tǒng),并能實(shí)現(xiàn)一定程度的自主管理和聯(lián)合協(xié)作,從而提供和增強(qiáng)了云存儲(chǔ)系統(tǒng)的可用性、易擴(kuò)展性、資源利用率、可維護(hù)性等特點(diǎn)的動(dòng)態(tài)構(gòu)建和自主管理的移動(dòng)云存儲(chǔ)集群系統(tǒng)。本發(fā)明將云存儲(chǔ)擴(kuò)展到移動(dòng)存儲(chǔ),并基于網(wǎng)絡(luò)利用云存儲(chǔ)資源。將分布式資源集成平臺(tái)與分布式應(yīng)用平臺(tái)結(jié)合,實(shí)現(xiàn)動(dòng)態(tài)擴(kuò)展、低成本租用和應(yīng)用拓展。本發(fā)明所采用的技術(shù)方案如下,本發(fā)明包括
骨干云存儲(chǔ)集群系統(tǒng),所述骨干云存儲(chǔ)集群系統(tǒng)包含至少一個(gè)名稱節(jié)點(diǎn)和至少一個(gè)數(shù)據(jù)節(jié)點(diǎn),所述骨干云存儲(chǔ)集群系統(tǒng)還包括為網(wǎng)絡(luò)用戶提供網(wǎng)絡(luò)服務(wù)的骨干網(wǎng)絡(luò)系統(tǒng)和為集群系統(tǒng)提供存儲(chǔ)服務(wù)的骨干存儲(chǔ)系統(tǒng);
至少一個(gè)移動(dòng)節(jié)點(diǎn)系統(tǒng),所述移動(dòng)節(jié)點(diǎn)系統(tǒng)通過在移動(dòng)設(shè)備上配置可啟動(dòng)操作系統(tǒng)或虛擬機(jī)系統(tǒng)而形成移動(dòng)節(jié)點(diǎn),所述移動(dòng)節(jié)點(diǎn)動(dòng)態(tài)加入或退出所述骨干云存儲(chǔ)集群系統(tǒng);兩個(gè)所述骨干云存儲(chǔ)集群系統(tǒng)之間、所述骨干云存儲(chǔ)集群系統(tǒng)與所述移動(dòng)節(jié)點(diǎn)系統(tǒng)之間或兩個(gè)所述移動(dòng)節(jié)點(diǎn)系統(tǒng)之間的互連均通過現(xiàn)行通用或?qū)S玫木W(wǎng)絡(luò)系統(tǒng)實(shí)現(xiàn);
其中,所述名稱節(jié)點(diǎn)提供集群監(jiān)控和負(fù)載的均衡管理并與外部網(wǎng)絡(luò)進(jìn)行通信;
所述數(shù)據(jù)節(jié)點(diǎn)提供存儲(chǔ)資源及其存儲(chǔ)資源的配額管理和資源抽象。當(dāng)所述移動(dòng)節(jié)點(diǎn)系統(tǒng)通過在移動(dòng)設(shè)備上配置自引導(dǎo)系統(tǒng)而形成移動(dòng)節(jié)點(diǎn)時(shí),通過所述自引導(dǎo)系統(tǒng),所述移動(dòng)節(jié)點(diǎn)系統(tǒng)作為獨(dú)立節(jié)點(diǎn)子系統(tǒng)運(yùn)行。所述名稱節(jié)點(diǎn)和數(shù)據(jù)節(jié)點(diǎn)構(gòu)成的骨干云存儲(chǔ)集群系統(tǒng)通過分布式同構(gòu)或異構(gòu)網(wǎng)絡(luò)方式互連。在所述移動(dòng)節(jié)點(diǎn)系統(tǒng)上設(shè)置有移動(dòng)網(wǎng)絡(luò)系統(tǒng)、移動(dòng)存儲(chǔ)系統(tǒng)及移動(dòng)應(yīng)用系統(tǒng)。所述移動(dòng)應(yīng)用系統(tǒng)構(gòu)建在所述移動(dòng)網(wǎng)絡(luò)系統(tǒng)和所述移動(dòng)存儲(chǔ)系統(tǒng)之上,使用所述骨干云存儲(chǔ)集群系統(tǒng)所提供的集群服務(wù)。所述移動(dòng)應(yīng)用系統(tǒng)構(gòu)建在所述移動(dòng)網(wǎng)絡(luò)系統(tǒng)和所述移動(dòng)存儲(chǔ)系統(tǒng)之上,在無法連接骨干云存儲(chǔ)集群時(shí)或連接超時(shí)或性能低于移動(dòng)節(jié)點(diǎn)時(shí)使用所述移動(dòng)網(wǎng)絡(luò)系統(tǒng)和所述移動(dòng)存儲(chǔ)系統(tǒng)所提供的集群服務(wù)。所述為網(wǎng)絡(luò)用戶提供網(wǎng)絡(luò)服務(wù)的骨干網(wǎng)絡(luò)系統(tǒng)包括
集群服務(wù)裝置,為集群系統(tǒng)提供集群服務(wù);
存儲(chǔ)資源管理裝置,用于向集群系統(tǒng)提供存儲(chǔ)資源的管理;
網(wǎng)絡(luò)系統(tǒng)硬件,包括網(wǎng)絡(luò)適配卡和網(wǎng)絡(luò)接口。所述骨干云存儲(chǔ)集群系統(tǒng)還包括骨干應(yīng)用系統(tǒng),所述骨干應(yīng)用系統(tǒng)包括集群服務(wù)接口、可選應(yīng)用服務(wù)。所述移動(dòng)節(jié)點(diǎn)系統(tǒng)作為獨(dú)立節(jié)點(diǎn)子系統(tǒng)運(yùn)行時(shí),所述獨(dú)立節(jié)點(diǎn)子系統(tǒng)構(gòu)成自主的云存儲(chǔ)集群系統(tǒng)運(yùn)行或自主節(jié)點(diǎn)系統(tǒng)運(yùn)行。所述移動(dòng)存儲(chǔ)系統(tǒng)為外置式臺(tái)式機(jī)或監(jiān)控級(jí)或企業(yè)級(jí)硬盤、移動(dòng)硬盤、USB接口的FLASH閃存、智能移動(dòng)設(shè)備或其它可讀寫設(shè)備。所述骨干云存儲(chǔ)集群系統(tǒng)中的各個(gè)數(shù)據(jù)節(jié)點(diǎn)的存儲(chǔ)系統(tǒng)可為各類存儲(chǔ)設(shè)備,這些存儲(chǔ)設(shè)備通過各種網(wǎng)絡(luò)設(shè)備聯(lián)系在一起,存儲(chǔ)設(shè)備可以是FC光纖通道存儲(chǔ)設(shè)備、NAS或iSCSI等IP存儲(chǔ)設(shè)備,或是SCSI或SAS等DAS存儲(chǔ)設(shè)備,或是SATA或IDE存儲(chǔ)設(shè)備等。本發(fā)明的有益效果是由于本發(fā)明包括有骨干云存儲(chǔ)集群系統(tǒng)和至少一個(gè)移動(dòng)節(jié)點(diǎn)系統(tǒng),兩個(gè)所述骨干云存儲(chǔ)集群系統(tǒng)之間、所述骨干云存儲(chǔ)集群系統(tǒng)與所述移動(dòng)節(jié)點(diǎn)系統(tǒng)之間或兩個(gè)所述移動(dòng)節(jié)點(diǎn)系統(tǒng)之間的互連均通過現(xiàn)行通用或?qū)S玫木W(wǎng)絡(luò)系統(tǒng)實(shí)現(xiàn),所述骨干云存儲(chǔ)集群系統(tǒng)中包括為網(wǎng)絡(luò)用戶提供網(wǎng)絡(luò)服務(wù)的骨干網(wǎng)絡(luò)系統(tǒng)和為集群系統(tǒng)提供存儲(chǔ)服務(wù)的骨干存儲(chǔ)系統(tǒng);所述移動(dòng)節(jié)點(diǎn)系統(tǒng)通過在移動(dòng)設(shè)備上配置可啟動(dòng)操作系統(tǒng)或虛擬機(jī)系統(tǒng)而形成移動(dòng)節(jié)點(diǎn),通過計(jì)算機(jī)網(wǎng)絡(luò)或通信網(wǎng)絡(luò),所述移動(dòng)節(jié)點(diǎn)動(dòng)態(tài)加入或退出所述骨干云存儲(chǔ)集群系統(tǒng),構(gòu)成移動(dòng)云存儲(chǔ)集群系統(tǒng);其中,所述名稱節(jié)點(diǎn)提供集群監(jiān)控和負(fù)載的均衡管理并與外部網(wǎng)絡(luò)進(jìn)行通信,所述數(shù)據(jù)節(jié)點(diǎn)提供存儲(chǔ)資源及其存儲(chǔ)資源的配額管理和資源抽象;所以,本發(fā)明通過所述骨干云存儲(chǔ)集群系統(tǒng)及所述移動(dòng)節(jié)點(diǎn)系統(tǒng)的設(shè)置,在預(yù)配置的云存儲(chǔ)集群基礎(chǔ)上,通過在移動(dòng)設(shè)備上配置虛擬機(jī)或自引導(dǎo)系統(tǒng),通過宿主機(jī)軟件和硬件,自啟動(dòng)并運(yùn)行移動(dòng)節(jié)點(diǎn)系統(tǒng),移動(dòng)節(jié)點(diǎn)可自主選擇加入或離開集群,從而動(dòng)態(tài)加載到云存儲(chǔ)集群中,按需基于復(fù)制或虛擬機(jī)克隆等方法快速構(gòu)建動(dòng)態(tài)的、可擴(kuò)展的云存儲(chǔ)集群系統(tǒng),再在移動(dòng)節(jié)點(diǎn)或集群上運(yùn)行應(yīng)用,從而實(shí)現(xiàn)動(dòng)態(tài)的、可擴(kuò)展的移動(dòng)云存儲(chǔ)服務(wù)系統(tǒng),通過自弓I導(dǎo)系統(tǒng),實(shí)現(xiàn)自主管理并可獨(dú)立運(yùn)行于云存儲(chǔ)集群系統(tǒng)之上,保留本地自治的功能,實(shí)現(xiàn)文件的上傳、下載及發(fā)布等功能。由于當(dāng)所述移動(dòng)節(jié)點(diǎn)系統(tǒng)通過在移動(dòng)設(shè)備上配置自引導(dǎo)系統(tǒng)而形成移動(dòng)節(jié)點(diǎn)時(shí),通過所述自引導(dǎo)系統(tǒng),所述移動(dòng)節(jié)點(diǎn)系統(tǒng)作為獨(dú)立節(jié)點(diǎn)子系統(tǒng)運(yùn)行,所以,當(dāng)所述骨干云存儲(chǔ)集群系統(tǒng)處于非工作狀態(tài)時(shí),所述移動(dòng)節(jié)點(diǎn)系統(tǒng)可作為獨(dú)立系統(tǒng)運(yùn)行,通過若干個(gè)移動(dòng)節(jié)點(diǎn)系統(tǒng)的互聯(lián),可以實(shí)現(xiàn)如同骨干云存儲(chǔ)集群系統(tǒng)的運(yùn)行模式,即作為一個(gè)獨(dú)立的云存儲(chǔ)集群系統(tǒng)運(yùn)行;當(dāng)所述骨干云存儲(chǔ)集群系統(tǒng)處于工作狀態(tài)時(shí),所述移動(dòng)節(jié)點(diǎn)系統(tǒng)可動(dòng)態(tài)加入骨干云存儲(chǔ)集群,構(gòu)成移動(dòng)云存儲(chǔ)集群系統(tǒng),并利用移動(dòng)云存儲(chǔ)集群系統(tǒng)的資源。
圖I是傳統(tǒng)存儲(chǔ)集群系統(tǒng)結(jié)構(gòu)圖,圖中的DB表示是數(shù)據(jù)庫;
圖2是本發(fā)明云存儲(chǔ)集群系統(tǒng)的移動(dòng)節(jié)點(diǎn)系統(tǒng)示意 圖3是本發(fā)明云存儲(chǔ)集群系統(tǒng)的系統(tǒng)結(jié)構(gòu)圖,圖中標(biāo)記分別為1——骨干云存儲(chǔ)集群系統(tǒng),2——服務(wù)器,3——移動(dòng)節(jié)點(diǎn)系統(tǒng),骨干云存儲(chǔ)集群系統(tǒng)與服務(wù)器之間的連接采用實(shí)線,表示骨干云存儲(chǔ)集群系統(tǒng)穩(wěn)定連接到云存儲(chǔ)系統(tǒng);服務(wù)器與移動(dòng)節(jié)點(diǎn)系統(tǒng)之間采用虛線連接,表示移動(dòng)節(jié)點(diǎn)系統(tǒng)動(dòng)態(tài)連接到云存儲(chǔ)系統(tǒng);
圖4是本發(fā)明的構(gòu)建流程示意 圖5是所述移動(dòng)節(jié)點(diǎn)系統(tǒng)的安裝與配置流程 圖6是本發(fā)明客戶使用云存儲(chǔ)集群系統(tǒng)時(shí)進(jìn)行的數(shù)據(jù)訪問交互流程 圖7是所述骨干云存儲(chǔ)集群系統(tǒng)的構(gòu)建流程 圖8是所述移動(dòng)節(jié)點(diǎn)系統(tǒng)的構(gòu)建流程 圖9是移動(dòng)云存儲(chǔ)集群系統(tǒng)總體拓?fù)浣Y(jié)構(gòu)示意 圖10是云存儲(chǔ)集群資源與服務(wù)樹示意圖。
具體實(shí)施例方式如圖2至圖10所示,本實(shí)施例中,本發(fā)明包括至少一個(gè)骨干云存儲(chǔ)集群系統(tǒng)和多個(gè)移動(dòng)節(jié)點(diǎn)系統(tǒng)。每個(gè)所述骨干云存儲(chǔ)集群系統(tǒng)包含至少一個(gè)名稱節(jié)點(diǎn)和至少一個(gè)數(shù)據(jù)節(jié)點(diǎn)。每個(gè)所述骨干云存儲(chǔ)集群系統(tǒng)還包括為網(wǎng)絡(luò)用戶提供網(wǎng)絡(luò)服務(wù)的骨干網(wǎng)絡(luò)系統(tǒng)和為集群系統(tǒng)提供存儲(chǔ)服務(wù)的骨干存儲(chǔ)系統(tǒng)。至少一個(gè)移動(dòng)節(jié)點(diǎn)系統(tǒng),所述移動(dòng)節(jié)點(diǎn)系統(tǒng)通過在移動(dòng)設(shè)備上配置自引導(dǎo)系統(tǒng)或虛擬機(jī)系統(tǒng)而形成移動(dòng)節(jié)點(diǎn),所述移動(dòng)節(jié)點(diǎn)動(dòng)態(tài)加入或退出所述骨干云存儲(chǔ)集群系統(tǒng);兩個(gè)所述骨干云存儲(chǔ)集群系統(tǒng)之間、所述骨干云存儲(chǔ)集群系統(tǒng)與所述移動(dòng)節(jié)點(diǎn)系統(tǒng)之間或兩個(gè)所述移動(dòng)節(jié)點(diǎn)系統(tǒng)之間的互連均可通過現(xiàn)行通用或?qū)S玫木W(wǎng)絡(luò)系統(tǒng)實(shí)現(xiàn);其中,所述名稱節(jié)點(diǎn)提供集群監(jiān)控和負(fù)載的均衡管理并與外部網(wǎng)絡(luò)進(jìn)行通信;所述數(shù)據(jù)節(jié)點(diǎn)提供存儲(chǔ)資源及其存儲(chǔ)資源的配額管理和資源抽象。當(dāng)所述移動(dòng)節(jié)點(diǎn)系統(tǒng)通過在移動(dòng)設(shè)備上配置自引導(dǎo)系統(tǒng)而形成移動(dòng)節(jié)點(diǎn)時(shí),通過所述自引導(dǎo)系統(tǒng),所述移動(dòng)節(jié)點(diǎn)系統(tǒng)作為獨(dú)立節(jié)點(diǎn)子系統(tǒng)運(yùn)行。由所述名稱節(jié)點(diǎn)和數(shù)據(jù)節(jié)點(diǎn)構(gòu)成的骨干云存儲(chǔ)集群系統(tǒng)通過分布式同構(gòu)或異構(gòu)網(wǎng)絡(luò)方式互連。在所述移動(dòng)節(jié)點(diǎn)系統(tǒng)上設(shè)置有移動(dòng)網(wǎng)絡(luò)系統(tǒng)、移動(dòng)存儲(chǔ)系統(tǒng)及移動(dòng)應(yīng)用系統(tǒng)。當(dāng)然,在所述移動(dòng)節(jié)點(diǎn)系統(tǒng)上,所述移動(dòng)網(wǎng)絡(luò)系統(tǒng)為可選部分,移動(dòng)節(jié)點(diǎn)系統(tǒng)也可借助通用或?qū)S玫木W(wǎng)絡(luò)系統(tǒng)連接到集群。所述移動(dòng)應(yīng)用系統(tǒng)構(gòu)建在所述移動(dòng)網(wǎng)絡(luò)系統(tǒng)和所述移動(dòng)存儲(chǔ)系統(tǒng)之上,使用所述骨干云存儲(chǔ)集群系統(tǒng)所提供的集群服務(wù);在在無法連接骨干云存儲(chǔ)集群時(shí)或連接超時(shí)或性能低于移動(dòng)節(jié)點(diǎn)時(shí)使用所述移動(dòng)網(wǎng)絡(luò)系統(tǒng)和所述移動(dòng)存儲(chǔ)系統(tǒng)所提供的集群服務(wù)。所述為網(wǎng)絡(luò)用戶提供網(wǎng)絡(luò)服務(wù)的骨干網(wǎng)絡(luò)系統(tǒng)包括集群服務(wù)裝置,為集群系統(tǒng)提供集群服務(wù);存儲(chǔ)資源管理裝置,用于向集群系統(tǒng)提供存儲(chǔ)資源的管理;網(wǎng)絡(luò)系統(tǒng)硬件,包括網(wǎng)絡(luò)適配卡和網(wǎng)絡(luò)接口。所述骨干云存儲(chǔ)集群系統(tǒng)還包括骨干應(yīng)用系統(tǒng),所述骨干應(yīng)用系統(tǒng)包括集群服務(wù)接口和可選應(yīng)用服務(wù),可提供文件存儲(chǔ)、上傳、下載、共享、Web應(yīng)用發(fā)布等功能。所述移動(dòng)節(jié)點(diǎn)系統(tǒng)作為獨(dú)立節(jié)點(diǎn)子系統(tǒng)運(yùn)行時(shí),所述獨(dú)立節(jié)點(diǎn)子系統(tǒng)構(gòu)成自主的云存儲(chǔ)集群系統(tǒng)運(yùn)行或自主節(jié)點(diǎn)系統(tǒng)運(yùn)行,在僅有一個(gè)移動(dòng)節(jié)點(diǎn)時(shí)作為獨(dú)立節(jié)點(diǎn)運(yùn)行。所述移動(dòng)存儲(chǔ)系統(tǒng)為外置式臺(tái)式機(jī)或監(jiān)控級(jí)或企業(yè)級(jí)硬盤、移動(dòng)硬盤、USB接口的FLASH閃存、智能移動(dòng)設(shè)備或其它可讀寫設(shè)備,其存儲(chǔ)空間最好達(dá)8GB以上。所述移動(dòng)節(jié)點(diǎn)系統(tǒng)還包括支持移動(dòng)存儲(chǔ)單元,通過借助隨處可用的商用PC機(jī)或
筆記本電腦等移動(dòng)計(jì)算機(jī),由常用的Linux系統(tǒng)等自引導(dǎo)操作系統(tǒng)配置文件的設(shè)置實(shí)現(xiàn)移動(dòng)節(jié)點(diǎn)的動(dòng)態(tài)加入或退出骨干云存儲(chǔ)集群系統(tǒng)。針對(duì)移動(dòng)存儲(chǔ)的特點(diǎn),本發(fā)明使用移動(dòng)存儲(chǔ)設(shè)備構(gòu)建云存儲(chǔ)集群系統(tǒng)中的移動(dòng)節(jié)點(diǎn),從而可構(gòu)成動(dòng)態(tài)構(gòu)建和擴(kuò)展的移動(dòng)云存儲(chǔ)集群系統(tǒng)。該移動(dòng)節(jié)點(diǎn)與常規(guī)集群節(jié)點(diǎn)的不同在于其具有便攜性、移動(dòng)性、協(xié)作性、動(dòng)態(tài)遷移性、自主管理性等。在本實(shí)施例中,所述移動(dòng)節(jié)點(diǎn)系統(tǒng)是借助現(xiàn)有的開源云存儲(chǔ)中間件,在預(yù)配置或現(xiàn)存的云存儲(chǔ)集群基礎(chǔ)上,通過在移動(dòng)設(shè)備上安裝虛擬機(jī)或自引導(dǎo)系統(tǒng),通過宿主機(jī)軟件或硬件(CPU+內(nèi)存+1/0設(shè)備),自啟動(dòng)并運(yùn)行移動(dòng)節(jié)點(diǎn)操作系統(tǒng)(以Linux系列為佳,也可為Windows等主流操作系統(tǒng)),移動(dòng)節(jié)點(diǎn)系統(tǒng)可自主選擇加入或離開骨干云存儲(chǔ)集群系統(tǒng),從而動(dòng)態(tài)加載到云存儲(chǔ)集群中,按需構(gòu)建動(dòng)態(tài)的、可擴(kuò)展的云存儲(chǔ)集群系統(tǒng),再在移動(dòng)節(jié)點(diǎn)或集群上運(yùn)行應(yīng)用,從而實(shí)現(xiàn)動(dòng)態(tài)的、可擴(kuò)展的移動(dòng)云存儲(chǔ)服務(wù)系統(tǒng)。本發(fā)明在通用的云存儲(chǔ)集群上設(shè)置有移動(dòng)節(jié)點(diǎn)系統(tǒng)。移動(dòng)節(jié)點(diǎn)系統(tǒng)可動(dòng)態(tài)加入或退出集群,也可作為獨(dú)立節(jié)點(diǎn)子系統(tǒng)運(yùn)行或獨(dú)立節(jié)點(diǎn)運(yùn)行。其中所述骨干網(wǎng)絡(luò)系統(tǒng)負(fù)責(zé)提供數(shù)據(jù)傳輸通道,通過所述骨干云存儲(chǔ)集群系統(tǒng)上的名稱節(jié)點(diǎn)使用云存儲(chǔ)集群上的存儲(chǔ)資源。當(dāng)所述移動(dòng)節(jié)點(diǎn)系統(tǒng)通過在移動(dòng)設(shè)備上配置自引導(dǎo)系統(tǒng)而形成移動(dòng)節(jié)點(diǎn)時(shí),通過所述自引導(dǎo)系統(tǒng),所述移動(dòng)節(jié)點(diǎn)系統(tǒng)作為獨(dú)立節(jié)點(diǎn)子系統(tǒng)運(yùn)行,從而實(shí)現(xiàn)一定程度上的自主管理和聯(lián)合協(xié)作,當(dāng)骨干云存儲(chǔ)集群系統(tǒng)處于非工作狀態(tài)時(shí),所述移動(dòng)節(jié)點(diǎn)系統(tǒng)構(gòu)成自主的云存儲(chǔ)集群系統(tǒng)運(yùn)行模式,在僅有一個(gè)移動(dòng)節(jié)點(diǎn)時(shí)作為獨(dú)立節(jié)點(diǎn)運(yùn)行。在骨干云存儲(chǔ)集群系統(tǒng)處于工作狀態(tài)時(shí)動(dòng)態(tài)加入骨干云存儲(chǔ)集群系統(tǒng),構(gòu)成移動(dòng)云存儲(chǔ)集群系統(tǒng),并使用云存儲(chǔ)集群系統(tǒng)的資源和服務(wù)。從而提供和增強(qiáng)了云存儲(chǔ)系統(tǒng)的可用性、易擴(kuò)展性、資源利用率、可維護(hù)性等特點(diǎn)。本發(fā)明系統(tǒng)的創(chuàng)建如下
借助主流通用技術(shù)(如Linux+Hadoop)構(gòu)建存儲(chǔ)集群;移動(dòng)節(jié)點(diǎn)安裝與配置借助移動(dòng)存儲(chǔ)系統(tǒng)安裝操作系統(tǒng)或虛擬操作系統(tǒng)(建議為L(zhǎng)inux系列),安裝JDK和Hadoop等組件并進(jìn)行配置,編輯配置 /etc/hosts, /etc/profile, hadoop/conf/masters, hadoop/conf/slaves等常規(guī)配置文件。
按以上方法構(gòu)建的移動(dòng)虛擬云存儲(chǔ)集群即可隨時(shí)隨地異地使用,連接到基于Hadoop等或具有相似功能的云計(jì)算中間件或平臺(tái)構(gòu)建的骨干集群上應(yīng)用骨干集群上的資源,也可獨(dú)立自主使用(包括計(jì)算、存儲(chǔ)、程序、數(shù)據(jù)等)。具體構(gòu)建流程如下
1.基于Hadoop等云計(jì)算平臺(tái)構(gòu)建骨干云存儲(chǔ)集群系統(tǒng),其中至少含有一個(gè)名稱節(jié)點(diǎn)和一個(gè)以上數(shù)據(jù)節(jié)點(diǎn);
2.通過在移動(dòng)存儲(chǔ)設(shè)備上配置自啟動(dòng)系統(tǒng)或虛擬機(jī)系統(tǒng),構(gòu)成移動(dòng)節(jié)點(diǎn)。移動(dòng)節(jié)點(diǎn)可動(dòng)態(tài)加入到集群中。若在移動(dòng)設(shè)備上配置虛擬機(jī),可借助外部的主操作系統(tǒng)啟動(dòng)后加入到骨干云存儲(chǔ)集群系統(tǒng)中;若在移動(dòng)設(shè)備上配置自引導(dǎo)系統(tǒng),則可自身啟動(dòng)后加入到骨干z 存儲(chǔ)集群系統(tǒng)中;
3.通過通用的云計(jì)算開發(fā)平臺(tái)和虛擬機(jī),構(gòu)建云存儲(chǔ)集群;云存儲(chǔ)集群可通過命令行、瀏覽器或程序等訪問;云存儲(chǔ)集群可提供存儲(chǔ)空間集成、文件共享等,文件可通過網(wǎng)頁
瀏覽器或客戶端上傳或下載。本發(fā)明系統(tǒng)的核心要點(diǎn)是
1.構(gòu)建通用的虛擬集群或混合集群(物理節(jié)點(diǎn)與虛擬節(jié)點(diǎn)可并存);
2.借助主機(jī)在移動(dòng)存儲(chǔ)設(shè)備上安裝自引導(dǎo)操作系統(tǒng)或虛擬機(jī)系統(tǒng);
3.移動(dòng)節(jié)點(diǎn)系統(tǒng)可移動(dòng)到任何支持移動(dòng)存儲(chǔ)啟動(dòng)的主機(jī)上啟動(dòng)運(yùn)行,并可修改配置文件成為集群中的一個(gè)節(jié)點(diǎn);
4.移動(dòng)節(jié)點(diǎn)系統(tǒng)可退出骨干云存儲(chǔ)集群系統(tǒng),成為獨(dú)立節(jié)點(diǎn)子系統(tǒng)。移動(dòng)節(jié)點(diǎn)子系統(tǒng)可獨(dú)立運(yùn)行,并可訪問集群資源,不必加入到骨干云存儲(chǔ)集群系統(tǒng)中;當(dāng)骨干云存儲(chǔ)集群系統(tǒng)處于非工作狀態(tài)時(shí),所述移動(dòng)節(jié)點(diǎn)系統(tǒng)可實(shí)現(xiàn)如同骨干云存儲(chǔ)集群系統(tǒng)的運(yùn)行模式;當(dāng)所述骨干云存儲(chǔ)集群系統(tǒng)處于工作狀態(tài)時(shí),所述移動(dòng)節(jié)點(diǎn)系統(tǒng)可動(dòng)態(tài)加入骨干云存儲(chǔ)集群,構(gòu)成移動(dòng)云存儲(chǔ)集群系統(tǒng),并利用移動(dòng)云存儲(chǔ)集群系統(tǒng)的資源;
5.云存儲(chǔ)集群可手動(dòng)或自主運(yùn)行;
6.通過骨干云存儲(chǔ)集群系統(tǒng)或移動(dòng)節(jié)點(diǎn)系統(tǒng)均可運(yùn)行具體或?qū)S脩?yīng)用(如文件共孚、上傳、下載等);
7.移動(dòng)節(jié)點(diǎn)系統(tǒng)也可作為普通的存儲(chǔ)介質(zhì)使用。本發(fā)明系統(tǒng)配置的過程如下
(I)選取一個(gè)通用的移動(dòng)存儲(chǔ)設(shè)備(如外置式硬盤、移動(dòng)硬盤、USB閃存盤、TFT卡等),置于可讀寫狀態(tài),接入PC機(jī)或其他計(jì)算機(jī)(可為L(zhǎng)inux或Windows或Macintosh等操作系統(tǒng)啟動(dòng));(2)通過PC機(jī)或其他計(jì)算機(jī)往移動(dòng)存儲(chǔ)設(shè)備中安裝虛擬機(jī)或?qū)懭胱砸龑?dǎo)系統(tǒng);(3)通過PC機(jī)或其他計(jì)算機(jī)啟動(dòng)移動(dòng)存儲(chǔ)設(shè)備中的虛擬機(jī)或自引導(dǎo)系統(tǒng),安裝JDK、Hadoop等云存儲(chǔ)基礎(chǔ)軟件,并配置環(huán)境變量(PATH、CLASSPATH)、配置文件(/etc/hosts、hadoop/conf/masters、hadoop/conf/slaves等)和網(wǎng)絡(luò)IP,使之成為骨干云存儲(chǔ)集群的節(jié)點(diǎn);(4)去電后,移動(dòng)存儲(chǔ)設(shè)備可移動(dòng)到任意一臺(tái)PC機(jī)或其他計(jì)算機(jī)或筆記本電腦等上啟動(dòng)聯(lián)網(wǎng),成為云存儲(chǔ)集群的移動(dòng)節(jié)點(diǎn),或作為自含的獨(dú)立節(jié)點(diǎn),獨(dú)立運(yùn)行。在其上可運(yùn)行應(yīng)用,或新安裝應(yīng)用,提供各種應(yīng)用所需的任務(wù)運(yùn)行作業(yè)環(huán)境;(5)移動(dòng)節(jié)點(diǎn)系統(tǒng)主要模塊構(gòu)成虛擬機(jī)運(yùn)行環(huán)境+虛擬機(jī),或自引導(dǎo)的移動(dòng)存儲(chǔ)設(shè)備;基于Hadoop的集群配置;可選應(yīng)用模塊。系統(tǒng)功能說明系統(tǒng)可用于各種需專用操作系統(tǒng)支持的場(chǎng)合,如會(huì)議、緊急救援、專有應(yīng)用支持環(huán)境、學(xué)術(shù)科研環(huán)境的快速搭建等。系統(tǒng)可實(shí)現(xiàn)(I)基于宿主機(jī)硬件或通用操作系統(tǒng)快速啟動(dòng);(2)遠(yuǎn)程、動(dòng)態(tài)拓展集群,并使用集群資源;(3)自引導(dǎo)系統(tǒng)可支持各種應(yīng)用的安裝、配置、啟動(dòng)、運(yùn)行等任務(wù)。用戶可以進(jìn)行以下四種操作1.基于商用主機(jī)CPU和內(nèi)存的啟動(dòng)方式;2.基于主機(jī)操作系統(tǒng)和虛擬化軟件支持的虛擬機(jī)啟動(dòng);3.基于主機(jī)操作系統(tǒng)和應(yīng)用軟件支持的數(shù)據(jù)訪問;4.基于自動(dòng)云存儲(chǔ)節(jié)點(diǎn)的公共訪問與資源共享。用戶的使用流程如下
I.借助通用的技術(shù)構(gòu)建的骨干云存儲(chǔ)集群或現(xiàn)有的云存儲(chǔ)集群基礎(chǔ)上,通過安裝、克隆或復(fù)制等方式基礎(chǔ)上構(gòu)建移動(dòng)節(jié)點(diǎn)系統(tǒng),配置IP使之申請(qǐng)加入骨干云存儲(chǔ)集群系統(tǒng)。運(yùn)行移動(dòng)節(jié)點(diǎn)系統(tǒng)上的通用或特殊應(yīng)用程序。2.借助移動(dòng)節(jié)點(diǎn)系統(tǒng)遠(yuǎn)程訪問集群系統(tǒng)資源。移動(dòng)節(jié)點(diǎn)系統(tǒng)本身可申請(qǐng)加入骨干云存儲(chǔ)集群系統(tǒng)的一部分,從而構(gòu)成移動(dòng)云存儲(chǔ)集群系
統(tǒng),或作為骨干云存儲(chǔ)集群系統(tǒng)的客戶端,也可獨(dú)立于骨干云存儲(chǔ)集群系統(tǒng)而作為獨(dú)立節(jié)點(diǎn)運(yùn)行使用。3.在實(shí)際應(yīng)用中通過移動(dòng)節(jié)點(diǎn)系統(tǒng)共享大量計(jì)算、存儲(chǔ)、程序、數(shù)據(jù)和文件,運(yùn)行本地或遠(yuǎn)程應(yīng)用程序或軟件。4.借助其他終端(PC機(jī)、移動(dòng)終端等)訪問移動(dòng)云存儲(chǔ)集群系統(tǒng)上的資源(計(jì)算、存儲(chǔ)、數(shù)據(jù)、文件或應(yīng)用等)。說明數(shù)據(jù)存儲(chǔ)在骨干云存儲(chǔ)集群系統(tǒng)或移動(dòng)節(jié)點(diǎn)系統(tǒng)上,設(shè)置有數(shù)據(jù)備份模塊,至少保留2-3個(gè)備份,則當(dāng)移動(dòng)節(jié)點(diǎn)系統(tǒng)動(dòng)態(tài)加入或卸載時(shí),數(shù)據(jù)可被自動(dòng)重構(gòu)和恢復(fù)其可用性。數(shù)據(jù)訪問交互流程為(1)客戶向骨干云存儲(chǔ)集群系統(tǒng)中的云存儲(chǔ)集群服務(wù)器(即名稱節(jié)點(diǎn))發(fā)出數(shù)據(jù)訪問請(qǐng)求,服務(wù)器根據(jù)元數(shù)據(jù)搜索和定位可用的數(shù)據(jù)或存儲(chǔ)資源所在的數(shù)據(jù)節(jié)點(diǎn),并返回地址給客戶。(2)客戶根據(jù)服務(wù)器返回的地址訪問云存儲(chǔ)集群節(jié)點(diǎn)(數(shù)據(jù)節(jié)點(diǎn))??蛻糁笾苯釉谠拼鎯?chǔ)集群節(jié)點(diǎn)(數(shù)據(jù)節(jié)點(diǎn))進(jìn)行數(shù)據(jù)訪問??蛻糁恍杼岢鲈L問請(qǐng)求,并得到訪問結(jié)果;而數(shù)據(jù)訪問總體過程是自動(dòng)、智能、透明的。名稱節(jié)點(diǎn)和數(shù)據(jù)節(jié)點(diǎn)可在同一個(gè)計(jì)算機(jī)上(物理機(jī)或虛擬機(jī)),也可在不同的計(jì)算機(jī)上。本發(fā)明將分布式存儲(chǔ)資源集成平臺(tái)與移動(dòng)存儲(chǔ)相結(jié)合,設(shè)計(jì)和實(shí)現(xiàn)可動(dòng)態(tài)加載、離開,可獨(dú)立應(yīng)用、也可成為分布式集群中的一個(gè)臨時(shí)節(jié)點(diǎn),共享集群平臺(tái)上的應(yīng)用。從而克服了單純依靠遠(yuǎn)程云存儲(chǔ)系統(tǒng)的虛擬機(jī)重構(gòu)易導(dǎo)致的網(wǎng)絡(luò)斷接、系統(tǒng)并發(fā)響應(yīng)性能下降、專有應(yīng)用難以支持、數(shù)據(jù)可控性與安全性控制等問題。本發(fā)明可應(yīng)用于云計(jì)算和云存儲(chǔ)領(lǐng)域。需要注意的是,上述僅以優(yōu)選實(shí)施例對(duì)本發(fā)明進(jìn)行了說明,并不能就此局限本發(fā)明的權(quán)利范圍,因此在不脫離本發(fā)明思想的情況下,凡運(yùn)用本發(fā)明說明書和附圖部分的內(nèi)容所進(jìn)行的等效變化,均理同包含在本發(fā)明的權(quán)利要求范圍內(nèi)。
權(quán)利要求
1.一種動(dòng)態(tài)構(gòu)建和自主管理的移動(dòng)云存儲(chǔ)集群系統(tǒng),其特征在于,該系統(tǒng)包括 骨干云存儲(chǔ)集群系統(tǒng),所述骨干云存儲(chǔ)集群系統(tǒng)包含至少一個(gè)名稱節(jié)點(diǎn)和至少一個(gè)數(shù)據(jù)節(jié)點(diǎn),所述骨干云存儲(chǔ)集群系統(tǒng)還包括為網(wǎng)絡(luò)用戶提供網(wǎng)絡(luò)服務(wù)的骨干網(wǎng)絡(luò)系統(tǒng)和為集群系統(tǒng)提供存儲(chǔ)服務(wù)的骨干存儲(chǔ)系統(tǒng); 至少一個(gè)移動(dòng)節(jié)點(diǎn)系統(tǒng),所述移動(dòng)節(jié)點(diǎn)系統(tǒng)通過在移動(dòng)設(shè)備上配置自引導(dǎo)系統(tǒng)或虛擬機(jī)系統(tǒng)而形成移動(dòng)節(jié)點(diǎn),所述移動(dòng)節(jié)點(diǎn)動(dòng)態(tài)加入或退出所述骨干云存儲(chǔ)集群系統(tǒng); 兩個(gè)所述骨干云存儲(chǔ)集群系統(tǒng)之間、所述骨干云存儲(chǔ)集群系統(tǒng)與所述移動(dòng)節(jié)點(diǎn)系統(tǒng)之間或兩個(gè)所述移動(dòng)節(jié)點(diǎn)系統(tǒng)之間的互連均通過現(xiàn)行通用或?qū)S玫木W(wǎng)絡(luò)系統(tǒng)實(shí)現(xiàn); 其中,所述名稱節(jié)點(diǎn)提供集群監(jiān)控和負(fù)載的均衡管理并與外部網(wǎng)絡(luò)進(jìn)行通信; 所述數(shù)據(jù)節(jié)點(diǎn)提供存儲(chǔ)資源及其存儲(chǔ)資源的配額管理和資源抽象。
2.根據(jù)權(quán)利要求I所述的一種動(dòng)態(tài)構(gòu)建和自主管理的移動(dòng)云存儲(chǔ)集群系統(tǒng),其特征在于當(dāng)所述移動(dòng)節(jié)點(diǎn)系統(tǒng)通過在移動(dòng)設(shè)備上配置自引導(dǎo)系統(tǒng)而形成移動(dòng)節(jié)點(diǎn)時(shí),通過所述自引導(dǎo)系統(tǒng),所述移動(dòng)節(jié)點(diǎn)系統(tǒng)作為獨(dú)立節(jié)點(diǎn)子系統(tǒng)運(yùn)行。
3.根據(jù)權(quán)利要求I所述的一種動(dòng)態(tài)構(gòu)建和自主管理的移動(dòng)云存儲(chǔ)集群系統(tǒng),其特征在于由所述名稱節(jié)點(diǎn)和數(shù)據(jù)節(jié)點(diǎn)構(gòu)成的骨干云存儲(chǔ)集群系統(tǒng)通過分布式同構(gòu)或異構(gòu)網(wǎng)絡(luò)方式互連。
4.根據(jù)權(quán)利要求I所述的一種動(dòng)態(tài)構(gòu)建和自主管理的移動(dòng)云存儲(chǔ)集群系統(tǒng),其特征在于在所述移動(dòng)節(jié)點(diǎn)系統(tǒng)上設(shè)置有移動(dòng)網(wǎng)絡(luò)系統(tǒng)、移動(dòng)存儲(chǔ)系統(tǒng)及移動(dòng)應(yīng)用系統(tǒng)。
5.根據(jù)權(quán)利要求4所述的一種動(dòng)態(tài)構(gòu)建和自主管理的移動(dòng)云存儲(chǔ)集群系統(tǒng),其特征在于所述移動(dòng)應(yīng)用系統(tǒng)構(gòu)建在所述移動(dòng)網(wǎng)絡(luò)系統(tǒng)和所述移動(dòng)存儲(chǔ)系統(tǒng)之上,使用所述骨干云存儲(chǔ)集群系統(tǒng)所提供的集群服務(wù)。
6.根據(jù)權(quán)利要求4所述的一種動(dòng)態(tài)構(gòu)建和自主管理的移動(dòng)云存儲(chǔ)集群系統(tǒng),其特征在于所述移動(dòng)應(yīng)用系統(tǒng)構(gòu)建在所述移動(dòng)網(wǎng)絡(luò)系統(tǒng)和所述移動(dòng)存儲(chǔ)系統(tǒng)之上,在無法連接骨干云存儲(chǔ)集群時(shí)或連接超時(shí)或性能低于移動(dòng)節(jié)點(diǎn)時(shí)使用所述移動(dòng)網(wǎng)絡(luò)系統(tǒng)和所述移動(dòng)存儲(chǔ)系統(tǒng)所提供的集群服務(wù)。
7.根據(jù)權(quán)利要求I所述的一種動(dòng)態(tài)構(gòu)建和自主管理的移動(dòng)云存儲(chǔ)集群系統(tǒng),其特征在于,所述為網(wǎng)絡(luò)用戶提供網(wǎng)絡(luò)服務(wù)的骨干網(wǎng)絡(luò)系統(tǒng)包括 集群服務(wù)裝置,為集群系統(tǒng)提供集群服務(wù); 存儲(chǔ)資源管理裝置,用于向集群系統(tǒng)提供存儲(chǔ)資源的管理; 網(wǎng)絡(luò)系統(tǒng)硬件,包括網(wǎng)絡(luò)適配卡和網(wǎng)絡(luò)接口。
8.根據(jù)權(quán)利要求I所述的一種動(dòng)態(tài)構(gòu)建和自主管理的移動(dòng)云存儲(chǔ)集群系統(tǒng),其特征在于所述骨干云存儲(chǔ)集群系統(tǒng)還包括骨干應(yīng)用系統(tǒng),所述骨干應(yīng)用系統(tǒng)包括集群服務(wù)接口、可選應(yīng)用服務(wù)。
9.根據(jù)權(quán)利要求2所述的一種動(dòng)態(tài)構(gòu)建和自主管理的移動(dòng)云存儲(chǔ)集群系統(tǒng),其特征在于所述移動(dòng)節(jié)點(diǎn)系統(tǒng)作為獨(dú)立節(jié)點(diǎn)子系統(tǒng)運(yùn)行時(shí),所述獨(dú)立節(jié)點(diǎn)子系統(tǒng)構(gòu)成自主的云存儲(chǔ)集群系統(tǒng)運(yùn)行或自主節(jié)點(diǎn)系統(tǒng)運(yùn)行。
10.根據(jù)權(quán)利要求4所述的一種動(dòng)態(tài)構(gòu)建和自主管理的移動(dòng)云存儲(chǔ)集群系統(tǒng),其特征在于所述移動(dòng)存儲(chǔ)系統(tǒng)為外置式臺(tái)式機(jī)或監(jiān)控級(jí)或企業(yè)級(jí)硬盤、移動(dòng)硬盤、USB接口的FLASH閃存、智能移動(dòng)設(shè)備或其它可讀寫設(shè)備。
全文摘要
本發(fā)明公開并提供了一種通過動(dòng)態(tài)構(gòu)建可移動(dòng)的移動(dòng)節(jié)點(diǎn)系統(tǒng),動(dòng)態(tài)加入或退出骨干云存儲(chǔ)集群系統(tǒng),并能實(shí)現(xiàn)一定程度的自主管理和聯(lián)合協(xié)作,從而提供和增強(qiáng)了云存儲(chǔ)系統(tǒng)的可用性、易擴(kuò)展性、資源利用率、可維護(hù)性等特點(diǎn)的動(dòng)態(tài)構(gòu)建和自主管理的移動(dòng)云存儲(chǔ)集群系統(tǒng)。本發(fā)明包括骨干云存儲(chǔ)集群系統(tǒng)和至少一個(gè)移動(dòng)節(jié)點(diǎn)系統(tǒng),兩個(gè)所述骨干云存儲(chǔ)集群系統(tǒng)之間、所述骨干云存儲(chǔ)集群系統(tǒng)與所述移動(dòng)節(jié)點(diǎn)系統(tǒng)之間或兩個(gè)所述移動(dòng)節(jié)點(diǎn)系統(tǒng)之間的互連均可通過現(xiàn)行通用或?qū)S玫木W(wǎng)絡(luò)系統(tǒng)實(shí)現(xiàn),本發(fā)明將分布式資源集群平臺(tái)與分布式應(yīng)用平臺(tái)結(jié)合,實(shí)現(xiàn)低成本租用和應(yīng)用拓展。本發(fā)明可應(yīng)用于云計(jì)算和云存儲(chǔ)領(lǐng)域。
文檔編號(hào)H04L29/08GK102857558SQ20121028608
公開日2013年1月2日 申請(qǐng)日期2012年8月13日 優(yōu)先權(quán)日2012年8月13日
發(fā)明者曾文英, 尚敏, 賴小卿, 吳志毅, 胡思揚(yáng), 黃超, 曾俊威, 盧寧, 龔發(fā)根, 段班祥, 張君生 申請(qǐng)人:廣東科學(xué)技術(shù)職業(yè)學(xué)院