專利名稱：PaaS平臺(tái)的大數(shù)據(jù)處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及云計(jì)算技術(shù)領(lǐng)域,尤其涉及一種PaaS (Platform-as-a-Service,平臺(tái)即服務(wù))平臺(tái)的大數(shù)據(jù)處理方法。
背景技術(shù)：
云計(jì)算發(fā)展正熱火朝天，作為云計(jì)算產(chǎn)業(yè)的重要領(lǐng)域，PaaS已經(jīng)成為各大企業(yè)角逐未來的重要陣營。由于IaaS (Infrastructure as a Service,基礎(chǔ)設(shè)施即服務(wù))和SaaS(Software-as-a-service,軟件即服務(wù))已經(jīng)實(shí)現(xiàn)了商品化，云環(huán)境中眾多應(yīng)用軟件都實(shí)現(xiàn)了標(biāo)準(zhǔn)化，用戶都需要充分利用PaaS帶來的創(chuàng)新解決方案，而服務(wù)提供商則需要該解決方案來體現(xiàn)自己的差異化競爭。PaaS作為一種服務(wù)模式，可以推進(jìn)SaaS的發(fā)展，可以提高Web平臺(tái)上可利用的資源數(shù)量。PaaS解決方案為應(yīng)用程序的部署提供了方便，簡化了購買和管理底層軟硬件的復(fù)雜性，也降低了成本。隨著PaaS平臺(tái)的發(fā)展，越來越多、越來越大的應(yīng)用部署在PaaS平臺(tái)上，由于數(shù)據(jù)產(chǎn)生的自動(dòng)化進(jìn)步，越來越多的應(yīng)用要求將這些數(shù)量持續(xù)增長的數(shù)據(jù)流持久化保存下來，并進(jìn)行后續(xù)的查詢分析和數(shù)據(jù)挖掘，這對PaaS平臺(tái)的海量數(shù)據(jù)的管理提出了嚴(yán)峻的挑戰(zhàn)，PaaS平臺(tái)下的大數(shù)據(jù)處理問題孕育而生。

發(fā)明內(nèi)容
本發(fā)明實(shí)施例提出一種PaaS平臺(tái)的大數(shù)據(jù)處理方法，能夠解決PaaS平臺(tái)的海量數(shù)據(jù)的處理問題，提高數(shù)據(jù)處理效率。 本發(fā)明實(shí)施例提供一種PaaS平臺(tái)的大數(shù)據(jù)處理方法，包括
SI，PaaS平臺(tái)服務(wù)器接收用戶輸入的集群創(chuàng)建參數(shù)；所述集群創(chuàng)建參數(shù)包括待創(chuàng)建的分布式處理集群的節(jié)點(diǎn)的數(shù)量、節(jié)點(diǎn)的內(nèi)存大小和節(jié)點(diǎn)的存儲(chǔ)空間大小；
S2，PaaS平臺(tái)服務(wù)器根據(jù)所述集群創(chuàng)建參數(shù)，通過虛擬化技術(shù)生成分布式處理集群；S3，PaaS平臺(tái)服務(wù)器根據(jù)所述用戶輸入的日志文件存儲(chǔ)地址或所述用戶部署的應(yīng)用名稱，配置待分析的數(shù)據(jù)源；
S4, PaaS平臺(tái)服務(wù)器將用于分析數(shù)據(jù)的腳本傳輸給所述分布式處理集群，通過所述分布式處理集群對待分析的數(shù)據(jù)進(jìn)行處理；
S5，PaaS平臺(tái)服務(wù)器將數(shù)據(jù)處理結(jié)果提供給所述用戶。其中，所述節(jié)點(diǎn)為分布式處理集群中的虛擬機(jī)；所述節(jié)點(diǎn)包括控制節(jié)點(diǎn)和計(jì)算節(jié)點(diǎn)，所述控制節(jié)點(diǎn)用于管理集群和分配數(shù)據(jù)處理任務(wù)，所述計(jì)算節(jié)點(diǎn)用于分析處理數(shù)據(jù)。本發(fā)明實(shí)施例提供的PaaS平臺(tái)的大數(shù)據(jù)處理方法，利用PaaS平臺(tái)現(xiàn)有資源，由PaaS平臺(tái)通過底層的IaaS層虛擬化技術(shù)生成分布式處理集群中各節(jié)點(diǎn)；通過生成的分布式處理集群為PaaS平臺(tái)提供大數(shù)據(jù)處理能力，能夠解決PaaS平臺(tái)的海量數(shù)據(jù)的處理問題，提高數(shù)據(jù)處理效率。


圖1是本發(fā)明提供的PaaS平臺(tái)的大數(shù)據(jù)處理方法的一個(gè)實(shí)施例的流程示意圖； 圖2是本發(fā)明提供的PaaS平臺(tái)的大數(shù)據(jù)處理系統(tǒng)的一個(gè)實(shí)施例的結(jié)構(gòu)示意圖。
具體實(shí)施例方式下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有作出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。參見圖1，是本發(fā)明提供的PaaS平臺(tái)的大數(shù)據(jù)處理方法的一個(gè)實(shí)施例的流程示意圖。本發(fā)明實(shí)施例提供一種PaaS平臺(tái)的大數(shù)據(jù)處理方法，包括步驟S1- S5，具體如下 SI，PaaS平臺(tái)服務(wù)器接收用戶輸入的集群創(chuàng)建參數(shù)。所述集群創(chuàng)建參數(shù)包括待創(chuàng)建的分布式處理集群的節(jié)點(diǎn)的數(shù)量、節(jié)點(diǎn)的內(nèi)存大小和節(jié)點(diǎn)的存儲(chǔ)空間大小，以及其他參數(shù)。所述節(jié)點(diǎn)為分布式處理集群中的虛擬機(jī)；所述節(jié)點(diǎn)包括控制節(jié)點(diǎn)和計(jì)算節(jié)點(diǎn)，所述控制節(jié)點(diǎn)用于管理集群和分配數(shù)據(jù)處理任務(wù)，所述計(jì)算節(jié)點(diǎn)用于分析處理數(shù)據(jù)。此外，PaaS平臺(tái)服務(wù)器還根據(jù)所述集群創(chuàng)建參數(shù)，檢測系統(tǒng)資源是否滿足要求。在滿足要求時(shí)，執(zhí)行步驟S2，創(chuàng)建分布式處理集群。S2，PaaS平臺(tái)服務(wù)器根據(jù)所述集群創(chuàng)建參數(shù)，通過虛擬化技術(shù)生成分布式處理集群。步驟S2具體包括步驟S201 S204，如下
S201，根據(jù)所述集群創(chuàng)建參數(shù)，通過虛擬化技術(shù)生成一臺(tái)虛擬機(jī)，并配置所述虛擬機(jī)的運(yùn)行環(huán)境。例如，在生成的虛擬機(jī)上安裝jdk、mysql、hadoop等軟件，并設(shè)置環(huán)境變量。所需軟件可以從大數(shù)據(jù)處理服務(wù)組件下的soft文件夾中拷貝。在一個(gè)實(shí)施方式中，虛擬機(jī)采用Centos5. 5 操作系統(tǒng)，jdk 版本為1. 6. 23, mysql 版本為 5. 5, hadoop 版本為1.0. 2。S202，根據(jù)所述集群創(chuàng)建參數(shù)中的節(jié)點(diǎn)的數(shù)量，復(fù)制步驟S201所生成的虛擬機(jī)，生成所需數(shù)量的虛擬機(jī)。S203,設(shè)置虛擬機(jī)之間的無密碼通信。步驟S203具體包括控制每臺(tái)虛擬機(jī)啟動(dòng)密鑰生成程序，生成各自的公鑰和私鑰。再將每臺(tái)虛擬機(jī)所生成的公鑰復(fù)制到其他虛擬機(jī)上，實(shí)現(xiàn)無密碼通信。具體實(shí)施時(shí)，可以在每臺(tái)虛擬機(jī)上運(yùn)行一次ssh-keygen -t dsa程序，即可生成各自的公鑰和私鑰。并將公鑰文件里面的內(nèi)容相互拷到其他虛擬機(jī)的authorizecLkey文件中，各登陸一次，生成known_hosts文件,實(shí)現(xiàn)無密碼通信。S204，設(shè)置分布式處理集群中的控制節(jié)點(diǎn)和計(jì)算節(jié)點(diǎn)。本實(shí)施例默認(rèn)將第一次生成的虛擬機(jī)作為控制節(jié)點(diǎn)，其余虛擬機(jī)作為計(jì)算節(jié)點(diǎn)。并且，修改 hadoop 中的 slaves、masters、mapred-site. xml、hdfs-site.xml> hadoop-env.sh、core-site. xml,配置好分布式處理集群參數(shù)。
S3,PaaS平臺(tái)服務(wù)器根據(jù)所述用戶輸入的日志文件存儲(chǔ)地址或所述用戶部署的應(yīng)用名稱，配置待分析的數(shù)據(jù)源。步驟S3具體包括
PaaS平臺(tái)服務(wù)器接收用戶輸入日志文件存儲(chǔ)地址，或者根據(jù)所述用戶在PaaS平臺(tái)上部署的應(yīng)用的名稱獲得對應(yīng)的日志文件存儲(chǔ)地址；
PaaS平臺(tái)服務(wù)器檢測所述日志文件存儲(chǔ)地址中的文件格式是否為日志文件(即判斷日志文件是否存在)；若是，則從所述日志文件存儲(chǔ)地址導(dǎo)入待分析的數(shù)據(jù)，否則待分析的數(shù)據(jù)源配置失敗。所述日志文件存儲(chǔ)地址中的日志文件，即為待分析的數(shù)據(jù)源，在后續(xù)的步驟S4中被導(dǎo)入分布式集群中進(jìn)行數(shù)據(jù)處理。S4，PaaS平臺(tái)服務(wù)器將用于分析數(shù)據(jù)的腳本傳輸給所述分布式處理集群，通過所述分布式處理集群對待分析的數(shù)據(jù)進(jìn)行處理。上述步驟S4具體包括
S401，PaaS平臺(tái)服務(wù)器將用于分析 數(shù)據(jù)的腳本傳輸給所述分布式處理集群中的控制節(jié)點(diǎn)；所述用于分析數(shù)據(jù)的腳本為MapReduce腳本，用于指示導(dǎo)入待分析的數(shù)據(jù)的方法和執(zhí)行MapReduce作業(yè)的方法。S402,所述控制節(jié)點(diǎn)選擇所述分布式處理集群中空閑的計(jì)算節(jié)點(diǎn)，由所述計(jì)算節(jié)點(diǎn)并行地執(zhí)行數(shù)據(jù)處理任務(wù)，對待分析的數(shù)據(jù)進(jìn)行處理。分布式處理集群中的控制節(jié)點(diǎn)主要對集群中MapReduce作業(yè)的執(zhí)行進(jìn)行監(jiān)督和管理，計(jì)算節(jié)點(diǎn)負(fù)責(zé)MapReduce作業(yè)中Map任務(wù)和Reduce任務(wù)的具體實(shí)現(xiàn)。當(dāng)MapReduce作業(yè)提交給分布式處理集群時(shí)，相關(guān)的輸入數(shù)據(jù)將首先被劃分為多個(gè)片斷，然后控制節(jié)點(diǎn)挑選空閑的計(jì)算節(jié)點(diǎn)對數(shù)據(jù)片斷并行地執(zhí)行Map任務(wù)。接著這些由Map任務(wù)產(chǎn)生的中間記錄，會(huì)再次被劃分為由控制節(jié)點(diǎn)挑選空閑的計(jì)算節(jié)點(diǎn)對它們并行地執(zhí)行的Reduce任務(wù)，從而獲得和每個(gè)鍵值相對應(yīng)的數(shù)據(jù)集合作為運(yùn)算結(jié)果。這樣的過程將反復(fù)執(zhí)行，直到MapReduce作業(yè)中所有的Map任務(wù)和Reduce任務(wù)執(zhí)行完畢。具體實(shí)施時(shí)，PaaS平臺(tái)服務(wù)器還根據(jù)腳本類型檢測用于分析數(shù)據(jù)的腳本是否符合要求。例如,要求腳本必須為jar類型。在符合要求后，執(zhí)行步驟S401和S402。S5，PaaS平臺(tái)服務(wù)器將數(shù)據(jù)處理結(jié)果提供給所述用戶。本發(fā)明實(shí)施例提供的PaaS平臺(tái)的大數(shù)據(jù)處理方法，可以利用PaaS平臺(tái)現(xiàn)有資源，由PaaS平臺(tái)通過底層的IaaS層虛擬化技術(shù)生成分布式處理集群中各節(jié)點(diǎn)；通過生成的分布式處理集群為PaaS平臺(tái)提供大數(shù)據(jù)處理能力，從而解決PaaS平臺(tái)的海量數(shù)據(jù)的處理問題，提高數(shù)據(jù)處理效率。在具體實(shí)施當(dāng)中，在PaaS平臺(tái)服務(wù)器上配置PaaS平臺(tái)，該P(yáng)aaS平臺(tái)集成了大數(shù)據(jù)處理服務(wù)組件，由所述大數(shù)據(jù)處理服務(wù)組件執(zhí)行上述步驟Sf S5中的大數(shù)據(jù)處理流程。
參見圖2，本發(fā)明提供的PaaS平臺(tái)的大數(shù)據(jù)處理系統(tǒng)的一個(gè)實(shí)施例的結(jié)構(gòu)示意圖。本發(fā)明實(shí)施例提供一種PaaS平臺(tái)的大數(shù)據(jù)處理系統(tǒng)，包括=PaaS平臺(tái)層、虛擬化分布式處理集群、云存儲(chǔ)及服務(wù)器。具體如下
所述PaaS平臺(tái)層提供各種服務(wù)組件，包括大數(shù)據(jù)處理服務(wù)組件，并為用戶提供操作的用戶界面(User Interface,簡稱 UI )。所述 PaaS 平臺(tái)米用 OSGi (Open Service GatewayInitiative)架構(gòu)，中間件服務(wù)、數(shù)據(jù)服務(wù)、監(jiān)控服務(wù)、大數(shù)據(jù)處理服務(wù)等各種服務(wù)以組件形式插入PaaS平臺(tái)，從而形成了可插拔、可動(dòng)態(tài)改變行為、穩(wěn)定高效的系統(tǒng)。所述大數(shù)據(jù)處理服務(wù)組件為用戶提供生成虛擬化分布式處理集群所需配置參數(shù)的輸入、處理結(jié)果的展現(xiàn)；同時(shí)提供虛擬化分布式處理集群管理功能，包括控制集群的生命周期、監(jiān)控集群處理數(shù)據(jù)的過程。所述虛擬化分布式處理集群，為系統(tǒng)提供核心的分析數(shù)據(jù)處理能力。所述集群由PaaS平臺(tái)根據(jù)大數(shù)據(jù)處理服務(wù)組件提供的參數(shù)配置，通過虛擬化技術(shù)生成。所述集群從云儲(chǔ)存中獲取待分析數(shù)據(jù)，根據(jù)大數(shù)據(jù)處理服務(wù)組件提供的腳本進(jìn)行數(shù)據(jù)處理和分析，并通過PaaS平臺(tái)的大數(shù)據(jù)處理服務(wù)組件的用戶界面將分析結(jié)果展現(xiàn)給用戶。所述集群采用Hadoop集群架構(gòu)，實(shí)現(xiàn)了一個(gè)分布式文件系統(tǒng)(Hadoop Distributed File System,簡稱HDFS)。HDFS有著高容錯(cuò)性的特點(diǎn)，并且設(shè)計(jì)用來部署在低廉的硬件上。而且，HDFS提供高傳輸率來訪問應(yīng)用程序的數(shù)據(jù)。通過所述Hadoop架構(gòu)，利用PaaS平臺(tái)現(xiàn)有資源，提供了一個(gè)高可靠性、高擴(kuò)展性、高效性、高容錯(cuò)性的大數(shù)據(jù)處理能力。所述云存儲(chǔ)及服務(wù)器，可以采用PaaS平臺(tái)的現(xiàn)有資源來構(gòu)建，為整個(gè)系統(tǒng)提供了硬件資源基礎(chǔ)。所述云存儲(chǔ)中的所有磁盤設(shè)備來源于廉價(jià)的PC設(shè)備，整合到單一的共享存儲(chǔ)池中提供給前端的應(yīng)用服務(wù)器，極大提高了磁盤利用率。分布式存儲(chǔ)提高了文件讀寫效率；云存儲(chǔ)可以通過線性擴(kuò)展實(shí)現(xiàn)大容量，同時(shí)可以為非結(jié)構(gòu)化數(shù)據(jù)提供極高1\0 (輸入\輸出)帶寬。存儲(chǔ)備份策略消除磁盤的單點(diǎn)故障，保障高可靠性，而且相對傳統(tǒng)存儲(chǔ)來說具有低成本的優(yōu)勢。本發(fā)明實(shí)施例提供的PaaS平臺(tái)的大數(shù)據(jù)處理方法及系統(tǒng)，具有如下有益效果 (I )、本發(fā)明充分利用PaaS平臺(tái)的現(xiàn)有存儲(chǔ)及計(jì)算資源，提高PaaS平臺(tái)資源使用效率；用戶不再需要重新購買新的存儲(chǔ)和服務(wù)器，可以有效的降低成本；同時(shí)，大數(shù)據(jù)處理服務(wù)以組件的方式集成進(jìn)PaaS平臺(tái)，可以方便地?cái)U(kuò)展，加快開發(fā)效率。(2)、隨著PaaS平臺(tái)的發(fā)展，越來越多、越來越大的應(yīng)用部署在PaaS平臺(tái)上，PaaS平臺(tái)的海量數(shù)據(jù)處理不可避免，本發(fā)明能夠有效地解決PaaS平臺(tái)上的海量數(shù)據(jù)處理問題，提供數(shù)據(jù)處理效率。以上所述是本發(fā)明的優(yōu)選實(shí)施方式，應(yīng)當(dāng)指出，對于本技術(shù)領(lǐng)域的普通技術(shù)人員來說，在不脫離本發(fā)明原理的前提下，還可以做出若干改進(jìn)和潤飾，這些改進(jìn)和潤飾也視為本發(fā)明的保護(hù)范圍。
權(quán)利要求
1.一種PaaS平臺(tái)的大數(shù)據(jù)處理方法，其特征在于，包括 S1，PaaS平臺(tái)服務(wù)器接收用戶輸入的集群創(chuàng)建參數(shù)；所述集群創(chuàng)建參數(shù)包括待創(chuàng)建的分布式處理集群的節(jié)點(diǎn)的數(shù)量、節(jié)點(diǎn)的內(nèi)存大小和節(jié)點(diǎn)的存儲(chǔ)空間大小； S2，PaaS平臺(tái)服務(wù)器根據(jù)所述集群創(chuàng)建參數(shù)，通過虛擬化技術(shù)生成分布式處理集群；S3，PaaS平臺(tái)服務(wù)器根據(jù)所述用戶輸入的日志文件存儲(chǔ)地址或所述用戶部署的應(yīng)用名稱，配置待分析的數(shù)據(jù)源； S4, PaaS平臺(tái)服務(wù)器將用于分析數(shù)據(jù)的腳本傳輸給所述分布式處理集群，通過所述分布式處理集群對待分析的數(shù)據(jù)進(jìn)行處理； S5，PaaS平臺(tái)服務(wù)器將數(shù)據(jù)處理結(jié)果提供給所述用戶。
2.如權(quán)利要求1所述的PaaS平臺(tái)的大數(shù)據(jù)處理方法，其特征在于，所述節(jié)點(diǎn)為分布式處理集群中的虛擬機(jī)；所述節(jié)點(diǎn)包括控制節(jié)點(diǎn)和計(jì)算節(jié)點(diǎn)，所述控制節(jié)點(diǎn)用于管理集群和分配數(shù)據(jù)處理任務(wù)，所述計(jì)算節(jié)點(diǎn)用于分析處理數(shù)據(jù)。
3.如權(quán)利要求2所述的PaaS平臺(tái)的大數(shù)據(jù)處理方法，其特征在于，所述步驟S2具體包括 S201，根據(jù)所述集群創(chuàng)建參數(shù)，通過虛擬化技術(shù)生成一臺(tái)虛擬機(jī)，并配置所述虛擬機(jī)的運(yùn)行環(huán)境； S202，根據(jù)所述集群創(chuàng)建參數(shù)中的節(jié)點(diǎn)的數(shù)量，復(fù)制步驟S201所生成的虛擬機(jī)，生成所需數(shù)量的虛擬機(jī)； S203，設(shè)置虛擬機(jī)之間的無密碼通信； S204，設(shè)置分布式處理集群中的控制節(jié)點(diǎn)和計(jì)算節(jié)點(diǎn)。
4.如權(quán)利要求3所述的PaaS平臺(tái)的大數(shù)據(jù)處理方法，其特征在于，所述步驟S3具體包括 PaaS平臺(tái)服務(wù)器接收用戶輸入日志文件存儲(chǔ)地址，或者根據(jù)所述用戶在PaaS平臺(tái)上部署的應(yīng)用的名稱獲得對應(yīng)的日志文件存儲(chǔ)地址； PaaS平臺(tái)服務(wù)器檢測所述日志文件存儲(chǔ)地址中的文件格式是否為日志文件；若是，則從所述日志文件存儲(chǔ)地址導(dǎo)入待分析的數(shù)據(jù)，否則待分析的數(shù)據(jù)源配置失敗。
5.如權(quán)利要求4所述的PaaS平臺(tái)的大數(shù)據(jù)處理方法，其特征在于，所述步驟S4具體包括 S401，PaaS平臺(tái)服務(wù)器將用于分析數(shù)據(jù)的腳本傳輸給所述分布式處理集群中的控制節(jié)點(diǎn)；所述用于分析數(shù)據(jù)的腳本為MapReduce腳本，用于指示導(dǎo)入待分析的數(shù)據(jù)的方法和執(zhí)行MapReduce作業(yè)的方法； S402，所述控制節(jié)點(diǎn)選擇所述分布式處理集群中空閑的計(jì)算節(jié)點(diǎn)，由所述計(jì)算節(jié)點(diǎn)并行地執(zhí)行數(shù)據(jù)處理任務(wù)，對待分析的數(shù)據(jù)進(jìn)行處理。
全文摘要
本發(fā)明公開了一種PaaS平臺(tái)的大數(shù)據(jù)處理方法，包括PaaS平臺(tái)服務(wù)器接收用戶輸入的集群創(chuàng)建參數(shù)；PaaS平臺(tái)服務(wù)器根據(jù)所述集群創(chuàng)建參數(shù)，通過虛擬化技術(shù)生成分布式處理集群；PaaS平臺(tái)服務(wù)器將用于分析數(shù)據(jù)的腳本傳輸給所述分布式處理集群，通過所述分布式處理集群對待分析的數(shù)據(jù)進(jìn)行處理；PaaS平臺(tái)服務(wù)器將數(shù)據(jù)處理結(jié)果提供給所述用戶。本發(fā)明實(shí)施例能夠解決PaaS平臺(tái)的海量數(shù)據(jù)的處理問題，提高數(shù)據(jù)處理效率。
文檔編號(hào)H04L29/08GK103067501SQ201210581670
公開日2013年4月24日 申請日期2012年12月28日 優(yōu)先權(quán)日2012年12月28日
發(fā)明者李進(jìn) 申請人:廣州杰賽科技股份有限公司