本發(fā)明涉及計(jì)算機(jī)
技術(shù)領(lǐng)域：
：，特別是涉及一種大數(shù)據(jù)處理方法及裝置。
背景技術(shù)：
：：隨著計(jì)算機(jī)技術(shù)全面融入社會(huì)生活，信息爆炸已經(jīng)積累到了一個(gè)開(kāi)始引發(fā)變革的程度。21世紀(jì)是數(shù)據(jù)信息大發(fā)展的時(shí)代，移動(dòng)互聯(lián)網(wǎng)、電子商務(wù)、社交網(wǎng)絡(luò)等極大拓展了互聯(lián)網(wǎng)的邊界和應(yīng)用范圍，各種數(shù)據(jù)正在迅速膨脹并變大?；ヂ?lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)、安全監(jiān)控、金融等都在瘋狂產(chǎn)生著數(shù)據(jù)。為了獲取大數(shù)據(jù)中的價(jià)值，大數(shù)據(jù)分析技術(shù)應(yīng)運(yùn)而生，也催生了很多大數(shù)據(jù)分析系統(tǒng)，比如hadoop，spark，tez等。不同的大數(shù)據(jù)分析系統(tǒng)具備不同的特點(diǎn)，例如hadoop擅長(zhǎng)批處理任務(wù)，spark擅長(zhǎng)實(shí)時(shí)處理任務(wù)，不同的大數(shù)據(jù)分析系統(tǒng)都具有各自的應(yīng)用范圍。這些大數(shù)據(jù)分析系統(tǒng)都有各自的框架和開(kāi)發(fā)者接口，不同的系統(tǒng)使用的開(kāi)發(fā)語(yǔ)言不同。在解決一個(gè)具體的大數(shù)據(jù)分析問(wèn)題時(shí)，用戶可能會(huì)用到不同的系統(tǒng)，例如，使用hadoop和spark系統(tǒng)時(shí)，由于hadoop系統(tǒng)使用的是java語(yǔ)言，spark的框架使用的是scala語(yǔ)言，如果用戶想要同時(shí)使用這些系統(tǒng)進(jìn)行大數(shù)據(jù)分析，需要掌握不同的開(kāi)發(fā)語(yǔ)言，同時(shí)需要了解各個(gè)系統(tǒng)的架構(gòu)。由此可見(jiàn)，現(xiàn)有技術(shù)中，用戶想要進(jìn)行一個(gè)大數(shù)據(jù)分析時(shí)，需要掌握的開(kāi)發(fā)技能較多，使用門檻高。技術(shù)實(shí)現(xiàn)要素：本發(fā)明實(shí)施例的目的在于提供一種大數(shù)據(jù)處理方法及裝置，將待執(zhí)行程序的操作任務(wù)轉(zhuǎn)換為能在用戶需求的大數(shù)據(jù)系統(tǒng)中執(zhí)行的操作任務(wù)，以實(shí)現(xiàn)降低程序開(kāi)發(fā)的復(fù)雜度和用戶的使用門檻。具體技術(shù)方案如下：本發(fā)明提供了一種大數(shù)據(jù)處理方法，所述方法包括：獲取待執(zhí)行程序；根據(jù)所述待執(zhí)行程序，確定所述待執(zhí)行程序執(zhí)行的第一操作任務(wù)；將所述第一操作任務(wù)轉(zhuǎn)換為第二操作任務(wù)；所述第二操作任務(wù)為能在預(yù)先適配的大數(shù)據(jù)系統(tǒng)中執(zhí)行的操作任務(wù)；所述預(yù)先適配的大數(shù)據(jù)系統(tǒng)為包含目標(biāo)大數(shù)據(jù)系統(tǒng)在內(nèi)的多個(gè)大數(shù)據(jù)系統(tǒng)；查找所述目標(biāo)大數(shù)據(jù)系統(tǒng)；在所述目標(biāo)大數(shù)據(jù)系統(tǒng)中執(zhí)行所述第二操作任務(wù)。具體的，所述待執(zhí)行程序是基于sql語(yǔ)言的待執(zhí)行程序。具體的，所述根據(jù)所述待執(zhí)行程序，確定所述待執(zhí)行程序執(zhí)行的第一操作任務(wù)，包括：將所述待執(zhí)行程序中的字符序列轉(zhuǎn)換成單詞序列，得到第一解析結(jié)果；所述第一解析結(jié)果為所述待執(zhí)行程序要執(zhí)行的操作；根據(jù)所述第一解析結(jié)果，確定所述待執(zhí)行程序執(zhí)行的第一操作任務(wù)。具體的，所述將第一操作任務(wù)轉(zhuǎn)換為第二操作任務(wù)，包括：將所述第一操作任務(wù)發(fā)送給具有統(tǒng)一接口的、預(yù)先適配的大數(shù)據(jù)系統(tǒng)，所述具有統(tǒng)一接口的、預(yù)先適配的大數(shù)據(jù)系統(tǒng)將所述第一操作任務(wù)，轉(zhuǎn)換為能在所述目標(biāo)大數(shù)據(jù)系統(tǒng)中執(zhí)行的所述第二操作任務(wù)。具體的，所述查找所述目標(biāo)大數(shù)據(jù)系統(tǒng)，包括：將所述第二操作任務(wù)進(jìn)行詞法解析，識(shí)別包含有所述目標(biāo)大數(shù)據(jù)系統(tǒng)的語(yǔ)句，得到第二解析結(jié)果；根據(jù)所述第二解析結(jié)果，查找所述目標(biāo)大數(shù)據(jù)系統(tǒng)。具體的，所述在所述目標(biāo)大數(shù)據(jù)系統(tǒng)中執(zhí)行所述第二操作任務(wù)之后，所述方法還包括：將在所述目標(biāo)大數(shù)據(jù)系統(tǒng)中執(zhí)行所述第二操作任務(wù)的結(jié)果存儲(chǔ)在所述目標(biāo)大數(shù)據(jù)系統(tǒng)中。本發(fā)明還提供了一種大數(shù)據(jù)處理裝置，所述裝置包括：獲取模塊，用于獲取待執(zhí)行程序；解析模塊，用于確定所述待執(zhí)行程序執(zhí)行的第一操作任務(wù)；轉(zhuǎn)換模塊，用于將所述第一操作任務(wù)轉(zhuǎn)換為第二操作任務(wù)；所述第二操作任務(wù)為能在預(yù)先適配的大數(shù)據(jù)系統(tǒng)中執(zhí)行的操作任務(wù)；所述預(yù)先適配的大數(shù)據(jù)系統(tǒng)為包含目標(biāo)大數(shù)據(jù)系統(tǒng)在內(nèi)的多個(gè)大數(shù)據(jù)系統(tǒng)；查找模塊，用于查找所述目標(biāo)大數(shù)據(jù)系統(tǒng)；執(zhí)行模塊，用于在所述目標(biāo)大數(shù)據(jù)系統(tǒng)中執(zhí)行所述第二操作任務(wù)。具體的，所述獲取模塊，具體用于，獲取基于sql語(yǔ)言的待執(zhí)行程序。具體的，所述解析模塊，包括：第一解析子模塊，用于將所述待執(zhí)行程序中的字符序列轉(zhuǎn)換成單詞序列，，得到第一解析結(jié)果；所述第一解析結(jié)果為所述待執(zhí)行程序要執(zhí)行的操作；第二解析子模塊，用于根據(jù)所述第一解析結(jié)果，確定所述待執(zhí)行程序執(zhí)行的第一操作任務(wù)。具體的，所述轉(zhuǎn)換模塊，具體用于將所述第一操作任務(wù)發(fā)送給具有統(tǒng)一接口的、預(yù)先適配的大數(shù)據(jù)系統(tǒng)，所述具有統(tǒng)一接口的、預(yù)先適配的大數(shù)據(jù)系統(tǒng)將所述第一操作任務(wù)，轉(zhuǎn)換為能在所述目標(biāo)大數(shù)據(jù)系統(tǒng)中執(zhí)行的所述第二操作任務(wù)。具體的，所述轉(zhuǎn)換模塊，包括：第一轉(zhuǎn)換子模塊，用于將所述第二操作任務(wù)進(jìn)行語(yǔ)法解析，識(shí)別包含有所述目標(biāo)大數(shù)據(jù)系統(tǒng)的語(yǔ)句，得到第二解析結(jié)果；第二轉(zhuǎn)換子模塊，用于根據(jù)所述第二解析結(jié)果，查找所述目標(biāo)大數(shù)據(jù)系統(tǒng)。具體的，所述執(zhí)行模塊，具體用于，在所述目標(biāo)大數(shù)據(jù)系統(tǒng)中執(zhí)行所述第二操作任務(wù)之后，所述裝置還包括：存儲(chǔ)子模塊，用于將在所述目標(biāo)大數(shù)據(jù)系統(tǒng)中執(zhí)行所述第二操作任務(wù)的結(jié)果存儲(chǔ)在所述目標(biāo)大數(shù)據(jù)系統(tǒng)中。本發(fā)明實(shí)施例提供的大數(shù)據(jù)處理方法及裝置，將待執(zhí)行程序的操作任務(wù)轉(zhuǎn)換為能在用戶需求的大數(shù)據(jù)系統(tǒng)中執(zhí)行的操作任務(wù)，以實(shí)現(xiàn)降低程序開(kāi)發(fā)的復(fù)雜度和用戶的使用門檻。當(dāng)然，實(shí)施本發(fā)明的任一產(chǎn)品或方法并不一定需要同時(shí)達(dá)到以上所述的所有優(yōu)點(diǎn)。附圖說(shuō)明為了更清楚地說(shuō)明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見(jiàn)地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖獲得其他的附圖。圖1為本發(fā)明實(shí)施例大數(shù)據(jù)處理方法的流程圖；圖2為本發(fā)明實(shí)施例確定待執(zhí)行程序執(zhí)行的第一操作任務(wù)的流程圖；圖3為本發(fā)明實(shí)施例查找目標(biāo)大數(shù)據(jù)系統(tǒng)的流程圖；圖4為本發(fā)明實(shí)施例提供的一種系統(tǒng)執(zhí)行框架圖；圖5為本發(fā)明實(shí)施例大數(shù)據(jù)處理裝置的結(jié)構(gòu)示意圖；圖6為本發(fā)明實(shí)施例解析模塊的結(jié)構(gòu)示意圖；圖7為本發(fā)明實(shí)施例轉(zhuǎn)換模塊的結(jié)構(gòu)示意圖。具體實(shí)施方式下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例。基于本發(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒(méi)有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。隨著計(jì)算機(jī)技術(shù)全面融入社會(huì)生活，信息爆炸已經(jīng)積累到了一個(gè)開(kāi)始引發(fā)變革的程度。21世紀(jì)是數(shù)據(jù)信息大發(fā)展的時(shí)代，移動(dòng)互聯(lián)網(wǎng)、電子商務(wù)、社交網(wǎng)絡(luò)等極大拓展了互聯(lián)網(wǎng)的邊界和應(yīng)用范圍，各種數(shù)據(jù)正在迅速膨脹并變大?；ヂ?lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)、安全監(jiān)控、金融等都在瘋狂產(chǎn)生著數(shù)據(jù)。為了獲取大數(shù)據(jù)中的價(jià)值，大數(shù)據(jù)分析技術(shù)應(yīng)運(yùn)而生，也催生了很多大數(shù)據(jù)分析系統(tǒng)，比如hadoop，spark，tez等。不同的大數(shù)據(jù)分析系統(tǒng)具備不同的特點(diǎn)，例如hadoop擅長(zhǎng)批處理任務(wù)，spark擅長(zhǎng)實(shí)時(shí)處理任務(wù)，不同的大數(shù)據(jù)分析系統(tǒng)都具有各自的應(yīng)用范圍。這些大數(shù)據(jù)分析系統(tǒng)都有各自的框架和開(kāi)發(fā)者接口，不同的系統(tǒng)使用的開(kāi)發(fā)語(yǔ)言不同。在解決一個(gè)具體的大數(shù)據(jù)分析問(wèn)題時(shí)，用戶可能會(huì)用到不同的系統(tǒng)，例如，使用hadoop和spark系統(tǒng)時(shí)，由于hadoop系統(tǒng)使用的是java語(yǔ)言，spark的框架使用的是scala語(yǔ)言，如果用戶想要同時(shí)使用這些系統(tǒng)進(jìn)行大數(shù)據(jù)分析，需要掌握不同的開(kāi)發(fā)語(yǔ)言，同時(shí)需要了解各個(gè)系統(tǒng)的架構(gòu)。由此可見(jiàn)，現(xiàn)有技術(shù)中，用戶想要進(jìn)行一個(gè)大數(shù)據(jù)分析時(shí)，需要掌握的開(kāi)發(fā)技能較多，使用門檻高。為了降低用戶的使用門檻和大數(shù)據(jù)開(kāi)發(fā)的復(fù)雜度，本發(fā)明提供了一種大數(shù)據(jù)處理方法及裝置，以下分別進(jìn)行詳細(xì)說(shuō)明。圖1為本發(fā)明實(shí)施例大數(shù)據(jù)處理方法的流程圖，參照?qǐng)D1對(duì)本發(fā)明大數(shù)據(jù)處理方法進(jìn)行詳細(xì)說(shuō)明，具體包括如下步驟：步驟101，獲取待執(zhí)行程序；獲取一段待執(zhí)行程序，其中，待執(zhí)行程序包含有未解析的大數(shù)據(jù)系統(tǒng)所要執(zhí)行的操作；步驟102，根據(jù)待執(zhí)行程序，確定待執(zhí)行程序執(zhí)行的第一操作任務(wù)；針對(duì)獲取得到的待執(zhí)行程序，解析待執(zhí)行程序所要執(zhí)行的操作任務(wù)，解析結(jié)果為第一操作任務(wù)。步驟103，將第一操作任務(wù)轉(zhuǎn)換為第二操作任務(wù)；第二操作任務(wù)為能在預(yù)先適配的大數(shù)據(jù)系統(tǒng)中執(zhí)行的操作任務(wù)；預(yù)先適配的大數(shù)據(jù)系統(tǒng)為包含目標(biāo)大數(shù)據(jù)系統(tǒng)在內(nèi)的多個(gè)大數(shù)據(jù)系統(tǒng)；將第一操作任務(wù)轉(zhuǎn)換為能在預(yù)先適配的大數(shù)據(jù)系統(tǒng)中執(zhí)行的第二操作任務(wù)，預(yù)先適配的大數(shù)據(jù)系統(tǒng)是一個(gè)包含有多個(gè)大數(shù)據(jù)系統(tǒng)在內(nèi)的系統(tǒng)框架，通過(guò)預(yù)先適配的大數(shù)據(jù)系統(tǒng)框架，可以進(jìn)入到不同的大數(shù)據(jù)系統(tǒng)中，根據(jù)第二操作任務(wù)進(jìn)入到用戶需求的目標(biāo)大數(shù)據(jù)系統(tǒng)中。步驟104，查找目標(biāo)大數(shù)據(jù)系統(tǒng)；根據(jù)第二操作任務(wù)中的執(zhí)行任務(wù)，查找目標(biāo)大數(shù)據(jù)系統(tǒng)，第二操作任務(wù)除了包含待執(zhí)行程序要執(zhí)行的操作以外，還包含待執(zhí)行程序請(qǐng)求的執(zhí)行環(huán)境，即目標(biāo)大數(shù)據(jù)系統(tǒng)。步驟105，在目標(biāo)大數(shù)據(jù)系統(tǒng)中執(zhí)行第二操作任務(wù)；查找到所需的目標(biāo)大數(shù)據(jù)系統(tǒng)后，根據(jù)第二操作任務(wù)的內(nèi)容在目標(biāo)大數(shù)據(jù)系統(tǒng)中執(zhí)行操作，完成大數(shù)據(jù)處理任務(wù)。本發(fā)明實(shí)施例提供的大數(shù)據(jù)處理方法，將待執(zhí)行程序的操作任務(wù)轉(zhuǎn)換為能在用戶需求的大數(shù)據(jù)系統(tǒng)中執(zhí)行的操作任務(wù)，以實(shí)現(xiàn)降低程序開(kāi)發(fā)的復(fù)雜度和用戶的使用門檻，其中，用戶需求的大數(shù)據(jù)系統(tǒng)在已經(jīng)適配的大數(shù)據(jù)系統(tǒng)中。本發(fā)明將獲取的待執(zhí)行程序解析成可在用戶需求的大數(shù)據(jù)系統(tǒng)、即目標(biāo)大數(shù)據(jù)系統(tǒng)中執(zhí)行的操作任務(wù)，完成對(duì)大數(shù)據(jù)的處理，大數(shù)據(jù)系統(tǒng)的運(yùn)維人員，不需要針對(duì)不同大數(shù)據(jù)系統(tǒng)提供不同的接口，就能實(shí)現(xiàn)大數(shù)據(jù)處理任務(wù)，大大降低了開(kāi)發(fā)的復(fù)雜度，用戶更容易操作。具體的，待執(zhí)行程序是基于sql語(yǔ)言的待執(zhí)行程序；大數(shù)據(jù)分析中，需要應(yīng)用的主要功能是對(duì)數(shù)據(jù)的提取、轉(zhuǎn)換等操作，基本上是基于數(shù)據(jù)庫(kù)表操作，這些操作可以使用sql語(yǔ)言進(jìn)行操作，由于sql語(yǔ)言的理論基礎(chǔ)是關(guān)系代數(shù)，用戶使用比較簡(jiǎn)單，所以很多大數(shù)據(jù)分析引擎提供了sql接口，本發(fā)明實(shí)施例的待執(zhí)行程序的優(yōu)選方法是采取基于sql語(yǔ)言的程序，舉例說(shuō)明如下：sql語(yǔ)言編程簡(jiǎn)單例子：1selectk,v,dfromtable1；2project[k,v,d]；3relation[k,v,d,other]table1；4scantable1withfields[k,v,d]；5sparkinterface.scan(“table1”)withfields[k,v,d]；這段代碼的意思是，從表table1中選出k,v,d三列的值，將這個(gè)操作投影建一個(gè)工程project，掃描表table1，并取出k,v,d三列的值，第5行程序的意思為使用spark系統(tǒng)作為底層執(zhí)行的大數(shù)據(jù)系統(tǒng)，就在spark系統(tǒng)掃描表table1，并取出k,v,d三列的值，并將提取結(jié)果提交到spark系統(tǒng)的集群中；如果要使用tez系統(tǒng)作為底層執(zhí)行的大數(shù)據(jù)系統(tǒng)，則第5行程序代碼變?yōu)閠ezinterface.scan(“table1”)withfields[k,v,d]，就在tez系統(tǒng)掃描表table1，并取出k,v,d三列的值，并將提取結(jié)果提交到tez系統(tǒng)的集群中。本發(fā)明實(shí)施例優(yōu)先使用基于sql語(yǔ)言的程序，簡(jiǎn)單易懂，不需要掌握相應(yīng)系統(tǒng)的語(yǔ)言。當(dāng)然，本發(fā)明實(shí)施例也可以使用其他語(yǔ)言，例如java、scala等，同樣可以達(dá)到相同的效果，但是會(huì)對(duì)用戶的開(kāi)發(fā)能力有一定要求。根據(jù)待執(zhí)行程序，確定待執(zhí)行程序執(zhí)行的第一操作任務(wù)，具體步驟如圖2所示，包括：步驟201，將待執(zhí)行程序中的字符序列轉(zhuǎn)換成單詞序列，得到第一解析結(jié)果；步驟202，根據(jù)第一解析結(jié)果，確定待執(zhí)行程序執(zhí)行的第一操作任務(wù)。第一解析結(jié)果為待執(zhí)行程序要執(zhí)行的操作，將待執(zhí)行程序進(jìn)行詞法解析，詞法解析是將待執(zhí)行程序語(yǔ)言中的字符序列轉(zhuǎn)換成單詞序列，包括關(guān)鍵字、字符串、標(biāo)識(shí)符、運(yùn)算符、注釋行的定義，確定待執(zhí)行程序要進(jìn)行的操作，例如，上述提供的sql語(yǔ)言編程簡(jiǎn)單例子中，計(jì)算機(jī)讀取到這段代碼的意思是，從表table1中選出k,v,d三列的值，確定待執(zhí)行程序的第一操作任務(wù)，也就是說(shuō)，這是一個(gè)詞法解析，第一解析結(jié)果的內(nèi)容就是第一操作任務(wù)。具體的，將第一操作任務(wù)轉(zhuǎn)換為第二操作任務(wù)，包括：將第一操作任務(wù)發(fā)送給具有統(tǒng)一接口的、預(yù)先適配的大數(shù)據(jù)系統(tǒng)，具有統(tǒng)一接口的、預(yù)先適配的大數(shù)據(jù)系統(tǒng)將第一操作任務(wù)，轉(zhuǎn)換為能在目標(biāo)大數(shù)據(jù)系統(tǒng)中執(zhí)行的第二操作任務(wù)。本發(fā)明實(shí)施例提供的大數(shù)據(jù)處理方法，通過(guò)預(yù)先適配的大數(shù)據(jù)系統(tǒng)，其中包含有處理大數(shù)據(jù)技術(shù)問(wèn)題的目標(biāo)大數(shù)據(jù)系統(tǒng)，預(yù)先適配的大數(shù)據(jù)系統(tǒng)包含有多個(gè)大數(shù)據(jù)系統(tǒng)，在處理一個(gè)大數(shù)據(jù)問(wèn)題時(shí)，可能需要用到多個(gè)大數(shù)據(jù)系統(tǒng)，本發(fā)明實(shí)施例在預(yù)先適配的大數(shù)據(jù)系統(tǒng)之上，提供了一個(gè)統(tǒng)一的接口，通過(guò)這個(gè)接口，在目標(biāo)大數(shù)據(jù)系統(tǒng)中執(zhí)行命令。統(tǒng)一的接口，以便用戶需要在多個(gè)大數(shù)據(jù)系統(tǒng)中操作時(shí)，實(shí)現(xiàn)靈活切換。具體的，查找目標(biāo)大數(shù)據(jù)系統(tǒng)的過(guò)程如圖3所示，包括如下步驟：步驟301，將第二操作任務(wù)進(jìn)行語(yǔ)法解析，識(shí)別包含有所述目標(biāo)大數(shù)據(jù)系統(tǒng)的語(yǔ)句，得到第二解析結(jié)果；步驟302，根據(jù)第二解析結(jié)果，查找目標(biāo)大數(shù)據(jù)系統(tǒng)。語(yǔ)法解析是基于詞法解析規(guī)則，識(shí)別出待執(zhí)行程序的特定語(yǔ)句，根據(jù)步驟202得到的第二操作任務(wù)，將第二操作任務(wù)進(jìn)行語(yǔ)法解析，解析后得到第二解析結(jié)果，第二解析結(jié)果中包含有待執(zhí)行命令的目標(biāo)大數(shù)據(jù)系統(tǒng)。圖4為本發(fā)明實(shí)施例提供的一種系統(tǒng)執(zhí)行框架圖，將上述圖2和圖3結(jié)合，以目標(biāo)大數(shù)據(jù)系統(tǒng)為例進(jìn)行說(shuō)明。步驟401，獲取待執(zhí)行程序；步驟402，對(duì)待執(zhí)行程序進(jìn)行解析；步驟403，在目標(biāo)大數(shù)據(jù)系統(tǒng)中執(zhí)行。在獲取到待執(zhí)行程序后，分別對(duì)待執(zhí)行程序進(jìn)行詞法解析和語(yǔ)法解析，解析結(jié)果為獲得待執(zhí)行程序要執(zhí)行的操作和執(zhí)行操作的目標(biāo)大數(shù)據(jù)系統(tǒng)，目標(biāo)大數(shù)據(jù)系統(tǒng)在預(yù)先適配的大數(shù)據(jù)系統(tǒng)中，在目標(biāo)大數(shù)據(jù)系統(tǒng)中執(zhí)行待執(zhí)行程序的執(zhí)行操作，完成大數(shù)據(jù)的處理。在目標(biāo)大數(shù)據(jù)系統(tǒng)中執(zhí)行第二操作任務(wù)之后，具體還包括：將在目標(biāo)大數(shù)據(jù)系統(tǒng)中執(zhí)行第二操作任務(wù)的結(jié)果存儲(chǔ)在目標(biāo)大數(shù)據(jù)系統(tǒng)中。當(dāng)在目標(biāo)大數(shù)據(jù)系統(tǒng)中執(zhí)行第二操作任務(wù)以后，目標(biāo)大數(shù)據(jù)系統(tǒng)會(huì)存儲(chǔ)該執(zhí)行結(jié)果，并將該執(zhí)行結(jié)果提交在執(zhí)行大數(shù)據(jù)系統(tǒng)的集群中，以便后續(xù)對(duì)結(jié)果進(jìn)行管理。將執(zhí)行結(jié)果存儲(chǔ)在目標(biāo)大數(shù)據(jù)系統(tǒng)的優(yōu)點(diǎn)是，當(dāng)計(jì)算機(jī)再次接收相同的執(zhí)行命令時(shí)，例如，從表table1中選出k,v,d三列的值時(shí)，計(jì)算機(jī)可以直接在目標(biāo)大數(shù)據(jù)系統(tǒng)讀取該執(zhí)行結(jié)果，存儲(chǔ)執(zhí)行結(jié)果可以在分析同一個(gè)大數(shù)據(jù)問(wèn)題時(shí)，提高工作效率。本發(fā)明實(shí)施例提供的大數(shù)據(jù)處理方法，將待執(zhí)行程序的操作任務(wù)轉(zhuǎn)換為能在用戶需求的大數(shù)據(jù)系統(tǒng)中執(zhí)行的操作任務(wù)，以實(shí)現(xiàn)降低程序開(kāi)發(fā)的復(fù)雜度和用戶的使用門檻，其中，用戶需求的大數(shù)據(jù)系統(tǒng)在已經(jīng)適配的大數(shù)據(jù)系統(tǒng)中。本發(fā)明將獲取的待執(zhí)行程序優(yōu)先采用sql語(yǔ)言，由于sql語(yǔ)言簡(jiǎn)單易懂，作為接口，連接到不同的大數(shù)據(jù)系統(tǒng)中，進(jìn)一步降低了用戶的使用門檻，將待執(zhí)行程序解析成可在用戶需求的大數(shù)據(jù)系統(tǒng)、即目標(biāo)大數(shù)據(jù)系統(tǒng)中執(zhí)行的操作任務(wù)，完成對(duì)大數(shù)據(jù)的處理；將執(zhí)行結(jié)果存儲(chǔ)在目標(biāo)大數(shù)據(jù)系統(tǒng)中，可以在分析同一個(gè)大數(shù)據(jù)問(wèn)題時(shí)，直接讀取結(jié)果，提高工作效率。本發(fā)明實(shí)施例提供的大數(shù)據(jù)處理方法，不需要針對(duì)不同大數(shù)據(jù)系統(tǒng)提供不同的接口，就能處理大數(shù)據(jù)任務(wù)，大大降低了開(kāi)發(fā)的復(fù)雜度，用戶更容易操作。本發(fā)明還提供了一種大數(shù)據(jù)處理裝置，圖5為本發(fā)明實(shí)施例大數(shù)據(jù)處理裝置的結(jié)構(gòu)示意圖，包括：獲取模塊501，用于獲取待執(zhí)行程序；解析模塊502，用于確定待執(zhí)行程序執(zhí)行的第一操作任務(wù)；轉(zhuǎn)換模塊503，用于將第一操作任務(wù)轉(zhuǎn)換為第二操作任務(wù)；第二操作任務(wù)為能在預(yù)先適配的大數(shù)據(jù)系統(tǒng)中執(zhí)行的操作任務(wù)；預(yù)先適配的大數(shù)據(jù)系統(tǒng)為包含目標(biāo)大數(shù)據(jù)系統(tǒng)在內(nèi)的多個(gè)大數(shù)據(jù)系統(tǒng)；查找模塊504，用于查找目標(biāo)大數(shù)據(jù)系統(tǒng)；執(zhí)行模塊505，用于在目標(biāo)大數(shù)據(jù)系統(tǒng)中執(zhí)行第二操作任務(wù)。本發(fā)明實(shí)施例提供的大數(shù)據(jù)處理裝置，將待執(zhí)行程序的操作任務(wù)轉(zhuǎn)換為能在用戶需求的大數(shù)據(jù)系統(tǒng)中執(zhí)行的操作任務(wù)，以實(shí)現(xiàn)降低程序開(kāi)發(fā)的復(fù)雜度和用戶的使用門檻，其中，用戶需求的大數(shù)據(jù)系統(tǒng)在已經(jīng)適配的大數(shù)據(jù)系統(tǒng)中。本發(fā)明將獲取的待執(zhí)行程序解析成可在用戶需求的大數(shù)據(jù)系統(tǒng)、即目標(biāo)大數(shù)據(jù)系統(tǒng)中執(zhí)行的操作任務(wù)，完成對(duì)大數(shù)據(jù)的處理，大數(shù)據(jù)系統(tǒng)的運(yùn)維人員，不需要針對(duì)不同的大數(shù)據(jù)系統(tǒng)提供不同的接口，就能實(shí)現(xiàn)大數(shù)據(jù)處理任務(wù)，大大降低了開(kāi)發(fā)的復(fù)雜度，用戶更容易操作。具體的，獲取模塊501，用于獲取基于sql語(yǔ)言的待執(zhí)行程序。具體的，解析模塊502的裝置結(jié)構(gòu)示意圖如圖6所示，包括：第一解析子模塊601，用于將待執(zhí)行程序中的字符序列轉(zhuǎn)換成單詞序列，得到第一解析結(jié)果；所述第一解析結(jié)果為所述待執(zhí)行程序要執(zhí)行的操作；第二解析子模塊602，用于根據(jù)第一解析結(jié)果，確定待執(zhí)行程序執(zhí)行的第一操作任務(wù)。轉(zhuǎn)換模塊503，具體用于將第一操作任務(wù)發(fā)送給具有統(tǒng)一接口的、預(yù)先適配的大數(shù)據(jù)系統(tǒng)，所述具有統(tǒng)一接口的、預(yù)先適配的大數(shù)據(jù)系統(tǒng)將第一操作任務(wù)，轉(zhuǎn)換為能在目標(biāo)大數(shù)據(jù)系統(tǒng)中執(zhí)行的第二操作任務(wù)。具體的，轉(zhuǎn)換模塊503的裝置結(jié)構(gòu)示意圖如圖7所示，包括：第一轉(zhuǎn)換子模塊701，用于將第二操作任務(wù)進(jìn)行語(yǔ)法解析，識(shí)別包含有所述目標(biāo)大數(shù)據(jù)系統(tǒng)的語(yǔ)句，得到第二解析結(jié)果；第二轉(zhuǎn)換子模塊702，用于根據(jù)第二解析結(jié)果，查找目標(biāo)大數(shù)據(jù)系統(tǒng)。具體的，執(zhí)行模塊505，用于在目標(biāo)大數(shù)據(jù)系統(tǒng)中執(zhí)行第二操作任務(wù)之后，還包括：存儲(chǔ)子模塊，用于將在目標(biāo)大數(shù)據(jù)系統(tǒng)中執(zhí)行第二操作任務(wù)的結(jié)果存儲(chǔ)在目標(biāo)大數(shù)據(jù)系統(tǒng)中。需要說(shuō)明的是，本發(fā)明實(shí)施例的裝置是應(yīng)用上述大數(shù)據(jù)處理方法的裝置，則上述大數(shù)據(jù)處理方法的所有實(shí)施例均適用于該裝置，且均能達(dá)到相同或相似的有益效果。需要說(shuō)明的是，在本文中，諸如第一和第二等之類的關(guān)系術(shù)語(yǔ)僅僅用來(lái)將一個(gè)實(shí)體或者操作與另一個(gè)實(shí)體或操作區(qū)分開(kāi)來(lái)，而不一定要求或者暗示這些實(shí)體或操作之間存在任何這種實(shí)際的關(guān)系或者順序。而且，術(shù)語(yǔ)“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過(guò)程、方法、物品或者設(shè)備不僅包括那些要素，而且還包括沒(méi)有明確列出的其他要素，或者是還包括為這種過(guò)程、方法、物品或者設(shè)備所固有的要素。在沒(méi)有更多限制的情況下，由語(yǔ)句“包括一個(gè)……”限定的要素，并不排除在包括所述要素的過(guò)程、方法、物品或者設(shè)備中還存在另外的相同要素。本說(shuō)明書(shū)中的各個(gè)實(shí)施例均采用相關(guān)的方式描述，各個(gè)實(shí)施例之間相同相似的部分互相參見(jiàn)即可，每個(gè)實(shí)施例重點(diǎn)說(shuō)明的都是與其他實(shí)施例的不同之處。尤其，對(duì)于系統(tǒng)實(shí)施例而言，由于其基本相似于方法實(shí)施例，所以描述的比較簡(jiǎn)單，相關(guān)之處參見(jiàn)方法實(shí)施例的部分說(shuō)明即可。以上所述僅為本發(fā)明的較佳實(shí)施例而已，并非用于限定本發(fā)明的保護(hù)范圍。凡在本發(fā)明的精神和原則之內(nèi)所作的任何修改、等同替換、改進(jìn)等，均包含在本發(fā)明的保護(hù)范圍內(nèi)。當(dāng)前第1頁(yè)12當(dāng)前第1頁(yè)12