識(shí)，并根據(jù)Reduce任務(wù)的標(biāo)識(shí)分配對(duì)應(yīng)的Reduce任務(wù)進(jìn)行處理。
[0106]本發(fā)明實(shí)施例的設(shè)備，可根據(jù)Reduce任務(wù)的數(shù)量確定對(duì)應(yīng)的哈希策略，并對(duì)Map任務(wù)中的Key進(jìn)行哈希計(jì)算生成第一整數(shù)標(biāo)識(shí)，再將第一整數(shù)標(biāo)識(shí)作為Reduce任務(wù)的標(biāo)識(shí)分配對(duì)應(yīng)的Reduce任務(wù)進(jìn)行處理，從而可以快速查詢(xún)到Map任務(wù)中的key對(duì)應(yīng)的計(jì)算結(jié)果，便于管理，節(jié)省了時(shí)間和資源，提高了數(shù)據(jù)分析的效率，且提高了數(shù)據(jù)用戶(hù)的工作效率。
[0107]需要說(shuō)明的是，本發(fā)明實(shí)施例的設(shè)備的具體實(shí)現(xiàn)方式與本發(fā)明實(shí)施例的分桶方法的具體實(shí)現(xiàn)方式類(lèi)似，具體請(qǐng)參見(jiàn)方法部分的描述，為了減少冗余，此處不做贅述。
[0108]在本說(shuō)明書(shū)的描述中，參考術(shù)語(yǔ)“一個(gè)實(shí)施例”、“一些實(shí)施例”、“示例”、“具體示例”、或“一些示例”等的描述意指結(jié)合該實(shí)施例或示例描述的具體特征、結(jié)構(gòu)、材料或者特點(diǎn)包含于本發(fā)明的至少一個(gè)實(shí)施例或示例中。在本說(shuō)明書(shū)中，對(duì)上述術(shù)語(yǔ)的示意性表述不必須針對(duì)的是相同的實(shí)施例或示例。而且，描述的具體特征、結(jié)構(gòu)、材料或者特點(diǎn)可以在任一個(gè)或多個(gè)實(shí)施例或示例中以合適的方式結(jié)合。此外，在不相互矛盾的情況下，本領(lǐng)域的技術(shù)人員可以將本說(shuō)明書(shū)中描述的不同實(shí)施例或示例以及不同實(shí)施例或示例的特征進(jìn)行結(jié)合和組合。
[0109]此外，術(shù)語(yǔ)“第一”、“第二”僅用于描述目的，而不能理解為指示或暗示相對(duì)重要性或者隱含指明所指示的技術(shù)特征的數(shù)量。由此，限定有“第一”、“第二”的特征可以明示或者隱含地包括至少一個(gè)該特征。在本發(fā)明的描述中，“多個(gè)”的含義是至少兩個(gè)，例如兩個(gè)，三個(gè)等，除非另有明確具體的限定。
[0110]流程圖中或在此以其他方式描述的任何過(guò)程或方法描述可以被理解為，表示包括一個(gè)或更多個(gè)用于實(shí)現(xiàn)特定邏輯功能或過(guò)程的步驟的可執(zhí)行指令的代碼的模塊、片段或部分，并且本發(fā)明的優(yōu)選實(shí)施方式的范圍包括另外的實(shí)現(xiàn)，其中可以不按所示出或討論的順序，包括根據(jù)所涉及的功能按基本同時(shí)的方式或按相反的順序，來(lái)執(zhí)行功能，這應(yīng)被本發(fā)明的實(shí)施例所屬技術(shù)領(lǐng)域的技術(shù)人員所理解。
[0111]在流程圖中表示或在此以其他方式描述的邏輯和/或步驟，例如，可以被認(rèn)為是用于實(shí)現(xiàn)邏輯功能的可執(zhí)行指令的定序列表，可以具體實(shí)現(xiàn)在任何計(jì)算機(jī)可讀介質(zhì)中，以供指令執(zhí)行系統(tǒng)、裝置或設(shè)備(如基于計(jì)算機(jī)的系統(tǒng)、包括處理器的系統(tǒng)或其他可以從指令執(zhí)行系統(tǒng)、裝置或設(shè)備取指令并執(zhí)行指令的系統(tǒng))使用，或結(jié)合這些指令執(zhí)行系統(tǒng)、裝置或設(shè)備而使用。就本說(shuō)明書(shū)而言，〃計(jì)算機(jī)可讀介質(zhì)"可以是任何可以包含、存儲(chǔ)、通信、傳播或傳輸程序以供指令執(zhí)行系統(tǒng)、裝置或設(shè)備或結(jié)合這些指令執(zhí)行系統(tǒng)、裝置或設(shè)備而使用的裝置。計(jì)算機(jī)可讀介質(zhì)的更具體的示例(非窮盡性列表)包括以下:具有一個(gè)或多個(gè)布線的電連接部(電子裝置)，便攜式計(jì)算機(jī)盤(pán)盒(磁裝置)，隨機(jī)存取存儲(chǔ)器(RAM)，只讀存儲(chǔ)器(R0M)，可擦除可編輯只讀存儲(chǔ)器(EPR0M或閃速存儲(chǔ)器)，光纖裝置，以及便攜式光盤(pán)只讀存儲(chǔ)器(CDROM)。另外，計(jì)算機(jī)可讀介質(zhì)甚至可以是可在其上打印所述程序的紙或其他合適的介質(zhì)，因?yàn)榭梢岳缤ㄟ^(guò)對(duì)紙或其他介質(zhì)進(jìn)行光學(xué)掃描，接著進(jìn)行編輯、解譯或必要時(shí)以其他合適方式進(jìn)行處理來(lái)以電子方式獲得所述程序，然后將其存儲(chǔ)在計(jì)算機(jī)存儲(chǔ)器中。
[0112]應(yīng)當(dāng)理解，本發(fā)明的各部分可以用硬件、軟件、固件或它們的組合來(lái)實(shí)現(xiàn)。在上述實(shí)施方式中，多個(gè)步驟或方法可以用存儲(chǔ)在存儲(chǔ)器中且由合適的指令執(zhí)行系統(tǒng)執(zhí)行的軟件或固件來(lái)實(shí)現(xiàn)。例如，如果用硬件來(lái)實(shí)現(xiàn)，和在另一實(shí)施方式中一樣，可用本領(lǐng)域公知的下列技術(shù)中的任一項(xiàng)或他們的組合來(lái)實(shí)現(xiàn):具有用于對(duì)數(shù)據(jù)信號(hào)實(shí)現(xiàn)邏輯功能的邏輯門(mén)電路的離散邏輯電路，具有合適的組合邏輯門(mén)電路的專(zhuān)用集成電路，可編程門(mén)陣列(PGA)，現(xiàn)場(chǎng)可編程門(mén)陣列(FPGA)等。
[0113]本技術(shù)領(lǐng)域的普通技術(shù)人員可以理解實(shí)現(xiàn)上述實(shí)施例方法攜帶的全部或部分步驟是可以通過(guò)程序來(lái)指令相關(guān)的硬件完成，所述的程序可以存儲(chǔ)于一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中，該程序在執(zhí)行時(shí)，包括方法實(shí)施例的步驟之一或其組合。
[0114]此外，在本發(fā)明各個(gè)實(shí)施例中的各功能單元可以集成在一個(gè)處理模塊中，也可以是各個(gè)單元單獨(dú)物理存在，也可以?xún)蓚€(gè)或兩個(gè)以上單元集成在一個(gè)模塊中。上述集成的模塊既可以采用硬件的形式實(shí)現(xiàn)，也可以采用軟件功能模塊的形式實(shí)現(xiàn)。所述集成的模塊如果以軟件功能模塊的形式實(shí)現(xiàn)并作為獨(dú)立的產(chǎn)品銷(xiāo)售或使用時(shí)，也可以存儲(chǔ)在一個(gè)計(jì)算機(jī)可讀取存儲(chǔ)介質(zhì)中。
[0115]上述提到的存儲(chǔ)介質(zhì)可以是只讀存儲(chǔ)器，磁盤(pán)或光盤(pán)等。盡管上面已經(jīng)示出和描述了本發(fā)明的實(shí)施例，可以理解的是，上述實(shí)施例是示例性的，不能理解為對(duì)本發(fā)明的限制，本領(lǐng)域的普通技術(shù)人員在本發(fā)明的范圍內(nèi)可以對(duì)上述實(shí)施例進(jìn)行變化、修改、替換和變型。
【主權(quán)項(xiàng)】
1.一種支持快速查詢(xún)Map-Reduce輸出結(jié)果的分桶方法，其特征在于，包括: 獲取Reduce任務(wù)的數(shù)量，并根據(jù)所述數(shù)量確定對(duì)應(yīng)的哈希策略； 根據(jù)所述哈希策略對(duì)Map任務(wù)中的Key進(jìn)行哈希計(jì)算生成第一整數(shù)標(biāo)識(shí)； 將所述第一整數(shù)標(biāo)識(shí)作為Reduce任務(wù)的標(biāo)識(shí)，并根據(jù)所述Reduce任務(wù)的標(biāo)識(shí)分配對(duì)應(yīng)的Reduce任務(wù)進(jìn)行處理。2.如權(quán)利要求1所述的支持快速查詢(xún)Map-Reduce輸出結(jié)果的分桶方法，其特征在于，所述方法還包括: 對(duì)所述Map任務(wù)參數(shù)進(jìn)行設(shè)置，將所述第一整數(shù)標(biāo)識(shí)設(shè)置為鍵值。3.如權(quán)利要求2所述的支持快速查詢(xún)Map-Reduce輸出結(jié)果的分桶方法，其特征在于，所述將所述第一整數(shù)標(biāo)識(shí)作為Reduce任務(wù)的標(biāo)識(shí)包括: 讀取所述Map任務(wù)的鍵值，將所述鍵值作為Reduce任務(wù)的標(biāo)識(shí)。4.如權(quán)利要求2所述的支持快速查詢(xún)Map-Reduce輸出結(jié)果的分桶方法，其特征在于，所述方法還包括: 用所述第一整數(shù)標(biāo)識(shí)命名所述Reduce任務(wù)進(jìn)行處理之后的輸出文件。5.如權(quán)利要求2所述的支持快速查詢(xún)Map-Reduce輸出結(jié)果的分桶方法，其特征在于，所述方法還包括: 用戶(hù)端根據(jù)所述哈希策略對(duì)預(yù)設(shè)的Key進(jìn)行哈希計(jì)算以生成第二整數(shù)標(biāo)識(shí)，從所述Reduce任務(wù)進(jìn)行處理之后的輸出文件中查詢(xún)所述第二整數(shù)標(biāo)識(shí)對(duì)應(yīng)的結(jié)果數(shù)據(jù)。6.如權(quán)利要求5所述的支持快速查詢(xún)Map-Reduce輸出結(jié)果的分桶方法，其特征在于，所述第一整數(shù)標(biāo)識(shí)和第二整數(shù)標(biāo)識(shí)相等。7.如權(quán)利要求5所述的支持快速查詢(xún)Map-Reduce輸出結(jié)果的分桶方法，其特征在于，所述Reduce任務(wù)的數(shù)量為N，所述第一整數(shù)標(biāo)識(shí)和第二整數(shù)標(biāo)識(shí)大于或等于零且小于N。8.一種支持快速查詢(xún)Map-Reduce輸出結(jié)果的分桶裝置，其特征在于，包括: 確定模塊，用于獲取Reduce任務(wù)的數(shù)量，根據(jù)所述數(shù)量確定對(duì)應(yīng)的哈希策略； 生成模塊，用于根據(jù)所述哈希策略對(duì)Map任務(wù)中的Key進(jìn)行哈希計(jì)算生成第一整數(shù)標(biāo)識(shí)； 分配模塊，用于將所述第一整數(shù)標(biāo)識(shí)作為Reduce任務(wù)的標(biāo)識(shí)，并根據(jù)所述Reduce任務(wù)的標(biāo)識(shí)分配對(duì)應(yīng)的Reduce任務(wù)進(jìn)行處理。9.如權(quán)利要求8所述的支持快速查詢(xún)Map-Reduce輸出結(jié)果的分桶裝置，其特征在于，所述裝置還包括: 設(shè)置模塊，用于對(duì)所述Map任務(wù)參數(shù)進(jìn)行設(shè)置，將所述第一整數(shù)標(biāo)識(shí)設(shè)置為鍵值。10.一種設(shè)備，其特征在于，包括外殼、屏幕、處理器和電路板，其中， 所述屏幕安置在所述外殼上，所述電路板安置在所述外殼圍成的空間內(nèi)部，所述處理器設(shè)置在所述電路板上； 所述處理器用于處理數(shù)據(jù)，并具體用于: 獲取Reduce任務(wù)的數(shù)量，并根據(jù)所述數(shù)量確定對(duì)應(yīng)的哈希策略； 根據(jù)所述哈希策略對(duì)Map任務(wù)中的Key進(jìn)行哈希計(jì)算，生成第一整數(shù)標(biāo)識(shí)； 將所述第一整數(shù)標(biāo)識(shí)作為Reduce任務(wù)的標(biāo)識(shí)，并根據(jù)所述Reduce任務(wù)的標(biāo)識(shí)分配對(duì)應(yīng)的Reduce任務(wù)進(jìn)行處理。
【專(zhuān)利摘要】本發(fā)明公開(kāi)了一種支持快速查詢(xún)Map-Reduce輸出結(jié)果的分桶方法、裝置及設(shè)備。其中，該方法包括：獲取Reduce任務(wù)的數(shù)量，并根據(jù)數(shù)量確定對(duì)應(yīng)的哈希策略；根據(jù)哈希策略對(duì)Map任務(wù)中的key進(jìn)行哈希計(jì)算生成第一整數(shù)標(biāo)識(shí)；將第一整數(shù)標(biāo)識(shí)作為Reduce任務(wù)的標(biāo)識(shí)，并根據(jù)Reduce任務(wù)的標(biāo)識(shí)分配對(duì)應(yīng)的Reduce任務(wù)進(jìn)行處理。本發(fā)明實(shí)施例的支持快速查詢(xún)Map-Reduce輸出結(jié)果的分桶方法，可以快速查詢(xún)到Map任務(wù)中的key對(duì)應(yīng)的計(jì)算結(jié)果，提高了數(shù)據(jù)分析的效率。
【IPC分類(lèi)】G06F17/30
【公開(kāi)號(hào)】CN105095515
【申請(qǐng)?zhí)枴緾N201510580544
【發(fā)明人】潘洪安
【申請(qǐng)人】北京金山安全軟件有限公司
【公開(kāi)日】2015年11月25日
【申請(qǐng)日】2015年9月11日