一種數(shù)據(jù)掃描的方法及裝置制造方法
【專利摘要】本發(fā)明實(shí)施例公開了數(shù)據(jù)掃描的方法及裝置，所述方法包括：分析接收到的數(shù)據(jù)掃描請(qǐng)求中攜帶的數(shù)據(jù)掃描條件，確定至少一個(gè)用于存儲(chǔ)數(shù)據(jù)的目標(biāo)數(shù)據(jù)分區(qū)；獲取所述目標(biāo)數(shù)據(jù)分區(qū)的掃描代價(jià)，其中，所述掃描代價(jià)包括數(shù)據(jù)掃描的等待時(shí)間；根據(jù)所述掃描代價(jià)，將所述目標(biāo)數(shù)據(jù)分區(qū)分配給處理資源以執(zhí)行并行數(shù)據(jù)掃描，并獲取所述處理資源返回的掃描結(jié)果。采用本發(fā)明，通過(guò)收集數(shù)據(jù)分區(qū)的統(tǒng)計(jì)信息，獲取掃描代價(jià)，合理分配目標(biāo)數(shù)據(jù)分區(qū)的作業(yè)組給處理資源，縮短了整個(gè)數(shù)據(jù)掃描的等待時(shí)間。
【專利說(shuō)明】一種數(shù)據(jù)掃描的方法及裝置
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及數(shù)據(jù)存儲(chǔ)與檢索【技術(shù)領(lǐng)域】，尤其涉及一種數(shù)據(jù)掃描的方法及裝置。
【背景技術(shù)】
[0002]在計(jì)算機(jī)系統(tǒng)中，各種字母、數(shù)字符號(hào)的組合、語(yǔ)音、圖形、圖像等統(tǒng)稱為數(shù)據(jù)，隨著社交網(wǎng)絡(luò)、物聯(lián)網(wǎng)等技術(shù)的發(fā)展，數(shù)據(jù)以指數(shù)的速率在不斷的增長(zhǎng)。數(shù)據(jù)規(guī)模的增大對(duì)數(shù)據(jù)的檢索也提出了更高的要求。
[0003]根據(jù)一定策略將大規(guī)模的數(shù)據(jù)表中的數(shù)據(jù)劃分成多個(gè)物理上或邏輯上的小表，存儲(chǔ)在不同的存儲(chǔ)單元中，每個(gè)存儲(chǔ)單元就是一個(gè)分區(qū)，將需要掃描的分區(qū)分配給空閑的工作者即處理資源，如CPU、線程、進(jìn)程和主機(jī)等處理資源，由這些工作者完成對(duì)應(yīng)分區(qū)的掃描。
[0004]然而，上述檢索技術(shù)雖然可以找到對(duì)應(yīng)的所需的數(shù)據(jù)，但當(dāng)各個(gè)分區(qū)的數(shù)據(jù)規(guī)模差距較大時(shí)，易使一個(gè)或多個(gè)工作者掃描時(shí)間過(guò)長(zhǎng)，從而導(dǎo)致整個(gè)檢索過(guò)程的等待時(shí)間過(guò)長(zhǎng)。

【發(fā)明內(nèi)容】

[0005]本發(fā)明實(shí)施例所要解決的技術(shù)問題在于，提供一種數(shù)據(jù)掃描的方法及裝置，可使得整個(gè)檢索掃描過(guò)程等待的時(shí)間縮短。
[0006]為了解決上述技術(shù)問題，本發(fā)明第一方面提供了一種數(shù)據(jù)掃描的方法，包括:
[0007]分析接收到的數(shù)據(jù)掃描請(qǐng)求中攜帶的數(shù)據(jù)掃描條件，確定至少一個(gè)用于存儲(chǔ)數(shù)據(jù)的目標(biāo)數(shù)據(jù)分區(qū)；
[0008]獲取所述目標(biāo)數(shù)據(jù)分區(qū)的掃描代價(jià)，其中，所述掃描代價(jià)包括數(shù)據(jù)掃描的等待時(shí)間；
[0009]根據(jù)所述掃描代價(jià)，將所述目標(biāo)數(shù)據(jù)分區(qū)分配給處理資源以執(zhí)行并行數(shù)據(jù)掃描，并獲取所述處理資源返回的掃描結(jié)果。
[0010]在第一種可能的實(shí)現(xiàn)方式中，在所述分析接收到的數(shù)據(jù)掃描請(qǐng)求中攜帶的數(shù)據(jù)掃描條件之前，還包括:
[0011]收集數(shù)據(jù)分區(qū)的統(tǒng)計(jì)信息，其中，所述統(tǒng)計(jì)信息包括所述數(shù)據(jù)分區(qū)的數(shù)據(jù)量和存儲(chǔ)介質(zhì)的訪問性能；
[0012]根據(jù)所述統(tǒng)計(jì)信息中所述數(shù)據(jù)分區(qū)的數(shù)據(jù)量和存儲(chǔ)介質(zhì)的訪問性能，獲取并配置所述數(shù)據(jù)分區(qū)對(duì)應(yīng)的掃描代價(jià)。
[0013]結(jié)合第一方面的第一種可能的實(shí)現(xiàn)方式，在第二種可能的實(shí)現(xiàn)方式中，所述收集數(shù)據(jù)分區(qū)的統(tǒng)計(jì)信息，包括:
[0014]掃描每個(gè)數(shù)據(jù)分區(qū)的所有數(shù)據(jù)，計(jì)算所述數(shù)據(jù)分區(qū)的數(shù)據(jù)量，或?qū)λ鰯?shù)據(jù)分區(qū)的數(shù)據(jù)進(jìn)行抽樣以估算所述數(shù)據(jù)分區(qū)的數(shù)據(jù)量，或根據(jù)所述數(shù)據(jù)分區(qū)上次統(tǒng)計(jì)數(shù)據(jù)量之后該數(shù)據(jù)分區(qū)進(jìn)行的數(shù)據(jù)操作估算當(dāng)前的數(shù)據(jù)量；[0015]預(yù)先配置所述數(shù)據(jù)分區(qū)存儲(chǔ)介質(zhì)訪問的性能，或?qū)λ鰯?shù)據(jù)分區(qū)執(zhí)行至少一次的數(shù)據(jù)采樣以確定所述數(shù)據(jù)分區(qū)存儲(chǔ)介質(zhì)訪問的性能。
[0016]結(jié)合第一方面的第二種可能的實(shí)現(xiàn)方式，在第三種可能的實(shí)現(xiàn)方式中，所述收集數(shù)據(jù)分區(qū)的統(tǒng)計(jì)信息之前，還包括:
[0017]根據(jù)事件觸發(fā)或定時(shí)觸發(fā)收集數(shù)據(jù)分區(qū)統(tǒng)計(jì)信息的操作。
[0018]結(jié)合第一方面的實(shí)現(xiàn)方式，在第四種可能的實(shí)現(xiàn)方式中，所述根據(jù)所述掃描代價(jià)，將所述目標(biāo)數(shù)據(jù)分區(qū)分配給處理資源執(zhí)行并行掃描，包括:
[0019]根據(jù)每個(gè)目標(biāo)數(shù)據(jù)分區(qū)的掃描代價(jià)，計(jì)算合理的目標(biāo)數(shù)據(jù)分區(qū)作業(yè)組使得每組的掃描代價(jià)與所有作業(yè)組掃描代價(jià)的平均值之差在預(yù)定的范圍內(nèi)，
[0020]其中，所述作業(yè)組包含一個(gè)或多個(gè)所述目標(biāo)數(shù)據(jù)分區(qū)的掃描；
[0021]將所述作業(yè)組分配給處理資源以執(zhí)行并行掃描。
[0022]結(jié)合第一方面的第四種可能的實(shí)現(xiàn)方式，在第五種可能的實(shí)現(xiàn)方式中，所述根據(jù)所述掃描代價(jià)，將所述目標(biāo)數(shù)據(jù)分區(qū)分配給處理資源以執(zhí)行并行數(shù)據(jù)掃描，并獲取所述處理資源返回的掃描結(jié)果之后，還包括:
[0023]將獲取的所述處理資源的掃描結(jié)果發(fā)送給所述數(shù)據(jù)掃描請(qǐng)求的發(fā)起者。
[0024]相應(yīng)地，本發(fā)明第二方面提供了一種數(shù)據(jù)掃描的裝置，包括:
[0025]確定模塊，用于分析接收到的數(shù)據(jù)掃描請(qǐng)求中攜帶的數(shù)據(jù)掃描條件，確定至少一個(gè)用于存儲(chǔ)數(shù)據(jù)的目標(biāo)數(shù)據(jù)分區(qū)；
[0026]第一獲取模塊，用于獲取所述目標(biāo)數(shù)據(jù)分區(qū)的掃描代價(jià)，其中，所述掃描代價(jià)包括數(shù)據(jù)掃描的等待時(shí)間；
[0027]掃描配置模塊，用于根據(jù)所述掃描代價(jià)，將所述目標(biāo)數(shù)據(jù)分區(qū)分配給處理資源以執(zhí)行并行數(shù)據(jù)掃描，并獲取所述處理資源返回的掃描結(jié)果。
[0028]在第一種可能的實(shí)現(xiàn)方式中，還包括:
[0029]收集模塊，用于收集數(shù)據(jù)分區(qū)的統(tǒng)計(jì)信息，其中，所述統(tǒng)計(jì)信息包括所述數(shù)據(jù)分區(qū)的數(shù)據(jù)量和存儲(chǔ)介質(zhì)的訪問性能；
[0030]第二獲取模塊，用于根據(jù)所述統(tǒng)計(jì)信息中所述數(shù)據(jù)分區(qū)的數(shù)據(jù)量和存儲(chǔ)介質(zhì)的訪問性能，獲取并配置所述數(shù)據(jù)分區(qū)對(duì)應(yīng)的掃描代價(jià)。
[0031]結(jié)合第二方面第一種可能的實(shí)現(xiàn)方式，在第二種可能的實(shí)現(xiàn)方式中，所述收集模塊包括:
[0032]第一統(tǒng)計(jì)單元，用于掃描每個(gè)數(shù)據(jù)分區(qū)的所有數(shù)據(jù)，計(jì)算所述數(shù)據(jù)分區(qū)的數(shù)據(jù)量，或?qū)λ鰯?shù)據(jù)分區(qū)的數(shù)據(jù)進(jìn)行抽樣以估算所述數(shù)據(jù)分區(qū)的數(shù)據(jù)量，或根據(jù)所述數(shù)據(jù)分區(qū)上次統(tǒng)計(jì)數(shù)據(jù)量之后該數(shù)據(jù)分區(qū)進(jìn)行的數(shù)據(jù)操作估算當(dāng)前的數(shù)據(jù)量；
[0033]第二統(tǒng)計(jì)單元，用于預(yù)先配置所述數(shù)據(jù)分區(qū)存儲(chǔ)介質(zhì)訪問的性能，或?qū)λ鰯?shù)據(jù)分區(qū)執(zhí)行至少一次的數(shù)據(jù)采樣以確定所述數(shù)據(jù)分區(qū)存儲(chǔ)介質(zhì)訪問的性能。
[0034]結(jié)合第二方面的第二種可能的實(shí)現(xiàn)方式，在第三種可能的實(shí)現(xiàn)方式中，還包括:
[0035]觸發(fā)模塊，用于根據(jù)事件觸發(fā)或定時(shí)觸發(fā)收集模塊收集統(tǒng)計(jì)信息的操作。
[0036]結(jié)合第二方面，在第四種可能的實(shí)現(xiàn)方式中，所述掃描配置模塊包括:
[0037]計(jì)算單元，用于根據(jù)每個(gè)目標(biāo)數(shù)據(jù)分區(qū)的掃描代價(jià)，計(jì)算合理的目標(biāo)數(shù)據(jù)分區(qū)作業(yè)組使得每組的掃描代價(jià)與所有作業(yè)組掃描代價(jià)的平均值之差在預(yù)定的范圍內(nèi)，其中，所述作業(yè)組包含一個(gè)或多個(gè)所述目標(biāo)數(shù)據(jù)分區(qū)的掃描；
[0038]配置單元，用于將所述作業(yè)組分配給處理資源以執(zhí)行并行數(shù)據(jù)掃描；
[0039]獲取單元，用于獲取所述處理資源返回的掃描結(jié)果。
[0040]結(jié)合第二方面的第四種可能的實(shí)現(xiàn)方式，在第五種可能的實(shí)現(xiàn)方式中，還包括:
[0041]發(fā)送模塊，用于將獲取的所述處理資源的掃描結(jié)果發(fā)送給所述數(shù)據(jù)掃描請(qǐng)求的發(fā)起者。
[0042]由上可見，本發(fā)明的一些可行的實(shí)施方式中，通過(guò)確定待掃描的目標(biāo)數(shù)據(jù)分區(qū)，并根據(jù)獲取的所述目標(biāo)數(shù)據(jù)分區(qū)的掃描代價(jià)，合理的將所述目標(biāo)數(shù)據(jù)分區(qū)分配給處理資源來(lái)執(zhí)行并行掃描，從而縮短獲取所述處理資源的掃描結(jié)果的等待時(shí)間。
【專利附圖】

【附圖說(shuō)明】
[0043]為了更清楚地說(shuō)明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖獲得其他的附圖。
[0044]圖1為本發(fā)明實(shí)施例的一種數(shù)據(jù)掃描的方法的流程示意圖；
[0045]圖2為本發(fā)明實(shí)施例的一種獲取數(shù)據(jù)分區(qū)掃描代價(jià)方法的流程示意圖；
[0046]圖3為本發(fā)明實(shí)施例的另一種數(shù)據(jù)掃描的方法的流程示意圖；
[0047]圖4為本發(fā)明實(shí)施例的一種數(shù)據(jù)掃描的裝置的結(jié)構(gòu)示意圖；
[0048]圖5為本發(fā)明實(shí)施例的一種獲取數(shù)據(jù)分區(qū)掃描代價(jià)裝置的結(jié)構(gòu)示意圖；
[0049]圖6為圖5中收集模塊的具體結(jié)構(gòu)示意圖；
[0050]圖7為本發(fā)明實(shí)施例的另一種數(shù)據(jù)掃描的裝置的結(jié)構(gòu)示意圖；
[0051]圖8為圖7中掃描配置模塊的具體結(jié)構(gòu)示意圖；
[0052]圖9為本發(fā)明實(shí)施例的一種具體的數(shù)據(jù)掃描裝置的原理示意圖；
[0053]圖10本發(fā)明實(shí)施例的一種數(shù)據(jù)處理設(shè)備的結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0054]下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例。基于本發(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有作出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。
[0055]圖1為本發(fā)明實(shí)施例的一種數(shù)據(jù)掃描的方法，本發(fā)明實(shí)施例所述方法可以應(yīng)用在手機(jī)、電腦、移動(dòng)設(shè)備、服務(wù)器等終端中，具體的，所述方法包括:
[0056]S101:分析接收到的數(shù)據(jù)掃描請(qǐng)求中攜帶的數(shù)據(jù)掃描條件，確定至少一個(gè)用于存儲(chǔ)數(shù)據(jù)的目標(biāo)數(shù)據(jù)分區(qū)。
[0057]其中，數(shù)據(jù)分區(qū)是指將一份規(guī)模較大的數(shù)據(jù)按照一定的策略，如時(shí)間、內(nèi)容、格式等分割成多個(gè)較小的數(shù)據(jù)部分，每個(gè)數(shù)據(jù)部分就是一個(gè)數(shù)據(jù)分區(qū)。
[0058]當(dāng)接收到請(qǐng)求者發(fā)送的數(shù)據(jù)掃描請(qǐng)求時(shí)，分析所述數(shù)據(jù)掃描請(qǐng)求中的數(shù)據(jù)掃描條件，如所需掃描的數(shù)據(jù)分區(qū)，掃描的目標(biāo)信息，根據(jù)所述掃描條件過(guò)濾部分不滿足條件的數(shù)據(jù)分組，將所述需掃描的數(shù)據(jù)分區(qū)稱為目標(biāo)數(shù)據(jù)分區(qū)，所述目標(biāo)數(shù)據(jù)分區(qū)為1-K。
[0059]S102:獲取所述目標(biāo)數(shù)據(jù)分區(qū)的掃描代價(jià)。
[0060]其中，所述掃描代價(jià)包括數(shù)據(jù)掃描的等待時(shí)間，等待時(shí)間越長(zhǎng)，掃描代價(jià)越高，反之亦然。
[0061]獲取所述目標(biāo)數(shù)據(jù)分區(qū)的掃描代價(jià)，可以通過(guò)系統(tǒng)預(yù)先設(shè)置的每個(gè)數(shù)據(jù)分區(qū)的掃描代價(jià)表中獲取，即由本端的數(shù)據(jù)分區(qū)統(tǒng)計(jì)信息計(jì)算裝置，收集各個(gè)數(shù)據(jù)分區(qū)的統(tǒng)計(jì)信息，所述統(tǒng)計(jì)信息主要包括各個(gè)數(shù)據(jù)分區(qū)的數(shù)據(jù)規(guī)模(數(shù)據(jù)規(guī)模即分區(qū)中數(shù)據(jù)量的多少)，以及各個(gè)數(shù)據(jù)分區(qū)所在存儲(chǔ)介質(zhì)的訪問性能(單位數(shù)據(jù)掃描的時(shí)間來(lái)描述)。所述收集過(guò)程可以由需掃描的發(fā)起者事件觸發(fā)或由本端定時(shí)觸發(fā)。所述數(shù)據(jù)規(guī)?？梢愿鶕?jù)數(shù)據(jù)分區(qū)上的數(shù)據(jù)或用戶對(duì)數(shù)據(jù)分區(qū)的歷史操作等估算獲得，所述訪問性能可以根據(jù)所述統(tǒng)計(jì)信息中數(shù)據(jù)規(guī)模和訪問性能估算每個(gè)數(shù)據(jù)分區(qū)的掃描代價(jià)。
[0062]S103:根據(jù)所述掃描代價(jià)，將所述目標(biāo)數(shù)據(jù)分區(qū)分配給處理資源以執(zhí)行并行數(shù)據(jù)掃描，并獲取所述處理資源返回的掃描結(jié)果。
[0063]可選地，根據(jù)S102獲取的每個(gè)目標(biāo)數(shù)據(jù)分區(qū)的掃描代價(jià)以及工作者池中的空閑處理資源(也稱為空閑工作者，如CPU、線程、進(jìn)程、主機(jī)等處理資源)，首先計(jì)算所有目標(biāo)數(shù)據(jù)分區(qū)所需分配的作業(yè)組個(gè)數(shù)，其中所述作業(yè)組包含一個(gè)或多個(gè)目標(biāo)數(shù)據(jù)分區(qū)的掃描任務(wù)；其次，根據(jù)所述作業(yè)組個(gè)數(shù)，計(jì)算所述作業(yè)組的平均掃描代價(jià)；然后，將將所述目標(biāo)數(shù)據(jù)分區(qū)分配給所述作業(yè)組，使得每組的掃描代價(jià)與所述平均掃描代價(jià)之差在預(yù)定的范圍內(nèi)；最后，由本端的掃描結(jié)果匯聚裝置收集所述掃描結(jié)果，并發(fā)送給所述數(shù)據(jù)掃描請(qǐng)求的發(fā)起者。
[0064]由上可見，本發(fā)明實(shí)施例通過(guò)獲取待掃描的目標(biāo)數(shù)據(jù)分區(qū)及其掃描代價(jià)經(jīng)過(guò)相應(yīng)的計(jì)算處理，將目標(biāo)數(shù)據(jù)分區(qū)分組后分配給處理資源執(zhí)行掃描，避免了處理資源任務(wù)不平衡導(dǎo)致的總掃描時(shí)間過(guò)長(zhǎng)的問題，即縮短了數(shù)據(jù)掃描等待時(shí)間。
[0065]圖2為本發(fā)明實(shí)施例的一種獲取數(shù)據(jù)分區(qū)掃描代價(jià)方法的流程示意圖，本發(fā)明實(shí)施例所述的方法可以應(yīng)用在上述圖1對(duì)應(yīng)的實(shí)施例中的步驟S101之前執(zhí)行，本發(fā)明實(shí)施例的具體方法為:
[0066]S201:根據(jù)事件觸發(fā)或定時(shí)觸發(fā)收集數(shù)據(jù)分區(qū)統(tǒng)計(jì)信息的操作。
[0067]其中，所述事件包括鼠標(biāo)點(diǎn)擊事件、鍵盤事件、操作系統(tǒng)事件、以及應(yīng)用程序根據(jù)軟硬件運(yùn)行狀態(tài)觸發(fā)事件等；定時(shí)觸發(fā)包括本端通過(guò)設(shè)置計(jì)時(shí)器以有規(guī)律的時(shí)間間隔執(zhí)行收集統(tǒng)計(jì)信息等操作。
[0068]其中，所述統(tǒng)計(jì)信息包括數(shù)據(jù)分區(qū)的數(shù)據(jù)規(guī)模即數(shù)據(jù)量，以及所述數(shù)據(jù)分區(qū)所在存儲(chǔ)介質(zhì)的訪問性能。
[0069]S202:收集數(shù)據(jù)分區(qū)的統(tǒng)計(jì)信息。
[0070]在S201觸發(fā)收集操作之后，由本端收集數(shù)據(jù)分區(qū)的統(tǒng)計(jì)信息，具體的收集方式為:
[0071](1)收集所述數(shù)據(jù)分區(qū)的數(shù)據(jù)規(guī)模
[0072]通過(guò)掃描每個(gè)數(shù)據(jù)分區(qū)的所有數(shù)據(jù)，計(jì)算所述數(shù)據(jù)分區(qū)的數(shù)據(jù)量；
[0073]或?qū)λ鰯?shù)據(jù)分區(qū)的數(shù)據(jù)進(jìn)行抽樣以估算所述數(shù)據(jù)分區(qū)的數(shù)據(jù)量；
[0074]或根據(jù)所述數(shù)據(jù)分區(qū)上次在收集時(shí)統(tǒng)計(jì)的數(shù)據(jù)量以來(lái)，該數(shù)據(jù)分區(qū)所做的數(shù)據(jù)操作，如刪除、添加等估算當(dāng)前的數(shù)據(jù)量。
[0075](2)收集所述數(shù)據(jù)分區(qū)的存儲(chǔ)介質(zhì)的訪問性能
[0076]通過(guò)預(yù)先設(shè)置所述數(shù)據(jù)分區(qū)的存儲(chǔ)介質(zhì)的訪問性能(單位數(shù)據(jù)掃描的時(shí)間)，即人
工配置；
[0077]通過(guò)多次訪問所述數(shù)據(jù)分區(qū)的掃描時(shí)間求平均值來(lái)獲得存儲(chǔ)介質(zhì)的訪問性能。
[0078]S203:根據(jù)所述統(tǒng)計(jì)信息中所述數(shù)據(jù)分區(qū)的數(shù)據(jù)量和存儲(chǔ)介質(zhì)的訪問性能，獲取并配置所述數(shù)據(jù)分區(qū)對(duì)應(yīng)的掃描代價(jià)。
[0079]具體的，根據(jù)所述數(shù)據(jù)分區(qū)的數(shù)據(jù)量和存儲(chǔ)介質(zhì)的訪問性能，計(jì)算所述數(shù)據(jù)分區(qū)對(duì)應(yīng)的掃描代價(jià)的方式有多種，例如:
[0080]數(shù)據(jù)分區(qū)掃描代價(jià)=數(shù)據(jù)分區(qū)的數(shù)據(jù)規(guī)模X存儲(chǔ)介質(zhì)的訪問性能
[0081]根據(jù)本發(fā)明實(shí)施例，下表1舉例給出了數(shù)據(jù)分區(qū)1-K與掃描代價(jià)之間的對(duì)應(yīng)關(guān)系:
[0082]
【權(quán)利要求】
1.一種數(shù)據(jù)掃描的方法，其特征在于，包括:分析接收到的數(shù)據(jù)掃描請(qǐng)求中攜帶的數(shù)據(jù)掃描條件，確定至少一個(gè)用于存儲(chǔ)數(shù)據(jù)的目標(biāo)數(shù)據(jù)分區(qū)；獲取所述目標(biāo)數(shù)據(jù)分區(qū)的掃描代價(jià)，其中，所述掃描代價(jià)包括數(shù)據(jù)掃描的等待時(shí)間；根據(jù)所述掃描代價(jià)，將所述目標(biāo)數(shù)據(jù)分區(qū)分配給處理資源以執(zhí)行并行數(shù)據(jù)掃描，并獲取所述處理資源返回的掃描結(jié)果。
2.如權(quán)利要求1所述的方法，其特征在于，所述分析接收到的數(shù)據(jù)掃描請(qǐng)求中攜帶的數(shù)據(jù)掃描條件之前，還包括:收集數(shù)據(jù)分區(qū)的統(tǒng)計(jì)信息，其中，所述統(tǒng)計(jì)信息包括所述數(shù)據(jù)分區(qū)的數(shù)據(jù)量和存儲(chǔ)介質(zhì)的訪問性能；根據(jù)所述統(tǒng)計(jì)信息中所述數(shù)據(jù)分區(qū)的數(shù)據(jù)量和存儲(chǔ)介質(zhì)的訪問性能，獲取并配置所述數(shù)據(jù)分區(qū)對(duì)應(yīng)的掃描代價(jià)。
3.如權(quán)利要求2所 述的方法，其特征在于，所述收集數(shù)據(jù)分區(qū)的統(tǒng)計(jì)信息，包括:掃描每個(gè)數(shù)據(jù)分區(qū)的所有數(shù)據(jù)，計(jì)算所述數(shù)據(jù)分區(qū)的數(shù)據(jù)量，或?qū)λ鰯?shù)據(jù)分區(qū)的數(shù)據(jù)進(jìn)行抽樣以估算所述數(shù)據(jù)分區(qū)的數(shù)據(jù)量，或根據(jù)所述數(shù)據(jù)分區(qū)上次統(tǒng)計(jì)數(shù)據(jù)量之后該數(shù)據(jù)分區(qū)進(jìn)行的數(shù)據(jù)操作估算當(dāng)前的數(shù)據(jù)量；預(yù)先配置所述數(shù)據(jù)分區(qū)存儲(chǔ)介質(zhì)訪問的性能，或?qū)λ鰯?shù)據(jù)分區(qū)執(zhí)行至少一次的數(shù)據(jù)采樣以確定所述數(shù)據(jù)分區(qū)存儲(chǔ)介質(zhì)訪問的性能。
4.如權(quán)利要求2所述的方法，其特征在于，所述收集數(shù)據(jù)分區(qū)的統(tǒng)計(jì)信息之前，還包括:根據(jù)事件觸發(fā)或定時(shí)觸發(fā)收集數(shù)據(jù)分區(qū)統(tǒng)計(jì)信息的操作。
5.如權(quán)利要求1所述的方法，其特征在于，根據(jù)所述掃描代價(jià)，將所述目標(biāo)數(shù)據(jù)分區(qū)分配給處理資源執(zhí)行并行掃描，包括:根據(jù)每個(gè)目標(biāo)數(shù)據(jù)分區(qū)的掃描代價(jià)，計(jì)算合理的目標(biāo)數(shù)據(jù)分區(qū)作業(yè)組使得每組的掃描代價(jià)與所有作業(yè)組掃描代價(jià)的平均值之差在預(yù)定的范圍內(nèi)，其中，所述作業(yè)組包含一個(gè)或多個(gè)所述目標(biāo)數(shù)據(jù)分區(qū)的掃描；將所述作業(yè)組分配給處理資源以執(zhí)行并行掃描。
6.如權(quán)利要求1或5所述的方法，其特征在于，還包括:將獲取的所述處理資源的掃描結(jié)果發(fā)送給所述數(shù)據(jù)掃描請(qǐng)求的發(fā)起者。
7.一種數(shù)據(jù)掃描的裝置，其特征在于，包括:確定模塊，用于分析接收到的數(shù)據(jù)掃描請(qǐng)求中攜帶的數(shù)據(jù)掃描條件，確定至少一個(gè)用于存儲(chǔ)數(shù)據(jù)的目標(biāo)數(shù)據(jù)分區(qū)；第一獲取模塊，用于獲取所述目標(biāo)數(shù)據(jù)分區(qū)的掃描代價(jià)，其中，所述掃描代價(jià)包括數(shù)據(jù)掃描的等待時(shí)間；掃描配置模塊，用于根據(jù)所述掃描代價(jià)，將所述目標(biāo)數(shù)據(jù)分區(qū)分配給處理資源以執(zhí)行并行數(shù)據(jù)掃描，并獲取所述處理資源返回的掃描結(jié)果。
8.如權(quán)利要求7所述的裝置，其特征在于，還包括:收集模塊，用于收集數(shù)據(jù)分區(qū)的統(tǒng)計(jì)信息，其中，所述統(tǒng)計(jì)信息包括所述數(shù)據(jù)分區(qū)的數(shù)據(jù)量和存儲(chǔ)介質(zhì)的訪問性能；第二獲取模塊，用于根據(jù)所述統(tǒng)計(jì)信息中所述數(shù)據(jù)分區(qū)的數(shù)據(jù)量和存儲(chǔ)介質(zhì)的訪問性能，獲取并配置所述數(shù)據(jù)分區(qū)對(duì)應(yīng)的掃描代價(jià)。
9.如權(quán)利要求8所述的裝置，其特征在于，所述收集模塊包括:第一統(tǒng)計(jì)單元，用于掃描每個(gè)數(shù)據(jù)分區(qū)的所有數(shù)據(jù)，計(jì)算所述數(shù)據(jù)分區(qū)的數(shù)據(jù)量，或?qū)λ鰯?shù)據(jù)分區(qū)的數(shù)據(jù)進(jìn)行抽樣以估算所述數(shù)據(jù)分區(qū)的數(shù)據(jù)量，或根據(jù)所述數(shù)據(jù)分區(qū)上次統(tǒng)計(jì)數(shù)據(jù)量之后該數(shù)據(jù)分區(qū)進(jìn)行的數(shù)據(jù)操作估算當(dāng)前的數(shù)據(jù)量；第二統(tǒng)計(jì)單元，用于預(yù)先配置所述數(shù)據(jù)分區(qū)存儲(chǔ)介質(zhì)訪問的性能，或?qū)λ鰯?shù)據(jù)分區(qū)執(zhí)行至少一次的數(shù)據(jù)采樣以確定所述數(shù)據(jù)分區(qū)存儲(chǔ)介質(zhì)訪問的性能。
10.如權(quán)利要求8所述的裝置，其特征在于，還包括:觸發(fā)模塊，用于根據(jù)事件觸發(fā)或定時(shí)觸發(fā)收集模塊收集統(tǒng)計(jì)信息的操作。
11.如權(quán)利要求7所述的裝置，其特征在于，所述掃描配置模塊包括:計(jì)算單元，用于根據(jù)每個(gè)目標(biāo)數(shù)據(jù)分區(qū)的掃描代價(jià)，計(jì)算合理的目標(biāo)數(shù)據(jù)分區(qū)作業(yè)組使得每組的掃描代價(jià)與所有作業(yè)組掃描代價(jià)的平均值之差在預(yù)定的范圍內(nèi)，其中，所述作業(yè)組包含一個(gè)或多個(gè)所述目標(biāo)數(shù)據(jù)分區(qū)的掃描；配置單元，用于將所述作業(yè)組分配給處理資源以執(zhí)行并行數(shù)據(jù)掃描；獲取單元，用于獲取所述處理資源返回的掃描結(jié)果。
12.如權(quán)利要求7或11所述的裝置，其特征在于，所述根據(jù)所述掃描代價(jià)，將所述目標(biāo)數(shù)據(jù)分區(qū)分配給 處理資源以執(zhí)行并行數(shù)據(jù)掃描，并獲取所述處理資源返回的掃描結(jié)果之后,還包括:發(fā)送模塊，用于將獲取的所述處理資源的掃描結(jié)果發(fā)送給所述數(shù)據(jù)掃描請(qǐng)求的發(fā)起者。
【文檔編號(hào)】G06F17/30GK103729417SQ201310695039
【公開日】2014年4月16日 申請(qǐng)日期:2013年12月17日 優(yōu)先權(quán)日:2013年12月17日
【發(fā)明者】文繼軍, 許中清 申請(qǐng)人:華為技術(shù)有限公司