海量資料索引建立系統(tǒng)及方法
【專利摘要】一種海量資料索引建立系統(tǒng)及方法，該系統(tǒng)安裝并運(yùn)行于計(jì)算裝置中，該計(jì)算裝置包括存儲(chǔ)設(shè)備。該系統(tǒng)包括：資料分配模塊，用于從資料列表池中獲取資料列表，在存儲(chǔ)設(shè)備中建立多個(gè)資料隊(duì)列，并將資料列表分配到資料隊(duì)列中。索引建立模塊，用于針對(duì)每一個(gè)資料隊(duì)列中的資料列表建立一個(gè)資料子索引，并將該資料列表從相應(yīng)的資料隊(duì)列中移除。優(yōu)先處理模塊，用于當(dāng)資料列表需要優(yōu)先處理時(shí)將優(yōu)先權(quán)級(jí)別最高的該資料列表移入資料隊(duì)列中優(yōu)先處理。索引合并模塊，用于將資料子索引進(jìn)行合并成資料列表池的資料根索引。本發(fā)明能夠同時(shí)監(jiān)控多個(gè)建立索引進(jìn)程，排配建立索引的優(yōu)先級(jí)，并依照當(dāng)前系統(tǒng)的可用運(yùn)算資源的多少來動(dòng)態(tài)調(diào)整建立索引的速度。
【專利說明】海量資料索引建立系統(tǒng)及方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種資料索引管理系統(tǒng)及方法，特別是關(guān)于一種海量資料索引建立系統(tǒng)及方法。
【背景技術(shù)】
[0002]在資料處理過程中，建立資料索引是一種常見的管理資料需求。當(dāng)資料具有相當(dāng)規(guī)模的海量資料時(shí)，如何為海量資料建立索引是一件較為困難的課題。然而，利用傳統(tǒng)索引建立方法，無(wú)法啟動(dòng)多個(gè)建索引程序?yàn)槎喙P資料同時(shí)建立索引，無(wú)法彈性地排配建立索引的優(yōu)先級(jí)，也無(wú)法依照當(dāng)前計(jì)算機(jī)系統(tǒng)的可用運(yùn)算資源多少來動(dòng)態(tài)調(diào)整建立索引的速度。

【發(fā)明內(nèi)容】

[0003]鑒于以上內(nèi)容，有必要提供一種海量資料索引建立系統(tǒng)及方法，能夠同時(shí)監(jiān)控多個(gè)建立索引進(jìn)程，排配建立索引的優(yōu)先級(jí)，并依照當(dāng)前系統(tǒng)的可用運(yùn)算資源的多少來動(dòng)態(tài)調(diào)整建立索引的速度。
[0004]所述的海量資料索引建立系統(tǒng)安裝并運(yùn)行于計(jì)算裝置中，該計(jì)算裝置包括存儲(chǔ)設(shè)備。該海量資料索引建立系統(tǒng)包括:資料分配模塊，用于從存儲(chǔ)設(shè)備的資料列表池中獲取需要建立索引的資料列表，為每一個(gè)資料列表設(shè)定一個(gè)優(yōu)先權(quán)級(jí)別，在存儲(chǔ)設(shè)備中建立多個(gè)資料隊(duì)列，并按照優(yōu)先權(quán)級(jí)別將獲取的資料列表分配到資料隊(duì)列中；索引建立模塊，用于針對(duì)每一個(gè)資料隊(duì)列中的資料列表建立一個(gè)資料子索引，將已建立的資料子索引保存在存儲(chǔ)設(shè)備中，并將該資料列表從相應(yīng)的資料隊(duì)列中移除；優(yōu)先處理模塊，用于檢查資料列表池中是否有資料列表需要優(yōu)先處理，當(dāng)資料列表需要優(yōu)先處理時(shí)，從資料列表池中獲取優(yōu)先權(quán)級(jí)別最高的資料列表，并將該資料列表移入空閑的資料隊(duì)列中優(yōu)先處理；索引合并模塊，用于將所有建立的資料子索引合并成一個(gè)資料列表池的資料根索引，并將該資料根索引保存在存儲(chǔ)設(shè)備中。
[0005]所述的海量資料索引建立方法應(yīng)用于計(jì)算裝置中，該計(jì)算裝置包括存儲(chǔ)設(shè)備。該方法包括步驟:從存儲(chǔ)設(shè)備的資料列表池中獲取需要建立索引的資料列表，并為每一個(gè)資料列表設(shè)定一個(gè)優(yōu)先權(quán)級(jí)別；在存儲(chǔ)設(shè)備中建立多個(gè)資料隊(duì)列，并按照優(yōu)先權(quán)級(jí)別將獲取的資料列表分配到資料隊(duì)列中；針對(duì)每一個(gè)資料隊(duì)列中的資料列表建立一個(gè)資料子索弓I ；將已建立的資料子索弓I保存在存儲(chǔ)設(shè)備中，并將該資料列表從相應(yīng)的資料隊(duì)列中移除；檢查資料列表池中是否有資料列表需要優(yōu)先處理；當(dāng)資料列表需要優(yōu)先處理時(shí)，從資料列表池中獲取優(yōu)先權(quán)級(jí)別最高的資料列表，并將該資料列表移入空閑的資料隊(duì)列中優(yōu)先處理；將所有建立的資料子索引合并成一個(gè)資料列表池的資料根索引，并將該資料根索引保存在存儲(chǔ)設(shè)備中。
[0006]相較于現(xiàn)有技術(shù)，本發(fā)明所述的海量資料索引建立系統(tǒng)及方法，能夠彈性地同時(shí)監(jiān)控多個(gè)建立索引進(jìn)程，彈性地排配建立索引的優(yōu)先級(jí)，也能依照當(dāng)前系統(tǒng)的可用運(yùn)算資源的多少來動(dòng)態(tài)調(diào)整建立索引的速度?！緦＠綀D】

【附圖說明】
[0007]圖1是本發(fā)明海量資料索引建立系統(tǒng)較佳實(shí)施例的架構(gòu)圖。
[0008]圖2是本發(fā)明海量資料索引建立方法較佳實(shí)施例的流程圖。
[0009]圖3是一種建立海量資料索引的不意圖。
[0010]圖4是一種優(yōu)先處理資料索引的示意圖。
[0011]主要元件符號(hào)說明
[0012]計(jì)算裝置100
[0013]資料索引建立系統(tǒng)10
[0014]資料分配模塊101
[0015]索引建立模塊102
[0016]優(yōu)先處理模塊103
[0017]索引合并模塊104
[0018]存儲(chǔ)設(shè)備11
[0019]處理器12
[0020]如下【具體實(shí)施方式】將`結(jié)合上述附圖進(jìn)一步說明本發(fā)明。
【具體實(shí)施方式】
[0021]如圖1所示，是本發(fā)明海量資料索引建立系統(tǒng)10較佳實(shí)施例的架構(gòu)圖。在本實(shí)施例中，所述的資料索引建立系統(tǒng)10安裝并運(yùn)行于計(jì)算裝置100中，能夠同時(shí)監(jiān)控多個(gè)建立索引進(jìn)程，彈性地排配建立索引的優(yōu)先級(jí)，也能夠依照當(dāng)前系統(tǒng)的可用運(yùn)算資源的多少來動(dòng)態(tài)調(diào)整建立資料索引的速度。在本實(shí)施例中，所述的計(jì)算裝置100還包括，但不僅限于，存儲(chǔ)設(shè)備11以及處理器12。該計(jì)算裝置100可以為個(gè)人計(jì)算機(jī)、或者服務(wù)器之一種。
[0022]所述的存儲(chǔ)設(shè)備11可以為一種磁盤或網(wǎng)絡(luò)存儲(chǔ)裝置，用于存儲(chǔ)資料列表池、資料隊(duì)列以及海量資料。所述的資料列表池包括多個(gè)資料列表，參考圖3所示的資料列表ListO, ListU List2、…、ListN0所述的資料隊(duì)列用于存儲(chǔ)資料列表，每一資料列表存儲(chǔ)有用于識(shí)別不同類別資料的資料序號(hào)，例如序號(hào)SOOalOl、S00al02等。每一資料序號(hào)分別對(duì)應(yīng)有存儲(chǔ)在存儲(chǔ)設(shè)備11中的資料。
[0023]在本實(shí)施例中，將生產(chǎn)物料視為海量資料，生產(chǎn)機(jī)臺(tái)視為資料序號(hào)，生產(chǎn)成品視為索引，從而為大量的生產(chǎn)物料建立資料索引。利用一些簡(jiǎn)單的手段就能進(jìn)行大批量的工單排程，若有更多的機(jī)臺(tái)資源，也能以類似于擴(kuò)產(chǎn)能的方式增加產(chǎn)量。
[0024]在本實(shí)施例中，所述的資料索引建立系統(tǒng)10包括資料分配模塊101、索引建立模塊102、優(yōu)先處理模塊103以及索引合并模塊104。本發(fā)明所稱的模塊系指一種能夠被處理器12所執(zhí)行并且能夠完成固定功能的一系列程序指令段，其存儲(chǔ)于所述的存儲(chǔ)設(shè)備11中。
[0025]所述的資料分配模塊101用于從存儲(chǔ)設(shè)備11的資料列表池中獲取需要建立索引的資料列表，并為每一個(gè)資料列表設(shè)定一個(gè)優(yōu)先權(quán)級(jí)別。例如，資料列表ListO中的資料需要優(yōu)先處理，則資料分配模塊101將資料列表ListO的優(yōu)先權(quán)級(jí)別設(shè)為最高級(jí)，并按照資料列表的文件名稱依次設(shè)置資料列表池中資料列表的優(yōu)先權(quán)級(jí)別。
[0026]所述的資料分配模塊101還用于在存儲(chǔ)設(shè)備11中建立多個(gè)資料隊(duì)列，并按照優(yōu)先權(quán)級(jí)別將獲取的資料列表分配到資料隊(duì)列中。參考圖4所示，資料分配模塊101建立了兩個(gè)資料隊(duì)列，其中，資料隊(duì)列I用于存放資料列表Listl和資料列表List3，以及資料隊(duì)列2用于存放資料列表List2和資料列表List4。
[0027]所述的索引建立模塊102用于針對(duì)每一個(gè)資料隊(duì)列中的資料列表建立一個(gè)資料子索引。參考圖3所示，索引建立模塊102為資料隊(duì)列I建立資料子索引1，為資料隊(duì)列2建立資料子索引2，以及為資料隊(duì)列3建立資料子索引3。
[0028]所述的索引建立模塊102還用于將已建立的資料子索引保存在存儲(chǔ)設(shè)備11中，并將該資料列表從相應(yīng)的資料隊(duì)列中移除。參考圖4所示，當(dāng)資料隊(duì)列I中的資料列表Listl已建立了資料子索引I時(shí)，索引建立模塊102將資料列表Listl從資料隊(duì)列I中移除，以便釋放系統(tǒng)運(yùn)算資源。
[0029]所述的優(yōu)先處理模塊103用于檢查資料列表池中是否有資料列表需要優(yōu)先處理。當(dāng)資料列表需要優(yōu)先處理，優(yōu)先處理模塊103從資料列表池中獲取優(yōu)先權(quán)級(jí)別最高的資料列表，并將該資料列表移入空閑的資料隊(duì)列中優(yōu)先處理。參考圖4所示，資料列表ListO的需要優(yōu)先處理，其優(yōu)先權(quán)級(jí)別為最高，優(yōu)先處理模塊103將資料列表ListO移入資料隊(duì)列I中，并插入資料列表List3的前優(yōu)先處理。
[0030]所述的索引合并模塊104用于將所有建立的資料子索引進(jìn)行合并成一個(gè)資料列表池的資料根索引，并將該資料根索引保存在存儲(chǔ)設(shè)備11中。參考圖3所示，索引合并模塊104將資料隊(duì)列I的資料子索引1、資料隊(duì)列2的資料子索引2、以及為資料隊(duì)列3的資料子索引3進(jìn)行合并，從而為資料列表池建立一個(gè)資料根索引。
[0031]參考圖2所示，是本發(fā)明海量資料索引建立方法較佳實(shí)施例的流程圖。在本實(shí)施例中，該方法能夠同時(shí)監(jiān)控多個(gè)建立索引進(jìn)程，彈性地排配建立索引的優(yōu)先級(jí)，也能夠依照當(dāng)前系統(tǒng)的可用運(yùn)算資源的多少來動(dòng)態(tài)調(diào)整建立索引的速度。
[0032]步驟S21，資料分配模塊101從存儲(chǔ)設(shè)備11的資料列表池中獲取需要建立索引的資料列表，并為每一個(gè)資料列表設(shè)定一個(gè)優(yōu)先權(quán)級(jí)別。例如，資料列表ListO中的資料需要優(yōu)先處理，則資料分配模塊101將資料列表ListO的優(yōu)先權(quán)級(jí)別設(shè)為最高級(jí)，并按照資料列表的文件名稱依次設(shè)置資料列表池中資料列表的優(yōu)先權(quán)級(jí)別。
[0033]步驟S22，資料分配模塊101在存儲(chǔ)設(shè)備11中建立多個(gè)資料隊(duì)列，并按照優(yōu)先權(quán)級(jí)別將獲取的資料列表分配到資料隊(duì)列中。參考圖4所示，資料分配模塊101建立了兩個(gè)資料隊(duì)列，其中，資料隊(duì)列I用于存放資料列表Listl和資料列表List3，以及資料隊(duì)列2用于存放資料列表List2和資料列表List4。
[0034]步驟S23，索引建立模塊102針對(duì)每一個(gè)資料隊(duì)列中的資料列表建立一個(gè)資料子索引。參考圖3所示，索引建立模塊102為資料隊(duì)列I建立資料子索引1，為資料隊(duì)列2建立資料子索引2，以及為資料隊(duì)列3建立資料子索引3。
[0035]步驟S24，索引建立模塊102將已建立的資料子索引保存在存儲(chǔ)設(shè)備11中，并將該資料列表從相應(yīng)的資料隊(duì)列中移除。參考圖4所示，當(dāng)資料隊(duì)列I中的資料列表Listl已建立了資料子索引I時(shí)，索引建立模塊102將資料列表Listl從資料隊(duì)列I中移除，以便釋放系統(tǒng)運(yùn)算資源。
[0036]步驟S25，優(yōu)先處理模塊103檢查資料列表池中是否有資料列表需要優(yōu)先處理。若資料列表池中有需要優(yōu)先處理的資料列表，則流程執(zhí)行步驟S26 ;若資料列表池中沒有優(yōu)先處理的資料列表，則流程執(zhí)行步驟S28。
[0037]步驟S26，優(yōu)先處理模塊103從資料列表池中獲取優(yōu)先權(quán)級(jí)別最高的資料列表，并將該資料列表移入空閑的資料隊(duì)列中優(yōu)先處理。參考圖4所示，資料列表ListO的需要優(yōu)先處理，其優(yōu)先權(quán)級(jí)別為最高，優(yōu)先處理模塊103將資料列表ListO移入資料隊(duì)列I中，并插入資料列表List3的前優(yōu)先處理。
[0038]步驟S27，優(yōu)先處理模塊103檢查資料隊(duì)列中是否還有資料列表。若資料隊(duì)列中還有資料列表，則流程返回步驟S23 ;若資料隊(duì)列中沒有資料列表，則流程執(zhí)行步驟S28。
[0039]步驟S28，索引合并模塊104將所有建立的資料子索引進(jìn)行合并成一個(gè)資料列表池的資料根索引，并將該資料根索引保存在存儲(chǔ)設(shè)備11中。參考圖3所示，索引合并模塊104將資料隊(duì)列I的資料子索引1、資料隊(duì)列2的資料子索引2、以及為資料隊(duì)列3的資料子索引3進(jìn)行合并，從而為資料列表池建立一個(gè)資料根索引。
[0040]以上實(shí)施例僅用以說明本發(fā)明的技術(shù)方案而非限制，盡管參照以上較佳實(shí)施例對(duì)本發(fā)明進(jìn)行了詳細(xì)說明，本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解，可以對(duì)本發(fā)明的技術(shù)方案進(jìn)行修改或者等同替換都不應(yīng)脫離本發(fā)明技術(shù)方案的精神和范圍。
【權(quán)利要求】
1.一種海量資料索引建立系統(tǒng)，安裝并運(yùn)行于計(jì)算裝置中，該計(jì)算裝置包括存儲(chǔ)設(shè)備，其特征在于，所述的海量資料索引建立系統(tǒng)包括: 資料分配模塊，用于從存儲(chǔ)設(shè)備的資料列表池中獲取需要建立索引的資料列表，為每一個(gè)資料列表設(shè)定一個(gè)優(yōu)先權(quán)級(jí)別，在存儲(chǔ)設(shè)備中建立多個(gè)資料隊(duì)列，并按照優(yōu)先權(quán)級(jí)別將獲取的資料列表分配到資料隊(duì)列中； 索引建立模塊，用于針對(duì)每一個(gè)資料隊(duì)列中的資料列表建立一個(gè)資料子索引，將已建立的資料子索引保存在存儲(chǔ)設(shè)備中，并將該資料列表從相應(yīng)的資料隊(duì)列中移除； 優(yōu)先處理模塊，用于檢查資料列表池中是否有資料列表需要優(yōu)先處理，當(dāng)有資料列表需要優(yōu)先處理時(shí)，從資料列表池中獲取優(yōu)先權(quán)級(jí)別最高的資料列表，并將該資料列表移入空閑的資料隊(duì)列中優(yōu)先處理；以及 索引合并模塊，用于將所有建立的資料子索引合并成一個(gè)資料列表池的資料根索引，并將該資料根索引保存在存儲(chǔ)設(shè)備中。
2.如權(quán)利要求1所述的海量資料索引建立系統(tǒng)，其特征在于，所述的優(yōu)先處理模塊還用于判斷資料隊(duì)列中是否還有資料列表需要建立索引。
3.如權(quán)利要求1所述的海量資料索引建立系統(tǒng)，其特征在于，所述的資料分配模塊將資料列表池中需要優(yōu)先處理的資料列表的優(yōu)先權(quán)級(jí)別設(shè)為最高級(jí)，并按照資料列表的文件名稱依次設(shè)置資料列表池中資料列表的優(yōu)先權(quán)級(jí)別。
4.如權(quán)利要求1所 述的海量資料索引建立系統(tǒng)，其特征在于，所述的資料列表池包括多個(gè)資料列表，每一資料列表存儲(chǔ)有用于識(shí)別不同類別資料的資料序號(hào)，并分別對(duì)應(yīng)于存儲(chǔ)在存儲(chǔ)設(shè)備中的資料。
5.如權(quán)利要求1所述的海量資料索引建立系統(tǒng)，其特征在于，所述的存儲(chǔ)設(shè)備為一種磁盤或網(wǎng)絡(luò)存儲(chǔ)裝置，用于存儲(chǔ)資料列表池、資料隊(duì)列以及海量資料。
6.一種海量資料索引建立方法，應(yīng)用于計(jì)算裝置中，該計(jì)算裝置包括存儲(chǔ)設(shè)備，其特征在于，該方法包括步驟: 從存儲(chǔ)設(shè)備的資料列表池中獲取需要建立索引的資料列表，并為每一個(gè)資料列表設(shè)定一個(gè)優(yōu)先權(quán)級(jí)別； 在存儲(chǔ)設(shè)備中建立多個(gè)資料隊(duì)列，并按照優(yōu)先權(quán)級(jí)別將獲取的資料列表分配到資料隊(duì)列中； 針對(duì)每一個(gè)資料隊(duì)列中的資料列表建立一個(gè)資料子索引； 將已建立的資料子索引保存在存儲(chǔ)設(shè)備中，并將該資料列表從相應(yīng)的資料隊(duì)列中移除； 檢查資料列表池中是否有資料列表需要優(yōu)先處理； 當(dāng)有資料列表需要優(yōu)先處理時(shí)，從資料列表池中獲取優(yōu)先權(quán)級(jí)別最高的資料列表，并將該資料列表移入空閑的資料隊(duì)列中優(yōu)先處理；以及 將所有建立的資料子索引合并成一個(gè)資料列表池的資料根索引，并將該資料根索引保存在存儲(chǔ)設(shè)備中。
7.如權(quán)利要求6所述的海量資料索引建立方法，其特征在于，該方法還包括步驟: 判斷資料隊(duì)列中是否還有資料列表需要建立索引； 當(dāng)資料隊(duì)列中還有資料列表需要建立索引時(shí)，針對(duì)該資料隊(duì)列中的資料列表建立一個(gè)資料子索引。
8.如權(quán)利要求6所述的海量資料索引建立方法，其特征在于，所述的需要優(yōu)先處理的資料列表的優(yōu)先權(quán)級(jí)別設(shè)為最高級(jí)，資料列表池中剩余資料列表的優(yōu)先權(quán)級(jí)別按照資料列表的文件名稱來設(shè)置。
9.如權(quán)利要求6所述的海量資料索引建立方法，其特征在于，所述的資料列表池包括多個(gè)資料列表，每一資料列表存儲(chǔ)有用于識(shí)別不同類別資料的資料序號(hào)，并分別對(duì)應(yīng)于存儲(chǔ)在存儲(chǔ)設(shè)備中的資料。
10.如權(quán)利要求6所述的海量資料索引建立方法，其特征在于，所述的存儲(chǔ)設(shè)備為一種磁盤或網(wǎng)絡(luò)存儲(chǔ)裝置，用于存儲(chǔ)資料列表池、資料隊(duì)列以及海量資料。
【文檔編號(hào)】G06F17/30GK103631792SQ201210300880
【公開日】2014年3月12日 申請(qǐng)日期:2012年8月22日 優(yōu)先權(quán)日:2012年8月22日
【發(fā)明者】李忠一, 葉建發(fā), 蔡程豐, 盧俊锜 申請(qǐng)人:鴻富錦精密工業(yè)（深圳）有限公司, 鴻海精密工業(yè)股份有限公司