一種快速加載多個(gè)數(shù)據(jù)文件的方法及裝置的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于集群數(shù)據(jù)庫領(lǐng)域，尤其是涉及一種快速加載多個(gè)數(shù)據(jù)文件的方法及裝置。
【背景技術(shù)】
[0002]集群數(shù)據(jù)庫使用大量計(jì)算機(jī)節(jié)點(diǎn)提供高性能、大數(shù)據(jù)量的數(shù)據(jù)庫服務(wù)。集群數(shù)據(jù)庫的加載工具負(fù)責(zé)高性能地向集群數(shù)據(jù)庫中加載大量數(shù)據(jù)。通過兩臺(tái)或者多臺(tái)數(shù)據(jù)庫服務(wù)器，提供透明的服務(wù)，集群向客戶端提供的服務(wù)與單機(jī)系統(tǒng)向客戶端提供的服務(wù)，從通訊協(xié)議上保持二進(jìn)制兼容。在進(jìn)行數(shù)據(jù)更新時(shí)，數(shù)據(jù)庫客戶端發(fā)出數(shù)據(jù)更新請求后，要等集群的每個(gè)節(jié)點(diǎn)全部更新后，才給客戶端返回結(jié)果。
[0003]典型的集群數(shù)據(jù)庫會(huì)解析用戶所寫的控制文件，確定待加載數(shù)據(jù)的來源、位置、類型等參數(shù)信息，然后獲取數(shù)據(jù)文件的基本信息(如是否存在、文件大小等)，再根據(jù)數(shù)據(jù)文件的基本信息讀取數(shù)據(jù)，最后將數(shù)據(jù)文件中包含的數(shù)據(jù)加載進(jìn)集群數(shù)據(jù)庫。
[0004]如果要加載多個(gè)數(shù)據(jù)文件，就要遍歷并獲取所有數(shù)據(jù)文件的基本信息，然后加載所有的數(shù)據(jù)文件。如果要加載的數(shù)據(jù)文件很多，遍歷并獲取所有數(shù)據(jù)文件的基本信息需要耗費(fèi)很長時(shí)間。影響了用戶使用數(shù)據(jù)庫的體驗(yàn)。

【發(fā)明內(nèi)容】

[0005]本發(fā)明實(shí)施例提供了一種快速加載多個(gè)數(shù)據(jù)文件的方法及裝置，解決了集群數(shù)據(jù)庫在加載多個(gè)數(shù)據(jù)文件耗時(shí)過長的問題。
[0006]第一方面，本發(fā)明實(shí)施例提供了一種快速加載多個(gè)數(shù)據(jù)文件的方法，所述方法包括:
[0007]獲取數(shù)據(jù)文件的基本信息；
[0008]根據(jù)獲取的數(shù)據(jù)文件的基本信息加載所述數(shù)據(jù)文件。
[0009]進(jìn)一步的，所述根據(jù)獲取的數(shù)據(jù)文件的基本信息加載所述數(shù)據(jù)文件，包括:
[0010]對已經(jīng)獲取到基本信息的數(shù)據(jù)文件進(jìn)行加載，將數(shù)據(jù)文件的數(shù)據(jù)加載進(jìn)集群數(shù)據(jù)庫，直到加載完所有的數(shù)據(jù)文件。
[0011]進(jìn)一步的，在獲取數(shù)據(jù)文件的基本信息之前，還包括:
[0012]解析控制文件。
[0013]進(jìn)一步的，所述獲取數(shù)據(jù)文件的基本信息，包括:
[0014]獲取并緩存數(shù)據(jù)文件的基本信息。
[0015]第二方面，本發(fā)明實(shí)施例提供了一種快速加載多個(gè)數(shù)據(jù)文件的裝置，所述裝置包括:
[0016]基本信息獲取模塊，用于獲取數(shù)據(jù)文件的基本信息；
[0017]數(shù)據(jù)文件加載模塊，用于根據(jù)獲取的數(shù)據(jù)文件的基本信息加載所述數(shù)據(jù)文件。
[0018]進(jìn)一步的，所述數(shù)據(jù)文件加載模塊，用于:
[0019]對已經(jīng)獲取到基本信息的數(shù)據(jù)文件進(jìn)行加載，將數(shù)據(jù)文件的數(shù)據(jù)加載進(jìn)集群數(shù)據(jù)庫，直到加載完所有的數(shù)據(jù)文件。
[0020]進(jìn)一步的，所述裝置還包括:
[0021]解析模塊，用于解析控制文件。
[0022]更進(jìn)一步的，所述基本信息獲取模塊，用于:
[0023]獲取并緩存數(shù)據(jù)文件的基本信息。
[0024]由于采用上述技術(shù)方案，通過獲取數(shù)據(jù)文件的基本信息；根據(jù)獲取的數(shù)據(jù)文件的基本信息加載所述數(shù)據(jù)文件，不必等待獲取到全部數(shù)據(jù)文件的基本，信息，就開始對已經(jīng)獲取到基本信息的數(shù)據(jù)文件進(jìn)行加載，因此可以提高集群數(shù)據(jù)庫加載工具的性能，有效減少用戶的等待時(shí)間，極大改善用戶的使用體驗(yàn)。
【附圖說明】
[0025]為了更清楚地說明本發(fā)明實(shí)施例的技術(shù)方案，下面將對實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動(dòng)性的前提下，還可以根據(jù)這些附圖獲得其他的附圖。
[0026]圖1是本發(fā)明第一實(shí)施例提供的快速加載多個(gè)數(shù)據(jù)文件的方法的流程示意圖；
[0027]圖2是本發(fā)明第一實(shí)施例提供的快速加載多個(gè)數(shù)據(jù)文件的方法中集群數(shù)據(jù)庫加載工具的不意圖；
[0028]圖3是本發(fā)明第一實(shí)施例提供的快速加載多個(gè)數(shù)據(jù)文件的方法中集群數(shù)據(jù)庫加載工具的不意圖；
[0029]圖4是本發(fā)明第一實(shí)施例提供的快速加載多個(gè)數(shù)據(jù)文件的方法中加載數(shù)據(jù)示意圖；
[0030]圖5是本發(fā)明第一實(shí)施例提供的快速加載多個(gè)數(shù)據(jù)文件的方法中加載和緩存數(shù)據(jù)示意圖；
[0031]圖6是本發(fā)明第一實(shí)施例提供的快速加載多個(gè)數(shù)據(jù)文件的方法中緩存數(shù)據(jù)文件示例圖；
[0032]圖7是本發(fā)明第一實(shí)施例提供的快速加載多個(gè)數(shù)據(jù)文件的方法中緩存數(shù)據(jù)文件示例圖；
[0033]圖8是本發(fā)明第二實(shí)施例提供的快速加載多個(gè)數(shù)據(jù)文件的裝置的結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0034]下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有作出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。
[0035]圖1是本發(fā)明第一實(shí)施例提供的快速加載多個(gè)數(shù)據(jù)文件的方法的流程示意圖，所述方法依靠相應(yīng)的裝置來實(shí)現(xiàn)。所述裝置可由軟件/硬件實(shí)現(xiàn)，并一般集成于集群數(shù)據(jù)庫中。圖2是本發(fā)明第一實(shí)施例提供的快速加載多個(gè)數(shù)據(jù)文件的方法中集群數(shù)據(jù)庫加載工具的示意圖；圖3是本發(fā)明第一實(shí)施例提供的快速加載多個(gè)數(shù)據(jù)文件的方法中集群數(shù)據(jù)庫加載工具的示意圖；圖4是本發(fā)明第一實(shí)施例提供的快速加載多個(gè)數(shù)據(jù)文件的方法中加載數(shù)據(jù)示意圖；圖5是本發(fā)明第一實(shí)施例提供的快速加載多個(gè)數(shù)據(jù)文件的方法中緩存數(shù)據(jù)文件示例圖；
[0036]參見圖1、圖2、圖3、圖4、圖5和圖6，所述快速加載多個(gè)數(shù)據(jù)文件的方法，包括:
[0037]步驟S101，獲取數(shù)據(jù)文件的基本信息。
[0038]用戶可以對集群數(shù)據(jù)庫中的數(shù)據(jù)進(jìn)行增加、刪除和修改。對集群數(shù)據(jù)庫中的數(shù)據(jù)進(jìn)行上述操作時(shí)，都需要使用集群數(shù)據(jù)