一種導(dǎo)入數(shù)據(jù)的方法、裝置和系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開了一種導(dǎo)入數(shù)據(jù)的方法、裝置和系統(tǒng)，屬于計算機【技術(shù)領(lǐng)域】。所述方法包括：獲取源數(shù)據(jù)文件中包括的數(shù)據(jù)源格式的數(shù)據(jù)條目，并加入數(shù)據(jù)條目隊列；逐行讀取所述數(shù)據(jù)條目隊列中的數(shù)據(jù)源格式的各數(shù)據(jù)條目，并分別將讀取的數(shù)據(jù)源格式的各數(shù)據(jù)條目轉(zhuǎn)換為數(shù)據(jù)庫格式的數(shù)據(jù)條目；將轉(zhuǎn)換得到的數(shù)據(jù)庫格式的各數(shù)據(jù)條目分別導(dǎo)入存儲服務(wù)器。采用本發(fā)明，可以在向存儲服務(wù)器導(dǎo)入數(shù)據(jù)的過程中減小對存儲服務(wù)器中數(shù)據(jù)查詢處理的影響。
【專利說明】一種導(dǎo)入數(shù)據(jù)的方法、裝置和系統(tǒng)

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及計算機【技術(shù)領(lǐng)域】，特別涉及一種導(dǎo)入數(shù)據(jù)的方法、裝置和系統(tǒng)。

【背景技術(shù)】
[0002] 隨著計算機技術(shù)和網(wǎng)絡(luò)技術(shù)的飛速發(fā)展，計算機能夠?qū)崿F(xiàn)的功能越來越豐富，已 經(jīng)成為了人們?nèi)粘９ぷ?、學(xué)習(xí)、生活中非常重要的工具之一，而且，計算機所管理的數(shù)據(jù)量 越來越大，尤其是在網(wǎng)絡(luò)側(cè)，網(wǎng)絡(luò)服務(wù)器需要處理和存儲海量的網(wǎng)絡(luò)數(shù)據(jù)，一般在網(wǎng)絡(luò)側(cè)會 設(shè)置有存儲服務(wù)器(或稱存儲引擎)，在其中建立數(shù)據(jù)庫，用于對海量的數(shù)據(jù)進行存儲，還可 以支持數(shù)據(jù)查詢等功能。在存儲服務(wù)器中，主體數(shù)據(jù)一般不是以文件為載體存儲的，數(shù)據(jù)是 以鍵值對（key-value)的形式直接存儲在存儲介質(zhì)中的，例如，某數(shù)據(jù)條目為張三的數(shù)學(xué)成 績?yōu)?0,那么可以將張三作為主鍵（key)，將90作為值（value)。
[0003] 存儲服務(wù)器中所存儲的數(shù)據(jù)可以來自于各種各樣的數(shù)據(jù)源服務(wù)器，數(shù)據(jù)源服務(wù)器 是在執(zhí)行本地處理過程中會產(chǎn)生需要通過存儲服務(wù)器存儲的數(shù)據(jù)的服務(wù)器，例如，執(zhí)行網(wǎng) 絡(luò)業(yè)務(wù)的業(yè)務(wù)服務(wù)器、進行數(shù)據(jù)分析的分析服務(wù)器等，數(shù)據(jù)源服務(wù)器會按照一定的規(guī)則（如 按周期、數(shù)據(jù)量等）將生成的數(shù)據(jù)導(dǎo)入到存儲服務(wù)器中，這里，在存儲服務(wù)器中存儲的數(shù)據(jù) 可以是各種各樣的數(shù)據(jù)，如用戶的操作信息、用戶的資料信息、計算機的處理信息、計算機 的狀態(tài)信息等?，F(xiàn)有技術(shù)中，數(shù)據(jù)源服務(wù)器在運行過程中會生成源數(shù)據(jù)，并將源數(shù)據(jù)以預(yù)訂 格式(如文本格式）文件(可稱作源數(shù)據(jù)文件）的形式進行存儲，源數(shù)據(jù)文件中包含有多個數(shù) 據(jù)條目，例如，張三的數(shù)學(xué)成績?yōu)?0語文成績?yōu)?1即為一個數(shù)據(jù)條目，李四的數(shù)學(xué)成績?yōu)?80語文成績?yōu)?8也為一個數(shù)據(jù)條目。當(dāng)執(zhí)行導(dǎo)入時，先將源數(shù)據(jù)文件轉(zhuǎn)換為鏡像文件，該 鏡像文件中，每個數(shù)據(jù)條目是以鍵值對的形式存儲的，可以認為是存儲服務(wù)器中數(shù)據(jù)的鏡 像，然后將鏡像文件導(dǎo)入到存儲服務(wù)器中。
[0004] 在實現(xiàn)本發(fā)明的過程中，發(fā)明人發(fā)現(xiàn)現(xiàn)有技術(shù)至少存在以下問題：
[0005] 現(xiàn)有技術(shù)中，數(shù)據(jù)源服務(wù)器向存儲服務(wù)器導(dǎo)入數(shù)據(jù)的過程中，將轉(zhuǎn)換得到的鏡像 文件整體導(dǎo)入存儲服務(wù)器，是以文件為單位執(zhí)行導(dǎo)入處理的，由于鏡像文件中的數(shù)據(jù)條目 較多，其導(dǎo)入過程需要長時間占用CPU (Central Processing Unit,中央處理器）資源、10 (Input/Output，輸入輸出）資源等系統(tǒng)資源，這將導(dǎo)致存儲服務(wù)器中的數(shù)據(jù)查詢等處理需 要等待鏡像文件導(dǎo)入完畢后才能夠進行，從而，影響了存儲服務(wù)器中的數(shù)據(jù)查詢處理的正 常進行。


【發(fā)明內(nèi)容】

[0006] 為了解決現(xiàn)有技術(shù)的問題，本發(fā)明實施例提供了一種導(dǎo)入數(shù)據(jù)的方法、裝置和系 統(tǒng)，以在向存儲服務(wù)器導(dǎo)入數(shù)據(jù)的過程中減小對存儲服務(wù)器中數(shù)據(jù)查詢處理的影響。所述 技術(shù)方案如下：
[0007] 第一方面，提供了一種導(dǎo)入數(shù)據(jù)的方法，所述方法包括：
[0008] 獲取源數(shù)據(jù)文件中包括的數(shù)據(jù)源格式的數(shù)據(jù)條目，并加入數(shù)據(jù)條目隊列；
[0009] 逐行讀取所述數(shù)據(jù)條目隊列中的數(shù)據(jù)源格式的各數(shù)據(jù)條目，并分別將讀取的數(shù)據(jù) 源格式的各數(shù)據(jù)條目轉(zhuǎn)換為數(shù)據(jù)庫格式的數(shù)據(jù)條目；
[0010] 將轉(zhuǎn)換得到的數(shù)據(jù)庫格式的各數(shù)據(jù)條目分別導(dǎo)入存儲服務(wù)器。
[0011] 第二方面，提供了一種導(dǎo)入數(shù)據(jù)的方法，所述方法包括：
[0012] 接收并存儲數(shù)據(jù)源服務(wù)器分別導(dǎo)入的數(shù)據(jù)庫格式的各數(shù)據(jù)條目；
[0013] 其中，所述數(shù)據(jù)庫格式的各數(shù)據(jù)條目，由所述數(shù)據(jù)源服務(wù)器獲取源數(shù)據(jù)文件中包 括的數(shù)據(jù)源格式的數(shù)據(jù)條目，加入數(shù)據(jù)條目隊列，并逐行讀取所述數(shù)據(jù)條目隊列中的數(shù)據(jù) 源格式的各數(shù)據(jù)條目，分別將讀取的數(shù)據(jù)源格式的各數(shù)據(jù)條目進行轉(zhuǎn)換得到。
[0014] 第三方面，提供了一種數(shù)據(jù)源服務(wù)器，所述數(shù)據(jù)源服務(wù)器包括：
[0015] 獲取模塊，用于獲取源數(shù)據(jù)文件中包括的數(shù)據(jù)源格式的數(shù)據(jù)條目，并加入數(shù)據(jù)條 目隊列；
[0016] 轉(zhuǎn)換模塊，用于逐行讀取所述數(shù)據(jù)條目隊列中的數(shù)據(jù)源格式的各數(shù)據(jù)條目，并分 別將讀取的數(shù)據(jù)源格式的各數(shù)據(jù)條目轉(zhuǎn)換為數(shù)據(jù)庫格式的數(shù)據(jù)條目；
[0017] 導(dǎo)入模塊，用于將轉(zhuǎn)換得到的數(shù)據(jù)庫格式的各數(shù)據(jù)條目分別導(dǎo)入存儲服務(wù)器。
[0018] 第四方面，提供了一種存儲服務(wù)器，所述存儲服務(wù)器包括：
[0019] 存儲模塊，用于接收并存儲數(shù)據(jù)源服務(wù)器分別導(dǎo)入的數(shù)據(jù)庫格式的各數(shù)據(jù)條目；
[0020] 其中，所述數(shù)據(jù)庫格式的各數(shù)據(jù)條目，由所述數(shù)據(jù)源服務(wù)器獲取源數(shù)據(jù)文件中包 括的數(shù)據(jù)源格式的數(shù)據(jù)條目，加入數(shù)據(jù)條目隊列，并逐行讀取所述數(shù)據(jù)條目隊列中的數(shù)據(jù) 源格式的各數(shù)據(jù)條目，分別將讀取的數(shù)據(jù)源格式的各數(shù)據(jù)條目進行轉(zhuǎn)換得到。
[0021] 第五方面，提供了一種導(dǎo)入數(shù)據(jù)的系統(tǒng)，所述系統(tǒng)包括數(shù)據(jù)源服務(wù)器和存儲服務(wù) 器，其中：
[0022] 所述數(shù)據(jù)源服務(wù)器，用于獲取源數(shù)據(jù)文件中包括的數(shù)據(jù)源格式的數(shù)據(jù)條目，并加 入數(shù)據(jù)條目隊列；逐行讀取所述數(shù)據(jù)條目隊列中的數(shù)據(jù)源格式的各數(shù)據(jù)條目，并分別將讀 取的數(shù)據(jù)源格式的各數(shù)據(jù)條目轉(zhuǎn)換為數(shù)據(jù)庫格式的數(shù)據(jù)條目；將轉(zhuǎn)換得到的數(shù)據(jù)庫格式的 各數(shù)據(jù)條目分別導(dǎo)入所述存儲服務(wù)器。
[0023] 所述存儲服務(wù)器，用于接收并存儲所述數(shù)據(jù)源服務(wù)器分別導(dǎo)入的數(shù)據(jù)庫格式的各 數(shù)據(jù)條目。
[0024] 本發(fā)明實施例提供的技術(shù)方案帶來的有益效果是：
[0025] 本發(fā)明實施例中，獲取源數(shù)據(jù)文件中包括的數(shù)據(jù)源格式的數(shù)據(jù)條目，并加入數(shù)據(jù) 條目隊列，逐行讀取數(shù)據(jù)條目隊列中的數(shù)據(jù)源格式的各數(shù)據(jù)條目，并分別將讀取的數(shù)據(jù)源 格式的各數(shù)據(jù)條目轉(zhuǎn)換為數(shù)據(jù)庫格式的數(shù)據(jù)條目，將轉(zhuǎn)換得到的數(shù)據(jù)庫格式的各數(shù)據(jù)條目 分別導(dǎo)入存儲服務(wù)器。這樣，源數(shù)據(jù)文件中的各數(shù)據(jù)條目是分別進行導(dǎo)入的，在任意兩個數(shù) 據(jù)條目的導(dǎo)入處理之間都可以插入數(shù)據(jù)查詢處理，從而，可以在向存儲服務(wù)器導(dǎo)入數(shù)據(jù)的 過程中減小對存儲服務(wù)器中數(shù)據(jù)查詢處理的影響。

【專利附圖】

【附圖說明】
[0026] 為了更清楚地說明本發(fā)明實施例中的技術(shù)方案，下面將對實施例描述中所需要使 用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實施例，對于 本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他 的附圖。
[0027] 圖1是本發(fā)明實施例提供的導(dǎo)入數(shù)據(jù)的方法流程圖；
[0028] 圖2是本發(fā)明實施例提供的導(dǎo)入數(shù)據(jù)的方法流程圖；
[0029] 圖3是本發(fā)明實施例提供的數(shù)據(jù)導(dǎo)入過程中的數(shù)據(jù)傳輸示意圖；
[0030] 圖4是本發(fā)明實施例提供的數(shù)據(jù)源服務(wù)器的結(jié)構(gòu)示意圖；
[0031] 圖5是本發(fā)明實施例提供的存儲服務(wù)器的結(jié)構(gòu)示意圖；
[0032] 圖6是本發(fā)明實施例提供的導(dǎo)入數(shù)據(jù)的系統(tǒng)的結(jié)構(gòu)示意圖；
[0033] 圖7是本發(fā)明實施例提供的數(shù)據(jù)源服務(wù)的結(jié)構(gòu)示意圖。

【具體實施方式】
[0034] 為使本發(fā)明的目的、技術(shù)方案和優(yōu)點更加清楚，下面將結(jié)合附圖對本發(fā)明實施方 式作進一步地詳細描述。
[0035] 實施例一
[0036] 本發(fā)明實施例提供了 一種導(dǎo)入數(shù)據(jù)的方法，該方法可以由數(shù)據(jù)源服務(wù)器和存儲服 務(wù)器共同實現(xiàn)。
[0037] 如圖1所示，為該方法中數(shù)據(jù)源服務(wù)器的處理流程，可以包括如下的步驟：
[0038] 步驟101，獲取源數(shù)據(jù)文件中包括的數(shù)據(jù)源格式的數(shù)據(jù)條目，并加入數(shù)據(jù)條目隊 列。
[0039] 步驟102,逐行讀取數(shù)據(jù)條目隊列中的數(shù)據(jù)源格式的各數(shù)據(jù)條目，并分別將讀取的 數(shù)據(jù)源格式的各數(shù)據(jù)條目轉(zhuǎn)換為數(shù)據(jù)庫格式的數(shù)據(jù)條目。
[0040] 步驟103,將轉(zhuǎn)換得到的數(shù)據(jù)庫格式的各數(shù)據(jù)條目分別導(dǎo)入存儲服務(wù)器。
[0041] 該方法中存儲服務(wù)器的處理，可以如下：
[0042] 接收并存儲數(shù)據(jù)源服務(wù)器分別導(dǎo)入的數(shù)據(jù)庫格式的各數(shù)據(jù)條目。其中，數(shù)據(jù)庫格 式的各數(shù)據(jù)條目，由數(shù)據(jù)源服務(wù)器獲取源數(shù)據(jù)文件中包括的數(shù)據(jù)源格式的數(shù)據(jù)條目，加入 數(shù)據(jù)條目隊列，并逐行讀取所述數(shù)據(jù)條目隊列中的數(shù)據(jù)源格式的各數(shù)據(jù)條目，分別將讀取 的數(shù)據(jù)源格式的各數(shù)據(jù)條目進行轉(zhuǎn)換得到。
[0043] 本發(fā)明實施例中，獲取源數(shù)據(jù)文件中包括的數(shù)據(jù)源格式的數(shù)據(jù)條目，并加入數(shù)據(jù) 條目隊列，逐行讀取數(shù)據(jù)條目隊列中的數(shù)據(jù)源格式的各數(shù)據(jù)條目，并分別將讀取的數(shù)據(jù)源 格式的各數(shù)據(jù)條目轉(zhuǎn)換為數(shù)據(jù)庫格式的數(shù)據(jù)條目，將轉(zhuǎn)換得到的數(shù)據(jù)庫格式的各數(shù)據(jù)條目 分別導(dǎo)入存儲服務(wù)器。這樣，源數(shù)據(jù)文件中的各數(shù)據(jù)條目是分別進行導(dǎo)入的，在任意兩個數(shù) 據(jù)條目的導(dǎo)入處理之間都可以插入數(shù)據(jù)查詢處理，從而，可以在向存儲服務(wù)器導(dǎo)入數(shù)據(jù)的 過程中減小對存儲服務(wù)器中數(shù)據(jù)查詢處理的影響。
[0044] 實施例二
[0045] 本發(fā)明實施例提供了 一種導(dǎo)入數(shù)據(jù)的方法，該方法可以由數(shù)據(jù)源服務(wù)器和存儲服 務(wù)器共同實現(xiàn)。存儲服務(wù)器是用于進行數(shù)據(jù)集中存儲的服務(wù)器，在存儲服務(wù)器中建立有數(shù) 據(jù)庫進行數(shù)據(jù)存儲，存儲服務(wù)器中一般采用內(nèi)存芯片對數(shù)據(jù)進行存儲，存儲服務(wù)器中數(shù)據(jù) 一般不是通過文件來存儲的，存儲服務(wù)器中數(shù)據(jù)的格式可稱作數(shù)據(jù)庫格式，常用的數(shù)據(jù)庫 格式可以是鍵值對格式。數(shù)據(jù)源服務(wù)器，可以是能夠產(chǎn)生數(shù)據(jù)，且產(chǎn)生的數(shù)據(jù)需要在存儲服 務(wù)器中存儲的服務(wù)器，例如，執(zhí)行網(wǎng)絡(luò)業(yè)務(wù)的業(yè)務(wù)服務(wù)器、進行數(shù)據(jù)分析的分析服務(wù)器等， 都可以成為數(shù)據(jù)源服務(wù)器。數(shù)據(jù)源服務(wù)器中數(shù)據(jù)的格式可稱作數(shù)據(jù)源格式，常用的數(shù)據(jù)源 格式可以為文本格式等，在數(shù)據(jù)源服務(wù)器中數(shù)據(jù)一般是通過文件來存儲的，可稱作源數(shù)據(jù) 文件。
[0046] 如圖2所示，為本發(fā)明實施例提供的導(dǎo)入數(shù)據(jù)的方法的處理流程，可以包括如下 的步驟：
[0047] 步驟201，數(shù)據(jù)源服務(wù)器獲取源數(shù)據(jù)文件中包括的數(shù)據(jù)源格式的數(shù)據(jù)條目，并加入 數(shù)據(jù)條目隊列。
[0048] 其中，源數(shù)據(jù)文件是數(shù)據(jù)源服務(wù)器中用于存儲待導(dǎo)入存儲服務(wù)器的數(shù)據(jù)的文件。 數(shù)據(jù)條目是源數(shù)據(jù)文件中數(shù)據(jù)存儲的單位，源數(shù)據(jù)一般為表格形式或可以等同于表格的形 式，數(shù)據(jù)條目可以是表格中的一行數(shù)據(jù)，例如，某源數(shù)據(jù)文件中記錄了學(xué)生的姓名和對應(yīng)的 數(shù)學(xué)成績，姓名"張三"和數(shù)學(xué)成績"90"即組成一個數(shù)據(jù)條目，姓名"李四"和數(shù)學(xué)成績"80" 又組成另一個數(shù)據(jù)條目。數(shù)據(jù)條目隊列是用于對獲取的數(shù)據(jù)條目進行緩存的緩存隊列。在 通過文本格式的源數(shù)據(jù)來反映表格時，可以采用分隔符和換行符，例如，第一個數(shù)據(jù)條目為 "張三"、"90"，第二個數(shù)據(jù)條目為"李四"、"80"，那么，文本格式的源數(shù)據(jù)中可以在"張三"和 "90"之間設(shè)置分隔符，在"李四"和"80"之間設(shè)置分隔符，并在"90"和"李四"之間設(shè)置換 行符，分隔符和換行符可根據(jù)需求任意設(shè)置。
[0049] 在實施中，數(shù)據(jù)源服務(wù)器在處理正常業(yè)務(wù)的過程中會不斷生成源數(shù)據(jù)（一般一次 生成一個數(shù)據(jù)條目），例如，某賬戶注冊服務(wù)器，在處理終端發(fā)送的注冊請求的過程中，會記 錄注冊成功的賬戶的基本信息(如賬戶名、密碼、電子郵箱等)，此記錄的賬戶的基本信息即 為源數(shù)據(jù)，一個賬戶的基本信息即為一個數(shù)據(jù)條目。數(shù)據(jù)源服務(wù)器可以建立源數(shù)據(jù)文件，用 于存儲生成的源數(shù)據(jù)，可以預(yù)先設(shè)置源數(shù)據(jù)文件的數(shù)據(jù)條目上限，數(shù)據(jù)源服務(wù)器可以不斷 的將新生成的源數(shù)據(jù)添加到源數(shù)據(jù)文件中，當(dāng)源數(shù)據(jù)文件中數(shù)據(jù)條目的數(shù)量達到數(shù)據(jù)條目 上限時，可以再建立一個新的源數(shù)據(jù)文件，依此類推。數(shù)據(jù)源服務(wù)器可以在源數(shù)據(jù)文件達到 預(yù)定數(shù)量時，或在達到預(yù)定時間周期時，對上一次導(dǎo)入流程完成之后新生成的源數(shù)據(jù)文件 (可以是一個或多個）進行讀取，讀取其中的所有數(shù)據(jù)條目，并分配緩存空間，建立數(shù)據(jù)條目 隊列，將讀取的數(shù)據(jù)條目緩存在數(shù)據(jù)條目隊列中，不同源數(shù)據(jù)文件中讀取的數(shù)據(jù)條目可以 緩存在同一數(shù)據(jù)條目隊列中。在讀取過程中，數(shù)據(jù)源服務(wù)器可以通過多個線程對不同的源 數(shù)據(jù)文件進行讀取，每讀取完成一個源數(shù)據(jù)文件，可以在完成文件(如Ok文件）中記錄該源 數(shù)據(jù)文件已讀取完成，這樣其它線程不會重復(fù)讀取該源數(shù)據(jù)文件。
[0050] 步驟202,數(shù)據(jù)源服務(wù)器逐行讀取數(shù)據(jù)條目隊列中的數(shù)據(jù)源格式的各數(shù)據(jù)條目，并 分別將讀取的數(shù)據(jù)源格式的各數(shù)據(jù)條目轉(zhuǎn)換為數(shù)據(jù)庫格式的數(shù)據(jù)條目。
[0051] 其中，數(shù)據(jù)庫格式是存儲服務(wù)器中存儲數(shù)據(jù)的格式，可以為鍵值對格式，在鍵值對 格式的數(shù)據(jù)中，主鍵又可以有多種格式(如字符串格式、二進制格式等)，值也可以有多種格 式(如字符串格式、二進制格式等)，也即，可以有多種不同的鍵值對格式。在數(shù)據(jù)條目隊列 中，每一行即一個數(shù)據(jù)條目。
[0052] 在實施中，可以設(shè)置獨立的程序模塊，用于進行數(shù)據(jù)格式的轉(zhuǎn)換，可以對于不同的 數(shù)據(jù)源格式和數(shù)據(jù)庫格式分別設(shè)置不同的程序模塊(例如，對于數(shù)據(jù)源格式1轉(zhuǎn)換為數(shù)據(jù) 庫格式1，設(shè)置程序模塊1，對于數(shù)據(jù)源格式1轉(zhuǎn)換為數(shù)據(jù)庫格式2,設(shè)置程序模塊2,對于數(shù) 據(jù)源格式2轉(zhuǎn)換為數(shù)據(jù)庫格式1，設(shè)置程序模塊3,等等)，這些不同的程序模塊可以采用通 用的接口以供調(diào)用，這樣數(shù)據(jù)源服務(wù)器可以根據(jù)當(dāng)前的源數(shù)據(jù)文件的數(shù)據(jù)源格式和數(shù)據(jù)庫 格式，選取并調(diào)用對應(yīng)的程序模塊，以進行數(shù)據(jù)格式的轉(zhuǎn)換。在格式轉(zhuǎn)換過程中，數(shù)據(jù)源服 務(wù)器可以通過多個線程分別讀取數(shù)據(jù)條目隊列中的不同數(shù)據(jù)條目，進行格式轉(zhuǎn)換。
[0053] 步驟203,數(shù)據(jù)源服務(wù)器將轉(zhuǎn)換得到的數(shù)據(jù)庫格式的各數(shù)據(jù)條目分別導(dǎo)入存儲服 務(wù)器。
[0054] 具體的，可以在各數(shù)據(jù)條目進行格式轉(zhuǎn)換完畢后再開始進行該步驟的導(dǎo)入處理， 或者優(yōu)選的，可以分別在每個數(shù)據(jù)源格式的數(shù)據(jù)條目轉(zhuǎn)換為數(shù)據(jù)庫格式的數(shù)據(jù)條目時，將 轉(zhuǎn)換得到的數(shù)據(jù)庫格式的數(shù)據(jù)條目導(dǎo)入存儲服務(wù)器。也即，每當(dāng)一個數(shù)據(jù)條目完成格式轉(zhuǎn) 換時，則對此完成格式轉(zhuǎn)換的數(shù)據(jù)條目進行導(dǎo)入處理。
[0055] 在實施中，對于多個數(shù)據(jù)條目的導(dǎo)入過程，可以采用異步傳輸?shù)姆绞?，相?yīng)的，步 驟203的處理過程可以是：通過異步傳輸方式，將轉(zhuǎn)換得到的數(shù)據(jù)庫格式的各數(shù)據(jù)條目分 別導(dǎo)入存儲服務(wù)器。如圖3所示，處理過程中，對于每個完成格式轉(zhuǎn)換啟動導(dǎo)入處理的數(shù)據(jù) 條目，可以定義一個用于異步傳輸?shù)臅?可以通過一個鏈表來記錄在導(dǎo)入過程中的數(shù)據(jù) 條目對應(yīng)的會話，例如，可以采用環(huán)形雙向鏈表進行會話的記錄)，然后，向存儲服務(wù)器傳輸 該數(shù)據(jù)條目，存儲服務(wù)器對接收到的數(shù)據(jù)條目進行存儲，并根據(jù)處理情況反饋導(dǎo)入結(jié)果，如 果接收并存儲成功，則反饋導(dǎo)入成功，否則，反饋導(dǎo)入失敗。數(shù)據(jù)源服務(wù)器如果接收到存儲 服務(wù)器反饋的導(dǎo)入結(jié)果，則對該導(dǎo)入結(jié)果對應(yīng)的數(shù)據(jù)條目對應(yīng)的會話進行刪除，或者，如果 在發(fā)送數(shù)據(jù)條目后預(yù)設(shè)時長內(nèi)沒有接收到存儲服務(wù)器的反饋，則對該數(shù)據(jù)條目對應(yīng)的會話 進行刪除。
[0056] 本發(fā)明實施例中，還可以對導(dǎo)入失敗的數(shù)據(jù)條目進行重導(dǎo)入，相應(yīng)的處理可以如 下：記錄導(dǎo)入失敗的數(shù)據(jù)條目；分別將導(dǎo)入失敗的數(shù)據(jù)條目重新導(dǎo)入存儲服務(wù)器。
[0057] 在實施中，數(shù)據(jù)源服務(wù)器可以創(chuàng)建失敗文件，當(dāng)接收到存儲服務(wù)器反饋的對應(yīng)某 數(shù)據(jù)條目的導(dǎo)入失敗的結(jié)果消息時，或在發(fā)送某數(shù)據(jù)條目后預(yù)設(shè)時長內(nèi)沒有接收到存儲服 務(wù)器的反饋時，可以判定該數(shù)據(jù)條目導(dǎo)入失敗，這時，可以在上述失敗文件中添加該數(shù)據(jù)條 目對應(yīng)的源數(shù)據(jù)(可以從源數(shù)據(jù)文件中獲取)，即添加數(shù)據(jù)源格式的該數(shù)據(jù)條目。當(dāng)所有數(shù) 據(jù)條目都已經(jīng)導(dǎo)入成功或?qū)胧『螅梢詫⒌玫降氖∥募鳛樵磾?shù)據(jù)文件，按本發(fā)明 實施例的流程重新執(zhí)行導(dǎo)入數(shù)據(jù)的過程。
[0058] 步驟204,存儲服務(wù)器接收并存儲數(shù)據(jù)源服務(wù)器分別導(dǎo)入的數(shù)據(jù)庫格式的各數(shù)據(jù) 條目。
[0059] 具體的處理過程與數(shù)據(jù)源服務(wù)器的處理過程相對應(yīng)，可以參照步驟203中的說 明。對于異步傳輸?shù)那闆r，存儲服務(wù)器的處理可以是：接收并存儲數(shù)據(jù)源服務(wù)器通過異步傳 輸方式分別導(dǎo)入的數(shù)據(jù)庫格式的各數(shù)據(jù)條目。
[0060] 在上述導(dǎo)入數(shù)據(jù)的流程執(zhí)行完畢之后，還可以對導(dǎo)入存儲服務(wù)器的數(shù)據(jù)進行校 驗，相應(yīng)的處理過程可以是：根據(jù)源數(shù)據(jù)文件，對已導(dǎo)入存儲服務(wù)器中的數(shù)據(jù)庫格式的數(shù)據(jù) 條目進行校驗，并對校驗出的導(dǎo)入錯誤的數(shù)據(jù)條目進行記錄。
[0061] 在實施中，數(shù)據(jù)源服務(wù)器可以在源數(shù)據(jù)文件中獲取部分或全部數(shù)據(jù)條目，將獲取 的數(shù)據(jù)源格式的數(shù)據(jù)條目轉(zhuǎn)換為數(shù)據(jù)庫格式的數(shù)據(jù)條目，在數(shù)據(jù)格式轉(zhuǎn)換時可以調(diào)用上述 用于數(shù)據(jù)格式轉(zhuǎn)換的程序模塊，可以通過多線程對獲取的各數(shù)據(jù)條目進行格式轉(zhuǎn)換。然后， 提取轉(zhuǎn)換得到的每個鍵值對格式的數(shù)據(jù)條目中的主鍵和對應(yīng)的值，在存儲服務(wù)器中查詢該 主鍵對應(yīng)的值，將查詢得到的值與提取的值進行比較，如果相同則該數(shù)據(jù)條目校驗結(jié)果正 確，如果不同則判定該數(shù)據(jù)條目導(dǎo)入錯誤，可以建立校驗文件，在其中對上述提取的主鍵、 值以及查詢到的值進行對應(yīng)的記錄。在校驗過程結(jié)束后，技術(shù)人員可以通過得到的校驗文 件進行錯誤分析，確定錯誤原因。
[0062] 本發(fā)明實施例中，獲取源數(shù)據(jù)文件中包括的數(shù)據(jù)源格式的數(shù)據(jù)條目，并加入數(shù)據(jù) 條目隊列，逐行讀取數(shù)據(jù)條目隊列中的數(shù)據(jù)源格式的各數(shù)據(jù)條目，并分別將讀取的數(shù)據(jù)源 格式的各數(shù)據(jù)條目轉(zhuǎn)換為數(shù)據(jù)庫格式的數(shù)據(jù)條目，將轉(zhuǎn)換得到的數(shù)據(jù)庫格式的各數(shù)據(jù)條目 分別導(dǎo)入存儲服務(wù)器。這樣，源數(shù)據(jù)文件中的各數(shù)據(jù)條目是分別進行導(dǎo)入的，在任意兩個數(shù) 據(jù)條目的導(dǎo)入處理之間都可以插入數(shù)據(jù)查詢處理，從而，可以在向存儲服務(wù)器導(dǎo)入數(shù)據(jù)的 過程中減小對存儲服務(wù)器中數(shù)據(jù)查詢處理的影響。
[0063] 實施例三
[0064] 基于相同的技術(shù)構(gòu)思，本發(fā)明實施例還提供了一種數(shù)據(jù)源服務(wù)器，如圖4所示，所 述數(shù)據(jù)源服務(wù)器包括：
[0065] 獲取模塊410,用于獲取源數(shù)據(jù)文件中包括的數(shù)據(jù)源格式的數(shù)據(jù)條目，并加入數(shù)據(jù) 條目隊列；
[0066] 轉(zhuǎn)換模塊420,用于逐行讀取所述數(shù)據(jù)條目隊列中的數(shù)據(jù)源格式的各數(shù)據(jù)條目，并 分別將讀取的數(shù)據(jù)源格式的各數(shù)據(jù)條目轉(zhuǎn)換為數(shù)據(jù)庫格式的數(shù)據(jù)條目；
[0067] 導(dǎo)入模塊430，用于將轉(zhuǎn)換得到的數(shù)據(jù)庫格式的各數(shù)據(jù)條目分別導(dǎo)入存儲服務(wù)器。
[0068] 優(yōu)選的，所述導(dǎo)入模塊430,用于：
[0069] 分別在每個數(shù)據(jù)源格式的數(shù)據(jù)條目轉(zhuǎn)換為數(shù)據(jù)庫格式的數(shù)據(jù)條目時，將轉(zhuǎn)換得到 的數(shù)據(jù)庫格式的數(shù)據(jù)條目導(dǎo)入存儲服務(wù)器。
[0070] 優(yōu)選的，所述導(dǎo)入模塊430,用于：
[0071] 通過異步傳輸方式，將轉(zhuǎn)換得到的數(shù)據(jù)庫格式的各數(shù)據(jù)條目分別導(dǎo)入存儲服務(wù) 器。
[0072] 優(yōu)選的，還包括糾錯模塊，用于：
[0073] 記錄導(dǎo)入失敗的數(shù)據(jù)條目；
[0074] 分別將所述導(dǎo)入失敗的數(shù)據(jù)條目重新導(dǎo)入所述存儲服務(wù)器。
[0075] 優(yōu)選的，還包括校驗?zāi)K，用于：
[0076] 在所述將轉(zhuǎn)換得到的數(shù)據(jù)庫格式的各數(shù)據(jù)條目分別導(dǎo)入存儲服務(wù)器之后，根據(jù)所 述源數(shù)據(jù)文件，對已導(dǎo)入所述存儲服務(wù)器中的數(shù)據(jù)庫格式的數(shù)據(jù)條目進行校驗，并對校驗 出的導(dǎo)入錯誤的數(shù)據(jù)條目進行記錄。
[0077] 基于相同的技術(shù)構(gòu)思，本發(fā)明實施例還提供了一種存儲服務(wù)器，如圖5所示，所述 存儲服務(wù)器包括：
[0078] 存儲模塊510,用于接收并存儲數(shù)據(jù)源服務(wù)器分別導(dǎo)入的數(shù)據(jù)庫格式的各數(shù)據(jù)條 目；
[0079] 其中，所述數(shù)據(jù)庫格式的各數(shù)據(jù)條目，由所述數(shù)據(jù)源服務(wù)器獲取源數(shù)據(jù)文件中包 括的數(shù)據(jù)源格式的數(shù)據(jù)條目，加入數(shù)據(jù)條目隊列，并逐行讀取所述數(shù)據(jù)條目隊列中的數(shù)據(jù) 源格式的各數(shù)據(jù)條目，分別將讀取的數(shù)據(jù)源格式的各數(shù)據(jù)條目進行轉(zhuǎn)換得到。
[0080] 優(yōu)選的，所述存儲模塊510,用于：
[0081] 接收并存儲數(shù)據(jù)源服務(wù)器通過異步傳輸方式分別導(dǎo)入的數(shù)據(jù)庫格式的各數(shù)據(jù)條 目。
[0082] 本發(fā)明實施例中，獲取源數(shù)據(jù)文件中包括的數(shù)據(jù)源格式的數(shù)據(jù)條目，并加入數(shù)據(jù) 條目隊列，逐行讀取數(shù)據(jù)條目隊列中的數(shù)據(jù)源格式的各數(shù)據(jù)條目，并分別將讀取的數(shù)據(jù)源 格式的各數(shù)據(jù)條目轉(zhuǎn)換為數(shù)據(jù)庫格式的數(shù)據(jù)條目，將轉(zhuǎn)換得到的數(shù)據(jù)庫格式的各數(shù)據(jù)條目 分別導(dǎo)入存儲服務(wù)器。這樣，源數(shù)據(jù)文件中的各數(shù)據(jù)條目是分別進行導(dǎo)入的，在任意兩個數(shù) 據(jù)條目的導(dǎo)入處理之間都可以插入數(shù)據(jù)查詢處理，從而，可以在向存儲服務(wù)器導(dǎo)入數(shù)據(jù)的 過程中減小對存儲服務(wù)器中數(shù)據(jù)查詢處理的影響。
[0083] 實施例四
[0084] 基于相同的技術(shù)構(gòu)思，本發(fā)明實施例還提供了一種導(dǎo)入數(shù)據(jù)的系統(tǒng)，如圖6所示， 所述系統(tǒng)包括數(shù)據(jù)源服務(wù)器610和存儲服務(wù)器620,其中：
[0085] 所述數(shù)據(jù)源服務(wù)器610,用于獲取源數(shù)據(jù)文件中包括的數(shù)據(jù)源格式的數(shù)據(jù)條目，并 加入數(shù)據(jù)條目隊列；逐行讀取所述數(shù)據(jù)條目隊列中的數(shù)據(jù)源格式的各數(shù)據(jù)條目，并分別將 讀取的數(shù)據(jù)源格式的各數(shù)據(jù)條目轉(zhuǎn)換為數(shù)據(jù)庫格式的數(shù)據(jù)條目；將轉(zhuǎn)換得到的數(shù)據(jù)庫格式 的各數(shù)據(jù)條目分別導(dǎo)入所述存儲服務(wù)器620 ;
[0086] 所述存儲服務(wù)器620,用于接收并存儲所述數(shù)據(jù)源服務(wù)器610分別導(dǎo)入的數(shù)據(jù)庫 格式的各數(shù)據(jù)條目。
[0087] 本發(fā)明實施例中，獲取源數(shù)據(jù)文件中包括的數(shù)據(jù)源格式的數(shù)據(jù)條目，并加入數(shù)據(jù) 條目隊列，逐行讀取數(shù)據(jù)條目隊列中的數(shù)據(jù)源格式的各數(shù)據(jù)條目，并分別將讀取的數(shù)據(jù)源 格式的各數(shù)據(jù)條目轉(zhuǎn)換為數(shù)據(jù)庫格式的數(shù)據(jù)條目，將轉(zhuǎn)換得到的數(shù)據(jù)庫格式的各數(shù)據(jù)條目 分別導(dǎo)入存儲服務(wù)器。這樣，源數(shù)據(jù)文件中的各數(shù)據(jù)條目是分別進行導(dǎo)入的，在任意兩個數(shù) 據(jù)條目的導(dǎo)入處理之間都可以插入數(shù)據(jù)查詢處理，從而，可以在向存儲服務(wù)器導(dǎo)入數(shù)據(jù)的 過程中減小對存儲服務(wù)器中數(shù)據(jù)查詢處理的影響。
[0088] 實施例五
[0089] 圖7是本發(fā)明實施例提供的數(shù)據(jù)源服務(wù)器的結(jié)構(gòu)示意圖。該數(shù)據(jù)源服務(wù)器1900 可因配置或性能不同而產(chǎn)生比較大的差異，可以包括一個或一個以上中央處理器（central processing units，CPU)1922 (例如，一個或一個以上處理器)和存儲器1932, 一個或一個以 上存儲應(yīng)用程序1942或數(shù)據(jù)1944的存儲介質(zhì)1930 (例如一個或一個以上海量存儲設(shè)備)。 其中，存儲器1932和存儲介質(zhì)1930可以是短暫存儲或持久存儲。存儲在存儲介質(zhì)1930的 程序可以包括一個或一個以上模塊（圖示沒標出），每個模塊可以包括對服務(wù)器中的一系列 指令操作。更進一步地，中央處理器1922可以設(shè)置為與存儲介質(zhì)1930通信，在數(shù)據(jù)源服務(wù) 器1900上執(zhí)行存儲介質(zhì)1930中的一系列指令操作。
[0090] 數(shù)據(jù)源服務(wù)器1900還可以包括一個或一個以上電源1926, 一個或一個以上有線 或無線網(wǎng)絡(luò)接口 1950, 一個或一個以上輸入輸出接口 1958, 一個或一個以上鍵盤1956,和/ 或，一個或一個以上操作系統(tǒng) 1941，例如Windows ServerTM，Mac OS XTM，UnixTM，LinuxTM， FreeBSDTM 等等。
[0091] 數(shù)據(jù)源服務(wù)器1900可以包括有存儲器，以及一個或者一個以上的程序，其中一個 或者一個以上程序存儲于存儲器中，且經(jīng)配置以由一個或者一個以上處理器執(zhí)行所述一個 或者一個以上程序包含用于進行以下操作的指令：
[0092] 獲取源數(shù)據(jù)文件中包括的數(shù)據(jù)源格式的數(shù)據(jù)條目，并加入數(shù)據(jù)條目隊列；
[0093] 逐行讀取所述數(shù)據(jù)條目隊列中的數(shù)據(jù)源格式的各數(shù)據(jù)條目，并分別將讀取的數(shù)據(jù) 源格式的各數(shù)據(jù)條目轉(zhuǎn)換為數(shù)據(jù)庫格式的數(shù)據(jù)條目；
[0094] 將轉(zhuǎn)換得到的數(shù)據(jù)庫格式的各數(shù)據(jù)條目分別導(dǎo)入存儲服務(wù)器。
[0095] 優(yōu)選的，所述將轉(zhuǎn)換得到的數(shù)據(jù)庫格式的各數(shù)據(jù)條目分別導(dǎo)入存儲服務(wù)器，包 括：
[0096] 分別在每個數(shù)據(jù)源格式的數(shù)據(jù)條目轉(zhuǎn)換為數(shù)據(jù)庫格式的數(shù)據(jù)條目時，將轉(zhuǎn)換得到 的數(shù)據(jù)庫格式的數(shù)據(jù)條目導(dǎo)入存儲服務(wù)器。
[0097] 優(yōu)選的，所述將轉(zhuǎn)換得到的數(shù)據(jù)庫格式的各數(shù)據(jù)條目分別導(dǎo)入存儲服務(wù)器，包 括：
[0098] 通過異步傳輸方式，將轉(zhuǎn)換得到的數(shù)據(jù)庫格式的各數(shù)據(jù)條目分別導(dǎo)入存儲服務(wù) 器。
[0099] 優(yōu)選的，所述方法還包括：
[0100] 記錄導(dǎo)入失敗的數(shù)據(jù)條目；
[0101] 分別將所述導(dǎo)入失敗的數(shù)據(jù)條目重新導(dǎo)入所述存儲服務(wù)器。
[0102] 優(yōu)選的，所述將轉(zhuǎn)換得到的數(shù)據(jù)庫格式的各數(shù)據(jù)條目分別導(dǎo)入存儲服務(wù)器之后， 還包括：
[0103] 根據(jù)所述源數(shù)據(jù)文件，對已導(dǎo)入所述存儲服務(wù)器中的數(shù)據(jù)庫格式的數(shù)據(jù)條目進行 校驗，并對校驗出的導(dǎo)入錯誤的數(shù)據(jù)條目進行記錄。
[0104] 本發(fā)明實施例中，獲取源數(shù)據(jù)文件中包括的數(shù)據(jù)源格式的數(shù)據(jù)條目，并加入數(shù)據(jù) 條目隊列，逐行讀取數(shù)據(jù)條目隊列中的數(shù)據(jù)源格式的各數(shù)據(jù)條目，并分別將讀取的數(shù)據(jù)源 格式的各數(shù)據(jù)條目轉(zhuǎn)換為數(shù)據(jù)庫格式的數(shù)據(jù)條目，將轉(zhuǎn)換得到的數(shù)據(jù)庫格式的各數(shù)據(jù)條目 分別導(dǎo)入存儲服務(wù)器。這樣，源數(shù)據(jù)文件中的各數(shù)據(jù)條目是分別進行導(dǎo)入的，在任意兩個數(shù) 據(jù)條目的導(dǎo)入處理之間都可以插入數(shù)據(jù)查詢處理，從而，可以在向存儲服務(wù)器導(dǎo)入數(shù)據(jù)的 過程中減小對存儲服務(wù)器中數(shù)據(jù)查詢處理的影響。
[0105] 實施例六
[0106] 本發(fā)明實施例提供的存儲服務(wù)器可因配置或性能不同而產(chǎn)生比較大的差異，可以 包括一個或一個以上中央處理器（central processing units, CPU)(例如，一個或一個以 上處理器）和存儲器，一個或一個以上存儲應(yīng)用程序或數(shù)據(jù)的存儲介質(zhì)(例如一個或一個以 上海量存儲設(shè)備)。其中，存儲器和存儲介質(zhì)可以是短暫存儲或持久存儲。存儲在存儲介質(zhì) 的程序可以包括一個或一個以上模塊（圖示沒標出），每個模塊可以包括對存儲服務(wù)器中的 一系列指令操作。更進一步地，中央處理器可以設(shè)置為與存儲介質(zhì)通信，在存儲服務(wù)器上執(zhí) 行存儲介質(zhì)中的一系列指令操作。
[0107] 存儲服務(wù)器還可以包括一個或一個以上電源，一個或一個以上有線或無線網(wǎng)絡(luò)接 口，一個或一個以上輸入輸出接口，一個或一個以上鍵盤，和/或，一個或一個以上操作系 統(tǒng)，例如 Windows ServerTM，Mac OS XTM，UnixTM, LinuxTM，F(xiàn)reeBSDTM 等等。
[0108] 存儲服務(wù)器可以包括有存儲器，以及一個或者一個以上的程序，其中一個或者一 個以上程序存儲于存儲器中，且經(jīng)配置以由一個或者一個以上處理器執(zhí)行所述一個或者一 個以上程序包含用于進行以下操作的指令：
[0109] 接收并存儲數(shù)據(jù)源服務(wù)器分別導(dǎo)入的數(shù)據(jù)庫格式的各數(shù)據(jù)條目；
[0110] 其中，所述數(shù)據(jù)庫格式的各數(shù)據(jù)條目，由所述數(shù)據(jù)源服務(wù)器獲取源數(shù)據(jù)文件中包 括的數(shù)據(jù)源格式的數(shù)據(jù)條目，加入數(shù)據(jù)條目隊列，并逐行讀取所述數(shù)據(jù)條目隊列中的數(shù)據(jù) 源格式的各數(shù)據(jù)條目，分別將讀取的數(shù)據(jù)源格式的各數(shù)據(jù)條目進行轉(zhuǎn)換得到。
[0111] 優(yōu)選的，所述接收并存儲數(shù)據(jù)源服務(wù)器分別導(dǎo)入的數(shù)據(jù)庫格式的各數(shù)據(jù)條目，包 括：
[0112] 接收并存儲數(shù)據(jù)源服務(wù)器通過異步傳輸方式分別導(dǎo)入的數(shù)據(jù)庫格式的各數(shù)據(jù)條 目。
[0113] 本發(fā)明實施例中，獲取源數(shù)據(jù)文件中包括的數(shù)據(jù)源格式的數(shù)據(jù)條目，并加入數(shù)據(jù) 條目隊列，逐行讀取數(shù)據(jù)條目隊列中的數(shù)據(jù)源格式的各數(shù)據(jù)條目，并分別將讀取的數(shù)據(jù)源 格式的各數(shù)據(jù)條目轉(zhuǎn)換為數(shù)據(jù)庫格式的數(shù)據(jù)條目，將轉(zhuǎn)換得到的數(shù)據(jù)庫格式的各數(shù)據(jù)條目 分別導(dǎo)入存儲服務(wù)器。這樣，源數(shù)據(jù)文件中的各數(shù)據(jù)條目是分別進行導(dǎo)入的，在任意兩個數(shù) 據(jù)條目的導(dǎo)入處理之間都可以插入數(shù)據(jù)查詢處理，從而，可以在向存儲服務(wù)器導(dǎo)入數(shù)據(jù)的 過程中減小對存儲服務(wù)器中數(shù)據(jù)查詢處理的影響。
[0114] 需要說明的是：上述實施例提供的導(dǎo)入數(shù)據(jù)的裝置在導(dǎo)入數(shù)據(jù)時，僅以上述各功 能模塊的劃分進行舉例說明，實際應(yīng)用中，可以根據(jù)需要而將上述功能分配由不同的功能 模塊完成，即將裝置的內(nèi)部結(jié)構(gòu)劃分成不同的功能模塊，以完成以上描述的全部或者部分 功能。另外，上述實施例提供的導(dǎo)入數(shù)據(jù)的裝置與導(dǎo)入數(shù)據(jù)的方法實施例屬于同一構(gòu)思，其 具體實現(xiàn)過程詳見方法實施例，這里不再贅述。
[0115] 上述本發(fā)明實施例序號僅僅為了描述，不代表實施例的優(yōu)劣。
[0116] 本領(lǐng)域普通技術(shù)人員可以理解實現(xiàn)上述實施例的全部或部分步驟可以通過硬件 來完成，也可以通過程序來指令相關(guān)的硬件完成，所述的程序可以存儲于一種計算機可讀 存儲介質(zhì)中，上述提到的存儲介質(zhì)可以是只讀存儲器，磁盤或光盤等。
[0117] 以上所述僅為本發(fā)明的較佳實施例，并不用以限制本發(fā)明，凡在本發(fā)明的精神和 原則之內(nèi)，所作的任何修改、等同替換、改進等，均應(yīng)包含在本發(fā)明的保護范圍之內(nèi)。
【權(quán)利要求】
1. 一種導(dǎo)入數(shù)據(jù)的方法，其特征在于，所述方法包括： 獲取源數(shù)據(jù)文件中包括的數(shù)據(jù)源格式的數(shù)據(jù)條目，并加入數(shù)據(jù)條目隊列； 逐行讀取所述數(shù)據(jù)條目隊列中的數(shù)據(jù)源格式的各數(shù)據(jù)條目，并分別將讀取的數(shù)據(jù)源格 式的各數(shù)據(jù)條目轉(zhuǎn)換為數(shù)據(jù)庫格式的數(shù)據(jù)條目； 將轉(zhuǎn)換得到的數(shù)據(jù)庫格式的各數(shù)據(jù)條目分別導(dǎo)入存儲服務(wù)器。
2. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將轉(zhuǎn)換得到的數(shù)據(jù)庫格式的各數(shù)據(jù) 條目分別導(dǎo)入存儲服務(wù)器，包括： 分別在每個數(shù)據(jù)源格式的數(shù)據(jù)條目轉(zhuǎn)換為數(shù)據(jù)庫格式的數(shù)據(jù)條目時，將轉(zhuǎn)換得到的數(shù) 據(jù)庫格式的數(shù)據(jù)條目導(dǎo)入存儲服務(wù)器。
3. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將轉(zhuǎn)換得到的數(shù)據(jù)庫格式的各數(shù)據(jù) 條目分別導(dǎo)入存儲服務(wù)器，包括： 通過異步傳輸方式，將轉(zhuǎn)換得到的數(shù)據(jù)庫格式的各數(shù)據(jù)條目分別導(dǎo)入存儲服務(wù)器。
4. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括： 記錄導(dǎo)入失敗的數(shù)據(jù)條目； 分別將所述導(dǎo)入失敗的數(shù)據(jù)條目重新導(dǎo)入所述存儲服務(wù)器。
5. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將轉(zhuǎn)換得到的數(shù)據(jù)庫格式的各數(shù)據(jù) 條目分別導(dǎo)入存儲服務(wù)器之后，還包括： 根據(jù)所述源數(shù)據(jù)文件，對已導(dǎo)入所述存儲服務(wù)器中的數(shù)據(jù)庫格式的數(shù)據(jù)條目進行校 驗，并對校驗出的導(dǎo)入錯誤的數(shù)據(jù)條目進行記錄。
6. -種導(dǎo)入數(shù)據(jù)的方法，其特征在于，所述方法包括： 接收并存儲數(shù)據(jù)源服務(wù)器分別導(dǎo)入的數(shù)據(jù)庫格式的各數(shù)據(jù)條目； 其中，所述數(shù)據(jù)庫格式的各數(shù)據(jù)條目，由所述數(shù)據(jù)源服務(wù)器獲取源數(shù)據(jù)文件中包括的 數(shù)據(jù)源格式的數(shù)據(jù)條目，加入數(shù)據(jù)條目隊列，并逐行讀取所述數(shù)據(jù)條目隊列中的數(shù)據(jù)源格 式的各數(shù)據(jù)條目，分別將讀取的數(shù)據(jù)源格式的各數(shù)據(jù)條目進行轉(zhuǎn)換得到。
7. 根據(jù)權(quán)利要求6所述的方法，其特征在于，所述接收并存儲數(shù)據(jù)源服務(wù)器分別導(dǎo)入 的數(shù)據(jù)庫格式的各數(shù)據(jù)條目，包括： 接收并存儲數(shù)據(jù)源服務(wù)器通過異步傳輸方式分別導(dǎo)入的數(shù)據(jù)庫格式的各數(shù)據(jù)條目。
8. -種數(shù)據(jù)源服務(wù)器，其特征在于，所述數(shù)據(jù)源服務(wù)器包括： 獲取模塊，用于獲取源數(shù)據(jù)文件中包括的數(shù)據(jù)源格式的數(shù)據(jù)條目，并加入數(shù)據(jù)條目隊 列； 轉(zhuǎn)換模塊，用于逐行讀取所述數(shù)據(jù)條目隊列中的數(shù)據(jù)源格式的各數(shù)據(jù)條目，并分別將 讀取的數(shù)據(jù)源格式的各數(shù)據(jù)條目轉(zhuǎn)換為數(shù)據(jù)庫格式的數(shù)據(jù)條目； 導(dǎo)入模塊，用于將轉(zhuǎn)換得到的數(shù)據(jù)庫格式的各數(shù)據(jù)條目分別導(dǎo)入存儲服務(wù)器。
9. 根據(jù)權(quán)利要求8所述的數(shù)據(jù)源服務(wù)器，其特征在于，所述導(dǎo)入模塊，用于： 分別在每個數(shù)據(jù)源格式的數(shù)據(jù)條目轉(zhuǎn)換為數(shù)據(jù)庫格式的數(shù)據(jù)條目時，將轉(zhuǎn)換得到的數(shù) 據(jù)庫格式的數(shù)據(jù)條目導(dǎo)入存儲服務(wù)器。
10. 根據(jù)權(quán)利要求8所述的數(shù)據(jù)源服務(wù)器，其特征在于，所述導(dǎo)入模塊，用于： 通過異步傳輸方式，將轉(zhuǎn)換得到的數(shù)據(jù)庫格式的各數(shù)據(jù)條目分別導(dǎo)入存儲服務(wù)器。
11. 根據(jù)權(quán)利要求8所述的數(shù)據(jù)源服務(wù)器，其特征在于，還包括糾錯模塊，用于： 記錄導(dǎo)入失敗的數(shù)據(jù)條目； 分別將所述導(dǎo)入失敗的數(shù)據(jù)條目重新導(dǎo)入所述存儲服務(wù)器。
12. 根據(jù)權(quán)利要求8所述的數(shù)據(jù)源服務(wù)器，其特征在于，還包括校驗?zāi)K，用于： 在所述將轉(zhuǎn)換得到的數(shù)據(jù)庫格式的各數(shù)據(jù)條目分別導(dǎo)入存儲服務(wù)器之后，根據(jù)所述源 數(shù)據(jù)文件，對已導(dǎo)入所述存儲服務(wù)器中的數(shù)據(jù)庫格式的數(shù)據(jù)條目進行校驗，并對校驗出的 導(dǎo)入錯誤的數(shù)據(jù)條目進行記錄。
13. -種存儲服務(wù)器，其特征在于，所述存儲服務(wù)器包括： 存儲模塊，用于接收并存儲數(shù)據(jù)源服務(wù)器分別導(dǎo)入的數(shù)據(jù)庫格式的各數(shù)據(jù)條目； 其中，所述數(shù)據(jù)庫格式的各數(shù)據(jù)條目，由所述數(shù)據(jù)源服務(wù)器獲取源數(shù)據(jù)文件中包括的 數(shù)據(jù)源格式的數(shù)據(jù)條目，加入數(shù)據(jù)條目隊列，并逐行讀取所述數(shù)據(jù)條目隊列中的數(shù)據(jù)源格 式的各數(shù)據(jù)條目，分別將讀取的數(shù)據(jù)源格式的各數(shù)據(jù)條目進行轉(zhuǎn)換得到。
14. 根據(jù)權(quán)利要求13所述的存儲服務(wù)器，其特征在于，所述存儲模塊，用于： 接收并存儲數(shù)據(jù)源服務(wù)器通過異步傳輸方式分別導(dǎo)入的數(shù)據(jù)庫格式的各數(shù)據(jù)條目。
15. -種導(dǎo)入數(shù)據(jù)的系統(tǒng)，其特征在于，所述系統(tǒng)包括數(shù)據(jù)源服務(wù)器和存儲服務(wù)器，其 中： 所述數(shù)據(jù)源服務(wù)器，用于獲取源數(shù)據(jù)文件中包括的數(shù)據(jù)源格式的數(shù)據(jù)條目，并加入數(shù) 據(jù)條目隊列；逐行讀取所述數(shù)據(jù)條目隊列中的數(shù)據(jù)源格式的各數(shù)據(jù)條目，并分別將讀取的 數(shù)據(jù)源格式的各數(shù)據(jù)條目轉(zhuǎn)換為數(shù)據(jù)庫格式的數(shù)據(jù)條目；將轉(zhuǎn)換得到的數(shù)據(jù)庫格式的各數(shù) 據(jù)條目分別導(dǎo)入所述存儲服務(wù)器； 所述存儲服務(wù)器，用于接收并存儲所述數(shù)據(jù)源服務(wù)器分別導(dǎo)入的數(shù)據(jù)庫格式的各數(shù)據(jù) 條目。
【文檔編號】G06F17/30GK104090896SQ201310705824
【公開日】2014年10月8日 申請日期:2013年12月19日 優(yōu)先權(quán)日:2013年12月19日
【發(fā)明者】蔡姣, 洪坤乾, 張磊, 吳官林, 程章敏, 羅如海 申請人:深圳市騰訊計算機系統(tǒng)有限公司