一種數(shù)據(jù)處理方法和裝置制造方法
【專利摘要】本發(fā)明實施例提供了一種數(shù)據(jù)處理方法和裝置,該方法包括:當(dāng)需要將第一數(shù)據(jù)模型庫中的數(shù)據(jù)轉(zhuǎn)換成第二數(shù)據(jù)模型庫中的數(shù)據(jù)時,獲取第一數(shù)據(jù)模型庫中的數(shù)據(jù),其中,獲取的所述數(shù)據(jù)的結(jié)構(gòu)為第一數(shù)據(jù)結(jié)構(gòu);將獲取的所述數(shù)據(jù)的結(jié)構(gòu)從所述第一數(shù)據(jù)結(jié)構(gòu)轉(zhuǎn)換成中間模型數(shù)據(jù)庫的中間數(shù)據(jù)結(jié)構(gòu);將獲取的所述數(shù)據(jù)的結(jié)構(gòu)從所述中間數(shù)據(jù)結(jié)構(gòu)轉(zhuǎn)換成所述第二數(shù)據(jù)庫的第二數(shù)據(jù)結(jié)構(gòu);將轉(zhuǎn)換后的具有所述第二數(shù)據(jù)結(jié)構(gòu)的數(shù)據(jù)保存到所述第二數(shù)據(jù)模型庫中。本申請降低了數(shù)據(jù)轉(zhuǎn)換的維護成本。
【專利說明】一種數(shù)據(jù)處理方法和裝置
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及互聯(lián)網(wǎng)【技術(shù)領(lǐng)域】,特別是涉及一種數(shù)據(jù)處理方法和裝置。
【背景技術(shù)】
[0002] 在互聯(lián)網(wǎng)企業(yè)的數(shù)據(jù)庫中,存在多種異構(gòu)數(shù)據(jù)庫。各種數(shù)據(jù)庫的性質(zhì)不同,因此, 使用的場景也就不同,例如,有些數(shù)據(jù)庫比較靈敏,適用于在線更新,有些數(shù)據(jù)庫容量較大, 適用于離線備份。由于各種數(shù)據(jù)庫的應(yīng)用場景不同,因此,各種異構(gòu)數(shù)據(jù)庫之間常常需要進 行一些數(shù)據(jù)的傳遞與交互。例如,某線上業(yè)務(wù)將數(shù)據(jù)寫入數(shù)據(jù)庫A中,而另一業(yè)務(wù)需要從數(shù) 據(jù)庫B中讀出這些數(shù)據(jù),因此,需要把數(shù)據(jù)庫A中的數(shù)據(jù)傳遞到數(shù)據(jù)庫B中。由于源數(shù)據(jù)庫 和目標(biāo)數(shù)據(jù)庫可能使用了不同的數(shù)據(jù)模型,例如,A是基于文檔型的數(shù)據(jù)庫,B是基于鍵值 對的數(shù)據(jù)庫,則在數(shù)據(jù)傳遞的過程中,需要對數(shù)據(jù)模型進行轉(zhuǎn)換。
[0003] 在現(xiàn)有技術(shù)中,對兩種異構(gòu)數(shù)據(jù)模型定義一種數(shù)據(jù)轉(zhuǎn)換的規(guī)則,根據(jù)規(guī)則可以將 數(shù)據(jù)庫A中的數(shù)據(jù)轉(zhuǎn)換成數(shù)據(jù)庫B中的數(shù)據(jù)格式。所有異構(gòu)數(shù)據(jù)庫之間的數(shù)據(jù)傳遞,都可 以依賴這些異構(gòu)數(shù)據(jù)庫之間定義的規(guī)則來進行轉(zhuǎn)換。
[0004] 現(xiàn)有技術(shù)是通過定義兩個數(shù)據(jù)模型之間的數(shù)據(jù)轉(zhuǎn)換規(guī)則來實現(xiàn)數(shù)據(jù)轉(zhuǎn)換的。但 是,隨著數(shù)據(jù)系統(tǒng)的增大,當(dāng)系統(tǒng)中同時存在多種不同數(shù)據(jù)模型的數(shù)據(jù)庫時,就必須針對 所有異構(gòu)數(shù)據(jù)模型兩兩之間都分別定義一套數(shù)據(jù)轉(zhuǎn)換規(guī)則,從而使得數(shù)據(jù)轉(zhuǎn)換規(guī)則數(shù)量過 多,體系復(fù)雜龐大。例如,如果有5種不同數(shù)據(jù)模型的數(shù)據(jù)庫之間需要數(shù)據(jù)交互,根據(jù)現(xiàn)有 技術(shù),就需要為這5種數(shù)據(jù)庫兩兩之間分別定義一套數(shù)據(jù)轉(zhuǎn)換規(guī)則。另外,在使用現(xiàn)有技術(shù) 的方案時,如果需要增加新的數(shù)據(jù)模型,產(chǎn)生的成本也較大,這是因為,需要定義該新數(shù)據(jù) 模型和所有舊數(shù)據(jù)模型之間的轉(zhuǎn)換規(guī)則,如果原系統(tǒng)中有η種不同的數(shù)據(jù)模型,此時添加 一個新數(shù)據(jù)模型,就需要添加 η套相應(yīng)的數(shù)據(jù)轉(zhuǎn)換規(guī)則。
[0005] 因此,目前需要本領(lǐng)域技術(shù)人員迫切解決的一個技術(shù)問題就是:降低數(shù)據(jù)轉(zhuǎn)換的 維護成本。
【發(fā)明內(nèi)容】
[0006] 本發(fā)明實施例所要解決的技術(shù)問題是提供一種數(shù)據(jù)處理方法,以便降低數(shù)據(jù)轉(zhuǎn)換 的維護成本。
[0007] 相應(yīng)的,本發(fā)明實施例還提供了一種數(shù)據(jù)處理裝置,用以保證上述方法的實現(xiàn)及 應(yīng)用。
[0008] 為了解決上述問題,本發(fā)明公開了一種數(shù)據(jù)處理方法,包括:當(dāng)需要將第一數(shù)據(jù)模 型庫中的數(shù)據(jù)轉(zhuǎn)換成第二數(shù)據(jù)模型庫中的數(shù)據(jù)時,獲取第一數(shù)據(jù)模型庫中的數(shù)據(jù),其中,獲 取的所述數(shù)據(jù)的結(jié)構(gòu)為第一數(shù)據(jù)結(jié)構(gòu);將獲取的所述數(shù)據(jù)的結(jié)構(gòu)從所述第一數(shù)據(jù)結(jié)構(gòu)轉(zhuǎn)換 成中間模型數(shù)據(jù)庫的中間數(shù)據(jù)結(jié)構(gòu);將獲取的所述數(shù)據(jù)的結(jié)構(gòu)從所述中間數(shù)據(jù)結(jié)構(gòu)轉(zhuǎn)換成 所述第二數(shù)據(jù)庫的第二數(shù)據(jù)結(jié)構(gòu);將轉(zhuǎn)換后的具有所述第二數(shù)據(jù)結(jié)構(gòu)的數(shù)據(jù)保存到所述第 二數(shù)據(jù)模型庫中。
[0009] 優(yōu)選地,所述中間數(shù)據(jù)結(jié)構(gòu)包括:唯一標(biāo)識值和與所述唯一標(biāo)識值對應(yīng)的數(shù)據(jù)內(nèi) 容。
[0010] 優(yōu)選地,當(dāng)所述第一數(shù)據(jù)模型庫為基于鍵值對的數(shù)據(jù)模型時,將獲取的所述數(shù)據(jù) 的結(jié)構(gòu)從所述第一數(shù)據(jù)結(jié)構(gòu)轉(zhuǎn)換成中間模型數(shù)據(jù)庫的中間數(shù)據(jù)結(jié)構(gòu),包括:將獲取的所述 數(shù)據(jù)的鍵映射為所述唯一標(biāo)識值;將獲取的所述數(shù)據(jù)的值映射為所述唯一標(biāo)識值對應(yīng)的數(shù) 據(jù)內(nèi)容。
[0011] 優(yōu)選地,當(dāng)所述第一數(shù)據(jù)模型庫為基于文檔的數(shù)據(jù)模型時,將獲取的所述數(shù)據(jù)的 結(jié)構(gòu)從所述第一數(shù)據(jù)結(jié)構(gòu)轉(zhuǎn)換成中間模型數(shù)據(jù)庫的中間數(shù)據(jù)結(jié)構(gòu),包括:將獲取的所述數(shù) 據(jù)的標(biāo)識ID映射為所述唯一標(biāo)識值;將獲取的所述數(shù)據(jù)的文檔映射為所述唯一標(biāo)識值對 應(yīng)的數(shù)據(jù)內(nèi)容。
[0012] 優(yōu)選地,當(dāng)所述第一數(shù)據(jù)模型庫為面向列的數(shù)據(jù)模型時,將獲取的所述數(shù)據(jù)的結(jié) 構(gòu)從所述第一數(shù)據(jù)結(jié)構(gòu)轉(zhuǎn)換成中間模型數(shù)據(jù)庫的中間數(shù)據(jù)結(jié)構(gòu),包括:將獲取的所述數(shù)據(jù) 的行標(biāo)識映射為所述唯一標(biāo)識值;將獲取的所述數(shù)據(jù)的一行中所有列簇的值映射為所述唯 一標(biāo)識值對應(yīng)的數(shù)據(jù)內(nèi)容。
[0013] 優(yōu)選地,將獲取的所述數(shù)據(jù)的列簇的值映射為所述唯一標(biāo)識值對應(yīng)的數(shù)據(jù)內(nèi)容, 包括:將獲取的所述數(shù)據(jù)的所有列簇中的值映射為一個陣列,其中,每個列簇中的值組成一 個子陣列。
[0014] 優(yōu)選地,當(dāng)所述第二數(shù)據(jù)模型庫為基于鍵值對的數(shù)據(jù)模型時,將獲取的所述數(shù)據(jù) 的結(jié)構(gòu)從所述中間數(shù)據(jù)結(jié)構(gòu)轉(zhuǎn)換成所述第二數(shù)據(jù)庫的第二數(shù)據(jù)結(jié)構(gòu),包括:將獲取的所述 數(shù)據(jù)的唯一標(biāo)識值映射為鍵;將獲取的所述數(shù)據(jù)的與所述唯一標(biāo)識值對應(yīng)的數(shù)據(jù)內(nèi)容映射 為與所述鍵對應(yīng)的值。
[0015] 優(yōu)選地,當(dāng)所述第二數(shù)據(jù)模型庫為基于文檔的數(shù)據(jù)模型時,將獲取的所述數(shù)據(jù)的 結(jié)構(gòu)從所述中間數(shù)據(jù)結(jié)構(gòu)轉(zhuǎn)換成所述第二數(shù)據(jù)庫的第二數(shù)據(jù)結(jié)構(gòu),包括:將獲取的所述數(shù) 據(jù)的所述唯一標(biāo)識值映射為標(biāo)識ID ;將獲取的所述數(shù)據(jù)的與所述唯一標(biāo)識值對應(yīng)的數(shù)據(jù) 內(nèi)容映射為與所述ID對應(yīng)的文檔。
[0016] 優(yōu)選地,當(dāng)所述第二數(shù)據(jù)模型庫為面向列的數(shù)據(jù)模型時,將獲取的所述數(shù)據(jù)的結(jié) 構(gòu)從所述中間數(shù)據(jù)結(jié)構(gòu)轉(zhuǎn)換成所述第二數(shù)據(jù)庫的第二數(shù)據(jù)結(jié)構(gòu),包括:將獲取的所述數(shù)據(jù) 的所述唯一標(biāo)識值映射為行標(biāo)識;將獲取的所述數(shù)據(jù)的與所述唯一標(biāo)識值對應(yīng)的數(shù)據(jù)內(nèi)容 映射為與所述行標(biāo)識對應(yīng)的列簇的值。
[0017] 為了解決上述問題,本發(fā)明公開了一種數(shù)據(jù)處理裝置,包括:獲取單元,用于當(dāng)需 要將第一數(shù)據(jù)模型庫中的數(shù)據(jù)轉(zhuǎn)換成第二數(shù)據(jù)模型庫中的數(shù)據(jù)時,獲取第一數(shù)據(jù)模型庫中 的數(shù)據(jù),其中,獲取的所述數(shù)據(jù)的結(jié)構(gòu)為第一數(shù)據(jù)結(jié)構(gòu);第一轉(zhuǎn)換單元,用于將獲取的所述 數(shù)據(jù)的結(jié)構(gòu)從所述第一數(shù)據(jù)結(jié)構(gòu)轉(zhuǎn)換成中間模型數(shù)據(jù)庫的中間數(shù)據(jù)結(jié)構(gòu);第二轉(zhuǎn)換單元, 用于將獲取的所述數(shù)據(jù)的結(jié)構(gòu)從所述中間數(shù)據(jù)結(jié)構(gòu)轉(zhuǎn)換成所述第二數(shù)據(jù)庫的第二數(shù)據(jù)結(jié) 構(gòu);保存單元,用于將轉(zhuǎn)換后的具有所述第二數(shù)據(jù)結(jié)構(gòu)的數(shù)據(jù)保存到所述第二數(shù)據(jù)模型庫 中。
[0018] 優(yōu)選地,所述中間數(shù)據(jù)結(jié)構(gòu)包括:唯一標(biāo)識值和與所述唯一標(biāo)識值對應(yīng)的數(shù)據(jù)內(nèi) 容。
[0019] 優(yōu)選地,當(dāng)所述第一數(shù)據(jù)模型庫為基于鍵值對的數(shù)據(jù)模型時,所述第一轉(zhuǎn)換單元 用于:
[0020] 將獲取的所述數(shù)據(jù)的鍵映射為所述唯一標(biāo)識值;
[0021] 將獲取的所述數(shù)據(jù)的值映射為所述唯一標(biāo)識值對應(yīng)的數(shù)據(jù)內(nèi)容。
[0022] 優(yōu)選地,當(dāng)所述第一數(shù)據(jù)模型庫為基于文檔的數(shù)據(jù)模型時,所述第一轉(zhuǎn)換單元用 于:
[0023] 將獲取的所述數(shù)據(jù)的標(biāo)識ID映射為所述唯一標(biāo)識值;
[0024] 將獲取的所述數(shù)據(jù)的文檔映射為所述唯一標(biāo)識值對應(yīng)的數(shù)據(jù)內(nèi)容。
[0025] 優(yōu)選地,當(dāng)所述第一數(shù)據(jù)模型庫為面向列的數(shù)據(jù)模型時,所述第一轉(zhuǎn)換單元用 于:
[0026] 將獲取的所述數(shù)據(jù)的行標(biāo)識映射為所述唯一標(biāo)識值;
[0027] 將獲取的所述數(shù)據(jù)的一行中所有列簇的值映射為所述唯一標(biāo)識值對應(yīng)的數(shù)據(jù)內(nèi) 容。
[0028] 優(yōu)選地,所述第一轉(zhuǎn)換單元用于:
[0029] 將獲取的所述數(shù)據(jù)的所有列簇中的值映射為一個陣列,其中,每個列簇中的值組 成一個子陣列。
[0030] 與現(xiàn)有技術(shù)相比,本發(fā)明實施例包括以下優(yōu)點:
[0031] 在現(xiàn)有技術(shù)中,對多個異構(gòu)數(shù)據(jù)庫中的每兩個數(shù)據(jù)庫之間都要建立轉(zhuǎn)換規(guī)則,從 而使得數(shù)據(jù)轉(zhuǎn)換規(guī)則數(shù)量過多,體系復(fù)雜龐大,維護成本也較高;并且,當(dāng)新增數(shù)據(jù)庫時, 需要建立新增數(shù)據(jù)庫和所有舊數(shù)據(jù)庫之間的轉(zhuǎn)換規(guī)則,從而產(chǎn)生較高的成本。而在本申請 中,在對數(shù)據(jù)庫中的數(shù)據(jù)進行轉(zhuǎn)換時,將源數(shù)據(jù)庫的數(shù)據(jù)轉(zhuǎn)換成中間模型數(shù)據(jù)庫的數(shù)據(jù),然 后再轉(zhuǎn)換成目標(biāo)數(shù)據(jù)庫的數(shù)據(jù),這樣,只需要建立各個數(shù)據(jù)庫到中間模型數(shù)據(jù)庫的轉(zhuǎn)換規(guī) 則即可,減少了數(shù)據(jù)轉(zhuǎn)換規(guī)則的數(shù)量,降低了維護成本;并且,當(dāng)需要新增數(shù)據(jù)庫時,只需要 建立該新增數(shù)據(jù)庫和中間模型數(shù)據(jù)庫之間的轉(zhuǎn)換規(guī)則即可,降低了新增數(shù)據(jù)庫所產(chǎn)生的成 本。
【專利附圖】
【附圖說明】
[0032] 圖1是本發(fā)明的一種數(shù)據(jù)處理方法實施例的步驟流程圖;
[0033] 圖2是現(xiàn)有技術(shù)中三種數(shù)據(jù)模型的數(shù)據(jù)結(jié)構(gòu)示意圖;
[0034] 圖3是本發(fā)明的面向列數(shù)據(jù)模型到中間數(shù)據(jù)結(jié)構(gòu)的轉(zhuǎn)換的示意圖;
[0035] 圖4是本發(fā)明的一種數(shù)據(jù)處理裝置實施例的結(jié)構(gòu)框圖。
【具體實施方式】
[0036] 為使本發(fā)明的上述目的、特征和優(yōu)點能夠更加明顯易懂,下面結(jié)合附圖和具體實 施方式對本發(fā)明作進一步詳細(xì)的說明。
[0037] 本發(fā)明實施例的核心構(gòu)思之一在于,當(dāng)需要將第一數(shù)據(jù)模型庫中的數(shù)據(jù)轉(zhuǎn)換成第 二數(shù)據(jù)模型庫中的數(shù)據(jù)時,獲取第一數(shù)據(jù)模型庫中的數(shù)據(jù),其中,獲取的數(shù)據(jù)的結(jié)構(gòu)為第一 數(shù)據(jù)結(jié)構(gòu);將獲取的數(shù)據(jù)的結(jié)構(gòu)從第一數(shù)據(jù)結(jié)構(gòu)轉(zhuǎn)換成中間模型數(shù)據(jù)庫的中間數(shù)據(jù)結(jié)構(gòu); 將獲取的數(shù)據(jù)的結(jié)構(gòu)從中間數(shù)據(jù)結(jié)構(gòu)轉(zhuǎn)換成第二數(shù)據(jù)庫的第二數(shù)據(jù)結(jié)構(gòu);將轉(zhuǎn)換后的具有 第二數(shù)據(jù)結(jié)構(gòu)的數(shù)據(jù)保存到第二數(shù)據(jù)模型庫中。在本申請中,在對數(shù)據(jù)庫中的數(shù)據(jù)進行轉(zhuǎn) 換時,將源數(shù)據(jù)庫的數(shù)據(jù)轉(zhuǎn)換成中間模型數(shù)據(jù)庫的數(shù)據(jù),然后再轉(zhuǎn)換成目標(biāo)數(shù)據(jù)庫的數(shù)據(jù), 這樣,只需要建立各個數(shù)據(jù)庫到中間模型數(shù)據(jù)庫的轉(zhuǎn)換規(guī)則即可,減少了數(shù)據(jù)轉(zhuǎn)換規(guī)則的 數(shù)量,降低了維護成本;并且,當(dāng)需要新增數(shù)據(jù)庫時,只需要建立該新增數(shù)據(jù)庫和中間模型 數(shù)據(jù)庫之間的轉(zhuǎn)換規(guī)則即可,降低了新增數(shù)據(jù)庫所產(chǎn)生的成本。
[0038] 參照圖1,示出了本發(fā)明的一種數(shù)據(jù)處理方法實施例的步驟流程圖,具體可以包括 如下步驟:
[0039] 步驟102,當(dāng)需要將第一數(shù)據(jù)模型庫中的數(shù)據(jù)轉(zhuǎn)換成第二數(shù)據(jù)模型庫中的數(shù)據(jù)時, 獲取第一數(shù)據(jù)模型庫中的數(shù)據(jù),其中,獲取的數(shù)據(jù)的結(jié)構(gòu)為第一數(shù)據(jù)結(jié)構(gòu);
[0040] 對于不同的數(shù)據(jù)庫系統(tǒng),數(shù)據(jù)的格式和存儲模型可能是不同的。不用的數(shù)據(jù)庫具 有不同的用途,有時需要從數(shù)據(jù)庫B中讀取數(shù)據(jù)庫A的數(shù)據(jù),此時,就需要將數(shù)據(jù)庫A中的 數(shù)據(jù)轉(zhuǎn)換成數(shù)據(jù)庫中的數(shù)據(jù)。在轉(zhuǎn)換時,第一數(shù)據(jù)模型庫為源數(shù)據(jù)庫,源數(shù)據(jù)庫中的數(shù)據(jù)具 有第一數(shù)據(jù)結(jié)構(gòu),第二數(shù)據(jù)模型庫為目標(biāo)數(shù)據(jù)庫,目標(biāo)數(shù)據(jù)庫中的數(shù)據(jù)具有第二數(shù)據(jù)結(jié)構(gòu), 當(dāng)需要將源數(shù)據(jù)庫的數(shù)據(jù)轉(zhuǎn)換成目標(biāo)數(shù)據(jù)庫中的數(shù)據(jù)時,從源數(shù)據(jù)庫中獲取需要轉(zhuǎn)換的 數(shù)據(jù)。
[0041] 步驟104,將獲取的數(shù)據(jù)的結(jié)構(gòu)從第一數(shù)據(jù)結(jié)構(gòu)轉(zhuǎn)換成中間模型數(shù)據(jù)庫的中間數(shù) 據(jù)結(jié)構(gòu);
[0042] 為了實現(xiàn)到中間數(shù)據(jù)結(jié)構(gòu)的轉(zhuǎn)換,首先需要確定出合適的中間數(shù)據(jù)結(jié)構(gòu),使得各 種數(shù)據(jù)庫中的數(shù)據(jù)能夠方便地轉(zhuǎn)換成中間數(shù)據(jù)結(jié)構(gòu)??梢酝ㄟ^主流的數(shù)據(jù)模型來確定出中 間數(shù)據(jù)模型庫的中間數(shù)據(jù)結(jié)構(gòu)。表1中列出了四種比較主流的開源非關(guān)系型數(shù)據(jù)庫系統(tǒng) (NoSQL)。它們都是許多大型互聯(lián)網(wǎng)公司經(jīng)常使用的數(shù)據(jù)庫,相應(yīng)的數(shù)據(jù)模型結(jié)構(gòu)如表中所 /_J、1 〇
[0043] 表 1
[0044]
【權(quán)利要求】
1. 一種數(shù)據(jù)處理方法,其特征在于,包括: 當(dāng)需要將第一數(shù)據(jù)模型庫中的數(shù)據(jù)轉(zhuǎn)換成第二數(shù)據(jù)模型庫中的數(shù)據(jù)時,獲取第一數(shù)據(jù) 模型庫中的數(shù)據(jù),其中,獲取的所述數(shù)據(jù)的結(jié)構(gòu)為第一數(shù)據(jù)結(jié)構(gòu); 將獲取的所述數(shù)據(jù)的結(jié)構(gòu)從所述第一數(shù)據(jù)結(jié)構(gòu)轉(zhuǎn)換成中間模型數(shù)據(jù)庫的中間數(shù)據(jù)結(jié) 構(gòu); 將獲取的所述數(shù)據(jù)的結(jié)構(gòu)從所述中間數(shù)據(jù)結(jié)構(gòu)轉(zhuǎn)換成所述第二數(shù)據(jù)庫的第二數(shù)據(jù)結(jié) 構(gòu); 將轉(zhuǎn)換后的具有所述第二數(shù)據(jù)結(jié)構(gòu)的數(shù)據(jù)保存到所述第二數(shù)據(jù)模型庫中。
2. 根據(jù)權(quán)利要求1所述的方法,其特征在于,所述中間數(shù)據(jù)結(jié)構(gòu)包括:唯一標(biāo)識值和與 所述唯一標(biāo)識值對應(yīng)的數(shù)據(jù)內(nèi)容。
3. 根據(jù)權(quán)利要求2所述的方法,其特征在于,當(dāng)所述第一數(shù)據(jù)模型庫為基于鍵值對的 數(shù)據(jù)模型時,將獲取的所述數(shù)據(jù)的結(jié)構(gòu)從所述第一數(shù)據(jù)結(jié)構(gòu)轉(zhuǎn)換成中間模型數(shù)據(jù)庫的中間 數(shù)據(jù)結(jié)構(gòu),包括: 將獲取的所述數(shù)據(jù)的鍵映射為所述唯一標(biāo)識值; 將獲取的所述數(shù)據(jù)的值映射為所述唯一標(biāo)識值對應(yīng)的數(shù)據(jù)內(nèi)容。
4. 根據(jù)權(quán)利要求2所述的方法,其特征在于,當(dāng)所述第一數(shù)據(jù)模型庫為基于文檔的數(shù) 據(jù)模型時,將獲取的所述數(shù)據(jù)的結(jié)構(gòu)從所述第一數(shù)據(jù)結(jié)構(gòu)轉(zhuǎn)換成中間模型數(shù)據(jù)庫的中間數(shù) 據(jù)結(jié)構(gòu),包括: 將獲取的所述數(shù)據(jù)的標(biāo)識ID映射為所述唯一標(biāo)識值; 將獲取的所述數(shù)據(jù)的文檔映射為所述唯一標(biāo)識值對應(yīng)的數(shù)據(jù)內(nèi)容。
5. 根據(jù)權(quán)利要求2所述的方法,其特征在于,當(dāng)所述第一數(shù)據(jù)模型庫為面向列的數(shù)據(jù) 模型時,將獲取的所述數(shù)據(jù)的結(jié)構(gòu)從所述第一數(shù)據(jù)結(jié)構(gòu)轉(zhuǎn)換成中間模型數(shù)據(jù)庫的中間數(shù)據(jù) 結(jié)構(gòu),包括: 將獲取的所述數(shù)據(jù)的行標(biāo)識映射為所述唯一標(biāo)識值; 將獲取的所述數(shù)據(jù)的一行中所有列簇的值映射為所述唯一標(biāo)識值對應(yīng)的數(shù)據(jù)內(nèi)容。
6. 根據(jù)權(quán)利要求5所述的方法,其特征在于,將獲取的所述數(shù)據(jù)的列簇的值映射為所 述唯一標(biāo)識值對應(yīng)的數(shù)據(jù)內(nèi)容,包括: 將獲取的所述數(shù)據(jù)的所有列簇中的值映射為一個陣列,其中,每個列簇中的值組成一 個子陣列。
7. 根據(jù)權(quán)利要求2所述的方法,其特征在于,當(dāng)所述第二數(shù)據(jù)模型庫為基于鍵值對的 數(shù)據(jù)模型時,將獲取的所述數(shù)據(jù)的結(jié)構(gòu)從所述中間數(shù)據(jù)結(jié)構(gòu)轉(zhuǎn)換成所述第二數(shù)據(jù)庫的第二 數(shù)據(jù)結(jié)構(gòu),包括: 將獲取的所述數(shù)據(jù)的唯一標(biāo)識值映射為鍵; 將獲取的所述數(shù)據(jù)的與所述唯一標(biāo)識值對應(yīng)的數(shù)據(jù)內(nèi)容映射為與所述鍵對應(yīng)的值。
8. 根據(jù)權(quán)利要求2所述的方法,其特征在于,當(dāng)所述第二數(shù)據(jù)模型庫為基于文檔的數(shù) 據(jù)模型時,將獲取的所述數(shù)據(jù)的結(jié)構(gòu)從所述中間數(shù)據(jù)結(jié)構(gòu)轉(zhuǎn)換成所述第二數(shù)據(jù)庫的第二數(shù) 據(jù)結(jié)構(gòu),包括: 將獲取的所述數(shù)據(jù)的所述唯一標(biāo)識值映射為標(biāo)識ID ; 將獲取的所述數(shù)據(jù)的與所述唯一標(biāo)識值對應(yīng)的數(shù)據(jù)內(nèi)容映射為與所述ID對應(yīng)的文 檔。
9. 根據(jù)權(quán)利要求2所述的方法,其特征在于,當(dāng)所述第二數(shù)據(jù)模型庫為面向列的數(shù)據(jù) 模型時,將獲取的所述數(shù)據(jù)的結(jié)構(gòu)從所述中間數(shù)據(jù)結(jié)構(gòu)轉(zhuǎn)換成所述第二數(shù)據(jù)庫的第二數(shù)據(jù) 結(jié)構(gòu),包括: 將獲取的所述數(shù)據(jù)的所述唯一標(biāo)識值映射為行標(biāo)識; 將獲取的所述數(shù)據(jù)的與所述唯一標(biāo)識值對應(yīng)的數(shù)據(jù)內(nèi)容映射為與所述行標(biāo)識對應(yīng)的 列簇的值。
10. -種數(shù)據(jù)處理裝置,其特征在于,包括: 獲取單元,用于當(dāng)需要將第一數(shù)據(jù)模型庫中的數(shù)據(jù)轉(zhuǎn)換成第二數(shù)據(jù)模型庫中的數(shù)據(jù) 時,獲取第一數(shù)據(jù)模型庫中的數(shù)據(jù),其中,獲取的所述數(shù)據(jù)的結(jié)構(gòu)為第一數(shù)據(jù)結(jié)構(gòu); 第一轉(zhuǎn)換單元,用于將獲取的所述數(shù)據(jù)的結(jié)構(gòu)從所述第一數(shù)據(jù)結(jié)構(gòu)轉(zhuǎn)換成中間模型數(shù) 據(jù)庫的中間數(shù)據(jù)結(jié)構(gòu); 第二轉(zhuǎn)換單元,用于將獲取的所述數(shù)據(jù)的結(jié)構(gòu)從所述中間數(shù)據(jù)結(jié)構(gòu)轉(zhuǎn)換成所述第二數(shù) 據(jù)庫的第二數(shù)據(jù)結(jié)構(gòu); 保存單元,用于將轉(zhuǎn)換后的具有所述第二數(shù)據(jù)結(jié)構(gòu)的數(shù)據(jù)保存到所述第二數(shù)據(jù)模型庫 中。
11. 根據(jù)權(quán)利要求10所述的裝置,其特征在于,所述中間數(shù)據(jù)結(jié)構(gòu)包括:唯一標(biāo)識值和 與所述唯一標(biāo)識值對應(yīng)的數(shù)據(jù)內(nèi)容。
12. 根據(jù)權(quán)利要求11所述的裝置,其特征在于,當(dāng)所述第一數(shù)據(jù)模型庫為基于鍵值對 的數(shù)據(jù)模型時,所述第一轉(zhuǎn)換單元用于: 將獲取的所述數(shù)據(jù)的鍵映射為所述唯一標(biāo)識值; 將獲取的所述數(shù)據(jù)的值映射為所述唯一標(biāo)識值對應(yīng)的數(shù)據(jù)內(nèi)容。
13. 根據(jù)權(quán)利要求11所述的裝置,其特征在于,當(dāng)所述第一數(shù)據(jù)模型庫為基于文檔的 數(shù)據(jù)模型時,所述第一轉(zhuǎn)換單元用于: 將獲取的所述數(shù)據(jù)的標(biāo)識ID映射為所述唯一標(biāo)識值; 將獲取的所述數(shù)據(jù)的文檔映射為所述唯一標(biāo)識值對應(yīng)的數(shù)據(jù)內(nèi)容。
14. 根據(jù)權(quán)利要求11所述的裝置,其特征在于,當(dāng)所述第一數(shù)據(jù)模型庫為面向列的數(shù) 據(jù)模型時,所述第一轉(zhuǎn)換單元用于: 將獲取的所述數(shù)據(jù)的行標(biāo)識映射為所述唯一標(biāo)識值; 將獲取的所述數(shù)據(jù)的一行中所有列簇的值映射為所述唯一標(biāo)識值對應(yīng)的數(shù)據(jù)內(nèi)容。
15. 根據(jù)權(quán)利要求14所述的裝置,其特征在于,所述第一轉(zhuǎn)換單元用于: 將獲取的所述數(shù)據(jù)的所有列簇中的值映射為一個陣列,其中,每個列簇中的值組成一 個子陣列。
【文檔編號】G06F17/30GK104216961SQ201410415600
【公開日】2014年12月17日 申請日期:2014年8月21日 優(yōu)先權(quán)日:2014年8月21日
【發(fā)明者】孫琦, 葉煒晨, 劉俊暉 申請人:北京奇藝世紀(jì)科技有限公司