本發(fā)明涉及數(shù)據(jù)存儲技術(shù)，尤其涉及一種基于Solr索引與Oracle存儲的海量數(shù)據(jù)自動化存儲方法。

背景技術(shù)：

隨著信息化快速發(fā)展，信息系統(tǒng)資源種類和功能越來越完備，隨之產(chǎn)生龐大的信息系統(tǒng)應(yīng)用數(shù)據(jù)，這些應(yīng)用數(shù)據(jù)越來越被重視，進(jìn)行數(shù)據(jù)的深度挖掘和分析成為行業(yè)深耕業(yè)務(wù)功能、用戶行為分析、熱點(diǎn)應(yīng)用等一大批基于海量數(shù)據(jù)分析的技術(shù)手段出現(xiàn)，提現(xiàn)了這些業(yè)務(wù)數(shù)據(jù)重要地位。

如何有效的保存這些珍貴的業(yè)務(wù)數(shù)據(jù)，就目前主流的技術(shù)手段和實(shí)現(xiàn)方法，主要分布在兩個方向：基于大數(shù)據(jù)技術(shù)的存儲路線以及基于傳統(tǒng)數(shù)據(jù)庫模式的存儲。

大數(shù)據(jù)存儲技術(shù)路線最典型的共有三種：

第一種是采用MPP架構(gòu)的新型數(shù)據(jù)庫集群，重點(diǎn)面向行業(yè)大數(shù)據(jù)，采用Shared Nothing架構(gòu)，通過列存儲、粗粒度索引等多項大數(shù)據(jù)處理技術(shù)，再結(jié)合MPP架構(gòu)高效的分布式計算模式，完成對分析類應(yīng)用的支撐，運(yùn)行環(huán)境多為低成本PC Server，具有高性能和高擴(kuò)展性的特點(diǎn)，在企業(yè)分析類應(yīng)用領(lǐng)域獲得極其廣泛的應(yīng)用。

這類MPP產(chǎn)品可以有效支撐PB級別的結(jié)構(gòu)化數(shù)據(jù)分析，這是傳統(tǒng)數(shù)據(jù)庫技術(shù)無法勝任的。對于企業(yè)新一代的數(shù)據(jù)倉庫和結(jié)構(gòu)化數(shù)據(jù)分析，目前最佳選擇是MPP數(shù)據(jù)庫。

第二種是基于Hadoop的技術(shù)擴(kuò)展和封裝，圍繞Hadoop衍生出相關(guān)的大數(shù)據(jù)技術(shù)，應(yīng)對傳統(tǒng)關(guān)系型數(shù)據(jù)庫較難處理的數(shù)據(jù)和場景，例如針對非結(jié)構(gòu)化數(shù)據(jù)的存儲和計算等，充分利用Hadoop開源的優(yōu)勢，伴隨相關(guān)技術(shù)的不斷進(jìn)步，其應(yīng)用場景也將逐步擴(kuò)大，目前最為典型的應(yīng)用場景就是通過擴(kuò)展和封裝Hadoop來實(shí)現(xiàn)對互聯(lián)網(wǎng)大數(shù)據(jù)存儲、分析的支撐。Hadoop平臺更擅長非結(jié)構(gòu)半結(jié)構(gòu)化數(shù)據(jù)處理、復(fù)雜的ETL流程、復(fù)雜的數(shù)據(jù)挖掘和計算模型。

第三種是大數(shù)據(jù)一體機(jī)，這是一種專為大數(shù)據(jù)的分析處理而設(shè)計的軟、硬件結(jié)合的產(chǎn)品，由一組集成的服務(wù)器、存儲設(shè)備、操作系統(tǒng)、數(shù)據(jù)庫管理系統(tǒng)以及為數(shù)據(jù)查詢、處理、分析用途而特別預(yù)先安裝及優(yōu)化的軟件組成，高性能大數(shù)據(jù)一體機(jī)具有良好的穩(wěn)定性和縱向擴(kuò)展性。

而傳統(tǒng)基于數(shù)據(jù)庫的存儲目前除了互聯(lián)網(wǎng)企業(yè)外，數(shù)據(jù)處理領(lǐng)域還是以傳統(tǒng)關(guān)系型數(shù)據(jù)庫(RDBMS)為主。傳統(tǒng)RDBMS的核心設(shè)計思想基本上是30年前形成的。過去30年脫穎而出的無疑是Oracle公司。全世界數(shù)據(jù)庫市場基本上被Oracle，IBM/DB2，Microsoft/SQL Server壟斷，目前有份量的獨(dú)立數(shù)據(jù)庫廠商現(xiàn)在就剩下Oracle和Teradata。開源數(shù)據(jù)庫主要是MySQL，PostgreSQL，除了互聯(lián)網(wǎng)領(lǐng)域外，其他行業(yè)用的很少。這些數(shù)據(jù)庫當(dāng)年主要是面向OLTP交易型需求設(shè)計、開發(fā)的，是用來開發(fā)人機(jī)會話應(yīng)用為主的。這些傳統(tǒng)數(shù)據(jù)庫底層的物理存儲格式都是行存儲，比較適合數(shù)據(jù)頻繁的增刪改操作，但對于統(tǒng)計分析類的查詢，行存儲其實(shí)效率很低。

基于傳統(tǒng)數(shù)據(jù)庫存儲的方式在以下幾個不足：

1)傳統(tǒng)數(shù)據(jù)庫存儲方式：在應(yīng)對海量數(shù)據(jù)查詢的時候，查詢速度、統(tǒng)計速度緩慢，需要幾分鐘乃至十幾分鐘才能返回數(shù)據(jù)結(jié)果；

2)基于傳統(tǒng)數(shù)據(jù)的存儲、查詢優(yōu)化需要較高專業(yè)技能，對人員能力要求較高，可能導(dǎo)致項目升級、維護(hù)、改造困難。

基礎(chǔ)大數(shù)據(jù)存儲的方式在以下幾個不足：

1)技術(shù)起點(diǎn)高，人員開發(fā)成本高，開發(fā)調(diào)試周期較長；

2)部署龐大，基于大數(shù)據(jù)技術(shù)的實(shí)現(xiàn)，整體項目一般都需要數(shù)十上百臺的服務(wù)器，有的需要的更多，就算最小的部署結(jié)構(gòu)也需要十幾臺服務(wù)器，部署成本相對偏高；

3)整體結(jié)構(gòu)復(fù)雜，維護(hù)人員能力需求高，維護(hù)、升級困難。

因此，本領(lǐng)域的技術(shù)人員致力于開發(fā)一種基于Solr索引與Oracle存儲的海量數(shù)據(jù)自動化存儲方法，采用solr和Oracle結(jié)合技術(shù)，從根本上解決海量數(shù)據(jù)的查詢、統(tǒng)計速率問題；采用優(yōu)良的設(shè)計，從根本上解決項目擴(kuò)展性和維護(hù)成本過高的問題，降低項目實(shí)現(xiàn)技術(shù)難度，增強(qiáng)系統(tǒng)擴(kuò)展性和延伸性，使之成為一個高效、簡潔、易于維護(hù)的系統(tǒng)。

技術(shù)實(shí)現(xiàn)要素：

有鑒于現(xiàn)有技術(shù)的上述缺陷，本發(fā)明所要解決的技術(shù)問題是開發(fā)一種基于Solr索引與Oracle存儲的海量數(shù)據(jù)自動化存儲方法，采用solr和Oracle結(jié)合技術(shù)，從根本上解決海量數(shù)據(jù)的查詢、統(tǒng)計速率問題；采用優(yōu)良的設(shè)計，從根本上解決項目擴(kuò)展性和維護(hù)成本過高的問題，降低項目實(shí)現(xiàn)技術(shù)難度，增強(qiáng)系統(tǒng)擴(kuò)展性和延伸性，使之成為一個高效、簡潔、易于維護(hù)的系統(tǒng)。

為實(shí)現(xiàn)上述目的，本發(fā)明提供了一種基于Solr索引與Oracle存儲的海量數(shù)據(jù)自動化存儲方法，包括：

步驟1、自動創(chuàng)建存儲單元，預(yù)先設(shè)定N個創(chuàng)建存儲單元的規(guī)則，自動創(chuàng)建對應(yīng)規(guī)則的N個存儲單元；

步驟2、自動分類存儲海量數(shù)據(jù)，預(yù)先設(shè)定存儲規(guī)則，將海量數(shù)據(jù)按照不同條件和維度進(jìn)行拆分、合并存儲到對應(yīng)的Solr中的Connection索引服務(wù)和Oracle數(shù)據(jù)庫相應(yīng)的業(yè)務(wù)表中；

步驟3、回收利用存儲單元，將數(shù)據(jù)存儲不達(dá)標(biāo)的存儲單元，進(jìn)行Solr層面和Oracle數(shù)據(jù)庫層面的合并，并將其他剩余Connection和空閑Oracle業(yè)務(wù)數(shù)據(jù)表進(jìn)行回收。

進(jìn)一步地，創(chuàng)建存儲單元的規(guī)則包括根據(jù)自然年份創(chuàng)建、根據(jù)自然季度創(chuàng)建、根據(jù)自然年中的任意幾個月創(chuàng)建、根據(jù)自然月單獨(dú)創(chuàng)建、按每個存儲單元數(shù)據(jù)最大數(shù)據(jù)保有量創(chuàng)建中的一種或多種。

進(jìn)一步地，步驟1具體包括：

步驟11、記錄任務(wù)的初始狀態(tài)；

步驟12、判斷建表的標(biāo)志位開關(guān)是否開啟，當(dāng)標(biāo)志位開關(guān)處于開啟狀態(tài)，則開始后續(xù)自動創(chuàng)建傳統(tǒng)數(shù)據(jù)庫的建表程序；當(dāng)標(biāo)志位開關(guān)處于關(guān)閉狀態(tài)，則不執(zhí)行后續(xù)步驟；

步驟13、當(dāng)建表的標(biāo)志位處于開啟時，查詢基礎(chǔ)配置信息表，找到配置遷移數(shù)據(jù)的時間區(qū)間；

步驟14、根據(jù)步驟13查找到的時間區(qū)間，檢索已完成建表操作的相關(guān)動作記錄表，尋找遷移間隔，當(dāng)遷移間隔在時間區(qū)間內(nèi)，則不需要進(jìn)行建表；當(dāng)遷移間隔不在時間區(qū)間內(nèi)，則進(jìn)行后續(xù)建表操作；

步驟15、當(dāng)遷移間隔不在時間區(qū)間內(nèi)時，首先修改本次配置遷移數(shù)據(jù)截止日期為本月，然后保存至對應(yīng)業(yè)務(wù)數(shù)據(jù)表中，以備下次開始建表流程時使用；

步驟16、新建本次配置遷移數(shù)據(jù)原始記錄；

步驟17、根據(jù)既定生成的相關(guān)配置信息，創(chuàng)建對應(yīng)的業(yè)務(wù)數(shù)據(jù)表格和相關(guān)Solr配置文件及Connection數(shù)據(jù)加載配置文件；

步驟18、當(dāng)步驟11至步驟17完成以后，更改任務(wù)執(zhí)行記錄狀態(tài)，并保持至對應(yīng)的業(yè)務(wù)數(shù)據(jù)庫。

進(jìn)一步地，預(yù)先設(shè)定存儲規(guī)則包括根據(jù)自然年份存儲、根據(jù)自然季度存儲、根據(jù)自然年中的任意幾個月存儲、根據(jù)自然月單獨(dú)存儲、按每個存儲單元數(shù)據(jù)最大數(shù)據(jù)保有量存儲中的一種或多種。

進(jìn)一步地，步驟2具體包括：

步驟21、新建任務(wù)執(zhí)行情況記錄，記錄任務(wù)執(zhí)行的初始化狀態(tài)；

步驟22、獲取需要抽取的業(yè)務(wù)數(shù)據(jù)表名和與之相對應(yīng)的Connection名稱；

步驟23、通知Solr啟動對應(yīng)的抽取服務(wù)，將業(yè)務(wù)表的數(shù)據(jù)按照全表模式或增量模式同步至相應(yīng)的Connection中，建立數(shù)據(jù)索引；

步驟24、當(dāng)步驟21至步驟23完成以后，更改任務(wù)執(zhí)行記錄狀態(tài)，并保持至對應(yīng)的業(yè)務(wù)數(shù)據(jù)庫。

進(jìn)一步地，步驟3被設(shè)置為按照設(shè)定的規(guī)則對數(shù)據(jù)進(jìn)行拆分，搬遷，歸檔。

進(jìn)一步地，步驟3具體包括：

步驟31、新建任務(wù)執(zhí)行情況記錄，記錄任務(wù)執(zhí)行的初始化狀態(tài)；

步驟32、查詢信息系統(tǒng)操作日志數(shù)據(jù)表；

步驟33、查詢當(dāng)前系統(tǒng)中預(yù)先配置的數(shù)據(jù)保存天數(shù)，并進(jìn)行計算，得到本次遷移數(shù)據(jù)；

步驟34、查找上次數(shù)據(jù)遷移的操作記錄，從而計算本次數(shù)據(jù)存放位置；

步驟35、本次數(shù)據(jù)遷移完畢后，通知對應(yīng)Solr存儲單元加載最新數(shù)據(jù)；

步驟36、當(dāng)步驟31至步驟35完成以后，更改任務(wù)執(zhí)行記錄狀態(tài)，并保持至對應(yīng)的業(yè)務(wù)數(shù)據(jù)庫。

進(jìn)一步地，當(dāng)步驟34計算的數(shù)據(jù)存放位置與上次遷移在同一個規(guī)定時間范圍內(nèi)，則沿用上次數(shù)據(jù)存儲單元；當(dāng)步驟34計算的數(shù)據(jù)存放位置與上次遷移不在同一個規(guī)定時間范圍內(nèi)，則根據(jù)預(yù)先配置的數(shù)據(jù)存儲關(guān)系，找到本次數(shù)據(jù)存儲位置。

技術(shù)效果

1)規(guī)避了常規(guī)數(shù)據(jù)庫存儲方式在應(yīng)對海量數(shù)據(jù)存儲后，利用sql在海量數(shù)據(jù)中進(jìn)行條件檢索、排序、統(tǒng)計類操作時，查詢速率過慢的問題。

2)將Solr索引技術(shù)和傳統(tǒng)數(shù)據(jù)庫技術(shù)相結(jié)合，既滿足了高效、快速的對海量數(shù)據(jù)進(jìn)行檢索、統(tǒng)計查詢的問題，又一次性解決了數(shù)據(jù)備份的問題，形成Solr數(shù)據(jù)和傳統(tǒng)數(shù)據(jù)庫進(jìn)行數(shù)據(jù)互補(bǔ)，相互備份的有效機(jī)制。

3)對于部署而言，單臺普通應(yīng)用服務(wù)器就可以容納數(shù)十億數(shù)據(jù)信息，并能提供秒級單位的查詢速度，保證了部署便捷、高效。

4)對于開發(fā)和維護(hù)而言，降低了專業(yè)技能要求，只要在熟悉傳統(tǒng)數(shù)據(jù)庫操作的基礎(chǔ)上，對Solr索引技術(shù)和工作原理有初步了解，即可進(jìn)行相關(guān)工作，擺脫了對人員能力的高標(biāo)準(zhǔn)需求，從而降低了技術(shù)壁壘和復(fù)雜度，進(jìn)而為快速開發(fā)、平穩(wěn)部署提供了有力保障。

以下將結(jié)合附圖對本發(fā)明的構(gòu)思、具體結(jié)構(gòu)及產(chǎn)生的技術(shù)效果作進(jìn)一步說明，以充分地了解本發(fā)明的目的、特征和效果。

附圖說明

圖1是本發(fā)明的一個較佳實(shí)施例的一種基于Solr索引與Oracle存儲的海量數(shù)據(jù)自動化存儲方法的自動創(chuàng)建存儲單元的流程示意圖。

圖2是本發(fā)明的一個較佳實(shí)施例的一種基于Solr索引與Oracle存儲的海量數(shù)據(jù)自動化存儲方法的自動分類存儲海量數(shù)據(jù)的流程示意圖。

圖3是本發(fā)明的一個較佳實(shí)施例的一種基于Solr索引與Oracle存儲的海量數(shù)據(jù)自動化存儲方法的回收利用存儲單元的流程示意圖。

具體實(shí)施方式

本發(fā)明的一較佳實(shí)施例提供了一種基于Solr索引與Oracle存儲的海量數(shù)據(jù)自動化存儲方法，包括：

步驟1、自動創(chuàng)建存儲單元，預(yù)先設(shè)定N個創(chuàng)建存儲單元的規(guī)則，自動創(chuàng)建對應(yīng)規(guī)則的N個存儲單元；其中，創(chuàng)建存儲單元的規(guī)則包括根據(jù)自然年份創(chuàng)建、根據(jù)自然季度創(chuàng)建、根據(jù)自然年中的任意幾個月創(chuàng)建、根據(jù)自然月單獨(dú)創(chuàng)建、按每個存儲單元數(shù)據(jù)最大數(shù)據(jù)保有量創(chuàng)建中的一種或多種。

步驟2、自動分類存儲海量數(shù)據(jù)，預(yù)先設(shè)定存儲規(guī)則，將海量數(shù)據(jù)按照不同條件和維度進(jìn)行拆分、合并存儲到對應(yīng)的Solr中的Connection索引服務(wù)和Oracle數(shù)據(jù)庫相應(yīng)的業(yè)務(wù)表中；其中，預(yù)先設(shè)定存儲規(guī)則包括根據(jù)自然年份存儲、根據(jù)自然季度存儲、根據(jù)自然年中的任意幾個月存儲、根據(jù)自然月單獨(dú)存儲、按每個存儲單元數(shù)據(jù)最大數(shù)據(jù)保有量存儲中的一種或多種。

步驟3、回收利用存儲單元，將數(shù)據(jù)存儲不達(dá)標(biāo)的存儲單元，進(jìn)行Solr層面和Oracle數(shù)據(jù)庫層面的合并，并將其他剩余Connection和空閑Oracle業(yè)務(wù)數(shù)據(jù)表進(jìn)行回收。

具體地，如圖1所示，步驟1又稱為定時間表子流程，根據(jù)實(shí)際情況，預(yù)先設(shè)定N個存儲單元的創(chuàng)建規(guī)則，自動創(chuàng)建對應(yīng)規(guī)則的Solr層面的Connection及相關(guān)配置文件、數(shù)據(jù)同步文件以及Oracle數(shù)據(jù)庫層面的業(yè)務(wù)數(shù)據(jù)表等存儲單元。具體步驟如下：

步驟11、新建本次任務(wù)的執(zhí)行情況：記錄任務(wù)的初始狀態(tài)；

步驟12、判斷建表的標(biāo)志位開關(guān)是否開啟，當(dāng)標(biāo)志位開關(guān)處于開啟狀態(tài)，則開始后續(xù)自動創(chuàng)建傳統(tǒng)數(shù)據(jù)庫的建表程序；當(dāng)標(biāo)志位開關(guān)處于關(guān)閉狀態(tài)，則不執(zhí)行后續(xù)步驟；

步驟13、當(dāng)建表的標(biāo)志位處于開啟時，查詢基礎(chǔ)配置信息表，找到配置遷移數(shù)據(jù)的時間區(qū)間(碼表)，然后，利用時間倒敘查詢建表配置；

步驟14、根據(jù)步驟13查找到的時間區(qū)間，檢索已完成建表操作的相關(guān)動作記錄表，尋找遷移間隔，即尋求最新一次的建表時間和作用范圍進(jìn)行比較，判斷遷移間隔是否在時間區(qū)間內(nèi)；當(dāng)遷移間隔在時間區(qū)間內(nèi)，則不需要進(jìn)行建表；當(dāng)遷移間隔不在時間區(qū)間內(nèi)，則進(jìn)行后續(xù)建表操作；

步驟15、當(dāng)遷移間隔不在時間區(qū)間內(nèi)時，首先修改本次配置遷移數(shù)據(jù)截止日期為本月，然后保存至對應(yīng)業(yè)務(wù)數(shù)據(jù)表中，以備下次開始建表流程時使用；

步驟16、新建本次配置遷移數(shù)據(jù)原始記錄；在本實(shí)例中，其中開始時間問當(dāng)前月份的下一月，因?yàn)楫?dāng)前月份已在上一條記錄中有所保存，為了避免同一個月的數(shù)據(jù)出現(xiàn)在兩個不同的存儲單元中，進(jìn)行如此設(shè)置；

步驟17、根據(jù)既定生成的相關(guān)配置信息，創(chuàng)建對應(yīng)的業(yè)務(wù)數(shù)據(jù)表格和相關(guān)Solr配置文件及Connection數(shù)據(jù)加載配置文件，以便于數(shù)據(jù)同步使用；

步驟18、當(dāng)步驟11至步驟17完成以后，更改任務(wù)執(zhí)行記錄狀態(tài)，修改本次執(zhí)行為已完成，并保持至對應(yīng)的業(yè)務(wù)數(shù)據(jù)庫，以便后續(xù)的業(yè)務(wù)追蹤和情況監(jiān)測。

如圖2所示，步驟2也稱定時Solr抽取子流程，根據(jù)預(yù)先設(shè)定的抽取規(guī)則，將業(yè)務(wù)數(shù)據(jù)表中的數(shù)據(jù)同步至與之相對應(yīng)的Solr Connection中，以備后續(xù)系統(tǒng)進(jìn)行數(shù)據(jù)分析和統(tǒng)計查詢使用，同時原有數(shù)據(jù)庫中的業(yè)務(wù)數(shù)據(jù)則轉(zhuǎn)化為備份數(shù)據(jù)，實(shí)現(xiàn)業(yè)務(wù)數(shù)據(jù)的異地保存機(jī)制，以防止數(shù)據(jù)丟失或者損壞。具體操作步驟如下：

步驟21、新建任務(wù)執(zhí)行情況記錄，記錄任務(wù)執(zhí)行的初始化狀態(tài)；

步驟22、獲取需要抽取的業(yè)務(wù)數(shù)據(jù)表名和與之相對應(yīng)的Connection名稱，如圖2所示，本實(shí)施例中抽取的業(yè)務(wù)數(shù)據(jù)表名為snam_cp_operate_log；

步驟23、通知Solr啟動對應(yīng)的抽取服務(wù)，將業(yè)務(wù)表的數(shù)據(jù)按照全表模式或增量模式同步至相應(yīng)的Connection中，建立數(shù)據(jù)索引；

步驟24、當(dāng)步驟21至步驟23完成以后，更改任務(wù)執(zhí)行記錄狀態(tài)，修改本次執(zhí)行為已完成，并保持至對應(yīng)的業(yè)務(wù)數(shù)據(jù)庫，以便后續(xù)的業(yè)務(wù)追蹤和情況監(jiān)測。

步驟3按照設(shè)定的規(guī)則對數(shù)據(jù)進(jìn)行拆分，搬遷，歸檔，又稱為定時數(shù)據(jù)遷移子流程，達(dá)到高效利用、快速檢索的目的。該步驟可以支撐單臺普通配置的應(yīng)用服務(wù)器對于十億級操作日志數(shù)據(jù)的秒級查詢功能。

步驟3具體步驟如下：

步驟31、新建任務(wù)執(zhí)行情況記錄，記錄任務(wù)執(zhí)行的初始化狀態(tài)；

步驟32、查詢信息系統(tǒng)操作日志數(shù)據(jù)表，本實(shí)施例中的數(shù)據(jù)表如圖3，命名為snam_cp_operate_log；

步驟33、查詢當(dāng)前系統(tǒng)中預(yù)先配置的數(shù)據(jù)保存天數(shù)，過濾保留天數(shù)數(shù)據(jù)，并進(jìn)行計算，得到本次遷移數(shù)據(jù)；

步驟34、查找上次數(shù)據(jù)遷移的操作記錄，即查詢數(shù)據(jù)遷移配置的最新一條，從而計算本次數(shù)據(jù)存放位置；如果和上次遷移在同一個規(guī)定時間范圍內(nèi)，則延用上次數(shù)據(jù)存儲單元；如果不在上次遷移時間范圍內(nèi)，則需要根據(jù)預(yù)先配置的數(shù)據(jù)存儲關(guān)系，找到本次數(shù)據(jù)存儲位置；

步驟35、本次數(shù)據(jù)遷移完畢后，通知對應(yīng)Solr存儲單元加載最新數(shù)據(jù)，以便進(jìn)行數(shù)據(jù)同步和保存；

步驟36、當(dāng)步驟31至步驟35完成以后，更改任務(wù)執(zhí)行記錄狀態(tài)，并保持至對應(yīng)的業(yè)務(wù)數(shù)據(jù)庫，以便后續(xù)的業(yè)務(wù)追蹤和情況監(jiān)測。

其中，步驟34具體操作如下：

判斷上次數(shù)據(jù)遷移的操作記錄和本次遷移是否在同一規(guī)定時間間隔內(nèi)，如果在時間間隔內(nèi)，在Oracle數(shù)據(jù)庫中找到上次數(shù)據(jù)的存儲單元，并將本次遷移數(shù)據(jù)保存；如果不在時間間隔內(nèi)，則查詢數(shù)據(jù)遷移配置最新一條(除本條外)，再判斷是否在同一個規(guī)定時間間隔內(nèi)，如果在時間間隔內(nèi)，則保存對應(yīng)oracle存儲單元，如果不在時間間隔內(nèi)，則修改遷移配置截止日期為導(dǎo)入月份，并保存遷移配置對應(yīng)月份表，保存對應(yīng)的oracle存儲單元；利用Solr固定connection，碼表查詢保留天數(shù)，然后過濾保留天數(shù)，并進(jìn)行計算，得到本次遷移數(shù)據(jù)；查詢數(shù)據(jù)遷移配置最新一條，判斷和上次遷移是否在同一規(guī)定時間范圍內(nèi)，如果在時間范圍內(nèi)，則保存對應(yīng)connection，如果不在規(guī)定時間范圍內(nèi)，查詢數(shù)據(jù)遷移配置的最新一條(除本條)，再判斷和上次遷移是否在同一規(guī)定時間范圍內(nèi)，如果在時間范圍內(nèi)，則保存對應(yīng)connection。

以上詳細(xì)描述了本發(fā)明的較佳具體實(shí)施例。應(yīng)當(dāng)理解，本領(lǐng)域的普通技術(shù)人員無需創(chuàng)造性勞動就可以根據(jù)本發(fā)明的構(gòu)思作出諸多修改和變化。因此，凡本技術(shù)領(lǐng)域中技術(shù)人員依本發(fā)明的構(gòu)思在現(xiàn)有技術(shù)的基礎(chǔ)上通過邏輯分析、推理或者有限的實(shí)驗(yàn)可以得到的技術(shù)方案，皆應(yīng)在由權(quán)利要求書所確定的保護(hù)范圍內(nèi)。