本發(fā)明涉及通信
技術(shù)領(lǐng)域：
，特別是一種基于搜索引擎的數(shù)據(jù)同步方法及系統(tǒng)。
背景技術(shù)：
：在這個信息化的時代，搜索引擎在各行各業(yè)發(fā)揮著極其重要的作用，例如，網(wǎng)店的店主需要向搜索引擎提供關(guān)于其商品的簡介，用于買家搜索和閱讀。而傳統(tǒng)的搜索引擎，其后臺管理是通過代表數(shù)據(jù)信息的字符串來實現(xiàn)數(shù)據(jù)的傳遞，然而字符串不能直接一目了然的被開發(fā)者獲知，在同步數(shù)據(jù)的過程中數(shù)據(jù)可能會被丟失或篡改，導(dǎo)致數(shù)據(jù)信息不準確，而管理者又很難在短時間內(nèi)獲知。另外，商家等用戶提供的數(shù)據(jù)源的格式種類繁多，而后臺管理中解析數(shù)據(jù)源的插件不能百分百滿足各類格式的數(shù)據(jù)源的解析，導(dǎo)致數(shù)據(jù)源的解析失敗，這極大的影響了搜索引擎對于數(shù)據(jù)信息傳遞的效率和準確性。技術(shù)實現(xiàn)要素：本發(fā)明提供一種基于搜索引擎的數(shù)據(jù)同步方法及系統(tǒng)，用于解決數(shù)據(jù)同步過程效率低下的問題，實現(xiàn)了實時自動同步數(shù)據(jù)，保證了數(shù)據(jù)的完整性和準確性。本發(fā)明解決上述技術(shù)問題的技術(shù)方案如下：一種基于搜索引擎的數(shù)據(jù)同步方法，包括：步驟1、根據(jù)業(yè)務(wù)創(chuàng)建索引倉庫，在所述索引倉庫內(nèi)創(chuàng)建索引字段；步驟2、解析所述索引字段對應(yīng)的數(shù)據(jù)源，并以第一表的形式配置所述數(shù)據(jù)源對應(yīng)的全量同步數(shù)據(jù)信息；步驟3、調(diào)用所述全量同步數(shù)據(jù)信息對應(yīng)的同步接口，將所述數(shù)據(jù)源導(dǎo)入所述索引倉庫，完成全量數(shù)據(jù)的同步。本發(fā)明的有益效果是：本發(fā)明通過配置索引字段以及以表的形式配置全量同步數(shù)據(jù)信息，避免了傳統(tǒng)的利用字符串等作為信息載體的問題，實現(xiàn)了數(shù)據(jù)信息的可視化；另外，在通過同步接口將全量數(shù)據(jù)導(dǎo)入索引倉庫后，管理人員進入后臺管理頁面可查看全量數(shù)據(jù)是否已存在于索引倉庫中。本方法極大地提高了將全量數(shù)據(jù)導(dǎo)入索引倉庫的成功率和準確率，實現(xiàn)了實時自動同步數(shù)據(jù)，保證了數(shù)據(jù)的完整性和準確性。在上述技術(shù)方案的基礎(chǔ)上，本發(fā)明還可以做如下改進。進一步，所述同步方法還包括：步驟4、當(dāng)所述數(shù)據(jù)源對應(yīng)有增量數(shù)據(jù)時，以第二表的形式配置每同步一次所述增量數(shù)據(jù)的時間間隔；步驟5、調(diào)用所述同步接口，將所述增量數(shù)據(jù)和所述時間間隔導(dǎo)入所述索引倉庫；步驟6、在所述第二表中記錄所述增量數(shù)據(jù)導(dǎo)入所述索引倉庫的時間；步驟7、以所述時刻為起點，等待所述時間間隔后，同步所述增量數(shù)據(jù)，完成增量數(shù)據(jù)的同步。本發(fā)明進一步的有益效果是：在一項業(yè)務(wù)對應(yīng)的全量數(shù)據(jù)經(jīng)同步后，若該全量數(shù)據(jù)有對應(yīng)的增量數(shù)據(jù)時，還可以對該增量數(shù)據(jù)進行同步，增大了數(shù)據(jù)同步的靈活性。進一步，所述步驟1包括：步驟1.1、根據(jù)業(yè)務(wù)創(chuàng)建索引倉庫；步驟1.2、向所述索引倉庫內(nèi)導(dǎo)入配置文件；步驟1.3、在所述配置文件中配置查詢信息，所述查詢信息包括數(shù)據(jù)源表和數(shù)據(jù)源唯一編碼；步驟1.4、根據(jù)所述數(shù)據(jù)源表，創(chuàng)建索引字段，所述索引字段包括索引字段名和所述字段名對應(yīng)的字段類型。進一步，當(dāng)所述第一表配置有多個所述數(shù)據(jù)源對應(yīng)的所述全量同步數(shù)據(jù)信息時，所述步驟3包括：按照所述數(shù)據(jù)源唯一編碼的順序，依次調(diào)用所述全量同步數(shù)據(jù)信息對應(yīng)的同步接口，將多個所述數(shù)據(jù)源導(dǎo)入所述索引倉庫；或者，當(dāng)所述第一表配置有多個所述數(shù)據(jù)源對應(yīng)的所述全量同步數(shù)據(jù)信息，且接收到僅同步一個所述數(shù)據(jù)源的指令時，所述步驟3包括：根據(jù)該數(shù)據(jù)源對應(yīng)的數(shù)據(jù)源唯一編碼，調(diào)用所述全量同步數(shù)據(jù)信息對應(yīng)的同步接口，并將該數(shù)據(jù)源導(dǎo)入所述索引倉庫。進一步，需要重新同步一個數(shù)據(jù)源或多個數(shù)據(jù)源時，所述步驟3還包括：根據(jù)需要重新同步的數(shù)據(jù)源對應(yīng)的所述數(shù)據(jù)源唯一編碼，調(diào)用所述全量同步數(shù)據(jù)信息對應(yīng)的同步接口，將需要重新同步的數(shù)據(jù)源導(dǎo)入所述索引倉庫。本發(fā)明還提供了一種基于搜索引擎的數(shù)據(jù)同步系統(tǒng)，包括：索引字段創(chuàng)建模塊，用于根據(jù)業(yè)務(wù)創(chuàng)建索引倉庫，并在所述索引倉庫內(nèi)創(chuàng)建索引字段；同步數(shù)據(jù)信息配置模塊，用于根據(jù)所述索引字段創(chuàng)建模塊創(chuàng)建的所述索引字段，解析所述索引字段對應(yīng)的數(shù)據(jù)源，并以第一表的形式配置所述數(shù)據(jù)源對應(yīng)的全量同步數(shù)據(jù)信息；同步數(shù)據(jù)導(dǎo)入模塊，用于根據(jù)所述同步數(shù)據(jù)信息配置模塊配置的所述全量同步數(shù)據(jù)信息，調(diào)用所述全量同步數(shù)據(jù)信息對應(yīng)的同步接口，并將所述數(shù)據(jù)源導(dǎo)入所述索引倉庫。本發(fā)明的有益效果是：本系統(tǒng)通過索引字段創(chuàng)建模塊配置索引字段以及通過同步數(shù)據(jù)信息配置模塊以表的形式配置全量同步數(shù)據(jù)信息，避免了傳統(tǒng)的利用字符串等作為信息載體的問題，實現(xiàn)了數(shù)據(jù)信息的可視化；另外，在通過同步數(shù)據(jù)導(dǎo)入模塊將全量數(shù)據(jù)導(dǎo)入索引倉庫后，管理人員進入后臺管理頁面可查看全量數(shù)據(jù)是否已存在于索引倉庫中。本系統(tǒng)極大地提高了將全量數(shù)據(jù)導(dǎo)入索引倉庫的成功率和準確率，實現(xiàn)了實時自動同步數(shù)據(jù)，保證了數(shù)據(jù)的完整性和準確性。進一步，所述同步數(shù)據(jù)信息配置模塊還用于：當(dāng)所述數(shù)據(jù)源對應(yīng)有增量數(shù)據(jù)時，以第二表的形式配置每同步一次所述增量數(shù)據(jù)的時間間隔；所述同步數(shù)據(jù)導(dǎo)入模塊還用于：調(diào)用所述同步接口，將所述增量數(shù)據(jù)和所述時間間隔導(dǎo)入所述索引倉庫；所述同步數(shù)據(jù)信息配置模塊還用于：在所述第二表中記錄所述增量數(shù)據(jù)導(dǎo)入所述索引倉庫的時間；所述同步數(shù)據(jù)導(dǎo)入模塊還用于：以所述時刻為起點，等待所述時間間隔后，同步所述增量數(shù)據(jù)。進一步，所述索引字段創(chuàng)建模塊具體用于：根據(jù)業(yè)務(wù)創(chuàng)建索引倉庫，向所述索引倉庫內(nèi)導(dǎo)入配置文件，在所述配置文件中配置查詢信息，所述查詢信息包括數(shù)據(jù)源表和數(shù)據(jù)源唯一編碼，根據(jù)所述數(shù)據(jù)源表，創(chuàng)建索引字段，所述索引字段包括索引字段名和所述字段名對應(yīng)的字段類型。進一步，當(dāng)所述第一表配置有多個所述數(shù)據(jù)源對應(yīng)的所述全量同步數(shù)據(jù)信息時，所述同步數(shù)據(jù)導(dǎo)入模塊用于：按照所述數(shù)據(jù)源唯一編碼的順序，依次調(diào)用所述全量同步數(shù)據(jù)信息對應(yīng)的同步接口，將多個所述數(shù)據(jù)源導(dǎo)入所述索引倉庫；或者，當(dāng)所述第一表配置有多個所述數(shù)據(jù)源對應(yīng)的所述全量同步數(shù)據(jù)信息，且接收到僅同步一個所述數(shù)據(jù)源的指令時，所述同步數(shù)據(jù)導(dǎo)入模塊用于：根據(jù)該數(shù)據(jù)源對應(yīng)的數(shù)據(jù)源唯一編碼，調(diào)用所述全量同步數(shù)據(jù)信息對應(yīng)的同步接口，并將該數(shù)據(jù)源導(dǎo)入所述索引倉庫。進一步，需要重新同步一個數(shù)據(jù)源或多個數(shù)據(jù)源時，所述同步數(shù)據(jù)導(dǎo)入模塊還用于：在根據(jù)需要重新同步的數(shù)據(jù)源對應(yīng)的所述數(shù)據(jù)源唯一編碼，調(diào)用所述全量同步數(shù)據(jù)信息對應(yīng)的同步接口，將需要重新同步的數(shù)據(jù)源導(dǎo)入所述索引倉庫。附圖說明圖1為本發(fā)明實施例一提供的一種基于搜索引擎的數(shù)據(jù)同步方法的流程示意圖；圖2為本發(fā)明實施例二提供的一種基于搜索引擎的數(shù)據(jù)同步方法的流程示意圖；圖3為圖1和/或圖2中的步驟110的流程示意圖；圖4為本發(fā)明實施例三提供的一種基于搜索引擎的數(shù)據(jù)同步系統(tǒng)的示意性結(jié)構(gòu)圖。具體實施方式以下結(jié)合附圖對本發(fā)明的原理和特征進行描述，所舉實例只用于解釋本發(fā)明，并非用于限定本發(fā)明的范圍。實施例一：一種基于搜索引擎的數(shù)據(jù)同步方法100，如圖1所示，包括：步驟110、根據(jù)業(yè)務(wù)創(chuàng)建索引倉庫，在索引倉庫內(nèi)創(chuàng)建索引字段；步驟120、解析索引字段對應(yīng)的數(shù)據(jù)源，并以第一表的形式配置數(shù)據(jù)源對應(yīng)的全量同步數(shù)據(jù)信息；步驟130、調(diào)用全量同步數(shù)據(jù)信息對應(yīng)的同步接口，將數(shù)據(jù)源導(dǎo)入索引倉庫，完成全量數(shù)據(jù)的同步。實施例二：可選的，作為本發(fā)明的另一個實施例，如圖2所示，所述方法100包括：步驟110、根據(jù)業(yè)務(wù)創(chuàng)建索引倉庫，在索引倉庫內(nèi)創(chuàng)建索引字段；步驟120、解析索引字段對應(yīng)的數(shù)據(jù)源，并以第一表的形式配置數(shù)據(jù)源對應(yīng)的全量同步數(shù)據(jù)信息；步驟130、調(diào)用全量同步數(shù)據(jù)信息對應(yīng)的同步接口，將數(shù)據(jù)源導(dǎo)入索引倉庫，完成全量數(shù)據(jù)的同步；步驟140、當(dāng)數(shù)據(jù)源對應(yīng)有增量數(shù)據(jù)時，以第二表的形式配置每同步一次增量數(shù)據(jù)的時間間隔；步驟150、調(diào)用同步接口，將增量數(shù)據(jù)和時間間隔導(dǎo)入索引倉庫；步驟160、在第二表中記錄增量數(shù)據(jù)導(dǎo)入索引倉庫的時刻；步驟170、以上述時刻為起點，等待上述時間間隔后，同步增量數(shù)據(jù)，完成增量數(shù)據(jù)的同步。具體的，在上述實施例中，如圖3所示，圖1和/或圖2中的步驟110包括：步驟111、根據(jù)業(yè)務(wù)創(chuàng)建索引倉庫corel；步驟112、向索引倉庫的core1/conf文件夾中導(dǎo)入配置文件；步驟113、在配置文件中配置查詢信息，查詢信息包括查詢規(guī)則、數(shù)據(jù)源表和數(shù)據(jù)源唯一編碼；步驟114、根據(jù)數(shù)據(jù)源表，創(chuàng)建索引字段，該索引字段包括索引字段名和字段名對應(yīng)的字段類型。其中，步驟113中配置查詢信息，具體的為：將uniquekey參數(shù)值設(shè)置為數(shù)據(jù)源的唯一編碼(即id)，例如：<uniquekey>docid</uniquekey>；將defaultsearchfield參數(shù)值設(shè)置為搜索時默認是搜索數(shù)據(jù)源表中數(shù)據(jù)源對應(yīng)的字段，例如：<defaultsearchfield>doctitle</defaultsearchfield>；將solrqueryparser參數(shù)屬性defaultoperator的值設(shè)置為默認的查詢規(guī)則，例如：<solrqueryparserdefaultoperator＝"or"/>。其中，一項業(yè)務(wù)對應(yīng)一個數(shù)據(jù)源，一個數(shù)據(jù)源對應(yīng)一個唯一編碼。步驟114中創(chuàng)建索引字段，具體的為：設(shè)置數(shù)據(jù)源表中需要同步到搜索引擎中的數(shù)據(jù)源對應(yīng)的字段名、字段類型，例如：<fieldname＝"doctitle"type＝"text_ik"indexed＝"true"stored＝"true"omitnorms＝"true"/>，其中，name屬性值為字段名稱，type屬性值為字段類型。另外，需要說明的是，在實施例一和實施例二中，用于解析索引字段對應(yīng)的數(shù)據(jù)源的工具為apachetika開源插件，并且該開源插件中的解析數(shù)據(jù)算法經(jīng)過了優(yōu)化，使得該開源插件可對任何格式(例如：mysql、oracle、txt、word、ppt、excel和pdf)的數(shù)據(jù)源進行解析，且解析的成功率為100％，這極大地提高了將全量數(shù)據(jù)導(dǎo)入索引倉庫的成功率和準確率，保證了數(shù)據(jù)的完整性和準確性。同時，需要說明的是，全量同步數(shù)據(jù)信息為配置信息，該配置信息通過三張表來記錄數(shù)據(jù)源的連接信息、數(shù)據(jù)源表的個數(shù)以及數(shù)據(jù)源對應(yīng)的索引字段，用于定位、連接和搜索數(shù)據(jù)源，另外，關(guān)于增量數(shù)據(jù)的同步，除了上述三張表，還包括第四張表，該第四張表記錄同步增量數(shù)據(jù)的時間間隔以及將增量數(shù)據(jù)導(dǎo)入索引倉庫的時間。另外，多項業(yè)務(wù)對應(yīng)多個數(shù)據(jù)源，每項業(yè)務(wù)的配置信息都會記錄在上述表中，例如，對于數(shù)據(jù)源的全量同步，上述三張表分別為表1、表2和表3，業(yè)務(wù)有a業(yè)務(wù)和b業(yè)務(wù)，那么a業(yè)務(wù)對應(yīng)的配置信息分布在表1的第一行、表2的第一行和表3的第一行，b業(yè)務(wù)對應(yīng)的配置信息分布在表1的第二行、表2的第二行和表3的第三行。當(dāng)全量數(shù)據(jù)(即數(shù)據(jù)源)對應(yīng)有增量數(shù)據(jù)并需要同步時，執(zhí)行步驟140～170，其中，在調(diào)用同步接口將時間間隔和增量數(shù)據(jù)成功導(dǎo)入索引倉庫后，記錄導(dǎo)入時間，在等待上述時間間隔后，上述增量數(shù)據(jù)即可同步進入全量數(shù)據(jù)對應(yīng)的索引倉庫，完成增量數(shù)據(jù)的同步，例如，時間間隔為5分鐘，增量數(shù)據(jù)導(dǎo)入索引倉庫的時間為8點15分，等待5分鐘后，在8點20分同步增量數(shù)據(jù)，完成增量數(shù)據(jù)的同步，無需再次調(diào)用全量同步數(shù)據(jù)信息對應(yīng)的同步接口。另外，上述時間間隔可視具體情況而定。當(dāng)調(diào)用全量同步數(shù)據(jù)信息對應(yīng)的同步接口并將數(shù)據(jù)源導(dǎo)入索引倉庫后，工作人員可登陸后臺管理頁面，進入索引倉庫，查詢數(shù)據(jù)源是否存在，如果存在，說明導(dǎo)入成功，如果不存在，可能是用戶提供的數(shù)據(jù)源地址連接不上，或是硬件問題，可人工干預(yù)，重新從步驟110開始進行數(shù)據(jù)同步操作。具體的，在實施例二中，步驟120、步驟140和步驟160中，配置全量同步數(shù)據(jù)信息時需要建立第一表，配置對應(yīng)的增量數(shù)據(jù)每同步一次的時間間隔時需要建立第二表。其中，第一表包括search_db_tb表、search_db表、search_db_tb_field表，第二表包括sys_task表。其中，search_db_tb表：iddb_idtb_namequerydelta_query_iddelta_querysearch_db_tb表包括的項目為：id、db_id、tb_name、query、delta_query_id和delta_query。其中，id為表主鍵；db_id為search_db表的主鍵；tb_name為數(shù)據(jù)表名稱；pk_id為數(shù)據(jù)表主鍵；query為同步數(shù)據(jù)時的查詢sql語句；delta_query_id為增量同步數(shù)據(jù)時執(zhí)行的查詢sql語句，查詢結(jié)果為需要增量同步的數(shù)據(jù)id；delta_query為增量同步數(shù)據(jù)時執(zhí)行的查詢sql語句，根據(jù)delta_query_id字段值中的sql執(zhí)行結(jié)果查詢數(shù)據(jù)。search_db表：idservice_idurldriverusernamepasswordidsearch_db表包括的項目為：id、service_id、url、driver、username和passwordid。id為表主鍵；service_id為search_index表的主鍵；url，driver，username，password-id為數(shù)據(jù)路連接信息。search_db_tb_field表:search_db_tb_field表包括的項目為：id、tb_id、field_name、index_name、is_filter_html、is_pinyin、index_pinyin_name和doc_obtainid。id為表主鍵；tb_id為search_db_tb表的主鍵；field_name為數(shù)據(jù)表要同步到搜索引擎中的字段名；index_name為數(shù)據(jù)表字段在搜索引擎中對應(yīng)的字段名稱；is_filter_html表示字段值是否過濾html標簽(1表示過濾，2表示不過濾)is_pinyin表示字段值是否轉(zhuǎn)拼音(1表示轉(zhuǎn)拼音，2表示不轉(zhuǎn)拼音)index_pinyin_name表示成轉(zhuǎn)拼音的字段值，同步到搜索引擎后的字段名稱；doc_obtain表示是否根據(jù)路徑取文件內(nèi)容(1表示是，2表示否)。sys_task表:idtask_nameclass_pashexpressionlast_task_timelsys_task表包括的項目為：id、task_name、class_pash、expression和last_task_time。id為表主鍵；task_name為增量事務(wù)名稱；class_pash為增量事務(wù)路徑；expression為增量事務(wù)時間間隔；last_task_time為上一次增量事務(wù)執(zhí)行的時間。需要說明的是，一個全量同步數(shù)據(jù)當(dāng)有多個增量數(shù)據(jù)需要同步時，則對應(yīng)地執(zhí)行多次步驟140～步驟160。具體的，在上述實施例中，當(dāng)?shù)谝槐砼渲糜卸鄠€數(shù)據(jù)源對應(yīng)的全量同步數(shù)據(jù)信息時，步驟130包括：按照數(shù)據(jù)源唯一編碼的順序，依次調(diào)用全量同步數(shù)據(jù)信息對應(yīng)的同步接口，將多個數(shù)據(jù)源導(dǎo)入索引倉庫；或者，當(dāng)?shù)谝槐砼渲糜卸鄠€數(shù)據(jù)源對應(yīng)的全量同步數(shù)據(jù)信息，且接收到僅同步一個數(shù)據(jù)源的指令時，步驟130包括：根據(jù)該數(shù)據(jù)源對應(yīng)的數(shù)據(jù)源唯一編碼，調(diào)用含有該數(shù)據(jù)源唯一編碼的同步接口，并將該數(shù)據(jù)源導(dǎo)入索引倉庫。另外，需要重新同步一個數(shù)據(jù)源或多個數(shù)據(jù)源時，步驟130還包括：根據(jù)需要重新同步的數(shù)據(jù)源對應(yīng)的數(shù)據(jù)源唯一編碼，調(diào)用全量同步數(shù)據(jù)信息對應(yīng)的同步接口，將需要重新同步的數(shù)據(jù)源導(dǎo)入索引倉庫。本發(fā)明通過配置索引字段以及以表的形式配置全量同步數(shù)據(jù)信息，避免了傳統(tǒng)的利用字符串等作為信息載體的問題，實現(xiàn)了數(shù)據(jù)信息的可視化；另外，在通過同步接口將全量數(shù)據(jù)導(dǎo)入索引倉庫后，管理人員進入后臺管理頁面可查看全量數(shù)據(jù)是否已存在于索引倉庫中，進一步地，由于本發(fā)明使用的用于解析數(shù)據(jù)源的工具為apachetika開源插件，且該開源插件中的解析數(shù)據(jù)算法經(jīng)過了優(yōu)化，使得該開源插件可對任何格式(例如：mysql、oracle、txt、word、ppt、excel和pdf)的數(shù)據(jù)源進行解析，且解析的成功率為100％。本方法極大地提高了將全量數(shù)據(jù)導(dǎo)入索引倉庫的成功率和準確率，實現(xiàn)了實時自動同步數(shù)據(jù)，保證了數(shù)據(jù)的完整性和準確性。實施例三：本發(fā)明還提供了一種基于搜索引擎的數(shù)據(jù)同步系統(tǒng)200，如圖4所示，包括：索引字段創(chuàng)建模塊，用于根據(jù)業(yè)務(wù)創(chuàng)建索引倉庫，并在索引倉庫內(nèi)創(chuàng)建索引字段；同步數(shù)據(jù)信息配置模塊，用于根據(jù)索引字段創(chuàng)建模塊創(chuàng)建的索引字段，解析索引字段對應(yīng)的數(shù)據(jù)源，并以第一表的形式配置數(shù)據(jù)源對應(yīng)的全量同步數(shù)據(jù)信息；同步數(shù)據(jù)導(dǎo)入模塊，用于根據(jù)同步數(shù)據(jù)信息配置模塊配置的全量同步數(shù)據(jù)信息，調(diào)用全量同步數(shù)據(jù)信息對應(yīng)的同步接口，并將數(shù)據(jù)源導(dǎo)入索引倉庫。另外，需要說明的是，在一項業(yè)務(wù)對應(yīng)的全量數(shù)據(jù)經(jīng)同步后，若該全量數(shù)據(jù)有對應(yīng)的增量數(shù)據(jù)時，還可以對該增量數(shù)據(jù)進行同步。相應(yīng)的，同步數(shù)據(jù)信息配置模塊還用于：當(dāng)數(shù)據(jù)源對應(yīng)有增量數(shù)據(jù)時，以第二表的形式配置每同步一次增量數(shù)據(jù)的時間間隔；同步數(shù)據(jù)導(dǎo)入模塊還用于：調(diào)用同步接口，將增量數(shù)據(jù)和時間間隔導(dǎo)入索引倉庫；同步數(shù)據(jù)信息配置模塊還用于：在第二表中記錄將增量數(shù)據(jù)導(dǎo)入索引倉庫的時刻；同步數(shù)據(jù)導(dǎo)入模塊還用于：以時刻為起點，等待時間間隔后，同步增量數(shù)據(jù)，完成增量數(shù)據(jù)的同步。其中，索引字段創(chuàng)建模塊具體用于：根據(jù)業(yè)務(wù)創(chuàng)建索引倉庫，向索引倉庫內(nèi)導(dǎo)入配置文件，在配置文件中配置查詢信息，并根據(jù)查詢信息，創(chuàng)建索引字段，其中，查詢信息包括查詢規(guī)則、數(shù)據(jù)源表和數(shù)據(jù)源唯一編碼，索引字段包括索引字段名和字段名對應(yīng)的字段類型。當(dāng)?shù)谝槐砼渲糜卸鄠€數(shù)據(jù)源對應(yīng)的全量同步數(shù)據(jù)信息時，同步數(shù)據(jù)導(dǎo)入模塊用于：按照數(shù)據(jù)源唯一編碼的順序，依次調(diào)用全量同步數(shù)據(jù)信息對應(yīng)的同步接口，將多個數(shù)據(jù)源導(dǎo)入索引倉庫；或者，當(dāng)?shù)谝槐砼渲糜卸鄠€數(shù)據(jù)源對應(yīng)的全量同步數(shù)據(jù)信息，且接收到僅同步一個數(shù)據(jù)源的指令時，同步數(shù)據(jù)導(dǎo)入模塊用于：根據(jù)該數(shù)據(jù)源對應(yīng)的數(shù)據(jù)源唯一編碼，調(diào)用全量同步數(shù)據(jù)信息對應(yīng)的同步接口，并將該數(shù)據(jù)源導(dǎo)入索引倉庫。需要重新同步一個數(shù)據(jù)源或多個數(shù)據(jù)源時，同步數(shù)據(jù)導(dǎo)入模塊還用于：根據(jù)需要重新同步的數(shù)據(jù)源對應(yīng)的數(shù)據(jù)源唯一編碼，調(diào)用全量同步數(shù)據(jù)信息對應(yīng)的同步接口，將需要重新同步的數(shù)據(jù)源導(dǎo)入索引倉庫。需要說明的是，該系統(tǒng)由java語言開發(fā)，通過索引字段創(chuàng)建模塊配置索引字段以及通過同步數(shù)據(jù)信息配置模塊以表的形式配置全量同步數(shù)據(jù)信息，避免了傳統(tǒng)的利用字符串等作為信息載體的問題，實現(xiàn)了數(shù)據(jù)信息的可視化；另外，在通過同步數(shù)據(jù)導(dǎo)入模塊將全量數(shù)據(jù)導(dǎo)入索引倉庫后，管理人員進入后臺管理頁面可查看全量數(shù)據(jù)是否已存在于索引倉庫中，進一步地，由于本發(fā)明在同步數(shù)據(jù)信息配置模塊中使用的用于解析數(shù)據(jù)源的工具為apachetika開源插件，且該開源插件中的解析數(shù)據(jù)算法經(jīng)過了優(yōu)化，使得該開源插件可對任何格式(例如：mysql、oracle、txt、word、ppt、excel和pdf)的數(shù)據(jù)源進行解析，且解析的成功率為100％。本系統(tǒng)極大地提高了將全量數(shù)據(jù)導(dǎo)入索引倉庫的成功率和準確率，實現(xiàn)了實時自動同步數(shù)據(jù)，保證了數(shù)據(jù)的完整性和準確性。另外，由于本發(fā)明在同步數(shù)據(jù)信息配置模塊中使用的用于解析數(shù)據(jù)源的工具為apachetika開源插件，且該開源插件中的解析數(shù)據(jù)算法經(jīng)過了優(yōu)化，使得該開源插件可對任何格式的數(shù)據(jù)源進行解析，且經(jīng)測試，解析的成功率為100％，如果出現(xiàn)解析不成功的，那可能是對方的數(shù)據(jù)庫連接不上，或是硬件問題。以上所述僅為本發(fā)明的較佳實施例，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進等，均應(yīng)包含在本發(fā)明的保護范圍之內(nèi)。當(dāng)前第1頁12