數(shù)據(jù)靈活比對分析系統(tǒng)及方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明主要涉及數(shù)據(jù)比對、數(shù)據(jù)統(tǒng)計、以及數(shù)據(jù)挖掘的關(guān)聯(lián)分析，尤其涉及一種數(shù) 據(jù)靈活比對分析系統(tǒng)。
【背景技術(shù)】
[0002] 隨著社會的不斷進步，科學技術(shù)的快速發(fā)展，在各個行業(yè)、政府部門都產(chǎn)生了大 量、多種類數(shù)據(jù)。如何能夠依據(jù)不同的需求很好的利用這些數(shù)據(jù)，發(fā)現(xiàn)數(shù)據(jù)之間的關(guān)系以及 數(shù)據(jù)內(nèi)部深層次的價值，是當前急需解決的問題。
[0003] 為了解決這些問題，當前市面上出現(xiàn)了多種數(shù)據(jù)比對工具，比對方式也很多，但其 主要原理都基于數(shù)據(jù)之間的關(guān)系進行比對，比對數(shù)據(jù)源大多基于同種數(shù)據(jù)庫，比對方式利 用數(shù)據(jù)庫表之間的關(guān)聯(lián)字段進行關(guān)聯(lián)；對于這類數(shù)據(jù)比對工具，由于比對的數(shù)據(jù)只能基于 同種數(shù)據(jù)庫，因此、這類比對工具的比對數(shù)據(jù)源選擇缺乏靈活性；
[0004] 對于數(shù)據(jù)之間進行比對，首先需要進行數(shù)據(jù)之間的關(guān)系定義，也就是我們常說的 比對模型定義，往往大多數(shù)比對工具對模型定義的概念體現(xiàn)較少，配置也比較簡單，不能依 據(jù)用戶的思路靈活的配置一些復雜邏輯模型。這類數(shù)據(jù)比對工具使得業(yè)務(wù)人員難以按照自 己的需求進行靈活比對配置；
[0005] 對于比對工具產(chǎn)生的比對結(jié)果，大多數(shù)工具提供了單一的結(jié)果檢索功能。然而對 于一個強大的比對工具來說，對于產(chǎn)生的結(jié)果不僅僅可以檢索，還需要對結(jié)果數(shù)據(jù)按不同 維度進行統(tǒng)計分析，發(fā)現(xiàn)其內(nèi)在規(guī)律，同時還應(yīng)該進一步去發(fā)現(xiàn)結(jié)果數(shù)據(jù)之間的關(guān)聯(lián)，以及 結(jié)果數(shù)據(jù)的源數(shù)據(jù)與其他數(shù)據(jù)源之間的關(guān)聯(lián)，因此這類數(shù)據(jù)比對工具對比對結(jié)果缺少深層 次應(yīng)用，業(yè)務(wù)人員難以發(fā)現(xiàn)比對結(jié)果的深層次價值。
[0006] 現(xiàn)有專利申請中存在一些比對工具，如中國專利申請CN201210461090. 5中所公 開的一種基于停用詞的相似文檔查詢方法，這類方法通過獲取多個數(shù)據(jù)源的數(shù)據(jù)進行比 對，然而這類方法不能靈活的配置比對模型，進而使得這類方法比對方式單一，只能對兩組 數(shù)據(jù)進行一次比對，不能根據(jù)業(yè)務(wù)人員自己的需求進行比對模型配置。
[0007] 對于中國專利CN201010509834. 7中所公開的一種快速識別輸變電工程環(huán)境風險 的方法，這類方法包括對數(shù)據(jù)的分析、預警、比對和統(tǒng)計，然而這類方法并不能靈活的配置 比對模型，并且這類方法中所包括的分析手段只是簡單的分析，并未做到對數(shù)據(jù)的深層次 分析和統(tǒng)計。
[0008] 由于上述問題的存在，本發(fā)明人對現(xiàn)有的比對軟件和比對技術(shù)等相關(guān)技術(shù)進行研 究和分析，以期待研制出可以靈活的選擇數(shù)據(jù)源、多次循環(huán)比對、可以靈活的設(shè)置比對模型 同時又可以對比對的結(jié)果數(shù)據(jù)進行深層次分析的數(shù)據(jù)靈活比對分析系統(tǒng)及方法。

【發(fā)明內(nèi)容】

[0009] 為了解決上述問題，本發(fā)明人進行了銳意研究，結(jié)果發(fā)現(xiàn)：通過設(shè)置數(shù)據(jù)源配置模 塊對多個不同的業(yè)務(wù)數(shù)據(jù)庫進行數(shù)據(jù)源信息的定義，以使得該系統(tǒng)可以對多個數(shù)據(jù)源進行 靈活使用；通過設(shè)置比對模型配置模塊用于設(shè)置比對模型，使得業(yè)務(wù)員可以根據(jù)自己的需 求靈活的設(shè)置比對模型，同時通過對比對模型的循環(huán)設(shè)置使得該系統(tǒng)可以多次循環(huán)比對這 樣節(jié)省了比對的時間提高了比對效率；通過設(shè)置比對結(jié)果預警模塊、比對結(jié)果統(tǒng)計分析和 比對結(jié)果關(guān)聯(lián)查詢模塊使得業(yè)務(wù)員可以對比對結(jié)果數(shù)據(jù)信息進行深層次的分析、統(tǒng)計挖掘 或預警；從而完成本發(fā)明。
[0010] 本發(fā)明的目的在于提供以下方面：
[0011] 第一方面、一種數(shù)據(jù)靈活比對分析系統(tǒng)，其特征在于，該分析系統(tǒng)包括展現(xiàn)體系 001、應(yīng)用體系002和數(shù)據(jù)體系003 ;
[0012] 其中，應(yīng)用體系002包括：
[0013] 數(shù)據(jù)源配置模塊0021，其作為數(shù)據(jù)連接模塊用來使得數(shù)據(jù)表接入模塊0022接收 來自業(yè)務(wù)數(shù)據(jù)庫0031的數(shù)據(jù)表信息，并使得自定義表數(shù)據(jù)模塊0023接收來自自定義數(shù)據(jù) 庫0032的數(shù)據(jù)表信息；
[0014] 數(shù)據(jù)表接入模塊0022,其接收來自業(yè)務(wù)數(shù)據(jù)庫0031中的數(shù)據(jù)表信息，并將接收的 數(shù)據(jù)表信息分別傳送到比對模型配置模塊0025和關(guān)聯(lián)模型配置模塊0026 ;
[0015] 自定義表數(shù)據(jù)模塊0023,其用以將輸入的業(yè)務(wù)數(shù)據(jù)存儲在自定義數(shù)據(jù)庫0032中， 還用以接收自定義數(shù)據(jù)庫0032中的數(shù)據(jù)表信息并將接收的數(shù)據(jù)表信息傳送到比對模型配 置模塊0025中；
[0016] 比對模型配置模塊0025,其接收源數(shù)據(jù)表信息和目標數(shù)據(jù)表信息后，設(shè)置比對模 型，并將設(shè)置的比對模型傳送到比對任務(wù)管理模塊0024,其中，源數(shù)據(jù)表信息為從數(shù)據(jù)表接 入模塊0022傳送的數(shù)據(jù)表信息、從自定義表數(shù)據(jù)模塊0023傳送的數(shù)據(jù)表信息或下述比對 任務(wù)管理模塊0024在執(zhí)行所述比對模型的過程中產(chǎn)生的比對結(jié)果數(shù)據(jù)信息，目標數(shù)據(jù)表 信息為從數(shù)據(jù)表接入模塊0022傳送的數(shù)據(jù)表信息或從自定義表數(shù)據(jù)模塊0023傳送的數(shù)據(jù) 表信息；和
[0017] 比對任務(wù)管理模塊0024,其對由比對模型配置模塊0025設(shè)置的比對模型進行任 務(wù)管理，在執(zhí)行所述比對模型的過程中產(chǎn)生比對結(jié)果數(shù)據(jù)信息，將比對結(jié)果數(shù)據(jù)信息存儲 到比對結(jié)果庫0033中，或者將比對結(jié)果數(shù)據(jù)信息傳送到比對結(jié)果統(tǒng)計分析模塊0012、比對 結(jié)果關(guān)聯(lián)查詢模塊0013和比對模型配置模塊0025三者中的任一者或多者中；
[0018] 其中，展現(xiàn)體系001包括：
[0019] 比對結(jié)果統(tǒng)計分析模塊0012,其對接收的比對結(jié)果數(shù)據(jù)信息按不同的維度進行統(tǒng) 計，并以表格或圖形的方式進行顯示；和
[0020] 比對結(jié)果關(guān)聯(lián)查詢模塊0013,其對接收的比對結(jié)果數(shù)據(jù)信息按輸入的檢索條件進 行精確檢索或模糊檢索后，產(chǎn)生檢索結(jié)果，并對所述檢索結(jié)果以列表的形式進行顯示，還用 以對所述檢索結(jié)果進行溯源操作并顯示檢索結(jié)果的源信息。
[0021] 第二方面、根據(jù)上述第一方面所述的數(shù)據(jù)靈活比對分析系統(tǒng)，其特征在于，
[0022] 應(yīng)用體系002還包括關(guān)聯(lián)模型配置模塊0026,其用于接收從數(shù)據(jù)表接入模塊0022 傳送的數(shù)據(jù)表信息以及比對結(jié)果關(guān)聯(lián)查詢模塊0013在執(zhí)行溯源操作中產(chǎn)生的源信息，并 查找所述數(shù)據(jù)表信息和源信息之間共有的數(shù)據(jù)信息并顯示；和/或
[0023] 展現(xiàn)體系001還包括比對結(jié)果預警模塊0011，其接收比對任務(wù)管理模塊0024在執(zhí) 行所述比對模型的過程中產(chǎn)生的比對結(jié)果數(shù)據(jù)信息，按照數(shù)據(jù)類別及預警頻次進行預警提 /_J、1 O
[0024] 第三方面、根據(jù)上述第一方面所述的數(shù)據(jù)靈活比對分析系統(tǒng)，其特征在于，比對模 型包括：
[0025] 名稱子模塊，用以存儲比對模型的名稱；
[0026] 源表數(shù)據(jù)源子模塊，用以存儲源數(shù)據(jù)表的數(shù)據(jù)源信息；
[0027] 源數(shù)據(jù)表子模塊，用以存儲源數(shù)據(jù)表信息的表名；
[0028] 源表增量字段子模塊，用以存儲源數(shù)據(jù)表信息的增量字段；
[0029] 目標表數(shù)據(jù)源子模塊，用以存儲目標數(shù)據(jù)表信息的數(shù)據(jù)源信息；
[0030] 目標數(shù)據(jù)表子模塊，用以存儲目標數(shù)據(jù)表信息的表名；
[0031] 目標表增量字段子模塊，用以存儲目標數(shù)據(jù)表信息的增量字段；
[0032] 關(guān)聯(lián)條件定義子模塊，用以存儲源數(shù)據(jù)表信息關(guān)聯(lián)信息；
[0033] 比對方式子模塊，用以設(shè)定源數(shù)據(jù)表信息和目標數(shù)據(jù)表信息的比對方式；
[0034] 源表過濾條件子模塊，用以設(shè)定對源數(shù)據(jù)表信息的過濾條件；
[0035]目標表過濾條件子模塊，用以設(shè)定對目標數(shù)據(jù)表信息的過濾條件；和
[0036] 任選的比對模型步驟子模塊，用以設(shè)定比對方式子模塊、源表過濾條件子模塊和 目標表過濾條件子模塊的執(zhí)行順序。
[0037] 第四方面、根據(jù)上述第一方面所述的數(shù)據(jù)靈活比對分析系統(tǒng)，其特征在于，設(shè)置比 對模型包括以下步驟：
[0038] 輸入源數(shù)據(jù)表信息，
[0039] 輸入目標數(shù)據(jù)表信息，
[0040] 分別輸入源數(shù)據(jù)表信息與目標數(shù)據(jù)表信息之間要進行比對的比對數(shù)據(jù)對象，是指 針對要比對的源數(shù)據(jù)表信息與目標數(shù)據(jù)表信息，輸入查詢條件，使得源數(shù)據(jù)表信息與目標 數(shù)據(jù)表信息在查詢條件范圍內(nèi)進行數(shù)據(jù)比對，
[0041] 輸入源數(shù)據(jù)表信息與目標數(shù)據(jù)表信息之間要比對的源數(shù)據(jù)列或增量數(shù)據(jù)列信息， 是指針對要比對的源數(shù)據(jù)表信息與目標數(shù)據(jù)表信息，輸入要進行比對的數(shù)據(jù)列或增量數(shù)據(jù) 列，和
[0042] 輸入比對數(shù)據(jù)列之間的比對邏輯關(guān)系，是指針對要比對的源數(shù)據(jù)表信息與目標數(shù) 據(jù)表信息輸入的比對列信息，輸入要進行比對的比對關(guān)系。
[0043] 第五方面、根據(jù)上述