本發(fā)明涉及大數(shù)據(jù)分析領域，尤其是涉及一種應用于自動列車控制系統(tǒng)海量日志的大數(shù)據(jù)融合分析方法。

背景技術：

當前，隨著用戶在故障突發(fā)時對系統(tǒng)日志的依賴程度越來越高，同時對于歷史日志數(shù)據(jù)的統(tǒng)計預測分析要求逐步提升，急需一種有效的日志大數(shù)據(jù)融合分析方法。

然而在目前的自動列控控制系統(tǒng)中，只是簡單地把各子系統(tǒng)日志按協(xié)議解析后寫入本地磁盤或同步到關系型數(shù)據(jù)庫，以備后續(xù)的檢索需要。這種分析方法存在的弊端：

第一、數(shù)據(jù)范圍限定于傳統(tǒng)手段捕捉到的結構化數(shù)據(jù)，且只停留于對獨立系統(tǒng)中可見的小規(guī)模的抽樣數(shù)據(jù)進行分析，對于海量的非結構化或半結構化全量數(shù)據(jù)缺乏分析；

第二、分析是建立在事先創(chuàng)建的關系數(shù)據(jù)模型之上的，缺乏對整體日志的綜合分析，無法對跨系統(tǒng)日志間的關聯(lián)關系進行深度挖掘利用；

第三、無法滿足故障預測時效性的要求，以上的分析方法是基于定向的批處理技術，在獲取所需的關鍵數(shù)據(jù)之前無法進行預測分析。

第四、無法滿足擴展性需求，隨著系統(tǒng)日志的海量增長，以上方法只能通過昂貴的硬件來滿足其存儲和處理能力需求，如大規(guī)模并行處理(mpp)系統(tǒng)或對稱多處理(smp)系統(tǒng)等。

另外，隨著系統(tǒng)擴展，各子系統(tǒng)日志格式及日志形式越來越趨向于多樣化，分析復雜度已遠超出了基本的分析系統(tǒng)和分析人員的能力，隨其帶來的可維護性問題也是瓶頸。

技術實現(xiàn)要素：

本發(fā)明的目的就是為了克服上述現(xiàn)有技術存在的缺陷而提供一種應用于自動列車控制系統(tǒng)海量日志的大數(shù)據(jù)融合分析方法。

本發(fā)明的目的可以通過以下技術方案來實現(xiàn)：

一種應用于自動列車控制系統(tǒng)海量日志的大數(shù)據(jù)融合分析方法，包括以下步驟：

(1)對系統(tǒng)日志中的業(yè)務可分析項進行基礎數(shù)據(jù)類型定義：從系統(tǒng)日志數(shù)據(jù)中抽象出統(tǒng)一的數(shù)據(jù)類型定義，完整定義日志數(shù)據(jù)的基礎分類方法及內容，分類結果作為后續(xù)分析的基礎；

(2)對系統(tǒng)融合分析業(yè)務進行建模：通過業(yè)務維度抽取子系統(tǒng)中關聯(lián)的數(shù)據(jù)定義類型并建立邏輯模型；其中業(yè)務維度包括時間維度、車次維度、設備維度；

(3)基于開放、標準原則實現(xiàn)統(tǒng)一的日志采集過程：基于開放、標準原則提取并建立統(tǒng)一的日志采集框架封裝，實現(xiàn)實時日志和歷史日志的融合，實現(xiàn)內部的一致性表示；其中日志包括不限于列控車載系統(tǒng)日志、列控地面系統(tǒng)日志、聯(lián)鎖系統(tǒng)日志、軌旁系統(tǒng)日志；

所述的日志為多源異構數(shù)據(jù)，采集過程包括兩類：

一類是基于流的增量實時采集：tcpsocket、webservice、streaming；

一類是基于歷史數(shù)據(jù)的定時日志采集：file、db、ftp。

(4)基于融合分析數(shù)據(jù)處理規(guī)則實現(xiàn)日志數(shù)據(jù)的預處理和存儲：根據(jù)業(yè)務規(guī)則及日志數(shù)據(jù)特性，設計數(shù)據(jù)處理規(guī)則，通過動態(tài)策略解析并提取日志信息，通過單業(yè)務維度或多業(yè)務維度實現(xiàn)數(shù)據(jù)的按需存儲；

(5)基于業(yè)務分析模型實現(xiàn)跨系統(tǒng)日志關聯(lián)分析：實現(xiàn)基于業(yè)務維度的分析算法模型的封裝實現(xiàn)，應用于實時分析和歷史分析，實現(xiàn)實時數(shù)據(jù)和歷史數(shù)據(jù)可擴展性的同步分析；

(6)通過統(tǒng)一接口實現(xiàn)日志分析結果的可視化展示：為數(shù)據(jù)共享服務層提供標準化的統(tǒng)一接口。所述的數(shù)據(jù)共享服務層包括restfulapi、tcpsocket、relationdb、nosqldb。

所述的步驟(1)中的統(tǒng)一的數(shù)據(jù)類型定義具體如下：

建立基礎數(shù)據(jù)類型定義表，通過該表按層次定義系統(tǒng)基礎數(shù)據(jù)，如下：

(11)第一層級為基本類型，包括開關量、多狀態(tài)量、模擬量、字符量、曲線、文本、二進制；

(12)第二層級為具體的類型碼關聯(lián)具體的業(yè)務類型；

(13)將上述分類關系整理為具備唯一標識表示特定業(yè)務類型的數(shù)據(jù)表形式，供后續(xù)分析統(tǒng)一進行引用。

所述的具體的類型碼關聯(lián)具體的業(yè)務類型具體為：開關量進一步細分為緊急制動狀態(tài)開關量、車輛空轉開關量；模擬量進一步細分為輪徑模擬量、牽引力模擬量。

所述的步驟(2)對系統(tǒng)融合分析業(yè)務進行建模具體為：

基于統(tǒng)一的基礎數(shù)據(jù)類型定義，對融合分析場景進行建模，對算法進行封裝，分別為：

(21)對于故障診斷業(yè)務，建立智能分析的故障樹分析模型；

(22)對于統(tǒng)計分析業(yè)務，建立趨勢分析和預測模型；

所述的步驟(3)中基于開放、標準的原則實現(xiàn)統(tǒng)一的日志采集過程具體為：

日志采集將實時的日志信息導入到系統(tǒng)中和將已經(jīng)存在的日志信息導入到系統(tǒng)中，采集框架實現(xiàn)統(tǒng)一的日志采集過程：

(31)為日志源頭設置代理監(jiān)控，包括文本日志、關系數(shù)據(jù)庫日志，對這些日志的路徑及代理檢測時間頻率進行配置；

(32)當監(jiān)控到日志流后，以設定的格式發(fā)送給物理通道，該通道將收集到的日志流組成有序的序列；

(33)接收器通過流的方式，按照設定的配置規(guī)則，將流寫入分布式存儲。

所述的(4)中的基于融合分析數(shù)據(jù)處理規(guī)則實現(xiàn)日志數(shù)據(jù)的預處理和存儲具體為：

(41)數(shù)據(jù)預處理：對系統(tǒng)日志進行有效整合、清洗、轉換和提?。?/p>

(411)預處理是根據(jù)業(yè)務規(guī)則預設了處理規(guī)范及參數(shù)，對日志采集模塊采集來的日志進行特征提取，對多源異構提取的相同特征進行特征融合，以實現(xiàn)可觀的信息壓縮，形成結構化更強的數(shù)據(jù)，信息壓縮后的結構化數(shù)據(jù)建立了信號設備與特征數(shù)據(jù)的映射關系；

(412)對于無法拆解的日志信息暫時以字符串類型進行存儲，用于后續(xù)知識庫豐富后進行結構化和非結構化數(shù)據(jù)的相互關聯(lián)挖掘分析；

(413)子系統(tǒng)數(shù)據(jù)的融合：通過合并時間數(shù)據(jù)、事件數(shù)據(jù)，或者通過多個數(shù)據(jù)間共有的關鍵字來合并，或者根據(jù)自定義的條件進行合并；

(42)數(shù)據(jù)存儲：依據(jù)數(shù)據(jù)處理規(guī)則，將同類業(yè)務維度的信息統(tǒng)一以數(shù)據(jù)庫和數(shù)據(jù)表的方式實現(xiàn)結構化數(shù)據(jù)管理，以數(shù)據(jù)庫作為命名空間，其中存儲方式包括：

(421)對業(yè)務數(shù)據(jù)進行劃分，同一類型的數(shù)據(jù)作為一張數(shù)據(jù)表進行存儲，數(shù)據(jù)表按照時間字段進行分區(qū)；

(422)根據(jù)業(yè)務維度的動態(tài)存儲：按分析模型建立設備維度，車次維度的數(shù)據(jù)表，按時間進行分區(qū)存儲。

所述的(5)中的基于業(yè)務分析模型實現(xiàn)跨系統(tǒng)日志關聯(lián)分析具體為：

日志關聯(lián)分析分為實時數(shù)據(jù)分析和歷史數(shù)據(jù)分析，

(51)在自動列控控制系統(tǒng)中，實時數(shù)據(jù)分析用于故障診斷分析：選取系統(tǒng)預處理后的數(shù)據(jù)和人機界面或系統(tǒng)的預設參數(shù)按分析模型算法進行信息融合分析，在推理機作用下，調用知識庫中的已有知識，向用戶提供故障診斷決策；在基于智能分析的故障診斷系統(tǒng)中加入智能學習模塊，故障決策經(jīng)智能學習模塊反饋給知識庫，并對相應的規(guī)約參數(shù)進行修改，不斷更新及擴充知識庫；

(52)在自動列控控制系統(tǒng)中，歷史數(shù)據(jù)分析是對設備全生命周期的數(shù)據(jù)進行統(tǒng)計分析，向用戶提供設備狀態(tài)的數(shù)據(jù)圖及趨勢報表信息；對設備參量進行預測分析，提供中遠期的預測分析結果。

所述的(6)中的通過統(tǒng)一接口實現(xiàn)日志分析結果的可視化展示具體為：

基于自動列車控制系統(tǒng)關鍵設備和關鍵部件的業(yè)務邏輯，提供一個可視化的界面，接收用戶的請求，用戶通過界面把任務命令傳輸?shù)较到y(tǒng)中，等待系統(tǒng)返回接口數(shù)據(jù)：

(61)實時的監(jiān)測指標數(shù)據(jù)、實時預報警信息前臺展示；

(62)系統(tǒng)交互分析：通過可視界面向系統(tǒng)發(fā)送數(shù)據(jù)采集預處理歸約參數(shù)、向分析系統(tǒng)發(fā)送建模數(shù)據(jù)及其他的交互信息；

(63)根據(jù)不同數(shù)據(jù)類型提供通用的固定組合查詢統(tǒng)計模式，包括模擬量提供統(tǒng)計設定時間內超限數(shù)據(jù)的時間或次數(shù)統(tǒng)計功能；開關量和多狀態(tài)量提供設定時間內的滿足條件的次數(shù)和時間，結果提供圖表展示功能；

(64)提供多列多變量的組合邏輯查詢：車載日志需展示列車停不準統(tǒng)計分析、列車緊急制動統(tǒng)計分析和列車位置信息查詢展示。

與現(xiàn)有技術相比，本發(fā)明基于分布式計算框架和存儲技術，采用基于數(shù)據(jù)處理規(guī)則的動態(tài)調度方法實現(xiàn)日志數(shù)據(jù)的預處理和存儲；采用基于業(yè)務分析模型的統(tǒng)一建模方法實現(xiàn)跨系統(tǒng)的日志融合分析，對自動列車控制系統(tǒng)關鍵設備和關鍵部件的運行狀態(tài)進行在線監(jiān)視，尤其對車載系統(tǒng)和地面系統(tǒng)間的過程狀態(tài)和環(huán)節(jié)進行關聯(lián)分析，及時診斷系統(tǒng)間的異常，可有效地減少維護人員的工作量。

附圖說明

圖1是本發(fā)明一種應用于自動列車控制系統(tǒng)海量日志的大數(shù)據(jù)融合分析方法中系統(tǒng)的整體架構圖；

圖2是本發(fā)明一種應用于自動列車控制系統(tǒng)海量日志的大數(shù)據(jù)融合分析方法中系統(tǒng)中對于數(shù)據(jù)預處理的示意圖；

圖3是本發(fā)明一種應用于自動列車控制系統(tǒng)海量日志的大數(shù)據(jù)融合分析方法中系統(tǒng)中對于日志關聯(lián)分析的示意圖；

圖4是本發(fā)明一種應用于自動列車控制系統(tǒng)海量日志的大數(shù)據(jù)融合分析方法中系統(tǒng)中對于子系統(tǒng)融合分析的案例示意圖。

具體實施方式

下面將結合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例是本發(fā)明的一部分實施例，而不是全部實施例。基于本發(fā)明中的實施例，本領域普通技術人員在沒有做出創(chuàng)造性勞動的前提下所獲得的所有其他實施例，都應屬于本發(fā)明保護的范圍。

如圖1所示，本發(fā)明應用于自動列車控制系統(tǒng)海量日志的大數(shù)據(jù)融合分析方法，包括以下步驟：

1、對系統(tǒng)日志中的業(yè)務可分析項進行基礎數(shù)據(jù)類型定義

首先需要建立基礎數(shù)據(jù)類型定義表。通過該表按層次定義系統(tǒng)基礎數(shù)據(jù)，如下：

(1)第一層級為基本類型，主要包括開關量、多狀態(tài)量、模擬量、字符量、曲線、文本、二進制等；

(2)第二層級為具體的類型碼關聯(lián)具體的業(yè)務類型，如開關量可進一步細分為緊急制動狀態(tài)開關量、車輛空轉開關量；模擬量可進一步細分為輪徑模擬量、牽引力模擬量等；

(3)將上述分類關系整理為具備唯一標識表示特定業(yè)務類型的數(shù)據(jù)表形式，供后續(xù)分析統(tǒng)一進行引用。

2、對系統(tǒng)融合分析業(yè)務進行建模

基于統(tǒng)一的基礎數(shù)據(jù)類型定義，對融合分析場景進行建模，對算法進行封裝。

(1)對于故障診斷業(yè)務，建立智能分析的故障樹分析模型；

(2)對于統(tǒng)計分析業(yè)務，建立趨勢分析和預測模型；

3、基于開放、標準的原則實現(xiàn)統(tǒng)一的日志采集過程

日志采集主要是將實時的日志信息導入到系統(tǒng)中和將已經(jīng)存在的日志信息導入到系統(tǒng)中。采集框架實現(xiàn)統(tǒng)一的日志采集過程：

(1)為日志源頭設置代理監(jiān)控，如文本日志，關系數(shù)據(jù)庫日志等，對這些日志的路徑及代理檢測時間頻率進行配置；

(2)當監(jiān)控到日志流后，以一定的格式發(fā)送給物理通道，該通道將收集到的日志流組成有序的序列；

(3)接收器通過流的方式，按照一定的配置規(guī)則，將流寫入分布式存儲。

4、基于融合分析數(shù)據(jù)處理規(guī)則實現(xiàn)日志數(shù)據(jù)的預處理和存儲，如圖2所示。

(1)數(shù)據(jù)預處理：對系統(tǒng)日志進行有效整合、清洗、轉換和提取

(1.1)預處理是根據(jù)業(yè)務規(guī)則預設了處理規(guī)范及參數(shù)(信號系統(tǒng)設備信息表及數(shù)據(jù)描述規(guī)范)，對日志采集模塊采集來的日志進行特征提取，對多源異構提取的相同特征進行特征融合，以實現(xiàn)可觀的信息壓縮，形成結構化更強的數(shù)據(jù)，信息壓縮后的結構化數(shù)據(jù)建立了信號設備與特征數(shù)據(jù)的映射關系；

(1.2)對于無法拆解的日志信息暫時以字符串類型進行存儲，用于后續(xù)知識庫豐富后進行結構化和非結構化數(shù)據(jù)的相互關聯(lián)挖掘分析；

(1.3)子系統(tǒng)數(shù)據(jù)的融合：可通過合并時間數(shù)據(jù)、事件數(shù)據(jù)，也可通過多個數(shù)據(jù)間共有的關鍵字來合并，還可以根據(jù)自定義的條件進行合并。

(2)數(shù)據(jù)存儲：依據(jù)數(shù)據(jù)處理規(guī)則，將同類業(yè)務維度的信息統(tǒng)一以數(shù)據(jù)庫和數(shù)據(jù)表的方式實現(xiàn)結構化數(shù)據(jù)管理，以數(shù)據(jù)庫作為命名空間，存儲方式包括：

(2.1)對業(yè)務數(shù)據(jù)進行劃分，同一類型的數(shù)據(jù)作為一張數(shù)據(jù)表進行存儲，數(shù)據(jù)表按照時間等不同類型字段進行分區(qū)；

(2.2)根據(jù)業(yè)務維度的動態(tài)存儲：按分析模型建立設備維度，車次維度的數(shù)據(jù)表，按時間進行分區(qū)存儲；

5、基于業(yè)務分析模型實現(xiàn)跨系統(tǒng)日志關聯(lián)分析，如圖3和圖4所示。

日志關聯(lián)分析主要分為實時數(shù)據(jù)分析和歷史數(shù)據(jù)分析。

(1)在自動列控控制系統(tǒng)中，實時數(shù)據(jù)分析主要用于故障診斷分析：主要是選取系統(tǒng)預處理后的數(shù)據(jù)和人機界面或系統(tǒng)的預設參數(shù)按分析模型算法進行信息融合分析，在推理機作用下，調用知識庫中的已有知識，進行邏輯推理，向用戶反饋故障診斷決策。在基于智能分析的故障診斷系統(tǒng)中加入智能學習模塊，故障決策經(jīng)自智能學習模塊反饋給知識庫，并對相應的規(guī)約參數(shù)進行修改，不斷更新及擴充識庫。

(2)在自動列控控制系統(tǒng)中，歷史數(shù)據(jù)分析主要是對設備全生命周期的數(shù)據(jù)進行統(tǒng)計分析，向用戶提供設備狀態(tài)的數(shù)據(jù)圖及趨勢報表信息；對設備參量進行預測分析，提供中遠期的預測分析結果。

6、通過統(tǒng)一接口實現(xiàn)日志分析結果的可視化展示

基于自動列車控制系統(tǒng)關鍵設備和關鍵部件的業(yè)務邏輯，提供一個可視化的界面，接收用戶的請求，用戶通過界面把任務命令傳輸?shù)较到y(tǒng)中，等待系統(tǒng)返回接口數(shù)據(jù)。

(1)實時的監(jiān)測指標數(shù)據(jù)、實時預報警信息前臺展示；

(2)系統(tǒng)交互分析：通過可視界面向系統(tǒng)發(fā)送數(shù)據(jù)采集預處理歸約參數(shù)、向分析系統(tǒng)發(fā)送建模數(shù)據(jù)及其他的交互信息；

(3)根據(jù)不同數(shù)據(jù)類型提供通用的固定組合查詢統(tǒng)計模式，如模擬量提供統(tǒng)計一段時間內超限數(shù)據(jù)的時間或次數(shù)統(tǒng)計功能；開關量和多狀態(tài)量提供一段時間內的滿足條件的次數(shù)和時間，結果提供圖表展示功能。

(4)提供多列多變量的組合邏輯查詢：車載日志需展示列車停不準統(tǒng)計分析、列車緊急制動統(tǒng)計分析和列車位置信息查詢展示等。

以上所述，僅為本發(fā)明的具體實施方式，但本發(fā)明的保護范圍并不局限于此，任何熟悉本技術領域的技術人員在本發(fā)明揭露的技術范圍內，可輕易想到各種等效的修改或替換，這些修改或替換都應涵蓋在本發(fā)明的保護范圍之內。因此，本發(fā)明的保護范圍應以權利要求的保護范圍為準。