一種流程工業(yè)生產(chǎn)系統(tǒng)數(shù)據(jù)采集方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于流程工業(yè)信息化及自動(dòng)化領(lǐng)域，主要涉及流程工業(yè)生產(chǎn)系統(tǒng)數(shù)據(jù)采集的方法。
【背景技術(shù)】
[0002]隨著流程工業(yè)信息化、自動(dòng)化水平的不斷提高，支撐流程工業(yè)各項(xiàng)業(yè)務(wù)運(yùn)行的生產(chǎn)系統(tǒng)也日益增多。以電力行業(yè)為例，涵蓋發(fā)電、輸電、變電、配電、用電和調(diào)度各環(huán)節(jié)的生產(chǎn)系統(tǒng)多達(dá)上百種。為了提高生產(chǎn)各環(huán)節(jié)運(yùn)轉(zhuǎn)效率，各系統(tǒng)間有著強(qiáng)烈的數(shù)據(jù)訪問需求。一個(gè)通常的做法就是建立數(shù)據(jù)中心，將各類生產(chǎn)系統(tǒng)實(shí)時(shí)/歷史數(shù)據(jù)匯集至數(shù)據(jù)中心，由數(shù)據(jù)中心提供統(tǒng)一對(duì)外的訪問接口，使各個(gè)系統(tǒng)能夠靈活訪問到所需的數(shù)據(jù)。
[0003]建設(shè)數(shù)據(jù)中心一個(gè)核心環(huán)節(jié)就是數(shù)據(jù)匯聚，即將各類生產(chǎn)系統(tǒng)實(shí)時(shí)/歷史數(shù)據(jù)采集至數(shù)據(jù)中心這一過程，而通常各類生產(chǎn)系統(tǒng)的數(shù)據(jù)源類型不一，既包含了各類主流實(shí)時(shí)數(shù)據(jù)庫和關(guān)系數(shù)據(jù)庫，又有諸如IEC104、0PC、Modbus等通用工業(yè)通信規(guī)約。因此，如何將覆蓋多種類型的數(shù)據(jù)源端的實(shí)時(shí)/歷史數(shù)據(jù)高效和穩(wěn)定的采集至數(shù)據(jù)中心是建立數(shù)據(jù)中心關(guān)鍵的冋題。
[0004]現(xiàn)有的數(shù)據(jù)中心數(shù)據(jù)采集方式較為單一。針對(duì)關(guān)系數(shù)據(jù)庫，一種是數(shù)據(jù)庫廠商自帶的數(shù)據(jù)采集工具，如Oracle的warehouse builder、Data Integrator等，另外一種是第三方工具提供商，如Kettle等。而對(duì)于實(shí)時(shí)數(shù)據(jù)庫，僅有的方法就是通過實(shí)時(shí)數(shù)據(jù)庫廠商自帶的數(shù)據(jù)采集工具，如PI的I⑶，海迅的HS2HS、PI2HS等；對(duì)于工業(yè)通信規(guī)約，則只能針對(duì)每種類型的規(guī)約開發(fā)相應(yīng)的客戶端程序，通過與規(guī)約服務(wù)端的通信來獲取數(shù)據(jù)。
[0005]無論是使用廠商提供的工具還是自主開發(fā)客戶端程序，均只能從單一數(shù)據(jù)源獲取數(shù)據(jù)，即使使用第三方工具能夠獲取多種類型的關(guān)系數(shù)據(jù)庫數(shù)據(jù)，對(duì)于實(shí)時(shí)數(shù)據(jù)庫和工業(yè)通信規(guī)約也無能為力。目前現(xiàn)有的關(guān)于數(shù)據(jù)采集和迀移方面的發(fā)明專利主要有CN101154146 “數(shù)據(jù)迀移方法及信息處理系統(tǒng)”，CN102135963A “數(shù)據(jù)迀移的方法和系統(tǒng)”和CN102970328A “電力行業(yè)典型生產(chǎn)系統(tǒng)在線數(shù)據(jù)迀移方法技術(shù)”。但這些發(fā)明專利主要用于解決現(xiàn)有的數(shù)據(jù)迀移方法效率低等技術(shù)問題，并未考慮在流程工業(yè)生產(chǎn)環(huán)境下多種類型數(shù)據(jù)源的情況，通用性有待進(jìn)一步加強(qiáng)。同時(shí)，由于數(shù)據(jù)源端的種類多樣和數(shù)量龐大，數(shù)據(jù)采集通道的運(yùn)行狀況也需要進(jìn)行自主監(jiān)控，能夠?qū)崟r(shí)的反應(yīng)出數(shù)據(jù)采集和傳輸過程中的異常狀況。

【發(fā)明內(nèi)容】

[0006]本發(fā)明目的是:針對(duì)現(xiàn)有技術(shù)中的不足，解決解決流程工業(yè)系統(tǒng)生產(chǎn)環(huán)境下，數(shù)據(jù)協(xié)議類型繁多并且數(shù)量眾多的生產(chǎn)系統(tǒng)的數(shù)據(jù)采集問題，提供一種流程工業(yè)生產(chǎn)系統(tǒng)數(shù)據(jù)采集方法，從而能夠在確保現(xiàn)有生產(chǎn)系統(tǒng)在線運(yùn)行的前提下，高效、安全、穩(wěn)定的數(shù)據(jù)采集。
[0007]具體地說，本發(fā)明是采用以下技術(shù)方案實(shí)現(xiàn)的，包括以下步驟:
[0008]1)準(zhǔn)備各生產(chǎn)系統(tǒng)的源端數(shù)據(jù)抽取驅(qū)動(dòng)和目標(biāo)端的數(shù)據(jù)推送驅(qū)動(dòng)，所述數(shù)據(jù)抽取驅(qū)動(dòng)用于針對(duì)生產(chǎn)系統(tǒng)不同的數(shù)據(jù)源進(jìn)行統(tǒng)一的數(shù)據(jù)獲取、并將獲取到的數(shù)據(jù)以約定的標(biāo)準(zhǔn)格式傳輸給接口適配器服務(wù)，所述數(shù)據(jù)推送驅(qū)動(dòng)用于接收接口適配器服務(wù)發(fā)送過來的數(shù)據(jù)、并將其寫入目標(biāo)端；
[0009]2)部署接口適配器服務(wù)、數(shù)據(jù)抽取驅(qū)動(dòng)、數(shù)據(jù)推送驅(qū)動(dòng)以及接口適配器客戶端，所述接口適配器服務(wù)負(fù)責(zé)將從抽取驅(qū)動(dòng)接收的數(shù)據(jù)有序分發(fā)至數(shù)據(jù)推送驅(qū)動(dòng)以及所有采集通道和數(shù)據(jù)的管理，所述接口適配器客戶端用于操作和顯示所有數(shù)據(jù)采集通道和數(shù)據(jù)傳輸對(duì)應(yīng)關(guān)系以及采集實(shí)時(shí)狀況；
[0010]3)創(chuàng)建數(shù)據(jù)傳輸?shù)耐ǖ?，該通道的信息包含了?shù)據(jù)源端和目的端的地址、端口和數(shù)據(jù)存儲(chǔ)類型，根據(jù)這些信息抽取和推送驅(qū)動(dòng)能夠分別從源端獲取數(shù)據(jù)和將數(shù)據(jù)寫入目標(biāo)端;
[0011]4)在傳輸通道內(nèi)建立源端到目的端的測(cè)點(diǎn)對(duì)應(yīng)關(guān)系表，并通過接口適配器客戶端導(dǎo)入至接口適配器服務(wù)中，所述對(duì)應(yīng)關(guān)系表記錄了源端和目標(biāo)端數(shù)據(jù)庫各自測(cè)點(diǎn)的基本屬性結(jié)構(gòu)，通過該對(duì)應(yīng)關(guān)系，接口適配器服務(wù)能夠準(zhǔn)確無誤的分配抽取和推送驅(qū)動(dòng)將源端的數(shù)據(jù)采集、傳輸并存儲(chǔ)至目標(biāo)端；
[0012]5)啟動(dòng)數(shù)據(jù)傳輸通道，數(shù)據(jù)傳輸通道啟動(dòng)后，抽取驅(qū)動(dòng)連接源端進(jìn)行數(shù)據(jù)獲取，并按照約定的標(biāo)準(zhǔn)格式發(fā)送給接口適配器服務(wù)；接口適配器服務(wù)將接收到的數(shù)據(jù)轉(zhuǎn)轉(zhuǎn)發(fā)給抽取驅(qū)動(dòng)，抽取驅(qū)動(dòng)連接目標(biāo)端，并根據(jù)測(cè)點(diǎn)對(duì)應(yīng)關(guān)系將數(shù)據(jù)發(fā)送給相應(yīng)目標(biāo)端進(jìn)行測(cè)點(diǎn)存儲(chǔ)，接口適配器服務(wù)實(shí)時(shí)跟蹤通道的狀態(tài)信息，協(xié)調(diào)抽取和推送驅(qū)動(dòng)工作。
[0013]上述技術(shù)方案的進(jìn)一步特征在于，所述接口適配器服務(wù)的配置參數(shù)包括IP地址、端口號(hào)以及工作目錄，其中IP地址和端口號(hào)用于與接口適配器客戶端、抽取和推送驅(qū)動(dòng)的連接交互，工作目錄用于存儲(chǔ)包括通道和數(shù)據(jù)對(duì)應(yīng)關(guān)系在內(nèi)的元數(shù)據(jù)信息。
[0014]上述技術(shù)方案的進(jìn)一步特征在于，抽取驅(qū)動(dòng)和推送驅(qū)動(dòng)的啟動(dòng)參與均由接口適配器服務(wù)自主分配并啟動(dòng)。
[0015]本發(fā)明的有益效果如下:本發(fā)明適用于流程工業(yè)尤其是電力、石化等行業(yè)數(shù)據(jù)中心的數(shù)據(jù)采集，多生產(chǎn)系統(tǒng)間的數(shù)據(jù)融合場(chǎng)景，數(shù)據(jù)從采集、清洗、傳輸、存儲(chǔ)各環(huán)節(jié)分離，并由接口適配器服務(wù)全程跟蹤，故障定位更加容易。本發(fā)明進(jìn)行統(tǒng)一的數(shù)據(jù)采集，能夠支持關(guān)系數(shù)據(jù)庫、實(shí)時(shí)數(shù)據(jù)庫、各類工業(yè)通信協(xié)議的數(shù)據(jù)采集。本發(fā)明解決了流程工業(yè)行業(yè)典型生產(chǎn)環(huán)境下，大量生產(chǎn)系統(tǒng)數(shù)據(jù)的實(shí)時(shí)采集問題，能夠確保在現(xiàn)有系統(tǒng)穩(wěn)定運(yùn)行的基礎(chǔ)上進(jìn)行數(shù)據(jù)采集，接口適配器服務(wù)針對(duì)數(shù)據(jù)傳輸?shù)母鳝h(huán)節(jié)進(jìn)行監(jiān)控，大大地減少了系統(tǒng)運(yùn)維人員的工作強(qiáng)度和提高了問題排查解決的效率。
【附圖說明】
[0016]圖1是多系統(tǒng)數(shù)據(jù)采集部署框架結(jié)構(gòu)圖。
【具體實(shí)施方式】
[0017]下面結(jié)合實(shí)施例并參照附圖對(duì)本發(fā)明作進(jìn)一步詳細(xì)描述。
[0018]本發(fā)明主要涉及四個(gè)部分:第一部分是數(shù)據(jù)抽取驅(qū)動(dòng)，該部分的功能是統(tǒng)一數(shù)據(jù)通訊標(biāo)準(zhǔn)和接口，針對(duì)生產(chǎn)系統(tǒng)不同的數(shù)據(jù)源進(jìn)行統(tǒng)一的數(shù)據(jù)獲取，并將獲取到的數(shù)據(jù)以標(biāo)準(zhǔn)的通信規(guī)約傳輸給接口適配器服務(wù)；第二部分是接口適配器服務(wù)，該部分是本發(fā)明的核心，負(fù)責(zé)將從抽取驅(qū)動(dòng)接收的數(shù)據(jù)有序分發(fā)至數(shù)據(jù)推送驅(qū)動(dòng)，同時(shí)還負(fù)責(zé)所有采集通道和數(shù)據(jù)的管理，包括采集通道的增刪改查及運(yùn)行狀況監(jiān)視、數(shù)據(jù)從源端到目的端的正確高效傳輸保證和監(jiān)視等，在數(shù)據(jù)采集通道和傳輸對(duì)應(yīng)關(guān)系的自動(dòng)配置、數(shù)據(jù)抽取和推送驅(qū)動(dòng)的運(yùn)行管理、實(shí)時(shí)/歷史數(shù)據(jù)傳輸優(yōu)先級(jí)的自動(dòng)管理和異常處理等方面具有較強(qiáng)的自主管理能力；第三部分是數(shù)據(jù)推送驅(qū)動(dòng)，該部分的功能是接收接口適配器服務(wù)發(fā)送過來的數(shù)據(jù)，并將其寫入目標(biāo)端；第四部分是接口適配器客戶端，用于圖形操作所有數(shù)據(jù)采集通道和數(shù)據(jù)傳輸對(duì)應(yīng)關(guān)系，同時(shí)顯示所有數(shù)據(jù)采集通道和數(shù)據(jù)采集實(shí)時(shí)狀況。
[0019]本發(fā)明的方法步驟如下:
[0020]步驟A:準(zhǔn)備各生產(chǎn)系統(tǒng)使用的源端(業(yè)務(wù)系統(tǒng))數(shù)據(jù)抽取驅(qū)動(dòng)和目標(biāo)端(數(shù)據(jù)中心)使用的數(shù)據(jù)推送驅(qū)動(dòng)。主流關(guān)系庫、實(shí)時(shí)數(shù)據(jù)庫和工業(yè)通信規(guī)約均有現(xiàn)成的數(shù)據(jù)抽取和推送驅(qū)動(dòng)。如遇到新的類型的數(shù)據(jù)源，需要進(jìn)行相應(yīng)的開發(fā)工作，但僅需重新實(shí)現(xiàn)與新類型的數(shù)據(jù)源相關(guān)的數(shù)據(jù)接口調(diào)用部分內(nèi)容，便能在線加載至整個(gè)接口適配器服務(wù)，不影響其它數(shù)據(jù)采集通道運(yùn)行。
[0021]步驟B:部署接口適配器服務(wù)、數(shù)據(jù)抽取驅(qū)動(dòng)、數(shù)據(jù)推送驅(qū)動(dòng)以及接口適配器客戶端程序。接口適配器服務(wù)需要配置IP地址、端口號(hào)以及工作目錄這三個(gè)重要參數(shù)。其中IP地址和端口號(hào)用于與客戶端、抽取推送驅(qū)動(dòng)的連接交互，工作目錄用于存儲(chǔ)通道和數(shù)據(jù)對(duì)應(yīng)關(guān)系等元數(shù)據(jù)信息。抽取驅(qū)動(dòng)和推送驅(qū)動(dòng)的啟動(dòng)參與均由接口適配器服務(wù)自主分配并啟動(dòng)，并能夠根據(jù)實(shí)際情況進(jìn)行自主調(diào)節(jié)，最大程度的降低的用戶部署的難度。
[0022]步驟C:創(chuàng)建數(shù)據(jù)傳輸?shù)耐ǖ馈Ｔ撏ǖ佬畔藬?shù)據(jù)源