專利名稱：一種數(shù)據(jù)傳輸方法及系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本申請(qǐng)涉及數(shù)據(jù)集成中間件技術(shù)領(lǐng)域，特別涉及一種數(shù)據(jù)傳輸方法及系統(tǒng)。
背景技術(shù)：
現(xiàn)代企業(yè)通過ETL (Extraction-Transformation-Loading，提取、轉(zhuǎn)換、加載)技術(shù)手段，把數(shù)據(jù)轉(zhuǎn)換為信息、知識(shí)，最大化利用已存在的數(shù)據(jù)資源，形成蘊(yùn)含巨大商機(jī)的信息。ETL負(fù)責(zé)將分布的、異構(gòu)數(shù)據(jù)源中的數(shù)據(jù)如關(guān)系數(shù)據(jù)、平面數(shù)據(jù)文件等抽取到臨時(shí)中間層后進(jìn)行清洗、轉(zhuǎn)換、集成，最后加載到數(shù)據(jù)倉庫或數(shù)據(jù)集市中，成為聯(lián)機(jī)分析處理、數(shù)據(jù)挖掘的基礎(chǔ)。如圖1所示的數(shù)據(jù)流向圖由ETL數(shù)據(jù)處理工具將從源庫中分發(fā)至到快照表中的數(shù)據(jù)進(jìn)行抽取、轉(zhuǎn)換、加載處理后發(fā)送至目的庫，即完成數(shù)據(jù)的傳輸處理。在數(shù)據(jù)處理工具對(duì)數(shù)據(jù)傳輸處理的過程中經(jīng)常會(huì)出現(xiàn)數(shù)據(jù)記錄符合源庫約束規(guī)則而不符合目的庫存儲(chǔ)規(guī)貝1J，即發(fā)生數(shù)據(jù)傳輸錯(cuò)誤，通常可以通過配置轉(zhuǎn)換規(guī)則盡可能的使數(shù)據(jù)適應(yīng)目的庫存儲(chǔ)結(jié)構(gòu)，但數(shù)據(jù)處理工具的數(shù)據(jù)傳輸處理過程中發(fā)生數(shù)據(jù)傳輸錯(cuò)誤是不可能完全避免的。當(dāng)發(fā)生錯(cuò)誤時(shí)，能夠及時(shí)有效的與用戶進(jìn)行交互，保證系統(tǒng)的數(shù)據(jù)一致性、完整性，提高數(shù)據(jù)的可用性有非常重要的意義。但現(xiàn)有技術(shù)中沒有一種數(shù)據(jù)傳輸方法可以解決當(dāng)數(shù)據(jù)處理工具傳輸數(shù)據(jù)過程中發(fā)生錯(cuò)誤數(shù)據(jù)傳輸時(shí)導(dǎo)致數(shù)據(jù)在目的庫中不完整、不一致的問題。

發(fā)明內(nèi)容
本發(fā)明所要解決的技術(shù)問題是提供一種數(shù)據(jù)傳輸方法，用以解決由于數(shù)據(jù)發(fā)生傳輸錯(cuò)誤而導(dǎo)致數(shù)據(jù)在目的庫中不完整、不一致的技術(shù)問題。本發(fā)明提供了一種數(shù)據(jù)傳輸方法，包括監(jiān)測(cè)由數(shù)據(jù)處理工具發(fā)送的處理數(shù)據(jù)是否滿足目的庫存儲(chǔ)規(guī)則，如果滿足，將所述由數(shù)據(jù)處理工具處理的數(shù)據(jù)存儲(chǔ)入所述目的庫，否則，將所述由數(shù)據(jù)處理工具處理的數(shù)據(jù)作為錯(cuò)誤傳輸數(shù)據(jù)封裝成文檔；依據(jù)所述文檔生成數(shù)據(jù)重發(fā)選項(xiàng)，并將所述數(shù)據(jù)重發(fā)選項(xiàng)發(fā)送至所述數(shù)據(jù)處理工具，控制所述數(shù)據(jù)處理工具對(duì)與所述數(shù)據(jù)重發(fā)選項(xiàng)相對(duì)應(yīng)的數(shù)據(jù)進(jìn)行數(shù)據(jù)抽取、轉(zhuǎn)換、加載處理，并將所述經(jīng)過處理后的數(shù)據(jù)發(fā)送至目的庫。本發(fā)明還提供了一種數(shù)據(jù)傳輸系統(tǒng)，用于保證上述數(shù)據(jù)傳輸方法的實(shí)現(xiàn)，所述系統(tǒng)包括監(jiān)測(cè)模塊、封裝模塊及重發(fā)模塊，其中所述監(jiān)測(cè)模塊，用于監(jiān)測(cè)由數(shù)據(jù)處理工具發(fā)送的處理數(shù)據(jù)是否滿足目的庫存儲(chǔ)規(guī)則；所述封裝模塊，用于當(dāng)所述監(jiān)測(cè)模塊監(jiān)測(cè)到由數(shù)據(jù)處理工具發(fā)送的處理數(shù)據(jù)不滿足目的庫存儲(chǔ)規(guī)則時(shí)，將所述由數(shù)據(jù)處理工具處理的數(shù)據(jù)作為錯(cuò)誤傳輸數(shù)據(jù)封裝成文檔；所述處理模塊，用于依據(jù)所述文檔生成數(shù)據(jù)重發(fā)選項(xiàng)，并將所述數(shù)據(jù)重發(fā)選項(xiàng)發(fā)送至所述數(shù)據(jù)處理工具，控制所述數(shù)據(jù)處理工具對(duì)與所述數(shù)據(jù)重發(fā)選項(xiàng)相對(duì)應(yīng)的數(shù)據(jù)進(jìn)行數(shù)據(jù)抽取、轉(zhuǎn)換、加載處理，并將所述經(jīng)過處理后的數(shù)據(jù)發(fā)送至目的庫。綜上可知，本發(fā)明提供了一種數(shù)據(jù)傳輸方法，將由數(shù)據(jù)處理工具傳輸?shù)腻e(cuò)誤數(shù)據(jù)進(jìn)行數(shù)據(jù)的重新傳輸處理，有效的解決了數(shù)據(jù)處理工具的數(shù)據(jù)傳輸過程發(fā)生數(shù)據(jù)錯(cuò)誤的問題，使得處理后的數(shù)據(jù)能夠存儲(chǔ)入目的庫，保證了數(shù)據(jù)的完整性、一致性，達(dá)到了感知錯(cuò)誤、 糾正錯(cuò)誤、解決錯(cuò)誤的目的。


為了更清楚地說明本申請(qǐng)實(shí)施例中的技術(shù)方案，下面將對(duì)實(shí)施例描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本申請(qǐng)的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動(dòng)性的前提下，還可以根據(jù)這些附圖獲得其他的附圖。圖1為現(xiàn)有技術(shù)中ETL數(shù)據(jù)處理系統(tǒng)中數(shù)據(jù)處理傳輸?shù)臄?shù)據(jù)流向圖；圖2為本發(fā)明提供的一種數(shù)據(jù)傳輸方法實(shí)施例一的數(shù)據(jù)流程圖；圖3為本發(fā)明提供的一種數(shù)據(jù)傳輸方法實(shí)施例二的數(shù)據(jù)流程圖；圖4為本發(fā)明提供的一種數(shù)據(jù)傳輸方法實(shí)施例三的數(shù)據(jù)流程圖；圖5為本發(fā)明提供的一種數(shù)據(jù)傳輸方法實(shí)施例三中用戶處理界面示意圖；圖6為本發(fā)明提供的一種數(shù)據(jù)傳輸系統(tǒng)實(shí)施例四的結(jié)構(gòu)示意圖。
具體實(shí)施例方式下面將結(jié)合本申請(qǐng)實(shí)施例中的附圖，對(duì)本申請(qǐng)實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本申請(qǐng)一部分實(shí)施例，而不是全部的實(shí)施例?；诒旧暾?qǐng)中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本申請(qǐng)保護(hù)的范圍。實(shí)施例一參考圖2所示為本發(fā)明提供的一種數(shù)據(jù)傳輸方法實(shí)施例一的數(shù)據(jù)流程圖，本發(fā)明提供的一種數(shù)據(jù)傳輸方法包括步驟201 監(jiān)測(cè)由數(shù)據(jù)處理工具發(fā)送的處理數(shù)據(jù)是否滿足目的庫存儲(chǔ)規(guī)則，如果滿足，將所述由數(shù)據(jù)處理工具處理的數(shù)據(jù)存儲(chǔ)入所述目的庫，否則，將所述由數(shù)據(jù)處理工具處理的數(shù)據(jù)作為錯(cuò)誤傳輸數(shù)據(jù)封裝成文檔。其中，監(jiān)測(cè)由數(shù)據(jù)處理工具發(fā)送的處理數(shù)據(jù)是否滿足目的庫存儲(chǔ)規(guī)則包括監(jiān)測(cè)所述由數(shù)據(jù)處理工具處理后的數(shù)據(jù)是否發(fā)生傳輸失真或不符合目的庫的存儲(chǔ)規(guī)則或其約束條件等；所述將錯(cuò)誤數(shù)據(jù)封裝成文檔包括將所述錯(cuò)誤數(shù)據(jù)封裝成xml文檔，所述xml文檔包括與所述錯(cuò)誤數(shù)據(jù)相對(duì)應(yīng)的原始未傳輸數(shù)據(jù)的數(shù)據(jù)標(biāo)識(shí)。步驟202 依據(jù)所述文檔生成數(shù)據(jù)重發(fā)選項(xiàng)，并將所述數(shù)據(jù)重發(fā)選項(xiàng)發(fā)送至所述數(shù)據(jù)處理工具，控制所述數(shù)據(jù)處理工具對(duì)與所述數(shù)據(jù)重發(fā)選項(xiàng)相對(duì)應(yīng)的數(shù)據(jù)進(jìn)行數(shù)據(jù)抽取、轉(zhuǎn)換、加載處理，并將所述經(jīng)過處理后的數(shù)據(jù)發(fā)送至目的庫。其中，所述依據(jù)所述文檔生成數(shù)據(jù)重發(fā)選項(xiàng)包括依據(jù)所述xml文檔中的與所述錯(cuò)誤數(shù)據(jù)相對(duì)應(yīng)的原始未傳輸數(shù)據(jù)的數(shù)據(jù)標(biāo)識(shí)生成重發(fā)選項(xiàng)，再由所述數(shù)據(jù)處理工具依據(jù)所述重發(fā)選項(xiàng)將所述錯(cuò)誤數(shù)據(jù)相對(duì)應(yīng)的原始未傳輸數(shù)據(jù)進(jìn)行抽取、轉(zhuǎn)換、加載處理，并將所述經(jīng)過處理后的數(shù)據(jù)發(fā)送至目的庫，返回步驟201，直至所述由數(shù)據(jù)處理工具處理過的數(shù)據(jù)滿足目的庫的存儲(chǔ)規(guī)則，并將所述處理后的數(shù)據(jù)存儲(chǔ)入所述目的庫，完成數(shù)據(jù)的正確傳輸。通過上述實(shí)施例可知，本發(fā)明提供的一種數(shù)據(jù)傳輸方法實(shí)施例一將發(fā)生傳輸處理錯(cuò)誤的數(shù)據(jù)進(jìn)行重發(fā)處理，直至所述處理后的數(shù)據(jù)滿足目的庫的存儲(chǔ)規(guī)則，將其存儲(chǔ)入目的庫，完成數(shù)據(jù)的正確傳輸處理，避免由于錯(cuò)誤數(shù)據(jù)導(dǎo)致數(shù)據(jù)處理工具的任務(wù)終止，有效保證了數(shù)據(jù)的完整性、一致性，達(dá)到了感知錯(cuò)誤、糾正錯(cuò)誤、解決錯(cuò)誤的目的。實(shí)施例二參考圖3所示為本發(fā)明提供的一種數(shù)據(jù)傳輸方法實(shí)施例二的數(shù)據(jù)流程圖，本發(fā)明提供的一種數(shù)據(jù)傳輸方法包括步驟301 監(jiān)測(cè)由數(shù)據(jù)處理工具發(fā)送的處理數(shù)據(jù)是否滿足目的庫存儲(chǔ)規(guī)則，如果滿足，將所述由數(shù)據(jù)處理工具處理的數(shù)據(jù)存儲(chǔ)入所述目的庫，否則，進(jìn)入步驟302。其中，監(jiān)測(cè)由數(shù)據(jù)處理工具發(fā)送的處理數(shù)據(jù)是否滿足目的庫存儲(chǔ)規(guī)則包括監(jiān)測(cè)所述由數(shù)據(jù)處理工具處理后的數(shù)據(jù)是否發(fā)生傳輸失真或不符合目的庫的存儲(chǔ)規(guī)則或其約束條件等。步驟302 將所述由數(shù)據(jù)處理工具處理的數(shù)據(jù)作為錯(cuò)誤傳輸數(shù)據(jù)封裝成xml文檔。所述xml文檔包括與所述錯(cuò)誤數(shù)據(jù)相對(duì)應(yīng)的原始未傳輸數(shù)據(jù)或者與所述錯(cuò)誤數(shù)據(jù)相對(duì)應(yīng)的原始未傳輸數(shù)據(jù)的數(shù)據(jù)標(biāo)識(shí)。步驟303 依據(jù)所述xml文檔生成數(shù)據(jù)重發(fā)選項(xiàng)。步驟304 將所述數(shù)據(jù)重發(fā)選項(xiàng)發(fā)送至所述數(shù)據(jù)處理工具，控制所述數(shù)據(jù)處理工具對(duì)與所述數(shù)據(jù)重發(fā)選項(xiàng)相對(duì)應(yīng)的數(shù)據(jù)進(jìn)行數(shù)據(jù)抽取、轉(zhuǎn)換、加載處理。步驟305 將所述經(jīng)過處理后的數(shù)據(jù)發(fā)送至目的庫。其中，所述依據(jù)所述文檔生成數(shù)據(jù)重發(fā)選項(xiàng)包括依據(jù)所述xml文檔中的與所述錯(cuò)誤數(shù)據(jù)相對(duì)應(yīng)的原始未傳輸數(shù)據(jù)或其數(shù)據(jù)標(biāo)識(shí)生成重發(fā)選項(xiàng)，再由所述數(shù)據(jù)處理工具依據(jù)所述重發(fā)選項(xiàng)將所述錯(cuò)誤數(shù)據(jù)相對(duì)應(yīng)的原始未傳輸數(shù)據(jù)進(jìn)行抽取、轉(zhuǎn)換、加載處理，并將所述經(jīng)過處理后的數(shù)據(jù)發(fā)送至目的庫，返回步驟301，直至所述由數(shù)據(jù)處理工具處理過的數(shù)據(jù)滿足目的庫的存儲(chǔ)規(guī)則，并將所述處理后的數(shù)據(jù)存儲(chǔ)入所述目的庫，完成數(shù)據(jù)的正確傳輸。其中，由所述xml文檔生成所述重發(fā)選項(xiàng)后可以發(fā)送至客戶端的用戶界面，由用戶處理界面接收用戶根據(jù)實(shí)際傳輸需求輸入的重發(fā)信息，再依據(jù)所述用戶輸入的重發(fā)信息將與所述重發(fā)選項(xiàng)相對(duì)應(yīng)的原始未傳輸數(shù)據(jù)進(jìn)行數(shù)據(jù)抽取、轉(zhuǎn)換、加載處理。在所述數(shù)據(jù)傳輸過程中，正常數(shù)據(jù)的傳輸稱為基本傳輸流程，發(fā)生錯(cuò)誤的數(shù)據(jù)傳輸稱為異常處理流程，由于數(shù)據(jù)處理工具可以同時(shí)啟動(dòng)多個(gè)數(shù)據(jù)處理任務(wù)的特性，所述異常處理流程的運(yùn)行與所述基本傳輸流程可以同時(shí)由數(shù)據(jù)處理工具的兩個(gè)任務(wù)完成。在本實(shí)施例中，將發(fā)生錯(cuò)誤的數(shù)據(jù)都封裝成xml文檔，由此所述數(shù)據(jù)異常統(tǒng)一格式，使得同一個(gè)錯(cuò)誤數(shù)據(jù)處理任務(wù)即可將所有發(fā)生錯(cuò)誤傳輸?shù)臄?shù)據(jù)進(jìn)行處理。通過上述實(shí)施例可知，本發(fā)明提供的一種數(shù)據(jù)傳輸方法實(shí)施例一將發(fā)生傳輸處理錯(cuò)誤的數(shù)據(jù)進(jìn)行重發(fā)處理，直至所述處理后的數(shù)據(jù)滿足目的庫的存儲(chǔ)規(guī)則，將其存儲(chǔ)入目的庫，完成數(shù)據(jù)的正確傳輸處理，避免以為錯(cuò)誤數(shù)據(jù)導(dǎo)致數(shù)據(jù)處理工具的任務(wù)終止，有效保證了數(shù)據(jù)的完整性、一致性，達(dá)到了感知錯(cuò)誤、糾正錯(cuò)誤、解決錯(cuò)誤的目的。實(shí)施例三參考圖4所示為本發(fā)明提供的一種數(shù)據(jù)傳輸方法實(shí)施例二的數(shù)據(jù)流程圖，本發(fā)明提供的一種數(shù)據(jù)傳輸方法包括步驟401 監(jiān)測(cè)由數(shù)據(jù)處理工具發(fā)送的處理數(shù)據(jù)是否滿足目的庫存儲(chǔ)規(guī)則，如果滿足，將所述由數(shù)據(jù)處理工具處理的數(shù)據(jù)存儲(chǔ)入所述目的庫，否則，進(jìn)入步驟402。步驟402 將所述由數(shù)據(jù)處理工具處理的數(shù)據(jù)作為錯(cuò)誤傳輸數(shù)據(jù)封裝成xml文檔， 所述xml文檔包括與所述錯(cuò)誤數(shù)據(jù)相對(duì)應(yīng)的原始未傳輸數(shù)據(jù)。其中，監(jiān)測(cè)由數(shù)據(jù)處理工具發(fā)送的處理數(shù)據(jù)是否滿足目的庫存儲(chǔ)規(guī)則包括監(jiān)測(cè)所述由數(shù)據(jù)處理工具處理后的數(shù)據(jù)是否發(fā)生傳輸失真或不符合目的庫的存儲(chǔ)規(guī)則或其約束條件等；所述xml文檔還可以包括與所述錯(cuò)誤數(shù)據(jù)相對(duì)應(yīng)的原始未傳輸數(shù)據(jù)的數(shù)據(jù)標(biāo)識(shí)。 因此步驟402中還可以依據(jù)所述xml文檔中的與所述錯(cuò)誤數(shù)據(jù)相對(duì)應(yīng)的原始未傳輸數(shù)據(jù)的數(shù)據(jù)標(biāo)識(shí)生成數(shù)據(jù)重發(fā)選項(xiàng)。步驟403 依據(jù)所述xml文檔中的與所述錯(cuò)誤數(shù)據(jù)相對(duì)應(yīng)的原始未傳輸數(shù)據(jù)生成數(shù)據(jù)重發(fā)選項(xiàng)。步驟404:將所述數(shù)據(jù)重發(fā)選項(xiàng)發(fā)送至所述數(shù)據(jù)處理工具，控制所述數(shù)據(jù)處理工具對(duì)與所述數(shù)據(jù)重發(fā)選項(xiàng)相對(duì)應(yīng)的數(shù)據(jù)進(jìn)行數(shù)據(jù)抽取、轉(zhuǎn)換、加載處理。步驟405 將所述經(jīng)過處理后的數(shù)據(jù)發(fā)送至目的庫。其中，將所述經(jīng)過處理后的數(shù)據(jù)發(fā)送至目的庫后，返回步驟401，直至所述由數(shù)據(jù)處理工具處理過的數(shù)據(jù)滿足目的庫的存儲(chǔ)規(guī)則，并將所述處理后的數(shù)據(jù)存儲(chǔ)入所述目的庫，完成數(shù)據(jù)的正確傳輸。其中，由所述xml文檔生成所述重發(fā)選項(xiàng)后可以發(fā)送至客戶端的用戶界面，由用戶處理界面接收用戶根據(jù)實(shí)際傳輸需求輸入的重發(fā)信息，再依據(jù)所述用戶輸入的重發(fā)信息將與所述重發(fā)信息相對(duì)應(yīng)的原始未傳輸數(shù)據(jù)進(jìn)行數(shù)據(jù)抽取、轉(zhuǎn)換、加載處理。在上述過程中，可以設(shè)立兩個(gè)區(qū)域集合，分別為錯(cuò)誤數(shù)據(jù)記錄區(qū)及錯(cuò)誤數(shù)據(jù)重發(fā)區(qū)當(dāng)監(jiān)測(cè)到由數(shù)據(jù)處理工具處理后的數(shù)據(jù)不滿足目的庫存儲(chǔ)規(guī)則即發(fā)生錯(cuò)誤數(shù)據(jù)傳輸時(shí)，將由所述發(fā)生錯(cuò)誤傳輸?shù)臄?shù)據(jù)封裝成的ml文檔放入所述錯(cuò)誤數(shù)據(jù)記錄區(qū)；當(dāng)用戶處理界面接收到用戶根據(jù)實(shí)際傳輸需求輸入的重發(fā)信息后，將與所述重發(fā)信息相對(duì)應(yīng)的ml 文檔放入所述錯(cuò)誤數(shù)據(jù)重發(fā)區(qū)。在實(shí)際應(yīng)用中，所述用戶處理界面可以設(shè)置為如圖5所示，其中文件名、記錄內(nèi)容、異常原因?yàn)槲谋究?，支持模糊查詢功能，操作類型為下拉框，時(shí)間可以為日歷或直接數(shù)據(jù)控件，通過用戶輸入的錯(cuò)誤數(shù)據(jù)查詢請(qǐng)求，查詢到發(fā)生錯(cuò)誤傳輸?shù)臄?shù)據(jù)，根據(jù)用戶實(shí)際需求將需要重發(fā)的數(shù)據(jù)進(jìn)行數(shù)據(jù)抽取、轉(zhuǎn)換、加載處理。在所述數(shù)據(jù)傳輸過程中，正常數(shù)據(jù)的傳輸稱為基本傳輸流程，發(fā)生錯(cuò)誤的數(shù)據(jù)傳輸稱為異常處理流程，由于數(shù)據(jù)處理工具可以同時(shí)啟動(dòng)多個(gè)數(shù)據(jù)處理任務(wù)的特性，所述異常處理流程的運(yùn)行與所述基本傳輸流程可以同時(shí)由數(shù)據(jù)處理工具的兩個(gè)任務(wù)完成。在本實(shí)施例中，將發(fā)生錯(cuò)誤的數(shù)據(jù)都封裝成xml文檔，由此所述數(shù)據(jù)異常統(tǒng)一格式，使得同一個(gè)錯(cuò)誤數(shù)據(jù)處理任務(wù)即可將所有發(fā)生錯(cuò)誤傳輸?shù)臄?shù)據(jù)進(jìn)行處理。
通過上述實(shí)施例可知，本發(fā)明提供的一種數(shù)據(jù)傳輸方法實(shí)施例一將發(fā)生傳輸處理錯(cuò)誤的數(shù)據(jù)進(jìn)行重發(fā)處理，直至所述處理后的數(shù)據(jù)滿足目的庫的存儲(chǔ)規(guī)則，將其存儲(chǔ)入目的庫，完成數(shù)據(jù)的正確傳輸處理，避免以為錯(cuò)誤數(shù)據(jù)導(dǎo)致數(shù)據(jù)處理工具的任務(wù)終止，有效保證了數(shù)據(jù)的完整性、一致性，達(dá)到了感知錯(cuò)誤、糾正錯(cuò)誤、解決錯(cuò)誤的目的。實(shí)施例四參考圖6所示為本發(fā)明提供的一種數(shù)據(jù)傳輸系統(tǒng)實(shí)施例四的結(jié)構(gòu)示意圖，可以用于實(shí)現(xiàn)本發(fā)明提供的一種數(shù)據(jù)傳輸方法實(shí)施例一至實(shí)施例三，所述系統(tǒng)嵌入ETL數(shù)據(jù)傳輸系統(tǒng)中實(shí)現(xiàn)發(fā)生錯(cuò)誤數(shù)據(jù)傳輸時(shí)將錯(cuò)誤數(shù)據(jù)進(jìn)行重發(fā)，所述系統(tǒng)包括監(jiān)測(cè)模塊601、封裝模塊602及處理模塊603，其中所述監(jiān)測(cè)模塊601，用于監(jiān)測(cè)由數(shù)據(jù)處理工具發(fā)送的處理數(shù)據(jù)是否滿足目的庫存儲(chǔ)規(guī)則；其中，所述監(jiān)測(cè)模塊601在監(jiān)測(cè)由數(shù)據(jù)處理工具發(fā)送的處理數(shù)據(jù)是否滿足目的庫存儲(chǔ)規(guī)則時(shí)包括監(jiān)測(cè)所述由數(shù)據(jù)處理工具處理后的數(shù)據(jù)是否發(fā)生傳輸失真或不符合目的庫的存儲(chǔ)規(guī)則或其約束條件等。所述封裝模塊602，用于當(dāng)所述監(jiān)測(cè)模塊601監(jiān)測(cè)到由數(shù)據(jù)處理工具發(fā)送的處理數(shù)據(jù)不滿足目的庫存儲(chǔ)規(guī)則時(shí)，將所述由數(shù)據(jù)處理工具處理的數(shù)據(jù)作為錯(cuò)誤傳輸數(shù)據(jù)封裝成文檔。其中，所述封裝模塊602將錯(cuò)誤數(shù)據(jù)封裝成文檔包括將所述錯(cuò)誤數(shù)據(jù)封裝成xml 文檔，所述xml文檔包括與所述錯(cuò)誤數(shù)據(jù)相對(duì)應(yīng)的原始未傳輸數(shù)據(jù)或其數(shù)據(jù)標(biāo)識(shí)。所述處理模塊603，用于依據(jù)所述文檔生成數(shù)據(jù)重發(fā)選項(xiàng)，并將所述數(shù)據(jù)重發(fā)選項(xiàng)發(fā)送至所述數(shù)據(jù)處理工具，控制所述數(shù)據(jù)處理工具對(duì)與所述數(shù)據(jù)重發(fā)選項(xiàng)相對(duì)應(yīng)的數(shù)據(jù)進(jìn)行數(shù)據(jù)抽取、轉(zhuǎn)換、加載處理，并將所述經(jīng)過處理后的數(shù)據(jù)發(fā)送至目的庫。其中，所述處理模塊603依據(jù)所述文檔生成數(shù)據(jù)重發(fā)選項(xiàng)時(shí)包括依據(jù)所述xml文檔中的與所述錯(cuò)誤數(shù)據(jù)相對(duì)應(yīng)的原始未傳輸數(shù)據(jù)的數(shù)據(jù)標(biāo)識(shí)生成重發(fā)選項(xiàng)，再由所述數(shù)據(jù)處理工具依據(jù)所述重發(fā)選項(xiàng)將所述錯(cuò)誤數(shù)據(jù)相對(duì)應(yīng)的原始未傳輸數(shù)據(jù)進(jìn)行抽取、轉(zhuǎn)換、力口載處理，并將所述經(jīng)過處理后的數(shù)據(jù)發(fā)送至目的庫，由所述監(jiān)測(cè)模塊601繼續(xù)監(jiān)測(cè)，直至所述處理后的數(shù)據(jù)滿足目的庫的存儲(chǔ)規(guī)則，完成數(shù)據(jù)的正確傳輸。通過上述實(shí)施例可知，本發(fā)明提供的一種數(shù)據(jù)傳輸系統(tǒng)實(shí)施例四將發(fā)生傳輸處理錯(cuò)誤的數(shù)據(jù)進(jìn)行重發(fā)處理，直至所述處理后的數(shù)據(jù)滿足目的庫的存儲(chǔ)規(guī)則，將其存儲(chǔ)入目的庫，完成數(shù)據(jù)的正確傳輸處理，避免由于錯(cuò)誤數(shù)據(jù)導(dǎo)致數(shù)據(jù)處理工具的任務(wù)終止，有效保證了數(shù)據(jù)的完整性、一致性，達(dá)到了感知錯(cuò)誤、糾正錯(cuò)誤、解決錯(cuò)誤的目的。以上對(duì)本申請(qǐng)所提供的一種數(shù)據(jù)傳輸方法及系統(tǒng)進(jìn)行了詳細(xì)介紹，本文中應(yīng)用了具體個(gè)例對(duì)本申請(qǐng)的原理及實(shí)施方式進(jìn)行了闡述，以上實(shí)施例的說明只是用于幫助理解本申請(qǐng)的方法及其核心思想；同時(shí)，對(duì)于本領(lǐng)域的一般技術(shù)人員，依據(jù)本申請(qǐng)的思想，在具體實(shí)施方式
及應(yīng)用范圍上均會(huì)有改變之處，綜上所述，本說明書內(nèi)容不應(yīng)理解為對(duì)本申請(qǐng)的限制。
權(quán)利要求
1.一種數(shù)據(jù)傳輸方法，其特征在于，包括監(jiān)測(cè)由數(shù)據(jù)處理工具發(fā)送的處理數(shù)據(jù)是否滿足目的庫存儲(chǔ)規(guī)則，如果滿足，將所述由數(shù)據(jù)處理工具處理的數(shù)據(jù)存儲(chǔ)入所述目的庫，否則，將所述由數(shù)據(jù)處理工具處理的數(shù)據(jù)作為錯(cuò)誤傳輸數(shù)據(jù)封裝成文檔；依據(jù)所述文檔生成數(shù)據(jù)重發(fā)選項(xiàng)，并將所述數(shù)據(jù)重發(fā)選項(xiàng)發(fā)送至所述數(shù)據(jù)處理工具， 控制所述數(shù)據(jù)處理工具對(duì)與所述數(shù)據(jù)重發(fā)選項(xiàng)相對(duì)應(yīng)的數(shù)據(jù)進(jìn)行數(shù)據(jù)抽取、轉(zhuǎn)換、加載處理，并將所述經(jīng)過處理后的數(shù)據(jù)發(fā)送至目的庫。
2.一種數(shù)據(jù)傳輸系統(tǒng)，其特征在于，包括監(jiān)測(cè)模塊、封裝模塊及處理模塊，其中 所述監(jiān)測(cè)模塊，用于監(jiān)測(cè)由數(shù)據(jù)處理工具發(fā)送的處理數(shù)據(jù)是否滿足目的庫存儲(chǔ)規(guī)則； 所述封裝模塊，用于當(dāng)所述監(jiān)測(cè)模塊監(jiān)測(cè)到由數(shù)據(jù)處理工具發(fā)送的處理數(shù)據(jù)不滿足目的庫存儲(chǔ)規(guī)則時(shí)，將所述由數(shù)據(jù)處理工具處理的數(shù)據(jù)作為錯(cuò)誤傳輸數(shù)據(jù)封裝成文檔；所述處理模塊，用于依據(jù)所述文檔生成數(shù)據(jù)重發(fā)選項(xiàng)，并將所述數(shù)據(jù)重發(fā)選項(xiàng)發(fā)送至所述數(shù)據(jù)處理工具，控制所述數(shù)據(jù)處理工具對(duì)與所述數(shù)據(jù)重發(fā)選項(xiàng)相對(duì)應(yīng)的數(shù)據(jù)進(jìn)行數(shù)據(jù)抽取、轉(zhuǎn)換、加載處理，并將所述經(jīng)過處理后的數(shù)據(jù)發(fā)送至目的庫。
全文摘要
本申請(qǐng)?zhí)峁┝艘环N數(shù)據(jù)傳輸方法，包括監(jiān)測(cè)由數(shù)據(jù)處理工具發(fā)送的處理數(shù)據(jù)是否滿足目的庫存儲(chǔ)規(guī)則，如果滿足，將所述由數(shù)據(jù)處理工具處理的數(shù)據(jù)存儲(chǔ)入所述目的庫，否則，將所述由數(shù)據(jù)處理工具處理的數(shù)據(jù)作為錯(cuò)誤傳輸數(shù)據(jù)封裝成文檔；依據(jù)所述文檔生成數(shù)據(jù)重發(fā)選項(xiàng)，并將所述數(shù)據(jù)重發(fā)選項(xiàng)發(fā)送至所述數(shù)據(jù)處理工具，控制所述數(shù)據(jù)處理工具對(duì)與所述數(shù)據(jù)重發(fā)選項(xiàng)相對(duì)應(yīng)的數(shù)據(jù)進(jìn)行數(shù)據(jù)抽取、轉(zhuǎn)換、加載處理，并將所述經(jīng)過處理后的數(shù)據(jù)發(fā)送至目的庫。通過本發(fā)明提供的一種數(shù)據(jù)傳輸方法，將數(shù)據(jù)處理工具傳輸錯(cuò)誤的數(shù)據(jù)進(jìn)行重發(fā)，保證目的庫中數(shù)據(jù)的完整性、一致性。
文檔編號(hào)G06F17/30GK102497444SQ20111043874
公開日2012年6月13日 申請(qǐng)日期2011年12月23日 優(yōu)先權(quán)日2011年12月23日
發(fā)明者劉春 , 皮開元, 閆鵬, 馬亮 申請(qǐng)人:山東中創(chuàng)軟件商用中間件股份有限公司, 山東中創(chuàng)軟件工程股份有限公司