基于sap數(shù)據(jù)倉(cāng)庫(kù)的憑證數(shù)據(jù)檢索方法
【專利摘要】本發(fā)明公開(kāi)了一種基于SAP數(shù)據(jù)倉(cāng)庫(kù)(BW)的憑證數(shù)據(jù)檢索方法，包括：從變動(dòng)憑證數(shù)據(jù)中濾除在待出報(bào)表賬期范圍外并且已同步的憑證數(shù)據(jù)，并從剩余的憑證數(shù)據(jù)中提取感興趣的憑證數(shù)據(jù)；以及濾除所述感興趣的憑證數(shù)據(jù)中已加載到PSA中的憑證數(shù)據(jù)；對(duì)比所述PSA中記錄的憑證抽取時(shí)間與憑證數(shù)據(jù)變動(dòng)時(shí)間，標(biāo)識(shí)上一步驟中憑證數(shù)據(jù)變動(dòng)時(shí)間晚于憑證抽取時(shí)間的憑證數(shù)據(jù)；以及針對(duì)與變動(dòng)憑證數(shù)據(jù)相關(guān)的BW數(shù)據(jù)模型，判斷BW數(shù)據(jù)模型中的數(shù)據(jù)加載請(qǐng)求包是否已加載完成，當(dāng)加載未完成時(shí)，判斷存在在途憑證數(shù)據(jù)。通過(guò)上述技術(shù)方案，能夠?qū)崿F(xiàn)對(duì)大量待抽取憑證中有價(jià)值憑證信息的快速檢索，進(jìn)而大大縮短通過(guò)BW系統(tǒng)出具報(bào)表的時(shí)間。
【專利說(shuō)明】基于SAP數(shù)據(jù)倉(cāng)庫(kù)的憑證數(shù)據(jù)檢索方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及數(shù)據(jù)處理領(lǐng)域，具體地，涉及一種基于SAP數(shù)據(jù)倉(cāng)庫(kù)的憑證數(shù)據(jù)檢索方法。
【背景技術(shù)】
[0002]SAP BW 是 SAP Business information Warehouse 的縮寫(xiě)，中文意思是“SAP 數(shù)據(jù)倉(cāng)庫(kù)”。數(shù)據(jù)倉(cāng)庫(kù)的概念是W.H.1nmonl991年提出來(lái)，被人們尊稱為“數(shù)據(jù)倉(cāng)庫(kù)之父”，在其著作《Building the Data Warehouse)) 一書(shū)中給出了數(shù)據(jù)倉(cāng)庫(kù)的一個(gè)簡(jiǎn)短而全面的定義:數(shù)據(jù)倉(cāng)庫(kù)是一個(gè)面向主題(Subject Oriented)、集成的(Integrate)、相對(duì)穩(wěn)定的(Non-Volatile)、反映歷史變化(Time Variant)的數(shù)據(jù)集合,用于支持管理決策。根據(jù)數(shù)據(jù)倉(cāng)庫(kù)的相對(duì)穩(wěn)定的特點(diǎn)，數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)主要是提供決策分析之用，涉及的操作主要是查詢，因此數(shù)據(jù)一旦進(jìn)入BW系統(tǒng)后，數(shù)據(jù)狀態(tài)需要相對(duì)穩(wěn)定，需要盡量少的修改和刪除。隨著信息化技術(shù)的發(fā)展，對(duì)BW系統(tǒng)如何能及時(shí)的反應(yīng)OLTP (在線業(yè)務(wù)系統(tǒng))的最新變化的要求日益增加。
[0003]目前SAP ECC系統(tǒng)與SAP BW系統(tǒng)之間的數(shù)據(jù)同步是基于SAP數(shù)據(jù)源，通過(guò)定時(shí)數(shù)據(jù)抽取的機(jī)制實(shí)現(xiàn)系統(tǒng)之間數(shù)據(jù)同步，由于到SAP數(shù)據(jù)源數(shù)據(jù)抽取效率及對(duì)ECC系統(tǒng)性能的影響，以及SAP Bff中基于數(shù)據(jù)請(qǐng)求包的加載機(jī)制的限制，數(shù)據(jù)抽取的頻率通常設(shè)定為每天抽取一次，最小間隔要在I小時(shí)以上。導(dǎo)致當(dāng)在SAP ECC中新增或調(diào)整一筆憑證信息，無(wú)法快速的在SAP BW系統(tǒng)的報(bào)表中體現(xiàn)出來(lái)，無(wú)法滿足用戶對(duì)SAP BW系統(tǒng)中數(shù)據(jù)時(shí)效性的要求。
[0004]SAP通過(guò)使用HANA的硬件及SLT產(chǎn)品實(shí)現(xiàn)ECC與BW系統(tǒng)之間的數(shù)據(jù)的實(shí)時(shí)同步，但需要花費(fèi)很高的成本。
[0005]SAP BW系統(tǒng)標(biāo)準(zhǔn)的增量抽取中會(huì)包含一大部分報(bào)表出具時(shí)不需要的憑證信息，重復(fù)進(jìn)行增量抽取時(shí)還會(huì)包含大量重復(fù)抽取的憑證信息。目前需要一種有效的方法，從每日海量的新增憑證中篩選出有價(jià)值的變動(dòng)憑證信息，以實(shí)現(xiàn)通過(guò)用戶干預(yù)的方式，基于憑證快速抽取并同步數(shù)據(jù)，滿足報(bào)表出具對(duì)與SAP Bff中數(shù)據(jù)時(shí)效性的要求。
[0006]針對(duì)上述技術(shù)問(wèn)題，現(xiàn)有技術(shù)中尚無(wú)良好解決方案。

【發(fā)明內(nèi)容】

[0007]本發(fā)明的目的是提供一種方法，通過(guò)該方法實(shí)現(xiàn)對(duì)大量待抽取憑證中有價(jià)值憑證信息的快速檢索，進(jìn)而大大縮短通過(guò)BW系統(tǒng)出具報(bào)表的時(shí)間。
[0008]為了實(shí)現(xiàn)上述目的，本發(fā)明提供一種基于SAP數(shù)據(jù)倉(cāng)庫(kù)(BW)的憑證數(shù)據(jù)檢索方法，包括:從變動(dòng)憑證數(shù)據(jù)中濾除在待出報(bào)表賬期范圍外并且已同步的憑證數(shù)據(jù)，并從剩余的憑證數(shù)據(jù)中提取感興趣的憑證數(shù)據(jù)；以及濾除所述感興趣的憑證數(shù)據(jù)中已加載到持久數(shù)據(jù)緩存區(qū)(PSA)中的憑證數(shù)據(jù)；對(duì)比所述PSA中記錄的憑證抽取時(shí)間與憑證數(shù)據(jù)變動(dòng)時(shí)間，標(biāo)識(shí)上一步驟中憑證數(shù)據(jù)變動(dòng)時(shí)間晚于憑證抽取時(shí)間的憑證數(shù)據(jù)；以及針對(duì)與變動(dòng)憑證數(shù)據(jù)相關(guān)的BW數(shù)據(jù)模型，判斷BW數(shù)據(jù)模型中的數(shù)據(jù)加載請(qǐng)求包是否已加載完成，當(dāng)加載未完成時(shí)，判斷存在在途憑證數(shù)據(jù)。
[0009]進(jìn)一步地，所述從變動(dòng)憑證數(shù)據(jù)中濾除在待出報(bào)表賬期范圍外并且已同步的憑證數(shù)據(jù)，并從剩余的憑證數(shù)據(jù)中提取感興趣的憑證數(shù)據(jù)的步驟包括:根據(jù)待出報(bào)表賬期范圍和憑證數(shù)據(jù)的賬期信息，濾除所述賬期范圍外的變動(dòng)憑證數(shù)據(jù)；以及在所述賬期范圍內(nèi)的變動(dòng)憑證數(shù)據(jù)中提取憑證數(shù)據(jù)的變動(dòng)時(shí)間在上一次數(shù)據(jù)同步后的變動(dòng)憑證數(shù)據(jù)。
[0010]進(jìn)一步地，所述感興趣的憑證數(shù)據(jù)包括感興趣的公司和/或公司范圍的憑證數(shù)據(jù)。
[0011]進(jìn)一步地，該方法還可以包括:將每個(gè)步驟劃分為多個(gè)子任務(wù)節(jié)點(diǎn)；分配完成子任務(wù)節(jié)點(diǎn)所需的運(yùn)算到所述計(jì)算機(jī)集群中的多個(gè)計(jì)算機(jī)節(jié)點(diǎn)進(jìn)行運(yùn)算處理；保存所述多個(gè)計(jì)算機(jī)節(jié)點(diǎn)運(yùn)算處理的狀態(tài)快照；以及當(dāng)所述子任務(wù)節(jié)點(diǎn)中斷時(shí)，根據(jù)所述狀態(tài)快照恢復(fù)中斷前的子任務(wù)節(jié)點(diǎn)狀態(tài)，以及繼續(xù)執(zhí)行中斷的子任務(wù)節(jié)點(diǎn)。
[0012]進(jìn)一步地，該方 法還可以包括:對(duì)所述多個(gè)計(jì)算機(jī)節(jié)點(diǎn)進(jìn)行心跳檢測(cè)；以及將分配到心跳檢測(cè)無(wú)響應(yīng)的計(jì)算機(jī)節(jié)點(diǎn)的運(yùn)算再分配到其他計(jì)算機(jī)節(jié)點(diǎn)。
[0013]進(jìn)一步地，該方法還可以包括:將所述多個(gè)計(jì)算機(jī)節(jié)點(diǎn)的運(yùn)算處理結(jié)果保存到與所述計(jì)算機(jī)集群中的所有計(jì)算機(jī)節(jié)點(diǎn)連接的共享存儲(chǔ)器。
[0014]進(jìn)一步地，該方法還可以包括:當(dāng)執(zhí)行當(dāng)前子任務(wù)節(jié)點(diǎn)的所有計(jì)算機(jī)節(jié)點(diǎn)運(yùn)算處理完成后，對(duì)完成下一個(gè)子任務(wù)節(jié)點(diǎn)所需的運(yùn)算進(jìn)行分配。
[0015]進(jìn)一步地，該方法還可以包括:根據(jù)貪婪算法分配所述完成子任務(wù)節(jié)點(diǎn)所需的運(yùn)
笪
ο
[0016]進(jìn)一步地，該方法還可以包括:在完成最后一個(gè)任務(wù)節(jié)點(diǎn)的運(yùn)算后，輸出運(yùn)算結(jié)果O
[0017]進(jìn)一步地,所述計(jì)算機(jī)集群由部署云計(jì)算平臺(tái)的計(jì)算機(jī)節(jié)點(diǎn)組成。
[0018]進(jìn)一步地，所述云計(jì)算平臺(tái)為HADOOP云計(jì)算平臺(tái)。
[0019]進(jìn)一步地，所述計(jì)算機(jī)節(jié)點(diǎn)為L(zhǎng)INUX系統(tǒng)服務(wù)器。
[0020]通過(guò)上述技術(shù)方案，實(shí)現(xiàn)對(duì)大量待抽取憑證中有價(jià)值憑證信息的快速檢索，進(jìn)而大大縮短通過(guò)BW系統(tǒng)出具報(bào)表的時(shí)間。
[0021]本發(fā)明的其他特征和優(yōu)點(diǎn)將在隨后的【具體實(shí)施方式】部分予以詳細(xì)說(shuō)明。
【專利附圖】

【附圖說(shuō)明】
[0022]附圖是用來(lái)提供對(duì)本發(fā)明的進(jìn)一步理解，并且構(gòu)成說(shuō)明書(shū)的一部分，與下面的【具體實(shí)施方式】一起用于解釋本發(fā)明，但并不構(gòu)成對(duì)本發(fā)明的限制。在附圖中:
[0023]圖1是根據(jù)本發(fā)明實(shí)施方式的基于SAP Bff的憑證數(shù)據(jù)檢索方法流程圖；
[0024]圖2是根據(jù)本發(fā)明示例性實(shí)施方式的基于SAP Bff的憑證數(shù)據(jù)檢索方法流程圖；
[0025]圖3是根據(jù)本發(fā)明示例性實(shí)施方式的基于SAP Bff的憑證數(shù)據(jù)檢索方法流程圖；
[0026]圖4是根據(jù)本發(fā)明示例性實(shí)施方式的基于SAP Bff的憑證數(shù)據(jù)檢索方法流程圖；以及
[0027]圖5是根據(jù)本發(fā)明示例性實(shí)施方式的BW數(shù)據(jù)模型結(jié)構(gòu)示意圖。【具體實(shí)施方式】
[0028]以下結(jié)合附圖對(duì)本發(fā)明的【具體實(shí)施方式】進(jìn)行詳細(xì)說(shuō)明。應(yīng)當(dāng)理解的是，此處所描述的【具體實(shí)施方式】?jī)H用于說(shuō)明和解釋本發(fā)明，并不用于限制本發(fā)明。
[0029]圖1是根據(jù)本發(fā)明實(shí)施方式的基于SAP數(shù)據(jù)倉(cāng)庫(kù)(BW)的憑證數(shù)據(jù)檢索方法流程圖。如圖1所示，根據(jù)本發(fā)明實(shí)施方式的基于SAP BW的憑證數(shù)據(jù)檢索方法，包括:S101，從變動(dòng)憑證數(shù)據(jù)中濾除在待出報(bào)表賬期范圍外并且已同步的憑證數(shù)據(jù)，并從剩余的憑證數(shù)據(jù)中提取感興趣的憑證數(shù)據(jù)；以及S102，濾除所述感興趣的憑證數(shù)據(jù)中已加載到持久數(shù)據(jù)緩存區(qū)(PSA)中的憑證數(shù)據(jù)；S103，對(duì)比所述PSA中記錄的憑證抽取時(shí)間與憑證數(shù)據(jù)變動(dòng)時(shí)間，標(biāo)識(shí)上一步驟中憑證數(shù)據(jù)變動(dòng)時(shí)間晚于憑證抽取時(shí)間的憑證數(shù)據(jù)；以及S104，針對(duì)與變動(dòng)憑證數(shù)據(jù)相關(guān)的BW數(shù)據(jù)模型，判斷BW數(shù)據(jù)模型中的數(shù)據(jù)加載請(qǐng)求包是否已加載完成，當(dāng)加載未完成時(shí)，判斷存在在途憑證數(shù)據(jù)，可以提示等待加載完成。作為舉例的BW數(shù)據(jù)模型可以如圖5所示。在實(shí)施方式中的BW數(shù)據(jù)模型可以是在SAP BW系統(tǒng)中一組用于存放數(shù)據(jù)的模型，根據(jù)數(shù)據(jù)加工及數(shù)據(jù)展示的需要，BW數(shù)據(jù)模型通常采用分層設(shè)計(jì)，舉例如“抽取層”存儲(chǔ)原始數(shù)據(jù)，“轉(zhuǎn)換層”存儲(chǔ)進(jìn)行過(guò)加工的數(shù)據(jù)，“展示層”存儲(chǔ)匯總級(jí)數(shù)據(jù)。由于SAPBW系統(tǒng)中的數(shù)據(jù)模型采用上述分層設(shè)計(jì)，因此增量數(shù)據(jù)會(huì)以數(shù)據(jù)包的形式在例如圖5所示的結(jié)構(gòu)中逐層加載。例如，當(dāng)數(shù)據(jù)包加載至“展示層”后，可供最終查詢及報(bào)表使用，當(dāng)數(shù)據(jù)包未加載至“展示層”時(shí)，增量數(shù)據(jù)無(wú)法被最終查詢及報(bào)表訪問(wèn)到，這部分?jǐn)?shù)據(jù)被稱為“在途數(shù)據(jù)”。因此，在實(shí)施方式中，根據(jù)數(shù)據(jù)包得加載狀態(tài)可以判斷是否存在在途的數(shù)據(jù)，以及可以根據(jù)判斷存在在途數(shù)據(jù)的判斷結(jié)果提示等待加載完成。
[0030]通過(guò)上述技術(shù)方案，通過(guò)設(shè)置多重過(guò)濾條件，能夠從大量待抽取憑證中找到所需的憑證，從而實(shí)現(xiàn)對(duì)大量待抽取憑證中有價(jià)值憑證信息的快速檢索，進(jìn)而大大縮短通過(guò)BW系統(tǒng)出具報(bào)表的時(shí)間。在實(shí)施方式中，感興趣的憑證數(shù)據(jù)可以包括感興趣的公司和/或公司范圍的憑證數(shù)據(jù)。所獲得的感興趣的憑證數(shù)據(jù)可以定義為有價(jià)值的數(shù)據(jù)。通過(guò)定位有價(jià)值的數(shù)據(jù)，并對(duì)有價(jià)值的數(shù)據(jù)進(jìn)行同步，避免了不必要的資源浪費(fèi)。
[0031]在優(yōu)選的實(shí)施方式中，步驟S101，從變動(dòng)憑證數(shù)據(jù)中濾除在待出報(bào)表賬期范圍外并且已同步的憑證數(shù)據(jù)，并從剩余的憑證數(shù)據(jù)中提取感興趣的憑證數(shù)據(jù)的步驟可以包括:根據(jù)待出報(bào)表賬期范圍和憑證數(shù)據(jù)的賬期信息，濾除所述賬期范圍外的變動(dòng)憑證數(shù)據(jù)；以及在所述賬期范圍內(nèi)的變動(dòng)憑證數(shù)據(jù)中提取憑證數(shù)據(jù)的變動(dòng)時(shí)間在上一次數(shù)據(jù)同步后的變動(dòng)憑證數(shù)據(jù)。下面結(jié)合一個(gè)示例性實(shí)施方式進(jìn)一步說(shuō)明。
[0032]圖2是根據(jù)本發(fā)明示例性實(shí)施方式的基于SAP Bff的憑證數(shù)據(jù)檢索方法流程圖。如圖2所示，該方法包括:基于出具報(bào)表時(shí)帳期的限制要求(例如，某年中的某月)，首先對(duì)不在當(dāng)前報(bào)表出具的帳期范圍內(nèi)的變動(dòng)憑證進(jìn)行過(guò)濾，然后再基于憑證的變動(dòng)時(shí)間進(jìn)行過(guò)濾，排除通過(guò)標(biāo)準(zhǔn)程序已經(jīng)同步的憑證數(shù)據(jù)。考慮到財(cái)務(wù)業(yè)務(wù)的實(shí)際需要，接著還可以基于憑證的公司代碼進(jìn)行過(guò)濾，排除公司代碼不在當(dāng)前報(bào)表范圍內(nèi)的憑證數(shù)據(jù)。
[0033]顯然，通過(guò)以上三步驟，可以從海量的變動(dòng)憑證中屏蔽掉絕大多數(shù)的憑證記錄。在圖2所示的實(shí)施方式中，執(zhí)行完以上的三個(gè)步驟之后，接著針對(duì)檢索出來(lái)的憑證記錄再進(jìn)行逐條鑒別。具體的鑒別步驟可以包括:通過(guò)比對(duì)PSA中的歷史數(shù)據(jù)包，定位尚未加載的憑證；通過(guò)比對(duì)PSA中憑證抽取時(shí)間與變動(dòng)憑證的變動(dòng)時(shí)間，定位需要重新加載的憑證；以及通過(guò)BW數(shù)據(jù)模型中的數(shù)據(jù)請(qǐng)求包的加載狀態(tài)與時(shí)間，判斷屬于在途數(shù)據(jù)的憑證，對(duì)于屬于在途數(shù)據(jù)的憑證，需要繼續(xù)等待完成加載操作。
[0034]通過(guò)以上方法，能夠?qū)⒂袃r(jià)值的憑證信息提示給用戶，即提供給用戶的都是用戶需要的憑證信息。當(dāng)存在數(shù)據(jù)快速同步需求時(shí)，可以選中憑證編號(hào)并調(diào)用基于憑證抽取的數(shù)據(jù)源進(jìn)行憑證數(shù)據(jù)的抽取，并通過(guò)例如基于快速數(shù)據(jù)加載鏈將這些憑證數(shù)據(jù)快速加載至相應(yīng)的數(shù)據(jù)模型。
[0035]下面對(duì)上述方法的各個(gè)步驟進(jìn)行詳細(xì)描述。
[0036]關(guān)于變動(dòng)憑證的帳期過(guò)濾:在實(shí)際的處理中，首先會(huì)判斷憑證的帳期信息，根據(jù)出具報(bào)表時(shí)帳期的限制要求，對(duì)不在當(dāng)前報(bào)表出具的帳期范圍內(nèi)的變動(dòng)憑證進(jìn)行過(guò)濾。例如:在每個(gè)月初出具上一月份財(cái)務(wù)報(bào)表時(shí)，報(bào)表取數(shù)的范圍是帳期小于等于上一月份。通常當(dāng)日的變動(dòng)憑證中絕大多數(shù)帳期等于當(dāng)月，是報(bào)表出具不需要的數(shù)據(jù)，可以濾除。
[0037]關(guān)于憑證的變動(dòng)時(shí)間過(guò)濾:通過(guò)該過(guò)程可以選取最近一段時(shí)間內(nèi)變動(dòng)的憑證，因?yàn)檎Ｇ闆r下，SAP BW會(huì)定期與SAP ECC系統(tǒng)進(jìn)行數(shù)據(jù)同步，時(shí)間間隔通常是I天或半天一次。因此，影響報(bào)表出具的數(shù)據(jù)通常是在上一次數(shù)據(jù)同步之后發(fā)生變動(dòng)的憑證，因此可以通過(guò)憑證的變動(dòng)時(shí)間過(guò)濾掉已經(jīng)完成同步的憑證記錄。
[0038]關(guān)于憑證的公司范圍過(guò)濾:通過(guò)該過(guò)程可以選取當(dāng)前要出具的報(bào)表所涉及的相關(guān)公司的憑證數(shù)據(jù)。因?yàn)楦鱾€(gè)公司出具報(bào)表的時(shí)間不同，各公司對(duì)SAP BW數(shù)據(jù)有時(shí)效性要求的時(shí)間段是不同的，因此當(dāng)需要出具報(bào)表時(shí)，僅檢索出當(dāng)期用戶所屬公司的憑證信息即可。
[0039]關(guān)于PSA歷史數(shù)據(jù)包存在性比對(duì):該過(guò)程會(huì)將通過(guò)以上三個(gè)步驟檢索出來(lái)的憑證記錄繼續(xù)進(jìn)行逐條比對(duì)與判斷，通過(guò)在數(shù)據(jù)源的PSA中查詢歷史數(shù)據(jù)包中進(jìn)行檢索，判斷憑證是否已經(jīng)被加載過(guò)。標(biāo)識(shí)出尚未加載過(guò)的憑證(例如，為有價(jià)值的憑證)，可以提示給用戶。
[0040]關(guān)于憑證抽取時(shí)間與變動(dòng)時(shí)間比對(duì):針對(duì)上一步驟中已經(jīng)被加載過(guò)的憑證記錄，需要進(jìn)一步比對(duì)在PSA中記錄的憑證抽取時(shí)間與變動(dòng)憑證的變動(dòng)時(shí)間，確認(rèn)時(shí)間的先后順序。標(biāo)識(shí)出憑證變動(dòng)時(shí)間晚于抽取時(shí)間的憑證(例如，為有價(jià)值的憑證)，同樣可以提示給用戶。
[0041]關(guān)于數(shù)據(jù)模型加載完整性比對(duì):針對(duì)變動(dòng)憑證涉及的相關(guān)BW數(shù)據(jù)模型，需要進(jìn)一步判讀這些數(shù)據(jù)模型中的數(shù)據(jù)加載請(qǐng)求包是否已經(jīng)被成功加載完成，如尚未加載至最終數(shù)據(jù)模型，可以判斷存在在途的數(shù)據(jù)。
[0042]通過(guò)上述方法，能夠?qū)崿F(xiàn)對(duì)大量待抽取憑證中有價(jià)值憑證信息的快速檢索，進(jìn)而大大縮短通過(guò)BW系統(tǒng)出具報(bào)表的時(shí)間
[0043]在實(shí)施方式中，本發(fā)明提供的基于SAP BW的憑證數(shù)據(jù)檢索方法可以按照任務(wù)鏈形式按步驟順序進(jìn)行。對(duì)憑證數(shù)據(jù)進(jìn)行檢索需要在總量憑證數(shù)據(jù)中進(jìn)行，總量憑證數(shù)據(jù)可能是海量的，因此進(jìn)行檢索的運(yùn)算量可能也同樣是海量級(jí)別。這樣的運(yùn)算量，普通的系統(tǒng)和硬件難以完成，一般需要高性能的硬件支持，而高性能的硬件勢(shì)必需要高昂的成本投入。為此，本發(fā)明的實(shí)施方式中提供以下方法解決大數(shù)據(jù)量與性能不高的硬件系統(tǒng)之間的矛盾。
[0044]圖3是根據(jù)本發(fā)明示例性實(shí)施方式的基于SAP Bff的憑證數(shù)據(jù)檢索方法流程圖。如圖3所示，本發(fā)明實(shí)施方式提供的基于SAP Bff的憑證數(shù)據(jù)檢索方法，可以包括:S301，將每個(gè)步驟劃分為多個(gè)子任務(wù)節(jié)點(diǎn)；S302，分配完成子任務(wù)節(jié)點(diǎn)所需的運(yùn)算到所述計(jì)算機(jī)集群中的多個(gè)計(jì)算機(jī)節(jié)點(diǎn)進(jìn)行運(yùn)算處理；S303，保存所述多個(gè)計(jì)算機(jī)節(jié)點(diǎn)運(yùn)算處理的狀態(tài)快照；以及S304，當(dāng)所述子任務(wù)節(jié)點(diǎn)中斷時(shí)，根據(jù)所述狀態(tài)快照恢復(fù)中斷前的子任務(wù)節(jié)點(diǎn)狀態(tài)，以及繼續(xù)執(zhí)行中斷的子任務(wù)節(jié)點(diǎn)。
[0045]通過(guò)上述技術(shù)方案，將完成一個(gè)任務(wù)鏈步驟所需的運(yùn)算分配到多個(gè)計(jì)算機(jī)節(jié)點(diǎn)進(jìn)行運(yùn)算處理，能夠?qū)⑦\(yùn)算量化整為零，提高任務(wù)運(yùn)行速度；通過(guò)保存運(yùn)算處理的狀態(tài)快照，在任務(wù)鏈步驟因故中斷時(shí)，能夠?qū)⑷蝿?wù)鏈步驟恢復(fù)到中斷前狀態(tài)，從而從中斷前狀態(tài)開(kāi)始繼續(xù)執(zhí)行任務(wù)鏈。因此，通過(guò)上述技術(shù)方案，當(dāng)任務(wù)鏈步驟或節(jié)點(diǎn)失敗時(shí)，能夠從失敗的步驟或節(jié)點(diǎn)繼續(xù)執(zhí)行任務(wù)鏈，而無(wú)需從初始狀態(tài)重復(fù)執(zhí)行，提高任務(wù)處理效率、降低資源浪費(fèi)。
[0046]在優(yōu)選的實(shí)施方式中，上述方法還可以包括:對(duì)多個(gè)計(jì)算機(jī)節(jié)點(diǎn)進(jìn)行心跳檢測(cè)；以及將分配到心跳檢測(cè)無(wú)響應(yīng)的計(jì)算機(jī)節(jié)點(diǎn)的運(yùn)算再分配到其他計(jì)算機(jī)節(jié)點(diǎn)。通過(guò)心跳檢測(cè)可以確定進(jìn)行運(yùn)算的計(jì)算機(jī)節(jié)點(diǎn)的工作狀態(tài)。為了確保分配到每個(gè)計(jì)算機(jī)節(jié)點(diǎn)的運(yùn)算都能夠完成，當(dāng)出現(xiàn)心跳檢測(cè)無(wú)響應(yīng)的計(jì)算機(jī)時(shí)，可以將分配到該計(jì)算機(jī)節(jié)點(diǎn)的運(yùn)算重新分配到其他心跳檢測(cè)正常的計(jì)算機(jī)節(jié)點(diǎn)。優(yōu)選地，重新分配到的計(jì)算機(jī)節(jié)點(diǎn)可以是已完成被分配的運(yùn)算的計(jì)算機(jī)節(jié)點(diǎn)，這樣可以充分利用空閑計(jì)算資源完成運(yùn)算。
[0047]為了使完成任務(wù)鏈中每個(gè)任務(wù)節(jié)點(diǎn)或子任務(wù)節(jié)點(diǎn)的運(yùn)算的計(jì)算機(jī)節(jié)點(diǎn)能夠獲取運(yùn)算所需的數(shù)據(jù)，在實(shí)施方式中，方法還可以包括:將所述多個(gè)計(jì)算機(jī)節(jié)點(diǎn)的運(yùn)算處理結(jié)果保存到與所述計(jì)算機(jī)集群中的所有計(jì)算機(jī)節(jié)點(diǎn)連接的共享存儲(chǔ)器。這樣所有計(jì)算機(jī)節(jié)點(diǎn)可以在運(yùn)算開(kāi)始時(shí)從共享存儲(chǔ)器獲取運(yùn)算數(shù)據(jù)，以及在運(yùn)算完成時(shí)向共享存儲(chǔ)器中存儲(chǔ)運(yùn)算結(jié)果。這里需要說(shuō)明的是，計(jì)算機(jī)節(jié)點(diǎn)運(yùn)算處理的狀態(tài)快照也可以保存在共享存儲(chǔ)器中，或者也可以單獨(dú)設(shè)置快照存儲(chǔ)器。存儲(chǔ)器的實(shí)例包括但不局限于只讀存儲(chǔ)器(ROM)、隨機(jī)存取存儲(chǔ)器(RAM)、寄存器、緩沖存儲(chǔ)器、半導(dǎo)體存儲(chǔ)設(shè)備等。
[0048]在不同的實(shí)施方式中，該方法還可以包括:當(dāng)執(zhí)行當(dāng)前子任務(wù)節(jié)點(diǎn)的所有計(jì)算機(jī)節(jié)點(diǎn)運(yùn)算處理完成后，對(duì)完成下一個(gè)子任務(wù)節(jié)點(diǎn)所需的運(yùn)算進(jìn)行分配。在實(shí)施方式中，存在多種情況需要執(zhí)行上述步驟。例如，對(duì)于大量運(yùn)算，需要使用計(jì)算機(jī)集群中的所有計(jì)算機(jī)節(jié)點(diǎn)參與的子任務(wù)節(jié)點(diǎn)的運(yùn)算，只有當(dāng)所有計(jì)算機(jī)節(jié)點(diǎn)都完成運(yùn)算處理后才能繼續(xù)分配下一子任務(wù)節(jié)點(diǎn)的運(yùn)算。再如，對(duì)于需要得到上一子任務(wù)節(jié)點(diǎn)的全部運(yùn)算結(jié)果后才能分配下一子任務(wù)節(jié)點(diǎn)的運(yùn)算的情況，方法中也需要包含這樣的步驟。當(dāng)然，在實(shí)施方式中，也可以將不同子任務(wù)節(jié)點(diǎn)的運(yùn)算同時(shí)分配到計(jì)算機(jī)集群中的不同計(jì)算機(jī)節(jié)點(diǎn)組進(jìn)行處理。
[0049]下面結(jié)合圖4對(duì)基于SAP BW的憑證數(shù)據(jù)檢索方法的實(shí)現(xiàn)過(guò)程進(jìn)行說(shuō)明。如圖4所示，在一個(gè)任務(wù)鏈從開(kāi)始到結(jié)束之間可以有多個(gè)任務(wù)節(jié)點(diǎn)(或網(wǎng)狀處理節(jié)點(diǎn))，每個(gè)任務(wù)節(jié)點(diǎn)中可以包括(例如具有網(wǎng)狀拓?fù)浣Y(jié)構(gòu)的)多個(gè)子任務(wù)節(jié)點(diǎn)，每個(gè)子任務(wù)節(jié)點(diǎn)的運(yùn)算可以被分配到計(jì)算機(jī)集群中的一個(gè)或多個(gè)計(jì)算機(jī)節(jié)點(diǎn)(圖中未示出)進(jìn)行處理。每個(gè)計(jì)算機(jī)節(jié)點(diǎn)所要進(jìn)行的運(yùn)算可以由統(tǒng)一的總控單元進(jìn)行，該總控單元可以是計(jì)算機(jī)集群中的一個(gè)計(jì)算機(jī)節(jié)點(diǎn)，同時(shí)負(fù)責(zé)計(jì)算機(jī)集群中其他所有計(jì)算機(jī)節(jié)點(diǎn)的心跳檢測(cè)。與運(yùn)算相關(guān)的上下文共享數(shù)據(jù)(例如，計(jì)算機(jī)節(jié)點(diǎn)的運(yùn)算處理結(jié)果)可以被保存到與所述計(jì)算機(jī)集群中的所有計(jì)算機(jī)節(jié)點(diǎn)連接的共享存儲(chǔ)器。在完成最后一個(gè)網(wǎng)狀處理節(jié)點(diǎn)的運(yùn)算后，可以輸出運(yùn)算結(jié)果，例如輸出到目標(biāo)應(yīng)用。需要說(shuō)明的是，圖4中示出了包括三個(gè)網(wǎng)狀處理節(jié)點(diǎn)的任務(wù)鏈，然而附圖僅出于示例性目的，并不對(duì)任務(wù)鏈的長(zhǎng)度進(jìn)行限制。例如根據(jù)本發(fā)明的基于SAPBW的憑證數(shù)據(jù)檢索方法可以使用4個(gè)網(wǎng)狀處理節(jié)點(diǎn)，分別對(duì)圖1中所示的各個(gè)步驟進(jìn)行處理。
[0050]在優(yōu)選的實(shí)施方式中，可以根據(jù)貪婪算法分配所述完成子任務(wù)節(jié)點(diǎn)所需的運(yùn)算。即，可以將最復(fù)雜的運(yùn)算交給計(jì)算能力最強(qiáng)的計(jì)算機(jī)節(jié)點(diǎn)進(jìn)行處理，進(jìn)而確保整個(gè)運(yùn)算的處理速度。
[0051]在優(yōu)選的實(shí)施方式中，計(jì)算機(jī)集群可以由部署云計(jì)算平臺(tái)的計(jì)算機(jī)節(jié)點(diǎn)組成，從而可以利用云計(jì)算平臺(tái)的資源優(yōu)勢(shì)，降低大量運(yùn)算對(duì)計(jì)算機(jī)節(jié)點(diǎn)的硬件要求。例如，可以使用HADOOP云計(jì)算平臺(tái)，而計(jì)算機(jī)節(jié)點(diǎn)可以為部署了云計(jì)算平臺(tái)(例如HADOOP的)LINUX系統(tǒng)服務(wù)器。以下，結(jié)合HADOOP云計(jì)算平臺(tái)對(duì)根據(jù)本發(fā)明的基于SAP Bff的憑證數(shù)據(jù)檢索方法的實(shí)現(xiàn)方式進(jìn)行說(shuō)明(以上已經(jīng)具體分析了方法的每個(gè)步驟的實(shí)現(xiàn)及作用，這里僅從普遍適用角度對(duì)任務(wù)鏈的執(zhí)行過(guò)程進(jìn)行描述)。
[0052]在一個(gè)實(shí)施方式中，可以使用任務(wù)鏈開(kāi)發(fā)模式以及命令模式搭配HADOOP云計(jì)算平臺(tái)來(lái)實(shí)現(xiàn)任務(wù)鏈執(zhí)行過(guò)程。其具體的實(shí)施方式如下:
[0053](I)根據(jù)業(yè)務(wù)需求(處理順序)把任務(wù)處理鏈進(jìn)行功能切分；
[0054](2)確定任務(wù)鏈中任務(wù)先后順序以及依賴關(guān)系；
[0055](3)注冊(cè)統(tǒng)一接口，繼承接口對(duì)每個(gè)任務(wù)進(jìn)行具體實(shí)現(xiàn)；
[0056](4)選取多臺(tái)(例如，5至10臺(tái))普通服務(wù)器(LINUX操作系統(tǒng))，作為報(bào)表數(shù)據(jù)計(jì)算處理的節(jié)點(diǎn)；
[0057](5)在這些普通的服務(wù)器上部署HADOOP平臺(tái)，將這些機(jī)器組合成一個(gè)分布式計(jì)算集群；
[0058](6)在分布式計(jì)算集群上初始化分布式文件系統(tǒng)(HDFS)；
[0059](7)將處理鏈所需數(shù)據(jù)文件推送至HADOOP分布式文件系統(tǒng)(HDFS)；
[0060](8)在節(jié)點(diǎn)進(jìn)行計(jì)算的時(shí)候，系統(tǒng)會(huì)自動(dòng)對(duì)輸入文件進(jìn)行切分，分發(fā)至HADOOP集群進(jìn)行分布式并行計(jì)算；
[0061](9)系統(tǒng)會(huì)對(duì)HADOOP集群進(jìn)行計(jì)算的節(jié)點(diǎn)進(jìn)行心跳檢測(cè)，實(shí)時(shí)監(jiān)測(cè)網(wǎng)狀任務(wù)節(jié)點(diǎn)的計(jì)算運(yùn)行狀態(tài)，及時(shí)移除無(wú)響應(yīng)節(jié)點(diǎn)，并將無(wú)響應(yīng)節(jié)點(diǎn)計(jì)算數(shù)據(jù)分發(fā)至其他節(jié)點(diǎn)繼續(xù)進(jìn)行計(jì)算；
[0062](10)所有節(jié)點(diǎn)進(jìn)行計(jì)算完成后，數(shù)據(jù)被發(fā)送至鏈?zhǔn)焦?jié)點(diǎn)上下文共享數(shù)據(jù)區(qū)域內(nèi)，可供其他節(jié)點(diǎn)使用；
[0063](11)在鏈?zhǔn)焦?jié)點(diǎn)運(yùn)行過(guò)程中，系統(tǒng)自動(dòng)生成當(dāng)前計(jì)算狀態(tài)快照，并能夠在處理鏈發(fā)生錯(cuò)誤的時(shí)候提供足夠的數(shù)據(jù)可供任務(wù)鏈繼續(xù)進(jìn)行數(shù)據(jù)處理；以及
[0064](12)將最終數(shù)據(jù)結(jié)果統(tǒng)一輸出給目標(biāo)應(yīng)用，任務(wù)鏈結(jié)束。
[0065]通過(guò)上面實(shí)施方式提供的任務(wù)處理方法能夠?qū)⒎椒ㄖ械拿總€(gè)步驟的運(yùn)算分布到多個(gè)計(jì)算節(jié)點(diǎn)進(jìn)行處理，還能夠?qū)崿F(xiàn)任務(wù)中斷后的繼續(xù)執(zhí)行而無(wú)需從任務(wù)鏈的初始狀態(tài)重復(fù)執(zhí)行，因而能夠極大地提高任務(wù)處理效率。
[0066]以上結(jié)合附圖詳細(xì)描述了本發(fā)明的優(yōu)選實(shí)施方式，但是，本發(fā)明并不限于上述實(shí)施方式中的具體細(xì)節(jié)，在本發(fā)明的技術(shù)構(gòu)思范圍內(nèi)，可以對(duì)本發(fā)明的技術(shù)方案進(jìn)行多種簡(jiǎn)單變型，這些簡(jiǎn)單變型均屬于本發(fā)明的保護(hù)范圍。例如，可以將計(jì)算機(jī)節(jié)點(diǎn)改變?yōu)橛?jì)算節(jié)點(diǎn)或計(jì)算單元。
[0067]另外需要說(shuō)明的是，在上述【具體實(shí)施方式】中所描述的各個(gè)具體技術(shù)特征，在不矛盾的情況下，可以通過(guò)任何合適的方式進(jìn)行組合。為了避免不必要的重復(fù)，本發(fā)明對(duì)各種可能的組合方式不再另行說(shuō)明。
[0068]此外，本發(fā)明的各種不同的實(shí)施方式之間也可以進(jìn)行任意組合，只要其不違背本發(fā)明的思想，其同樣應(yīng)當(dāng)視為本發(fā)明所公開(kāi)的內(nèi)容。
【權(quán)利要求】
1.一種基于SAP數(shù)據(jù)倉(cāng)庫(kù)(BW)的憑證數(shù)據(jù)檢索方法，其特征在于，該方法包括: 從變動(dòng)憑證數(shù)據(jù)中濾除在待出報(bào)表賬期范圍外并且已同步的憑證數(shù)據(jù)，并從剩余的憑證數(shù)據(jù)中提取感興趣的憑證數(shù)據(jù)；以及 濾除所述感興趣的憑證數(shù)據(jù)中已加載到持久數(shù)據(jù)緩存區(qū)(PSA)中的憑證數(shù)據(jù)； 對(duì)比所述PSA中記錄的憑證抽取時(shí)間與憑證數(shù)據(jù)變動(dòng)時(shí)間，標(biāo)識(shí)上一步驟中憑證數(shù)據(jù)變動(dòng)時(shí)間晚于憑證抽取時(shí)間的憑證數(shù)據(jù)；以及 針對(duì)與變動(dòng)憑證數(shù)據(jù)相關(guān)的BW數(shù)據(jù)模型，判斷BW數(shù)據(jù)模型中的數(shù)據(jù)加載請(qǐng)求包是否已加載完成，當(dāng)加載未完成時(shí)，判斷存在在途憑證數(shù)據(jù)。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述從變動(dòng)憑證數(shù)據(jù)中濾除在待出報(bào)表賬期范圍外并且已同步的憑證數(shù)據(jù)，并從剩余的憑證數(shù)據(jù)中提取感興趣的憑證數(shù)據(jù)的步驟包括: 根據(jù)待出報(bào)表賬期范圍和憑證數(shù)據(jù)的賬期信息，濾除所述賬期范圍外的變動(dòng)憑證數(shù)據(jù)；以及 在所述賬期范圍內(nèi)的變動(dòng)憑證數(shù)據(jù)中提取憑證數(shù)據(jù)的變動(dòng)時(shí)間在上一次數(shù)據(jù)同步后的變動(dòng)憑證數(shù)據(jù)。
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述感興趣的憑證數(shù)據(jù)包括感興趣的公司和/或公司范圍的憑證數(shù)據(jù)。
4.根據(jù)權(quán)利要求1-3中任一項(xiàng)權(quán)利要求所述的方法，其特征在于，該方法還包括: 將每個(gè)步驟劃分為多個(gè)子任務(wù)節(jié)點(diǎn)； 分配完成子任務(wù)節(jié)點(diǎn)所需的運(yùn)算到所述計(jì)算機(jī)集群中的多個(gè)計(jì)算機(jī)節(jié)點(diǎn)進(jìn)行運(yùn)算處理； 保存所述多個(gè)計(jì)算機(jī)節(jié)點(diǎn)運(yùn)算處理的狀態(tài)快照；以及 當(dāng)所述子任務(wù)節(jié)點(diǎn)中斷時(shí)，根據(jù)所述狀態(tài)快照恢復(fù)中斷前的子任務(wù)節(jié)點(diǎn)狀態(tài)，以及繼續(xù)執(zhí)行中斷的子任務(wù)節(jié)點(diǎn)。
5.根據(jù)權(quán)利要求4所述的方法，其特征在于，該方法還包括: 對(duì)所述多個(gè)計(jì)算機(jī)節(jié)點(diǎn)進(jìn)行心跳檢測(cè)；以及 將分配到心跳檢測(cè)無(wú)響應(yīng)的計(jì)算機(jī)節(jié)點(diǎn)的運(yùn)算再分配到其他計(jì)算機(jī)節(jié)點(diǎn)。
6.根據(jù)權(quán)利要求4所述的方法，其特征在于，該方法還包括: 將所述多個(gè)計(jì)算機(jī)節(jié)點(diǎn)的運(yùn)算處理結(jié)果保存到與所述計(jì)算機(jī)集群中的所有計(jì)算機(jī)節(jié)點(diǎn)連接的共享存儲(chǔ)器。
7.根據(jù)權(quán)利要求4所述的方法，其特征在于，該方法還包括: 當(dāng)執(zhí)行當(dāng)前子任務(wù)節(jié)點(diǎn)的所有計(jì)算機(jī)節(jié)點(diǎn)運(yùn)算處理完成后，對(duì)完成下一個(gè)子任務(wù)節(jié)點(diǎn)所需的運(yùn)算進(jìn)行分配。
8.根據(jù)權(quán)利要求4所述的方法，其特征在于，該方法還包括: 根據(jù)貪婪算法分配所述完成子任務(wù)節(jié)點(diǎn)所需的運(yùn)算。
9.根據(jù)權(quán)利要求4所述的方法，其特征在于，該方法還包括: 在完成最后一個(gè)任務(wù)節(jié)點(diǎn)的運(yùn)算后，輸出運(yùn)算結(jié)果。
10.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述計(jì)算機(jī)集群由部署云計(jì)算平臺(tái)的計(jì)算機(jī)節(jié)點(diǎn)組成。
11.根據(jù)權(quán)利要求 10所述的方法，其特征在于，所述云計(jì)算平臺(tái)為HADOOP云計(jì)算平臺(tái)。
12.根據(jù)權(quán)利要求10所述的方法，其特征在于，所述計(jì)算機(jī)節(jié)點(diǎn)為L(zhǎng)INUX系統(tǒng)服務(wù)器。
【文檔編號(hào)】G06F17/30GK103984712SQ201410187107
【公開(kāi)日】2014年8月13日 申請(qǐng)日期:2014年5月5日 優(yōu)先權(quán)日:2014年5月5日
【發(fā)明者】劉新宇, 張克慧, 譚映忠, 劉暢, 關(guān)丹鳳, 王亮, 郭磊, 陳璇 申請(qǐng)人:神華集團(tuán)有限責(zé)任公司