一種大數(shù)據(jù)平臺(tái)業(yè)務(wù)雙活實(shí)現(xiàn)方法及系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開(kāi)了一種大數(shù)據(jù)平臺(tái)業(yè)務(wù)雙活實(shí)現(xiàn)方法及系統(tǒng)，包括：Hadoop集群海量文件處理集群獲取源文件進(jìn)行保存，并對(duì)所述源文件中的源數(shù)據(jù)進(jìn)行預(yù)處理；第一集群進(jìn)行數(shù)據(jù)加工，得到數(shù)據(jù)加工結(jié)果，并對(duì)數(shù)據(jù)加工結(jié)果進(jìn)行節(jié)點(diǎn)分塊；第一集群上的數(shù)據(jù)加工結(jié)果通過(guò)同步工具將相關(guān)數(shù)據(jù)同步至第二集群；第一集群和第二集群具有相同的節(jié)點(diǎn)數(shù)，其之間通過(guò)二進(jìn)制數(shù)據(jù)進(jìn)行節(jié)點(diǎn)對(duì)節(jié)點(diǎn)的增量同步。本發(fā)明基于列存儲(chǔ)的MPP數(shù)據(jù)庫(kù)架構(gòu)，在同構(gòu)的集群間節(jié)點(diǎn)對(duì)節(jié)點(diǎn)的實(shí)現(xiàn)二進(jìn)制數(shù)據(jù)的增量同步，通過(guò)傳輸壓縮態(tài)的增量文件塊，使批量查詢分離的同時(shí)又保證了聯(lián)機(jī)查詢的時(shí)效性，解決批量加工和聯(lián)機(jī)實(shí)時(shí)查詢之間的時(shí)間、資源上存在沖突的問(wèn)題。
【專利說(shuō)明】
一種大數(shù)據(jù)平臺(tái)業(yè)務(wù)雙活實(shí)現(xiàn)方法及系統(tǒng)
技術(shù)領(lǐng)域
[0001]本發(fā)明涉及互聯(lián)網(wǎng)及云計(jì)算技術(shù)領(lǐng)域，更具體的，涉及一種大數(shù)據(jù)平臺(tái)業(yè)務(wù)雙活實(shí)現(xiàn)方法及系統(tǒng)。
【背景技術(shù)】
[0002]隨著互聯(lián)網(wǎng)和云計(jì)算技術(shù)的不斷發(fā)展，越來(lái)越多的服務(wù)需要使用集群服務(wù)來(lái)更好的滿足用戶的需求。一方面，服務(wù)集群化使用戶可以得到更好的用戶體驗(yàn)，例如訪問(wèn)速度快，同時(shí)，服務(wù)集群化可以在同一時(shí)間為更多的用戶提供服務(wù)；另一方面，服務(wù)集群化可以提高系統(tǒng)的可用性，減少系統(tǒng)故障對(duì)業(yè)務(wù)造成的危害。
[0003]目前，大數(shù)據(jù)建設(shè)的不斷推進(jìn)，在較好的解決了數(shù)據(jù)集成、加工的基礎(chǔ)上，隨著運(yùn)營(yíng)過(guò)程中對(duì)數(shù)據(jù)的需求的增長(zhǎng)，大數(shù)據(jù)平臺(tái)服務(wù)能力需要進(jìn)一步提升:一是支撐多樣的、實(shí)效性更高的的數(shù)據(jù)訪問(wèn)和分析服務(wù)，以支持零售、征信、風(fēng)險(xiǎn)、反洗錢等不同領(lǐng)域，和數(shù)據(jù)集市、報(bào)表、準(zhǔn)實(shí)時(shí)等不同應(yīng)用；二是提供連續(xù)的數(shù)據(jù)訪問(wèn)服務(wù)和準(zhǔn)確完整的數(shù)據(jù)，批量加工的同時(shí)不影響外部的數(shù)據(jù)訪問(wèn)服務(wù)，并可及時(shí)查看T+2的數(shù)據(jù);三是提高升級(jí)、災(zāi)備、異常處理過(guò)程中的業(yè)務(wù)連續(xù)性。合理分配時(shí)間窗口、有效利用資源，標(biāo)準(zhǔn)化流程，從而打造高可用的大數(shù)據(jù)服務(wù)平臺(tái)。
[0004]現(xiàn)有的數(shù)據(jù)處理技術(shù)主要采用雙活機(jī)制，其是針對(duì)交易型系統(tǒng)，每次新的交易都需對(duì)兩個(gè)集群進(jìn)行更新，頻度、并發(fā)較高，且數(shù)據(jù)同步方向較為靈活，數(shù)據(jù)更新的頻率較高，但是不提供實(shí)時(shí)查詢，且無(wú)法滿足海量數(shù)據(jù)的應(yīng)用場(chǎng)景。具體的，將批量加工和數(shù)據(jù)備份進(jìn)行分離，定期(如一個(gè)月)將數(shù)據(jù)備份到另外的存儲(chǔ)設(shè)備上，若由備份設(shè)備提供對(duì)外服務(wù)，則無(wú)法保證準(zhǔn)實(shí)時(shí)的數(shù)據(jù)服務(wù)，若由批量處理設(shè)備提供對(duì)外查詢服務(wù)，一則會(huì)影響批量加工進(jìn)度，二則由于批量加工時(shí)數(shù)據(jù)不能同時(shí)被讀寫而導(dǎo)致批量加工與數(shù)據(jù)查詢不可同時(shí)進(jìn)行。

【發(fā)明內(nèi)容】

[0005]本發(fā)明的目的在于提出一種大數(shù)據(jù)平臺(tái)業(yè)務(wù)雙活實(shí)現(xiàn)方法及系統(tǒng)，以解決現(xiàn)有技術(shù)中由于批量加工時(shí)數(shù)據(jù)不能同時(shí)被讀寫而導(dǎo)致批量加工與數(shù)據(jù)查詢不可同時(shí)進(jìn)行的問(wèn)題。
[0006]為達(dá)到上述目的，本發(fā)明提供了以下技術(shù)方案:
[0007]—種大數(shù)據(jù)平臺(tái)業(yè)務(wù)雙活實(shí)現(xiàn)方法，應(yīng)用于海量數(shù)據(jù)批量加工和實(shí)時(shí)聯(lián)機(jī)查詢，該方法基于列存儲(chǔ)的MPP數(shù)據(jù)庫(kù)架構(gòu)，包括:
[0008]Hadoop集群海量文件處理集群獲取源文件進(jìn)行保存，并對(duì)所述源文件中的源數(shù)據(jù)進(jìn)行預(yù)處理；
[0009]第一集群進(jìn)行數(shù)據(jù)加工，得到數(shù)據(jù)加工結(jié)果，并對(duì)數(shù)據(jù)加工結(jié)果進(jìn)行節(jié)點(diǎn)分塊；
[0010]所述第一集群上的數(shù)據(jù)加工結(jié)果通過(guò)同步工具將相關(guān)數(shù)據(jù)同步至第二集群；
[0011]所述第一集群和所述第二集群具有相同的節(jié)點(diǎn)數(shù)，其之間通過(guò)二進(jìn)制數(shù)據(jù)進(jìn)行節(jié)點(diǎn)對(duì)節(jié)點(diǎn)的增量同步。
[0012]優(yōu)選的，該方法還包括:
[0013]對(duì)所述第一集群和所述第二集群的同步節(jié)點(diǎn)上進(jìn)行數(shù)據(jù)校驗(yàn)。
[0014]優(yōu)選的，該方法還包括:
[0015]向第三集群進(jìn)行等節(jié)點(diǎn)做非定期數(shù)據(jù)同步；
[0016]或
[0017]向所述第三集群進(jìn)行非對(duì)等節(jié)點(diǎn)做定期數(shù)據(jù)同步。
[0018]—種大數(shù)據(jù)平臺(tái)業(yè)務(wù)雙活實(shí)現(xiàn)系統(tǒng)，應(yīng)用于海量數(shù)據(jù)批量加工和實(shí)時(shí)聯(lián)機(jī)查詢，該系統(tǒng)基于列存儲(chǔ)的MPP數(shù)據(jù)庫(kù)架構(gòu)，包括:第一集群、第二集群和Hadoop集群海量文件處理集群，其中，
[0019]所述Hadoop集群海量文件處理集群獲取源數(shù)據(jù)，并對(duì)所述源數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗和預(yù)處理；
[0020]所述第一集群對(duì)所述源數(shù)據(jù)進(jìn)行批量加工處理，且向上游集市及應(yīng)用層提供T+1的數(shù)據(jù)批量導(dǎo)出及非對(duì)等節(jié)點(diǎn)的數(shù)據(jù)傳輸服務(wù)；
[0021]所述第二集群利用批量加工過(guò)程中的空閑時(shí)間窗口接收所述第一集群傳輸當(dāng)天加工的增量數(shù)據(jù)。
[0022]優(yōu)選的，該系統(tǒng)還包括:批量調(diào)度模塊、運(yùn)行監(jiān)控模塊以及聯(lián)機(jī)訪問(wèn)管理模塊，其中
[0023]所述批量調(diào)度系統(tǒng)進(jìn)行批量加工的調(diào)配管理、并發(fā)控制和同步控制，確保批量加工過(guò)程按照作業(yè)的依賴關(guān)系和并發(fā)控制進(jìn)行；
[0024]所述運(yùn)行監(jiān)控系統(tǒng)對(duì)所述第一集群和所述第二集群計(jì)算資源的運(yùn)行狀態(tài)、使用情況、批量進(jìn)度、數(shù)據(jù)一致性進(jìn)行監(jiān)控并預(yù)警；
[0025]所述聯(lián)機(jī)訪問(wèn)管理系統(tǒng)負(fù)責(zé)訪問(wèn)方式、訪問(wèn)權(quán)限以及訪問(wèn)負(fù)載的控制，根據(jù)集群可訪問(wèn)狀態(tài)、訪問(wèn)目標(biāo)數(shù)據(jù)要求、集群負(fù)載情況。
[0026]其中，所述運(yùn)行監(jiān)控系統(tǒng)還用于定期對(duì)運(yùn)行狀況進(jìn)行分析、發(fā)布運(yùn)行分析報(bào)告。
[0027]其中，所述聯(lián)機(jī)訪問(wèn)管理系統(tǒng)還用于確定查詢方式、分配查詢資源以及路由查詢目標(biāo)庫(kù)。
[0028]其中，所述查詢方式為同步查詢方式或異步查詢方式。
[0029]經(jīng)由上述的技術(shù)方案可知，與現(xiàn)有技術(shù)相比，本發(fā)明公開(kāi)了一種大數(shù)據(jù)平臺(tái)業(yè)務(wù)雙活實(shí)現(xiàn)方法及系統(tǒng)，包括:Hadoop集群海量文件處理集群獲取源文件進(jìn)行保存，并對(duì)所述源文件中的源數(shù)據(jù)進(jìn)行預(yù)處理;第一集群進(jìn)行數(shù)據(jù)加工，得到數(shù)據(jù)加工結(jié)果，并對(duì)數(shù)據(jù)加工結(jié)果進(jìn)行節(jié)點(diǎn)分塊;第一集群上的數(shù)據(jù)加工結(jié)果通過(guò)同步工具將相關(guān)數(shù)據(jù)同步至第二集群;第一集群和第二集群具有相同的節(jié)點(diǎn)數(shù)，其之間通過(guò)二進(jìn)制數(shù)據(jù)進(jìn)行節(jié)點(diǎn)對(duì)節(jié)點(diǎn)的增量同步。本發(fā)明基于列存儲(chǔ)的MPP數(shù)據(jù)庫(kù)架構(gòu)，在同構(gòu)的集群間節(jié)點(diǎn)對(duì)節(jié)點(diǎn)的實(shí)現(xiàn)二進(jìn)制數(shù)據(jù)的增量同步，通過(guò)傳輸壓縮態(tài)的增量文件塊，使批量查詢分離的同時(shí)又保證了聯(lián)機(jī)查詢的時(shí)效性，解決批量加工和聯(lián)機(jī)實(shí)時(shí)查詢之間的時(shí)間、資源上存在沖突的問(wèn)題。
【附圖說(shuō)明】
[0030]為了更清楚地說(shuō)明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見(jiàn)地，下面描述中的附圖僅僅是本發(fā)明的實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)提供的附圖獲得其他的附圖。
[0031]圖1為本發(fā)明實(shí)施例公開(kāi)的一種大數(shù)據(jù)平臺(tái)業(yè)務(wù)雙活實(shí)現(xiàn)方法的流程示意圖；
[0032]圖2為本發(fā)明實(shí)施例中數(shù)據(jù)流向加工分層次結(jié)構(gòu)圖；
[0033]圖3為本發(fā)明實(shí)施例中同步原理圖；
[0034]圖4為本發(fā)明另一實(shí)施例公開(kāi)的一種大數(shù)據(jù)平臺(tái)業(yè)務(wù)雙活實(shí)現(xiàn)方法的流程示意圖；
[0035]圖5為本發(fā)明實(shí)施例公開(kāi)的一種大數(shù)據(jù)平臺(tái)業(yè)務(wù)雙活實(shí)現(xiàn)系統(tǒng)結(jié)構(gòu)示意圖；
[0036]圖6為本發(fā)明實(shí)施例公開(kāi)的一種大數(shù)據(jù)平臺(tái)業(yè)務(wù)雙活實(shí)現(xiàn)系統(tǒng)結(jié)構(gòu)示意圖；
[0037]圖7為本發(fā)明實(shí)施例中表與作業(yè)的關(guān)系圖。
【具體實(shí)施方式】
[0038]下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒(méi)有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。
[0039]本發(fā)明是海量數(shù)據(jù)的高效批量加工和實(shí)時(shí)聯(lián)機(jī)查詢共存的處理系統(tǒng)，根本上需要解決批量加工和聯(lián)機(jī)實(shí)時(shí)查詢之間的時(shí)間、資源上存在沖突的問(wèn)題。
[0040]本發(fā)明基于列存儲(chǔ)的MPP數(shù)據(jù)庫(kù)架構(gòu)，在同構(gòu)(節(jié)點(diǎn)數(shù)相同)的集群間節(jié)點(diǎn)對(duì)節(jié)點(diǎn)的實(shí)現(xiàn)二進(jìn)制數(shù)據(jù)的增量同步，通過(guò)傳輸壓縮態(tài)的增量文件塊，使批量查詢分離的同時(shí)又保證了聯(lián)機(jī)查詢的時(shí)效性。
[0041]請(qǐng)參閱附圖1，圖1為本發(fā)明實(shí)施例公開(kāi)的一種大數(shù)據(jù)平臺(tái)業(yè)務(wù)雙活實(shí)現(xiàn)方法的流程示意圖。具體的，該方法應(yīng)用于海量數(shù)據(jù)批量加工和實(shí)時(shí)聯(lián)機(jī)查詢，且基于列存儲(chǔ)的MPP數(shù)據(jù)庫(kù)架構(gòu)，如圖1所述，該方法具體包括如下步驟:
[0042]S101、Hadoop集群海量文件處理集群獲取源文件進(jìn)行保存，并對(duì)源文件中的源數(shù)據(jù)進(jìn)行預(yù)處理。
[0043]Hadoop集群海量文件處理集群獲取源文件進(jìn)行保存，對(duì)源數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗和預(yù)處理。
[0044]S102、第一集群進(jìn)行數(shù)據(jù)加工，得到數(shù)據(jù)加工結(jié)果，并對(duì)數(shù)據(jù)加工結(jié)果進(jìn)行節(jié)點(diǎn)分塊。
[0045]具體，請(qǐng)參閱附圖2，圖2為本發(fā)明實(shí)施例中數(shù)據(jù)流向加工分層次結(jié)構(gòu)圖。第一集群中數(shù)據(jù)按照分層架構(gòu)進(jìn)行加工，包括ODS層、BDS層、GDS層。ODS層主要實(shí)現(xiàn)源系統(tǒng)數(shù)據(jù)的簡(jiǎn)單堆積和存儲(chǔ)。BDS層在ODS層處理源數(shù)據(jù)基礎(chǔ)上，按照統(tǒng)一數(shù)據(jù)規(guī)則(如組織架構(gòu)、各類數(shù)據(jù)字典等)對(duì)數(shù)據(jù)進(jìn)行整合，為GDS和各應(yīng)用提供數(shù)據(jù)來(lái)源。GDS層集業(yè)務(wù)邏輯處理、機(jī)構(gòu)匯總和幣種轉(zhuǎn)換為一體，以“數(shù)據(jù)元”的形式向應(yīng)用層提供分析型應(yīng)用數(shù)據(jù)。這種分層加工、分區(qū)存儲(chǔ)的方式，降低了數(shù)據(jù)耦合，既保證了數(shù)據(jù)的統(tǒng)一管理，又滿足了多種應(yīng)用系統(tǒng)差異化的要求。
[0046]S103、第一集群上的數(shù)據(jù)加工結(jié)果通過(guò)同步工具將相關(guān)數(shù)據(jù)同步至第二集群。
[0047]為支持集中、定時(shí)等不同頻度的數(shù)據(jù)同步，設(shè)計(jì)“雙活輔助運(yùn)行系統(tǒng)”對(duì)數(shù)據(jù)同步的運(yùn)行進(jìn)行獨(dú)立控制。主要功能包括異步消息隊(duì)列和一致性校驗(yàn)采集，實(shí)現(xiàn)數(shù)據(jù)同步和數(shù)據(jù)采集兩大重要功能。
[0048]異步消息隊(duì)列采用關(guān)系數(shù)據(jù)庫(kù)實(shí)現(xiàn)。在作業(yè)總控程序中向隊(duì)列寫入每日作業(yè)的開(kāi)始、結(jié)束標(biāo)記，由數(shù)據(jù)同步工具輪詢消息隊(duì)列，獲取已執(zhí)行完成的批量加工作業(yè)，進(jìn)行同步。白天作業(yè)加工的同時(shí)入消息隊(duì)列，晚上在第一集群壓力較小的時(shí)候完成集中同步。同步的起?？捎膳渲梦募刂?。異步消息隊(duì)列每日定時(shí)向歷史表中清理執(zhí)行成功的記錄。
[0049]一致性校驗(yàn)采集在數(shù)據(jù)同步完成后向第一集群、第二集群同時(shí)進(jìn)行采集操作，分別記入數(shù)據(jù)庫(kù)。采集時(shí)需帶有每日記錄的開(kāi)始、結(jié)束條件，支持同步的時(shí)間間隔內(nèi)每天采集。
[0050]同步原理:
[0051]表是同步系統(tǒng)中操作的基本對(duì)象，如下圖所示，本系統(tǒng)中表是按列儲(chǔ)存的，即每個(gè)節(jié)點(diǎn)存儲(chǔ)一列數(shù)據(jù)的其中一個(gè)分片，每個(gè)分片中有隨機(jī)分配的多個(gè)DC塊。DC塊是一張表存儲(chǔ)的最小邏輯單元，包含65536行數(shù)據(jù)和SCN、刪除標(biāo)識(shí)、物理偏移等元數(shù)據(jù)。其中SCN(System Change Number)為集群全局變量，隨SQL操作增加。具體的，以第一集群中批量加工得到的數(shù)據(jù)為基準(zhǔn)，比較目標(biāo)表在第一、第二集群中的對(duì)應(yīng)節(jié)點(diǎn)中分片的DC塊的SCN是否發(fā)生變化，若發(fā)生變化，則整個(gè)DC進(jìn)行第一集群到第二集群的數(shù)據(jù)同步，即增量同步。如圖3所示，分片I中DC3和DC4的SCN值不同，就將第一集群中的DC3和DC4整體同步到第二集群，替換第二集群中原來(lái)的DC3和DC4，以保證兩個(gè)分片數(shù)據(jù)的一致性。這種同步方式允許任何時(shí)間間隔的同步。由于是進(jìn)行增量同步，任何時(shí)間間隔的同步后，都能保證第二集群中的數(shù)據(jù)與第一集群是全量同步的，是最新的數(shù)據(jù)。
[0052]S104、第一集群和第二集群具有相同的節(jié)點(diǎn)數(shù)，其之間通過(guò)二進(jìn)制數(shù)據(jù)進(jìn)行節(jié)點(diǎn)對(duì)節(jié)點(diǎn)的增量同步。
[0053]具體過(guò)程為:采用兩個(gè)對(duì)等節(jié)點(diǎn)的第一集群和第二集群。兩個(gè)集群采用邏輯上相同、物理上相似的軟硬件，例如由兩套完全獨(dú)立的56節(jié)點(diǎn)及8加載機(jī)組成的MPP集群構(gòu)成，這種配置方式一方面是異常切換的物理要求，一方面是數(shù)據(jù)同步的要求。
[0054]第一集群上配套數(shù)據(jù)批量加工調(diào)度系統(tǒng)和數(shù)據(jù)同步工具，主要司職批量加工，保證為上游提供T+1時(shí)效的批量數(shù)據(jù)。第一集群上配有計(jì)算節(jié)點(diǎn)和加載機(jī)，計(jì)算節(jié)點(diǎn)進(jìn)行數(shù)據(jù)庫(kù)內(nèi)處理，例如數(shù)據(jù)加載、DML/DDL操作等，加載機(jī)上部署總控程序，進(jìn)行作業(yè)處理的總體控制和數(shù)據(jù)的初步處理。在批量加工完成后(包括所有批量完成和部分批量完成兩種情況)，由數(shù)據(jù)同步系統(tǒng)以二進(jìn)制的方式進(jìn)行增量數(shù)據(jù)同步至第二集群，為保證兩個(gè)集群的數(shù)據(jù)加工一致性，同步完成后會(huì)對(duì)數(shù)據(jù)進(jìn)行概要校驗(yàn)和全量校驗(yàn)。
[0055]第二集群上有擁有數(shù)量相同的計(jì)算節(jié)點(diǎn)，主要負(fù)責(zé)對(duì)外提供T+2的對(duì)外訪問(wèn)服務(wù)。加載機(jī)在切換的時(shí)候會(huì)啟用，在常規(guī)情況下(即第二集群只提供聯(lián)機(jī)查詢時(shí))，第二集群中的加載機(jī)可空置或作為其他使用。當(dāng)數(shù)據(jù)同步和一致性校驗(yàn)完成后，第二集群上可對(duì)外服務(wù)的數(shù)據(jù)會(huì)計(jì)日期加一(即翻牌)，以滿足實(shí)時(shí)的聯(lián)機(jī)數(shù)據(jù)查詢服務(wù)。
[0056]第一集群的源數(shù)據(jù)由下層的Hadoop提供。Hadoop統(tǒng)一實(shí)現(xiàn)數(shù)據(jù)的預(yù)處理(0DS過(guò)程)，處理完成后加載到第一集群。第一集群加工完成的數(shù)據(jù)將提供給上游數(shù)據(jù)應(yīng)用層，第二集群的數(shù)據(jù)只供上游查詢使用，這樣同時(shí)滿足了查詢和備份的雙重功效。
[0057]本發(fā)明公開(kāi)了一種大數(shù)據(jù)平臺(tái)業(yè)務(wù)雙活實(shí)現(xiàn)方法，包括:Had00p集群海量文件處理集群獲取源文件進(jìn)行保存，并對(duì)所述源文件中的源數(shù)據(jù)進(jìn)行預(yù)處理;第一集群進(jìn)行數(shù)據(jù)加工，得到數(shù)據(jù)加工結(jié)果，并對(duì)數(shù)據(jù)加工結(jié)果進(jìn)行節(jié)點(diǎn)分塊;第一集群上的數(shù)據(jù)加工結(jié)果通過(guò)同步工具將相關(guān)數(shù)據(jù)同步至第二集群;第一集群和第二集群具有相同的節(jié)點(diǎn)數(shù)，其之間通過(guò)二進(jìn)制數(shù)據(jù)進(jìn)行節(jié)點(diǎn)對(duì)節(jié)點(diǎn)的增量同步。本發(fā)明基于列存儲(chǔ)的MPP數(shù)據(jù)庫(kù)架構(gòu)，在同構(gòu)的集群間節(jié)點(diǎn)對(duì)節(jié)點(diǎn)的實(shí)現(xiàn)二進(jìn)制數(shù)據(jù)的增量同步，通過(guò)傳輸壓縮態(tài)的增量文件塊，使批量查詢分離的同時(shí)又保證了聯(lián)機(jī)查詢的時(shí)效性，解決批量加工和聯(lián)機(jī)實(shí)時(shí)查詢之間的時(shí)間、資源上存在沖突的問(wèn)題。
[0058]請(qǐng)參閱附圖4，圖4為本發(fā)明另一實(shí)施例公開(kāi)的一種大數(shù)據(jù)平臺(tái)業(yè)務(wù)雙活實(shí)現(xiàn)方法的流程示意圖。具體的，如圖4所示，該方法應(yīng)用于海量數(shù)據(jù)批量加工和實(shí)時(shí)聯(lián)機(jī)查詢，且基于列存儲(chǔ)的MPP數(shù)據(jù)庫(kù)架構(gòu)，如圖1所述，該方法具體包括如下步驟:
[0059]S401、Hadoop集群海量文件處理集群獲取源文件進(jìn)行保存，并對(duì)源文件中的源數(shù)據(jù)進(jìn)行預(yù)處理。
[0060]Hadoop集群海量文件處理集群獲取源文件進(jìn)行保存，對(duì)源數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗和預(yù)處理。
[0061]S402、第一集群進(jìn)行數(shù)據(jù)加工，得到數(shù)據(jù)加工結(jié)果，并對(duì)數(shù)據(jù)加工結(jié)果進(jìn)行節(jié)點(diǎn)分塊。
[0062]S403、第一集群上的數(shù)據(jù)加工結(jié)果通過(guò)同步工具將相關(guān)數(shù)據(jù)同步至第二集群。
[0063]S404、第一集群和第二集群具有相同的節(jié)點(diǎn)數(shù)，其之間通過(guò)二進(jìn)制數(shù)據(jù)進(jìn)行節(jié)點(diǎn)對(duì)節(jié)點(diǎn)的增量同步。
[0064]以上步驟與圖1中的步驟內(nèi)容一致，每個(gè)步驟的具體內(nèi)容請(qǐng)參閱圖1對(duì)應(yīng)的相關(guān)內(nèi)容即可，在此不再進(jìn)行詳細(xì)贅述。
[0065]S405、對(duì)第一集群和第二集群的同步節(jié)點(diǎn)上進(jìn)行數(shù)據(jù)校驗(yàn)。
[0066]為保證兩個(gè)集群的數(shù)據(jù)加工一致性，系統(tǒng)中數(shù)據(jù)一致性校驗(yàn)?zāi)K會(huì)對(duì)對(duì)第一、第二集群進(jìn)行概要校驗(yàn)和全量校驗(yàn)。主要包括校驗(yàn)數(shù)據(jù)采集、數(shù)據(jù)比對(duì)和校驗(yàn)預(yù)警。系統(tǒng)中建立了專門的比對(duì)庫(kù)分別收集集群第一、第二的比對(duì)參數(shù)和指標(biāo)，有比對(duì)程序比對(duì)數(shù)據(jù)生成比對(duì)結(jié)果。比對(duì)結(jié)果由監(jiān)控系統(tǒng)提供界面查看、查詢比對(duì)結(jié)果，必要時(shí)主動(dòng)向監(jiān)控人員發(fā)送提醒。
[0067]S406、向第三集群進(jìn)行等節(jié)點(diǎn)做非定期數(shù)據(jù)同步或向第三集群進(jìn)行非對(duì)等節(jié)點(diǎn)做定期數(shù)據(jù)同步。
[0068]系統(tǒng)不僅可以向?qū)?jié)點(diǎn)第二集群進(jìn)行數(shù)據(jù)同步，在業(yè)務(wù)需要時(shí)，可以進(jìn)行對(duì)等集群的擴(kuò)展。多個(gè)對(duì)等節(jié)點(diǎn)之間的同步，既可以采用第一集群向其他集群分別同步的方式，如第一一>第二，第一-->第三，也采取第二集群向其他集群同步的方式，如第一-->第二，第二-_>第三。后者可以節(jié)省第一集群的同步時(shí)間，進(jìn)而確保批量加工時(shí)間的充足。這兩種方式都支持按照實(shí)際需要選擇同步窗口，若擴(kuò)展集群對(duì)時(shí)效性要求不高，可不進(jìn)行定期高頻率的同步，而選擇非定期低頻率的同步。除了使用同步工具進(jìn)行對(duì)等節(jié)點(diǎn)集群之間的數(shù)據(jù)同步外，本發(fā)明也使用DBLink方式支持向非對(duì)等節(jié)點(diǎn)集群進(jìn)行數(shù)據(jù)同步。DBLink通過(guò)Where條件查詢進(jìn)行增量判斷，以二進(jìn)制傳輸?shù)姆绞綄C塊數(shù)據(jù)傳輸?shù)接?jì)算傳輸目標(biāo)節(jié)點(diǎn)，而不要求節(jié)點(diǎn)對(duì)節(jié)點(diǎn)的對(duì)等傳輸。
[0069]具體過(guò)程為:本發(fā)明采用兩個(gè)對(duì)等的第一集群和第二集群。兩個(gè)集群采用邏輯上相同、物理上相似的軟硬件，例如由兩套完全獨(dú)立的56節(jié)點(diǎn)及8加載機(jī)組成的MPP集群構(gòu)成，這種配置方式一方面異常切換的物理要求，一方面是數(shù)據(jù)同步的要求。
[0070]本發(fā)明公開(kāi)了一種大數(shù)據(jù)平臺(tái)業(yè)務(wù)雙活實(shí)現(xiàn)方法，包括:Had00p集群海量文件處理集群獲取源文件進(jìn)行保存，并對(duì)所述源文件中的源數(shù)據(jù)進(jìn)行預(yù)處理;第一集群進(jìn)行數(shù)據(jù)加工，得到數(shù)據(jù)加工結(jié)果，并對(duì)數(shù)據(jù)加工結(jié)果進(jìn)行節(jié)點(diǎn)分塊;第一集群上的數(shù)據(jù)加工結(jié)果通過(guò)同步工具將相關(guān)數(shù)據(jù)同步至第二集群;第一集群和第二集群具有相同的節(jié)點(diǎn)數(shù)，其之間通過(guò)二進(jìn)制數(shù)據(jù)進(jìn)行節(jié)點(diǎn)對(duì)節(jié)點(diǎn)的增量同步。本發(fā)明基于列存儲(chǔ)的MPP數(shù)據(jù)庫(kù)架構(gòu)，在同構(gòu)的集群間節(jié)點(diǎn)對(duì)節(jié)點(diǎn)的實(shí)現(xiàn)二進(jìn)制數(shù)據(jù)的增量同步，通過(guò)傳輸壓縮態(tài)的增量文件塊，使批量查詢分離的同時(shí)又保證了聯(lián)機(jī)查詢的時(shí)效性，解決批量加工和聯(lián)機(jī)實(shí)時(shí)查詢之間的時(shí)間、資源上存在沖突的問(wèn)題。
[0071]請(qǐng)參閱附圖5，圖5為本發(fā)明實(shí)施例公開(kāi)的一種大數(shù)據(jù)平臺(tái)業(yè)務(wù)雙活實(shí)現(xiàn)系統(tǒng)結(jié)構(gòu)示意圖。如圖5所示，本發(fā)明公開(kāi)了一種大數(shù)據(jù)平臺(tái)業(yè)務(wù)雙活實(shí)現(xiàn)系統(tǒng)，應(yīng)用于海量數(shù)據(jù)批量加工和實(shí)時(shí)聯(lián)機(jī)查詢，該系統(tǒng)基于列存儲(chǔ)的MPP數(shù)據(jù)庫(kù)架構(gòu)，包括:第一集群Ul、第二集群U2和Hadoop集群海量文件處理集群U3，其中，Hadoop集群海量文件處理集群U3獲取源數(shù)據(jù)，并對(duì)源數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗和預(yù)處理;第一集群Ul對(duì)源數(shù)據(jù)進(jìn)行批量加工處理，且向上游集市及應(yīng)用層提供T+1的數(shù)據(jù)批量導(dǎo)出及非對(duì)等節(jié)點(diǎn)的數(shù)據(jù)傳輸服務(wù);第二集群U2利用批量加工過(guò)程中的空閑時(shí)間窗口接收第一集群Ul傳輸當(dāng)天加工的增量數(shù)據(jù)。
[0072]架構(gòu)約束:第一、第二集群節(jié)點(diǎn)間需支持較高的傳輸效率，一般支持萬(wàn)兆;第二集群一般不進(jìn)行寫操作;集群第一、第二計(jì)算節(jié)點(diǎn)數(shù)相同。
[0073]本發(fā)明公開(kāi)了一種大數(shù)據(jù)平臺(tái)業(yè)務(wù)雙活實(shí)現(xiàn)系統(tǒng)，包括:第一集群、第二集群和Hadoop集群海量文件處理集群，本發(fā)明基于列存儲(chǔ)的MPP數(shù)據(jù)庫(kù)架構(gòu)，在同構(gòu)的集群間節(jié)點(diǎn)對(duì)節(jié)點(diǎn)的實(shí)現(xiàn)二進(jìn)制數(shù)據(jù)的增量同步，通過(guò)傳輸壓縮態(tài)的增量文件塊，使批量查詢分離的同時(shí)又保證了聯(lián)機(jī)查詢的時(shí)效性，解決批量加工和聯(lián)機(jī)實(shí)時(shí)查詢之間的時(shí)間、資源上存在沖突的問(wèn)題。
[0074]請(qǐng)參閱附圖6，圖6為本發(fā)明實(shí)施例公開(kāi)的一種大數(shù)據(jù)平臺(tái)業(yè)務(wù)雙活實(shí)現(xiàn)系統(tǒng)結(jié)構(gòu)示意圖。如圖6所示，本發(fā)明公開(kāi)了一種大數(shù)據(jù)平臺(tái)業(yè)務(wù)雙活實(shí)現(xiàn)系統(tǒng)，應(yīng)用于海量數(shù)據(jù)批量加工和實(shí)時(shí)聯(lián)機(jī)查詢，該系統(tǒng)基于列存儲(chǔ)的MPP數(shù)據(jù)庫(kù)架構(gòu)，包括:第一集群Ul、第二集群U2和Hadoop集群海量文件處理集群U3，其中，Hadoop集群海量文件處理集群U3獲取源數(shù)據(jù)，并對(duì)源數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗和預(yù)處理;第一集群Ul對(duì)源數(shù)據(jù)進(jìn)行批量加工處理，且向上游集市及應(yīng)用層提供T+1的數(shù)據(jù)批量導(dǎo)出及非對(duì)等節(jié)點(diǎn)的數(shù)據(jù)傳輸服務(wù);第二集群U2利用批量加工過(guò)程中的空閑時(shí)間窗口接收第一集群Ul傳輸當(dāng)天加工的增量數(shù)據(jù);該系統(tǒng)還包括:批量調(diào)度模塊U4、運(yùn)行監(jiān)控模塊U5以及聯(lián)機(jī)訪問(wèn)管理模塊U6，其中:
[0075]批量調(diào)度系統(tǒng)U4進(jìn)行批量加工的調(diào)配管理、并發(fā)控制和同步控制，確保批量加工過(guò)程按照作業(yè)的依賴關(guān)系和并發(fā)控制進(jìn)行；
[0076]運(yùn)行監(jiān)控系統(tǒng)U5對(duì)第一集群Ul和第二集群U2計(jì)算資源的運(yùn)行狀態(tài)、使用情況、批量進(jìn)度、數(shù)據(jù)一致性進(jìn)行監(jiān)控并預(yù)警；
[0077]聯(lián)機(jī)訪問(wèn)管理系統(tǒng)U6負(fù)責(zé)訪問(wèn)方式、訪問(wèn)權(quán)限以及訪問(wèn)負(fù)載的控制，根據(jù)集群可訪問(wèn)狀態(tài)、訪問(wèn)目標(biāo)數(shù)據(jù)要求、集群負(fù)載情況。
[0078]具體的，運(yùn)行監(jiān)控系統(tǒng)U5還用于定期對(duì)運(yùn)行狀況進(jìn)行分析、發(fā)布運(yùn)行分析報(bào)告；聯(lián)機(jī)訪問(wèn)管理系統(tǒng)U6還用于確定查詢方式、分配查詢資源以及路由查詢目標(biāo)庫(kù)。
[0079]對(duì)于在實(shí)現(xiàn)過(guò)程中，在分層加工過(guò)程中，會(huì)生成多張表，滿足數(shù)據(jù)的存儲(chǔ)需求。這些表根據(jù)數(shù)據(jù)存儲(chǔ)方式分為時(shí)間切片表和時(shí)間拉鏈表，根據(jù)加工流程劃分為臨時(shí)表、派生表和目標(biāo)表。在同步系統(tǒng)中操作的對(duì)象是目標(biāo)表，涉及時(shí)間切片表和時(shí)間拉鏈兩種類型。時(shí)間切片表是指在存儲(chǔ)過(guò)程中為每個(gè)會(huì)計(jì)日期的數(shù)據(jù)添加時(shí)間戳，按照時(shí)間戳進(jìn)行增量存儲(chǔ)。時(shí)間拉鏈表是對(duì)入庫(kù)的主檔表數(shù)據(jù)生成三個(gè)日期(開(kāi)始日期startdate、結(jié)束日期enddate和有效日期validdate)，形成日期拉鏈，去除重復(fù)數(shù)據(jù)，反映數(shù)據(jù)變化歷史，便于上層查詢。具體的，表與作業(yè)的關(guān)系如下所述:
[0080]0DS/BDS/GDS各層的運(yùn)行是通過(guò)調(diào)度系統(tǒng)來(lái)控制并完成的。調(diào)度系統(tǒng)是以作業(yè)為單位來(lái)運(yùn)行。調(diào)度系統(tǒng)首先把系統(tǒng)中數(shù)據(jù)流程的每個(gè)具體處理階段定義為一個(gè)作業(yè)，再以作業(yè)為基礎(chǔ)、把系統(tǒng)的整個(gè)數(shù)據(jù)處理流程配置為一條以執(zhí)行順序?yàn)榫€索的作業(yè)鏈。調(diào)度系統(tǒng)通過(guò)調(diào)度管理這條包含了各個(gè)作業(yè)及作業(yè)間相互關(guān)系的作業(yè)鏈的方式，實(shí)現(xiàn)了統(tǒng)一調(diào)度管理功能。
[0081]按照依賴關(guān)系從底層向上層可以分為作業(yè)、作業(yè)鏈、應(yīng)用、集群。即一個(gè)集群中可包含多個(gè)應(yīng)用，一個(gè)應(yīng)用中有多條作業(yè)鏈，每條作業(yè)鏈包含一個(gè)或多個(gè)作業(yè)。不同作業(yè)對(duì)應(yīng)的處理過(guò)程不一樣，系統(tǒng)中將這部分作業(yè)處理流程寫到一個(gè)shell腳本中，然后使用統(tǒng)一的總控程序調(diào)用這個(gè)shell腳本。
[0082]總控程序分為三個(gè)重要部分，開(kāi)頭、調(diào)用作業(yè)程序和結(jié)尾。其中開(kāi)頭和結(jié)尾是公共部分，開(kāi)頭主要進(jìn)行參數(shù)、腳本、數(shù)據(jù)的檢查和記錄開(kāi)始加工時(shí)間等，結(jié)尾部分是返回作業(yè)加工完成狀態(tài)和耗時(shí)、結(jié)束時(shí)間等信息。因此可以在開(kāi)頭和結(jié)尾部分添加標(biāo)識(shí)，以供作業(yè)加工信息統(tǒng)計(jì)使用。本系統(tǒng)在總控程序的開(kāi)頭添加作業(yè)開(kāi)始標(biāo)記，在總控程序的結(jié)尾添加作業(yè)結(jié)束標(biāo)記，并以此作為作業(yè)是否加工完成的判斷依據(jù)。
[0083]作業(yè)在加工過(guò)程中會(huì)生成一張或多張表，包括目標(biāo)表、臨時(shí)表和派生表等類型。集群、作業(yè)鏈、作業(yè)和表之間的關(guān)系參見(jiàn)附圖7，圖7為本發(fā)明實(shí)施例中表與作業(yè)的關(guān)系圖。
[0084]本發(fā)明公開(kāi)了一種大數(shù)據(jù)平臺(tái)業(yè)務(wù)雙活實(shí)現(xiàn)系統(tǒng)，包括:第一集群、第二集群和Hadoop集群海量文件處理集群，本發(fā)明基于列存儲(chǔ)的MPP數(shù)據(jù)庫(kù)架構(gòu)，在同構(gòu)的集群間節(jié)點(diǎn)對(duì)節(jié)點(diǎn)的實(shí)現(xiàn)二進(jìn)制數(shù)據(jù)的增量同步，通過(guò)傳輸壓縮態(tài)的增量文件塊，使批量查詢分離的同時(shí)又保證了聯(lián)機(jī)查詢的時(shí)效性，解決批量加工和聯(lián)機(jī)實(shí)時(shí)查詢之間的時(shí)間、資源上存在沖突的問(wèn)題。
[0085]綜上所述，本發(fā)明公開(kāi)了一種大數(shù)據(jù)平臺(tái)業(yè)務(wù)雙活實(shí)現(xiàn)方法及系統(tǒng)，包括:Had00p集群海量文件處理集群獲取源文件進(jìn)行保存，并對(duì)所述源文件中的源數(shù)據(jù)進(jìn)行預(yù)處理;第一集群進(jìn)行數(shù)據(jù)加工，得到數(shù)據(jù)加工結(jié)果，并對(duì)數(shù)據(jù)加工結(jié)果進(jìn)行節(jié)點(diǎn)分塊;第一集群上的數(shù)據(jù)加工結(jié)果通過(guò)同步工具將相關(guān)數(shù)據(jù)同步至第二集群;第一集群和第二集群具有相同的節(jié)點(diǎn)數(shù)，其之間通過(guò)二進(jìn)制數(shù)據(jù)進(jìn)行節(jié)點(diǎn)對(duì)節(jié)點(diǎn)的增量同步。本發(fā)明基于列存儲(chǔ)的MPP數(shù)據(jù)庫(kù)架構(gòu)，在同構(gòu)的集群間節(jié)點(diǎn)對(duì)節(jié)點(diǎn)的實(shí)現(xiàn)二進(jìn)制數(shù)據(jù)的增量同步，通過(guò)傳輸壓縮態(tài)的增量文件塊，使批量查詢分離的同時(shí)又保證了聯(lián)機(jī)查詢的時(shí)效性，解決批量加工和聯(lián)機(jī)實(shí)時(shí)查詢之間的時(shí)間、資源上存在沖突的問(wèn)題。
[0086]需要說(shuō)明的是，本說(shuō)明書中的各個(gè)實(shí)施例均采用遞進(jìn)的方式描述，每個(gè)實(shí)施例重點(diǎn)說(shuō)明的都是與其他實(shí)施例的不同之處，各個(gè)實(shí)施例之間相同相似的部分互相參見(jiàn)即可。
[0087]對(duì)所公開(kāi)的實(shí)施例的上述說(shuō)明，使本領(lǐng)域?qū)I(yè)技術(shù)人員能夠?qū)崿F(xiàn)或使用本發(fā)明。對(duì)這些實(shí)施例的多種修改對(duì)本領(lǐng)域的專業(yè)技術(shù)人員來(lái)說(shuō)將是顯而易見(jiàn)的，本文中所定義的一般原理可以在不脫離本發(fā)明的精神或范圍的情況下，在其它實(shí)施例中實(shí)現(xiàn)。因此，本發(fā)明將不會(huì)被限制于本文所示的這些實(shí)施例，而是要符合與本文所公開(kāi)的原理和新穎特點(diǎn)相一致的最寬的范圍。
【主權(quán)項(xiàng)】
1.一種大數(shù)據(jù)平臺(tái)業(yè)務(wù)雙活實(shí)現(xiàn)方法，其特征在于，應(yīng)用于海量數(shù)據(jù)批量加工和實(shí)時(shí)聯(lián)機(jī)查詢，該方法基于列存儲(chǔ)的MPP數(shù)據(jù)庫(kù)架構(gòu)，包括: Hadoop集群海量文件處理集群獲取源文件進(jìn)行保存，并對(duì)所述源文件中的源數(shù)據(jù)進(jìn)行預(yù)處理； 第一集群進(jìn)行數(shù)據(jù)加工，得到數(shù)據(jù)加工結(jié)果，并對(duì)數(shù)據(jù)加工結(jié)果進(jìn)行節(jié)點(diǎn)分塊； 所述第一集群上的數(shù)據(jù)加工結(jié)果通過(guò)同步工具將相關(guān)數(shù)據(jù)同步至第二集群； 所述第一集群和所述第二集群具有相同的節(jié)點(diǎn)數(shù)，其之間通過(guò)二進(jìn)制數(shù)據(jù)進(jìn)行節(jié)點(diǎn)對(duì)節(jié)點(diǎn)的增量同步。2.根據(jù)權(quán)利要求1所述的方法，其特征在于，還包括: 對(duì)所述第一集群和所述第二集群的同步節(jié)點(diǎn)上進(jìn)行數(shù)據(jù)校驗(yàn)。3.根據(jù)權(quán)利要求1所述的方法，其特征在于，還包括: 向第三集群進(jìn)行等節(jié)點(diǎn)做非定期數(shù)據(jù)同步； 或 向所述第三集群進(jìn)行非對(duì)等節(jié)點(diǎn)做定期數(shù)據(jù)同步。4.一種大數(shù)據(jù)平臺(tái)業(yè)務(wù)雙活實(shí)現(xiàn)系統(tǒng)，其特征在于，應(yīng)用于海量數(shù)據(jù)批量加工和實(shí)時(shí)聯(lián)機(jī)查詢，該系統(tǒng)基于列存儲(chǔ)的MPP數(shù)據(jù)庫(kù)架構(gòu)，包括:第一集群、第二集群和Hadoop集群海量文件處理集群，其中， 所述Hadoop集群海量文件處理集群獲取源數(shù)據(jù)，并對(duì)所述源數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗和預(yù)處理； 所述第一集群對(duì)所述源數(shù)據(jù)進(jìn)行批量加工處理，且向上游集市及應(yīng)用層提供T+1的數(shù)據(jù)批量導(dǎo)出及非對(duì)等節(jié)點(diǎn)的數(shù)據(jù)傳輸服務(wù)； 所述第二集群利用批量加工過(guò)程中的空閑時(shí)間窗口接收所述第一集群傳輸當(dāng)天加工的增量數(shù)據(jù)。5.根據(jù)權(quán)利要求4所述的系統(tǒng)，其特征在于，還包括:批量調(diào)度模塊、運(yùn)行監(jiān)控模塊以及聯(lián)機(jī)訪問(wèn)管理模塊，其中 所述批量調(diào)度系統(tǒng)進(jìn)行批量加工的調(diào)配管理、并發(fā)控制和同步控制，確保批量加工過(guò)程按照作業(yè)的依賴關(guān)系和并發(fā)控制進(jìn)行； 所述運(yùn)行監(jiān)控系統(tǒng)對(duì)所述第一集群和所述第二集群計(jì)算資源的運(yùn)行狀態(tài)、使用情況、批量進(jìn)度、數(shù)據(jù)一致性進(jìn)行監(jiān)控并預(yù)警； 所述聯(lián)機(jī)訪問(wèn)管理系統(tǒng)負(fù)責(zé)訪問(wèn)方式、訪問(wèn)權(quán)限以及訪問(wèn)負(fù)載的控制，根據(jù)集群可訪問(wèn)狀態(tài)、訪問(wèn)目標(biāo)數(shù)據(jù)要求、集群負(fù)載情況。6.根據(jù)權(quán)利要求5所述的系統(tǒng)，其特征在于，所述運(yùn)行監(jiān)控系統(tǒng)還用于定期對(duì)運(yùn)行狀況進(jìn)行分析、發(fā)布運(yùn)行分析報(bào)告。7.根據(jù)權(quán)利要求5所述的系統(tǒng)，其特征在于，所述聯(lián)機(jī)訪問(wèn)管理系統(tǒng)還用于確定查詢方式、分配查詢資源以及路由查詢目標(biāo)庫(kù)。8.根據(jù)權(quán)利要求7所述的系統(tǒng)，其特征在于，所述查詢方式為同步查詢方式或異步查詢方式。
【文檔編號(hào)】H04L29/08GK105933446SQ201610491260
【公開(kāi)日】2016年9月7日
【申請(qǐng)日】2016年6月28日
【發(fā)明人】周頔, 謝友珉, 陳宏曉, 張鴻, 鄭東去, 游黎
【申請(qǐng)人】中國(guó)農(nóng)業(yè)銀行股份有限公司