本發(fā)明實施例屬于計算機技術(shù)領(lǐng)域,尤其涉及一種公共網(wǎng)關(guān)接口數(shù)據(jù)的收集方法及裝置。
背景技術(shù):
超文本傳輸協(xié)議(http,hypertexttransferprotocol)流量屬于公共網(wǎng)關(guān)接口(cgi,commongatewayinterface)數(shù)據(jù),http流量是可以反映全球廣域網(wǎng)(web,worldwideweb)服務(wù)器、網(wǎng)絡(luò)以及客戶端之間的傳輸情況,例如,網(wǎng)絡(luò)延時情況、web服務(wù)器的運行狀態(tài)等。因此抓取http流量并分析可以有效的監(jiān)控網(wǎng)絡(luò)傳輸情況,能夠及時的發(fā)現(xiàn)并解決異常情況。
現(xiàn)有技術(shù)中,抓取http流量的方法有很多,目前被廣泛使用的方法是:通過為web服務(wù)器編寫nginx或者apache的so擴展庫,將編寫好的so擴展庫安裝于web服務(wù)器上,以擴展的方式去抓取http流量,然后將抓取到的http轉(zhuǎn)給遠端服務(wù)器或本地進行分析和存儲。
但是上述使用so擴展庫的cgi數(shù)據(jù)收集方法存在以下缺陷:
首先,http流量的抓取是從大量的數(shù)據(jù)流量中過濾、分析得到的,故需要消耗大量的服務(wù)器資源,由于上述so擴展庫的cgi數(shù)據(jù)收集方法是與web服務(wù)器共享cpu和內(nèi)存資源,因此在web服務(wù)器正常運行的業(yè)務(wù)程序繁忙時,會出現(xiàn)內(nèi)存不足或cpu使用率過高的異常情況,進而影響服務(wù)器的正常運行。一般正常運行的業(yè)務(wù)程序主要是存儲數(shù)據(jù),并根據(jù)客戶端中web瀏覽器發(fā)送的數(shù)據(jù)獲取請求,將請求的數(shù)據(jù)反饋給web瀏覽器;
其次,針對每種webserver均需要編寫對應(yīng)的so擴展程序,不具有通用性。
技術(shù)實現(xiàn)要素:
本發(fā)明實施例提供一種公共網(wǎng)關(guān)接口數(shù)據(jù)的收集方法及裝置,旨在解決現(xiàn)有的so擴展庫的cgi數(shù)據(jù)收集方法所造成的服務(wù)器內(nèi)存不足或cpu使用率過高的異常情況,進而影響服務(wù)器的正常運行的問題。
本發(fā)明實施例第一方面提供了一種公共網(wǎng)關(guān)接口數(shù)據(jù)的收集方法,包括:
通過第一虛擬網(wǎng)卡獲取網(wǎng)絡(luò)數(shù)據(jù)包,并通過物理網(wǎng)卡將所述第一虛擬網(wǎng)卡獲取的網(wǎng)絡(luò)數(shù)據(jù)包復制到第二虛擬網(wǎng)卡中,其中所述第一虛擬網(wǎng)卡和所述第二虛擬網(wǎng)卡分別與所述物理網(wǎng)卡關(guān)聯(lián);
通過與所述第二虛擬網(wǎng)卡關(guān)聯(lián)的采集docker容器,從所述第二虛擬網(wǎng)卡中提取復制的網(wǎng)絡(luò)數(shù)據(jù)包中的公共網(wǎng)關(guān)接口cgi數(shù)據(jù);
通過所述采集docker容器將所述cgi數(shù)據(jù)發(fā)送給所述第二虛擬網(wǎng)卡,并通過所述第二虛擬網(wǎng)卡將所述cgi數(shù)據(jù)傳輸給cgi數(shù)據(jù)收集集群進行收集。
本發(fā)明實施例第二方面提供了一種公共網(wǎng)關(guān)接口數(shù)據(jù)的收集裝置,包括:
復制單元,用于通過第一虛擬網(wǎng)卡獲取網(wǎng)絡(luò)數(shù)據(jù)包,并通過物理網(wǎng)卡將所述第一虛擬網(wǎng)卡獲取的網(wǎng)絡(luò)數(shù)據(jù)包復制到第二虛擬網(wǎng)卡中,其中所述第一虛擬網(wǎng)卡和所述第二虛擬網(wǎng)卡分別與所述物理網(wǎng)卡關(guān)聯(lián);
提取單元,用于通過與所述第二虛擬網(wǎng)卡關(guān)聯(lián)的采集docker容器,從所述第二虛擬網(wǎng)卡中提取復制的網(wǎng)絡(luò)數(shù)據(jù)包中的公共網(wǎng)關(guān)接口cgi數(shù)據(jù);
傳輸單元,用于通過所述采集docker容器將所述cgi數(shù)據(jù)發(fā)送給所述第二虛擬網(wǎng)卡,并通過所述第二虛擬網(wǎng)卡將所述cgi數(shù)據(jù)傳輸給cgi數(shù)據(jù)收集集群進行收集。
本發(fā)明實施例提供的公共網(wǎng)關(guān)接口數(shù)據(jù)的收集方法及裝置,是將網(wǎng)絡(luò)數(shù)據(jù)包復制到單獨的一個指定的采集docker容器中,然后通過該采集docker容器中預置的cgi數(shù)據(jù)提取程序來提取cgi數(shù)據(jù),相較于現(xiàn)有的so擴展庫的cgi數(shù)據(jù)收集方法,預置的cgi數(shù)據(jù)提取程序具有通用性,無需對每種服務(wù)器單獨開發(fā)程序,只需將該cgi數(shù)據(jù)提取程序配置在指定的采集docker容器中,即可實現(xiàn)對cgi數(shù)據(jù)的提取,同時,由于該采集docker容器具有單獨的cpu和內(nèi)存,因此提取cgi數(shù)據(jù)的過程不會占用服務(wù)器的cpu和內(nèi)存資源,進而不會影響服務(wù)器正常的業(yè)務(wù)程序。
附圖說明
為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術(shù)中的技術(shù)方案,下面將對實施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹,顯而易見地,下面描述中的附圖僅僅是本發(fā)明的一些實施例。
圖1為本發(fā)明實施例提供的應(yīng)用場景的示意圖;
圖2為本發(fā)明實施例提供的公共網(wǎng)關(guān)接口數(shù)據(jù)的收集裝置結(jié)構(gòu)示意圖;
圖3為本發(fā)明第一實施例提供的公共網(wǎng)關(guān)接口數(shù)據(jù)的收集方法的實現(xiàn)流程示意圖;
圖4為本發(fā)明第二實施例提供的公共網(wǎng)關(guān)接口數(shù)據(jù)的收集方法的實現(xiàn)流程示意圖;
圖5為本發(fā)明實施例提供的公共網(wǎng)關(guān)接口數(shù)據(jù)的收集裝置結(jié)構(gòu)示意圖;
圖6為本發(fā)明實施例提供的另一應(yīng)用場景圖;
圖7為本發(fā)明實施例提供的公共網(wǎng)關(guān)接口數(shù)據(jù)的收集裝置10與客戶端100、cgi數(shù)據(jù)收集集群200之間的交互示意圖;
圖8為本發(fā)明第三實施例提供的公共網(wǎng)關(guān)接口數(shù)據(jù)的收集裝置的結(jié)構(gòu)示意圖;
圖9為本發(fā)明第四實施例提供的公共網(wǎng)關(guān)接口數(shù)據(jù)的收集裝置的結(jié)構(gòu)示意圖。
具體實施方式
為使得本發(fā)明的發(fā)明目的、特征、優(yōu)點能夠更加的明顯和易懂,下面將結(jié)合本發(fā)明實施例中的附圖,對本發(fā)明實施例中的技術(shù)方案進行清楚、完整地描述,顯然,所描述的實施例僅僅是本發(fā)明一部分實施例,而非全部實施例?;诒景l(fā)明中的實施例,本領(lǐng)域技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例,都屬于本發(fā)明保護的范圍。
圖1示出了上述公共網(wǎng)關(guān)接口數(shù)據(jù)的收集方法的一種示例性應(yīng)用場景圖,在該場景下,包括:公共網(wǎng)關(guān)接口數(shù)據(jù)的收集裝置10、流量分析集群11以及數(shù)據(jù)庫12。
流量分析集群11是一個服務(wù)器集群,一般流量分析集群11中包括兩種設(shè)備,一種是存儲集群,另一種是數(shù)據(jù)流處理設(shè)備。該流量分析集群11用于對cgi數(shù)據(jù)分析、去重等操作,以達到可以存入至數(shù)據(jù)庫12的標準。
數(shù)據(jù)庫12是按照數(shù)據(jù)結(jié)構(gòu)來組織、存儲和管理數(shù)據(jù)的建立在計算機存儲設(shè)備上的倉庫,該數(shù)據(jù)庫12可以為網(wǎng)狀數(shù)據(jù)庫、關(guān)系數(shù)據(jù)庫、樹狀數(shù)據(jù)庫或面向?qū)ο髷?shù)據(jù)庫等種類。數(shù)據(jù)庫12存儲經(jīng)流量分析集群11存入的cgi數(shù)據(jù)。
公共網(wǎng)關(guān)接口數(shù)據(jù)的收集裝置10可以為一臺物理服務(wù)器,也可以多臺物理服務(wù)器集群,還可以物理服務(wù)器和物理服務(wù)器集群中的部分裝置。該公共網(wǎng)關(guān)接口數(shù)據(jù)的收集裝置10或公共網(wǎng)關(guān)接口數(shù)據(jù)的收集裝置10所在的物理服務(wù)器支持sr-iov技術(shù)。
圖2為公共網(wǎng)關(guān)接口數(shù)據(jù)的收集裝置10的結(jié)構(gòu)示意圖。如圖2所示,該裝置包括:總線1、處理器2、通信接口3和存儲器4。處理器2、通信接口3、存儲器4通過總線1相互連接。
其中,總線1包括一通路,在計算機系統(tǒng)各個器件間傳送信息。處理器2可以是通用處理器,例如,中央處理器(cpu)、網(wǎng)絡(luò)處理器(np,networkprocessor)或微處理器等,也可以是特定應(yīng)用集成電路(asic,application-specificintegratedcircuit),或一個或多個用于控制本發(fā)明技術(shù)方案的程序執(zhí)行的集成電路。還可以是數(shù)字信號處理器(dsp,digitalsignalprocessing)、現(xiàn)場可編程門陣列(fpga,field-programmablegatearray)或其他可編程邏輯器件。
通信接口3可包括使用任何收發(fā)器的裝置,以便于其他設(shè)備或通信網(wǎng)絡(luò)進行通信,如以太網(wǎng)、無線接入網(wǎng)和無線局域網(wǎng)等。
存儲器4中保存有執(zhí)行本發(fā)明技術(shù)方案的程序,還可以保存有操作系統(tǒng)和其他關(guān)鍵業(yè)務(wù)。具體地,程序可以包括程序代碼,該程序代碼包括計算機操作指令。更具體地,存儲器4可以包括只讀存儲器(rom,read-onlymemory)、可存儲信息和指令的其他類型的動態(tài)存儲設(shè)備、磁盤存儲器、閃存等。
數(shù)據(jù)的特征提取裝置10的處理器2執(zhí)行存儲器4中所存放的程序,以及調(diào)用其他設(shè)備,可用于實現(xiàn)本發(fā)明實施例提供的公共網(wǎng)關(guān)接口數(shù)據(jù)的收集方法。
請參閱圖3,圖3為本發(fā)明第一實施例提供的公共網(wǎng)關(guān)接口數(shù)據(jù)的收集方法的實現(xiàn)流程示意圖,可應(yīng)用于上述公共網(wǎng)關(guān)接口數(shù)據(jù)的收集裝置10中,主要包括以下步驟:
s301:通過第一虛擬網(wǎng)卡獲取網(wǎng)絡(luò)數(shù)據(jù)包,并通過物理網(wǎng)卡將該第一虛擬網(wǎng)卡獲取的網(wǎng)絡(luò)數(shù)據(jù)包復制到第二虛擬網(wǎng)卡中。
該第一虛擬網(wǎng)卡和該第二虛擬網(wǎng)卡分別與該物理網(wǎng)卡關(guān)聯(lián)。在實際應(yīng)用中,公共網(wǎng)關(guān)接口數(shù)據(jù)的收集裝置10中包括一個或多個內(nèi)置的物理網(wǎng)卡,每一個物理網(wǎng)卡可以與一個或多個第一虛擬網(wǎng)卡相關(guān)聯(lián),以及與一個第二虛擬網(wǎng)卡相關(guān)聯(lián)。通過將該物理網(wǎng)卡內(nèi)的驅(qū)動程序驅(qū)動調(diào)用該物理網(wǎng)卡的寄存器中存儲的配置參數(shù),以實現(xiàn)通過該物理網(wǎng)卡將該第一虛擬網(wǎng)卡獲取的網(wǎng)絡(luò)數(shù)據(jù)包復制到該第二虛擬網(wǎng)卡的操作。其中該配置參數(shù)中包括復制的路徑,例如,該物理網(wǎng)卡與第一虛擬網(wǎng)卡vf1和vf2關(guān)聯(lián),若該配置參數(shù)中包括從第一虛擬網(wǎng)卡vf1到該第二虛擬網(wǎng)卡的復制路徑,則第一虛擬網(wǎng)卡vf2獲取的網(wǎng)絡(luò)數(shù)據(jù)包將不能復制到第二虛擬網(wǎng)卡中,若該配置參數(shù)中包括從第一虛擬網(wǎng)卡vf1到該第二虛擬網(wǎng)卡的復制路徑,以及從第一虛擬網(wǎng)卡vf2到該第二虛擬網(wǎng)卡的復制路徑,則該物理網(wǎng)卡分別將第一虛擬網(wǎng)卡vf1和vf2獲取的網(wǎng)絡(luò)數(shù)據(jù)包復制到第二虛擬網(wǎng)卡中。
s302:通過與該第二虛擬網(wǎng)卡關(guān)聯(lián)的采集docker容器,從該第二虛擬網(wǎng)卡中提取復制的網(wǎng)絡(luò)數(shù)據(jù)包中的cgi數(shù)據(jù)。
docker容器是一個開源的應(yīng)用容器引擎,可以為任何應(yīng)用創(chuàng)建一個輕量級的、可移植的、自給自足的容器。
本發(fā)明實施例中的采集docker容器具有獨立的cpu和內(nèi)存,該docker容器與該第二虛擬網(wǎng)卡相關(guān)聯(lián),這樣復制到該第二虛擬網(wǎng)卡中的網(wǎng)絡(luò)數(shù)據(jù)包可以輸入至該采集docker容器中。
預先在該采集docker容器的cpu中設(shè)置有提取cgi數(shù)據(jù)的應(yīng)用程序,通過該采集docker容器運行該應(yīng)用程序來提取cgi數(shù)據(jù),這樣無需占用公共網(wǎng)關(guān)接口數(shù)據(jù)的收集裝置10自身的cpu和內(nèi)存資源。
上述該提取cgi數(shù)據(jù)的應(yīng)用程序是具有通用性的,如果有多個公共網(wǎng)關(guān)接口數(shù)據(jù)的收集裝置10,無需針對每一個公共網(wǎng)關(guān)接口數(shù)據(jù)的收集裝置10設(shè)置獨有的提取程序,只需預先設(shè)置該采集docker容器,并在該采集docker容器中配置該提取cgi數(shù)據(jù)的應(yīng)用程序即可。
該cgi數(shù)據(jù)是反映網(wǎng)絡(luò)、客戶端以及服務(wù)器之間傳輸情況的數(shù)據(jù)。
s303:通過該采集docker容器將該cgi數(shù)據(jù)發(fā)送給該第二虛擬網(wǎng)卡,并通過該第二虛擬網(wǎng)卡將該cgi數(shù)據(jù)傳輸給cgi數(shù)據(jù)收集集群進行收集。
該cgi數(shù)據(jù)收集集群是多臺服務(wù)器的集群,主要用于處理和存儲接收到的cgi數(shù)據(jù)。該cgi數(shù)據(jù)收集集群包括:上述的流量分析集群11和數(shù)據(jù)庫12。
在本發(fā)明實施例中,是將網(wǎng)絡(luò)數(shù)據(jù)包復制到單獨的一個指定的采集docker容器中,然后通過該采集docker容器中預置的cgi數(shù)據(jù)提取程序來提取cgi數(shù)據(jù),相較于現(xiàn)有的so擴展庫的cgi數(shù)據(jù)收集方法,預置的cgi數(shù)據(jù)提取程序具有通用性,無需對每種服務(wù)器單獨開發(fā)程序,只需將該cgi數(shù)據(jù)提取程序配置在指定的采集docker容器中,即可實現(xiàn)對cgi數(shù)據(jù)的提取,同時,由于該采集docker容器具有單獨的cpu和內(nèi)存,因此提取cgi數(shù)據(jù)的過程不會占用服務(wù)器的cpu和內(nèi)存資源,進而不會影響服務(wù)器正常的業(yè)務(wù)程序。
請參閱圖4,圖4為本發(fā)明第二實施例提供的公共網(wǎng)關(guān)接口數(shù)據(jù)的收集方法的實現(xiàn)流程示意圖,可應(yīng)用于上述公共網(wǎng)關(guān)接口數(shù)據(jù)的收集裝置10中。
結(jié)合圖5,圖5為本發(fā)明實施例提供的上述公共網(wǎng)關(guān)接口數(shù)據(jù)的收集裝置10的結(jié)構(gòu)示意圖。需要說明的是,圖5是在圖2示出的硬體結(jié)構(gòu)的基礎(chǔ)上的結(jié)構(gòu)示意圖。圖5示出的裝置包括:物理網(wǎng)卡101,又稱網(wǎng)絡(luò)適配器(nic,networkinterfacecard)、業(yè)務(wù)docker容器d1、d2和d3和一個采集docker容器d0,其中,該物理網(wǎng)卡101分別與第一虛擬網(wǎng)卡vf1、vf2和vf3,以及一個第二虛擬網(wǎng)卡vf0相關(guān)聯(lián),第一虛擬網(wǎng)卡vf1、vf2和vf3分別與業(yè)務(wù)docker容器d1、d2和d3關(guān)聯(lián),且該第二虛擬網(wǎng)卡vf0與該采集docker容器d0相關(guān)聯(lián)。圖5中,第一虛擬網(wǎng)卡vf1、vf2和vf3分別與業(yè)務(wù)docker容器d1、d2和d3之間的連線表示關(guān)聯(lián),第二虛擬網(wǎng)卡vf0與采集docker容器d0之間的連線表示關(guān)聯(lián)。需要說明的是,圖5為示例圖,同一公共網(wǎng)關(guān)接口數(shù)據(jù)的收集裝置10中,不會對物理網(wǎng)卡、第一虛擬網(wǎng)卡、第二虛擬網(wǎng)卡、業(yè)務(wù)docker容器以及采集docker容器的數(shù)量構(gòu)成任何限定。
圖4示出的公共網(wǎng)關(guān)接口數(shù)據(jù)的收集方法,主要包括以下步驟:
s401:通過第一虛擬網(wǎng)卡從局域網(wǎng)或廣域網(wǎng)中,獲取客戶端發(fā)送的帶有業(yè)務(wù)請求的網(wǎng)絡(luò)數(shù)據(jù)包。
該第一虛擬網(wǎng)卡可以為上述圖5中第一虛擬網(wǎng)卡vf1、vf2和vf3中的一個或多個。該客戶端可以是安裝于手機、電腦、平板電腦等可以登錄網(wǎng)絡(luò)的終端內(nèi)的瀏覽器。用戶通過該客戶端可以向公共網(wǎng)關(guān)接口數(shù)據(jù)的收集裝置10(物理服務(wù)器)發(fā)送業(yè)務(wù)請求,然后通過該第一虛擬網(wǎng)卡從局域網(wǎng)或廣域網(wǎng)中,獲取該客戶端發(fā)送的帶有業(yè)務(wù)請求的網(wǎng)絡(luò)數(shù)據(jù)包。
公共網(wǎng)關(guān)接口數(shù)據(jù)的收集裝置10或公共網(wǎng)關(guān)接口數(shù)據(jù)的收集裝置10所在的物理服務(wù)器屬于web服務(wù)器。該業(yè)務(wù)請求一般是用戶通過與web服務(wù)器(公共網(wǎng)關(guān)接口數(shù)據(jù)的收集裝置10)關(guān)聯(lián)的瀏覽器發(fā)送的請求。例如,當用戶通過手機打開瀏覽器,點擊某網(wǎng)頁時,會向公共網(wǎng)關(guān)接口數(shù)據(jù)的收集裝置10(web服務(wù)器)發(fā)送用于打開該網(wǎng)頁的http請求;當用戶通過手機打開瀏覽器,并點擊網(wǎng)頁中的視頻框時,會向該公共網(wǎng)關(guān)接口數(shù)據(jù)的收集裝置10(web服務(wù)器)發(fā)送用于播放該視頻對應(yīng)的多媒體文件的業(yè)務(wù)請求。
該網(wǎng)絡(luò)數(shù)據(jù)包是包含有該業(yè)務(wù)請求的數(shù)據(jù)的數(shù)據(jù)包。在實際應(yīng)用中,該網(wǎng)絡(luò)數(shù)據(jù)包中包含有目的ip地址,該第一虛擬網(wǎng)卡依據(jù)該目的ip地址獲取網(wǎng)絡(luò)數(shù)據(jù)包。
s402:通過該第一虛擬網(wǎng)卡,將該網(wǎng)絡(luò)數(shù)據(jù)包轉(zhuǎn)發(fā)給與該第一虛擬網(wǎng)卡關(guān)聯(lián)的業(yè)務(wù)docker容器。
業(yè)務(wù)docker容器可以為圖5示出的業(yè)務(wù)docker容器d1、d2和d3中的一個或多個。在實際應(yīng)用中,每一個第一虛擬網(wǎng)卡均關(guān)聯(lián)一個業(yè)務(wù)docker容器,使得該第一虛擬網(wǎng)卡獲取的網(wǎng)絡(luò)數(shù)據(jù)包可以轉(zhuǎn)入與其相關(guān)聯(lián)的業(yè)務(wù)docker容器中進行處理。其中,每一個業(yè)務(wù)docker容器中包含單獨的cpu和內(nèi)存。
s403:通過該業(yè)務(wù)docker容器,對該網(wǎng)絡(luò)數(shù)據(jù)包進行解析,并根據(jù)解析結(jié)果生成響應(yīng)該業(yè)務(wù)請求的數(shù)據(jù)。
生成該響應(yīng)該業(yè)務(wù)請求的數(shù)據(jù)的過程就是:將該網(wǎng)絡(luò)數(shù)據(jù)包進行拆分,以獲取業(yè)務(wù)請求的數(shù)據(jù),然后根據(jù)獲取的業(yè)務(wù)請求的數(shù)據(jù)生成響應(yīng)該業(yè)務(wù)請求的數(shù)據(jù)。例如,當用戶通過手機打開瀏覽器,點擊某網(wǎng)頁時,向公共網(wǎng)關(guān)接口數(shù)據(jù)的收集裝置10(web服務(wù)器)發(fā)送用于打開該網(wǎng)頁的http請求,通過對該http請求的網(wǎng)絡(luò)數(shù)據(jù)包進行解析,查找到打開該網(wǎng)頁的鏈接信息以及該網(wǎng)頁的腳本。
s404:通過與該業(yè)務(wù)docker容器關(guān)聯(lián)的第一虛擬網(wǎng)卡,將生成的響應(yīng)數(shù)據(jù)發(fā)送給該客戶端,使得該客戶端根據(jù)該響應(yīng)數(shù)據(jù)執(zhí)行與該業(yè)務(wù)請求對應(yīng)的操作。
在實際應(yīng)用中,將生成的響應(yīng)數(shù)據(jù)封裝于數(shù)據(jù)包內(nèi),并以數(shù)據(jù)包的形式反饋給客戶端。例如,在步驟s403的舉例中,將該鏈接信息以及該網(wǎng)頁的腳本以數(shù)據(jù)包的形式反饋給客戶端,通過客戶端中的瀏覽器就可以進入該網(wǎng)頁并顯示該網(wǎng)頁,此時用戶可以看到該網(wǎng)頁的內(nèi)容。
s405:通過物理網(wǎng)卡將該第一虛擬網(wǎng)卡獲取的網(wǎng)絡(luò)數(shù)據(jù)包復制到第二虛擬網(wǎng)卡中。
該第一虛擬網(wǎng)卡和該第二虛擬網(wǎng)卡分別與該物理網(wǎng)卡關(guān)聯(lián)。在實際應(yīng)用中,公共網(wǎng)關(guān)接口數(shù)據(jù)的收集裝置10中包括一個或多個內(nèi)置的物理網(wǎng)卡,每一個物理網(wǎng)卡可以與一個或多個第一虛擬網(wǎng)卡相關(guān)聯(lián),以及與一個第二虛擬網(wǎng)卡相關(guān)聯(lián)。通過將該物理網(wǎng)卡內(nèi)的驅(qū)動程序驅(qū)動調(diào)用該物理網(wǎng)卡的寄存器中存儲的配置參數(shù),以實現(xiàn)通過該物理網(wǎng)卡將該第一虛擬網(wǎng)卡獲取的網(wǎng)絡(luò)數(shù)據(jù)包復制到該第二虛擬網(wǎng)卡的操作。其中該配置參數(shù)中包括復制的路徑,例如,該物理網(wǎng)卡與第一虛擬網(wǎng)卡vf1和vf2關(guān)聯(lián),若該配置參數(shù)中包括從第一虛擬網(wǎng)卡vf1到該第二虛擬網(wǎng)卡的復制路徑,則第一虛擬網(wǎng)卡vf2獲取的網(wǎng)絡(luò)數(shù)據(jù)包將不能復制到第二虛擬網(wǎng)卡中,若該配置參數(shù)中包括從第一虛擬網(wǎng)卡vf1到該第二虛擬網(wǎng)卡的復制路徑,以及從第一虛擬網(wǎng)卡vf2到該第二虛擬網(wǎng)卡的復制路徑,則該物理網(wǎng)卡分別將第一虛擬網(wǎng)卡vf1和vf2獲取的網(wǎng)絡(luò)數(shù)據(jù)包復制到第二虛擬網(wǎng)卡中。其中該第二虛擬網(wǎng)卡可以為圖5示出的第二虛擬網(wǎng)卡vf0。
s406:通過采集docker容器,從該第二虛擬網(wǎng)卡中提取復制的網(wǎng)絡(luò)數(shù)據(jù)包。
該采集docker容器為圖5示出的采集docker容器d0。該采集docker容器中設(shè)置有單獨的cpu和內(nèi)存,這樣避免與上述業(yè)務(wù)docker容器共享cpu和內(nèi)存資源,進而避免出現(xiàn)處理業(yè)務(wù)請求的cpu使用率高或內(nèi)存資源不足的異常情況。這樣將該第一虛擬網(wǎng)卡獲取到的網(wǎng)絡(luò)數(shù)據(jù)包均轉(zhuǎn)入該采集docker容器,方便了該采集docker容器后續(xù)提取網(wǎng)絡(luò)數(shù)據(jù)包中的cgi數(shù)據(jù)。
s407:通過該采集docker容器,按照傳輸控制協(xié)議/因特網(wǎng)互聯(lián)協(xié)議的協(xié)議棧逐層解析該復制的網(wǎng)絡(luò)數(shù)據(jù)包,直至解析到該傳輸控制協(xié)議/因特網(wǎng)互聯(lián)協(xié)議的協(xié)議棧的應(yīng)用層,得到從該應(yīng)用層解析出的數(shù)據(jù)流量。
傳輸控制協(xié)議/因特網(wǎng)互聯(lián)協(xié)議(tcp/ip,transmissioncontrolprotocol/internetprotocol)共有7層協(xié)議,按照tcp/ip的協(xié)議棧逐層解析該復制的網(wǎng)絡(luò)數(shù)據(jù)包。
s408:通過該采集docker容器從該應(yīng)用層解析出的數(shù)據(jù)流量中提取http流量。
該提取的http流量為上述步驟s406中所描述的后續(xù)從該網(wǎng)絡(luò)數(shù)據(jù)包中提取的cgi數(shù)據(jù)。
s409:通過該采集docker容器,對該http流量進行過濾清洗,以濾除異常數(shù)據(jù),得到清洗后的http流量。
該異常數(shù)據(jù)包括:不符合http協(xié)議的數(shù)據(jù)、掃描無漏洞的數(shù)據(jù)以及數(shù)據(jù)包體大小超過預置數(shù)值的數(shù)據(jù)。該無漏洞的數(shù)據(jù)可以為圖片、客戶端下載的文件等數(shù)據(jù)。該預置數(shù)值不做限定,可以為1g,也可以為2g。
s410:通過該采集docker容器將該清洗后的http流量發(fā)送給該第二虛擬網(wǎng)卡。
由于該采集docker容器和該第二虛擬網(wǎng)卡相關(guān)聯(lián),所以該采集docker容器中的數(shù)據(jù)均需要從該第二虛擬網(wǎng)卡向后端的服務(wù)器或其他設(shè)備進行發(fā)送。
s411:通過該第二虛擬網(wǎng)卡將該清洗后的http流量傳輸給該cgi數(shù)據(jù)收集集群中的流量分析集群,以使該流量分析集群對該清洗后的http流量進行處理,并將處理后的http流量存儲于該cgi數(shù)據(jù)收集集群中的數(shù)據(jù)庫中。
cgi數(shù)據(jù)收集集群包括:該流量分析集群和該數(shù)據(jù)庫。該流量分析集群和該數(shù)據(jù)庫分別為上述圖1示出的流量分析集群11和數(shù)據(jù)庫12,其中,該流量分析集群11中包括kafka存儲集群、storm系統(tǒng)和redis存儲系統(tǒng)。以公共網(wǎng)關(guān)接口數(shù)據(jù)的收集裝置10為物理服務(wù)器為示例,圖6為另一應(yīng)用場景示意圖,該應(yīng)用場景包括:多個物理服務(wù)器10、kafka存儲集群110、storm系統(tǒng)111和redis存儲系統(tǒng)112和數(shù)據(jù)庫12。
kafka存儲集群110是一種高吞吐量的分布式發(fā)布訂閱消息系統(tǒng),包含一個或多個服務(wù)器。與該kafka存儲集群110關(guān)聯(lián)的裝置可以從該kafka存儲集群110中讀取所需的數(shù)據(jù)。
storm系統(tǒng)111是一個開源的分布式實時計算系統(tǒng),可以簡單、可靠的處理大量的數(shù)據(jù)流。在本發(fā)明實施例中storm系統(tǒng)是用于完成對http流量的初步去重和分析。
redis存儲系統(tǒng)112是一種內(nèi)存數(shù)據(jù)庫,本發(fā)明實施例中的redis存儲系統(tǒng)112用于數(shù)據(jù)的二次去重。
該kafka存儲集群110接收該http流量,然后由storm系統(tǒng)111從該kafka存儲集群110中讀取該http流量,并對該http流量進行初步去重和分析,然后將經(jīng)初步去重和分析后的數(shù)據(jù)發(fā)送給redis存儲系統(tǒng)112,redis存儲系統(tǒng)112對接收到的數(shù)據(jù)進行二次去重,得到二次去重后的數(shù)據(jù),并將該二次去重后的數(shù)據(jù)存入數(shù)據(jù)庫12中。
需要說明的是,本發(fā)明實施例中與第一實施例相同的描述,請參閱第一實施例相應(yīng)的描述,此處不再贅述。
本發(fā)明實施例中,是將網(wǎng)絡(luò)數(shù)據(jù)包復制到單獨的一個指定的采集docker容器中,然后通過該采集docker容器中預置的cgi數(shù)據(jù)提取程序來提取cgi數(shù)據(jù)(http流量),相較于現(xiàn)有的so擴展庫的cgi數(shù)據(jù)收集方法,預置的cgi數(shù)據(jù)提取程序具有通用性,無需對每種服務(wù)器單獨開發(fā)程序,只需將該cgi數(shù)據(jù)提取程序配置在指定的采集docker容器中,即可實現(xiàn)對cgi數(shù)據(jù)的提取,同時,由于該采集docker容器具有單獨的cpu和內(nèi)存,因此提取cgi數(shù)據(jù)的過程不會占用服務(wù)器的cpu和內(nèi)存資源,進而不會影響服務(wù)器正常的業(yè)務(wù)程序。
圖7為上述公共網(wǎng)關(guān)接口數(shù)據(jù)的收集裝置10(物理服務(wù)器)與客戶端100和cgi數(shù)據(jù)收集集群200之間的交互示意圖。其中該公共網(wǎng)關(guān)接口數(shù)據(jù)的收集裝置10中包括:物理網(wǎng)卡101、業(yè)務(wù)docker容器102、采集docker容器103。
需要說明的是,圖7為硬體裝置間的交互圖,本發(fā)明實施例中的該第一虛擬網(wǎng)卡和該第二虛擬網(wǎng)卡為與該物理網(wǎng)卡101關(guān)聯(lián)的軟體模塊,該第一虛擬網(wǎng)卡和第二虛擬網(wǎng)卡相應(yīng)的硬體實現(xiàn)為物理網(wǎng)卡101,故此處省略了第一虛擬網(wǎng)卡和第二虛擬網(wǎng)卡。
s701:客戶端100向物理網(wǎng)卡101發(fā)送帶有業(yè)務(wù)請求的網(wǎng)絡(luò)數(shù)據(jù)包;
s702:物理網(wǎng)卡101接收該網(wǎng)絡(luò)數(shù)據(jù)包并復制該網(wǎng)絡(luò)數(shù)據(jù)包;
s703:物理網(wǎng)卡101將接收的網(wǎng)絡(luò)數(shù)據(jù)包轉(zhuǎn)發(fā)給業(yè)務(wù)docker容器102;
s704:物理網(wǎng)卡101將復制的網(wǎng)絡(luò)數(shù)據(jù)包轉(zhuǎn)發(fā)給采集docker容器103;
s705:業(yè)務(wù)docker容器102解析該網(wǎng)絡(luò)數(shù)據(jù)包,并根據(jù)解析結(jié)果生成響應(yīng)該業(yè)務(wù)請求的數(shù)據(jù);
s706:業(yè)務(wù)docker容器102將生成的響應(yīng)數(shù)據(jù)發(fā)送至物理網(wǎng)卡101中;
s707:物理網(wǎng)卡101將該響應(yīng)數(shù)據(jù)反饋給客戶端100;
s708:采集docker容器103提取該復制的網(wǎng)絡(luò)數(shù)據(jù)包中的http流量,并對該http流量進行過濾清洗,得到清洗后的http流量;
s709:采集docker容器103將該清洗后的http流量發(fā)送給物理網(wǎng)卡101;
s710:物理網(wǎng)卡101將該清洗后的http流量傳輸給cgi數(shù)據(jù)收集集群200進行收集。
請參閱圖8,圖8為本發(fā)明第三實施例提供的公共網(wǎng)關(guān)接口數(shù)據(jù)的收集裝置的結(jié)構(gòu)示意圖,為了便于說明,僅示出了與本發(fā)明實施例相關(guān)的部分。圖8示例的公共網(wǎng)關(guān)接口數(shù)據(jù)的收集裝置可以是前述圖3所示實施例提供的公共網(wǎng)關(guān)接口數(shù)據(jù)的收集方法的執(zhí)行主體。圖8示例的公共網(wǎng)關(guān)接口數(shù)據(jù)的收集裝置,主要包括:復制單元801、提取單元802和傳輸單元803。以上各功能模塊詳細說明如下:
復制單元801,用于通過第一虛擬網(wǎng)卡獲取網(wǎng)絡(luò)數(shù)據(jù)包,并通過物理網(wǎng)卡將該第一虛擬網(wǎng)卡獲取的網(wǎng)絡(luò)數(shù)據(jù)包復制到第二虛擬網(wǎng)卡中。
其中該第一虛擬網(wǎng)卡和該第二虛擬網(wǎng)卡分別與該物理網(wǎng)卡關(guān)聯(lián)。在實際應(yīng)用中,公共網(wǎng)關(guān)接口數(shù)據(jù)的收集裝置10中包括一個或多個內(nèi)置的物理網(wǎng)卡,每一個物理網(wǎng)卡可以與一個或多個第一虛擬網(wǎng)卡相關(guān)聯(lián),以及與一個第二虛擬網(wǎng)卡相關(guān)聯(lián)。通過將該物理網(wǎng)卡內(nèi)的驅(qū)動程序驅(qū)動調(diào)用該物理網(wǎng)卡的寄存器中存儲的配置參數(shù),以實現(xiàn)通過該物理網(wǎng)卡將該第一虛擬網(wǎng)卡獲取的網(wǎng)絡(luò)數(shù)據(jù)包復制到該第二虛擬網(wǎng)卡的操作。其中該配置參數(shù)中包括復制的路徑,例如,該物理網(wǎng)卡與第一虛擬網(wǎng)卡vf1和vf2關(guān)聯(lián),若該配置參數(shù)中包括從第一虛擬網(wǎng)卡vf1到該第二虛擬網(wǎng)卡的復制路徑,則第一虛擬網(wǎng)卡vf2獲取的網(wǎng)絡(luò)數(shù)據(jù)包將不能復制到第二虛擬網(wǎng)卡中,若該配置參數(shù)中包括從第一虛擬網(wǎng)卡vf1到該第二虛擬網(wǎng)卡的復制路徑,以及從第一虛擬網(wǎng)卡vf2到該第二虛擬網(wǎng)卡的復制路徑,則該物理網(wǎng)卡分別將第一虛擬網(wǎng)卡vf1和vf2獲取的網(wǎng)絡(luò)數(shù)據(jù)包復制到第二虛擬網(wǎng)卡中。
提取單元802,用于通過與該第二虛擬網(wǎng)卡關(guān)聯(lián)的采集docker容器,從該第二虛擬網(wǎng)卡中提取復制的網(wǎng)絡(luò)數(shù)據(jù)包中的公共網(wǎng)關(guān)接口cgi數(shù)據(jù)。
傳輸單元803,用于通過該采集docker容器將該cgi數(shù)據(jù)發(fā)送給該第二虛擬網(wǎng)卡,并通過該第二虛擬網(wǎng)卡將該cgi數(shù)據(jù)傳輸給cgi數(shù)據(jù)收集集群進行收集。
該cgi數(shù)據(jù)收集集群是多臺服務(wù)器的集群,主要用于處理和存儲接收到的cgi數(shù)據(jù)。該cgi數(shù)據(jù)收集集群包括:上述的流量分析集群11和數(shù)據(jù)庫12。
本發(fā)明實施例中,復制單元801將網(wǎng)絡(luò)數(shù)據(jù)包復制到單獨的一個指定的采集docker容器中,然后提取單元802通過該采集docker容器中預置的cgi數(shù)據(jù)提取程序來提取cgi數(shù)據(jù),相較于現(xiàn)有的so擴展庫的cgi數(shù)據(jù)收集方法,預置的cgi數(shù)據(jù)提取程序具有通用性,無需對每種服務(wù)器單獨開發(fā)程序,只需將該cgi數(shù)據(jù)提取程序配置在指定的采集docker容器中,即可實現(xiàn)對cgi數(shù)據(jù)的提取,同時,由于該采集docker容器具有單獨的cpu和內(nèi)存,因此提取cgi數(shù)據(jù)的過程不會占用服務(wù)器的cpu和內(nèi)存資源,進而不會影響服務(wù)器正常的業(yè)務(wù)程序。
請參閱圖9,圖9為本發(fā)明第四實施例提供的公共網(wǎng)關(guān)接口數(shù)據(jù)的收集裝置的結(jié)構(gòu)示意圖,為了便于說明,僅示出了與本發(fā)明實施例相關(guān)的部分。圖9示例的公共網(wǎng)關(guān)接口數(shù)據(jù)的收集裝置可以是前述圖3和圖4所示實施例提供的公共網(wǎng)關(guān)接口數(shù)據(jù)的收集方法的執(zhí)行主體。圖9示例的公共網(wǎng)關(guān)接口數(shù)據(jù)的收集裝置,主要包括:復制單元901、提取單元902、傳輸單元903、業(yè)務(wù)處理單元904和過濾單元905,其中該提取單元902中包括:提取子單元9021和解析子單元9022。以上各功能模塊詳細說明如下:
復制單元901,用于通過第一虛擬網(wǎng)卡從局域網(wǎng)或廣域網(wǎng)中,獲取客戶端發(fā)送的帶有業(yè)務(wù)請求的網(wǎng)絡(luò)數(shù)據(jù)包。
該客戶端可以是安裝于手機、電腦、平板電腦等可以登錄網(wǎng)絡(luò)的終端內(nèi)的瀏覽器。用戶通過該客戶端可以向公共網(wǎng)關(guān)接口數(shù)據(jù)的收集裝置10(物理服務(wù)器)發(fā)送業(yè)務(wù)請求。
該網(wǎng)絡(luò)數(shù)據(jù)包是包含有該業(yè)務(wù)請求的數(shù)據(jù)的數(shù)據(jù)包。在實際應(yīng)用中,該網(wǎng)絡(luò)數(shù)據(jù)包中包含有目的ip地址,該第一虛擬網(wǎng)卡依據(jù)該目的ip地址獲取網(wǎng)絡(luò)數(shù)據(jù)包。
傳輸單元903,用于通過該第一虛擬網(wǎng)卡,將該網(wǎng)絡(luò)數(shù)據(jù)包轉(zhuǎn)發(fā)給與該第一虛擬網(wǎng)卡關(guān)聯(lián)的業(yè)務(wù)docker容器。
在實際應(yīng)用中,每一個第一虛擬網(wǎng)卡均關(guān)聯(lián)一個業(yè)務(wù)docker容器,使得該第一虛擬網(wǎng)卡獲取的網(wǎng)絡(luò)數(shù)據(jù)包可以轉(zhuǎn)入與其相關(guān)聯(lián)的業(yè)務(wù)docker容器中進行處理。其中,每一個業(yè)務(wù)docker容器中包含單獨的cpu和內(nèi)存。
業(yè)務(wù)處理單元904,用于通過該業(yè)務(wù)docker容器,對該網(wǎng)絡(luò)數(shù)據(jù)包進行解析,并根據(jù)解析結(jié)果生成響應(yīng)該業(yè)務(wù)請求的數(shù)據(jù)。
傳輸單元903,還用于通過與該業(yè)務(wù)docker容器關(guān)聯(lián)的第一虛擬網(wǎng)卡,將生成的響應(yīng)數(shù)據(jù)發(fā)送給該客戶端,使得該客戶端根據(jù)該響應(yīng)數(shù)據(jù)執(zhí)行與該業(yè)務(wù)請求對應(yīng)的操作。
在實際應(yīng)用中,將生成的響應(yīng)數(shù)據(jù)封裝于數(shù)據(jù)包內(nèi),并以數(shù)據(jù)包的形式反饋給客戶端。
復制單元901,還用于通過物理網(wǎng)卡將該第一虛擬網(wǎng)卡獲取的網(wǎng)絡(luò)數(shù)據(jù)包復制到第二虛擬網(wǎng)卡中。
該第一虛擬網(wǎng)卡和該第二虛擬網(wǎng)卡分別與該物理網(wǎng)卡關(guān)聯(lián)。在實際應(yīng)用中,公共網(wǎng)關(guān)接口數(shù)據(jù)的收集裝置10中包括一個或多個內(nèi)置的物理網(wǎng)卡,每一個物理網(wǎng)卡可以與一個或多個第一虛擬網(wǎng)卡相關(guān)聯(lián),以及與一個第二虛擬網(wǎng)卡相關(guān)聯(lián)。通過將該物理網(wǎng)卡內(nèi)的驅(qū)動程序驅(qū)動調(diào)用該物理網(wǎng)卡的寄存器中存儲的配置參數(shù),以實現(xiàn)通過該物理網(wǎng)卡將該第一虛擬網(wǎng)卡獲取的網(wǎng)絡(luò)數(shù)據(jù)包復制到該第二虛擬網(wǎng)卡的操作。其中該配置參數(shù)中包括復制的路徑,例如,該物理網(wǎng)卡與第一虛擬網(wǎng)卡vf1和vf2關(guān)聯(lián),若該配置參數(shù)中包括從第一虛擬網(wǎng)卡vf1到該第二虛擬網(wǎng)卡的復制路徑,則第一虛擬網(wǎng)卡vf2獲取的網(wǎng)絡(luò)數(shù)據(jù)包將不能復制到第二虛擬網(wǎng)卡中,若該配置參數(shù)中包括從第一虛擬網(wǎng)卡vf1到該第二虛擬網(wǎng)卡的復制路徑,以及從第一虛擬網(wǎng)卡vf2到該第二虛擬網(wǎng)卡的復制路徑,則該物理網(wǎng)卡分別將第一虛擬網(wǎng)卡vf1和vf2獲取的網(wǎng)絡(luò)數(shù)據(jù)包復制到第二虛擬網(wǎng)卡中。
提取單元902,用于通過與該第二虛擬網(wǎng)卡關(guān)聯(lián)的采集docker容器,從該第二虛擬網(wǎng)卡中提取復制的網(wǎng)絡(luò)數(shù)據(jù)包中的cgi數(shù)據(jù)。
進一步地,提取子單元9021,用于通過該采集docker容器,從該第二虛擬網(wǎng)卡中提取該復制的網(wǎng)絡(luò)數(shù)據(jù)包。
進一步地,解析子單元9022,用于通過該采集docker容器,按照傳輸控制協(xié)議/因特網(wǎng)互聯(lián)協(xié)議的協(xié)議棧逐層解析該復制的網(wǎng)絡(luò)數(shù)據(jù)包,直至解析到該傳輸控制協(xié)議/因特網(wǎng)互聯(lián)協(xié)議的協(xié)議棧的應(yīng)用層,得到從該應(yīng)用層解析出的數(shù)據(jù)流量。
該采集docker容器中設(shè)置有單獨的cpu和內(nèi)存,這樣避免與上述業(yè)務(wù)docker容器共享cpu和內(nèi)存資源,進而避免了出現(xiàn)處理業(yè)務(wù)請求的cpu使用率高或內(nèi)存資源不足的異常情況。該第一虛擬網(wǎng)卡獲取到的網(wǎng)絡(luò)數(shù)據(jù)包均轉(zhuǎn)入該采集docker容器,方便了該采集docker容器后續(xù)提取網(wǎng)絡(luò)數(shù)據(jù)包中的cgi數(shù)據(jù)。
進一步地,提取子單元9021,還用于通過該采集docker容器從該應(yīng)用層解析出的數(shù)據(jù)流量中提取http流量。
過濾單元905,用于通過該采集docker容器,對該http流量進行過濾清洗,以濾除異常數(shù)據(jù),得到清洗后的http流量。
傳輸單元903,還用于通過該第二虛擬網(wǎng)卡將該清洗后的http流量傳輸給cgi數(shù)據(jù)收集集群中的流量分析集群,以使該流量分析集群對該清洗后的http流量進行處理,并將處理后的http流量存儲于該cgi數(shù)據(jù)收集集群中的數(shù)據(jù)庫中。
該cgi數(shù)據(jù)收集集群包括:該流量分析集群和該數(shù)據(jù)庫。該流量分析集群和該數(shù)據(jù)庫分別為上述圖1示出的流量分析集群11和數(shù)據(jù)庫12。
本實施例未盡之細節(jié),請參閱前述圖3和圖4所示實施例的描述,此處不再贅述。
本發(fā)明實施例中,復制單元901將網(wǎng)絡(luò)數(shù)據(jù)包復制到單獨的一個指定的采集docker容器中,然后提取單元902通過該采集docker容器中預置的cgi數(shù)據(jù)提取程序來提取cgi數(shù)據(jù)(http流量),相較于現(xiàn)有的so擴展庫的cgi數(shù)據(jù)收集方法,預置的cgi數(shù)據(jù)提取程序具有通用性,無需對每種服務(wù)器單獨開發(fā)程序,只需將該cgi數(shù)據(jù)提取程序配置在指定的采集docker容器中,即可實現(xiàn)對cgi數(shù)據(jù)的提取,同時,由于該采集docker容器具有單獨的cpu和內(nèi)存,因此提取cgi數(shù)據(jù)的過程不會占用服務(wù)器的cpu和內(nèi)存資源,進而不會影響服務(wù)器正常的業(yè)務(wù)程序。
在本申請所提供的多個實施例中,應(yīng)該理解到,所揭露的系統(tǒng)、裝置和方法,可以通過其它的方式實現(xiàn)。例如,以上所描述的裝置實施例僅僅是示意性的,例如,所述模塊的劃分,僅僅為一種邏輯功能劃分,實際實現(xiàn)時可以有另外的劃分方式,例如多個模塊或組件可以結(jié)合或者可以集成到另一個系統(tǒng),或一些特征可以忽略,或不執(zhí)行。另一點,所顯示或討論的相互之間的耦合或直接耦合或通信鏈接可以是通過一些接口,裝置或模塊的間接耦合或通信鏈接,可以是電性,機械或其它的形式。
所述作為分離部件說明的模塊可以是或者也可以不是物理上分開的,作為模塊顯示的部件可以是或者也可以不是物理模塊,即可以位于一個地方,或者也可以分布到多個網(wǎng)絡(luò)模塊上。可以根據(jù)實際的需要選擇其中的部分或者全部模塊來實現(xiàn)本實施例方案的目的。
另外,在本發(fā)明各個實施例中的各功能模塊可以集成在一個處理模塊中,也可以是各個模塊單獨物理存在,也可以兩個或兩個以上模塊集成在一個模塊中。上述集成的模塊既可以采用硬件的形式實現(xiàn),也可以采用軟件功能模塊的形式實現(xiàn)。
需要說明的是,對于前述的各方法實施例,為了簡便描述,故將其都表述為一系列的動作組合,但是本領(lǐng)域技術(shù)人員應(yīng)該知悉,本發(fā)明并不受所描述的動作順序的限制,因為依據(jù)本發(fā)明,某些步驟可以采用其它順序或者同時進行。其次,本領(lǐng)域技術(shù)人員也應(yīng)該知悉,說明書中所描述的實施例均屬于優(yōu)選實施例,所涉及的動作和模塊并不一定都是本發(fā)明所必須的。
在上述實施例中,對各個實施例的描述都各有側(cè)重,某個實施例中沒有詳述的部分,可以參見其它實施例的相關(guān)描述。
以上為對本發(fā)明實施例提供的公共網(wǎng)關(guān)接口數(shù)據(jù)的收集方法及裝置的描述,對于本領(lǐng)域的技術(shù)人員,依據(jù)本發(fā)明實施例的思想,在具體實施方式及應(yīng)用范圍上均會有改變之處,綜上,本說明書內(nèi)容不應(yīng)理解為對本發(fā)明的限制。