本發(fā)明實施例涉及數(shù)據(jù)采集技術領域，具體涉及一種確認采集信息的完整程度的方法及系統(tǒng)。

背景技術：

隨著運營商網(wǎng)絡的演進和網(wǎng)絡環(huán)境的日益復雜，以及海量的待采集數(shù)據(jù)，給數(shù)據(jù)采集的工作帶來了巨大的挑戰(zhàn)。

網(wǎng)絡的狀況決定著數(shù)據(jù)采集的質(zhì)量，在某一時刻，采集不到數(shù)據(jù)是正常的，而管理人員在查看報表的時候，需要知道這張報表的數(shù)據(jù)是否完整及完整的程度，但是目前尚沒有行之有效的確認數(shù)據(jù)采集完整程度的方法。

因此，如何準確確認數(shù)據(jù)采集的完整程度，成為亟須解決的問題。

技術實現(xiàn)要素：

針對現(xiàn)有技術存在的問題，本發(fā)明實施例提供一種確認采集信息的完整程度的方法及系統(tǒng)。

第一方面，本發(fā)明實施例提供一種確認采集信息的完整程度的方法，所述方法包括：

獲取網(wǎng)元在采集信息過程中的缺失信息及對應的時間，所述網(wǎng)元預先配置有要采集的指定信息；

若接收到采集信息的查詢指令，根據(jù)所述查詢指令的查詢條件、所述缺失信息及對應的時間、采集所述指定信息的預設時間間隔，確認所述采集信息的完整程度。

第二方面，本發(fā)明實施例提供一種確認采集信息的完整程度的系統(tǒng)，所述系統(tǒng)包括：

獲取模塊，用于獲取網(wǎng)元在采集信息過程中的缺失信息及對應的時間，所述網(wǎng)元預先配置有要采集的指定信息；

確認模塊，用于若接收到采集信息的查詢指令，根據(jù)所述查詢指令的查詢條件、所述缺失信息及對應的時間、采集所述指定信息的預設時間間隔，確認所述采集信息的完整程度。

第三方面，本發(fā)明實施例提供另一種確認采集信息的完整程度的系統(tǒng)，包括：處理器、存儲器和總線，其中，

所述處理器和所述存儲器通過所述總線完成相互間的通信；

所述存儲器存儲有可被所述處理器執(zhí)行的程序指令，所述處理器調(diào)用所述程序指令能夠執(zhí)行如下方法：

獲取網(wǎng)元在采集信息過程中的缺失信息及對應的時間，所述網(wǎng)元預先配置有要采集的指定信息；

若接收到采集信息的查詢指令，根據(jù)所述查詢指令的查詢條件、所述缺失信息及對應的時間、采集所述指定信息的預設時間間隔，確認所述采集信息的完整程度。

第四方面，本發(fā)明實施例提供一種非暫態(tài)計算機可讀存儲介質(zhì)，包括：

所述非暫態(tài)計算機可讀存儲介質(zhì)存儲計算機指令，所述計算機指令使所述計算機執(zhí)行如下方法：

獲取網(wǎng)元在采集信息過程中的缺失信息及對應的時間，所述網(wǎng)元預先配置有要采集的指定信息；

若接收到采集信息的查詢指令，根據(jù)所述查詢指令的查詢條件、所述缺失信息及對應的時間、采集所述指定信息的預設時間間隔，確認所述采集信息的完整程度。

本發(fā)明實施例提供的確認采集信息的完整程度的方法及系統(tǒng)，能夠準確確認數(shù)據(jù)采集的完整程度。

附圖說明

為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術中的技術方案，下面將對實施例或現(xiàn)有技術描述中所需要使用的附圖作一簡單地介紹，顯而易見地，下面描述中的附圖是本發(fā)明的一些實施例，對于本領域普通技術人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他的附圖。

圖1為本發(fā)明實施例確認采集信息的完整程度的方法流程示意圖；

圖2為本發(fā)明實施例確認采集信息的完整程度的系統(tǒng)結(jié)構(gòu)示意圖；

圖3為本發(fā)明實施例提供的系統(tǒng)實體結(jié)構(gòu)示意圖。

具體實施方式

為使本發(fā)明實施例的目的、技術方案和優(yōu)點更加清楚，下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例是本發(fā)明一部分實施例，而不是全部的實施例?；诒景l(fā)明中的實施例，本領域普通技術人員在沒有作出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。

圖1為本發(fā)明實施例確認采集信息的完整程度的方法流程示意圖，如圖1所示，本發(fā)明實施例提供的一種確認采集信息的完整程度的方法，包括以下步驟：

s1：獲取網(wǎng)元在采集信息過程中的缺失信息及對應的時間，所述網(wǎng)元預先配置有要采集的指定信息。

具體的，系統(tǒng)獲取網(wǎng)元在采集信息過程中的缺失信息及對應的時間，所述網(wǎng)元預先配置有要采集的指定信息。系統(tǒng)可以包括至少一個網(wǎng)元，網(wǎng)元可以預先配置有要采集的指定信息，網(wǎng)元可以選用準同步數(shù)字系列(簡稱pdh)設備，但不作具體限定，缺失信息可以理解為采集失敗的指定信息，可以是將被采集設備反饋給系統(tǒng)的采集失敗的采集信息作為缺失信息，相應的，采集失敗時刻對應的時間為缺失信息對應的時間，舉例對網(wǎng)元預先配置有要采集的指定信息說明如下：系統(tǒng)包括a1、a2、a3三個網(wǎng)元，a1預先配置要采集a類型的信息(指定信息a)、a2預先配置要采集b類型的信息(指定信息b)、a3預先配置要采集c類型的信息(指定信息c)。指定信息可以根據(jù)信息的類型來確定，但不作具體限定。

s2：若接收到采集信息的查詢指令，根據(jù)所述查詢指令的查詢條件、所述缺失信息及對應的時間、采集所述指定信息的預設時間間隔，確認所述采集信息的完整程度。

具體的，系統(tǒng)若接收到采集信息的查詢指令，根據(jù)所述查詢指令的查詢條件、所述缺失信息及對應的時間、采集所述指定信息的預設時間間隔，確認所述采集信息的完整程度。系統(tǒng)可以理解為負責執(zhí)行信息采集任務的后臺，采集信息的查詢指令可以由前臺發(fā)送，查詢條件可以包括待查詢的網(wǎng)元、查詢的起始時間和終止時間(對應起止時間)，采集信息的完整程度可以由采集信息的完整程度參數(shù)來表示。查詢條件針對的是已經(jīng)完成信息采集的網(wǎng)元(即不包括正在進行信息采集的網(wǎng)元)。詳細舉例說明如下：前臺發(fā)送的查詢指令的查詢條件是：2016年10月1日的22點-23點之間(起止時間)對網(wǎng)元a1、a2、a3三個網(wǎng)元(待查詢的網(wǎng)元)進行查詢，a1在22點-23點之間的缺失信息為d11、d12、d13；a2在22點-23點之間的缺失信息為d21、d22；a3在22點-23點之間的缺失信息為d31、d32、d33；(其它網(wǎng)元、以及不在2016年10月1日的22點-23點之間的缺失信息不在查詢條件內(nèi))，將滿足該查詢條件的缺失信息數(shù)據(jù)作為第一缺失信息數(shù)量(d11、d12、d13、d21、d22、d31、d32、d33，共計8個)。需要說明的是：網(wǎng)元采集指定信息按照預設時間間隔采集每個指定信息，該預設時間間隔可以根據(jù)實際情況自主設置，這里將預設時間間隔舉例為1秒，因此可以計算出a1在2016年10月1日的22點-23點之間采集的指定信息數(shù)量為3600個(1小時＝3600秒，每秒采集1個指定信息)、同理a2、a3分別采集的指定信息數(shù)量也為3600個，從而待查詢的網(wǎng)元a1、a2、a3在2016年10月1日的22點-23點之間所要采集的指定信息總數(shù)量為3600*3＝10800個。完整程度參數(shù)＝1-第一缺失信息數(shù)量/指定信息總數(shù)量＝1-8/10800＝99.898％。同理，如果在2016年10月1日的9點-10點之間a1、a2、a3的缺失信息數(shù)據(jù)為1000個，則對應的完整程度參數(shù)＝1-第一缺失信息數(shù)量/指定信息總數(shù)量＝1-1000/10800＝90.741％，如果完整程度參數(shù)預設標準設為95％，則22點-23點之間的待查詢的網(wǎng)元a1、a2、a3采集信息的完成程度為好(99.898％)，則9點-10點之間的待查詢的網(wǎng)元a1、a2、a3采集信息的完成程度為差(90.741％)。

本發(fā)明實施例提供的確認采集信息的完整程度的方法，能夠準確確認數(shù)據(jù)采集的完整程度。

在上述實施例的基礎上，所述查詢條件包括查詢起止時間、待查詢的網(wǎng)元，相應的，所述根據(jù)所述查詢指令的查詢條件、所述缺失信息及對應的時間、采集所述指定信息的預設時間間隔，確認所述采集信息的完整程度，包括：

根據(jù)所述查詢起止時間、所述待查詢的網(wǎng)元、所述缺失信息的數(shù)量及所述缺失信息對應的時間，獲取所述待查詢的網(wǎng)元在所述查詢起止時間內(nèi)的第一缺失信息數(shù)量。

具體的，系統(tǒng)根據(jù)所述查詢起止時間、所述待查詢的網(wǎng)元、所述缺失信息的數(shù)量及所述缺失信息對應的時間，獲取所述待查詢的網(wǎng)元在所述查詢起止時間內(nèi)的第一缺失信息數(shù)量?？蓞⒄丈鲜鰧嵤├辉儋樖?。

根據(jù)所述查詢起止時間、所述待查詢的網(wǎng)元的數(shù)量和采集所述指定信息的預設時間間隔，計算所述待查詢的網(wǎng)元在所述查詢起止時間內(nèi)所采集的指定信息總數(shù)量。

具體的，系統(tǒng)根據(jù)所述查詢起止時間、所述待查詢的網(wǎng)元的數(shù)量和采集所述指定信息的預設時間間隔，計算所述待查詢的網(wǎng)元在所述查詢起止時間內(nèi)所采集的指定信息總數(shù)量。可參照上述實施例，不再贅述。

根據(jù)所述指定信息總數(shù)量和所述第一缺失信息數(shù)量，計算表示所述采集信息的完整程度參數(shù)，并根據(jù)所述完整程度參數(shù)確認所述采集信息的完整程度。

具體的，系統(tǒng)根據(jù)所述指定信息總數(shù)量和所述第一缺失信息數(shù)量，計算表示所述采集信息的完整程度參數(shù)，并根據(jù)所述完整程度參數(shù)確認所述采集信息的完整程度?？蓞⒄丈鲜鰧嵤├辉儋樖?。

本發(fā)明實施例提供的確認采集信息的完整程度的方法，通過計算采集信息的完整程度參數(shù)，能夠更加準確確認數(shù)據(jù)采集的完整程度。

在上述實施例的基礎上，所述根據(jù)所述指定信息總數(shù)量和所述第一缺失信息數(shù)量，計算表示所述采集信息的完整程度參數(shù)，包括：

根據(jù)如下公式計算所述完整程度參數(shù)：

完整程度參數(shù)＝1-第一缺失信息數(shù)量/指定信息總數(shù)量。

具體的，系統(tǒng)根據(jù)如下公式計算所述完整程度參數(shù)：

完整程度參數(shù)＝1-第一缺失信息數(shù)量/指定信息總數(shù)量?？蓞⒄丈鲜鰧嵤├?，不再贅述。

本發(fā)明實施例提供的確認采集信息的完整程度的方法，通過公式計算采集信息的完整程度參數(shù)，進一步能夠更加準確確認數(shù)據(jù)采集的完整程度。

在上述實施例的基礎上，所述獲取網(wǎng)元在采集信息過程中的缺失信息及對應的時間步驟之后，所述方法還包括：

將所述缺失信息及對應的時間批量導入數(shù)據(jù)庫表中。

具體的，系統(tǒng)將所述缺失信息及對應的時間批量導入數(shù)據(jù)庫表中。

待批量導入完成后，發(fā)送調(diào)用指令，以調(diào)用數(shù)據(jù)質(zhì)量打點程序?qū)λ鋈笔畔⑦M行質(zhì)量打點。

具體的，系統(tǒng)待批量導入完成后，發(fā)送調(diào)用指令，以調(diào)用數(shù)據(jù)質(zhì)量打點程序?qū)λ鋈笔畔⑦M行質(zhì)量打點。調(diào)用指令可以通過kafka進行發(fā)送，kafka是一種高吞吐量的分布式發(fā)布訂閱消息系統(tǒng)，它可以處理消費者規(guī)模的網(wǎng)站中的所有動作流數(shù)據(jù)。進行質(zhì)量打點后的信息數(shù)據(jù)可以大幅提高信息數(shù)據(jù)被讀取的響應速度。

若接收到數(shù)據(jù)匯總的指令，則終止對所述缺失信息進行質(zhì)量打點的動作，并對質(zhì)量打點后的所述缺失信息進行匯總。

具體的，系統(tǒng)若接收到數(shù)據(jù)匯總的指令，則終止對所述缺失信息進行質(zhì)量打點的動作，并對質(zhì)量打點后的所述缺失信息進行匯總。數(shù)據(jù)匯總的指令可以由系統(tǒng)中的數(shù)據(jù)處理功能模塊發(fā)送，當系統(tǒng)中的數(shù)據(jù)質(zhì)量打點程序接收到該數(shù)據(jù)匯總的指令，進行匯總，并錄入進包括有網(wǎng)元匯總和缺失信息對應的時間匯總的數(shù)據(jù)質(zhì)量打點表中。

若接收到采集信息的查詢指令，根據(jù)所述查詢指令的查詢條件、匯總后缺失信息的數(shù)量及所述缺失信息對應的時間，確認所述采集信息的完整程度。

具體的，系統(tǒng)若接收到采集信息的查詢指令，根據(jù)所述查詢指令的查詢條件、匯總后缺失信息的數(shù)量及所述缺失信息對應的時間，確認所述采集信息的完整程度。同理，可參照上述對所述缺失信息的數(shù)量及所述缺失信息對應的時間，確認所述采集信息的完整程度方法步驟的說明，不再贅述。

本發(fā)明實施例提供的確認采集信息的完整程度的方法，通過先匯總?cè)笔畔?，再計算采集信息的完整程度參?shù)，不僅能夠準確確認數(shù)據(jù)采集的完整程度，還能夠提高完整程度參數(shù)計算的響應速度。

在上述實施例的基礎上，所述計算表示所述采集信息的完整程度參數(shù)步驟之后，所述方法還包括：

將所述完整程度參數(shù)發(fā)送至前臺顯示界面，并根據(jù)所述前臺顯示界面顯示的所述完整程度參數(shù)，確認所述采集信息的完整程度。

具體的，系統(tǒng)將所述完整程度參數(shù)發(fā)送至前臺顯示界面，并根據(jù)所述前臺顯示界面顯示的所述完整程度參數(shù)，確認所述采集信息的完整程度。由前臺顯示界面顯示完整程度參數(shù)，有利于管理員更加直觀、方便地確認采集信息的完整程度。

本發(fā)明實施例提供的確認采集信息的完整程度的方法，通過由前臺顯示界面顯示完整程度參數(shù)，有利于管理員更加直觀、方便地確認采集信息的完整程度。

在上述實施例的基礎上，所述獲取網(wǎng)元在采集信息過程中的缺失信息及對應的時間，包括：

在網(wǎng)元在采集信息過程中，將接收到的被采集設備反饋的采集失敗的采集信息作為缺失信息，并將采集失敗時刻作為所述缺失信息對應的時間。

具體的，系統(tǒng)在網(wǎng)元在采集信息過程中，將接收到的被采集設備反饋的采集失敗的采集信息作為缺失信息，并將采集失敗時刻作為所述缺失信息對應的時間。需要說明的：是缺失信息及對應的時間可以是從被采集設備反饋給系統(tǒng)的。

本發(fā)明實施例提供的確認采集信息的完整程度的方法，能夠有效地獲取到缺失信息、以及對應的時間，保證了確認采集信息的完整程度能夠順利進行。

圖2為本發(fā)明實施例確認采集信息的完整程度的系統(tǒng)結(jié)構(gòu)示意圖，如圖2所示，本發(fā)明實施例提供了一種確認采集信息的完整程度的系統(tǒng)，包括獲取模塊1和確認模塊2，其中：

獲取模塊1用于獲取網(wǎng)元在采集信息過程中的缺失信息及對應的時間，所述網(wǎng)元預先配置有要采集的指定信息；確認模塊2用于若接收到采集信息的查詢指令，根據(jù)所述查詢指令的查詢條件、所述缺失信息及對應的時間、采集所述指定信息的預設時間間隔，確認所述采集信息的完整程度。

具體的，獲取模塊1用于獲取網(wǎng)元在采集信息過程中的缺失信息及對應的時間，所述網(wǎng)元預先配置有要采集的指定信息，獲取模塊1將缺失信息及對應的時間發(fā)送給確認模塊2；確認模塊2用于若接收到采集信息的查詢指令，根據(jù)所述查詢指令的查詢條件、所述缺失信息及對應的時間、采集所述指定信息的預設時間間隔，確認所述采集信息的完整程度。

本發(fā)明實施例提供的確認采集信息的完整程度的系統(tǒng)，能夠準確確認數(shù)據(jù)采集的完整程度。

在上述實施例的基礎上，所述查詢條件包括查詢起止時間、待查詢的網(wǎng)元，相應的，所述確認模塊2具體用于：

根據(jù)所述查詢起止時間、所述待查詢的網(wǎng)元、所述缺失信息的數(shù)量及所述缺失信息對應的時間，獲取所述待查詢的網(wǎng)元在所述查詢起止時間內(nèi)的第一缺失信息數(shù)量；根據(jù)所述查詢起止時間、所述待查詢的網(wǎng)元的數(shù)量和采集所述指定信息的預設時間間隔，計算所述待查詢的網(wǎng)元在所述查詢起止時間內(nèi)所采集的指定信息總數(shù)量；根據(jù)所述指定信息總數(shù)量和所述第一缺失信息數(shù)量，計算表示所述采集信息的完整程度參數(shù)，并根據(jù)所述完整程度參數(shù)確認所述采集信息的完整程度。

具體的，所述確認模塊2具體用于：

根據(jù)所述查詢起止時間、所述待查詢的網(wǎng)元、所述缺失信息的數(shù)量及所述缺失信息對應的時間，獲取所述待查詢的網(wǎng)元在所述查詢起止時間內(nèi)的第一缺失信息數(shù)量；根據(jù)所述查詢起止時間、所述待查詢的網(wǎng)元的數(shù)量和采集所述指定信息的預設時間間隔，計算所述待查詢的網(wǎng)元在所述查詢起止時間內(nèi)所采集的指定信息總數(shù)量；根據(jù)所述指定信息總數(shù)量和所述第一缺失信息數(shù)量，計算表示所述采集信息的完整程度參數(shù)，并根據(jù)所述完整程度參數(shù)確認所述采集信息的完整程度。

本發(fā)明實施例提供的確認采集信息的完整程度的系統(tǒng)，通過計算采集信息的完整程度參數(shù)，能夠更加準確確認數(shù)據(jù)采集的完整程度。

本發(fā)明實施例提供的確認采集信息的完整程度的系統(tǒng)具體可以用于執(zhí)行上述各方法實施例的處理流程，其功能在此不再贅述，可以參照上述方法實施例的詳細描述。

圖3為本發(fā)明實施例提供的系統(tǒng)實體結(jié)構(gòu)示意圖，如圖3所示，所述系統(tǒng)包括：處理器(processor)301、存儲器(memory)302和總線303；

其中，所述處理器301、存儲器302通過總線303完成相互間的通信；

所述處理器301用于調(diào)用所述存儲器302中的程序指令，以執(zhí)行上述各方法實施例所提供的方法，例如包括：獲取網(wǎng)元在采集信息過程中的缺失信息及對應的時間，所述網(wǎng)元預先配置有要采集的指定信息；若接收到采集信息的查詢指令，根據(jù)所述查詢指令的查詢條件、所述缺失信息及對應的時間、采集所述指定信息的預設時間間隔，確認所述采集信息的完整程度。

本實施例公開一種計算機程序產(chǎn)品，所述計算機程序產(chǎn)品包括存儲在非暫態(tài)計算機可讀存儲介質(zhì)上的計算機程序，所述計算機程序包括程序指令，當所述程序指令被計算機執(zhí)行時，計算機能夠執(zhí)行上述各方法實施例所提供的方法，例如包括：獲取網(wǎng)元在采集信息過程中的缺失信息及對應的時間，所述網(wǎng)元預先配置有要采集的指定信息；若接收到采集信息的查詢指令，根據(jù)所述查詢指令的查詢條件、所述缺失信息及對應的時間、采集所述指定信息的預設時間間隔，確認所述采集信息的完整程度。

本實施例提供一種非暫態(tài)計算機可讀存儲介質(zhì)，所述非暫態(tài)計算機可讀存儲介質(zhì)存儲計算機指令，所述計算機指令使所述計算機執(zhí)行上述各方法實施例所提供的方法，例如包括：獲取網(wǎng)元在采集信息過程中的缺失信息及對應的時間，所述網(wǎng)元預先配置有要采集的指定信息；若接收到采集信息的查詢指令，根據(jù)所述查詢指令的查詢條件、所述缺失信息及對應的時間、采集所述指定信息的預設時間間隔，確認所述采集信息的完整程度。

本領域普通技術人員可以理解：實現(xiàn)上述方法實施例的全部或部分步驟可以通過程序指令相關的硬件來完成，前述的程序可以存儲于一計算機可讀取存儲介質(zhì)中，該程序在執(zhí)行時，執(zhí)行包括上述方法實施例的步驟；而前述的存儲介質(zhì)包括：rom、ram、磁碟或者光盤等各種可以存儲程序代碼的介質(zhì)。

以上所描述的系統(tǒng)等實施例僅僅是示意性的，其中所述作為分離部件說明的單元可以是或者也可以不是物理上分開的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位于一個地方，或者也可以分布到多個網(wǎng)絡單元上?？梢愿鶕?jù)實際的需要選擇其中的部分或者全部模塊來實現(xiàn)本實施例方案的目的。本領域普通技術人員在不付出創(chuàng)造性的勞動的情況下，即可以理解并實施。

通過以上的實施方式的描述，本領域的技術人員可以清楚地了解到各實施方式可借助軟件加必需的通用硬件平臺的方式來實現(xiàn)，當然也可以通過硬件?；谶@樣的理解，上述技術方案本質(zhì)上或者說對現(xiàn)有技術做出貢獻的部分可以以軟件產(chǎn)品的形式體現(xiàn)出來，該計算機軟件產(chǎn)品可以存儲在計算機可讀存儲介質(zhì)中，如rom/ram、磁碟、光盤等，包括若干指令用以使得一臺計算機設備(可以是個人計算機，服務器，或者網(wǎng)絡設備等)執(zhí)行各個實施例或者實施例的某些部分所述的方法。

最后應說明的是：以上各實施例僅用以說明本發(fā)明的實施例的技術方案，而非對其限制；盡管參照前述各實施例對本發(fā)明的實施例進行了詳細的說明，本領域的普通技術人員應當理解：其依然可以對前述各實施例所記載的技術方案進行修改，或者對其中部分或者全部技術特征進行等同替換；而這些修改或者替換，并不使相應技術方案的本質(zhì)脫離本發(fā)明的實施例各實施例技術方案的范圍。