本發(fā)明涉及信息技術(shù)領(lǐng)域，尤其涉及一種端到端網(wǎng)絡(luò)感知評(píng)估方法和系統(tǒng)。

背景技術(shù)：

隨著社會(huì)經(jīng)濟(jì)與技術(shù)的飛速發(fā)展，網(wǎng)絡(luò)感知評(píng)估作為網(wǎng)絡(luò)健康的一種重要手段越來(lái)越受到運(yùn)營(yíng)商重視，在社會(huì)各個(gè)領(lǐng)域也得到了許多應(yīng)用。而網(wǎng)絡(luò)分析系統(tǒng)中基礎(chǔ)監(jiān)控網(wǎng)元監(jiān)控是目前最常見(jiàn)的監(jiān)控方法，然而運(yùn)營(yíng)商基礎(chǔ)網(wǎng)絡(luò)設(shè)備分多層次、多廠家、多型號(hào)，每個(gè)設(shè)備監(jiān)控手段局限于設(shè)備廠家提供的單網(wǎng)元監(jiān)控方法，有些甚至還停留于手工巡檢方式，容易造成各種網(wǎng)絡(luò)故障無(wú)法及時(shí)發(fā)現(xiàn)，引起用戶(hù)投訴等問(wèn)題。

長(zhǎng)期以來(lái)，運(yùn)營(yíng)商的網(wǎng)絡(luò)優(yōu)化工作都是以提升網(wǎng)絡(luò)KPI(Key Performance Indicator，關(guān)鍵績(jī)效指標(biāo))為核心，傳統(tǒng)的基于網(wǎng)元的KPI與真正的用戶(hù)感知存在不小的差異。很多情況下，基于不完整甚至不科學(xué)指標(biāo)的保障和提升，無(wú)法直擊要害解決問(wèn)題。運(yùn)營(yíng)商的網(wǎng)絡(luò)優(yōu)化體系建設(shè)正在向以用戶(hù)感知為中心轉(zhuǎn)變，從更多地關(guān)注網(wǎng)絡(luò)設(shè)備性能、網(wǎng)絡(luò)性能，轉(zhuǎn)移到端到端的業(yè)務(wù)性能，從而提高用戶(hù)的感知。

運(yùn)營(yíng)商端到端網(wǎng)絡(luò)包含終端、網(wǎng)絡(luò)、業(yè)務(wù)，而網(wǎng)絡(luò)側(cè)又包含無(wú)線(xiàn)網(wǎng)、核心網(wǎng)、電路域等等，每天產(chǎn)生的日志量級(jí)以萬(wàn)億計(jì)，使用傳統(tǒng)的數(shù)據(jù)分析方法無(wú)法對(duì)這些海量大數(shù)據(jù)進(jìn)行及時(shí)處理分析。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明要解決的一個(gè)技術(shù)問(wèn)題是提供一種端到端網(wǎng)絡(luò)感知評(píng)估方法和系統(tǒng)，能夠及時(shí)感知網(wǎng)絡(luò)是否處于健康狀態(tài)。

根據(jù)本發(fā)明一方面，提出一種端到端網(wǎng)絡(luò)感知評(píng)估方法，包括：采集日志文件數(shù)據(jù)；利用大數(shù)據(jù)處理技術(shù)對(duì)日志文件數(shù)據(jù)進(jìn)行處理，獲取日志文件數(shù)據(jù)對(duì)應(yīng)的關(guān)鍵質(zhì)量指標(biāo)KQI數(shù)據(jù)或關(guān)鍵績(jī)效指標(biāo)KPI數(shù)據(jù)；將日志文件數(shù)據(jù)對(duì)應(yīng)的KQI數(shù)據(jù)和KPI數(shù)據(jù)與基礎(chǔ)閾值進(jìn)行關(guān)聯(lián)比對(duì)，確定網(wǎng)絡(luò)健康評(píng)估結(jié)果。

進(jìn)一步地，采集日志文件數(shù)據(jù)包括：通過(guò)定制終端的客戶(hù)端軟件采集終端的相關(guān)狀態(tài)數(shù)據(jù)；采集無(wú)線(xiàn)專(zhuān)業(yè)網(wǎng)管相關(guān)無(wú)線(xiàn)性能指標(biāo)數(shù)據(jù)；采集無(wú)線(xiàn)話(huà)單中其他無(wú)線(xiàn)性能指標(biāo)數(shù)據(jù)；采集核心網(wǎng)外置DPI數(shù)據(jù)包日志；和/或采集電路域信令日志。

進(jìn)一步地，將日志文件數(shù)據(jù)對(duì)應(yīng)的KQI數(shù)據(jù)和KPI數(shù)據(jù)與基礎(chǔ)閾值進(jìn)行關(guān)聯(lián)比對(duì)，確定網(wǎng)絡(luò)健康評(píng)估結(jié)果包括：若日志文件數(shù)據(jù)對(duì)應(yīng)的KQI數(shù)據(jù)大于KQI閾值和/或日志文件數(shù)據(jù)對(duì)應(yīng)的KPI數(shù)據(jù)大于KPI閾值，則確定網(wǎng)絡(luò)狀態(tài)異常。

進(jìn)一步地，該方法還包括：若日志文件數(shù)據(jù)對(duì)應(yīng)的KQI數(shù)據(jù)大于KQI閾值和/或日志文件數(shù)據(jù)對(duì)應(yīng)的KPI數(shù)據(jù)大于KPI閾值，則判斷網(wǎng)絡(luò)設(shè)置是否處于特殊場(chǎng)景應(yīng)用時(shí)間段；若網(wǎng)絡(luò)設(shè)置處于非特殊場(chǎng)景應(yīng)用時(shí)間段，則確定網(wǎng)絡(luò)狀態(tài)異常。

進(jìn)一步地，該方法還包括：確定KQI數(shù)據(jù)與KPI數(shù)據(jù)的映射關(guān)系；根據(jù)KQI數(shù)據(jù)與KPI數(shù)據(jù)的映射關(guān)系定位網(wǎng)絡(luò)異常原因。

進(jìn)一步地，確定KQI數(shù)據(jù)與KPI數(shù)據(jù)的映射關(guān)系包括：對(duì)KPI數(shù)據(jù)進(jìn)行歸一化處理；將歸一化處理后的KPI數(shù)據(jù)進(jìn)行求和并取平均值，確定KQI數(shù)據(jù)。

進(jìn)一步地，該方法還包括：根據(jù)網(wǎng)絡(luò)健康評(píng)估結(jié)果調(diào)整基礎(chǔ)閾值。

根據(jù)本發(fā)明的另一方面，還提出一種端到端網(wǎng)絡(luò)感知評(píng)估系統(tǒng)，包括：數(shù)據(jù)采集單元，用于采集日志文件數(shù)據(jù)；數(shù)據(jù)處理單元，用于利用大數(shù)據(jù)處理技術(shù)對(duì)日志文件數(shù)據(jù)進(jìn)行處理，獲取日志文件數(shù)據(jù)對(duì)應(yīng)的關(guān)鍵質(zhì)量指標(biāo)KQI數(shù)據(jù)或關(guān)鍵績(jī)效指標(biāo)KPI數(shù)據(jù)；網(wǎng)絡(luò)評(píng)估單元，用于將日志文件數(shù)據(jù)對(duì)應(yīng)的KQI數(shù)據(jù)和KPI數(shù)據(jù)與基礎(chǔ)閾值進(jìn)行關(guān)聯(lián)比對(duì)，確定網(wǎng)絡(luò)健康評(píng)估結(jié)果。

進(jìn)一步地，數(shù)據(jù)采集單元用于通過(guò)定制終端的客戶(hù)端軟件采集終端的相關(guān)狀態(tài)數(shù)據(jù)；采集無(wú)線(xiàn)專(zhuān)業(yè)網(wǎng)管相關(guān)無(wú)線(xiàn)性能指標(biāo)數(shù)據(jù)；采集無(wú)線(xiàn)話(huà)單中其他無(wú)線(xiàn)性能指標(biāo)數(shù)據(jù)；采集核心網(wǎng)外置DPI數(shù)據(jù)包日志；和/或采集電路域信令日志。

進(jìn)一步地，網(wǎng)絡(luò)評(píng)估單元用于若日志文件數(shù)據(jù)對(duì)應(yīng)的KQI數(shù)據(jù)大于KQI閾值和/或日志文件數(shù)據(jù)對(duì)應(yīng)的KPI數(shù)據(jù)大于KPI閾值，則確定網(wǎng)絡(luò)狀態(tài)異常。

進(jìn)一步地，該系統(tǒng)還包括運(yùn)維事件判斷單元；運(yùn)維事件判斷單元用于若日志文件數(shù)據(jù)對(duì)應(yīng)的KQI數(shù)據(jù)大于KQI閾值和/或日志文件數(shù)據(jù)對(duì)應(yīng)的KPI數(shù)據(jù)大于KPI閾值，則判斷網(wǎng)絡(luò)設(shè)置是否處于特殊場(chǎng)景應(yīng)用時(shí)間段；網(wǎng)絡(luò)評(píng)估單元用于若網(wǎng)絡(luò)設(shè)置處于非特殊場(chǎng)景應(yīng)用時(shí)間段，則確定網(wǎng)絡(luò)狀態(tài)異常。

進(jìn)一步地，該系統(tǒng)還包括指標(biāo)映射單元和網(wǎng)絡(luò)異常定位單元；指標(biāo)映射單元用于確定KQI數(shù)據(jù)與KPI數(shù)據(jù)的映射關(guān)系；網(wǎng)絡(luò)異常定位單元用于根據(jù)KQI數(shù)據(jù)與KPI數(shù)據(jù)的映射關(guān)系定位網(wǎng)絡(luò)異常原因。

進(jìn)一步地，指標(biāo)映射單元用于對(duì)KPI數(shù)據(jù)進(jìn)行歸一化處理；將歸一化處理后的KPI數(shù)據(jù)進(jìn)行求和并取平均值，確定KQI數(shù)據(jù)。

進(jìn)一步地，該系統(tǒng)還包括閾值調(diào)整單元；閾值調(diào)整單元用于根據(jù)網(wǎng)絡(luò)健康評(píng)估結(jié)果調(diào)整基礎(chǔ)閾值。

與現(xiàn)有技術(shù)先比，本發(fā)明采集日志文件數(shù)據(jù)后，利用大數(shù)據(jù)處理技術(shù)對(duì)日志文件數(shù)據(jù)進(jìn)行處理，獲取日志文件數(shù)據(jù)對(duì)應(yīng)的KQI數(shù)據(jù)和KPI數(shù)據(jù)，并將日志文件數(shù)據(jù)對(duì)應(yīng)的KQI數(shù)據(jù)和KPI數(shù)據(jù)與基礎(chǔ)閾值進(jìn)行關(guān)聯(lián)比對(duì)，確定網(wǎng)絡(luò)健康評(píng)估結(jié)果。本發(fā)明能夠及時(shí)感知網(wǎng)絡(luò)是否處于健康狀態(tài)，廣泛適用于用戶(hù)上網(wǎng)感知的綜合異常檢測(cè)與健康評(píng)估。

通過(guò)以下參照附圖對(duì)本發(fā)明的示例性實(shí)施例的詳細(xì)描述，本發(fā)明的其它特征及其優(yōu)點(diǎn)將會(huì)變得清楚。

附圖說(shuō)明

構(gòu)成說(shuō)明書(shū)的一部分的附圖描述了本發(fā)明的實(shí)施例，并且連同說(shuō)明書(shū)一起用于解釋本發(fā)明的原理。

參照附圖，根據(jù)下面的詳細(xì)描述，可以更加清楚地理解本發(fā)明，其中：

圖1為本發(fā)明端到端網(wǎng)絡(luò)感知評(píng)估方法的一個(gè)實(shí)施例的流程示意圖。

圖2為本發(fā)明端到端網(wǎng)絡(luò)感知評(píng)估方法的另一個(gè)實(shí)施例的流程示意圖。

圖3為本發(fā)明端到端網(wǎng)絡(luò)感知評(píng)估方法的再一個(gè)實(shí)施例的流程示意圖。

圖4為本發(fā)明KQI與KPI指標(biāo)關(guān)系圖。

圖5為本發(fā)明端到端網(wǎng)絡(luò)感知評(píng)估系統(tǒng)的一個(gè)實(shí)施例的結(jié)構(gòu)示意圖。

圖6為本發(fā)明端到端網(wǎng)絡(luò)感知評(píng)估系統(tǒng)的另一個(gè)實(shí)施例的結(jié)構(gòu)示意圖。

圖7為本發(fā)明端到端網(wǎng)絡(luò)感知評(píng)估系統(tǒng)架構(gòu)圖。

具體實(shí)施方式

現(xiàn)在將參照附圖來(lái)詳細(xì)描述本發(fā)明的各種示例性實(shí)施例。應(yīng)注意到：除非另外具體說(shuō)明，否則在這些實(shí)施例中闡述的部件和步驟的相對(duì)布置、數(shù)字表達(dá)式和數(shù)值不限制本發(fā)明的范圍。

同時(shí)，應(yīng)當(dāng)明白，為了便于描述，附圖中所示出的各個(gè)部分的尺寸并不是按照實(shí)際的比例關(guān)系繪制的。

以下對(duì)至少一個(gè)示例性實(shí)施例的描述實(shí)際上僅僅是說(shuō)明性的，決不作為對(duì)本發(fā)明及其應(yīng)用或使用的任何限制。

對(duì)于相關(guān)領(lǐng)域普通技術(shù)人員已知的技術(shù)、方法和設(shè)備可能不作詳細(xì)討論，但在適當(dāng)情況下，所述技術(shù)、方法和設(shè)備應(yīng)當(dāng)被視為授權(quán)說(shuō)明書(shū)的一部分。

在這里示出和討論的所有示例中，任何具體值應(yīng)被解釋為僅僅是示例性的，而不是作為限制。因此，示例性實(shí)施例的其它示例可以具有不同的值。

應(yīng)注意到：相似的標(biāo)號(hào)和字母在下面的附圖中表示類(lèi)似項(xiàng)，因此，一旦某一項(xiàng)在一個(gè)附圖中被定義，則在隨后的附圖中不需要對(duì)其進(jìn)行進(jìn)一步討論。

為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚明白，以下結(jié)合具體實(shí)施例，并參照附圖，對(duì)本發(fā)明進(jìn)一步詳細(xì)說(shuō)明。

圖1為本發(fā)明端到端網(wǎng)絡(luò)感知評(píng)估方法的一個(gè)實(shí)施例的流程示意圖。該方法包括以下步驟：

在步驟110，采集日志文件數(shù)據(jù)。其中，可以將互聯(lián)網(wǎng)中的日志文件數(shù)據(jù)分塊進(jìn)行采集，例如，通過(guò)定制終端的客戶(hù)端軟件采集終端的相關(guān)狀態(tài)數(shù)據(jù)；采集無(wú)線(xiàn)專(zhuān)業(yè)網(wǎng)管相關(guān)無(wú)線(xiàn)性能指標(biāo)數(shù)據(jù)；采集無(wú)線(xiàn)話(huà)單中其他無(wú)線(xiàn)性能指標(biāo)數(shù)據(jù)；采集核心網(wǎng)外置DPI(Deep Packet Inspection，深度包檢測(cè)技術(shù))數(shù)據(jù)包日志；以及采集電路域信令日志。

在步驟120，利用大數(shù)據(jù)處理技術(shù)對(duì)日志文件數(shù)據(jù)進(jìn)行處理，獲取日志文件數(shù)據(jù)對(duì)應(yīng)的KQI(Key Quality Indicators，關(guān)鍵質(zhì)量指標(biāo))數(shù)據(jù)和KPI(Key Performance Indicator，關(guān)鍵績(jī)效指標(biāo))數(shù)據(jù)?？梢酝ㄟ^(guò)大數(shù)據(jù)技術(shù)對(duì)步驟110獲得的海量日志進(jìn)行并行批量處理，提取日志文件數(shù)據(jù)的相關(guān)指標(biāo)日志。在一個(gè)實(shí)施例中，還可以將相關(guān)指標(biāo)日志實(shí)時(shí)入庫(kù)，生成綜合網(wǎng)絡(luò)指標(biāo)日志庫(kù)。

在步驟130，將日志文件數(shù)據(jù)對(duì)應(yīng)的KQI數(shù)據(jù)和KPI數(shù)據(jù)與基礎(chǔ)閾值進(jìn)行關(guān)聯(lián)比對(duì)，確定網(wǎng)絡(luò)健康評(píng)估結(jié)果。其中，可以配置KQI、KPI指標(biāo)評(píng)估方法，關(guān)聯(lián)終端、無(wú)線(xiàn)、核心網(wǎng)、信令等相關(guān)具體KPI指標(biāo)，生成指標(biāo)算法庫(kù)。實(shí)時(shí)關(guān)聯(lián)綜合日志庫(kù)與指標(biāo)算法庫(kù)，通過(guò)綜合網(wǎng)絡(luò)指標(biāo)日志庫(kù)的數(shù)據(jù)與用戶(hù)設(shè)置的基礎(chǔ)閾值配置進(jìn)行關(guān)聯(lián)對(duì)比來(lái)判斷網(wǎng)絡(luò)是否健康，是否有具體網(wǎng)絡(luò)設(shè)備出現(xiàn)異常。即通過(guò)日志文件數(shù)據(jù)對(duì)應(yīng)的KQI數(shù)據(jù)和KPI數(shù)據(jù)與KQI閾值和KPI閾值的關(guān)聯(lián)度，確定網(wǎng)絡(luò)整體健康程度。

在該實(shí)施例中，采集日志文件數(shù)據(jù)后，利用大數(shù)據(jù)處理技術(shù)對(duì)日志文件數(shù)據(jù)進(jìn)行處理，獲取日志文件數(shù)據(jù)對(duì)應(yīng)的KQI數(shù)據(jù)和KPI數(shù)據(jù)，并將日志文件數(shù)據(jù)對(duì)應(yīng)的KQI數(shù)據(jù)和KPI數(shù)據(jù)與基礎(chǔ)閾值進(jìn)行關(guān)聯(lián)比對(duì)，確定網(wǎng)絡(luò)健康評(píng)估結(jié)果，該實(shí)施例能夠及時(shí)感知網(wǎng)絡(luò)是否處于健康狀態(tài)，廣泛適用于用戶(hù)上網(wǎng)感知的綜合異常檢測(cè)與健康評(píng)估。

圖2為本發(fā)明端到端網(wǎng)絡(luò)感知評(píng)估方法的另一個(gè)實(shí)施例的流程示意圖。該方法包括以下步驟：

在步驟210，對(duì)互聯(lián)網(wǎng)中的日志文件數(shù)據(jù)分塊采集。例如，對(duì)互聯(lián)網(wǎng)每分鐘以?xún)|為量級(jí)的數(shù)據(jù)通過(guò)大數(shù)據(jù)HADOOP中的Mapreduce技術(shù)對(duì)文件日志進(jìn)行采集。

在步驟220，獲取日志文件數(shù)據(jù)對(duì)應(yīng)的KPI數(shù)據(jù)。其中，可以將原始上網(wǎng)日志分割為N*N的小文件塊進(jìn)行處理。利用大數(shù)據(jù)處理技術(shù)對(duì)日志文件數(shù)據(jù)進(jìn)行并行批量處理后，將處理結(jié)果實(shí)時(shí)入庫(kù)，生成綜合網(wǎng)絡(luò)指標(biāo)日志庫(kù)。其中，采集數(shù)據(jù)后，將數(shù)據(jù)集分布至各個(gè)節(jié)點(diǎn)。處理時(shí)，每個(gè)節(jié)點(diǎn)就近讀取本地存儲(chǔ)的數(shù)據(jù)處理，將處理后的數(shù)據(jù)進(jìn)行合并、排序后再分發(fā)節(jié)點(diǎn)。對(duì)于不同的指標(biāo)提取，建立不同的任務(wù)，多個(gè)任務(wù)同時(shí)在不同的節(jié)點(diǎn)上面執(zhí)行。由于數(shù)據(jù)保存多份在不同的節(jié)點(diǎn)，所以對(duì)于基于相同數(shù)據(jù)的指標(biāo)也可以并發(fā)進(jìn)行。

以無(wú)線(xiàn)KPI指標(biāo)為例，其中根據(jù)數(shù)據(jù)源日志中給出的指標(biāo)ID提取KPI數(shù)據(jù)，提取公式如表1所示：

表1

在步驟230，根據(jù)KQI數(shù)據(jù)與KPI數(shù)據(jù)的映射關(guān)系，確定日志文件數(shù)據(jù)的KQI數(shù)據(jù)。其中，可以先對(duì)KPI數(shù)據(jù)進(jìn)行歸一化處理；將歸一化處理后的KPI數(shù)據(jù)進(jìn)行求和并取平均值，確定KQI數(shù)據(jù)。

例如，其中，x表示指標(biāo)庫(kù)中某一指標(biāo)的實(shí)際數(shù)值，X_上限值和X_下限值表示網(wǎng)絡(luò)指標(biāo)的正常波動(dòng)范圍，為歸一化數(shù)據(jù)結(jié)構(gòu)。利用公式確定KQI數(shù)據(jù)。

在步驟240，根據(jù)日志文件數(shù)據(jù)對(duì)應(yīng)的KQI數(shù)據(jù)和KPI數(shù)據(jù)與KQI閾值和KPI閾值的關(guān)聯(lián)度，確定網(wǎng)絡(luò)整體健康程度。在一個(gè)具體實(shí)施例中，可以判斷日志文件數(shù)據(jù)對(duì)應(yīng)的KQI數(shù)據(jù)是否大于KQI閾值或日志文件數(shù)據(jù)對(duì)應(yīng)的KPI數(shù)據(jù)是否大于KPI閾值，若大于，則執(zhí)行步驟250，否則，執(zhí)行步驟260。

在步驟250，判斷網(wǎng)絡(luò)設(shè)置是否處于特殊場(chǎng)景應(yīng)用時(shí)間段，若處于，則執(zhí)行步驟260，否則，執(zhí)行步驟270。例如判斷網(wǎng)絡(luò)設(shè)置是否處于載頻擴(kuò)容、設(shè)備升級(jí)等事件。

在步驟260，網(wǎng)絡(luò)狀態(tài)正常，無(wú)需告警。

在步驟270，網(wǎng)絡(luò)狀態(tài)異常，進(jìn)行告警。

在該實(shí)施例中，對(duì)互聯(lián)網(wǎng)中的日志文件數(shù)據(jù)分塊采集，并利用大數(shù)據(jù)處理技術(shù)對(duì)日志文件數(shù)據(jù)進(jìn)行處理，將日志文件數(shù)據(jù)對(duì)應(yīng)的KQI數(shù)據(jù)和KPI數(shù)據(jù)與基礎(chǔ)閾值進(jìn)行關(guān)聯(lián)比對(duì)判斷網(wǎng)絡(luò)是否異常；另外，對(duì)判斷為異常的KQI&KPI指標(biāo)或具體網(wǎng)絡(luò)設(shè)備，還需要與運(yùn)維事件庫(kù)進(jìn)行特殊場(chǎng)景匹配，動(dòng)態(tài)更新網(wǎng)絡(luò)健康評(píng)估結(jié)果，提供告警。該實(shí)施例由于不受具體網(wǎng)元設(shè)備所提供的對(duì)外能力影響，僅針對(duì)網(wǎng)絡(luò)實(shí)際行為數(shù)據(jù)的為對(duì)象進(jìn)行感知評(píng)估，可廣泛適用于各種網(wǎng)絡(luò)監(jiān)控系統(tǒng)；另外，該實(shí)施例中算法復(fù)雜度低，利用大數(shù)據(jù)處理技術(shù)使得處理效率大大提高。

在本發(fā)明的另一個(gè)實(shí)施例中，部署端到端網(wǎng)絡(luò)感知評(píng)估系統(tǒng)的前提條件是數(shù)據(jù)源設(shè)備具備數(shù)據(jù)輸出能力，主要具備的能力包含：a)定制終端APP應(yīng)用，用戶(hù)手機(jī)終端側(cè)指標(biāo)數(shù)據(jù)的采集于輸出；b)部署核心網(wǎng)無(wú)線(xiàn)網(wǎng)專(zhuān)業(yè)網(wǎng)管，提供無(wú)線(xiàn)KPI性能指標(biāo)及無(wú)線(xiàn)話(huà)單數(shù)據(jù)輸出；c)部署核心網(wǎng)外置DPI設(shè)備，提供全量用戶(hù)上網(wǎng)日志數(shù)據(jù)輸出；d)提供電路域DPI設(shè)備，提供信令類(lèi)日志數(shù)據(jù)輸出。實(shí)現(xiàn)網(wǎng)絡(luò)感知評(píng)估的具體實(shí)現(xiàn)過(guò)程如圖3所示：

在步驟310，感知分析系統(tǒng)部署統(tǒng)一采集設(shè)備，通過(guò)FTP、soap、訂閱接口統(tǒng)一采集各數(shù)據(jù)源原始日志，生成本地臨時(shí)文件庫(kù)。其中，可以通過(guò)定制終端的客戶(hù)端軟件采集終端網(wǎng)頁(yè)首頁(yè)延時(shí)、網(wǎng)頁(yè)打開(kāi)延時(shí)、視頻下載速率、即時(shí)消息成功率等相關(guān)狀態(tài)數(shù)據(jù)；采集無(wú)線(xiàn)專(zhuān)業(yè)網(wǎng)管的下行用戶(hù)面包平均時(shí)延、無(wú)線(xiàn)連接成功率、用戶(hù)下行平均體驗(yàn)速率、4G下切3G發(fā)生率、上行激活用戶(hù)數(shù)&PRB利用率>70％、下行激活用戶(hù)數(shù)&PRB利用率>70％、CQI>7占比、業(yè)務(wù)請(qǐng)求成功率相關(guān)無(wú)線(xiàn)性能指標(biāo)數(shù)據(jù)；采集無(wú)線(xiàn)話(huà)單中SGW(Serving GateWay，服務(wù)網(wǎng)關(guān))、PGW(PDN GateWay，PDN網(wǎng)關(guān))丟包率、SGW設(shè)備吞吐量、LTE向CDMA切換比率、SGW承載修改成功率等其他無(wú)線(xiàn)性能指標(biāo)數(shù)據(jù)；采集核心網(wǎng)外置DPI數(shù)據(jù)包日志以及采集電路域信令日志。

在步驟320，利用Hadoop技術(shù)中MapReduce文件處理技術(shù)，針對(duì)每個(gè)數(shù)據(jù)源編寫(xiě)指標(biāo)提取算法，對(duì)海量臨時(shí)文件進(jìn)行批量同步并發(fā)處理，處理結(jié)果數(shù)據(jù)一部分以文件形式保存于HDFS文件系統(tǒng)中，一部分?jǐn)?shù)據(jù)插入數(shù)據(jù)庫(kù)，其中非關(guān)系型數(shù)據(jù)插入NOSQL，關(guān)系型數(shù)據(jù)庫(kù)插入ORACLE，小部分?jǐn)?shù)據(jù)存入內(nèi)存數(shù)據(jù)庫(kù)。其中，根據(jù)業(yè)務(wù)場(chǎng)景或者數(shù)據(jù)結(jié)構(gòu)類(lèi)型決定數(shù)據(jù)存放在哪里，例如，非結(jié)構(gòu)化數(shù)據(jù)一般存到HDFS和NOSQL上面，還有部分清單數(shù)據(jù)也會(huì)存到HDFS和NOSQL上面。對(duì)于結(jié)構(gòu)化分析結(jié)果數(shù)據(jù)一般存入到ORACLE中，對(duì)于經(jīng)常使用并發(fā)量比較大或者不經(jīng)常變化的數(shù)據(jù)，如：基礎(chǔ)配置數(shù)據(jù)等存放在內(nèi)存數(shù)據(jù)庫(kù)。

在步驟330，配置功能層感知質(zhì)量評(píng)估模塊，設(shè)置具體KPI數(shù)據(jù)與KQI數(shù)據(jù)對(duì)應(yīng)關(guān)系。其中，KPI與KQI的映射關(guān)系如圖4所示。

在步驟340，根據(jù)日志文件數(shù)據(jù)對(duì)應(yīng)的KQI數(shù)據(jù)和KPI數(shù)據(jù)與KQI閾值和KPI閾值的關(guān)聯(lián)度，確定網(wǎng)絡(luò)整體健康程度。當(dāng)然，還可以進(jìn)一步與運(yùn)維事件庫(kù)相關(guān)聯(lián)，動(dòng)態(tài)更新網(wǎng)絡(luò)健康度評(píng)估結(jié)果。

在步驟350，根據(jù)KQI數(shù)據(jù)與KPI數(shù)據(jù)的映射關(guān)系定位網(wǎng)絡(luò)異常原因。當(dāng)KQI數(shù)據(jù)為網(wǎng)頁(yè)首包時(shí)延，即手機(jī)側(cè)接收到網(wǎng)頁(yè)首包的時(shí)延，根據(jù)KQI數(shù)據(jù)與KPI數(shù)據(jù)的映射關(guān)系，確定根據(jù)網(wǎng)頁(yè)首包時(shí)延有直接關(guān)系的網(wǎng)絡(luò)側(cè)KPI數(shù)據(jù)包括用戶(hù)所在無(wú)線(xiàn)基站側(cè)的下行用戶(hù)面包平均時(shí)延無(wú)線(xiàn)連接成功率、上行激活用戶(hù)數(shù)&PRB利用率>70％、下行激活用戶(hù)數(shù)&PRB利用率>70％、CQI>7占比、業(yè)務(wù)請(qǐng)求成功率；以及核心網(wǎng)側(cè)的SGW、PGW丟包率。

該實(shí)施例中還可以包括步驟360，根據(jù)網(wǎng)絡(luò)健康評(píng)估結(jié)果調(diào)整基礎(chǔ)閾值，即調(diào)整KQI閾值和KPI閾值。

在該實(shí)施例中，采用了Hadoop技術(shù)中的Mapreduce對(duì)海量數(shù)據(jù)進(jìn)行并行分析處理，提高了處理效率，針對(duì)端到端感知體系提出了關(guān)鍵的KQI、KPI指標(biāo)及算法體系，根據(jù)KQI數(shù)據(jù)與KPI數(shù)據(jù)的映射關(guān)系定位網(wǎng)絡(luò)異常原因，該實(shí)施例可以廣泛適用于各種網(wǎng)絡(luò)監(jiān)控系統(tǒng)。

本發(fā)明還能夠提供各類(lèi)報(bào)表、GIS地圖等展現(xiàn)功能、短信郵件等告警提醒功能，便于日常監(jiān)控與統(tǒng)計(jì)分析。

圖5為本發(fā)明端到端網(wǎng)絡(luò)感知評(píng)估系統(tǒng)的一個(gè)實(shí)施例的結(jié)構(gòu)示意圖。該系統(tǒng)包括數(shù)據(jù)采集單元510、數(shù)據(jù)處理單元520和網(wǎng)絡(luò)評(píng)估單元530，其中：

數(shù)據(jù)采集單元510用于采集日志文件數(shù)據(jù)。其中，可以將互聯(lián)網(wǎng)中的日志文件數(shù)據(jù)分塊進(jìn)行采集。數(shù)據(jù)處理單元520用于利用大數(shù)據(jù)處理技術(shù)對(duì)日志文件數(shù)據(jù)進(jìn)行處理，獲取日志文件數(shù)據(jù)對(duì)應(yīng)的KQI數(shù)據(jù)和KPI數(shù)據(jù)。一個(gè)實(shí)施例中，還可以將相關(guān)指標(biāo)日志實(shí)時(shí)入庫(kù)，生成綜合網(wǎng)絡(luò)指標(biāo)日志庫(kù)。網(wǎng)絡(luò)評(píng)估單元530用于將日志文件數(shù)據(jù)對(duì)應(yīng)的KQI數(shù)據(jù)和KPI數(shù)據(jù)與基礎(chǔ)閾值進(jìn)行關(guān)聯(lián)比對(duì)，確定網(wǎng)絡(luò)健康評(píng)估結(jié)果。其中，可以配置KQI、KPI指標(biāo)評(píng)估方法，關(guān)聯(lián)終端、無(wú)線(xiàn)、核心網(wǎng)、信令等相關(guān)具體KPI指標(biāo)，生成指標(biāo)算法庫(kù)。實(shí)時(shí)關(guān)聯(lián)綜合日志庫(kù)與指標(biāo)算法庫(kù)，通過(guò)綜合網(wǎng)絡(luò)指標(biāo)日志庫(kù)的數(shù)據(jù)與用戶(hù)設(shè)置的基礎(chǔ)閾值配置進(jìn)行關(guān)聯(lián)對(duì)比來(lái)判斷網(wǎng)絡(luò)是否健康，是否有具體網(wǎng)絡(luò)設(shè)備出現(xiàn)異常。例如，網(wǎng)絡(luò)評(píng)估單元530用于若日志文件數(shù)據(jù)對(duì)應(yīng)的KQI數(shù)據(jù)大于KQI閾值或日志文件數(shù)據(jù)對(duì)應(yīng)的KPI數(shù)據(jù)大于KPI閾值，則確定網(wǎng)絡(luò)狀態(tài)異常。

在該實(shí)施例中，采集日志文件數(shù)據(jù)后，利用大數(shù)據(jù)處理技術(shù)對(duì)日志文件數(shù)據(jù)進(jìn)行處理，獲取日志文件數(shù)據(jù)對(duì)應(yīng)的KQI數(shù)據(jù)和KPI數(shù)據(jù)，并將日志文件數(shù)據(jù)對(duì)應(yīng)的KQI數(shù)據(jù)和KPI數(shù)據(jù)與基礎(chǔ)閾值進(jìn)行關(guān)聯(lián)比對(duì)，確定網(wǎng)絡(luò)健康評(píng)估結(jié)果，該實(shí)施例能廣泛適用于用戶(hù)上網(wǎng)感知的綜合異常檢測(cè)與健康評(píng)估。

圖6為本發(fā)明端到端網(wǎng)絡(luò)感知評(píng)估系統(tǒng)的另一個(gè)實(shí)施例的結(jié)構(gòu)示意圖。該系統(tǒng)包括數(shù)據(jù)采集單元610、數(shù)據(jù)處理單元620、運(yùn)維事件判斷單元630和網(wǎng)絡(luò)評(píng)估單元640，其中：

數(shù)據(jù)采集單元610用于對(duì)互聯(lián)網(wǎng)中的日志文件數(shù)據(jù)分塊采集。例如，對(duì)互聯(lián)網(wǎng)每分鐘以?xún)|為量級(jí)的數(shù)據(jù)通過(guò)大數(shù)據(jù)HADOOP中的Mapreduce技術(shù)文件對(duì)日志進(jìn)行采集，如通過(guò)定制終端的客戶(hù)端軟件采集所述終端的相關(guān)狀態(tài)數(shù)據(jù)；采集無(wú)線(xiàn)專(zhuān)業(yè)網(wǎng)管相關(guān)無(wú)線(xiàn)性能指標(biāo)數(shù)據(jù)；采集無(wú)線(xiàn)話(huà)單中其他無(wú)線(xiàn)性能指標(biāo)數(shù)據(jù)；采集核心網(wǎng)外置DPI數(shù)據(jù)包日志；以及采集電路域信令日志。數(shù)據(jù)處理單元620用于獲取日志文件數(shù)據(jù)對(duì)應(yīng)的KPI數(shù)據(jù)，根據(jù)KQI數(shù)據(jù)與KPI數(shù)據(jù)的映射關(guān)系，確定日志文件數(shù)據(jù)的KQI數(shù)據(jù)。利用大數(shù)據(jù)處理技術(shù)對(duì)日志文件數(shù)據(jù)進(jìn)行并行批量處理后，將處理結(jié)果實(shí)時(shí)入庫(kù)，生成綜合網(wǎng)絡(luò)指標(biāo)日志庫(kù)。運(yùn)維事件判斷單元630用于若日志文件數(shù)據(jù)對(duì)應(yīng)的KQI數(shù)據(jù)大于KQI閾值和/或日志文件數(shù)據(jù)對(duì)應(yīng)的KPI數(shù)據(jù)大于KPI閾值，則判斷網(wǎng)絡(luò)設(shè)置是否處于特殊場(chǎng)景應(yīng)用時(shí)間段。網(wǎng)絡(luò)評(píng)估單元640用于若網(wǎng)絡(luò)設(shè)置處于非特殊場(chǎng)景應(yīng)用時(shí)間段，則確定網(wǎng)絡(luò)狀態(tài)異常。

在該實(shí)施例中，對(duì)互聯(lián)網(wǎng)中的日志文件數(shù)據(jù)分塊采集，并利用大數(shù)據(jù)處理技術(shù)對(duì)日志文件數(shù)據(jù)進(jìn)行處理，將日志文件數(shù)據(jù)對(duì)應(yīng)的KQI數(shù)據(jù)和KPI數(shù)據(jù)與基礎(chǔ)閾值進(jìn)行關(guān)聯(lián)比對(duì)判斷網(wǎng)絡(luò)是否異常；另外，對(duì)判斷為異常的KQI&KPI指標(biāo)或具體網(wǎng)絡(luò)設(shè)備，還需要與運(yùn)維事件庫(kù)進(jìn)行特殊場(chǎng)景匹配，動(dòng)態(tài)更新網(wǎng)絡(luò)健康評(píng)估結(jié)果，提供告警。由于不受具體網(wǎng)元設(shè)備所提供的對(duì)外能力影響，僅針對(duì)網(wǎng)絡(luò)實(shí)際行為數(shù)據(jù)的為對(duì)象進(jìn)行感知評(píng)估，廣泛適用于各種網(wǎng)絡(luò)監(jiān)控系統(tǒng)；另外，該實(shí)施例中算法復(fù)雜度低，利用大數(shù)據(jù)處理技術(shù)使得處理效率大大提高。

在本發(fā)明的另一個(gè)實(shí)施例中，該系統(tǒng)還包括指標(biāo)映射單元650和網(wǎng)絡(luò)異常定位單元660，其中，指標(biāo)映射單元650用于確定KQI數(shù)據(jù)與KPI數(shù)據(jù)的映射關(guān)系，其中，可以先對(duì)KPI數(shù)據(jù)進(jìn)行歸一化處理；將歸一化處理后的KPI數(shù)據(jù)進(jìn)行求和并取平均值，確定KQI數(shù)據(jù)。網(wǎng)絡(luò)異常定位單元660用于根據(jù)KQI數(shù)據(jù)與KPI數(shù)據(jù)的映射關(guān)系定位網(wǎng)絡(luò)異常原因。如果KPI數(shù)據(jù)大于一定閾值后，作為提供網(wǎng)絡(luò)異常顯示，并提供具體KPI指標(biāo)異常階段，各設(shè)備數(shù)據(jù)源指標(biāo)原始數(shù)據(jù)查詢(xún)，追溯指標(biāo)異常原因。

在本發(fā)明的另一個(gè)實(shí)施例中，該系統(tǒng)還包括閾值調(diào)整單元670，其中，閾值調(diào)整單元670用于根據(jù)網(wǎng)絡(luò)健康評(píng)估結(jié)果調(diào)整基礎(chǔ)閾值，即調(diào)整KQI閾值和KPI閾值。

在上述實(shí)施例中，能夠根據(jù)KQI數(shù)據(jù)與KPI數(shù)據(jù)的映射關(guān)系及時(shí)確定定位網(wǎng)絡(luò)異常原因，還能夠及時(shí)調(diào)整KQI閾值和KPI閾值，以便更準(zhǔn)確的感知網(wǎng)絡(luò)異常。

在本發(fā)明的另一個(gè)實(shí)施例中，端到端網(wǎng)絡(luò)感知評(píng)估系統(tǒng)架構(gòu)圖可以如圖7所示，該系統(tǒng)部署統(tǒng)一采集設(shè)備，通過(guò)FTP、soap、訂閱接口統(tǒng)一采集各數(shù)據(jù)源原始日志，生成本地臨時(shí)文件庫(kù)。利用Hadoop技術(shù)中MapReduce文件處理技術(shù)，針對(duì)每個(gè)數(shù)據(jù)源編寫(xiě)指標(biāo)提取算法，對(duì)海量臨時(shí)文件進(jìn)行批量同步并發(fā)處理，處理結(jié)果數(shù)據(jù)一部分以文件形式保存于HDFS文件系統(tǒng)中，一部分?jǐn)?shù)據(jù)插入數(shù)據(jù)庫(kù)，其中非關(guān)系型數(shù)據(jù)插入NOSQL，關(guān)系型數(shù)據(jù)庫(kù)插入ORACLE，小部分?jǐn)?shù)據(jù)存入內(nèi)存數(shù)據(jù)庫(kù)。配置功能層感知質(zhì)量評(píng)估模塊，設(shè)置具體KPI與KQI指標(biāo)對(duì)應(yīng)關(guān)系，當(dāng)KPI指標(biāo)大于一定閾值后，作為提供網(wǎng)絡(luò)異常顯示，并提供具體KPI指標(biāo)異常階段，各設(shè)備數(shù)據(jù)源指標(biāo)原始數(shù)據(jù)查詢(xún)，追溯指標(biāo)異常原因。另外，還可以提供各類(lèi)報(bào)表、GIS地圖等展現(xiàn)功能、短信郵件等告警提醒功能，便于日常監(jiān)控與統(tǒng)計(jì)分析。

在該實(shí)施例中，端到端網(wǎng)絡(luò)感知評(píng)估系統(tǒng)不受具體網(wǎng)元設(shè)備所提供的對(duì)外能力影響，僅針對(duì)網(wǎng)絡(luò)實(shí)際行為數(shù)據(jù)的為對(duì)象進(jìn)行感知評(píng)估，廣泛適用于各種網(wǎng)絡(luò)監(jiān)控系統(tǒng)。

至此，已經(jīng)詳細(xì)描述了本發(fā)明。為了避免遮蔽本發(fā)明的構(gòu)思，沒(méi)有描述本領(lǐng)域所公知的一些細(xì)節(jié)。本領(lǐng)域技術(shù)人員根據(jù)上面的描述，完全可以明白如何實(shí)施這里公開(kāi)的技術(shù)方案。

可能以許多方式來(lái)實(shí)現(xiàn)本發(fā)明的方法以及裝置。例如，可通過(guò)軟件、硬件、固件或者軟件、硬件、固件的任何組合來(lái)實(shí)現(xiàn)本發(fā)明的方法以及裝置。用于所述方法的步驟的上述順序僅是為了進(jìn)行說(shuō)明，本發(fā)明的方法的步驟不限于以上具體描述的順序，除非以其它方式特別說(shuō)明。此外，在一些實(shí)施例中，還可將本發(fā)明實(shí)施為記錄在記錄介質(zhì)中的程序，這些程序包括用于實(shí)現(xiàn)根據(jù)本發(fā)明的方法的機(jī)器可讀指令。因而，本發(fā)明還覆蓋存儲(chǔ)用于執(zhí)行根據(jù)本發(fā)明的方法的程序的記錄介質(zhì)。

雖然已經(jīng)通過(guò)示例對(duì)本發(fā)明的一些特定實(shí)施例進(jìn)行了詳細(xì)說(shuō)明，但是本領(lǐng)域的技術(shù)人員應(yīng)該理解，以上示例僅是為了進(jìn)行說(shuō)明，而不是為了限制本發(fā)明的范圍。本領(lǐng)域的技術(shù)人員應(yīng)該理解，可在不脫離本發(fā)明的范圍和精神的情況下，對(duì)以上實(shí)施例進(jìn)行修改。本發(fā)明的范圍由所附權(quán)利要求來(lái)限定。