得 出用戶體驗評分結果;
[0049] S3、將所述移動數(shù)據(jù)業(yè)務的關鍵質(zhì)量指標的測量值映射到網(wǎng)絡關鍵性能指標上, 用于分析定位影響用戶感知的網(wǎng)絡故障,通過排除網(wǎng)絡性能問題來提升用戶感知。
[0050] 本發(fā)明所述的技術方案針對當前移動互聯(lián)網(wǎng)的主要數(shù)據(jù)業(yè)務,提出一套衡量用 戶使用該業(yè)務的真實體驗的質(zhì)量指標體系和每個指標的主觀客觀測量方法,使得通過對 指標的客觀評測得出每類業(yè)務的用戶主觀感知質(zhì)量,并將業(yè)務質(zhì)量映射到傳統(tǒng)網(wǎng)絡性能 指標上,分析定位影響用戶體驗的網(wǎng)絡故障,通過排除網(wǎng)絡性能問題來提升用戶感知。解 決了對于網(wǎng)絡性能的評測各大運營商仍然是以網(wǎng)元為基礎的網(wǎng)絡關鍵性能指標(KPI,Key PerformanceIndicator)為主,該指標體系無法反應實際用戶使用移動數(shù)據(jù)業(yè)務的真實感 受,造成了用戶使用業(yè)務的體驗與網(wǎng)絡性能的評測優(yōu)化相脫節(jié)的問題。
[0051] 本發(fā)明涉及面向用戶體驗的移動數(shù)據(jù)業(yè)務關鍵質(zhì)量指標體系與測量方法,它針對 8種當前移動互聯(lián)網(wǎng)的主流數(shù)據(jù)業(yè)務,提出了一套即可用于主觀定量評測又可用于客觀定 量評測的關鍵質(zhì)量指標體系,該指標體系的測量值通過無量綱化和層次分析法可以對用戶 的主觀業(yè)務體驗進行客觀量化評測,同時也可以通過基于實際網(wǎng)絡大數(shù)據(jù)的相關性分析和 多元回歸分析,映射到網(wǎng)絡性能指標上。由于對于傳統(tǒng)網(wǎng)絡關鍵性能指標KPI的問題定位 和原因分析以及優(yōu)化,業(yè)界已經(jīng)具備了豐富的理論和實踐經(jīng)驗。通過上述分析就可以找出 影響用戶感知的網(wǎng)絡關鍵性能指標KPI所存在的問題,通過對網(wǎng)絡關鍵性能指標KPI的分 析優(yōu)化從而提升用戶感知。
[0052] 本發(fā)明選取了 8種主流的移動數(shù)據(jù)業(yè)務,包括Web網(wǎng)頁瀏覽、流媒體、FTP下載、FTP 上傳、發(fā)送Email、接收Email、Ping、QQ。
[0053] 所述Web網(wǎng)頁瀏覽業(yè)務的關鍵質(zhì)量指標,包括頁面響應結果、頁面響應成功率、頁 面響應時延、頁面顯示結果、頁面顯示成功率、頁面顯示時延、頁面下載速率、頁面會話時 長;
[0054] 所述流媒體業(yè)務的關鍵質(zhì)量指標,包括視頻請求時延、視頻播放結果、視頻播放成 功率、視頻播放初始緩沖時延、視頻停頓次數(shù)、視頻停頓時長、視頻停頓率、視頻播放時長、 視頻下載速率;
[0055] 所述FTP下載業(yè)務的關鍵質(zhì)量指標,包括文件下載請求響應結果、文件下載請求 響應成功率、文件下載請求響應時延、文件下載傳輸結果、文件下載成功率、文件下載傳輸 時延、下載傳輸速率;
[0056] 所述FTP上傳業(yè)務的關鍵質(zhì)量指標,包括上傳請求響應結果、上傳請求響應成功 率、上傳請求響應時延、上傳傳輸結果、上傳傳輸成功率、上傳傳輸時延、上傳傳輸速率;
[0057] 所述發(fā)送Email業(yè)務的關鍵質(zhì)量指標,包括Email登錄結果、Email登錄成功率、 Email登錄時延、發(fā)送郵件結果、發(fā)送郵件成功率、發(fā)送郵件時延、發(fā)送郵件傳輸速率;
[0058] 所述接收Email業(yè)務的關鍵質(zhì)量指標,包括Email登錄結果、Email登錄成功率、 Email登錄時延、接收郵件結果、接收郵件成功率、接收郵件時延、接收郵件傳輸速率;
[0059] 所述Ping業(yè)務的關鍵質(zhì)量指標,包括Ping響應結果、Ping響應成功率、Ping響應 時延;
[0060] 所述QQ業(yè)務的關鍵質(zhì)量指標,包括QQ登錄結果、QQ登錄成功率、QQ登錄時延、QQ 發(fā)送消息結果、QQ發(fā)送消息成功率、QQ發(fā)送消息時延、QQ接收消息結果、QQ接收消息成功 率、QQ接收消息時延。
[0061] 根據(jù)以上關鍵質(zhì)量指標體系進行各移動數(shù)據(jù)業(yè)務的用戶感知評測主要采用以下 兩步:
[0062] 第一步,對每類業(yè)務的各個關鍵質(zhì)量指標進行無量綱化。本發(fā)明提出折線無量綱 化方法,解決各指標的單位不統(tǒng)一問題。其公式為:
[0063] Qfinal-Qleft+ (Qright_Qleft) *IPtest_PleftI/ (Pright_Pleft)
[0064] 首先,將指標所有可能的取值劃分為多個區(qū)間(也可以只有一個區(qū)間),例如一個 時延指標的取值可以劃分為〇秒到1秒,1秒到3秒,3秒到5秒,5秒到10秒四個區(qū)間,然 后,每個區(qū)間可以對應一個百分制區(qū)間,例如0秒到1秒對應100到90分區(qū)間,1秒到3秒 對應90到70分區(qū)間,3秒到5秒對應70到50分區(qū)間,5秒到10秒對應50到0分區(qū)間。由 于每個指標既可以由用戶主觀觀測,也可以客觀測量,所以每個指標的取值的區(qū)間劃分,主 要根據(jù)該指標實際的用戶感知來判別,例如時延是越短越好,用戶對某個時延〇到1秒覺得 是體驗非常好的,因此評定為100到90分,而對于1到3秒覺得是比較好的,因此評定為90 到70分,依此劃分多個區(qū)間。
[0065] Qfinal表示對于一個指標測量值進行無量綱化之后的百分制得分;Qlrft,Q"ght是指 標測量值所落分段區(qū)間對應的百分制區(qū)間的邊界,例如某個時延指標測量值為0.5秒,它 落在了 0秒到1秒的分段區(qū)間,而該區(qū)間所對應的百分制區(qū)間為100到90,那么這兒的Qlrft =100,Qhght= 90 ;Phght,Pleft是評價指標值區(qū)間的邊界,在上例中它就是指標測量值所落 的區(qū)間0秒到1秒,Pleft= 0,P1;Ptest是關鍵質(zhì)量指標的測量值,在上例中就是〇. 5 秒,此時Qfinal= 95。
[0066] 第二步,將關鍵質(zhì)量指標映射為用戶感知評分。本發(fā)明主要采用層次分析法 (AHP),為各關鍵質(zhì)量指標分配權重,即Wl、W2、W3…Wn,然后對各關鍵質(zhì)量指標得分按權重 系數(shù)進行線性求和,獲得用戶感知評分結果Q0E。其公式為:
[0067] Q0E=Wl*Qfinall+W2*Qfinal2+W3*Qfinal3+…+Wn*Qfinaln
[0068] 〇^31表示在第一步中得到的關鍵質(zhì)量指標百分制得分,Wl、W2、W3…Wn表示使用 層次分析法得到的各個關鍵質(zhì)量指標的權重系數(shù)。
[0069] 層次分析法獲得指標權重按以下步驟執(zhí)行:
[0070] 第一,建立一個目標與屬性之間的層次結構模型,在這里就是一種業(yè)務的用戶感 知Q0E與業(yè)務關鍵質(zhì)量指標KQI之間的映射關系,例如:Web網(wǎng)頁瀏覽用戶感知Q0E,可以分 解多個為KQI:KQI1頁面響應結果、KQI2頁面響應成功率、KQI3頁面響應時延、KQI4頁面顯 示結果、KQI5頁面顯示成功率、KQI6頁面顯示時延、KQI7頁面下載速率、KQI8頁面會話時 長。
[0071] 第二,依據(jù)屬性對目標的貢獻度大小,兩兩比較同一層次的屬性,建立判斷矩陣。
[0072] 建立判斷矩陣的判斷尺度如下:
[0073]
[0074] 設\表示以判斷準則,Q0E的角度考慮要素:KQIi對KQIj的相對重要程度,若 假設在準則Q0E下要素KQI1,KQI2,…,KQIn的權重分別是Wl,W2,…,Wn,即W= (W1, W2,…,Wn)T,則aij=Wi/Wj,將上述判斷尺度中的Q0E的KPIn同時作為X軸與Y軸,以Q0E 為準則,進行兩兩比較給出判斷尺度得分,同時遵循a1]= 1/& ]1和&11= 1,得出判斷矩陣
[0075] 第三步,求判斷矩陣A的最大特征值A_和特征向量W:
[0076]
[0077] 即先對矩陣的每一行求乘積Xi,然后對Xi求n次方根,得到向量:
[0078]
[0079] 再對WW進行歸一化計算:
[0080]
[0081] 如此就得出了權重系數(shù)W= (W1,W2,…,Wn)。
[0082] 最大特征值計算公式如下:
[0083]
[0084] 第四,判斷相容性系數(shù)Cl= (A_-nV(n-l),如果CI〈預設閾值(通常為0? 1,可 以根據(jù)實際情況加以調(diào)整),則權重系數(shù)可以接受,否則轉到第二步重新評估判斷矩陣A, 并再次執(zhí)行第三和第四步。
[0085] 在本方案中,所述步驟S3、將所述移動數(shù)據(jù)業(yè)務的關鍵質(zhì)量指標的測量值映射到 網(wǎng)絡性能指標上,具體為:
[0086] 基于實測網(wǎng)絡大數(shù)據(jù)進行相關性分析,混合使用簡單相關分析法、偏相關分析法 和專家咨詢法確定移動數(shù)據(jù)業(yè)務的每個關鍵質(zhì)量指標的測量值受到哪幾個網(wǎng)絡關鍵性能 指標的影響;
[0087] 基于實測網(wǎng)絡大數(shù)據(jù),采用多元線性回歸分析法,確定每個關鍵質(zhì)量指標的測量 值與影響它的多個網(wǎng)絡關鍵性能指標之間的映射關系。
[0088] 將業(yè)務的關鍵質(zhì)量指標映射到網(wǎng)絡性能指標KPI,主要采用基于實際網(wǎng)絡大數(shù)據(jù) 的統(tǒng)計分析方法,分為以下兩步:
[0089] 第一步,基于實測網(wǎng)絡大數(shù)據(jù)進行相關性分析,混合使用簡單相關分析法、偏相關 分析法和專家咨詢法得到業(yè)務的每個關鍵質(zhì)量指標受到哪幾個KPI的影響;具體步驟如 下:
[0090] 第一,由本領域?qū)<腋鶕?jù)網(wǎng)絡制式篩選出可能影響移動網(wǎng)絡數(shù)據(jù)業(yè)務質(zhì)量的網(wǎng)絡 傳統(tǒng)關鍵性能指標KPI的集合,例如對于LTE網(wǎng)絡,可以選擇覆蓋類指標:承載小區(qū)參考信 號RE上的線性平均功率RSRP、小區(qū)參考信號功率相對小區(qū)所有信號功率(RSSI)的比值 RSRQ、覆蓋率等指標;呼叫建立類指標:RRC連接建立成功率、E-RAB建立成功率、無線接通 率等指標;呼叫保持內(nèi)指標:RRC連接異常掉話率、E-RAB掉話率等指標;移動性管理類指 標:包括系統(tǒng)內(nèi)系統(tǒng)間的各種切換重選指標;時延類指標:UE從Idle態(tài)到Active態(tài)轉換時 延、Attach時延、用戶面時延、各種切換業(yè)務終端時延等指標;系統(tǒng)資源類指標:流量指標、 無線資源利用率、系統(tǒng)資源利用率等指標。
[0091] 第二,為相關性分析獲取樣本數(shù)據(jù),即針對每種業(yè)務進行多次用戶業(yè)務測試,測量 多組KPI值和KQI值,例如對于Web瀏覽業(yè)務,一次測試可以得到頁面響應結果、頁面響應 成功率、頁面響應時延、頁面顯示結果、頁面顯示成功率、頁面顯示時延、頁面下載速率、頁 面會話時長這樣一組KQI值,同時可以測量得到覆蓋類、呼叫建立類、呼叫保持類、移動性 能管理類、時延類、系統(tǒng)資源類的一組多個KPI指標值。那么經(jīng)過多次測量就可以得到多組 KQI和KPI的樣本值。
[0092] 第三,對每個KQI和KPI的測量值使用上述用戶感知評測中的折線無量綱化方法 轉化為百分制分數(shù)。
[0093] 第四,選取一個KQ