本發(fā)明涉及前端測試?，尤其涉及一種前端頁面異常檢測方法、裝置、電子設(shè)備及介質(zhì)。

背景技術(shù)：

1、因為一些監(jiān)管要求，部分企業(yè)需要對用戶操作記錄進行留底。在隱藏用戶敏感信息，如身份證、手機號、姓名等詳情的前提下，留底數(shù)據(jù)可以展示用戶在軟件或網(wǎng)頁中的詳細操作記錄，以及用戶可以看到的頁面。如果能夠基于這些類似錄屏的數(shù)據(jù)進行挖掘，可以識別整個鏈路中的異常頁面或異常跳轉(zhuǎn)，從而自動化的挖掘前端顯示異常，提升前端測試的自動化程度和覆蓋面。

2、目前基于視頻的物體檢測算法，主要是計算機視覺有關(guān)的算法，其重點往往是真實視頻的檢測，在前端顯示異常挖掘領(lǐng)域使用較為有限。一些和html頁面有關(guān)的組件識別算法，其準確率和召回率不能得到保證。目前依賴人工進行異常檢測的方法效率較低、識別準確率低、覆蓋范圍小。因此言之，如何在保護用戶隱私的前提下，識別頁面元素和頁面的異常成為亟待解決的問題。

技術(shù)實現(xiàn)思路

1、本發(fā)明提供一種前端頁面異常檢測方法、裝置、電子設(shè)備及介質(zhì)，用以解決現(xiàn)有技術(shù)中依賴人工進行異常檢測的方法效率較低、識別準確率低、覆蓋范圍小的缺陷，實現(xiàn)在保護用戶隱私的前提下識別整個鏈路中的異常頁面，異常跳轉(zhuǎn)，從而自動化的挖掘前端顯示異常。

2、本發(fā)明提供一種前端頁面異常檢測方法，包括：

3、獲取隱私保護處理之后的待檢測的用戶訪問前端頁面視頻；

4、對所述用戶訪問前端頁面視頻中每一幀頁面進行元素抽取，得到每一幀頁面的視覺元素；

5、基于所述每一幀頁面的視覺元素對所述每一幀頁面進行分類，得到多個頁面類別分別對應的多個幀頁面；

6、基于每個頁面類別的頁面元素特征對每個頁面類別對應的多個幀頁面進行異常檢測。

7、在一個可能的實施方式中，所述方法還包括：

8、獲取前端頁面數(shù)據(jù)和用戶訪問行為數(shù)據(jù)；

9、對所述前端頁面數(shù)據(jù)進行隱私屏蔽處理，得到處理后的前端頁面數(shù)據(jù)；

10、基于所述用戶訪問行為數(shù)據(jù)將所述處理后的前端頁面數(shù)據(jù)還原成html頁面序列；

11、對所述html頁面序列進行渲染得到待檢測的用戶訪問頁面視頻。

12、在一個可能的實施方式中，所述方法還包括：

13、通過業(yè)務規(guī)則屏蔽所述前端頁面數(shù)據(jù)中的用戶隱私信息以及對包含有隱私信息的前端頁面進行打碼處理，得到處理后的前端頁面數(shù)據(jù)。

14、在一個可能的實施方式中，所述方法還包括：

15、對所述用戶訪問頁面視頻中每一幀頁面進行元素拆解；

16、將元素拆解后的每一幀頁面構(gòu)造成包含特定元素的第一幀頁面和不包含特定元素的第二幀頁面；

17、將所述第一幀頁面和第二幀頁面渲染到瀏覽器中，并分別獲取對應的渲染圖像；

18、基于所述第一幀頁面和第二幀頁面分別對應的渲染圖像確定每一幀頁面的差異；

19、基于所述每一幀頁面的差異確定所述視覺元素。

20、在一個可能的實施方式中，所述方法還包括：

21、基于預設(shè)的頁面關(guān)鍵元素特征和頁面跳轉(zhuǎn)特征，識別所述視覺元素中的頁面關(guān)鍵元素；

22、基于所述頁面關(guān)鍵元素對所述每一幀頁面進行分類，得到多個頁面類別分別對應的多個幀頁面。

23、在一個可能的實施方式中，所述方法還包括：

24、基于所述頁面類別，確定每個頁面類別包含的多個目標關(guān)鍵元素；

25、基于所述每個頁面類別包含的多個目標關(guān)鍵元素對每個頁面類別對應的多個幀頁面進行異常檢測，其中，異常檢測包括目標關(guān)鍵元素缺失、遮擋、位置錯誤。

26、在一個可能的實施方式中，所述方法還包括：

27、通過馬爾可夫鏈模型計算每個類別頁面對應的跳轉(zhuǎn)到其他類別頁面的跳轉(zhuǎn)概率；

28、將跳轉(zhuǎn)概率低于預設(shè)閾值的html頁面序列進行記錄。

29、本發(fā)明還提供一種前端頁面異常檢測裝置，包括如下模塊：

30、獲取模塊，用于獲取隱私保護處理之后的待檢測的用戶訪問前端頁面視頻；

31、元素抽取模塊，用于對所述用戶訪問前端頁面視頻中每一幀頁面進行元素抽取，得到每一幀頁面的視覺元素；

32、頁面分類模塊，用于基于所述每一幀頁面的視覺元素對所述每一幀頁面進行分類，得到多個頁面類別分別對應的多個幀頁面；

33、異常檢測模塊，用于基于每個頁面類別的頁面元素特征對每個頁面類別對應的多個幀頁面進行異常檢測。

34、本發(fā)明還提供一種電子設(shè)備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，所述處理器執(zhí)行所述計算機程序時實現(xiàn)如上述任一種所述的前端頁面異常檢測方法。

35、本發(fā)明還提供一種非暫態(tài)計算機可讀存儲介質(zhì)，其上存儲有計算機程序，該計算機程序被處理器執(zhí)行時實現(xiàn)如上述任一種所述的前端頁面異常檢測方法。

36、本發(fā)明還提供一種計算機程序產(chǎn)品，包括計算機程序，所述計算機程序被處理器執(zhí)行時實現(xiàn)如上述任一種所述的前端頁面異常檢測方法。

37、本發(fā)明提供的前端頁面異常檢測方法、裝置、電子設(shè)備及介質(zhì)，通過獲取隱私保護處理之后的待檢測的用戶訪問前端頁面視頻；對所述用戶訪問前端頁面視頻中每一幀頁面進行元素抽取，得到每一幀頁面的視覺元素；基于所述每一幀頁面的視覺元素對所述每一幀頁面進行分類，得到多個頁面類別分別對應的多個幀頁面；基于每個頁面類別的頁面元素特征對每個頁面類別對應的多個幀頁面進行異常檢測。相比于現(xiàn)有技術(shù)中依賴人工進行異常檢測的方法效率較低、識別準確率低、覆蓋范圍小的缺陷，由本方案，在保護用戶隱私的前提下，基于前端展示錄屏的數(shù)據(jù)，利用無監(jiān)督和監(jiān)督機器學習，業(yè)務規(guī)則等基于組合策略實現(xiàn)前端異常檢測，實現(xiàn)在保護用戶隱私的前提下識別整個鏈路中的異常頁面，異常跳轉(zhuǎn)，從而自動化的挖掘前端顯示異常。

技術(shù)特征：

1.一種前端頁面異常檢測方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述獲取隱私保護處理之后的待檢測的用戶訪問前端頁面視頻，包括：

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述對所述前端頁面數(shù)據(jù)進行隱私屏蔽處理，得到處理后的前端頁面數(shù)據(jù)，包括：

4.根據(jù)權(quán)利要求1-3任一項所述的方法，其特征在于，所述對所述用戶訪問前端頁面視頻中每一幀頁面進行元素抽取，得到每一幀頁面的視覺元素，包括：

5.根據(jù)權(quán)利要求1-3任一項所述的方法，其特征在于，所述基于所述每一幀頁面的視覺元素對所述每一幀頁面進行分類，得到多個頁面類別分別對應的多個幀頁面，包括：

6.根據(jù)權(quán)利要求1-3任一項所述的方法，其特征在于，所述基于每個頁面類別的頁面元素特征對每個頁面類別對應的多個幀頁面進行異常檢測，包括：

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述方法還包括：

8.一種前端頁面異常檢測裝置，其特征在于，包括：

9.一種電子設(shè)備，包括存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的計算機程序，其特征在于，所述處理器執(zhí)行所述計算機程序時實現(xiàn)如權(quán)利要求1至7任一項所述的前端頁面異常檢測方法。

10.一種非暫態(tài)計算機可讀存儲介質(zhì)，其上存儲有計算機程序，其特征在于，所述計算機程序被處理器執(zhí)行時實現(xiàn)如權(quán)利要求1至7任一項所述的前端頁面異常檢測方法。

技術(shù)總結(jié)
本發(fā)明實施例涉及前端測試技術(shù)領(lǐng)域，提供一種前端頁面異常檢測方法、裝置、電子設(shè)備及介質(zhì)，該方法包括：獲取隱私保護處理之后的待檢測的用戶訪問前端頁面視頻；對用戶訪問前端頁面視頻中每一幀頁面進行元素抽取，得到每一幀頁面的視覺元素；基于每一幀頁面的視覺元素對每一幀頁面進行分類，得到多個頁面類別分別對應的多個幀頁面；基于每個頁面類別的頁面元素特征對每個頁面類別對應的多個幀頁面進行異常檢測。由此，在保護用戶隱私的前提下，基于前端展示錄屏的數(shù)據(jù)，利用無監(jiān)督和監(jiān)督機器學習，業(yè)務規(guī)則等基于組合策略實現(xiàn)前端異常檢測，實現(xiàn)在保護用戶隱私的前提下識別整個鏈路中的異常頁面，異常跳轉(zhuǎn)，從而自動化的挖掘前端顯示異常。

技術(shù)研發(fā)人員：亓浩,王耔霏,金雯,王波,方銳
受保護的技術(shù)使用者：元?？苿?chuàng)（北京）科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19