本發(fā)明涉及電視互聯(lián)網(wǎng)中視頻安全運營領域,具體說是一種基于統(tǒng)計學的異常接口訪問識別方法。
背景技術(shù):
電視互聯(lián)網(wǎng)是繼PC互聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)后又一新的互聯(lián)網(wǎng)形態(tài),它是廣電網(wǎng)絡與移動網(wǎng)絡和互聯(lián)網(wǎng)三者結(jié)合,而形成的以電視為中心的多屏互聯(lián)互通的網(wǎng)絡格局,是三網(wǎng)融合的產(chǎn)物。
互聯(lián)網(wǎng)視頻聚合應用(互聯(lián)網(wǎng)視頻聚合APP)是一種可以安裝在互聯(lián)網(wǎng)智能電視、電視機頂盒或手機中的一種聚合類視頻應用(聚合類視頻APP)。這類作為客戶端的視頻應用長期存在服務器接口被非法訪問的風險,且其手法越來越隱蔽。
例如:目前存在一種通過視頻應用(視頻APP),模擬用戶正常操作的方式進行視頻播放,藉此非法批量獲取可播放鏈接的手法。此類非法訪問服務器接口的情況,如果簡單的通過客戶端日志中識別頻發(fā)訪問用戶并進行黑名單屏蔽的方式進行識別、處理,只能識別或攔截已知的特定攻擊類型,不夠靈活。而且如果只是利用單一客戶端日志的信息,則未能有效的利用更廣泛的日志信息。
另一方面,用戶操作的行為能夠反映客戶端的運營狀態(tài),例如:當客戶端不正常運行或者交互過程設計不當時,可能產(chǎn)生大量的、用戶重復進行某種操作的行為。而各聚合類視頻應用都有各自的接口和記錄方式,因此很難找到通用的辦法來幫助聚合類視頻應用的運營商分析運營狀況。
技術(shù)實現(xiàn)要素:
針對現(xiàn)有技術(shù)中存在的缺陷,本發(fā)明的目的在于提供一種基于統(tǒng)計學的異常接口訪問識別方法,基于海量客戶端日志進行統(tǒng)計分析,可有效識別通過客戶端非法訪問服務器的用戶異常使用行為,可以為運營商提供運營支持,所述運營支持是指根據(jù)被鑒別出來的用戶異常使用行為,為改進產(chǎn)品提供依據(jù),以消除安全風險和屏蔽用戶異常使用行為。
為達到以上目的,本發(fā)明采取的技術(shù)方案是:
一種基于統(tǒng)計學的異常接口訪問識別方法,其特征在于,包括如下步驟:
步驟1,服務器端獲取客戶端訪問服務器的日志,最終形成某一天內(nèi)每個用戶訪問了哪些接口的歷史記錄;
所述服務器端指至少達到千萬級用戶總數(shù)的服務器端,或至少達到百萬日活用戶的服務器端,
所述客戶端指所有在線且與服務器端交互數(shù)據(jù)的客戶端;
步驟2,服務器端分析客戶端訪問服務器的日志;
通過分析得到各接口的訪問頻次與用戶數(shù)的關系圖,橫坐標和縱坐標分別表示訪問頻次、用戶數(shù);
步驟3,根據(jù)步驟2的結(jié)果,選擇需重點關注的特定的接口,獲取特定的接口的訪問頻次與用戶數(shù)的關系;
所述特定的接口指易被非法訪問的接口,或所述特定的接口指能遠程訪問的接口,或所述特定的接口指用戶最常訪問的接口,或所述所述特定的接口指獲取資源的最終接口;
步驟4,服務器端分析特定的接口的訪問頻次與用戶數(shù)的關系中的異常值;
步驟5,根據(jù)異常值自動判斷異常訪問類型;
異常訪問類型分為運營問題和非法訪問兩大類;
步驟6,對于非法訪問的異常訪問類型,攔截對應的異??蛻舳耍帘卫每蛻舳朔欠ㄔL問服務器的行為;
對于運營問題的異常訪問類型,通過日志獲取用戶的具體操作,并針對這些異常操作提供運營支持。
在上述技術(shù)方案的基礎上,所述客戶端訪問服務器的日志中至少記載了以下內(nèi)容:
用戶信息,被訪問的接口信息,訪問的日期及時間信息,具體操作信息。
在上述技術(shù)方案的基礎上,服務器端分析客戶端訪問服務器的日志采用后臺分析。
在上述技術(shù)方案的基礎上,所述訪問頻次指所有參與統(tǒng)計的用戶對某一接口的訪問次數(shù),
所述用戶數(shù)指以某一頻次訪問某一個接口的總?cè)藬?shù)。
在上述技術(shù)方案的基礎上,步驟3所述需重點關注的特定的接口包括但不限于:
標志著用戶進入某個頁面的接口,
標志著用戶進行了某項操作的接口,
后臺自動任務接口。
在上述技術(shù)方案的基礎上,步驟4中,按照以下原則分析異常值:
原則1,每天訪問次數(shù)明顯超出上限閾值的離散點,所述上限閾值為自定義值,
原則2,關系圖的圖形中的凸起部分,
原則3,每天訪問次數(shù)明顯少于下限閥值的離散點,所述下限閾值為自定義值。
在上述技術(shù)方案的基礎上,步驟5中,所述異常訪問類型包括:
異常訪問類型1,根據(jù)原則3分析出的異常值得到,屬于運營問題,
異常訪問類型2,根據(jù)原則2分析出的異常值得到,屬于運營問題,
異常訪問類型3,根據(jù)原則1分析出的異常值得到,屬于非法訪問。
在上述技術(shù)方案的基礎上,自動判斷異常訪問類型通過腳本程序?qū)崿F(xiàn)。
本發(fā)明所述的基于統(tǒng)計學的異常接口訪問識別方法,基于海量客戶端日志進行統(tǒng)計分析,可有效識別通過客戶端非法訪問服務器的用戶異常使用行為,可以為運營商提供運營支持,所述運營支持是指根據(jù)被鑒別出來的用戶異常使用行為,為改進產(chǎn)品提供依據(jù),以消除安全風險和屏蔽用戶異常使用行為。
附圖說明
本發(fā)明有如下附圖:
圖1本發(fā)明的流程圖。
圖2客戶端非法訪問服務器攔截示意圖
圖3雙對數(shù)頻次曲線圖。
具體實施方式
以下結(jié)合附圖對本發(fā)明作進一步詳細說明。
如圖1~3所示,本發(fā)明所述的基于統(tǒng)計學的異常接口訪問識別方法,包括如下步驟:
步驟1,服務器端獲取客戶端訪問服務器的日志,最終形成某一天內(nèi)每個用戶訪問了哪些接口(指服務器端的接口)的歷史記錄;
所述服務器端指至少達到千萬級用戶總數(shù)的服務器端,或至少達到百萬日活用戶(DAU,Daily Active User)的服務器端,
所述客戶端指所有在線且與服務器端交互數(shù)據(jù)的客戶端;
所述客戶端訪問服務器的日志中至少記載了以下內(nèi)容:
用戶信息,被訪問的接口信息,訪問的日期及時間信息,具體操作信息;
更進一步,為了避免日志被非法獲取或截獲導致涉密信息泄露,日志中的內(nèi)容采用密文形式記錄,即,記載的內(nèi)容均為加密后的密文,不能直接閱讀,服務器端解密密文后方可進行分析,以提高安全性;
步驟2,服務器端分析客戶端訪問服務器的日志;
服務器端分析客戶端訪問服務器的日志采用后臺分析,
通過分析得到各接口訪問頻次與用戶數(shù)的關系圖,橫坐標和縱坐標分別表示訪問頻次、用戶數(shù);
例如:圖3所示雙對數(shù)頻次曲線圖即為一個關系圖實例,圖3中橫坐標表示訪問頻次,縱坐標表示用戶數(shù),圖中異常的凸起、曲線頭部以及曲線長尾上的離散點都對應著某種異常的接口訪問類型,
所述訪問頻次指所有參與統(tǒng)計的用戶對某一接口的訪問次數(shù),
所述用戶數(shù)指以某一頻次訪問某一個接口的總?cè)藬?shù),
步驟3,根據(jù)步驟2的結(jié)果,選擇需重點關注的特定的接口,獲取特定的接口的訪問頻次與用戶數(shù)的關系;
所述特定的接口指易被非法訪問的接口,或所述特定的接口指能遠程訪問的接口,或所述特定的接口指用戶最常訪問的接口,或所述所述特定的接口指獲取資源的最終接口;
接口選與不選與互聯(lián)網(wǎng)視頻聚合應用(互聯(lián)網(wǎng)視頻聚合APP)的具體功能及系統(tǒng)架構(gòu)有關,可按需選擇;通??砂ㄒ韵陆涌冢?/p>
標志著用戶進入某個頁面的接口,例如:主頁,搜索頁,設置頁,視頻分類頁,視頻詳情頁;
標志著用戶進行了某項操作的接口,例如:掃碼、刷新直播節(jié)目單,點擊播放;
后臺自動任務接口,例如:自動更新、初始化;
步驟4,服務器端分析特定的接口的訪問頻次與用戶數(shù)的關系中的異常值;
按照以下原則分析異常值:
原則1,每天訪問次數(shù)明顯超出上限閾值的離散點,所述上限閾值為自定義值,
例如:上限閾值可設為5000,圖3中最右面的離散點,表示有極個別的用戶(一個用戶)每天訪問的接口數(shù)達到54萬多次(541095次),這是不可能的;
圖中超多1萬次訪問的用戶有9個,5000-10000次的用戶有8個;這里的非法訪問特指每天操作次數(shù)過于頻繁的這種情況,事實上海量統(tǒng)計確實會有意想不到的發(fā)現(xiàn),從這點上確實可以說能發(fā)現(xiàn)未知的非法訪問情況,但是在發(fā)現(xiàn)前你不會知道怎么描述這種非法訪問狀態(tài),舉個例子,最右側(cè)的孤立點,訪問超過1w次的用戶、5k-1w之間的用戶、2k-5k之間的用戶其非法訪問的類型可能就是不同的;
原則2,關系圖的圖形中的凸起部分,
例如:圖3中有兩個凸起,根據(jù)統(tǒng)計學原理,這種圖應該是平滑曲線,不應該出現(xiàn)這么明顯的凸起;
原則3,每天訪問次數(shù)明顯少于下限閥值的離散點,所述下限閾值為自定義值,
例如:圖3中最左側(cè)的少數(shù)離散點;
步驟5,根據(jù)異常值自動判斷異常訪問類型;
所述異常訪問類型包括:
異常訪問類型1,根據(jù)原則3分析出的異常值得到,屬于運營問題,
異常訪問類型2,根據(jù)原則2分析出的異常值得到,屬于運營問題,
異常訪問類型3,根據(jù)原則1分析出的異常值得到,屬于非法訪問,
自動判斷異常訪問類型通過腳本程序?qū)崿F(xiàn);
步驟6,根據(jù)異常訪問類型3,攔截對應的異??蛻舳?,屏蔽利用客戶端非法訪問服務器的行為;
根據(jù)異常訪問類型1、2,通過日志獲取用戶的具體操作,并針對這些異常操作提供運營支持,例如:修改代碼解決用戶沒法正常操作導致的異常操作等。
由于日志中記錄了具體操作信息,因此可以根據(jù)這些信息,對非法訪問及運營問題進行細分,并針對各個情況進一步制定處理方案。
本說明書中未作詳細描述的內(nèi)容屬于本領域?qū)I(yè)技術(shù)人員公知的現(xiàn)有技術(shù)。