一種準實時用戶日志收集和處理方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于信息技術(shù)領(lǐng)域，具體涉及一種準實時用戶日志收集和處理方法。
【背景技術(shù)】
[0002]在系統(tǒng)運行過程中產(chǎn)生日志文件，可以記錄系統(tǒng)的運行狀況和用戶的操作行為，當系統(tǒng)運行緩慢或者異常退出時，可以通過查看日志文件，快速定位問題、修復(fù)缺陷，使系統(tǒng)恢復(fù)正常運行。并且隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展，用戶日志也成了一個非常重要的信息。
[0003]例如，一些大型電子商務(wù)網(wǎng)站或者社交網(wǎng)站，可以通過對用戶日志的挖掘，通過用戶日志找出用戶的潛在訪問模式，從而設(shè)計出更便于用戶訪問的網(wǎng)頁組織模式;然而如何在這些海量的日志中挖掘出對企業(yè)有用的信息，并以此作出決策是一項任務(wù)龐大而又重要的工作。因為，用戶日志是由眾多用戶生成的，用戶日志具有數(shù)據(jù)源多樣性、海量性、傳輸條件不確定性等特點。
[0004]因此，對用戶日志進行分析、存儲和管理需要配置很高的硬件和技術(shù)，隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展，現(xiàn)在技術(shù)領(lǐng)域中，分布式存儲和計算已經(jīng)成為一種流行的用戶日志收集和處理方法，但是這種用戶日志收集和處理方法即使將數(shù)據(jù)分類存儲，但是需要存儲的數(shù)據(jù)也是較為龐大，數(shù)據(jù)量龐大不但對數(shù)據(jù)庫造成較大的壓力，而且讀取操作也費時間。

【發(fā)明內(nèi)容】

[0005]為解決上述技術(shù)問題，本發(fā)明提供了一種準實時用戶日志收集和處理方法，該方法對所有用戶日志進行緩沖、暫存再存儲，這種延遲存儲的方法解決了數(shù)據(jù)庫的壓力。
[0006]為達到上述目的，本發(fā)明的技術(shù)方案如下:
[0007]—種準實時用戶日志收集和處理方法，其基于由用戶日志采集客戶端、用戶日志管理服務(wù)器和用戶日志管理頁面組成的系統(tǒng)，包括以下步驟:
[0008]步驟一、用戶在所述用戶日志采集客戶端產(chǎn)生一個操作行為，操作行為觸發(fā)所述用戶日志管理服務(wù)器的日志點；
[0009]步驟二、用戶日志在所述用戶日志管理服務(wù)器中緩沖，所述用戶日志管理服務(wù)器對用戶日志進行標記；
[0010]步驟三、所述用戶日志管理服務(wù)器將標記后的用戶日志轉(zhuǎn)換成暫存文件，暫時存儲在服務(wù)器的暫存盤中；
[0011 ]步驟四、所述用戶日志管理服務(wù)器中的掃描程序?qū)λ鰰捍嫖募M行掃描；
[0012]步驟五、所述用戶日志管理服務(wù)器對經(jīng)過掃描后的所述暫存文件進行分析和篩選，獲得有用的數(shù)據(jù)；
[0013]步驟六、所述用戶日志管理服務(wù)器將篩選后有用的數(shù)據(jù)存儲到數(shù)據(jù)庫中，將暫時沒用的數(shù)據(jù)存檔；
[0014]步驟七、所述用戶日志管理服務(wù)器定時對存檔的數(shù)據(jù)掃描，重復(fù)所述步驟四到步驟六的步驟。
[0015]在本發(fā)明的一個較佳實施例中，進一步包括，在步驟六中，所述用戶日志管理服務(wù)器的存儲空間中還存儲一些不需要顯示在所述用戶日志管理頁面中，但是后續(xù)分析需要的數(shù)據(jù)內(nèi)容。
[0016]在本發(fā)明的一個較佳實施例中，進一步包括，步驟五中完成對數(shù)據(jù)的篩選后間隔8-12s循環(huán)進行步驟四。
[0017]在本發(fā)明的一個較佳實施例中，進一步包括，步驟五中所述篩選程序篩選方式包括:對用戶日志格式的篩選或?qū)I(yè)務(wù)內(nèi)容的篩選，其中所述對用戶日志格式的篩選包括:對應(yīng)不同的應(yīng)用、不同業(yè)務(wù)內(nèi)容對應(yīng)的不同格式。
[0018]在本發(fā)明的一個較佳實施例中，進一步包括，步驟二中對用戶日志進行標記，后續(xù)具有相同標記的用戶日志則無需存儲在數(shù)據(jù)庫中。
[0019]本發(fā)明的有益效果是:
[0020]本發(fā)明的用戶日志收集和處理方法，將獲得的用戶日志分析、緩存、篩選后再進行存儲，能夠更有效合理的利用存儲空間，減小了數(shù)據(jù)庫的壓力。
【附圖說明】
[0021]為了更清楚地說明本發(fā)明實施例技術(shù)中的技術(shù)方案，下面將對實施例技術(shù)描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他的附圖。
[0022]圖1本發(fā)明的方法流程圖。
【具體實施方式】
[0023]下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例。基于本發(fā)明中的實施例，本領(lǐng)域普通技術(shù)人員在沒有作出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。
[0024]實施例
[0025]如圖1所示，本實施例中公開了一種準實時用戶日志收集和處理方法，該方法是基于由用戶日志采集客戶端、用戶日志管理服務(wù)器和用戶日志管理頁面組成的系統(tǒng)完成的，具體的包括以下步驟:
[0026]步驟一、用戶在上述用戶日志采集客戶端產(chǎn)生一個操作行為，操作行為觸發(fā)上述用戶日志管理服務(wù)器的日志點。
[0027]步驟二、用戶日志在上述用戶日志管理服務(wù)器中緩沖，上述用戶日志管理服務(wù)器對用戶日志進行標記;對上述用戶日志進行標記防止后續(xù)過程中的用戶日志重復(fù)，后續(xù)具有相同標記的用戶日志則無需存儲在數(shù)據(jù)庫中，以免大量重復(fù)的數(shù)據(jù)占用數(shù)據(jù)庫空間，緩解了數(shù)據(jù)庫的存儲壓力。
[0028]步驟三、上述用戶日志管理服務(wù)器將標記后的用戶日志轉(zhuǎn)換成暫存文件，暫時存儲在服務(wù)器的暫存盤中。
[0029]步驟四、上述用戶日志管理服務(wù)器中的掃描程序?qū)ι鲜鰰捍嫖募M行掃描。
[0030]步驟五、上述用戶日志管理服務(wù)器對經(jīng)過掃描后的上述暫存文件進行分析和篩選，獲得有用的數(shù)據(jù);完成篩選后過8-12s后可以再重復(fù)進行用戶日志掃描，循環(huán)后續(xù)程序。
[0031]在本實施例中，步驟五中上述篩選程序篩選方式包括:對用戶日志格式的篩選或?qū)I(yè)務(wù)內(nèi)容的篩選，其中上述對用戶日志格式的篩選包括:對應(yīng)不同的應(yīng)用、不同業(yè)務(wù)內(nèi)容對應(yīng)的不同格式。
[0032]步驟六、上述用戶日志管理服務(wù)器將篩選后有用的數(shù)據(jù)存儲到數(shù)據(jù)庫中，將暫時沒用的數(shù)據(jù)存檔;上述用戶日志管理服務(wù)器的存儲空間中還存儲一些不需要顯示在上述用戶日志管理頁面中，但是后續(xù)分析需要的數(shù)據(jù)內(nèi)容。
[0033]步驟七、上述用戶日志管理服務(wù)器定時對存檔的數(shù)據(jù)掃描，重復(fù)上述步驟四到步驟六的步驟。例如，可以在一個月后或者幾天后對存檔的數(shù)據(jù)重新進行掃描，然后分析數(shù)據(jù)，篩選出有用的數(shù)據(jù)，將有用的數(shù)據(jù)存儲到數(shù)據(jù)庫中，將暫時沒用的數(shù)據(jù)存檔。
[0034]上述的用戶日志收集和處理方法，將獲得的用戶日志分析、緩存、篩選后再進行存儲，能夠更有效合理的利用存儲空間，減小了數(shù)據(jù)庫的壓力。
[0035]對所公開的實施例的上述說明，使本領(lǐng)域?qū)I(yè)技術(shù)人員能夠?qū)崿F(xiàn)或使用本發(fā)明。對這些實施例的多種修改對本領(lǐng)域的專業(yè)技術(shù)人員來說將是顯而易見的，本文中所定義的一般原理可以在不脫離本發(fā)明的精神或范圍的情況下，在其它實施例中實現(xiàn)。因此，本發(fā)明將不會被限制于本文所示的這些實施例，而是要符合與本文所公開的原理和新穎特點相一致的最寬的范圍。
【主權(quán)項】
1.一種準實時用戶日志收集和處理方法，其基于由用戶日志采集客戶端、用戶日志管理服務(wù)器和用戶日志管理頁面組成的系統(tǒng)，其特征在于，包括以下步驟: 步驟一、用戶在所述用戶日志采集客戶端產(chǎn)生一個操作行為，操作行為觸發(fā)所述用戶日志管理服務(wù)器的日志點； 步驟二、用戶日志在所述用戶日志管理服務(wù)器中緩沖，所述用戶日志管理服務(wù)器對用戶日志進行標記； 步驟三、所述用戶日志管理服務(wù)器將標記后的用戶日志轉(zhuǎn)換成暫存文件，暫時存儲在服務(wù)器的暫存盤中； 步驟四、所述用戶日志管理服務(wù)器中的掃描程序?qū)λ鰰捍嫖募M行掃描； 步驟五、所述用戶日志管理服務(wù)器對經(jīng)過掃描后的所述暫存文件進行分析和篩選，獲得有用的數(shù)據(jù)； 步驟六、所述用戶日志管理服務(wù)器將篩選后有用的數(shù)據(jù)存儲到數(shù)據(jù)庫中，將暫時沒用的數(shù)據(jù)存檔； 步驟七、所述用戶日志管理服務(wù)器定時對存檔的數(shù)據(jù)掃描，重復(fù)所述步驟四到步驟六的步驟。2.根據(jù)權(quán)利要求1所述的一種準實時用戶日志收集和處理方法，其特征在于，在步驟六中，所述用戶日志管理服務(wù)器的存儲空間中還存儲一些不需要顯示在所述用戶日志管理頁面中，但是后續(xù)分析需要的數(shù)據(jù)內(nèi)容。3.根據(jù)權(quán)利要求1或者2所述的一種準實時用戶日志收集和處理方法，其特征在于，步驟五中完成對數(shù)據(jù)的篩選后間隔8-12s循環(huán)進行步驟四。4.根據(jù)權(quán)利要求3所述的一種準實時用戶日志收集和處理方法，其特征在于，步驟五中所述篩選程序篩選方式包括:對用戶日志格式的篩選或?qū)I(yè)務(wù)內(nèi)容的篩選，其中所述對用戶日志格式的篩選包括:對應(yīng)不同的應(yīng)用、不同業(yè)務(wù)內(nèi)容對應(yīng)的不同格式。5.根據(jù)權(quán)利要求1所述的一種準實時用戶日志收集和處理方法，其特征在于，步驟二中對用戶日志進行標記，后續(xù)具有相同標記的用戶日志則無需存儲在數(shù)據(jù)庫中。
【專利摘要】本發(fā)明涉及一種準實時用戶日志收集和處理方法，包括以下步驟：用戶產(chǎn)生一個操作行為，操作行為觸發(fā)日志點；用戶日志在服務(wù)器中緩沖，服務(wù)器對用戶日志進行標記；服務(wù)器將標記后的用戶日志轉(zhuǎn)換成暫存文件，暫時存儲在服務(wù)器的暫存盤中；掃描程序?qū)λ鰰捍嫖募M行掃描；服務(wù)器對經(jīng)過掃描后的所述暫存文件進行分析和篩選，獲得有用的數(shù)據(jù)；服務(wù)器將篩選后有用的數(shù)據(jù)存儲到數(shù)據(jù)庫中，將暫時沒用的數(shù)據(jù)存檔；服務(wù)器定時對存檔的數(shù)據(jù)掃描，重復(fù)對用戶日志分析和篩選，選擇有用的數(shù)據(jù)存儲在數(shù)據(jù)庫中。本發(fā)明的用戶日志收集和處理方法，將獲得的用戶日志分析、緩存、篩選后再進行存儲，能夠更有效合理的利用存儲空間，減小了數(shù)據(jù)庫的壓力。
【IPC分類】G06F17/30
【公開號】CN105550265
【申請?zhí)枴緾N201510906748
【發(fā)明人】許偉剛
【申請人】蘇州天平先進數(shù)字科技有限公司
【公開日】2016年5月4日
【申請日】2015年12月9日