一種大數(shù)據(jù)量的日志記錄方法及裝置制造方法
【專利摘要】本發(fā)明涉及一種大數(shù)據(jù)量的日志記錄方法及裝置，包括以下步驟：客戶端向互聯(lián)網(wǎng)網(wǎng)站發(fā)送訪問請求，互聯(lián)網(wǎng)網(wǎng)站根據(jù)訪問請求訪問數(shù)據(jù)庫，得到響應(yīng)信息，并將響應(yīng)信息返回給客戶端；互聯(lián)網(wǎng)網(wǎng)站將訪問請求保存成訪問日志，并將訪問日志發(fā)送給日志模塊；日志模塊對訪問日志進行解析，并將解析后的訪問日志保存到日志文件中；在預(yù)定的時間段內(nèi)重復(fù)執(zhí)行步驟1至步驟3，分別將每次接收到訪問請求后得到的訪問日志保存到日志文件中；導(dǎo)入模塊將每個預(yù)定的時間段內(nèi)保存于日志模塊中的日志文件導(dǎo)入數(shù)據(jù)庫。本發(fā)明能夠大大地提高在大并發(fā)量大數(shù)據(jù)量的環(huán)境下日志處理的性能，降低了數(shù)據(jù)庫的壓力，減少了系統(tǒng)因日志產(chǎn)生的額外的性能消耗。
【專利說明】一種大數(shù)據(jù)量的日志記錄方法及裝置
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種日志記錄方法，特別涉及一種大數(shù)據(jù)量的日志記錄方法。
【背景技術(shù)】
[0002]隨著互聯(lián)網(wǎng)的發(fā)展，許多企事業(yè)單位都擁有自己的IT網(wǎng)站系統(tǒng)。然而在網(wǎng)站的運營過程中，運營分析是必不可少的。分析的過程必然依賴著原始記錄的日志，一旦大并發(fā)情況下，日志的處理將顯得尤為重要。采用傳統(tǒng)的過濾器攔截實時入庫的日志記錄方式必然會大量占用系統(tǒng)資源，影響系統(tǒng)業(yè)務(wù)的處理效率。而本發(fā)明就針對大并發(fā)時提供的高性能的記錄與查詢技術(shù)，最小程度地影響被監(jiān)控系統(tǒng)本身的性能。
[0003]存在問題:在處理小并發(fā)時，代碼的編寫和處理過程顯得過于繁瑣，因而顯得沒必要。

【發(fā)明內(nèi)容】

[0004]本發(fā)明所要解決的技術(shù)問題是提供一種能夠高效的處理大并發(fā)大數(shù)據(jù)量下的對日志進行記錄的大數(shù)據(jù)量的日志記錄方法及裝置。
[0005]本發(fā)明解決上述技術(shù)問題的技術(shù)方案如下:一種大數(shù)據(jù)量的日志記錄方法，包括以下步驟:
[0006]步驟1:客戶端向互聯(lián)網(wǎng)網(wǎng)站發(fā)送訪問請求，互聯(lián)網(wǎng)網(wǎng)站根據(jù)訪問請求訪問數(shù)據(jù)庫，得到響應(yīng)信息，并將響應(yīng)信息返回給客戶端；
[0007]步驟2:互聯(lián)網(wǎng)網(wǎng)站將訪問請求保存成訪問日志，并將訪問日志發(fā)送給日志模塊；
[0008]步驟3:日志模塊對訪問日志進行解析，并將解析后的訪問日志保存到日志文件中；
[0009]步驟4:在預(yù)定的時間段內(nèi)重復(fù)執(zhí)行步驟I至步驟3，分別將每次接收到訪問請求后得到的訪問日志保存到日志文件中；
[0010]步驟5:導(dǎo)入模塊將每個預(yù)定的時間段內(nèi)保存于日志模塊中的日志文件導(dǎo)入數(shù)據(jù)庫。
[0011]本發(fā)明的有益效果是:本發(fā)明能夠大大地提高在大并發(fā)量大數(shù)據(jù)量的環(huán)境下日志處理的性能，降低了數(shù)據(jù)庫的壓力，減少了系統(tǒng)因日志產(chǎn)生的額外的性能消耗。
[0012]在上述技術(shù)方案的基礎(chǔ)上，本發(fā)明還可以做如下改進。
[0013]進一步，所述步驟I和步驟2采用異步方式同時進行。
[0014]進一步，導(dǎo)入模塊具體為SQLLDR導(dǎo)入命令。
[0015]進一步，所述步驟4中預(yù)定的時間為I小時。
[0016]進一步，一種大數(shù)據(jù)量的日志記錄裝置，包括客戶端，互聯(lián)網(wǎng)網(wǎng)站，日志模塊，導(dǎo)入模塊和數(shù)據(jù)庫；
[0017]所述客戶端，用于向互聯(lián)網(wǎng)網(wǎng)站發(fā)送訪問請求，接收響應(yīng)信息；
[0018]所述互聯(lián)網(wǎng)網(wǎng)站，用于不斷接收訪問請求，根據(jù)訪問請求訪問數(shù)據(jù)庫，得到響應(yīng)信息，并將響應(yīng)信息返回給客戶端；將訪問請求保存成訪問日志，并將訪問日志發(fā)送給日志模塊；
[0019]所述日志模塊，用于不斷接收訪問日志，對訪問日志進行解析，并將在每個預(yù)定的時間段內(nèi)、每次解析后的訪問日志保存到日志模塊中的日志文件中；
[0020]所述導(dǎo)入模塊，用于將每個預(yù)定的時間段內(nèi)保存于日志模塊中的日志文件導(dǎo)入數(shù)據(jù)庫；
[0021 ] 所述數(shù)據(jù)庫，用于接收日志文件，并記錄日志文件。
[0022]進一步，互聯(lián)網(wǎng)網(wǎng)站采用異步方式同時執(zhí)行根據(jù)訪問請求訪問數(shù)據(jù)庫、得到響應(yīng)信息、并將響應(yīng)信息返回給客戶端和將訪問請求保存成訪問日志，并將訪問日志發(fā)送給日志模塊。
[0023]進一步，導(dǎo)入模塊具體為SQLLDR導(dǎo)入命令。
[0024]進一步，所述導(dǎo)入模塊中預(yù)定的時間為I小時。
【專利附圖】

【附圖說明】
[0025]圖1為本發(fā)明方法步驟流程圖；
[0026]圖2為本發(fā)明裝置結(jié)構(gòu)圖。
[0027]附圖中，各標號所代表的部件列表如下:
[0028]1、客戶端，2、互聯(lián)網(wǎng)網(wǎng)站，3、日志模塊，4、導(dǎo)入模塊，5、數(shù)據(jù)庫。
【具體實施方式】
[0029]以下結(jié)合附圖對本發(fā)明的原理和特征進行描述，所舉實例只用于解釋本發(fā)明，并非用于限定本發(fā)明的范圍。
[0030]如圖1所示，為本發(fā)明方法步驟流程圖，圖2為本發(fā)明裝置結(jié)構(gòu)圖。
[0031]實施例1
[0032]一種大數(shù)據(jù)量的日志記錄方法，包括以下步驟:
[0033]步驟1:客戶端I向互聯(lián)網(wǎng)網(wǎng)站2發(fā)送訪問請求，互聯(lián)網(wǎng)網(wǎng)站2根據(jù)訪問請求訪問數(shù)據(jù)庫5，得到響應(yīng)信息，并將響應(yīng)信息返回給客戶端I ;
[0034]步驟2:互聯(lián)網(wǎng)網(wǎng)站2將訪問請求保存成訪問日志，并將訪問日志發(fā)送給日志模塊
3；
[0035]步驟3:日志模塊3對訪問日志進行解析，并將解析后的訪問日志保存到日志文件中；
[0036]步驟4:在預(yù)定的時間段內(nèi)重復(fù)執(zhí)行步驟I至步驟3，分別將每次接收到訪問請求后得到的訪問日志保存到日志文件中；
[0037]步驟5:導(dǎo)入模塊4將每個預(yù)定的時間段內(nèi)保存于日志模塊中的日志文件導(dǎo)入數(shù)據(jù)庫5。
[0038]所述步驟I和步驟2采用異步方式同時進行。導(dǎo)入模塊4具體為SQLLDR導(dǎo)入命令。所述步驟4中預(yù)定的時間為I小時。
[0039]一種大數(shù)據(jù)量的日志記錄裝置，包括客戶端1，互聯(lián)網(wǎng)網(wǎng)站2，日志模塊3，導(dǎo)入模塊4和數(shù)據(jù)庫5 ；[0040]所述客戶端1，用于向互聯(lián)網(wǎng)網(wǎng)站2發(fā)送訪問請求，接收響應(yīng)信息，
[0041]所述互聯(lián)網(wǎng)網(wǎng)站2，用于不斷接收訪問請求，根據(jù)訪問請求訪問數(shù)據(jù)庫5，得到響應(yīng)信息，并將響應(yīng)信息返回給客戶端I ;將訪問請求保存成訪問日志，并將訪問日志發(fā)送給日志模塊3 ；
[0042]所述日志模塊3，用于不斷接收訪問日志，對訪問日志進行解析，并將在每個預(yù)定的時間段內(nèi)、每次解析后的訪問日志保存到日志模塊3中的日志文件中；
[0043]所述導(dǎo)入模塊4，用于將每個預(yù)定的時間段內(nèi)保存于日志模塊3中的日志文件導(dǎo)入數(shù)據(jù)庫5 ；
[0044]所述數(shù)據(jù)庫5，用于接收日志文件，并記錄日志文件。
[0045]互聯(lián)網(wǎng)網(wǎng)站2采用異步方式同時執(zhí)行根據(jù)訪問請求訪問數(shù)據(jù)庫5、得到響應(yīng)信息、并將響應(yīng)信息返回給客戶端I和將訪問請求保存成訪問日志，并將訪問日志發(fā)送給日志模塊3。
[0046]導(dǎo)入模塊4具體為SQLLDR導(dǎo)入命令。所述導(dǎo)入模塊4中預(yù)定的時間為I小時。
[0047]以上所述僅為本發(fā)明的較佳實施例，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進等，均應(yīng)包含在本發(fā)明的保護范圍之內(nèi)。
【權(quán)利要求】
1.一種大數(shù)據(jù)量的日志記錄方法，其特征在于，包括以下步驟: 步驟1:客戶端(I)向互聯(lián)網(wǎng)網(wǎng)站(2)發(fā)送訪問請求，互聯(lián)網(wǎng)網(wǎng)站(2)根據(jù)訪問請求訪問數(shù)據(jù)庫(5)，得到響應(yīng)信息，并將響應(yīng)信息返回給客戶端(I)； 步驟2:互聯(lián)網(wǎng)網(wǎng)站(2)將訪問請求保存成訪問日志，并將訪問日志發(fā)送給日志模塊(3)； 步驟3:日志模塊(3)對訪問日志進行解析，并將解析后的訪問日志保存到日志文件中； 步驟4:在預(yù)定的時間段內(nèi)重復(fù)執(zhí)行步驟I至步驟3，分別將每次接收到訪問請求后得到的訪問日志保存到日志文件中； 步驟5:導(dǎo)入模塊(4)將每個預(yù)定的時間段內(nèi)保存于日志模塊中的日志文件導(dǎo)入數(shù)據(jù)庫(5)。
2.根據(jù)權(quán)利要求1所述的日志記錄與查詢方法，其特征在于:所述步驟I和步驟2采用異步方式同時進行。
3.根據(jù)權(quán)利要求2所述的日志記錄與查詢方法，其特征在于:導(dǎo)入模塊(4)具體為SQLLDR導(dǎo)入命令。
4.根據(jù)權(quán)利要求3所述的日志記錄與查詢方法，其特征在于:所述步驟4中預(yù)定的時間為I小時。
5.一種大數(shù)據(jù)量的日志記錄裝置，其特征在于:包括客戶端(1)，互聯(lián)網(wǎng)網(wǎng)站(2)，日志模塊(3)，導(dǎo)入模塊(4)和數(shù)據(jù)庫(5); 所述客戶端(1)，用于向互聯(lián)網(wǎng)網(wǎng)站(2)發(fā)送訪問請求，接收響應(yīng)信息， 所述互聯(lián)網(wǎng)網(wǎng)站(2)，用于不斷接收訪問請求，根據(jù)訪問請求訪問數(shù)據(jù)庫(5)，得到響應(yīng)信息，并將響應(yīng)信息返回給客戶端(I);將訪問請求保存成訪問日志，并將訪問日志發(fā)送給日志模塊(3)； 所述日志模塊(3 )，用于不斷接收訪問日志，對訪問日志進行解析，并將在每個預(yù)定的時間段內(nèi)、每次解析后的訪問日志保存到日志模塊(3)中的日志文件中； 所述導(dǎo)入模塊(4)，用于將每個預(yù)定的時間段內(nèi)保存于日志模塊(3)中的日志文件導(dǎo)入數(shù)據(jù)庫(5)； 所述數(shù)據(jù)庫(5)，用于接收日志文件，并記錄日志文件。
6.根據(jù)權(quán)利要求5所述的大數(shù)據(jù)量的日志記錄裝置，其特征在于:互聯(lián)網(wǎng)網(wǎng)站(2)采用異步方式同時執(zhí)行根據(jù)訪問請求訪問數(shù)據(jù)庫(5)、得到響應(yīng)信息、并將響應(yīng)信息返回給客戶端(I)和將訪問請求保存成訪問日志,并將訪問日志發(fā)送給日志模塊(3 )。
7.根據(jù)權(quán)利要求2所述的日志記錄與查詢方法，其特征在于:導(dǎo)入模塊(4)具體為SQLLDR導(dǎo)入命令。
8.根據(jù)權(quán)利要求3所述的日志記錄與查詢方法，其特征在于:所述導(dǎo)入模塊(4)中預(yù)定的時間為I小時。
【文檔編號】H04L12/24GK103475519SQ201310407729
【公開日】2013年12月25日 申請日期:2013年9月9日 優(yōu)先權(quán)日:2013年9月9日
【發(fā)明者】陸洋智 申請人:北京思特奇信息技術(shù)股份有限公司