1.0ld文件，若是，則執(zhí)行步驟S305 ;若否，則執(zhí)行步驟S304:。
[0060]步驟S304:日志服務(wù)器創(chuàng)建一個(gè)空的舊文件，命名為GatewayServer__INFO_log.20120831.0ld 文件，轉(zhuǎn)步驟 S305。
[0061]步驟S305:使用 diff 命令將 GatewayServer_INFO_log.20120831.new 文件與GatewayServer_INFO_log.20120831.0ld文件進(jìn)行對(duì)比；提取新增內(nèi)容生成新比較文件GatewayServer_INFO_log.20120831.temp 文件。
[0062]步驟S306:米用新比較文件 GatewayServer_INFO_log.20120831.temp 替換在先的舊比較文件 GatewayServer_INFO_log.20120831.temp。
[0063]步驟S307:使用sed命令刪除由diff命令產(chǎn)生的相應(yīng)解釋信息，生成增量文件GatewayServer_INFO_log.20120831.final 文件。
[0064]步驟S308:采用所述新增量日志文件 GatewayServer_INFO_log.20120831.final替換在先的舊增量日志文件 GatewayServer_INFO_log.20120831.final ο
[0065]步驟S309:對(duì)增量文件 GatewayServer_INFO_log.20120831.final 文件進(jìn)行格式化并導(dǎo)入數(shù)據(jù)庫(kù)，例如，該文件的一行內(nèi)容為[20518] [1190676800] [0AA0000FE33C52012083100155221307] 2012083000:22:08.063INFOiUpdate TransLog Success，對(duì)應(yīng)的是進(jìn)程號(hào)、線程號(hào)、流水號(hào)、時(shí)間戳、級(jí)別、@分隔符、內(nèi)容、7列內(nèi)容，但是系統(tǒng)指令例如AWK(文本處理工具)等會(huì)認(rèn)為上述內(nèi)容為8列，因?yàn)橄到y(tǒng)對(duì)于以上內(nèi)容只能根據(jù)空格來(lái)判斷列數(shù)，但是在時(shí)間列的日期和時(shí)間之間存在一個(gè)空格，會(huì)認(rèn)為它是兩列，需要對(duì)這兩列進(jìn)行合并處理，形成一列。然后以出去分割符的6列內(nèi)容為數(shù)據(jù)庫(kù)的表字段，生成SQL (結(jié)構(gòu)化查詢語(yǔ)言)，插入日志數(shù)據(jù)庫(kù)，每讀一行，處理一次，直到讀完全部文件。
[0066]步驟S310:采用新的日志文件 GatewayServer_INFO_log.20120831.new 替換舊的日志文件 GatewayServer_INFO_log.20120831.0ld。
[0067]步驟S311:若在將增量日志文件寫(xiě)入日志數(shù)據(jù)庫(kù)中發(fā)生錯(cuò)誤，則將寫(xiě)入的日志數(shù)據(jù)進(jìn)行回滾。
[0068]需要說(shuō)明的是，對(duì)于方法實(shí)施例，為了簡(jiǎn)單描述，故將其都表述為一系列的動(dòng)作組合，但是本領(lǐng)域技術(shù)人員應(yīng)該知悉，本發(fā)明并不受所描述的動(dòng)作順序的限制，因?yàn)橐罁?jù)本發(fā)明，某些步驟可以采用其他順序或者同時(shí)進(jìn)行。其次，本領(lǐng)域技術(shù)人員也應(yīng)該知悉，說(shuō)明書(shū)中所描述的實(shí)施例均屬于優(yōu)選實(shí)施例，所涉及的動(dòng)作和模塊并不一定是本發(fā)明所必須的。
[0069]本發(fā)明所提供的系統(tǒng)日志數(shù)據(jù)傳輸裝置的一種【具體實(shí)施方式】的結(jié)構(gòu)框圖如圖3所示，包括:
[0070]抓取模塊100，用于從應(yīng)用服務(wù)器抓取日志數(shù)據(jù)；
[0071]生成模塊200，用于根據(jù)抓取的日志數(shù)據(jù)生成新日志文件；
[0072]提取模塊300，用于將所述新日志文件與日志數(shù)據(jù)庫(kù)中原有的日志文件進(jìn)行比較，提取新增的內(nèi)容作為增量日志文件；
[0073]寫(xiě)入模塊400，用于將所述增量日志文件寫(xiě)入日志數(shù)據(jù)庫(kù)中，并從所述應(yīng)用服務(wù)器中刪除已寫(xiě)入日志數(shù)據(jù)庫(kù)的日志數(shù)據(jù)。
[0074]本發(fā)明所提供的系統(tǒng)日志數(shù)據(jù)傳輸裝置，通過(guò)從應(yīng)用服務(wù)器中抓取日志數(shù)據(jù)，生成新日志文件；將新日志文件與日志數(shù)據(jù)庫(kù)中原有的日志文件進(jìn)行比較，提取出新增的內(nèi)容作為增量日志文件；將該增量日志文件寫(xiě)入日志數(shù)據(jù)庫(kù)中，并從應(yīng)用服務(wù)器中刪除已寫(xiě)入日志數(shù)據(jù)庫(kù)的日志數(shù)據(jù)?？梢?jiàn)，本發(fā)明所提供的系統(tǒng)日志數(shù)據(jù)傳輸裝置，能夠?qū)ψト〉降娜罩緮?shù)據(jù)進(jìn)行備份，在應(yīng)用服務(wù)器發(fā)生宕機(jī)，未及時(shí)發(fā)送出去的日志不會(huì)丟失。另外，本發(fā)明只在日志服務(wù)器建立了一套數(shù)據(jù)庫(kù)，節(jié)約了存儲(chǔ)的資源。
[0075]其中，上述提取模塊可以進(jìn)一步包括:
[0076]判斷單元，用于判斷所述日志數(shù)據(jù)庫(kù)中是否存在與所述新日志文件相對(duì)應(yīng)的舊日志文件；
[0077]提取單元，用于當(dāng)存在所述舊日志文件時(shí)，將所述新日志文件與舊日志文件進(jìn)行比較，提取新增的內(nèi)容作為增量日志文件；當(dāng)不存在所述舊日志文件時(shí)，創(chuàng)建一個(gè)空文件作為舊日志文件，提取所述新日志文件的內(nèi)容作為增量日志文件。
[0078]本發(fā)明所提供的系統(tǒng)日志數(shù)據(jù)傳輸裝置與上述方法相對(duì)應(yīng)，在此不再贅述。
[0079]本說(shuō)明書(shū)中各個(gè)實(shí)施例采用遞進(jìn)的方式描述，每個(gè)實(shí)施例重點(diǎn)說(shuō)明的都是與其它實(shí)施例的不同之處，各個(gè)實(shí)施例之間相同或相似部分互相參見(jiàn)即可。
[0080]對(duì)所公開(kāi)的實(shí)施例的上述說(shuō)明，使本領(lǐng)域?qū)I(yè)技術(shù)人員能夠?qū)崿F(xiàn)或使用本發(fā)明。對(duì)這些實(shí)施例的多種修改對(duì)本領(lǐng)域的專(zhuān)業(yè)技術(shù)人員來(lái)說(shuō)將是顯而易見(jiàn)的，本文中所定義的一般原理可以在不脫離本發(fā)明的精神或范圍的情況下，在其它實(shí)施例中實(shí)現(xiàn)。因此，本發(fā)明將不會(huì)被限制于本文所示的這些實(shí)施例，而是要符合與本文所公開(kāi)的原理和新穎特點(diǎn)相一致的最寬的范圍。
【主權(quán)項(xiàng)】
1.一種系統(tǒng)日志數(shù)據(jù)傳輸方法，其特征在于，包括: 從應(yīng)用服務(wù)器抓取日志數(shù)據(jù)； 根據(jù)抓取的日志數(shù)據(jù)生成新日志文件； 將所述新日志文件與日志數(shù)據(jù)庫(kù)中原有的日志文件進(jìn)行比較，提取新增的內(nèi)容作為增量日志文件； 將所述增量日志文件寫(xiě)入日志數(shù)據(jù)庫(kù)中，并從所述應(yīng)用服務(wù)器中刪除已寫(xiě)入日志數(shù)據(jù)庫(kù)的日志數(shù)據(jù)。2.如權(quán)利要求1所述的系統(tǒng)日志數(shù)據(jù)傳輸方法，其特征在于，所述從應(yīng)用服務(wù)器抓取日志數(shù)據(jù)包括: 根據(jù)預(yù)定時(shí)間間隔定時(shí)從應(yīng)用服務(wù)器抓取當(dāng)天的全量日志數(shù)據(jù)。3.如權(quán)利要求1所述的系統(tǒng)日志數(shù)據(jù)傳輸方法，其特征在于，所述將所述新日志文件與日志數(shù)據(jù)庫(kù)中原有的日志文件進(jìn)行比較，提取新增的內(nèi)容作為增量日志文件包括: 判斷所述日志數(shù)據(jù)庫(kù)中是否存在與所述新日志文件相對(duì)應(yīng)的舊日志文件； 當(dāng)存在所述舊日志文件時(shí)，將所述新日志文件與舊日志文件進(jìn)行比較，提取新增的內(nèi)容作為增量日志文件；當(dāng)不存在所述舊日志文件時(shí)，創(chuàng)建一個(gè)空文件作為舊日志文件，提取所述新日志文件的內(nèi)容作為增量日志文件。4.如權(quán)利要求3所述的系統(tǒng)日志數(shù)據(jù)傳輸方法，其特征在于，在將所述新日志文件與日志數(shù)據(jù)庫(kù)中原有的日志文件進(jìn)行比較，提取新增的內(nèi)容作為增量日志文件之后還包括: 判斷所述日志數(shù)據(jù)庫(kù)中是否存在與當(dāng)前增量日志文件相對(duì)應(yīng)的舊增量日志文件； 當(dāng)存在所述舊增量日志文件時(shí)，采用當(dāng)前增量日志文件替換所述舊增量日志文件。5.如權(quán)利要求1至4任一項(xiàng)所述的系統(tǒng)日志數(shù)據(jù)傳輸方法，其特征在于，所述將所述增量日志文件寫(xiě)入日志數(shù)據(jù)庫(kù)中包括: 當(dāng)增量日志文件寫(xiě)入所述日志數(shù)據(jù)庫(kù)時(shí)發(fā)生錯(cuò)誤，將寫(xiě)入的日志數(shù)據(jù)進(jìn)行回滾。6.一種系統(tǒng)日志數(shù)據(jù)傳輸裝置，其特征在于，包括: 抓取模塊，用于從應(yīng)用服務(wù)器抓取日志數(shù)據(jù)； 生成模塊，用于根據(jù)抓取的日志數(shù)據(jù)生成新日志文件； 提取模塊，用于將所述新日志文件與日志數(shù)據(jù)庫(kù)中原有的日志文件進(jìn)行比較，提取新增的內(nèi)容作為增量日志文件； 寫(xiě)入模塊，用于將所述增量日志文件寫(xiě)入日志數(shù)據(jù)庫(kù)中，并從所述應(yīng)用服務(wù)器中刪除已寫(xiě)入日志數(shù)據(jù)庫(kù)的日志數(shù)據(jù)。7.如權(quán)利要求6所述的系統(tǒng)日志數(shù)據(jù)傳輸裝置，其特征在于，所述抓取模塊用于從應(yīng)用服務(wù)器抓取日志數(shù)據(jù)包括: 所述抓取模塊具體用于根據(jù)預(yù)定時(shí)間間隔定時(shí)從應(yīng)用服務(wù)器抓取當(dāng)天的全量日志數(shù)據(jù)。8.如權(quán)利要求6所述的系統(tǒng)日志數(shù)據(jù)傳輸裝置，其特征在于，所述提取模塊包括: 判斷單元，用于判斷所述日志數(shù)據(jù)庫(kù)中是否存在與所述新日志文件相對(duì)應(yīng)的舊日志文件； 提取單元，用于當(dāng)存在所述舊日志文件時(shí)，將所述新日志文件與舊日志文件進(jìn)行比較，提取新增的內(nèi)容作為增量日志文件；當(dāng)不存在所述舊日志文件時(shí)，創(chuàng)建一個(gè)空文件作為舊日志文件，提取所述新日志文件的內(nèi)容作為增量日志文件。9.如權(quán)利要求8所述的系統(tǒng)日志數(shù)據(jù)傳輸裝置，其特征在于，還包括: 替換模塊，用于在將所述新日志文件與日志數(shù)據(jù)庫(kù)中原有的日志文件進(jìn)行比較，提取新增的內(nèi)容作為增量日志文件之后，判斷所述日志數(shù)據(jù)庫(kù)中是否存在與當(dāng)前增量日志文件相對(duì)應(yīng)的舊增量日志文件；當(dāng)存在所述舊增量日志文件時(shí)，采用當(dāng)前增量日志文件替換所述舊增量日志文件。10.如權(quán)利要求6至9任一項(xiàng)所述的系統(tǒng)日志數(shù)據(jù)傳輸裝置，其特征在于，所述寫(xiě)入模塊用于將所述增量日志文件寫(xiě)入日志數(shù)據(jù)庫(kù)中包括: 所述寫(xiě)入模塊具體用于當(dāng)增量日志文件寫(xiě)入所述日志數(shù)據(jù)庫(kù)時(shí)發(fā)生錯(cuò)誤，將寫(xiě)入的日志數(shù)據(jù)進(jìn)行回滾。
【專(zhuān)利摘要】本發(fā)明公開(kāi)了一種系統(tǒng)日志數(shù)據(jù)傳輸方法及裝置，該方法包括：從應(yīng)用服務(wù)器抓取日志數(shù)據(jù)；根據(jù)抓取的日志數(shù)據(jù)生成新日志文件；將所述新日志文件與日志數(shù)據(jù)庫(kù)中原有的日志文件進(jìn)行比較，提取新增的內(nèi)容作為增量日志文件；將所述增量日志文件寫(xiě)入日志數(shù)據(jù)庫(kù)中，并從所述應(yīng)用服務(wù)器中刪除已寫(xiě)入日志數(shù)據(jù)庫(kù)的日志數(shù)據(jù)。本發(fā)明所提供的系統(tǒng)日志數(shù)據(jù)傳輸方法及裝置，能夠?qū)ψト〉降娜罩緮?shù)據(jù)進(jìn)行備份，在應(yīng)用服務(wù)器發(fā)生宕機(jī)，未及時(shí)發(fā)送出去的日志不會(huì)丟失。另外，本發(fā)明只在日志服務(wù)器建立了一套數(shù)據(jù)庫(kù)，節(jié)約了存儲(chǔ)的資源。
【IPC分類(lèi)】H04L12/24, G06F17/30, G06F11/34
【公開(kāi)號(hào)】CN105159820
【申請(qǐng)?zhí)枴緾N201510561048
【發(fā)明人】張壯, 陳良華, 杜彥魁
【申請(qǐng)人】浪潮(北京)電子信息產(chǎn)業(yè)有限公司
【公開(kāi)日】2015年12月16日
【申請(qǐng)日】2015年9月6日