一種基于文件列表比對(duì)機(jī)制的移動(dòng)網(wǎng)管數(shù)據(jù)文件采集方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及移動(dòng)通信網(wǎng)絡(luò)管理的數(shù)據(jù)文件采集領(lǐng)域，特別涉及一種基于文件列表比對(duì)機(jī)制的移動(dòng)網(wǎng)管數(shù)據(jù)文件采集方法。
【背景技術(shù)】
[0002]在移動(dòng)通信的網(wǎng)絡(luò)管理中，一個(gè)非常重要的環(huán)節(jié)就是從移動(dòng)通信的網(wǎng)絡(luò)設(shè)備上定時(shí)采集數(shù)據(jù)文件，以此作為網(wǎng)絡(luò)管理的基礎(chǔ)數(shù)據(jù)。
[0003]一般來說，網(wǎng)絡(luò)設(shè)備生成文件的周期和時(shí)延是固定的，比如網(wǎng)絡(luò)設(shè)備一般每15分鐘會(huì)生成一批文件，耗時(shí)約5分鐘左右時(shí)間即可生成完成。因此，網(wǎng)管系統(tǒng)在網(wǎng)絡(luò)設(shè)備生成文件之后再延遲若干分鐘即可通過FTP協(xié)議下載本周期生成的文件，例如網(wǎng)管系在文件生成后再延遲5分鐘啟動(dòng)本周期的文件采集。正常情況下遵循該時(shí)延限制可完整的采集到網(wǎng)絡(luò)設(shè)備生成的本周期的所有文件。
[0004]但是，由于網(wǎng)絡(luò)設(shè)備負(fù)荷過高、程序出錯(cuò)等各種異常原因，會(huì)導(dǎo)致設(shè)備側(cè)無法按時(shí)生成文件，文件生成完成的時(shí)延變長，且該時(shí)延具體有多長不可預(yù)知，從幾分鐘到幾小時(shí)不等。鑒于以上原因，網(wǎng)管系統(tǒng)基于時(shí)延周期性采集網(wǎng)絡(luò)設(shè)備文件的方法，經(jīng)常會(huì)在設(shè)備側(cè)文件還沒有完全生成完的時(shí)候就進(jìn)行了采集，因此產(chǎn)生了文件漏采的問題，導(dǎo)致網(wǎng)管系統(tǒng)數(shù)據(jù)缺失，對(duì)網(wǎng)絡(luò)管理工作造成很大影響。

【發(fā)明內(nèi)容】

[0005]為了解決現(xiàn)有技術(shù)的問題，本發(fā)明提供了一種基于文件列表比對(duì)機(jī)制的移動(dòng)網(wǎng)管數(shù)據(jù)文件采集方法，避免了由于網(wǎng)絡(luò)設(shè)備文件生成延遲導(dǎo)致網(wǎng)管系統(tǒng)漏采文件的情況發(fā)生，進(jìn)一步保證了網(wǎng)管系統(tǒng)的數(shù)據(jù)完整性，提升網(wǎng)管系統(tǒng)的可用性。
[0006]本發(fā)明所采用的技術(shù)方案如下:
一種基于文件列表比對(duì)機(jī)制的移動(dòng)網(wǎng)管數(shù)據(jù)文件采集方法，是采用不間斷輪詢的方式獲取網(wǎng)絡(luò)設(shè)備上的文件列表，同時(shí)本地記錄一份已下載的文件列表和下載出錯(cuò)的文件列表，一旦發(fā)現(xiàn)網(wǎng)絡(luò)設(shè)備上有新的文件生成且在本地已下載的文件列表和下載出錯(cuò)的文件列表中均沒有該文件，即可對(duì)該文件進(jìn)行下載。
[0007]方法具體包括以下步驟:
A、連接FTP服務(wù)器并切換到指定目錄下；
B、上傳一個(gè)空文件至該目錄，緊接著在再從FTP服務(wù)器上獲取剛上傳的文件的最后修改時(shí)間，以此作為FTP服務(wù)器的當(dāng)前時(shí)間；
C、列出該目錄下所有的文件及文件夾，針對(duì)每一個(gè)文件或文件夾，進(jìn)入下一步判斷；
D、判斷如果是文件，則進(jìn)入步驟E，如果是文件夾則返回步驟C遞歸執(zhí)行；
E、如果文件同時(shí)滿足以下條件則下載該文件，否則轉(zhuǎn)到步驟J處理下一個(gè)文件:
條件1:該文件名是符合預(yù)先設(shè)置的下載過濾條件；
條件2:該文件最后修改時(shí)間與ftp服務(wù)器系統(tǒng)當(dāng)前時(shí)間差符合預(yù)先設(shè)置的條件； 條件3 已下載文件列表”及“下載出錯(cuò)文件列表”中均未包含該文件，表明文件未被下載過；
F、如果該文件下載嘗試次數(shù)少于3次，則進(jìn)入步驟G，否則將該文件記入“下載出錯(cuò)文件列表”并轉(zhuǎn)入步驟J處理下一個(gè)文件；
G、下載前將本地文件命名為:FTP文件原名+.tmp后綴，然后下載該文件；
H、如果下載到本地的文件大小與FTP服務(wù)器上文件大小相同，則表示文件下載成功，可進(jìn)入下一步，否則將文件下載嘗試次數(shù)加I并返回步驟E ;
1、文件下載成功，將下載完成后文件改回原名，同時(shí)將該文件記入“已下載文件列表”; J、如果還有待下載的文件，則返回步驟D，否則進(jìn)入下一步；
K、斷開FTP連接，程序休眠30秒，之后重新返回步驟A輪詢執(zhí)行該方法。
[0008]條件2具體是:該文件最后修改時(shí)間一ftp服務(wù)器系統(tǒng)當(dāng)前時(shí)間>20秒鐘。
[0009]本發(fā)明采用不間斷輪詢的方式獲取網(wǎng)絡(luò)設(shè)備上的文件列表，同時(shí)本地記錄一份已下載的文件列表和下載出錯(cuò)的文件列表，一旦發(fā)現(xiàn)網(wǎng)絡(luò)設(shè)備上有新的文件生成且在本地已下載的文件列表和下載出錯(cuò)的文件列表中均沒有該文件，即可對(duì)該文件進(jìn)行下載。以此保證只要網(wǎng)絡(luò)設(shè)備上有新的文件生成，不論它是屬于哪一個(gè)時(shí)間周期的，只要未被下載過都能夠被下載下來，從而避免了由于網(wǎng)絡(luò)設(shè)備文件生成延遲導(dǎo)致網(wǎng)管系統(tǒng)漏采文件的情況發(fā)生，進(jìn)一步保證了網(wǎng)管系統(tǒng)的數(shù)據(jù)完整性，提升網(wǎng)管系統(tǒng)的可用性。
[0010]本發(fā)明提供的技術(shù)方案帶來的有益效果是:
通過基于文件列表比對(duì)機(jī)制的通信網(wǎng)管數(shù)據(jù)文件采集方法，實(shí)現(xiàn)了網(wǎng)管系統(tǒng)中數(shù)據(jù)文件采集完整性的提升，文件采集完整性從原來的85%提升到了 100%，進(jìn)一步保證了網(wǎng)管系統(tǒng)中的數(shù)據(jù)完整性和系統(tǒng)的可用性。
【附圖說明】
[0011]為了更清楚地說明本發(fā)明實(shí)施例中的技術(shù)方案，下面將對(duì)實(shí)施例描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖獲得其他的附圖。
[0012]圖1為本發(fā)明的一種基于文件列表比對(duì)機(jī)制的移動(dòng)網(wǎng)管數(shù)據(jù)文件采集方法的方法流程圖。
【具體實(shí)施方式】
[0013]為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合附圖對(duì)本發(fā)明實(shí)施方式作進(jìn)一步地詳細(xì)描述。
[0014]實(shí)施例一
如附圖1所示，本發(fā)明的一種基于文件列表比對(duì)機(jī)制的移動(dòng)網(wǎng)管數(shù)據(jù)文件采集方法包括以下步驟:
第I步:連接FTP服務(wù)器并切換到指定目錄下。
[0015]第2步:上傳一個(gè)空文件CheckTme.txt至該目錄，緊接著在再從FTP服務(wù)器上獲取剛上傳的CheckTme.txt文件的最后修改時(shí)間，以此作為FTP服務(wù)器的當(dāng)前時(shí)間。
[0016]第3步:列出該目錄下所有的文件及文件夾，針對(duì)每一個(gè)文件或文件夾，進(jìn)入下一步。
[0017]第4步:如果是文件則進(jìn)入下一步，如果是文件夾則返回第3步遞歸執(zhí)行。
[0018]第5步:如果文件同時(shí)滿足以下條件則下載該文件，否則轉(zhuǎn)到第10步處理下一個(gè)文件:
條件1:該文件名是符合預(yù)先設(shè)置的下載過濾條件；
條件2:該文件最后修改時(shí)間-ftp服務(wù)器系統(tǒng)當(dāng)前時(shí)間>20秒鐘，表明文件已超過20秒未被改動(dòng)，防止文件在寫入的過程中被下載；
條件3 已下載文件列表”及“下載出錯(cuò)文件列表”中均未包含該文件，表明文件未被下載過。
[0019]第6步:如果該文件下載嘗試次數(shù)少于3次，則進(jìn)入下一步，否則將該文件記入“下載出錯(cuò)文件列表”并轉(zhuǎn)入第10步處理下一個(gè)文件。
[0020]第7步:下載前將本地文件命名為:FTP文件原名+.tmp后綴，然后下載該文件。
[0021]第8步:如果下載到本地的文件大小與FTP服務(wù)器上文件大小相同，則表示文件下載成功可進(jìn)入下一步，否則將文件下載嘗試次數(shù)加I并返回地5步。
[0022]第9步:文件下載成功，將下載完成后文件改回原名，同時(shí)將該文件記入“已下載文件列表”。
[0023]第10步:如果還有待下載的文件，則返回第4步，否則進(jìn)入下一步。
[0024]第11步:斷開FTP連接，程序休眠30秒，之后重新返回第一步輪詢執(zhí)行該方法。
[0025]以上所述僅為本發(fā)明的較佳實(shí)施例，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。
【主權(quán)項(xiàng)】
1.一種基于文件列表比對(duì)機(jī)制的移動(dòng)網(wǎng)管數(shù)據(jù)文件采集方法，是采用不間斷輪詢的方式獲取網(wǎng)絡(luò)設(shè)備上的文件列表，同時(shí)本地記錄一份已下載的文件列表和下載出錯(cuò)的文件列表，一旦發(fā)現(xiàn)網(wǎng)絡(luò)設(shè)備上有新的文件生成且在本地已下載的文件列表和下載出錯(cuò)的文件列表中均沒有該文件，即可對(duì)該文件進(jìn)行下載。
2.根據(jù)權(quán)利要求1所述的一種基于文件列表比對(duì)機(jī)制的移動(dòng)網(wǎng)管數(shù)據(jù)文件采集方法，其特征在于，所述的方法具體包括以下步驟: A、連接FTP服務(wù)器并切換到指定目錄下； B、上傳一個(gè)空文件至該目錄，緊接著在再從FTP服務(wù)器上獲取剛上傳的文件的最后修改時(shí)間，以此作為FTP服務(wù)器的當(dāng)前時(shí)間； C、列出該目錄下所有的文件及文件夾，針對(duì)每一個(gè)文件或文件夾，進(jìn)入下一步判斷； D、判斷如果是文件，則進(jìn)入步驟E，如果是文件夾則返回步驟C遞歸執(zhí)行； E、如果文件同時(shí)滿足以下條件則下載該文件，否則轉(zhuǎn)到步驟J處理下一個(gè)文件: 條件1:該文件名是符合預(yù)先設(shè)置的下載過濾條件； 條件2:該文件最后修改時(shí)間與ftp服務(wù)器系統(tǒng)當(dāng)前時(shí)間差符合預(yù)先設(shè)置的條件； 條件3 已下載文件列表”及“下載出錯(cuò)文件列表”中均未包含該文件，表明文件未被下載過； F、如果該文件下載嘗試次數(shù)少于3次，則進(jìn)入步驟G，否則將該文件記入“下載出錯(cuò)文件列表”并轉(zhuǎn)入步驟J處理下一個(gè)文件； G、下載前將本地文件命名為:FTP文件原名+.tmp后綴，然后下載該文件； H、如果下載到本地的文件大小與FTP服務(wù)器上文件大小相同，則表示文件下載成功，可進(jìn)入下一步，否則將文件下載嘗試次數(shù)加I并返回步驟E ; 1、文件下載成功，將下載完成后文件改回原名，同時(shí)將該文件記入“已下載文件列表”; J、如果還有待下載的文件，則返回步驟D，否則進(jìn)入下一步； K、斷開FTP連接，程序休眠30秒，之后重新返回步驟A輪詢執(zhí)行該方法。
3.根據(jù)權(quán)利要求2所述的一種基于文件列表比對(duì)機(jī)制的移動(dòng)網(wǎng)管數(shù)據(jù)文件采集方法，其特征在于，所述的條件2具體是:該文件最后修改時(shí)間一ftp服務(wù)器系統(tǒng)當(dāng)前時(shí)間>20秒鐘。
【專利摘要】本發(fā)明涉及移動(dòng)通信網(wǎng)絡(luò)管理的數(shù)據(jù)文件采集領(lǐng)域，特別涉及一種基于文件列表比對(duì)機(jī)制的移動(dòng)網(wǎng)管數(shù)據(jù)文件采集方法。本發(fā)明采用不間斷輪詢的方式獲取網(wǎng)絡(luò)設(shè)備上的文件列表，同時(shí)本地記錄一份已下載的文件列表和下載出錯(cuò)的文件列表，一旦發(fā)現(xiàn)網(wǎng)絡(luò)設(shè)備上有新的文件生成且在本地已下載的文件列表和下載出錯(cuò)的文件列表中均沒有該文件，即可對(duì)該文件進(jìn)行下載。以此保證只要網(wǎng)絡(luò)設(shè)備上有新的文件生成，不論它是屬于哪一個(gè)時(shí)間周期的，只要未被下載過都能夠被下載下來，從而避免了由于網(wǎng)絡(luò)設(shè)備文件生成延遲導(dǎo)致網(wǎng)管系統(tǒng)漏采文件的情況發(fā)生，進(jìn)一步保證了網(wǎng)管系統(tǒng)的數(shù)據(jù)完整性，提升網(wǎng)管系統(tǒng)的可用性。
【IPC分類】H04W24-02
【公開號(hào)】CN104768174
【申請?zhí)枴緾N201510142496
【發(fā)明人】武玉剛
【申請人】浪潮通信信息系統(tǒng)有限公司
【公開日】2015年7月8日
【申請日】2015年3月30日