專(zhuān)利名稱(chēng)：一種數(shù)據(jù)快速入庫(kù)方法
技術(shù)領(lǐng)域：
本發(fā)明涉及網(wǎng)絡(luò)管理技術(shù)，具體地說(shuō)，是涉及在復(fù)雜的多層網(wǎng)絡(luò)管理系統(tǒng)中，對(duì)大量、異地、分散的節(jié)點(diǎn)數(shù)據(jù)進(jìn)行處理的方法。
背景技術(shù)：
隨著科學(xué)技術(shù)的發(fā)展，人們生活水平的提高，電信運(yùn)營(yíng)商的業(yè)務(wù)量越來(lái)越大。相應(yīng)地，業(yè)務(wù)數(shù)據(jù)量越來(lái)越大；隨著集中網(wǎng)管的地位、作用的提升，集中網(wǎng)管的需求越來(lái)越多、細(xì)致，相應(yīng)地要求更多的原始數(shù)據(jù)，以此來(lái)分析、預(yù)測(cè)網(wǎng)管系統(tǒng)的性能。
由于集中網(wǎng)管和各節(jié)點(diǎn)存在地域上的差異，各節(jié)點(diǎn)之間也存在地域上的差異；同時(shí)各節(jié)點(diǎn)的業(yè)務(wù)不斷增大，節(jié)點(diǎn)也不斷增多；各節(jié)點(diǎn)不斷產(chǎn)生新的數(shù)據(jù)，這就要求在單位時(shí)間內(nèi)要將這些大量的、分散的、異地?cái)?shù)據(jù)快速錄入省級(jí)網(wǎng)管的數(shù)據(jù)庫(kù)中。
在現(xiàn)行技術(shù)中，業(yè)界采用共用數(shù)據(jù)庫(kù)，沒(méi)有大量、異地、分散數(shù)據(jù)轉(zhuǎn)移的需求。在實(shí)際情況中，輸送數(shù)據(jù)時(shí)占用較大的網(wǎng)絡(luò)帶寬，同時(shí)單位時(shí)間內(nèi)處理的數(shù)據(jù)量有限，在單位時(shí)間內(nèi)不能滿(mǎn)足數(shù)據(jù)量越來(lái)越大的需求；另一方面，各種數(shù)據(jù)庫(kù)均有大數(shù)據(jù)量入庫(kù)成熟技術(shù)，但前提是，這些大量數(shù)據(jù)必須在本地，且已準(zhǔn)備好的。
因此，如何提供一種對(duì)大量、異地、分散數(shù)據(jù)的處理方法，成為亟待解決的問(wèn)題。

發(fā)明內(nèi)容
本發(fā)明所要解決的技術(shù)問(wèn)題是提供一種數(shù)據(jù)快速入庫(kù)方法，來(lái)實(shí)現(xiàn)在單位時(shí)間內(nèi)將分散在各異地節(jié)點(diǎn)的大量數(shù)據(jù)快速入庫(kù)，滿(mǎn)足不斷擴(kuò)大的業(yè)務(wù)需求和集中管理的需求。
為解決上述技術(shù)問(wèn)題，本發(fā)明提供方案如下一種數(shù)據(jù)快速入庫(kù)方法，用于多層網(wǎng)管系統(tǒng)中各級(jí)后臺(tái)計(jì)算機(jī)系統(tǒng)間的交互，及后臺(tái)網(wǎng)管系統(tǒng)內(nèi)部的交互，包括如下步驟下級(jí)節(jié)點(diǎn)收到數(shù)據(jù)包，將數(shù)據(jù)包處理成數(shù)據(jù)文件形式并保存，并將數(shù)據(jù)文件路徑保存至下級(jí)節(jié)點(diǎn)中的數(shù)據(jù)隊(duì)列中；下級(jí)節(jié)點(diǎn)中的數(shù)據(jù)處理線(xiàn)程根據(jù)下級(jí)節(jié)點(diǎn)中數(shù)據(jù)隊(duì)列中保存的數(shù)據(jù)文件路徑，采用數(shù)據(jù)庫(kù)批處理技術(shù)將數(shù)據(jù)文件批量導(dǎo)入下級(jí)節(jié)點(diǎn)中的數(shù)據(jù)庫(kù)中；下級(jí)節(jié)點(diǎn)將下級(jí)節(jié)點(diǎn)需要上報(bào)的數(shù)據(jù)文件壓縮成數(shù)據(jù)壓縮包，并上傳至上級(jí)節(jié)點(diǎn)；上級(jí)節(jié)點(diǎn)收到數(shù)據(jù)壓縮包后將數(shù)據(jù)壓縮包進(jìn)行解壓縮，將解壓縮后的數(shù)據(jù)文件進(jìn)行保存，并將數(shù)據(jù)文件路徑保存至上級(jí)節(jié)點(diǎn)中的數(shù)據(jù)隊(duì)列中；上級(jí)節(jié)點(diǎn)中的數(shù)據(jù)處理線(xiàn)程根據(jù)上級(jí)節(jié)點(diǎn)中數(shù)據(jù)隊(duì)列中保存的數(shù)據(jù)文件路徑，采用數(shù)據(jù)庫(kù)批處理技術(shù)將數(shù)據(jù)文件批量導(dǎo)入上級(jí)節(jié)點(diǎn)中的數(shù)據(jù)庫(kù)中。
本發(fā)明所述的方法，通過(guò)采用數(shù)據(jù)庫(kù)批處理技術(shù)處理數(shù)據(jù)，提高了數(shù)據(jù)處理效率；通過(guò)采用壓縮文件進(jìn)行數(shù)據(jù)傳輸，減小了網(wǎng)絡(luò)負(fù)載壓力；通過(guò)在下級(jí)采用存儲(chǔ)過(guò)程入庫(kù)的容錯(cuò)處理，來(lái)去除重復(fù)數(shù)據(jù)，保證了上傳數(shù)據(jù)的唯一性，減少重復(fù)數(shù)據(jù)對(duì)上級(jí)網(wǎng)管的沖擊；本發(fā)明大大提高了上級(jí)節(jié)點(diǎn)在單位時(shí)間內(nèi)處理數(shù)據(jù)的能力，極大限度的滿(mǎn)足了擴(kuò)張、集中管理的需要，減少了對(duì)網(wǎng)絡(luò)帶寬的壓力。
本發(fā)明所要解決的技術(shù)問(wèn)題、技術(shù)方案要點(diǎn)及有益效果，將結(jié)合實(shí)施例，參照附圖作進(jìn)一步的說(shuō)明。


圖1為本發(fā)明實(shí)施例所述多級(jí)網(wǎng)絡(luò)混合組網(wǎng)結(jié)構(gòu)示意圖；
圖2為本發(fā)明實(shí)施例所述多級(jí)網(wǎng)管系統(tǒng)數(shù)據(jù)流向示意圖；圖3為本發(fā)明實(shí)施例所述前臺(tái)數(shù)據(jù)上傳到后臺(tái)OMM主題示意圖；圖4為本發(fā)明實(shí)施例所述下級(jí)節(jié)點(diǎn)中保存數(shù)據(jù)文件及數(shù)據(jù)文件路徑保存示意圖；圖5為本發(fā)明實(shí)施例所述下級(jí)后臺(tái)數(shù)據(jù)批處理入庫(kù)流程圖；圖6為本發(fā)明實(shí)施例所述下級(jí)后臺(tái)數(shù)據(jù)存儲(chǔ)過(guò)程入庫(kù)流程圖；圖7為本發(fā)明實(shí)施例所述下級(jí)后臺(tái)數(shù)據(jù)主報(bào)處理流程圖；圖8為本發(fā)明實(shí)施例所述上級(jí)后臺(tái)數(shù)據(jù)主報(bào)處理流程圖；圖9為本發(fā)明實(shí)施例所述上級(jí)后臺(tái)數(shù)據(jù)批處理入庫(kù)流程圖。
具體實(shí)施例方式
本發(fā)明所述方法，用于多層網(wǎng)管系統(tǒng)(單級(jí)、二級(jí)、三級(jí)網(wǎng)管系統(tǒng)等)中各級(jí)后臺(tái)計(jì)算機(jī)系統(tǒng)間的交互，及后臺(tái)網(wǎng)管系統(tǒng)內(nèi)部的交互。
如圖1所示，本發(fā)明所述方法可用于由操作維護(hù)模塊(OMM)、本地操作維護(hù)中心(LOMC)及省級(jí)操作維護(hù)中心(POMC)組成的混合網(wǎng)絡(luò)中，來(lái)實(shí)現(xiàn)對(duì)大量、異地、分散數(shù)據(jù)的快速入庫(kù)處理。
參照?qǐng)D2，來(lái)對(duì)本發(fā)明所述方法作進(jìn)一步說(shuō)明。
在實(shí)際組網(wǎng)中，OMM的數(shù)據(jù)可以上報(bào)到LOMC的數(shù)據(jù)庫(kù)中，也可以直接上報(bào)到POMC的數(shù)據(jù)庫(kù)中。
首先，操作維護(hù)模塊中的網(wǎng)元通信功能子模塊(EMF)接收前臺(tái)定期構(gòu)造并上傳的數(shù)據(jù)包，將數(shù)據(jù)包解析、轉(zhuǎn)換成數(shù)據(jù)對(duì)象并發(fā)送到一個(gè)主題(J2EE體系中的Jboss主題)上；然后，操作維護(hù)模塊中的公共應(yīng)用功能子模塊(CAF)采用監(jiān)聽(tīng)主題的方法從主題上接收數(shù)據(jù)對(duì)象，并將數(shù)據(jù)文件路徑保存至操作維護(hù)模塊中的數(shù)據(jù)隊(duì)列中；此處，采用監(jiān)聽(tīng)主題的方式接收數(shù)據(jù)，無(wú)論網(wǎng)元通信功能子模塊何時(shí)發(fā)送數(shù)據(jù)對(duì)象至主題，公共應(yīng)用功能子模塊都將能及時(shí)從主題上接收數(shù)據(jù)對(duì)象，因此可以支持前臺(tái)多次數(shù)據(jù)上報(bào)；操作維護(hù)模塊中的操作維護(hù)模塊數(shù)據(jù)處理線(xiàn)程根據(jù)操作維護(hù)模塊中數(shù)據(jù)隊(duì)列中保存的數(shù)據(jù)文件路徑，采用數(shù)據(jù)庫(kù)批處理技術(shù)將數(shù)據(jù)文件批量導(dǎo)入操作維護(hù)模塊數(shù)據(jù)庫(kù)中；操作維護(hù)模塊根據(jù)操作維護(hù)模塊中的主報(bào)定時(shí)器計(jì)時(shí)到，將需要上報(bào)的數(shù)據(jù)文件進(jìn)行壓縮，并向LOMC或POMC上傳數(shù)據(jù)壓縮包；此處，OMM主報(bào)定時(shí)器是根據(jù)前臺(tái)上報(bào)數(shù)據(jù)包的時(shí)間點(diǎn)及上報(bào)數(shù)據(jù)包的持續(xù)時(shí)間來(lái)設(shè)定定時(shí)時(shí)間的；OMM上的數(shù)據(jù)如果是上報(bào)到LOMC中的數(shù)據(jù)庫(kù)中，則當(dāng)本地操作維護(hù)中心中的主報(bào)定時(shí)器到，對(duì)從操作維護(hù)模塊收到的數(shù)據(jù)壓縮包進(jìn)行解壓縮處理，根據(jù)不同的數(shù)據(jù)文件對(duì)象將解壓縮后的數(shù)據(jù)文件進(jìn)行合并，根據(jù)數(shù)據(jù)文件的兼容性對(duì)數(shù)據(jù)文件作兼容處理并保存(由于LOMC一般需要處理多個(gè)OMM的數(shù)據(jù)，各OMM可能是不同版本，因此需要作兼容處理)，并將數(shù)據(jù)文件路徑保存至本地操作維護(hù)中心中的數(shù)據(jù)隊(duì)列中；此處，LOMC主報(bào)定時(shí)器是根據(jù)操作維護(hù)模塊中主報(bào)定時(shí)器時(shí)間、操作維護(hù)模塊的壓縮數(shù)據(jù)時(shí)間和上傳數(shù)據(jù)包時(shí)間來(lái)設(shè)定定時(shí)時(shí)間的；然后，LOMC中的LOMC數(shù)據(jù)處理線(xiàn)程根據(jù)LOMC中數(shù)據(jù)隊(duì)列中保存的數(shù)據(jù)文件路徑，采用數(shù)據(jù)庫(kù)批處理技術(shù)將數(shù)據(jù)文件批量導(dǎo)入LOMC數(shù)據(jù)庫(kù)中。
OMM上的數(shù)據(jù)如果是直接上報(bào)到POMC中的數(shù)據(jù)庫(kù)中，則當(dāng)省級(jí)操作維護(hù)中心中的主報(bào)定時(shí)器到，對(duì)從操作維護(hù)模塊收到的數(shù)據(jù)壓縮包進(jìn)行解壓縮處理，根據(jù)不同的數(shù)據(jù)文件對(duì)象將解壓縮后的數(shù)據(jù)文件進(jìn)行合并，根據(jù)數(shù)據(jù)文件的兼容性對(duì)數(shù)據(jù)文件作兼容處理后并保存，并將數(shù)據(jù)文件路徑保存至省級(jí)操作維護(hù)中心中的數(shù)據(jù)隊(duì)列中；此處，POMC主報(bào)定時(shí)器是根據(jù)操作維護(hù)模塊中主報(bào)定時(shí)器時(shí)間、操作維護(hù)模塊的壓縮數(shù)據(jù)時(shí)間和上傳數(shù)據(jù)包時(shí)間來(lái)設(shè)定定時(shí)時(shí)間的；然后，POMC中的POMC數(shù)據(jù)處理線(xiàn)程根據(jù)POMC中數(shù)據(jù)隊(duì)列中保存的數(shù)據(jù)文件路徑，采用數(shù)據(jù)庫(kù)批處理技術(shù)將數(shù)據(jù)文件批量導(dǎo)入POMC數(shù)據(jù)庫(kù)中。
另外，如果LOMC本身管理前臺(tái)網(wǎng)元，即LOMC兼有OMM功能，LOMC本身數(shù)據(jù)(非下級(jí)其它OMM上報(bào)的數(shù)據(jù))直接上報(bào)到POMC數(shù)據(jù)庫(kù)中，圖2中未示出。這里，需要說(shuō)明的是，圖2中所示出的情況，是LOMC沒(méi)有接前臺(tái)，也就是說(shuō)LOMC本身沒(méi)有數(shù)據(jù)，LOMC的數(shù)據(jù)是來(lái)自下級(jí)OMM；下級(jí)OMM的數(shù)據(jù)除了可以上報(bào)LOMC，還可以上報(bào)POMC；對(duì)于上報(bào)給POMC的情況，沒(méi)必要通過(guò)LOMC再轉(zhuǎn)發(fā)一次，因?yàn)槟菢訒?huì)導(dǎo)致效率降低。這里，LOMC接收前臺(tái)數(shù)據(jù)過(guò)程和前面OMM處理過(guò)程一樣，這里不再贅述，看一下LOMC將數(shù)據(jù)上報(bào)到POMC數(shù)據(jù)庫(kù)過(guò)程。當(dāng)LOMC的定時(shí)器計(jì)時(shí)到后，將需要上報(bào)的數(shù)據(jù)文件進(jìn)行壓縮，并向POMC上傳數(shù)據(jù)壓縮包；此處LOMC定時(shí)器示根據(jù)前臺(tái)上報(bào)數(shù)據(jù)包的時(shí)間點(diǎn)及上報(bào)數(shù)據(jù)包的持續(xù)時(shí)間來(lái)設(shè)定定時(shí)時(shí)間的；POMC的數(shù)據(jù)處理流程如前所述。
參照?qǐng)D3，為本發(fā)明實(shí)施例所述前臺(tái)數(shù)據(jù)上傳到后臺(tái)OMM主題示意圖。
前后臺(tái)都是通過(guò)網(wǎng)元通信功能子模塊進(jìn)行消息交互的，前臺(tái)定時(shí)構(gòu)造數(shù)據(jù)包，以消息的形式發(fā)送給EMF子模塊，EMF子模塊對(duì)前臺(tái)數(shù)據(jù)包進(jìn)行處理，解析成后臺(tái)可以識(shí)別的數(shù)據(jù)對(duì)象，再以消息的形式發(fā)送到一個(gè)主題上。
參照?qǐng)D4，為本發(fā)明實(shí)施例所述下級(jí)節(jié)點(diǎn)中保存數(shù)據(jù)文件及數(shù)據(jù)文件路徑保存示意圖。
下級(jí)公共應(yīng)用功能子模塊(CAF)從主題上接收網(wǎng)元通信功能子模塊(EMF)發(fā)送的消息，按照一定的規(guī)則進(jìn)行解析，把消息中的數(shù)據(jù)對(duì)象保存為數(shù)據(jù)文件；此數(shù)據(jù)文件符合數(shù)據(jù)庫(kù)批處理要求；同時(shí)將數(shù)據(jù)文件的路徑添加到OMM隊(duì)列尾。
由于數(shù)據(jù)消息在內(nèi)存中，占用內(nèi)存，而文件保存在硬盤(pán)上，所以保存為文件其實(shí)是緩存，減小對(duì)內(nèi)存的壓力。
參照?qǐng)D5，為本發(fā)明實(shí)施例所述下級(jí)后臺(tái)數(shù)據(jù)批處理入庫(kù)流程圖。
數(shù)據(jù)批處理入庫(kù)是一個(gè)獨(dú)立的數(shù)據(jù)處理線(xiàn)程，一直在運(yùn)行；當(dāng)數(shù)據(jù)處理線(xiàn)程隊(duì)列有待處理的數(shù)據(jù)文件時(shí)，數(shù)據(jù)處理線(xiàn)程就從數(shù)據(jù)文件路徑隊(duì)列頭獲取數(shù)據(jù)文件路徑，調(diào)用數(shù)據(jù)庫(kù)批處理工具進(jìn)行數(shù)據(jù)批處理入庫(kù)，充分利用數(shù)據(jù)庫(kù)批處理的優(yōu)勢(shì)。
如果批處理成功，則判斷對(duì)象是否需要上報(bào)如果需要上報(bào)，則保留數(shù)據(jù)文件；如果不需要上報(bào)，則刪除該數(shù)據(jù)文件。
如果批處理上報(bào)不成功，則調(diào)用存儲(chǔ)過(guò)程入庫(kù)，得到存儲(chǔ)過(guò)程返回的對(duì)象數(shù)據(jù)信息如果還有數(shù)據(jù)(不完全是重復(fù)數(shù)據(jù))，則判斷對(duì)象是否需要上報(bào)如果需要上報(bào)，則更新數(shù)據(jù)文件；如果不需要上報(bào)，則刪除該數(shù)據(jù)文件。
如果沒(méi)有數(shù)據(jù)(完全是重復(fù)數(shù)據(jù))，則刪除該數(shù)據(jù)文件。
參照?qǐng)D6，為本發(fā)明實(shí)施例所述下級(jí)后臺(tái)數(shù)據(jù)存儲(chǔ)過(guò)程入庫(kù)流程圖。
在批處理失敗后，調(diào)用存儲(chǔ)過(guò)程入庫(kù)；批處理入庫(kù)是批量處理數(shù)據(jù)，而存儲(chǔ)過(guò)程是逐條處理數(shù)據(jù)。
逐條處理數(shù)據(jù)記錄，判斷數(shù)據(jù)記錄是否和數(shù)據(jù)庫(kù)記錄重復(fù)如果重復(fù)，則將該記錄丟棄；否則，記錄該數(shù)據(jù)記錄。最后，更新此次數(shù)據(jù)記錄。
參照?qǐng)D7，為本發(fā)明實(shí)施例所述下級(jí)后臺(tái)數(shù)據(jù)主報(bào)處理流程圖。
下級(jí)處理流程是由主報(bào)定時(shí)器來(lái)控制的，當(dāng)主報(bào)定時(shí)器時(shí)間到，掃描數(shù)據(jù)文件存放目錄，將數(shù)據(jù)文件目錄壓縮為一個(gè)文件。
壓縮完畢后，查詢(xún)數(shù)據(jù)文件需要上報(bào)的上級(jí)節(jié)點(diǎn)相關(guān)信息。
根據(jù)上報(bào)節(jié)點(diǎn)信息，分別按節(jié)點(diǎn)判斷上級(jí)節(jié)點(diǎn)的鏈路狀態(tài)如果鏈路狀態(tài)暢通，則使用FTP進(jìn)行上傳；否則，記錄無(wú)法上報(bào)的節(jié)點(diǎn)信息以及數(shù)據(jù)文件信息，以備鏈路恢復(fù)后繼續(xù)上傳。
參照?qǐng)D8，為本發(fā)明實(shí)施例所述上級(jí)后臺(tái)數(shù)據(jù)主報(bào)處理流程圖。
上級(jí)處理流程是由主報(bào)定時(shí)器來(lái)控制的，當(dāng)主報(bào)定時(shí)器時(shí)間到，掃描下級(jí)壓縮數(shù)據(jù)文件存放目錄；將下級(jí)壓縮數(shù)據(jù)文件進(jìn)行解壓縮，得到數(shù)據(jù)文件目錄及數(shù)據(jù)文件，然后刪除壓縮數(shù)據(jù)文件。
掃描下級(jí)數(shù)據(jù)文件目錄，按照對(duì)象記錄各下級(jí)數(shù)據(jù)文件路徑，將同一對(duì)象不同的數(shù)據(jù)文件路徑記錄下來(lái)。
根據(jù)記錄的對(duì)象數(shù)據(jù)文件路徑，將同一個(gè)對(duì)象的數(shù)據(jù)文件合并為一個(gè)文件；根據(jù)版本兼容的要求，合并過(guò)程中可以根據(jù)數(shù)據(jù)的兼容信息對(duì)數(shù)據(jù)作兼容處理，使得上級(jí)可以兼容下級(jí)不同版本；合并的目的是充分利用數(shù)據(jù)庫(kù)批處理工具的優(yōu)勢(shì)，減少數(shù)據(jù)入庫(kù)的次數(shù)，提高單位時(shí)間內(nèi)數(shù)據(jù)入庫(kù)的能力。
當(dāng)一個(gè)對(duì)象的數(shù)據(jù)文件合并完畢后，將合并后的數(shù)據(jù)文件路徑記錄在數(shù)據(jù)文件隊(duì)列中，供批處理流程使用。
參照?qǐng)D9，為本發(fā)明實(shí)施例所述上級(jí)后臺(tái)數(shù)據(jù)批處理入庫(kù)流程圖。
數(shù)據(jù)批處理入庫(kù)是一個(gè)獨(dú)立的數(shù)據(jù)處理線(xiàn)程，一直在運(yùn)行；當(dāng)數(shù)據(jù)處理線(xiàn)程隊(duì)列有待處理的數(shù)據(jù)文件時(shí)，數(shù)據(jù)處理線(xiàn)程就從數(shù)據(jù)文件路徑隊(duì)列頭獲取數(shù)據(jù)文件路徑，調(diào)用數(shù)據(jù)庫(kù)批處理工具進(jìn)行數(shù)據(jù)批處理入庫(kù)，充分利用數(shù)據(jù)庫(kù)批處理的優(yōu)勢(shì)。
本發(fā)明所述的一種數(shù)據(jù)快速入庫(kù)方法，并不僅僅限于說(shuō)明書(shū)和實(shí)施方式中所列運(yùn)用，它完全可以被適用于各種適合本發(fā)明之領(lǐng)域，對(duì)于熟悉本領(lǐng)域的人員而言可容易地實(shí)現(xiàn)另外的優(yōu)點(diǎn)和進(jìn)行修改，因此在不背離權(quán)利要求及等同范圍所限定的一般概念的精神和范圍的情況下，本發(fā)明并不限于特定的細(xì)節(jié)、代表性的設(shè)備和這里示出與描述的圖示示例。
權(quán)利要求
1.一種數(shù)據(jù)快速入庫(kù)方法，用于多層網(wǎng)管系統(tǒng)中各級(jí)后臺(tái)計(jì)算機(jī)系統(tǒng)間的交互，及后臺(tái)網(wǎng)管系統(tǒng)內(nèi)部的交互，其特征在于包括如下步驟(1)、下級(jí)節(jié)點(diǎn)收到數(shù)據(jù)包，將數(shù)據(jù)包處理成數(shù)據(jù)文件形式并保存，并將數(shù)據(jù)文件路徑保存至下級(jí)節(jié)點(diǎn)中的數(shù)據(jù)隊(duì)列中；(2)、下級(jí)節(jié)點(diǎn)中的數(shù)據(jù)處理線(xiàn)程根據(jù)下級(jí)節(jié)點(diǎn)中數(shù)據(jù)隊(duì)列中保存的數(shù)據(jù)文件路徑，采用數(shù)據(jù)庫(kù)批處理技術(shù)將數(shù)據(jù)文件批量導(dǎo)入下級(jí)節(jié)點(diǎn)中的數(shù)據(jù)庫(kù)中；(3)、下級(jí)節(jié)點(diǎn)將下級(jí)節(jié)點(diǎn)需要上報(bào)的數(shù)據(jù)文件壓縮成數(shù)據(jù)壓縮包，并上傳至上級(jí)節(jié)點(diǎn)；(4)、上級(jí)節(jié)點(diǎn)收到數(shù)據(jù)壓縮包后將數(shù)據(jù)壓縮包進(jìn)行解壓縮，將解壓縮后的數(shù)據(jù)文件進(jìn)行保存，并將數(shù)據(jù)文件路徑保存至上級(jí)節(jié)點(diǎn)中的數(shù)據(jù)隊(duì)列中；(5)、上級(jí)節(jié)點(diǎn)中的數(shù)據(jù)處理線(xiàn)程根據(jù)上級(jí)節(jié)點(diǎn)中數(shù)據(jù)隊(duì)列中保存的數(shù)據(jù)文件路徑，采用數(shù)據(jù)庫(kù)批處理技術(shù)將數(shù)據(jù)文件批量導(dǎo)入上級(jí)節(jié)點(diǎn)中的數(shù)據(jù)庫(kù)中。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于所述下級(jí)節(jié)點(diǎn)是操作維護(hù)模塊。
3.根據(jù)權(quán)利要求1所述的方法，其特征在于所述下級(jí)節(jié)點(diǎn)是本級(jí)操作維護(hù)中心。
4.根據(jù)權(quán)利要求2或3所述的方法，其特征在于步驟(1)中所述下級(jí)節(jié)點(diǎn)收到數(shù)據(jù)包，將數(shù)據(jù)包處理成數(shù)據(jù)文件形式并保存，是操作維護(hù)模塊中的網(wǎng)元通信功能子模塊接收到前臺(tái)上報(bào)的數(shù)據(jù)包，將接收到的數(shù)據(jù)包解析成數(shù)據(jù)對(duì)象并發(fā)送到主題上，操作維護(hù)模塊中的公共應(yīng)用功能子模塊從主題上接收數(shù)據(jù)對(duì)象并保存為數(shù)據(jù)文件。
5.根據(jù)權(quán)利要求4所述的方法，其特征在于所述操作維護(hù)模塊中的網(wǎng)元通信功能子模塊接收到前臺(tái)上報(bào)的數(shù)據(jù)包，是收到前臺(tái)定期構(gòu)造并發(fā)送的數(shù)據(jù)包。
6.根據(jù)權(quán)利要求4所述的方法，其特征在于所述操作維護(hù)模塊中的公共應(yīng)用功能子模塊從主題上接收數(shù)據(jù)文件并保存，是公共應(yīng)用功能子模塊以監(jiān)聽(tīng)主題的方式接收數(shù)據(jù)文件并保存的。
7.根據(jù)權(quán)利要求4所述的方法，其特征在于步驟(3)中所述下級(jí)節(jié)點(diǎn)將下級(jí)節(jié)點(diǎn)需要上報(bào)的數(shù)據(jù)文件壓縮成數(shù)據(jù)壓縮包，并上傳至上級(jí)節(jié)點(diǎn)，是下級(jí)節(jié)點(diǎn)根據(jù)下級(jí)節(jié)點(diǎn)中的主報(bào)定時(shí)器計(jì)時(shí)到，將需要上報(bào)的數(shù)據(jù)文件進(jìn)行壓縮，并根據(jù)所要上報(bào)的上級(jí)節(jié)點(diǎn)將數(shù)據(jù)壓縮包上傳。
8.根據(jù)權(quán)利要求7所述的方法，其特征在于所述下級(jí)節(jié)點(diǎn)中的主報(bào)定時(shí)器是根據(jù)前臺(tái)上報(bào)數(shù)據(jù)包的時(shí)間點(diǎn)及上報(bào)數(shù)據(jù)包的持續(xù)時(shí)間來(lái)設(shè)定定時(shí)時(shí)間的。
9.根據(jù)權(quán)利要求2所述的方法，其特征在于所述上級(jí)節(jié)點(diǎn)是本地操作維護(hù)中心或省級(jí)操作維護(hù)中心。
10.根據(jù)權(quán)利要求3所述的方法，其特征在于所述上級(jí)節(jié)點(diǎn)是省級(jí)操作維護(hù)中心。
11.根據(jù)權(quán)利要求9或10所述的方法，其特征在于步驟(4)中所述上級(jí)節(jié)點(diǎn)收到數(shù)據(jù)壓縮包后將數(shù)據(jù)壓縮包進(jìn)行解壓縮，是上級(jí)節(jié)點(diǎn)中的主報(bào)定時(shí)器到，上級(jí)節(jié)點(diǎn)將收到的數(shù)據(jù)壓縮包進(jìn)行解壓縮。
12.根據(jù)權(quán)利要求11所述的方法，其特征在于所述上級(jí)節(jié)點(diǎn)中的主報(bào)定時(shí)器是根據(jù)下級(jí)節(jié)點(diǎn)主報(bào)定時(shí)器時(shí)間、下級(jí)節(jié)點(diǎn)壓縮數(shù)據(jù)時(shí)間和上傳數(shù)據(jù)包時(shí)間來(lái)設(shè)定定時(shí)時(shí)間的。
13.根據(jù)權(quán)利要求9或10所述的方法，其特征在于步驟(4)中所述上級(jí)節(jié)點(diǎn)將解壓縮后的數(shù)據(jù)文件進(jìn)行保存，是根據(jù)不同的數(shù)據(jù)文件對(duì)象將解壓縮后的數(shù)據(jù)文件進(jìn)行合并并保存。
14.根據(jù)權(quán)利要求1所述的方法，其特征在于所述將數(shù)據(jù)文件批量導(dǎo)入下級(jí)節(jié)點(diǎn)或上級(jí)節(jié)點(diǎn)數(shù)據(jù)庫(kù)中，如果導(dǎo)入數(shù)據(jù)庫(kù)失敗，將記錄異常文件，再次導(dǎo)入數(shù)據(jù)庫(kù)時(shí)，采用存儲(chǔ)過(guò)程導(dǎo)入數(shù)據(jù)庫(kù)。
15.根據(jù)權(quán)利要求1所述的方法，其特征在于所述上傳數(shù)據(jù)壓縮包，如果失敗，將記錄異常信息。
16.根據(jù)權(quán)利要求1所述的方法，其特征在于步驟(4)中所述將解壓縮后的數(shù)據(jù)文件進(jìn)行保存，是根據(jù)數(shù)據(jù)文件的兼容性對(duì)數(shù)據(jù)文件作兼容處理后并保存的。
全文摘要
本發(fā)明公開(kāi)了一種數(shù)據(jù)快速入庫(kù)方法。下級(jí)節(jié)點(diǎn)收到數(shù)據(jù)包，將數(shù)據(jù)包處理成數(shù)據(jù)文件形式并保存，并將數(shù)據(jù)文件路徑保存至下級(jí)節(jié)點(diǎn)中的數(shù)據(jù)隊(duì)列中；下級(jí)節(jié)點(diǎn)中的數(shù)據(jù)處理線(xiàn)程根據(jù)下級(jí)節(jié)點(diǎn)中數(shù)據(jù)隊(duì)列中保存的數(shù)據(jù)文件路徑，采用數(shù)據(jù)庫(kù)批處理技術(shù)將數(shù)據(jù)文件批量導(dǎo)入下級(jí)節(jié)點(diǎn)中的數(shù)據(jù)庫(kù)中；下級(jí)節(jié)點(diǎn)將下級(jí)節(jié)點(diǎn)需要上報(bào)的數(shù)據(jù)文件壓縮成數(shù)據(jù)壓縮包，并上傳至上級(jí)節(jié)點(diǎn)；上級(jí)節(jié)點(diǎn)收到數(shù)據(jù)壓縮包后將數(shù)據(jù)壓縮包進(jìn)行解壓縮，將解壓縮后的數(shù)據(jù)文件進(jìn)行保存，并將數(shù)據(jù)文件路徑保存至上級(jí)節(jié)點(diǎn)中的數(shù)據(jù)隊(duì)列中；上級(jí)節(jié)點(diǎn)中的數(shù)據(jù)處理線(xiàn)程根據(jù)上級(jí)節(jié)點(diǎn)中數(shù)據(jù)隊(duì)列中保存的數(shù)據(jù)文件路徑，采用數(shù)據(jù)庫(kù)批處理技術(shù)將數(shù)據(jù)文件批量導(dǎo)入上級(jí)節(jié)點(diǎn)中的數(shù)據(jù)庫(kù)中。
文檔編號(hào)H04L12/56GK101039212SQ20061005982
公開(kāi)日2007年9月19日 申請(qǐng)日期2006年3月15日 優(yōu)先權(quán)日2006年3月15日
發(fā)明者黃遠(yuǎn)文 申請(qǐng)人:中興通訊股份有限公司