一種大數(shù)據(jù)加載系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001 ] 本發(fā)明涉及一種大數(shù)據(jù)加載系統(tǒng)。
【背景技術(shù)】
[0002]信息是現(xiàn)代企業(yè)的重要資源，是企業(yè)運(yùn)用科學(xué)管理、決策分析的基礎(chǔ)。目前，各大銀行都花費(fèi)大量的資金和時(shí)間來(lái)構(gòu)建了眾多的信息系統(tǒng)，用來(lái)記錄生產(chǎn)經(jīng)營(yíng)和辦公自動(dòng)化的各種相關(guān)數(shù)據(jù)。
[0003]隨著數(shù)據(jù)量的不斷膨脹，需要采取一定的技術(shù)手段來(lái)促進(jìn)數(shù)據(jù)在系統(tǒng)中的流動(dòng)與共享，為了實(shí)現(xiàn)這一目的，數(shù)據(jù)的抽取、轉(zhuǎn)換、加載(Extract-Transform-Load，ETL)是主要的一個(gè)技術(shù)手段。
[0004]數(shù)據(jù)加載是通常是ETL過(guò)程的最后一步，其從源數(shù)據(jù)庫(kù)選擇需要加載的數(shù)據(jù)文件，然后將該數(shù)據(jù)文件加載到目標(biāo)數(shù)據(jù)庫(kù)。

【發(fā)明內(nèi)容】

[0005]本發(fā)明所要解決的技術(shù)問(wèn)題是提供一種數(shù)據(jù)加載系統(tǒng)，是的系統(tǒng)能夠自動(dòng)生成批量加載任務(wù)，提高數(shù)據(jù)的加載效率。
[0006]本發(fā)明解決上述技術(shù)問(wèn)題的技術(shù)方案如下:一種大數(shù)據(jù)加載系統(tǒng)，其特征在于，其包括用戶(hù)數(shù)據(jù)端，數(shù)據(jù)加載服務(wù)器，數(shù)據(jù)存儲(chǔ)單元，云數(shù)據(jù)庫(kù)。所述用戶(hù)數(shù)據(jù)端，用于接收用戶(hù)的數(shù)據(jù)，與所述用戶(hù)數(shù)據(jù)端相連，用于加載用戶(hù)數(shù)據(jù)端中的數(shù)據(jù)存到數(shù)據(jù)存儲(chǔ)單元，與所述數(shù)據(jù)存儲(chǔ)單元無(wú)線(xiàn)通信相連，用于存儲(chǔ)用戶(hù)的大容量數(shù)據(jù)。
[0007]進(jìn)一步地，所述數(shù)據(jù)加載服務(wù)器將所述用戶(hù)數(shù)據(jù)加載至所述數(shù)據(jù)存儲(chǔ)單元具體為:加載服務(wù)器依據(jù)所述用戶(hù)數(shù)據(jù)的容量，屬性，結(jié)構(gòu)依次進(jìn)行數(shù)據(jù)的分類(lèi)，并將其加載至數(shù)據(jù)存儲(chǔ)單元。
[0008]進(jìn)一步地，所述數(shù)據(jù)存儲(chǔ)單元與所述云數(shù)據(jù)庫(kù)的連接連接根據(jù)網(wǎng)絡(luò)的實(shí)際狀況選擇網(wǎng)線(xiàn)連接或無(wú)線(xiàn)局域網(wǎng)連接。
[0009]本發(fā)明的有益效果是:實(shí)現(xiàn)了大數(shù)據(jù)在使用之前的加載緩沖，并且為各種數(shù)據(jù)之間的聯(lián)系得到有效的結(jié)合和統(tǒng)一，提高數(shù)據(jù)加載任務(wù)的效率。
【附圖說(shuō)明】
[0010]圖1為本發(fā)明整體結(jié)構(gòu)示意圖；
【具體實(shí)施方式】
[0011]以下結(jié)合附圖對(duì)本發(fā)明的原理和特征進(jìn)行描述，所舉實(shí)例只用于解釋本發(fā)明，并非用于限定本發(fā)明的范圍。
[0012]如圖1所示，一種大數(shù)據(jù)加載系統(tǒng)，其特征在于，其包括用戶(hù)數(shù)據(jù)端，數(shù)據(jù)加載服務(wù)器，數(shù)據(jù)存儲(chǔ)單元，云數(shù)據(jù)庫(kù)。所述用戶(hù)數(shù)據(jù)端，用于接收用戶(hù)的數(shù)據(jù)，與所述用戶(hù)數(shù)據(jù)端相連，用于加載用戶(hù)數(shù)據(jù)端中的數(shù)據(jù)存到數(shù)據(jù)存儲(chǔ)單元，與所述數(shù)據(jù)存儲(chǔ)單元無(wú)線(xiàn)通信相連，用于存儲(chǔ)用戶(hù)的大容量數(shù)據(jù)。
[0013]進(jìn)一步地，所述數(shù)據(jù)加載服務(wù)器將所述用戶(hù)數(shù)據(jù)加載至所述數(shù)據(jù)存儲(chǔ)單元具體為:加載服務(wù)器依據(jù)所述用戶(hù)數(shù)據(jù)的容量，屬性，結(jié)構(gòu)依次進(jìn)行數(shù)據(jù)的分類(lèi)，并將其加載至數(shù)據(jù)存儲(chǔ)單元。
[0014]在加載服務(wù)正常運(yùn)行的整個(gè)過(guò)程中，為了保證數(shù)據(jù)加載的可靠性和正確性，加載服務(wù)器需要及時(shí)地得到各數(shù)據(jù)存儲(chǔ)單元的當(dāng)前狀態(tài)即數(shù)據(jù)存儲(chǔ)單元包括的主節(jié)點(diǎn)和數(shù)據(jù)節(jié)點(diǎn)狀態(tài)以及底層文件系統(tǒng)和云數(shù)據(jù)庫(kù)系統(tǒng)的運(yùn)行狀態(tài)，因此在加載服務(wù)運(yùn)行的過(guò)程中需要利用狀態(tài)信息同步模塊周期性地向加載服務(wù)器報(bào)告各數(shù)據(jù)存儲(chǔ)單元的工作狀態(tài)，，并記錄整個(gè)加載服務(wù)運(yùn)行期間的日志和數(shù)據(jù)存儲(chǔ)過(guò)程日志。
[0015]進(jìn)一步地，所述數(shù)據(jù)存儲(chǔ)單元與所述云數(shù)據(jù)庫(kù)的連接連接根據(jù)網(wǎng)絡(luò)的實(shí)際狀況選擇網(wǎng)線(xiàn)連接或無(wú)線(xiàn)局域網(wǎng)連接。
[0016]與現(xiàn)有技術(shù)相比，本發(fā)明實(shí)現(xiàn)了大數(shù)據(jù)在使用之前的加載緩沖，并且為各種數(shù)據(jù)之間的聯(lián)系得到有效的結(jié)合和統(tǒng)一，提高數(shù)據(jù)加載任務(wù)的效率。
[0017]以上所述僅為本發(fā)明的較佳實(shí)施例，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。
【主權(quán)項(xiàng)】
1.一種大數(shù)據(jù)加載系統(tǒng)，其特征在于，其包括用戶(hù)數(shù)據(jù)端，數(shù)據(jù)加載服務(wù)器，數(shù)據(jù)存儲(chǔ)單元，云數(shù)據(jù)庫(kù)。所述用戶(hù)數(shù)據(jù)端，用于接收用戶(hù)的數(shù)據(jù)，與所述用戶(hù)數(shù)據(jù)端相連，用于加載用戶(hù)數(shù)據(jù)端中的數(shù)據(jù)存到數(shù)據(jù)存儲(chǔ)單元，與所述數(shù)據(jù)存儲(chǔ)單元無(wú)線(xiàn)通信相連，用于存儲(chǔ)用戶(hù)的大容量數(shù)據(jù)。
2.根據(jù)權(quán)利要求1所述的大數(shù)據(jù)加載系統(tǒng)，其特征在于，所述數(shù)據(jù)加載服務(wù)器將所述用戶(hù)數(shù)據(jù)加載至所述數(shù)據(jù)存儲(chǔ)單元具體為:加載服務(wù)器依據(jù)所述用戶(hù)數(shù)據(jù)的容量，屬性，結(jié)構(gòu)依次進(jìn)行數(shù)據(jù)的分類(lèi)，并將其加載至數(shù)據(jù)存儲(chǔ)單元。
3.根據(jù)權(quán)利要求1所述的大數(shù)據(jù)加載系統(tǒng)，其特征在于，所述數(shù)據(jù)存儲(chǔ)單元與所述云數(shù)據(jù)庫(kù)的連接連接根據(jù)網(wǎng)絡(luò)的實(shí)際狀況選擇網(wǎng)線(xiàn)連接或無(wú)線(xiàn)局域網(wǎng)連接。
【專(zhuān)利摘要】本發(fā)明涉及一種大數(shù)據(jù)加載系統(tǒng)，其包括用戶(hù)數(shù)據(jù)端，數(shù)據(jù)加載服務(wù)器，數(shù)據(jù)存儲(chǔ)單元，云數(shù)據(jù)庫(kù)。所述用戶(hù)數(shù)據(jù)端，用于接收用戶(hù)的數(shù)據(jù)，與所述用戶(hù)數(shù)據(jù)端相連，用于加載用戶(hù)數(shù)據(jù)端中的數(shù)據(jù)存到數(shù)據(jù)存儲(chǔ)單元，與所述數(shù)據(jù)存儲(chǔ)單元無(wú)線(xiàn)通信相連，用于存儲(chǔ)用戶(hù)的大容量數(shù)據(jù)。本發(fā)明實(shí)現(xiàn)了大數(shù)據(jù)在使用之前的加載緩沖，并且為各種數(shù)據(jù)之間的聯(lián)系得到有效的結(jié)合和統(tǒng)一，提高數(shù)據(jù)加載任務(wù)的效率。
【IPC分類(lèi)】H04L29-08, G06F17-30
【公開(kāi)號(hào)】CN104572944
【申請(qǐng)?zhí)枴緾N201410844026
【發(fā)明人】劉焰龍, 高輝
【申請(qǐng)人】蕪湖樂(lè)銳思信息咨詢(xún)有限公司
【公開(kāi)日】2015年4月29日
【申請(qǐng)日】2014年12月29日