互聯(lián)網(wǎng)大數(shù)據(jù)處理系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及計(jì)算機(jī)領(lǐng)域，具體地，涉及一種互聯(lián)網(wǎng)大數(shù)據(jù)處理系統(tǒng)。
【背景技術(shù)】
[0002]目前，隨著計(jì)算機(jī)技術(shù)和互聯(lián)網(wǎng)的發(fā)展，許多政府和企業(yè)都在進(jìn)行大數(shù)據(jù)的建設(shè)，而大數(shù)據(jù)建設(shè)對(duì)企業(yè)的發(fā)展方向，政府的管理水平和服務(wù)方式的改進(jìn)都起到非常重要的作用，但現(xiàn)有的大數(shù)據(jù)處理中，往往是將數(shù)據(jù)都集中到一起后，再進(jìn)行分類(lèi)，造成后期工作量大，因數(shù)據(jù)量巨大，造成接收數(shù)據(jù)時(shí)網(wǎng)絡(luò)堵塞，從而存在數(shù)據(jù)丟失的問(wèn)題。

【發(fā)明內(nèi)容】

[0003]本發(fā)明的目的在于，針對(duì)上述問(wèn)題，提出一種互聯(lián)網(wǎng)大數(shù)據(jù)處理系統(tǒng)，以實(shí)現(xiàn)防止數(shù)據(jù)丟失的優(yōu)點(diǎn)。
[0004]為實(shí)現(xiàn)上述目的，本發(fā)明采用的技術(shù)方案是:
一種互聯(lián)網(wǎng)大數(shù)據(jù)處理系統(tǒng)，包括，
數(shù)據(jù)采集服務(wù)器:采集互聯(lián)網(wǎng)上的數(shù)據(jù)，并對(duì)數(shù)據(jù)進(jìn)行初步分類(lèi)，并將相同類(lèi)別的數(shù)據(jù)壓縮處理后傳輸至發(fā)送服務(wù)器；
發(fā)送服務(wù)器:接收數(shù)據(jù)采集服務(wù)器發(fā)送的數(shù)據(jù)后，保存接收的數(shù)據(jù)并按照數(shù)據(jù)類(lèi)別和接收時(shí)間建立發(fā)送隊(duì)列表；
接收服務(wù)器，按照數(shù)據(jù)類(lèi)別進(jìn)行分組，并對(duì)接收服務(wù)器組進(jìn)行編號(hào)，接收服務(wù)器組按照數(shù)據(jù)分類(lèi)，不同的接收服務(wù)器組只接收同類(lèi)別的數(shù)據(jù)，并保存接收的數(shù)據(jù)；
中央控制器:中央控制器采集接收服務(wù)器組的狀態(tài)，并根據(jù)采集的狀態(tài)建立接收隊(duì)列表，接收隊(duì)列表內(nèi)保存各個(gè)接收服務(wù)器的工作狀態(tài)和繁忙程度；
所述中央控制器以循環(huán)的方式偵測(cè)發(fā)送隊(duì)列表，并依據(jù)接收隊(duì)列表記錄的數(shù)據(jù)控制數(shù)據(jù)的傳輸；
中央控制器內(nèi)設(shè)置數(shù)據(jù)冗余判斷模塊:數(shù)據(jù)冗余判斷模塊與接收服務(wù)器連接和數(shù)據(jù)采集服務(wù)器連接，對(duì)數(shù)據(jù)采集服務(wù)器采集的數(shù)據(jù)進(jìn)行冗余判斷，若接收服務(wù)器內(nèi)保存的數(shù)據(jù)如數(shù)據(jù)采集服務(wù)器采集的數(shù)據(jù)相同則將相同的數(shù)據(jù)丟棄。
[0005]本發(fā)明的技術(shù)方案具有以下有益效果:
本發(fā)明的技術(shù)方案，在前期對(duì)數(shù)據(jù)進(jìn)行分類(lèi)，并在發(fā)送服務(wù)器中建立發(fā)送隊(duì)列表，中央控制器對(duì)發(fā)送隊(duì)列表進(jìn)行循環(huán)偵測(cè)，直到保存數(shù)據(jù)正確發(fā)送到接收服務(wù)器，從而達(dá)到防止數(shù)據(jù)丟失的目的。
【具體實(shí)施方式】
[0006]一種互聯(lián)網(wǎng)大數(shù)據(jù)處理系統(tǒng)，包括，
數(shù)據(jù)采集服務(wù)器:采集互聯(lián)網(wǎng)上的數(shù)據(jù)，并對(duì)數(shù)據(jù)進(jìn)行初步分類(lèi)，并將相同類(lèi)別的數(shù)據(jù)壓縮處理后傳輸至發(fā)送服務(wù)器； 發(fā)送服務(wù)器:接收數(shù)據(jù)采集服務(wù)器發(fā)送的數(shù)據(jù)后，保存接收的數(shù)據(jù)并按照數(shù)據(jù)類(lèi)別和接收時(shí)間建立發(fā)送隊(duì)列表；
接收服務(wù)器，按照數(shù)據(jù)類(lèi)別進(jìn)行分組，并對(duì)接收服務(wù)器組進(jìn)行編號(hào)，接收服務(wù)器組按照數(shù)據(jù)分類(lèi)，不同的接收服務(wù)器組只接收同類(lèi)別的數(shù)據(jù)，并保存接收的數(shù)據(jù)；
中央控制器:中央控制器采集接收服務(wù)器組的狀態(tài)，并根據(jù)采集的狀態(tài)建立接收隊(duì)列表，接收隊(duì)列表內(nèi)保存各個(gè)接收服務(wù)器的工作狀態(tài)和繁忙程度；
中央控制器以循環(huán)的方式偵測(cè)發(fā)送隊(duì)列表，并依據(jù)接收隊(duì)列表記錄的數(shù)據(jù)控制數(shù)據(jù)的傳輸；
中央控制器內(nèi)設(shè)置數(shù)據(jù)冗余判斷模塊:數(shù)據(jù)冗余判斷模塊與接收服務(wù)器連接和數(shù)據(jù)采集服務(wù)器連接，對(duì)數(shù)據(jù)采集服務(wù)器采集的數(shù)據(jù)進(jìn)行冗余判斷，若接收服務(wù)器內(nèi)保存的數(shù)據(jù)如數(shù)據(jù)采集服務(wù)器采集的數(shù)據(jù)相同則將相同的數(shù)據(jù)丟棄。
[0007]如在電商中將數(shù)據(jù)簡(jiǎn)單的分為家電、手機(jī)、電腦、辦公用品、服裝、化妝品和其它。
[0008]數(shù)據(jù)采集服務(wù)器將采集的數(shù)據(jù)按照上述的分類(lèi)要求進(jìn)行分類(lèi)后，發(fā)送至發(fā)送服務(wù)器保存，并建立發(fā)送隊(duì)列表，對(duì)應(yīng)的接收服務(wù)器分為家電接收服務(wù)器組、手機(jī)接收服務(wù)器組、電腦接收服務(wù)器組、辦公用品接收服務(wù)器組、服裝接收服務(wù)器組、化妝品接收服務(wù)器組和其它接收服務(wù)器組。
[0009]家電接收服務(wù)器組只接收家電類(lèi)的數(shù)據(jù)、化妝品接收服務(wù)器組至接收化妝品的數(shù)據(jù)。如發(fā)送服務(wù)器發(fā)送的數(shù)據(jù)類(lèi)別和順序?yàn)榧译?、手機(jī)1、電腦1、辦公用品1、服裝1、家電2、家電3和辦公用品1，發(fā)送隊(duì)列表按照該順序建立，中央控制器以循環(huán)的方式偵測(cè)發(fā)送隊(duì)列表后，首先調(diào)取接收隊(duì)列表的記錄，如接收隊(duì)列表內(nèi)顯示家電接收服務(wù)器組正常，可以接收數(shù)據(jù)，中央控制器控制發(fā)送服務(wù)器將家電I的數(shù)據(jù)發(fā)送到家電接收服務(wù)器，同理將手機(jī)1、電腦1、辦公用品I和服裝I按照順序發(fā)送，發(fā)送家電2數(shù)據(jù)時(shí)，如家電接收服務(wù)器的通道被堵塞，中央控制器往下順延，發(fā)送下一個(gè)數(shù)據(jù)，如辦公用品1，發(fā)送完辦公用品I后，中央控制器從新偵測(cè)發(fā)送隊(duì)列表，至到發(fā)送隊(duì)列表內(nèi)的數(shù)據(jù)都發(fā)送完畢，再進(jìn)行下一輪數(shù)據(jù)的發(fā)送。
[0010]接收服務(wù)器接收到相應(yīng)數(shù)據(jù)后，給中央控制器發(fā)送一個(gè)反饋信號(hào)，中央控制器接收到反饋信號(hào)后，控制發(fā)送服務(wù)器，將發(fā)送服務(wù)器內(nèi)相應(yīng)的數(shù)據(jù)刪除。
[0011]最后應(yīng)說(shuō)明的是:以上所述僅為本發(fā)明的優(yōu)選實(shí)施例而已，并不用于限制本發(fā)明，盡管參照前述實(shí)施例對(duì)本發(fā)明進(jìn)行了詳細(xì)的說(shuō)明，對(duì)于本領(lǐng)域的技術(shù)人員來(lái)說(shuō)，其依然可以對(duì)前述各實(shí)施例所記載的技術(shù)方案進(jìn)行修改，或者對(duì)其中部分技術(shù)特征進(jìn)行等同替換。凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。
【主權(quán)項(xiàng)】
1.一種互聯(lián)網(wǎng)大數(shù)據(jù)處理系統(tǒng)，其特征在于，包括， 數(shù)據(jù)采集服務(wù)器:采集互聯(lián)網(wǎng)上的數(shù)據(jù)，并對(duì)數(shù)據(jù)進(jìn)行初步分類(lèi)，并將相同類(lèi)別的數(shù)據(jù)壓縮處理后傳輸至發(fā)送服務(wù)器； 發(fā)送服務(wù)器:接收數(shù)據(jù)采集服務(wù)器發(fā)送的數(shù)據(jù)后，保存接收的數(shù)據(jù)并按照數(shù)據(jù)類(lèi)別和接收時(shí)間建立發(fā)送隊(duì)列表； 接收服務(wù)器，按照數(shù)據(jù)類(lèi)別進(jìn)行分組，并對(duì)接收服務(wù)器組進(jìn)行編號(hào)，接收服務(wù)器組按照數(shù)據(jù)分類(lèi)，只接收同類(lèi)別的數(shù)據(jù)，并保存接收的數(shù)據(jù)； 中央控制器:中央控制器采集接收服務(wù)器組的狀態(tài)，并根據(jù)采集的狀態(tài)建立接收隊(duì)列表，接收隊(duì)列表內(nèi)保存各個(gè)接收服務(wù)器的工作狀態(tài)和繁忙程度； 所述中央控制器以循環(huán)的方式偵測(cè)發(fā)送隊(duì)列表，并依據(jù)接收隊(duì)列表記錄的數(shù)據(jù)控制數(shù)據(jù)的傳輸； 中央控制器內(nèi)設(shè)置數(shù)據(jù)冗余判斷模塊:數(shù)據(jù)冗余判斷模塊與接收服務(wù)器連接和數(shù)據(jù)采集服務(wù)器連接，對(duì)數(shù)據(jù)采集服務(wù)器采集的數(shù)據(jù)進(jìn)行冗余判斷，若接收服務(wù)器內(nèi)保存的數(shù)據(jù)如數(shù)據(jù)采集服務(wù)器采集的數(shù)據(jù)相同則將相同的數(shù)據(jù)丟棄。
【專(zhuān)利摘要】本發(fā)明公開(kāi)了一種互聯(lián)網(wǎng)大數(shù)據(jù)處理系統(tǒng)，包括，數(shù)據(jù)采集服務(wù)器：采集互聯(lián)網(wǎng)上的數(shù)據(jù)，并對(duì)數(shù)據(jù)進(jìn)行初步分類(lèi)；發(fā)送服務(wù)器：接收數(shù)據(jù)采集服務(wù)器發(fā)送的數(shù)據(jù)后，保存接收的數(shù)據(jù)并建立發(fā)送隊(duì)列表；接收服務(wù)器，按照數(shù)據(jù)分類(lèi)，只接收同類(lèi)別的數(shù)據(jù)，并保存接收的數(shù)據(jù)；中央控制器：中央控制器采集接收服務(wù)器組的狀態(tài)，并根據(jù)采集的狀態(tài)建立接收隊(duì)列表，接收隊(duì)列表內(nèi)保存各個(gè)接收服務(wù)器的工作狀態(tài)和繁忙程度；所述中央控制器以循環(huán)的方式偵測(cè)發(fā)送隊(duì)列表，并依據(jù)接收隊(duì)列表記錄的數(shù)據(jù)控制數(shù)據(jù)的傳輸，中央控制器內(nèi)設(shè)置數(shù)據(jù)冗余判斷模塊。達(dá)到防止數(shù)據(jù)丟失的目的。
【IPC分類(lèi)】G06F17/30
【公開(kāi)號(hào)】CN104933124
【申請(qǐng)?zhí)枴緾N201510314322
【發(fā)明人】程崇煜
【申請(qǐng)人】柳州市智融科技有限公司
【公開(kāi)日】2015年9月23日
【申請(qǐng)日】2015年6月10日