用于大數(shù)據(jù)處理的數(shù)據(jù)采集裝置的制造方法
【技術(shù)領(lǐng)域】
[0001]本實用新型屬于用于大數(shù)據(jù)處理的設備技術(shù)領(lǐng)域，尤其是涉及一種用于大數(shù)據(jù)處理的數(shù)據(jù)采集裝置。
【背景技術(shù)】
[0002]大數(shù)據(jù)研究是當前的熱門主題，現(xiàn)已成為國家創(chuàng)新戰(zhàn)略，如奧巴馬政府推出了“大數(shù)據(jù)研究與開發(fā)計劃”；習近平總書記指出沒有網(wǎng)絡安全就沒有國家安全，沒有信息化就沒有現(xiàn)代化;李克強總理也大力提倡發(fā)展互聯(lián)網(wǎng)+的發(fā)展模式。而電信領(lǐng)域大數(shù)據(jù)，隨著國內(nèi)4G網(wǎng)絡的快速發(fā)展，移動互聯(lián)網(wǎng)和智能終端的爆發(fā)式增長，迫使三大移動通信運營商通亟需過大數(shù)據(jù)技術(shù)手段進行移動通信網(wǎng)絡有效地管理，以提高整體運營效率。
[0003]申請人是一家專注于移動通信服務和產(chǎn)品研發(fā)的專業(yè)化高科技企業(yè)，移動網(wǎng)絡大數(shù)據(jù)深度挖掘主要研究方向為無線性能評估、網(wǎng)絡資源管理、網(wǎng)絡故障溯源及用戶行為分析四個方面，已申請電信大數(shù)據(jù)領(lǐng)域相關(guān)研發(fā)專利數(shù)十件，并在三大運營商的大數(shù)據(jù)技術(shù)交流中得到一致認可。
[0004]大數(shù)據(jù)移動網(wǎng)絡深度挖掘系統(tǒng)(簡稱Deeplan)，本文從大數(shù)據(jù)邏輯架構(gòu)和系統(tǒng)架構(gòu)等方面進行介紹:
[0005]1、Deeplan 邏輯架構(gòu)
[0006]邏輯架構(gòu)分為三部分:電信大數(shù)據(jù)平臺、電信大數(shù)據(jù)算法引擎和大數(shù)據(jù)可視化。
[0007]電信大數(shù)據(jù)平臺:電信大數(shù)據(jù)平臺的數(shù)據(jù)處理平臺，主要負責海量數(shù)據(jù)的Extract 1n、Transformat 1n、and Loading，承載著高維度復雜的TB級數(shù)據(jù)清理的壓力，主要收集無線網(wǎng)絡話務統(tǒng)計STS、核心網(wǎng)Gb口、IuPS口、S1 口等通信信令數(shù)據(jù)包、各網(wǎng)元通信狀態(tài)及網(wǎng)元拓撲數(shù)據(jù)。經(jīng)過數(shù)據(jù)抽取，統(tǒng)一格式轉(zhuǎn)換，關(guān)系數(shù)據(jù)直接加載到中央數(shù)據(jù)倉庫(PostgreSQL數(shù)據(jù)庫集群)，復雜關(guān)系數(shù)據(jù)加載到Hadoop集群，等待算法引擎進一步利用Hadoop中MapReduce框架的分布式計算處理分類。ETL系統(tǒng)中的數(shù)據(jù)抽取、轉(zhuǎn)換、加載工作統(tǒng)一由基于Qutarz框架的任務調(diào)度模塊自動完成。電信大數(shù)據(jù)算法引擎:電信大數(shù)據(jù)算法引擎是一套顛覆傳統(tǒng)網(wǎng)絡仿真的創(chuàng)新型方案，采用先進的大數(shù)據(jù)思想挖掘出隱藏在移動網(wǎng)絡數(shù)據(jù)背后的價值。大數(shù)據(jù)算法引擎是基于大數(shù)據(jù)深度挖掘算法和機器學習的基本理論為基礎，以準實時的移動網(wǎng)絡KPI的海量數(shù)據(jù)為依據(jù)，蘊含了一系列基于大數(shù)據(jù)應用于無線網(wǎng)絡的算法和模型。可支持的數(shù)學算法有:一元線性回歸、多元線性回歸、時間序列算法、神經(jīng)網(wǎng)絡算法、相關(guān)性分析、因子分析、主成分分析、相關(guān)性分析、多維分析、貝葉斯網(wǎng)絡分析、聚類分析、Logistic分析、決策樹分析、近鄰分析等，以達到完成面向移動網(wǎng)絡性能分析、資源評估、故障根本原因分析模型的建模，以及自學式大數(shù)據(jù)挖掘算法的訓練。所有預測類算法是通過R語言完成，并加載ETL系統(tǒng)準備的數(shù)據(jù)進行訓練，預測的結(jié)果數(shù)據(jù)進入大數(shù)據(jù)展示平臺的報表系統(tǒng)，而在TB級數(shù)據(jù)分類和相關(guān)性數(shù)據(jù)分析方面是通過基于MapReduce框架進行編碼，以充分利用基于Hadoop海量數(shù)據(jù)分布式處理的優(yōu)勢，最終的數(shù)據(jù)挖掘信息同樣進入大數(shù)據(jù)展示平臺的報表系統(tǒng)。大數(shù)據(jù)可視化:大數(shù)據(jù)可視化采用了先進的視覺展示技術(shù)以提高用戶決策體驗，如大數(shù)據(jù)地理化話務云圖渲染、KPI熱力圖呈現(xiàn)、多維雷達圖輔助分析、基于時間窗口滑動操作等。大數(shù)據(jù)算法引擎預測的最終結(jié)果數(shù)據(jù)，將通過大數(shù)據(jù)展示平臺，以數(shù)據(jù)可視化的呈現(xiàn)方式，化繁為簡、直觀通透，使得大數(shù)據(jù)信息一目了然。
[0008]2、Deeplan部署架構(gòu)大數(shù)據(jù)Deeplan平臺以業(yè)界先進的R語言+Hadoop架構(gòu)+J2EE平臺進行搭建，采用敏捷實踐方式推進項目進展。平臺采用J2EE完成針對多系統(tǒng)多廠商跨平臺的數(shù)據(jù)抽取轉(zhuǎn)換加載的ETL系統(tǒng)，以及大數(shù)據(jù)圖表化、地理化的多視角呈現(xiàn)的大數(shù)據(jù)展示平臺；在中央數(shù)據(jù)倉庫建設方面，具有高范式特征的數(shù)據(jù)利用PostgreSQL數(shù)據(jù)庫集群管理，低范式特征數(shù)據(jù)或非結(jié)構(gòu)化數(shù)據(jù)采用基于Hadoop的HBase或Hive的NoSQL數(shù)據(jù)庫管理，非結(jié)構(gòu)化數(shù)據(jù)經(jīng)過大數(shù)據(jù)算法引擎處理后，梳理出有價值數(shù)據(jù)最終進入PostgreSQL數(shù)據(jù)庫集群，進而供大數(shù)據(jù)可視化模塊進行展示。
[0009]Deeplan平臺性能具有:1、系統(tǒng)存儲能力:支持結(jié)構(gòu)與非結(jié)構(gòu)化TB甚至PB級數(shù)據(jù)規(guī)模，并且支持Hadoop大數(shù)據(jù)平臺與傳統(tǒng)數(shù)據(jù)庫共存；2、系統(tǒng)響應能力:ETL(EXtraCt1n、Transformat1n、Loading)數(shù)據(jù)平臺加載地市級運營商規(guī)模的一周話務統(tǒng)計歷史數(shù)據(jù)不超過4小時，每次算法訓練收斂小于10s，單社區(qū)預測小于ls;3、系統(tǒng)可靠性:基于Hadoop架構(gòu)搭建系統(tǒng)框架，并以離散和低耦合的方式裝載、分配各算法運算單元。采用了可靠的分布式部署方案，在保證運算能力的前提下，也極大的提升了系統(tǒng)的可靠性及健壯度;4、網(wǎng)絡兼容性:支持第四代移動通信網(wǎng)絡4G LTE系統(tǒng)所有KPI和話務統(tǒng)計指標，并具備向下(2G、3G)向上(5G)延伸的能力；5、算法準確度:大數(shù)據(jù)算法對各個KPI指標的分析與預測結(jié)果保證有95%以上的準確率;6、算法健壯度:算法可推廣到其他網(wǎng)絡，保證模型準確率推廣到其他網(wǎng)絡時誤差率抬升不超過5%;7、算法動態(tài)性:采用持續(xù)改進的機器學習技術(shù)，利用最新的網(wǎng)絡數(shù)據(jù)持續(xù)改進分析結(jié)果的準確率和穩(wěn)定性，保證更新的模型在90%的準確率的基礎上得到持續(xù)提升；8、算法擴展性:可以支持愛立信、華為、中興、阿爾卡特等主流廠家的GSM、TD-SCDMA、WCDMA、LTE 系統(tǒng)。
[0010]伴隨著大數(shù)據(jù)技術(shù)的發(fā)展，對于大數(shù)據(jù)處理的數(shù)據(jù)采集也顯得尤為重要，目前市面上的數(shù)據(jù)采集裝置經(jīng)濟實用性不高、可靠性差、攜帶不方便，在使用過程中也存在一些問題，如夜間使用不方便等問題;因此，有必要研發(fā)出一種新的數(shù)據(jù)采集裝置。
【實用新型內(nèi)容】
[0011]本實用新型要解決的問題是提供一種結(jié)構(gòu)科學合理、使用方便、操作簡易的用于大數(shù)據(jù)處理的數(shù)據(jù)采集裝置。
[0012]為解決上述技術(shù)問題，本實用新型采用的技術(shù)方案是:該用于大數(shù)據(jù)處理的數(shù)據(jù)采集裝置包括有本體，所述本體上設置有蓋體，所述蓋體通過連接件所述本體活動連接;所述蓋體內(nèi)具有一凹陷區(qū)域，在所述凹陷區(qū)域設置有一固定光源，在所述凹陷區(qū)域還嵌入安裝有一分離式光源;所述本體具有一內(nèi)膽，所述內(nèi)膽與本體的邊緣具有高度差;所述內(nèi)膽上安裝有若干個數(shù)據(jù)采集接口，數(shù)據(jù)輸出接口以及顯示屏。
[0013]采用上述技術(shù)方案的用于大數(shù)據(jù)處理的數(shù)據(jù)采集裝置，本體上設置有蓋體，所述蓋體通過連接件所述本體活動連接，使得整個數(shù)據(jù)采集裝置構(gòu)成一個箱式結(jié)構(gòu)，穩(wěn)定性能好;蓋體內(nèi)具有一凹陷區(qū)域，設置該凹陷區(qū)域的目的在于，當蓋體與本體合上時，位于各自內(nèi)的部件不會接觸擠壓，又凹陷區(qū)域設置有一固定光源，在所述凹陷區(qū)域還嵌入安裝有一分離式光源，固定光