本實(shí)用新型涉及大數(shù)據(jù)挖掘與分析領(lǐng)域，尤其涉及一種網(wǎng)絡(luò)輿情大數(shù)據(jù)分析一體機(jī)。

背景技術(shù)：

隨著互聯(lián)網(wǎng)的快速發(fā)展，互聯(lián)網(wǎng)已經(jīng)從單純意義上的傳輸媒介轉(zhuǎn)變?yōu)橐环N信息載體。由于其具有便捷化、虛擬化和傳播快等特點(diǎn)，使得互聯(lián)網(wǎng)比傳統(tǒng)媒體擁有更廣泛影響力。憑借互聯(lián)網(wǎng)的開放性和虛擬性，網(wǎng)絡(luò)輿情的傳播范圍、波及影響和突發(fā)效應(yīng)均被互聯(lián)網(wǎng)放大。因此，對于互聯(lián)網(wǎng)輿情有效監(jiān)控就顯得十分重要了。

現(xiàn)有網(wǎng)絡(luò)輿情采集分析系統(tǒng)，在網(wǎng)絡(luò)輿情分析的效率和準(zhǔn)確性上存在很大的不足，分析的深度和廣度也達(dá)不到需求，采集公司內(nèi)部輿情時往往要改變內(nèi)網(wǎng)的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)，影響核心交換機(jī)的網(wǎng)絡(luò)性能。

技術(shù)實(shí)現(xiàn)要素：

本實(shí)用新型目的在于提供一種網(wǎng)絡(luò)輿情大數(shù)據(jù)分析一體機(jī)，以解決現(xiàn)有網(wǎng)絡(luò)輿情采集分析效率低下及準(zhǔn)確性差，分析的深度和廣度也達(dá)不到需求且采集公司內(nèi)部輿情時往往要改變內(nèi)網(wǎng)的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)的缺陷。

為實(shí)現(xiàn)上述目的，本實(shí)用新型提出了一種網(wǎng)絡(luò)輿情大數(shù)據(jù)分析一體機(jī)：包括以太網(wǎng)交換機(jī)、內(nèi)部網(wǎng)絡(luò)輿情數(shù)據(jù)采集服務(wù)器、外部網(wǎng)絡(luò)輿情數(shù)據(jù)采集服務(wù)器、SPARK網(wǎng)絡(luò)輿情大數(shù)據(jù)分析集群主節(jié)點(diǎn)和SPARK網(wǎng)絡(luò)輿情大數(shù)據(jù)分析集群子節(jié)點(diǎn)，以太網(wǎng)交換機(jī)分別與內(nèi)部網(wǎng)絡(luò)輿情數(shù)據(jù)采集服務(wù)器和外部網(wǎng)絡(luò)輿情數(shù)據(jù)采集服務(wù)器連接，以太網(wǎng)交換機(jī)分別與SPARK網(wǎng)絡(luò)輿情大數(shù)據(jù)分析集群主節(jié)點(diǎn)和SPARK網(wǎng)絡(luò)輿情大數(shù)據(jù)分析集群子節(jié)點(diǎn)連接。

進(jìn)一步地，內(nèi)部網(wǎng)絡(luò)輿情數(shù)據(jù)采集服務(wù)器與內(nèi)網(wǎng)核心交換機(jī)連接，外部網(wǎng)絡(luò)輿情數(shù)據(jù)采集服務(wù)器與外網(wǎng)接入交換機(jī)連接。

進(jìn)一步地，內(nèi)部網(wǎng)絡(luò)輿情數(shù)據(jù)采集服務(wù)器配備2個萬兆網(wǎng)卡，外部網(wǎng)絡(luò)輿情數(shù)據(jù)采集服務(wù)器配備2個萬兆網(wǎng)卡，SPARK網(wǎng)絡(luò)輿情大數(shù)據(jù)分析集群主節(jié)點(diǎn)配備1個萬兆網(wǎng)卡，SPARK網(wǎng)絡(luò)輿情大數(shù)據(jù)分析集群子節(jié)點(diǎn)配備1個萬兆網(wǎng)卡。

進(jìn)一步地，內(nèi)網(wǎng)核心交換機(jī)與網(wǎng)絡(luò)出口設(shè)備相連的以太網(wǎng)端口設(shè)置為鏡像源端口，內(nèi)網(wǎng)核心交換機(jī)與內(nèi)部網(wǎng)絡(luò)輿情數(shù)據(jù)采集服務(wù)器連接的以太網(wǎng)端口設(shè)置為鏡像目標(biāo)端口。

進(jìn)一步地，SPARK網(wǎng)絡(luò)輿情大數(shù)據(jù)分析集群主節(jié)點(diǎn)和SPARK網(wǎng)絡(luò)輿情大數(shù)據(jù)分析集群子節(jié)點(diǎn)均采用SPARK2.0大數(shù)據(jù)處理平臺技術(shù)進(jìn)行輿情分析。

進(jìn)一步地，以太網(wǎng)交換機(jī)為萬兆以太網(wǎng)交換機(jī)。

本實(shí)用新型具有以下有益效果：

硬件結(jié)構(gòu)緊湊、空間利用率高、能耗低，可遠(yuǎn)程運(yùn)維。集成了內(nèi)部網(wǎng)絡(luò)、外部網(wǎng)絡(luò)的網(wǎng)絡(luò)輿情數(shù)據(jù)資源，實(shí)現(xiàn)了數(shù)據(jù)采集的自動化。運(yùn)用SPARK2.0大數(shù)據(jù)分析集群及機(jī)器學(xué)習(xí)算法，可同時離線分析、在線分析網(wǎng)絡(luò)輿情信息。對單位原有網(wǎng)絡(luò)架構(gòu)不會產(chǎn)生影響，不會造成網(wǎng)絡(luò)擁塞。

下面將參照附圖，對本實(shí)用新型作進(jìn)一步詳細(xì)的說明。

附圖說明

構(gòu)成本申請的一部分的附圖用來提供對本實(shí)用新型的進(jìn)一步理解，本實(shí)用新型的示意性實(shí)施例及其說明用于解釋本實(shí)用新型，并不構(gòu)成對本實(shí)用新型的不當(dāng)限定。在附圖中：

圖1是本實(shí)用新型優(yōu)選實(shí)施例的網(wǎng)絡(luò)輿情大數(shù)據(jù)分析一體機(jī)的設(shè)備連接關(guān)系圖；

圖2是本實(shí)用新型優(yōu)選實(shí)施例的網(wǎng)絡(luò)輿情大數(shù)據(jù)分析一體機(jī)的硬件系統(tǒng)結(jié)構(gòu)組成圖。

圖中各標(biāo)號表示：

1、以太網(wǎng)交換機(jī)；2、內(nèi)部網(wǎng)絡(luò)輿情數(shù)據(jù)采集服務(wù)器；3、外部網(wǎng)絡(luò)輿情數(shù)據(jù)采集服務(wù)器；4、內(nèi)網(wǎng)核心交換機(jī)；5、外網(wǎng)接入交換機(jī)；6、SPARK網(wǎng)絡(luò)輿情大數(shù)據(jù)分析集群主節(jié)點(diǎn)；7、SPARK網(wǎng)絡(luò)輿情大數(shù)據(jù)分析集群子節(jié)點(diǎn)。

具體實(shí)施方式

以下結(jié)合附圖對本實(shí)用新型的實(shí)施例進(jìn)行詳細(xì)說明，但是本實(shí)用新型可以由權(quán)利要求限定和覆蓋的多種不同方式實(shí)施。

如圖1所示，一種網(wǎng)絡(luò)輿情大數(shù)據(jù)分析一體機(jī)，包括以太網(wǎng)交換機(jī)1、內(nèi)部網(wǎng)絡(luò)輿情數(shù)據(jù)采集服務(wù)器2、外部網(wǎng)絡(luò)輿情數(shù)據(jù)采集服務(wù)器3、SPARK網(wǎng)絡(luò)輿情大數(shù)據(jù)分析集群主節(jié)點(diǎn)6和SPARK網(wǎng)絡(luò)輿情大數(shù)據(jù)分析集群子節(jié)點(diǎn)7，以太網(wǎng)交換機(jī)1分別與內(nèi)部網(wǎng)絡(luò)輿情數(shù)據(jù)采集服務(wù)器2和外部網(wǎng)絡(luò)輿情數(shù)據(jù)采集服務(wù)器3連接，以太網(wǎng)交換機(jī)1分別與SPARK網(wǎng)絡(luò)輿情大數(shù)據(jù)分析集群主節(jié)點(diǎn)6和SPARK網(wǎng)絡(luò)輿情大數(shù)據(jù)分析集群子節(jié)點(diǎn)7連接。內(nèi)部網(wǎng)絡(luò)輿情數(shù)據(jù)采集服務(wù)器2、外部網(wǎng)絡(luò)輿情數(shù)據(jù)采集服務(wù)器3均可選用1U的華為FusionServer RH1288 V3機(jī)架服務(wù)器并額外各配備2個萬兆網(wǎng)卡，內(nèi)部網(wǎng)絡(luò)輿情數(shù)據(jù)采集服務(wù)器2通過內(nèi)部網(wǎng)絡(luò)輿情數(shù)據(jù)采集軟件子系統(tǒng)完成內(nèi)網(wǎng)輿情數(shù)據(jù)的采集方案設(shè)置、數(shù)據(jù)存儲和數(shù)據(jù)發(fā)送，外部網(wǎng)絡(luò)輿情數(shù)據(jù)采集服務(wù)器3通過外部網(wǎng)絡(luò)輿情數(shù)據(jù)采集軟件子系統(tǒng)，完成外網(wǎng)輿情數(shù)據(jù)的采集方案設(shè)置、數(shù)據(jù)采集、數(shù)據(jù)存儲和數(shù)據(jù)發(fā)送，數(shù)據(jù)采集子模塊采用網(wǎng)絡(luò)爬蟲全天候自動收集，收集策略可以自定義。SPARK網(wǎng)絡(luò)輿情大數(shù)據(jù)分析集群主節(jié)點(diǎn)6和SPARK網(wǎng)絡(luò)輿情大數(shù)據(jù)分析集群子節(jié)點(diǎn)7均可選用1U的華為FusionServer RH1288 V3機(jī)架服務(wù)器并額外各配備1個萬兆網(wǎng)卡。SPARK網(wǎng)絡(luò)輿情大數(shù)據(jù)分析集群基于Hadoop+SPARK大數(shù)據(jù)分析架構(gòu)，通過SPARK網(wǎng)絡(luò)輿情大數(shù)據(jù)分析軟件子系統(tǒng)，完成內(nèi)、外網(wǎng)輿情數(shù)據(jù)的分析方案設(shè)置、數(shù)據(jù)存儲、數(shù)據(jù)分析、數(shù)據(jù)呈現(xiàn)、網(wǎng)絡(luò)輿情告警和輸出網(wǎng)絡(luò)輿情分析報告，在網(wǎng)絡(luò)輿情機(jī)器學(xué)習(xí)算法的支持下，對歷史數(shù)據(jù)和實(shí)時數(shù)據(jù)開展網(wǎng)絡(luò)輿情分析。

進(jìn)一步地，內(nèi)部網(wǎng)絡(luò)輿情數(shù)據(jù)采集服務(wù)器2與內(nèi)網(wǎng)核心交換機(jī)4連接。內(nèi)部網(wǎng)絡(luò)輿情數(shù)據(jù)采集服務(wù)器2與內(nèi)網(wǎng)核心交換機(jī)4連接用于方便、高效和完整地采集到內(nèi)、外網(wǎng)之間的網(wǎng)絡(luò)通訊原始數(shù)據(jù)，優(yōu)于普通的網(wǎng)絡(luò)監(jiān)聽和抓包分析方法。通過內(nèi)部網(wǎng)絡(luò)輿情數(shù)據(jù)采集軟件子系統(tǒng)完成內(nèi)網(wǎng)輿情數(shù)據(jù)的采集方案設(shè)置、數(shù)據(jù)存儲和數(shù)據(jù)發(fā)送。

進(jìn)一步地，外部網(wǎng)絡(luò)輿情數(shù)據(jù)采集服務(wù)器3與外網(wǎng)接入交換機(jī)5連接。外部網(wǎng)絡(luò)輿情數(shù)據(jù)采集服務(wù)器3有可訪問外部公共網(wǎng)絡(luò)的網(wǎng)絡(luò)接口，通過外部網(wǎng)絡(luò)輿情數(shù)據(jù)采集軟件子系統(tǒng)，完成外網(wǎng)輿情數(shù)據(jù)的采集方案設(shè)置、數(shù)據(jù)采集、數(shù)據(jù)存儲和數(shù)據(jù)發(fā)送，數(shù)據(jù)采集子模塊采用網(wǎng)絡(luò)爬蟲全天候自動收集，收集策略可以自定義。

進(jìn)一步地，內(nèi)部網(wǎng)絡(luò)輿情數(shù)據(jù)采集服務(wù)器2額外配備2個萬兆網(wǎng)卡，外部網(wǎng)絡(luò)輿情數(shù)據(jù)采集服務(wù)器3額外配備2個萬兆網(wǎng)卡，SPARK網(wǎng)絡(luò)輿情大數(shù)據(jù)分析集群主節(jié)點(diǎn)6額外配備1個萬兆網(wǎng)卡，SPARK網(wǎng)絡(luò)輿情大數(shù)據(jù)分析集群子節(jié)點(diǎn)7額外配備1個萬兆網(wǎng)卡。額外配備的網(wǎng)卡以滿足系統(tǒng)的網(wǎng)絡(luò)配置需求。

進(jìn)一步地，內(nèi)網(wǎng)核心交換機(jī)4與網(wǎng)絡(luò)出口設(shè)備相連的以太網(wǎng)端口設(shè)置為鏡像源端口，內(nèi)網(wǎng)核心交換機(jī)4與內(nèi)部網(wǎng)絡(luò)輿情數(shù)據(jù)采集服務(wù)器2連接的以太網(wǎng)端口設(shè)置為鏡像目標(biāo)端口。在不改變內(nèi)網(wǎng)的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)，也沒有影響核心交換機(jī)的網(wǎng)絡(luò)性能的前提下方便、高效和完整地采集到內(nèi)、外網(wǎng)之間的網(wǎng)絡(luò)通訊原始數(shù)據(jù)，優(yōu)于普通的網(wǎng)絡(luò)監(jiān)聽和抓包分析方法。

進(jìn)一步地，SPARK網(wǎng)絡(luò)輿情大數(shù)據(jù)分析集群主節(jié)點(diǎn)6和SPARK網(wǎng)絡(luò)輿情大數(shù)據(jù)分析集群子節(jié)點(diǎn)7均采用SPARK2.0大數(shù)據(jù)處理平臺技術(shù)進(jìn)行輿情分析。使得深度學(xué)習(xí)算法、聚類算法和分類算法等機(jī)器學(xué)習(xí)方法在大數(shù)據(jù)集群平臺下能分布式并行運(yùn)行，提高了網(wǎng)絡(luò)輿情分析的效率和準(zhǔn)確性，同時分析結(jié)果的深度和廣度也得到提高。

進(jìn)一步地，以太網(wǎng)交換機(jī)1為萬兆以太網(wǎng)交換機(jī)?？蛇x用華為S6720-30C-EI-24S-AC，保證網(wǎng)絡(luò)收發(fā)數(shù)據(jù)的暢通。

如圖2所示，可采用華為FusionModule500微型智能微模塊數(shù)據(jù)中心一體柜放置所有設(shè)備，連接一體機(jī)內(nèi)各設(shè)備的網(wǎng)絡(luò)線路及電源線路。配置單位內(nèi)網(wǎng)核心交換機(jī)4，將該交換機(jī)與防火墻等網(wǎng)絡(luò)出口設(shè)備連接的以太網(wǎng)端口設(shè)置為端口鏡像模式。如圖1所示將鏡像以太網(wǎng)端口與內(nèi)部網(wǎng)絡(luò)輿情數(shù)據(jù)采集服務(wù)器2的網(wǎng)卡通過以太網(wǎng)線路連接，并設(shè)置其IP地址。將外網(wǎng)線路與外部網(wǎng)絡(luò)輿情數(shù)據(jù)采集服務(wù)器3的網(wǎng)卡連接，并設(shè)置其IP地址。將內(nèi)部網(wǎng)絡(luò)輿情數(shù)據(jù)采集服務(wù)器2的網(wǎng)卡、外部網(wǎng)絡(luò)輿情數(shù)據(jù)采集服務(wù)器3的網(wǎng)卡、SPARK網(wǎng)絡(luò)輿情大數(shù)據(jù)分析集群主節(jié)點(diǎn)6及子節(jié)點(diǎn)的網(wǎng)卡通過以太網(wǎng)線路與萬兆以太網(wǎng)交換機(jī)相連。設(shè)置SPARK網(wǎng)絡(luò)輿情大數(shù)據(jù)分析集群主節(jié)點(diǎn)6及子節(jié)點(diǎn)的IP地址。運(yùn)行SPARK網(wǎng)絡(luò)輿情大數(shù)據(jù)分析集群主節(jié)點(diǎn)6的SPARK網(wǎng)絡(luò)輿情大數(shù)據(jù)分析集群配置管理軟件，設(shè)置數(shù)據(jù)采集與集群的基本參數(shù)、數(shù)據(jù)分析報告的輸出參數(shù)，啟動數(shù)據(jù)分析。

綜上，本實(shí)施列公開的一種網(wǎng)絡(luò)輿情大數(shù)據(jù)分析一體機(jī)，硬件結(jié)構(gòu)緊湊、空間利用率高、能耗低，可遠(yuǎn)程運(yùn)維。集成了內(nèi)部網(wǎng)絡(luò)、外部網(wǎng)絡(luò)的網(wǎng)絡(luò)輿情數(shù)據(jù)資源，實(shí)現(xiàn)了數(shù)據(jù)采集的自動化。運(yùn)用SPARK2.0大數(shù)據(jù)分析集群及機(jī)器學(xué)習(xí)算法，可同時離線分析、在線分析網(wǎng)絡(luò)輿情信息。對原有網(wǎng)絡(luò)架構(gòu)不會產(chǎn)生影響，不會造成網(wǎng)絡(luò)擁塞。

以上所述僅為本實(shí)用新型的優(yōu)選實(shí)施例而已，并不用于限制本實(shí)用新型，對于本領(lǐng)域的技術(shù)人員來說，本實(shí)用新型可以有各種更改和變化。凡在本實(shí)用新型的精神和原則之內(nèi)，所作的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本實(shí)用新型的保護(hù)范圍之內(nèi)。