技術(shù)領(lǐng)域

本發(fā)明涉及Hadoop架構(gòu)技術(shù)，具體的說是一種基于MR大數(shù)據(jù)處理的Hadoop集群分析方法。

背景技術(shù)：

Hadoop是一個分布式系統(tǒng)基礎(chǔ)架構(gòu)，實(shí)現(xiàn)了一個分布式文件系統(tǒng)HDFS（Hadoop Distributed File System），HDFS有高容錯性的特點(diǎn)，能提供高吞吐量來訪問應(yīng)用程序的數(shù)據(jù)，適合擁有超大數(shù)據(jù)集的應(yīng)用程序。Hadoop的框架最核心的設(shè)計(jì)就是：HDFS和MapReduce。HDFS為海量的數(shù)據(jù)提供了存儲，用于存儲 Hadoop 集群中所有存儲節(jié)點(diǎn)上的文件；MapReduce則為海量的數(shù)據(jù)提供了計(jì)算。用戶可以輕松地在Hadoop這一分布式計(jì)算平臺上開發(fā)和運(yùn)行處理海量數(shù)據(jù)的應(yīng)用程序。它主要有以下幾個優(yōu)點(diǎn)：高可靠性、高擴(kuò)展性、高效性、高容錯性、低成本。

Hadoop 框架可在單一的 Linux 平臺上使用（開發(fā)和調(diào)試時(shí)），提供MiniCluster作為單元測試使用，使用存放在機(jī)架上的商業(yè)服務(wù)器發(fā)揮它的力量。這些機(jī)架組成一個 Hadoop集群。它通過集群拓?fù)渲R決定如何在整個集群中分配作業(yè)和文件。Hadoop架構(gòu)管理多個節(jié)點(diǎn)之間的數(shù)據(jù)傳輸，確保即使有一個節(jié)點(diǎn)壞掉了，系統(tǒng)仍然保有適當(dāng)?shù)墓δ堋?/p>

MR（Measurement Report，測量報(bào)告）是指信息在業(yè)務(wù)信道上每480ms（信令信道上470ms）發(fā)送一次數(shù)據(jù)，這些數(shù)據(jù)可用于網(wǎng)絡(luò)評估和優(yōu)化。測量報(bào)告中包含以下內(nèi)容：當(dāng)前小區(qū)的下行的接收電平值、話質(zhì)值（基于話質(zhì)值得切換），相鄰小區(qū)的BCCH載波的接收電平值（基于電平值的切換），鄰小區(qū)的BSIC值（切換依據(jù)），本小區(qū)的時(shí)間提前量TA（基于時(shí)間提前量的切換），功控值。

在移動通信領(lǐng)域，基于傳統(tǒng)的網(wǎng)絡(luò)優(yōu)化方法，只能通過路測、定點(diǎn)測試來獲得用戶感受信息，如網(wǎng)絡(luò)覆蓋情況、通話質(zhì)量情況等，而路測和定點(diǎn)測試往往只能對一些主干道、重點(diǎn)場所進(jìn)行測試，所獲得的采樣點(diǎn)數(shù)據(jù)相對于MR的用戶信息要少得多，因此分析的結(jié)果存在片面性。目前其他廠商都是采用原始數(shù)據(jù)庫的方式處理的，處理效率慢，周期長。MR數(shù)據(jù)已成為運(yùn)行商分析網(wǎng)絡(luò)質(zhì)量的重要數(shù)據(jù)，正在迅速的建設(shè)基于MR數(shù)據(jù)為基礎(chǔ)各類分析工具，用來支撐日常生產(chǎn)。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明針對目前技術(shù)發(fā)展的需求和不足之處，提供一種基于MR大數(shù)據(jù)處理的Hadoop集群分析方法。

本發(fā)明所述一種基于MR大數(shù)據(jù)處理的Hadoop集群分析方法，解決上述技術(shù)問題采用的技術(shù)方案如下：所述一種基于MR大數(shù)據(jù)處理的Hadoop集群分析方法，在傳統(tǒng)數(shù)據(jù)庫基礎(chǔ)上進(jìn)行Hadoop集群改造，基于Hadoop架構(gòu)搭建Hadoop集群，通過對MR數(shù)據(jù)的處理結(jié)果進(jìn)行分析，能夠分析出現(xiàn)網(wǎng)存在的重要質(zhì)量問題。

優(yōu)選的，通過對RSRP指標(biāo)的分析，分析出網(wǎng)絡(luò)中哪些區(qū)域存在弱覆蓋，或者，通過對RSRQ指標(biāo)的分析，分析出網(wǎng)絡(luò)中哪些區(qū)域覆蓋質(zhì)量差。

優(yōu)選的，通過對RSRP和RSRQ兩個指標(biāo)的綜合分析，分析出網(wǎng)絡(luò)中越區(qū)覆蓋、重復(fù)覆蓋、鄰區(qū)漏配等影響管KPI指標(biāo)和用戶感知的問題。

本發(fā)明所述一種基于MR大數(shù)據(jù)處理的Hadoop集群分析方法與現(xiàn)有技術(shù)相比具有的有益效果是：本發(fā)明基于Hadoop架構(gòu)，搭建集群，采用Hadoop集平臺架構(gòu)的優(yōu)勢，處理大量MR原始數(shù)據(jù)，縮短采集、處理、匯總時(shí)間，提升數(shù)據(jù)的應(yīng)用的時(shí)間效率；能夠有效的解決傳統(tǒng)數(shù)據(jù)庫慢的問題，客戶可以在最短的時(shí)間內(nèi)分析出網(wǎng)絡(luò)中的問題，提升了工作效率，同時(shí)在用戶未產(chǎn)生投訴的情況下及時(shí)的解決了網(wǎng)絡(luò)問題，減少了日常投訴，提升了用戶滿意度。

具體實(shí)施方式

為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚明白，以下結(jié)合具體實(shí)施例，對本發(fā)明所述一種基于MR大數(shù)據(jù)處理的Hadoop集群分析方法進(jìn)一步詳細(xì)說明。

本發(fā)明所述基于MR大數(shù)據(jù)處理的Hadoop集群分析方法，在傳統(tǒng)數(shù)據(jù)庫基礎(chǔ)上進(jìn)行Hadoop集群改造，基于Hadoop架構(gòu)搭建Hadoop集群，通過對MR數(shù)據(jù)的處理結(jié)果進(jìn)行分析，能夠分析出現(xiàn)網(wǎng)存在的重要質(zhì)量問題。通過本發(fā)明，縮短大數(shù)據(jù)采集、處理、匯總時(shí)間，能在最短的時(shí)間內(nèi)進(jìn)行數(shù)據(jù)上層呈現(xiàn)，滿足各類工具所需數(shù)據(jù)，使得用戶可以在最短時(shí)間內(nèi)分析出網(wǎng)絡(luò)中的問題，提升了工作效率。

實(shí)施例：

本實(shí)施例一種基于MR大數(shù)據(jù)處理的Hadoop集群分析方法，基于Hadoop架構(gòu)，搭建集群，通過對MR數(shù)據(jù)的處理結(jié)果進(jìn)行分析，分析出現(xiàn)網(wǎng)存在的幾個重要網(wǎng)絡(luò)質(zhì)量問題；通過對RSRP指標(biāo)的分析，分析出網(wǎng)絡(luò)中哪些區(qū)域存在弱覆蓋；通過對RSRQ指標(biāo)的分析，分析出網(wǎng)絡(luò)中哪些區(qū)域覆蓋質(zhì)量差；通過對RSRP和RSRQ兩個指標(biāo)的綜合分析，分析出網(wǎng)絡(luò)中越區(qū)覆蓋、重復(fù)覆蓋、鄰區(qū)漏配等影響管KPI指標(biāo)和用戶感知的問題。

下面以一個具體實(shí)例來說明本實(shí)施例，基于小區(qū)畫像的優(yōu)化評估過程：首先，根據(jù)MR數(shù)據(jù)動態(tài)變化，進(jìn)行網(wǎng)絡(luò)覆蓋問題區(qū)域定位，同時(shí)掌握服務(wù)小區(qū)定位及詳情，然后進(jìn)行問題區(qū)域場景識別?；贛R和信令數(shù)據(jù)制作的小區(qū)畫像來建立小區(qū)質(zhì)量檔案，分析小區(qū)的覆蓋、質(zhì)量、用戶分布、容量、工參問題等，通過小區(qū)畫像可以及時(shí)的發(fā)現(xiàn)網(wǎng)絡(luò)問題并指導(dǎo)優(yōu)化，評估小區(qū)優(yōu)化效果，預(yù)測小區(qū)發(fā)展趨勢。通過常態(tài)化的MR分析，指導(dǎo)優(yōu)化生產(chǎn)工作。

通過各小時(shí)MR數(shù)據(jù)最新變化情況，自動抓取互聯(lián)網(wǎng)POI對應(yīng)至相關(guān)場景，有針對性地進(jìn)行優(yōu)化，并在優(yōu)化效果進(jìn)行驗(yàn)證。比如，通過MR分析發(fā)現(xiàn)了網(wǎng)絡(luò)弱覆蓋區(qū)域，然后針對性地進(jìn)行優(yōu)化。然后，基于MR的仿真分析，發(fā)現(xiàn)網(wǎng)絡(luò)弱覆蓋區(qū)域，優(yōu)化之后對數(shù)據(jù)進(jìn)行驗(yàn)證。

上述具體實(shí)施方式僅是本發(fā)明的具體個案，本發(fā)明的專利保護(hù)范圍包括但不限于上述具體實(shí)施方式，任何符合本發(fā)明的權(quán)利要求書的且任何所屬技術(shù)領(lǐng)域的普通技術(shù)人員對其所做的適當(dāng)變化或替換，皆應(yīng)落入本發(fā)明的專利保護(hù)范圍。