本發(fā)明涉及數(shù)據(jù)分析領(lǐng)域，具體涉及一種基于多數(shù)據(jù)源融合的ip地域類特征提取方法。

背景技術(shù)：

ip地址(internetprotocoladdress，網(wǎng)際協(xié)議地址)是網(wǎng)絡(luò)中節(jié)點(diǎn)的唯一標(biāo)識(shí)。由于ip地址具有唯一性，且是一種符合協(xié)議的地址格式，因此它更像是人們?cè)诨ヂ?lián)網(wǎng)這個(gè)“社會(huì)”的“身份證”。隨著社會(huì)與網(wǎng)絡(luò)科技的發(fā)展，互聯(lián)網(wǎng)的多數(shù)核心業(yè)務(wù)都需要對(duì)ip地址進(jìn)行精準(zhǔn)定位。但全球的ip地址數(shù)以億計(jì)，遍布于世界上每個(gè)角落，不同的ip地址可能包含了不同的地域?qū)傩裕绱笾?、?guó)家、地區(qū)、運(yùn)營(yíng)商、時(shí)區(qū)、經(jīng)緯度等。如何從這浩瀚的網(wǎng)絡(luò)中得到ip地址精準(zhǔn)的地域類屬性，是一項(xiàng)極具挑戰(zhàn)性的任務(wù)。

隨著定位技術(shù)的發(fā)展，互聯(lián)網(wǎng)上也出現(xiàn)了一些優(yōu)秀的定位數(shù)據(jù)庫(kù)，如geolite2ip地址數(shù)據(jù)庫(kù)、純真ip地址數(shù)據(jù)庫(kù)、百度ip地址數(shù)據(jù)庫(kù)、淘寶ip地址數(shù)據(jù)庫(kù)、全球ipv4地址歸屬地?cái)?shù)據(jù)庫(kù)(ipip.net)、中國(guó)行政區(qū)域經(jīng)緯度信息表等網(wǎng)絡(luò)數(shù)據(jù)庫(kù)。但這些數(shù)據(jù)庫(kù)的來源多種多樣，格式規(guī)范不統(tǒng)一，并且都有自己的局限性，比如有些只是針對(duì)特定國(guó)家的定位比較準(zhǔn)確，需要收費(fèi)，沒有規(guī)范的接口供用戶使用等。所以如何利用現(xiàn)有定位數(shù)據(jù)庫(kù)，解決現(xiàn)有數(shù)據(jù)庫(kù)定位數(shù)據(jù)沖突、定位不準(zhǔn)等問題，如何將國(guó)內(nèi)外優(yōu)秀的定位數(shù)據(jù)庫(kù)匯集到一起，構(gòu)建一套面向全球ip的地域類特征知識(shí)庫(kù)，如何構(gòu)建一個(gè)相對(duì)全面的定位數(shù)據(jù)庫(kù)，是目前亟待解決的一個(gè)問題。

技術(shù)實(shí)現(xiàn)要素：

針對(duì)現(xiàn)有技術(shù)中存在的ip地址數(shù)據(jù)庫(kù)采用各種不同的格式導(dǎo)致無法進(jìn)行數(shù)據(jù)融合的問題，本發(fā)明要解決的技術(shù)問題是提出一種基于多數(shù)據(jù)源融合的ip地域類特征提取方法。

為了解決上述問題，本發(fā)明實(shí)施例提出了一種基于多數(shù)據(jù)源融合的ip地域類特征提取方法，包括：

步驟1、基于現(xiàn)有的ip地址定位數(shù)據(jù)庫(kù)，計(jì)算每一定位數(shù)據(jù)庫(kù)的權(quán)威度；

authorityi＝coveri+concidencei；

其中authorityi為第i個(gè)定位數(shù)據(jù)庫(kù)的權(quán)威度，coveri為定位數(shù)據(jù)庫(kù)中數(shù)據(jù)占所有定位數(shù)據(jù)庫(kù)的總數(shù)居的比重；concidencei為定位數(shù)據(jù)庫(kù)與其他定位數(shù)據(jù)中數(shù)據(jù)的重合的比重；

步驟2、基于現(xiàn)有的ip地址定位數(shù)據(jù)庫(kù)，計(jì)算每一定位數(shù)據(jù)庫(kù)中定位數(shù)據(jù)的完整度；

步驟3、根據(jù)步驟1和步驟2中的每一定位數(shù)據(jù)庫(kù)的權(quán)威度和每一定位數(shù)據(jù)庫(kù)中定位數(shù)據(jù)的完整度，確定定位數(shù)據(jù)的可信度；

步驟4、根據(jù)定位數(shù)據(jù)的可信度，選取定位數(shù)據(jù)構(gòu)建ip地域類特征知識(shí)庫(kù)。

其中，步驟1中的定位數(shù)據(jù)庫(kù)的權(quán)威度通過authorityi以下方式計(jì)算：

步驟11、通過以下公式(1)計(jì)算定位數(shù)據(jù)庫(kù)的覆蓋率，其中覆蓋率為定位數(shù)據(jù)庫(kù)中數(shù)據(jù)占所有定位數(shù)據(jù)庫(kù)的總數(shù)居的比重；

其中dbi表示不同的定位數(shù)據(jù)庫(kù)，i＝1,2,……,n分別表示n種不同的定位數(shù)據(jù)庫(kù)，value表示定位數(shù)據(jù)庫(kù)中的數(shù)據(jù)數(shù)；

步驟12、通過以下公式(2)計(jì)算一個(gè)定位數(shù)據(jù)庫(kù)與其他定位數(shù)據(jù)中數(shù)據(jù)的重合的比重，作為重合率

其中，h運(yùn)算表示對(duì)集合做不去除重復(fù)元素的并運(yùn)算，b運(yùn)算表示計(jì)算某個(gè)元素在h運(yùn)算結(jié)果中的個(gè)數(shù)，count運(yùn)算表示h運(yùn)算結(jié)果中所有元素的個(gè)數(shù)，m表示數(shù)據(jù)庫(kù)中包含網(wǎng)段的個(gè)數(shù)；

則定位數(shù)據(jù)庫(kù)權(quán)威度為：

authorityi＝coveri+concidencei。

其中，步驟2中的定位數(shù)據(jù)的完整度通過以下方法計(jì)算：

步驟21、從ip地域類屬性的12種指標(biāo)中選擇至少一個(gè)指標(biāo)作為評(píng)價(jià)指標(biāo)，以建立定位數(shù)據(jù)完整度integrity評(píng)價(jià)指標(biāo)l元組e<e1,e2,……,el>；其中所述12種指標(biāo)包括：ip地址所屬網(wǎng)段、大洲、大洲id、國(guó)家、國(guó)家id、一級(jí)行政區(qū)域、二級(jí)行政區(qū)域、三級(jí)行政區(qū)域、互聯(lián)網(wǎng)服務(wù)提供商、時(shí)區(qū)、經(jīng)度、緯度。

步驟22、基于評(píng)價(jià)指標(biāo)l元組e<e1,e2,……,el>，利用如下公式計(jì)算定位數(shù)據(jù)的完整度integrity：

其中：interityip,i表示ip地址ip在第i個(gè)定位數(shù)據(jù)庫(kù)中的定位數(shù)據(jù)完整度，wj(i＝1,2,……,l)為各個(gè)評(píng)價(jià)指標(biāo)特征的權(quán)值系數(shù)，滿足

wj>0

其中，表示ip地址ip在第i個(gè)定位數(shù)據(jù)庫(kù)的第j個(gè)特征指標(biāo)的值，其計(jì)算公式如下：

其中，定位數(shù)據(jù)的可信度通過以下方法計(jì)算：

通過定位數(shù)據(jù)庫(kù)的權(quán)威度和定位數(shù)據(jù)的完整度計(jì)算定位數(shù)據(jù)的可信度：

credibility(ipvalue(x,i))＝interityip,i*authorityi

其中credibility(ipvalue(x,i))表示ip地址為ip的特征指標(biāo)x在第i個(gè)定位數(shù)據(jù)庫(kù)中的定位數(shù)據(jù)值的可信度，interityip,i表示ip地址為ip在第i個(gè)定位數(shù)據(jù)庫(kù)中的定位數(shù)據(jù)的完整度，authorityi表示第i個(gè)定位數(shù)據(jù)庫(kù)的權(quán)威度；

其中，對(duì)于ip地址為ip的特征指標(biāo)x的可信度計(jì)算如下所示：

其中j∈[1,n]，表示特征指標(biāo)x的不去重的取值個(gè)數(shù)；而對(duì)于重復(fù)的屬性取值即當(dāng)ipvalue(x)＝ipvalue(x,i)，則特征指標(biāo)x的可信度為所有重復(fù)屬性值的可信度之和，可以看作特征指標(biāo)x的加權(quán)投票可信度，max運(yùn)算表示取加權(quán)投票可信度的最大值。

其中，步驟4具體包括：基于定位數(shù)據(jù)的可信度，對(duì)ip地址的地域類特征的進(jìn)行篩選，并構(gòu)建ip地域類特征知識(shí)庫(kù)。

本發(fā)明的上述技術(shù)方案的有益效果如下：上述技術(shù)方案提出了一種基于多數(shù)據(jù)源融合的ip地域類特征提取方法，其具有以下優(yōu)勢(shì)：

1、針對(duì)互聯(lián)網(wǎng)上多種定位數(shù)據(jù)庫(kù)數(shù)據(jù)結(jié)構(gòu)不統(tǒng)一以及定位沖突的問題，本發(fā)明將ip地域類特征表示為九元組的形式，利用國(guó)內(nèi)外定位數(shù)據(jù)庫(kù)的分層特性和ip定位數(shù)據(jù)，提出了一種基于多數(shù)據(jù)源的ip地域類特征提取方法。該方法通過計(jì)算定位數(shù)據(jù)的可信度(credibility)實(shí)現(xiàn)ip地域類特征的提取，定位數(shù)據(jù)可信度的確定則依賴于定位數(shù)據(jù)庫(kù)的權(quán)威度(authority)和定位數(shù)據(jù)的完整度(integrity)。

2、針對(duì)定位數(shù)據(jù)庫(kù)權(quán)威度的計(jì)算問題，本發(fā)明通過分析國(guó)內(nèi)外主流ip定位數(shù)據(jù)庫(kù)的結(jié)構(gòu)及各數(shù)據(jù)庫(kù)之間的數(shù)據(jù)差異，提出了一種基于ip定位數(shù)據(jù)庫(kù)之間差異的權(quán)威度評(píng)價(jià)方法。

3、針對(duì)定位數(shù)據(jù)完整度的計(jì)算問題，本發(fā)明基于ip地域類特征的九元組表示方法，構(gòu)建了一種定位數(shù)據(jù)完整度的定量評(píng)估模型。

4、針對(duì)定位數(shù)據(jù)可信度評(píng)價(jià)中多源數(shù)據(jù)庫(kù)定位數(shù)據(jù)沖突問題，本發(fā)明考慮數(shù)據(jù)庫(kù)權(quán)威度和定位數(shù)據(jù)完整度兩項(xiàng)指標(biāo)，利用加權(quán)投票機(jī)制算法，提出了一種多特征多模態(tài)的可信度定量評(píng)價(jià)模型，實(shí)現(xiàn)了定位數(shù)據(jù)庫(kù)可信度的定量計(jì)算。

5、針對(duì)目前國(guó)內(nèi)外ip地域類屬性的差異，提出了一種基于定位數(shù)據(jù)可信度的ip地域類特征篩選算法，構(gòu)建了一套面向全球ip的地域類特征知識(shí)庫(kù)。

附圖說明

圖1為本發(fā)明實(shí)施例的基于多數(shù)據(jù)源融合的ip地域類特征提取方法

具體實(shí)施方式

為使本發(fā)明要解決的技術(shù)問題、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合附圖及具體實(shí)施例進(jìn)行詳細(xì)描述。

本發(fā)明根據(jù)ip地域類特征的組成結(jié)構(gòu)，通過對(duì)互聯(lián)網(wǎng)中現(xiàn)有的多個(gè)定位數(shù)據(jù)庫(kù)(在本發(fā)明實(shí)施例中采用五個(gè)最常見淘寶ip地址庫(kù)、純真ip地址庫(kù)、新浪ip地址庫(kù)、百度地址數(shù)據(jù)庫(kù)、全球ipv4地址歸屬地?cái)?shù)據(jù)庫(kù)ipip.net)與中國(guó)行政區(qū)域經(jīng)緯度信息表進(jìn)行分析，實(shí)現(xiàn)對(duì)國(guó)內(nèi)外ip地域類特征的提取，提出了一種基于多數(shù)據(jù)源的ip地域類特征提取方法，最終構(gòu)建一套面向全球ip的地域類特征知識(shí)庫(kù)。本發(fā)明通過計(jì)算定位數(shù)據(jù)的可信度(credibility)，選取定位數(shù)據(jù)可信度較高的定位數(shù)據(jù)作為定位結(jié)果，最終實(shí)現(xiàn)ip地域類特征的提取。而定位數(shù)據(jù)可信度的計(jì)算則依賴于定位數(shù)據(jù)庫(kù)的權(quán)威度(authority)和定位數(shù)據(jù)的完整度(integrity)兩項(xiàng)指標(biāo)。

本發(fā)明實(shí)施例的基于多數(shù)據(jù)源的ip地域類特征提取方法，其流程如圖1所示的，包括：

步驟1、基于現(xiàn)有的ip地址定位數(shù)據(jù)庫(kù)，計(jì)算每一定位數(shù)據(jù)庫(kù)的權(quán)威度；

authorityi＝coveri+concidencei；

其中authorityi為第i個(gè)定位數(shù)據(jù)庫(kù)的權(quán)威度，coveri為定位數(shù)據(jù)庫(kù)中數(shù)據(jù)占所有定位數(shù)據(jù)庫(kù)的總數(shù)居的比重；concidencei為定位數(shù)據(jù)庫(kù)與其他定位數(shù)據(jù)中數(shù)據(jù)的重合的比重；

步驟2、基于現(xiàn)有的ip地址定位數(shù)據(jù)庫(kù)，計(jì)算每一定位數(shù)據(jù)庫(kù)中定位數(shù)據(jù)的完整度；

步驟3、根據(jù)步驟1和步驟2中的每一定位數(shù)據(jù)庫(kù)的權(quán)威度和每一定位數(shù)據(jù)庫(kù)中定位數(shù)據(jù)的完整度，確定定位數(shù)據(jù)的可信度；

步驟4、根據(jù)定位數(shù)據(jù)的可信度，選取定位數(shù)據(jù)構(gòu)建ip地域類特征知識(shí)庫(kù)。

其中，定位數(shù)據(jù)庫(kù)的權(quán)威度通過authorityi以下方式計(jì)算：

步驟11、通過以下公式(1)計(jì)算定位數(shù)據(jù)庫(kù)的覆蓋率，其中覆蓋率為定位數(shù)據(jù)庫(kù)中數(shù)據(jù)占所有定位數(shù)據(jù)庫(kù)的總數(shù)居的比重；

其中dbi表示不同的定位數(shù)據(jù)庫(kù)，i＝1,2,……,n分別表示n種不同的定位數(shù)據(jù)庫(kù)，value表示定位數(shù)據(jù)庫(kù)中的數(shù)據(jù)數(shù)。在本發(fā)明實(shí)施例中，由于采用了現(xiàn)有的5個(gè)最常見的ip地址數(shù)據(jù)庫(kù)，因此n＝5；

步驟12、通過以下公式(2)計(jì)算一個(gè)定位數(shù)據(jù)庫(kù)與其他定位數(shù)據(jù)中數(shù)據(jù)的重合的比重，作為重合率

本發(fā)明實(shí)施例中可以通過網(wǎng)段為單位，計(jì)算定位數(shù)據(jù)庫(kù)之間的重合率；

其中，h運(yùn)算表示對(duì)集合做不去除重復(fù)元素的并運(yùn)算，b運(yùn)算表示計(jì)算某個(gè)元素在h運(yùn)算結(jié)果中的個(gè)數(shù)，count運(yùn)算表示h運(yùn)算結(jié)果中所有元素的個(gè)數(shù)，m表示數(shù)據(jù)庫(kù)中包含網(wǎng)段的個(gè)數(shù)；

例如：n種定位數(shù)據(jù)庫(kù)對(duì)某一網(wǎng)段ip的某一個(gè)屬性x的數(shù)據(jù)值分別為a,b,a,c,a，則：

即集合中一共有5個(gè)元素；

即其中重復(fù)的元素?cái)?shù)為3；含有3個(gè)a

即包含a,b,a,c,a這5個(gè)元素

則定位數(shù)據(jù)庫(kù)權(quán)威度為：

authorityi＝coveri+concidencei。

其中，步驟2中的定位數(shù)據(jù)的完整度通過以下方法計(jì)算：

ip地域類屬性具有以下12種指標(biāo)：ip地址所屬網(wǎng)段、大洲、大洲id、國(guó)家、國(guó)家id、一級(jí)行政區(qū)域(對(duì)應(yīng)國(guó)內(nèi)的省或直轄市)、二級(jí)行政區(qū)域(對(duì)應(yīng)國(guó)內(nèi)的地級(jí)市或相當(dāng)區(qū)域)、三級(jí)行政區(qū)域(對(duì)應(yīng)國(guó)內(nèi)的縣或相當(dāng)區(qū)域)、互聯(lián)網(wǎng)服務(wù)提供商(isp)、時(shí)區(qū)、經(jīng)度、緯度。

在本發(fā)明實(shí)施例中，可以將這12種指標(biāo)進(jìn)行合并，只保留如表1所示的9種指標(biāo)，以建立定位數(shù)據(jù)完整度(integrity)評(píng)價(jià)指標(biāo)l元組e<e1,e2,……,el>，對(duì)應(yīng)映射表如表1所示：

表1ip地域類特征

表1中是采用九元組的方式，這只是本發(fā)明實(shí)施例的一種實(shí)現(xiàn)方式，可以任意多個(gè)指標(biāo)，本發(fā)明實(shí)施例并不對(duì)此做出限定?；谠u(píng)價(jià)指標(biāo)l元組e<e1,e2,……,el>，構(gòu)建定位數(shù)據(jù)完整度(integrity)的計(jì)算公式如下：

如表1所示的例子中用了9種指標(biāo)，因此l＝9。

其中：interityip,i表示ip地址ip在第i個(gè)定位數(shù)據(jù)庫(kù)中的定位數(shù)據(jù)完整度，wj(i＝1,2,……,l)為各個(gè)評(píng)價(jià)指標(biāo)特征的權(quán)值系數(shù)，滿足

wj>0

表示ip地址ip在第i個(gè)定位數(shù)據(jù)庫(kù)的第j個(gè)特征指標(biāo)的值，其計(jì)算公式如下：

由于特征因素的權(quán)值系數(shù)難以確定，因此采用層次分析法確定各個(gè)特征權(quán)值的方法，最終得出特征的權(quán)值依次為(0.03338，0.0512，0.0860，0.1489，0.2455，0.0860，0.0512，0.1489，0.1489)。

其中，定位數(shù)據(jù)的可信度通過以下方法計(jì)算：

本發(fā)明通過計(jì)算定位數(shù)據(jù)的可信度credibility，選取定位數(shù)據(jù)可信度較高的定位數(shù)據(jù)作為ip地域類的最終特征。而定位數(shù)據(jù)可信度的定量計(jì)算則依賴于定位數(shù)據(jù)庫(kù)的權(quán)威度和定位數(shù)據(jù)的完整度兩項(xiàng)指標(biāo)。計(jì)算公式如下：

credibility(ipvalue(x,i))＝interityiu,i*authorityi

其中credibility(ipvalue(x,i))表示ip地址為ip的特征指標(biāo)x在第i個(gè)定位數(shù)據(jù)庫(kù)中的定位數(shù)據(jù)值的可信度，interityip,i表示ip地址為ip在第i個(gè)定位數(shù)據(jù)庫(kù)中的定位數(shù)據(jù)的完整度，authorityi表示第i個(gè)定位數(shù)據(jù)庫(kù)的權(quán)威度。

其中，對(duì)于ip地址為ip的特征指標(biāo)x的可信度計(jì)算如下所示：

其中j∈[1,n]，表示特征指標(biāo)x的不去重的取值個(gè)數(shù)；而對(duì)于重復(fù)的屬性取值即當(dāng)ipvalue(x)＝ipvalue(x,i)，則特征指標(biāo)x的可信度為所有重復(fù)屬性值的可信度之和，可以看作特征指標(biāo)x的加權(quán)投票可信度，max運(yùn)算表示取加權(quán)投票可信度的最大值。

基于定位數(shù)據(jù)可信度的ip地域類知識(shí)庫(kù)的構(gòu)建

本發(fā)明提出了基于定位數(shù)據(jù)可信度對(duì)ip地址的地域類特征的篩選方法，利用定位數(shù)據(jù)可信度分別對(duì)國(guó)內(nèi)、外的ip地域類特征進(jìn)行提取，具體的提取流程如圖3所示。

(1)關(guān)于覆蓋率、重合率、權(quán)威度、完整度的計(jì)算

在基于定位數(shù)據(jù)可信度的ip地域類特征提取實(shí)際過程中，對(duì)于覆蓋率、重合率、權(quán)威度、完整度的計(jì)算過程如下：

對(duì)于覆蓋率的計(jì)算，我們將淘寶ip地址庫(kù)、純真ip地址庫(kù)、新浪ip地址庫(kù)、百度地址數(shù)據(jù)庫(kù)和全球ipv4地址歸屬地?cái)?shù)據(jù)庫(kù)ipip.net的地域信息進(jìn)行合并，提取出每個(gè)網(wǎng)段的每個(gè)地域類特征全部覆蓋的范圍，然后通過每個(gè)知識(shí)庫(kù)中地域類屬性的覆蓋范圍與合并后全部覆蓋范圍比例確定每個(gè)定位數(shù)據(jù)庫(kù)的覆蓋率。如圖4所示的，其中對(duì)國(guó)家、省份、城市的覆蓋率進(jìn)行研究后發(fā)現(xiàn)，ipip.net定位數(shù)據(jù)庫(kù)對(duì)國(guó)家、省份、城市的覆蓋率中的覆蓋率最高，百度定位數(shù)據(jù)庫(kù)的覆蓋率最低。

對(duì)于重合率的計(jì)算，我們將淘寶ip地址庫(kù)、純真ip地址庫(kù)、新浪ip地址庫(kù)、百度地址數(shù)據(jù)庫(kù)和全球ipv4地址歸屬地?cái)?shù)據(jù)庫(kù)ipip.net的地域信息進(jìn)行合并，以網(wǎng)段的地域信息記錄為單位，提取每個(gè)網(wǎng)段全部地域類記錄的所有值，然后通過每個(gè)數(shù)據(jù)庫(kù)中每個(gè)網(wǎng)段的每條記錄與全部記錄的重復(fù)個(gè)數(shù)的比率的平均值，確定每個(gè)數(shù)據(jù)庫(kù)的重合率。如圖5所示的，每個(gè)數(shù)據(jù)庫(kù)的重合率經(jīng)過計(jì)算后發(fā)現(xiàn)，ipip.net定位數(shù)據(jù)庫(kù)相對(duì)于其它數(shù)據(jù)庫(kù)，重合率較高。

對(duì)于權(quán)威度的計(jì)算，采用覆蓋率和重合率之和表示。

對(duì)于完整度的計(jì)算，通過每個(gè)ip定位數(shù)據(jù)庫(kù)中每個(gè)網(wǎng)段的地域信息中存在的地域信息屬性值的個(gè)數(shù)與本發(fā)明構(gòu)建的九元組的屬性的個(gè)數(shù)的比例來確定。

(2)關(guān)于特征篩選算法的說明

對(duì)于最終的ip地域類特征的篩選策略，本發(fā)明只定義了一條篩選策略：取所有ip地域類特征屬性值中可信度的最大值作為ip最終的地域?qū)傩灾?。通過利用完整度和權(quán)威度，發(fā)明人已經(jīng)構(gòu)建了一個(gè)大規(guī)模的ip地域類知識(shí)庫(kù)，包括國(guó)內(nèi)900萬個(gè)ip地址國(guó)外15萬個(gè)ip網(wǎng)段。其中國(guó)內(nèi)ip地域類知識(shí)庫(kù)如圖6所示，國(guó)外ip地域類知識(shí)庫(kù)如圖7所示。

以上所述是本發(fā)明的優(yōu)選實(shí)施方式，應(yīng)當(dāng)指出，對(duì)于本技術(shù)領(lǐng)域的普通技術(shù)人員來說，在不脫離本發(fā)明所述原理的前提下，還可以作出若干改進(jìn)和潤(rùn)飾，這些改進(jìn)和潤(rùn)飾也應(yīng)視為本發(fā)明的保護(hù)范圍。