用于確定網(wǎng)頁頁面中包括興趣點poi數(shù)據(jù)的方法及裝置的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及計算機技術(shù)領(lǐng)域，具體而言，本發(fā)明涉及一種用于確定網(wǎng)頁頁面中包括興趣點POI數(shù)據(jù)的方法及裝置。
【背景技術(shù)】
[0002]在地理信息系統(tǒng)中，一個POI (Point Of Interest，興趣點)可以是一棟房子、一個商鋪、一個郵筒、一個公交站等。POI數(shù)據(jù)包括地址信息和POI名稱。
[0003]傳統(tǒng)的POI數(shù)據(jù)采集方法，需要技術(shù)人員采用精密的測繪儀器去獲取每個POI的經(jīng)瑋度信息，然后再標(biāo)記下來，這種方法比較費時費力，導(dǎo)致通過采集得到的POI數(shù)據(jù)的數(shù)量很少，地理信息系統(tǒng)很難根據(jù)數(shù)量很少的POI數(shù)據(jù)來提供高水平的服務(wù)。
[0004]互聯(lián)網(wǎng)上存在著大量的POI數(shù)據(jù)，如果能從互聯(lián)網(wǎng)上收集包含POI數(shù)據(jù)的網(wǎng)頁，從收集的網(wǎng)頁中提取出這些POI數(shù)據(jù)供地理信息系統(tǒng)使用，則會大大節(jié)省人力和時間。但是互聯(lián)網(wǎng)上充斥著大量虛假的POI數(shù)據(jù)，比如博客網(wǎng)頁內(nèi)容中包含“原文地址:http://xxx.XXX.xxx/xxx”，雖然包含“地址”字樣，但該地址是網(wǎng)絡(luò)地址或者說是URL (Uniform ResoureLocator,統(tǒng)一資源定位器)，并不是POI數(shù)據(jù)中的地理地址信息；從而導(dǎo)致收集到的POI數(shù)據(jù)中虛假的POI數(shù)據(jù)的比例較高。

【發(fā)明內(nèi)容】

[0005]本發(fā)明針對現(xiàn)有技術(shù)的缺點，提出一種用于確定網(wǎng)頁頁面中包括興趣點POI數(shù)據(jù)的方法和裝置，用以解決現(xiàn)有技術(shù)存在的收集較多虛假的POI數(shù)據(jù)問題。
[0006]本發(fā)明根據(jù)一個方面，提供了一種用于確定網(wǎng)頁頁面中包括興趣點POI數(shù)據(jù)的方法，包括:
[0007]從互聯(lián)網(wǎng)中獲取多個POI數(shù)據(jù)；
[0008]爬取包括地址信息的多個網(wǎng)頁頁面；
[0009]將所述多個POI數(shù)據(jù)中的地址信息及所述多個網(wǎng)頁頁面包含的地址信息分別歸一化為經(jīng)瑋度信息；
[0010]基于同一經(jīng)瑋度信息，在所述多個POI數(shù)據(jù)的經(jīng)瑋度信息與多個網(wǎng)頁頁面中經(jīng)瑋度信息中進(jìn)行匹配；
[0011]對于具有相同經(jīng)瑋度信息的POI數(shù)據(jù)及網(wǎng)頁頁面，根據(jù)該POI數(shù)據(jù)對應(yīng)的POI名稱在該網(wǎng)頁頁面中進(jìn)行查找，確定該網(wǎng)頁頁面中是否包括該POI數(shù)據(jù)的POI名稱；
[0012]當(dāng)該網(wǎng)頁頁面中包括該POI數(shù)據(jù)的POI名稱時，確定該網(wǎng)頁頁面包括該興趣點POI數(shù)據(jù)。
[0013]本發(fā)明根據(jù)另一個方面，還提供了一種用于確定網(wǎng)頁頁面中包括興趣點POI數(shù)據(jù)的裝置，包括:
[0014]POI數(shù)據(jù)獲取模塊，用于從互聯(lián)網(wǎng)中獲取多個POI數(shù)據(jù)；
[0015]網(wǎng)頁頁面爬取模塊，用于爬取包括地址信息的多個網(wǎng)頁頁面；
[0016]經(jīng)瑋度信息歸一化模塊，用于將所述多個POI數(shù)據(jù)中的地址信息及所述多個網(wǎng)頁頁面包含的地址信息分別歸一化為經(jīng)瑋度信息；
[0017]經(jīng)瑋度信息匹配模塊，用于基于同一經(jīng)瑋度信息，在所述多個POI數(shù)據(jù)的經(jīng)瑋度信息與多個網(wǎng)頁頁面中經(jīng)瑋度信息中進(jìn)行匹配；
[0018]網(wǎng)頁頁面包括POI名稱確定模塊，用于對于具有相同經(jīng)瑋度信息的POI數(shù)據(jù)及網(wǎng)頁頁面，根據(jù)該POI數(shù)據(jù)對應(yīng)的POI名稱在該網(wǎng)頁頁面中進(jìn)行查找，確定該網(wǎng)頁頁面中是否包括該POI數(shù)據(jù)的POI名稱；
[0019]網(wǎng)頁頁面包括POI數(shù)據(jù)確定模塊，用于當(dāng)該網(wǎng)頁頁面中包括該POI數(shù)據(jù)的POI名稱時，確定該網(wǎng)頁頁面包括該興趣點POI數(shù)據(jù)。
[0020]本發(fā)明的技術(shù)方案中，將地址信息歸一化為經(jīng)瑋度信息，可以濾除非地理的地址信息，由于經(jīng)瑋度的唯一性，基于經(jīng)瑋度信息的匹配結(jié)果的準(zhǔn)確性，遠(yuǎn)高于現(xiàn)有的基于文本信息的匹配結(jié)果的準(zhǔn)確性，從而有利于后續(xù)避免收集到虛假地址信息的POI數(shù)據(jù)；在？01數(shù)據(jù)的經(jīng)瑋度信息與網(wǎng)頁頁面中的經(jīng)瑋度信息相匹配的基礎(chǔ)上，進(jìn)一步確定網(wǎng)頁頁面中是否包括POI數(shù)據(jù)的POI名稱，來準(zhǔn)確判斷POI數(shù)據(jù)是否被包含在同一網(wǎng)頁頁面中，有利于后續(xù)根據(jù)網(wǎng)頁頁面所記載內(nèi)容的權(quán)威性和準(zhǔn)確性，來確定收集到的POI數(shù)據(jù)的準(zhǔn)確性，進(jìn)而為大批量地收集互聯(lián)網(wǎng)中的準(zhǔn)確度較高的POI數(shù)據(jù)提供可靠保證。
[0021]本發(fā)明附加的方面和優(yōu)點將在下面的描述中部分給出，這些將從下面的描述中變得明顯，或通過本發(fā)明的實踐了解到。
【附圖說明】
[0022]本發(fā)明上述的和/或附加的方面和優(yōu)點從下面結(jié)合附圖對實施例的描述中將變得明顯和容易理解，其中:
[0023]圖1a為本發(fā)明實施例的用于確定網(wǎng)頁頁面中包括興趣點POI數(shù)據(jù)的方法的流程示意圖；
[0024]圖1b為本發(fā)明實施例的包括多個POI數(shù)據(jù)的網(wǎng)頁的示意圖；
[0025]圖2為本發(fā)明實施例的用于確定網(wǎng)頁頁面中包括興趣點POI數(shù)據(jù)的裝置的內(nèi)部結(jié)構(gòu)的框架示意圖；
[0026]圖3為本發(fā)明實施例的POI數(shù)據(jù)獲取模塊的內(nèi)部結(jié)構(gòu)的框架示意圖。
【具體實施方式】
[0027]下面詳細(xì)描述本發(fā)明的實施例，所述實施例的示例在附圖中示出，其中自始至終相同或類似的標(biāo)號表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附圖描述的實施例是示例性的，僅用于解釋本發(fā)明，而不能解釋為對本發(fā)明的限制。
[0028]本技術(shù)領(lǐng)域技術(shù)人員可以理解，除非特意聲明，這里使用的單數(shù)形式“一”、“一個”、“所述”和“該”也可包括復(fù)數(shù)形式。應(yīng)該進(jìn)一步理解的是，本發(fā)明的說明書中使用的措辭“包括”是指存在所述特征、整數(shù)、步驟、操作、元件和/或組件，但是并不排除存在或添加一個或多個其他特征、整數(shù)、步驟、操作、元件、組件和/或它們的組。應(yīng)該理解，當(dāng)我們稱元件被“連接”或“耦接”到另一元件時，它可以直接連接或耦接到其他元件，或者也可以存在中間元件。此外，這里使用的“連接”或“耦接”可以包括無線連接或無線耦接。這里使用的措辭“和/或”包括一個或更多個相關(guān)聯(lián)的列出項的全部或任一單元和全部組合。
[0029]本技術(shù)領(lǐng)域技術(shù)人員可以理解，除非另外定義，這里使用的所有術(shù)語(包括技術(shù)術(shù)語和科學(xué)術(shù)語)，具有與本發(fā)明所屬領(lǐng)域中的普通技術(shù)人員的一般理解相同的意義。還應(yīng)該理解的是，諸如通用字典中定義的那些術(shù)語，應(yīng)該被理解為具有與現(xiàn)有技術(shù)的上下文中的意義一致的意義，并且除非像這里一樣被特定定義，否則不會用理想化或過于正式的含義來解釋。
[0030]圖1a為本發(fā)明中用于確定網(wǎng)頁頁面中包括興趣點POI數(shù)據(jù)的方法的流程示意圖。
[0031]SlOl:從互聯(lián)網(wǎng)中獲取多個POI數(shù)據(jù)；S102:爬取包括地址信息的多個網(wǎng)頁頁面；S103:將多個POI數(shù)據(jù)中的地址信息及多個網(wǎng)頁頁面包含的地址信息分別歸一化為經(jīng)瑋度信息；S104:基于同一經(jīng)瑋度信息，在多個POI數(shù)據(jù)的經(jīng)瑋度信息與多個網(wǎng)頁頁面中經(jīng)瑋度信息中進(jìn)行匹配；S105:對于具有相同經(jīng)瑋度信息的POI數(shù)據(jù)及網(wǎng)頁頁面，根據(jù)該POI數(shù)據(jù)對應(yīng)的POI名稱在該網(wǎng)頁頁面中進(jìn)行查找，確定該網(wǎng)頁頁面中是否包括該POI數(shù)據(jù)的POI名稱；S106:當(dāng)該網(wǎng)頁頁面中包括該POI數(shù)據(jù)的POI名稱時，確定該網(wǎng)頁頁面包括該興趣點POI數(shù)據(jù)。
[0032]本發(fā)明的上述用于確定網(wǎng)頁頁面中包括興趣點POI數(shù)據(jù)的方法，將地址信息歸一化為經(jīng)瑋度信息，可以濾除非地理位置的地址信息，由于經(jīng)瑋度的唯一性，基于經(jīng)瑋度信息的匹配結(jié)果的準(zhǔn)確性，遠(yuǎn)高于現(xiàn)有的基于文本信息的匹配結(jié)果的準(zhǔn)確性，從而有利于后續(xù)避免收集虛假地址信息的數(shù)據(jù)；在POI數(shù)據(jù)的經(jīng)瑋度信息與網(wǎng)頁頁面中的經(jīng)瑋度信息相匹配的基礎(chǔ)上，進(jìn)一步確定網(wǎng)頁頁面中是否包括POI數(shù)據(jù)的POI名稱，來準(zhǔn)確判斷POI數(shù)據(jù)是否被包含在同一網(wǎng)頁頁面中，有利于后續(xù)根據(jù)網(wǎng)頁頁面所記載內(nèi)容的權(quán)威性和準(zhǔn)確性，來確定收集到的POI數(shù)據(jù)的準(zhǔn)確性，進(jìn)而為大批量地收集互聯(lián)網(wǎng)中的準(zhǔn)確度較高的POI數(shù)據(jù)提供可靠保證。
[0033]下面具體介紹流程示意圖如圖1a所示的用于確定網(wǎng)頁頁面中包括興趣點POI數(shù)據(jù)的方法，包括如下步驟:
[0034]SlOl:從互聯(lián)網(wǎng)中獲取多個POI數(shù)據(jù)。
[0035]具體地，利用網(wǎng)絡(luò)爬蟲類的程序，從互聯(lián)網(wǎng)中爬取多個包括POI數(shù)據(jù)的網(wǎng)頁；隨后從多個包括POI數(shù)據(jù)的網(wǎng)頁中提取多個POI數(shù)據(jù)。POI數(shù)據(jù)包括地址信息和POI名稱；優(yōu)選地，POI數(shù)據(jù)還可以包括聯(lián)系方式、郵編和網(wǎng)絡(luò)標(biāo)簽等等。
[0036]本發(fā)明的發(fā)明人發(fā)現(xiàn)，在互聯(lián)網(wǎng)中存在這樣一些網(wǎng)頁，它們中每個網(wǎng)頁的內(nèi)容包含有一個或者多個POI數(shù)據(jù)，POI數(shù)據(jù)中的地址信息包括“地址”等字樣的地址關(guān)鍵詞；并且這些網(wǎng)頁的頁面結(jié)構(gòu)特征URL格式，以及POI數(shù)據(jù)在網(wǎng)頁中的位置和格式是有規(guī)律性的。也就是說可以通過一種統(tǒng)一的方法快捷地從這些網(wǎng)頁上提取出POI數(shù)據(jù)。
[0037]較佳地，可以從互聯(lián)網(wǎng)中，爬取包括“地址”等地址關(guān)鍵詞的多個網(wǎng)頁對應(yīng)的多個URL (Uniform Resoure Locator，統(tǒng)一資源定位器)；對爬取得到的多個URL進(jìn)行pattern聚類，將具有相同結(jié)構(gòu)特征的URL聚類為同一 pattern集合。
[0038]更優(yōu)地，對于眾多包括地址關(guān)鍵詞的網(wǎng)頁中，只包括一個POI數(shù)據(jù)的網(wǎng)頁，獲取所有只包括一個POI數(shù)據(jù)的網(wǎng)頁的URL ;對獲取的所有URL進(jìn)行pattern聚類，將具有相同結(jié)構(gòu)特征的URL聚類為同一 pattern集合。
[0039]例如，眾多包括地址關(guān)鍵詞的網(wǎng)頁中，URL為http://www.aibang.com/detail/1537772035-1606201508的網(wǎng)頁中只包括“愛普生(中國)有限公司”這一 P