互聯(lián)網(wǎng)地理信息爬蟲(chóng)技術(shù)研究與應(yīng)用.pdf

1、傳統(tǒng)地理信息數(shù)據(jù)采集通常是通過(guò)國(guó)家地理信息普查、實(shí)地勘察等方式獲取數(shù)據(jù)。然而，隨著社會(huì)的不斷發(fā)展，居民區(qū)、道路等因素的不斷變化，這種數(shù)據(jù)采集形式中數(shù)據(jù)成本高、工作量大、效率和時(shí)效性低等問(wèn)題日漸突出?；ヂ?lián)網(wǎng)的不斷發(fā)展，互聯(lián)網(wǎng)上交織的地理數(shù)據(jù)與日俱增，這些數(shù)據(jù)中隱藏著豐富的知識(shí)。從互聯(lián)網(wǎng)中抓取相關(guān)的地理數(shù)據(jù)成為了地理信息來(lái)源的一個(gè)新渠道。
　　互聯(lián)網(wǎng)中蘊(yùn)含著大量的地理信息數(shù)據(jù)，爬蟲(chóng)技術(shù)的誕生在一定程度上解決了 Web數(shù)據(jù)獲取的難題，但

2、一般的通用爬蟲(chóng)很難對(duì)互聯(lián)網(wǎng)中存在的地理信息進(jìn)行有效的爬取?；ヂ?lián)網(wǎng)地理信息爬行技術(shù)在總結(jié)歸納通用爬蟲(chóng)技術(shù)的基礎(chǔ)上，不追求大的覆蓋，將目標(biāo)定為抓取與互聯(lián)網(wǎng)地理信息內(nèi)容相關(guān)的網(wǎng)絡(luò)數(shù)據(jù)，使抓取工作更具針對(duì)性，通過(guò)互聯(lián)網(wǎng)地理信息爬蟲(chóng)技術(shù)解決地理信息采集工作中數(shù)據(jù)成本高、工作量大、效率和時(shí)效性低等問(wèn)題。
　　本文的主要研究如下：
　　（1）分析歸納互聯(lián)網(wǎng)地理信息承載網(wǎng)站特點(diǎn)。結(jié)合瀏覽器工作原理，通過(guò)分析互聯(lián)網(wǎng)地理信息承載網(wǎng)站的信息交互和

3、展示方式，按照瀏覽器工作原理，從爬蟲(chóng)信息采集角度將淺層地理信息承載網(wǎng)站主要分為了三種類(lèi)型：M-Dom類(lèi)型、M-Render類(lèi)型、M-Trigger類(lèi)型；結(jié)合具體實(shí)驗(yàn)，對(duì)深層網(wǎng)絡(luò)地理信息承載網(wǎng)站分析，重點(diǎn)研究了深網(wǎng)POI地理信息的承載網(wǎng)站的特點(diǎn)。
　　（2）互聯(lián)網(wǎng)地理信息獲取技術(shù)研究。針對(duì)淺層網(wǎng)絡(luò)地理信息采集場(chǎng)景，重點(diǎn)研究了單頁(yè)面和列表頁(yè)面的抓取方法；針對(duì)深網(wǎng) POI地理信息采集場(chǎng)景，總結(jié)了采集難點(diǎn)、采集技術(shù)，設(shè)計(jì)了兩套內(nèi)容檢索詞，