互聯(lián)網(wǎng)地理信息爬蟲技術(shù)研究與應(yīng)用.pdf

1、傳統(tǒng)地理信息數(shù)據(jù)采集通常是通過國家地理信息普查、實地勘察等方式獲取數(shù)據(jù)。然而，隨著社會的不斷發(fā)展，居民區(qū)、道路等因素的不斷變化，這種數(shù)據(jù)采集形式中數(shù)據(jù)成本高、工作量大、效率和時效性低等問題日漸突出?；ヂ?lián)網(wǎng)的不斷發(fā)展，互聯(lián)網(wǎng)上交織的地理數(shù)據(jù)與日俱增，這些數(shù)據(jù)中隱藏著豐富的知識。從互聯(lián)網(wǎng)中抓取相關(guān)的地理數(shù)據(jù)成為了地理信息來源的一個新渠道。
　　互聯(lián)網(wǎng)中蘊含著大量的地理信息數(shù)據(jù)，爬蟲技術(shù)的誕生在一定程度上解決了 Web數(shù)據(jù)獲取的難題，但

2、一般的通用爬蟲很難對互聯(lián)網(wǎng)中存在的地理信息進行有效的爬取?；ヂ?lián)網(wǎng)地理信息爬行技術(shù)在總結(jié)歸納通用爬蟲技術(shù)的基礎(chǔ)上，不追求大的覆蓋，將目標(biāo)定為抓取與互聯(lián)網(wǎng)地理信息內(nèi)容相關(guān)的網(wǎng)絡(luò)數(shù)據(jù)，使抓取工作更具針對性，通過互聯(lián)網(wǎng)地理信息爬蟲技術(shù)解決地理信息采集工作中數(shù)據(jù)成本高、工作量大、效率和時效性低等問題。
　　本文的主要研究如下：
　?。?）分析歸納互聯(lián)網(wǎng)地理信息承載網(wǎng)站特點。結(jié)合瀏覽器工作原理，通過分析互聯(lián)網(wǎng)地理信息承載網(wǎng)站的信息交互和

3、展示方式，按照瀏覽器工作原理，從爬蟲信息采集角度將淺層地理信息承載網(wǎng)站主要分為了三種類型：M-Dom類型、M-Render類型、M-Trigger類型；結(jié)合具體實驗，對深層網(wǎng)絡(luò)地理信息承載網(wǎng)站分析，重點研究了深網(wǎng)POI地理信息的承載網(wǎng)站的特點。
　?。?）互聯(lián)網(wǎng)地理信息獲取技術(shù)研究。針對淺層網(wǎng)絡(luò)地理信息采集場景，重點研究了單頁面和列表頁面的抓取方法；針對深網(wǎng) POI地理信息采集場景，總結(jié)了采集難點、采集技術(shù)，設(shè)計了兩套內(nèi)容檢索詞，