基于主題爬行技術的網(wǎng)絡地理信息的分布式存儲與檢索方法研究.pdf

1、主題爬行是互聯(lián)網(wǎng)中獲取特定領域信息的重要技術,隨著網(wǎng)絡技術的不斷發(fā)展,從中獲取準確、實用、質(zhì)量較高的網(wǎng)頁信息已經(jīng)成為一個常見的難題,通用搜索引擎在爬行廣度和爬行精度方面有著嚴重的局限性,對于不同領域和不同背景的查詢條件,檢索結果的全面性和質(zhì)量并不高,因此,不能滿足當前的用戶需求。面向網(wǎng)絡地理信息的主題搜索引擎作為專業(yè)的主題檢索技術,有著領域強、精度高和速度快等特點,成為當前搜索引擎技術的前沿熱點。主題爬行是搭建垂直搜索引擎平臺的核心技術

2、,其主要通過信息爬取、中文分詞、主題相關度模型和構建索引來完成網(wǎng)頁信息的抽取、相關性判定等工作,同時,網(wǎng)絡地理信息數(shù)據(jù)的規(guī)模在不斷擴大,引入基于Hadoop框架的分布式存儲和檢索方法,以滿足海量地理數(shù)據(jù)高效的組織與管理,為面向地理信息主題搜索引擎的存儲與檢索提供了新的思路和方法,具體而言,本文的主要研究內(nèi)容分為以下四個方面:
　　(1)研究了主題爬行技術原理和傳統(tǒng)的主題相關度模型的構建方法。針對地理數(shù)據(jù)特殊的結構特點,提出了一種基

3、于分塊的地理信息主題相關度模型(SVSM),設計了一種主題相關度模型的改進算法,利用空間向量之間的夾角余弦值來衡量分塊文檔間的相似度,并綜合分析網(wǎng)頁文本相關度和地理相關性,從而獲取到高質(zhì)量的地理網(wǎng)頁文檔。
　　(2)研究了簡化地理實體構成的方法。通過闡述地理實體的定義及特征現(xiàn)象,采用面向?qū)ο蟮姆椒▽⒌匚锍橄鬄榈乩韺嶓w,并將地理實體分解為最小邏輯單元-元對象,封裝地物的主題特征、空間位置特征和時間維特征等屬性信息。
　　(3)

4、研究了地理實體數(shù)據(jù)在分布式框架下的組織與存儲方法。利用HDFS分布式文件系統(tǒng)和HBase大數(shù)據(jù)存儲機制,在處理大規(guī)模地理數(shù)據(jù)集時,利用MapReduce并行機制,合理分配Master JobTracker控制節(jié)點和Slave TaskTracker節(jié)點集的工作任務,采用分布式集群的優(yōu)勢提供給用戶高效的檢索服務。
　　(4)研究了面向城市交通信息檢索技術的應用方法。根據(jù)其信息本身具有種類多、變化多、屬性多等特點,對交通實體按功能分層

5、劃分,以HBase面向列存儲機制為大數(shù)據(jù)建立城市交通網(wǎng)各級物理結構,結合WebGIS地圖服務,設計了城市交通信息的存儲與查詢方法。
　　本文利用面向地理信息的垂直搜索引擎技術,通過基于分塊的向量空間模型,確定網(wǎng)頁文檔主題相關度,引入Hadoop框架的分布式并行執(zhí)行機制,從而對地理信息進行優(yōu)化存儲與檢索,結合WebGIS交互性服務界面,提供給用戶高質(zhì)量的可視化地理信息網(wǎng)絡檢索服務。主題搜索引擎從本質(zhì)上加強了抓取互聯(lián)網(wǎng)信息的能力,從而