面向搜索引擎評測的Web信息抽取系統(tǒng)的設計與實現(xiàn).pdf

1、隨著Internet信息量的迅速增長,Web已經逐漸成為人們獲取信息的主要平臺。各大搜索引擎應運而生,競爭激烈。評價引擎的好壞,不僅要看搜索結果,還要依靠用戶體驗。用戶體驗必然能為引擎帶來流量,所以針對搜索引擎進行用戶滿意度的評測已經越來越重要,部分具有大型搜索引擎的公司已經為此成立了專門的評測團隊甚至部門,利用評測數(shù)據(jù)來引導引擎的走向。
　　搜索引擎用戶滿意度評測的原理,就是將搜索引擎的結果集信息搜集起來,交給用戶打分,并針對指

2、標進行統(tǒng)計,對比引擎之間的優(yōu)劣。而能否成功地獲取到評測數(shù)據(jù),是能否成功發(fā)起評測任務的關鍵。
　　本文通過實驗數(shù)據(jù)說明數(shù)據(jù)抽取的準確程度會直接影響評測結果,突出信息抽取部分對整個系統(tǒng)的重要性。對比了一些現(xiàn)有的Web信息抽取技術,并針對本系統(tǒng)的需求進行分析,結合搜索引擎結果集頁面源碼的特點,總結各技術的優(yōu)勢與不足。提出使用正則匹配和Dom解析相結合的方式來抽取和處理評測數(shù)據(jù)。并基于這種設計思想,實現(xiàn)了一個適用性較強,自動化程度較高的W

3、eb信息抽取系統(tǒng),來解決評測系統(tǒng)如何搜集評測數(shù)據(jù)的問題。
　　系統(tǒng)主要包括頁面下載、頁面過濾、生成抽取規(guī)則、信息抽取、數(shù)據(jù)存儲等部分。本文對這些部分依次做了較為詳細的介紹。其中生成抽取規(guī)則是系統(tǒng)較為重要的實現(xiàn)部分。系統(tǒng)可以利用Dom結構和樣本學習來自動生成抽取規(guī)則,尋找節(jié)點的最大公共路徑,記錄樣本節(jié)點的特征,并經過節(jié)點相似度匹配的算法過濾掉無關節(jié)點信息,為部分產品實現(xiàn)自動化較高的信息抽取。當然,抽取規(guī)則也可人工修正。為了提高精度,