基于Web的實體信息提取和搜索研究.pdf

1、隨著互聯(lián)網(wǎng)的迅速發(fā)展,互聯(lián)網(wǎng)中的數(shù)據(jù)呈爆炸式的增長,因此高效的信息檢索技術(shù)對于幫助用戶獲取有用的信息具有重要的意義。目前搜索引擎技術(shù)已經(jīng)取得了很大的進步,能夠基本滿足用戶對信息檢索的需求。但是目前搜索引擎技術(shù)大部分是基于頁面層的搜索,該技術(shù)存在固有的缺陷,查詢結(jié)果是以網(wǎng)頁鏈接的形式返回給用戶,用戶需要自己尋找信息所在的網(wǎng)頁。但是在很多情況下,用戶搜索的目標是實體信息,如論文、地名、商品信息等。本文針對實體層的搜索技術(shù)進行了研究,在已有的

2、研究成果的基礎(chǔ)上,提出了一些新的解決方法。本文的主要工作包括:
　　1、提出了一種基于鏈接模版樹的垂直爬蟲技術(shù),通過對目標網(wǎng)站鏈接進行分析,使用鏈接模版來歸納需要下載的鏈接,構(gòu)建正則鏈接樹來導航爬蟲的下載路徑,解決了網(wǎng)頁中存在的隧道問題。實驗中,在開源爬蟲 Nutch的基礎(chǔ)上,以插件的形式實現(xiàn)本文提出的爬蟲算法,經(jīng)過比較,本文提出的方法能夠取得較好的召回率和效率。
　　2、提出了一種基于DOM樹和XSL的實體信息抽取方法。首

3、先對下載的Web頁面進行預處理,通過訓練數(shù)據(jù)提取出網(wǎng)頁中實體信息所在的路徑規(guī)則,然后通過XSL將Web頁面中的實體信息轉(zhuǎn)換為XML文件。也對頁面中出現(xiàn)多實體提取的情況,提出了相應的解決方案。在單實體提取方法的基礎(chǔ)上,先提取頁面中的最大數(shù)據(jù)子樹,然后在最大數(shù)據(jù)子樹中提取多實體規(guī)則,來實現(xiàn)多實體信息的提取。實驗結(jié)果表明,本文提出的實體信息提取方法能夠有效地提取實體信息。
　　3、提出了適用于實體的索引結(jié)構(gòu),并對 Lucene的評分算法