海量Web信息智能獲取技術(shù)研究.pdf

1、隨著Web信息的爆炸性增長，如何及時有效地從網(wǎng)絡(luò)上查找到真正所需要的信息，已經(jīng)成為研究者所面臨的難題。搜索引擎技術(shù)在這種背景下應(yīng)運而生并得到了快速發(fā)展。但越來越多的應(yīng)用要求搜索對象，不應(yīng)僅局限于靜態(tài)頁面，還必須包括更多數(shù)量的動態(tài)頁面。 本論文的研究圍繞著網(wǎng)絡(luò)智能搜索和獲取問題展開，主要著眼于深層數(shù)據(jù)源的發(fā)現(xiàn)技術(shù)，封裝器半自動化構(gòu)建方法，以及移動Agent應(yīng)用于搜索領(lǐng)域的若干問題研究?；诒疚乃枷胨_發(fā)的系統(tǒng)，在實際應(yīng)用中，取得了

2、較好的效果。歸納起來，本文主要工作和貢獻如下： 1．對目前主流的搜索引擎技術(shù)做了廣泛的調(diào)查和總結(jié)，包括基于靜態(tài)頁面的搜索、基于主題的搜索和元搜索。 2．提出了一種網(wǎng)絡(luò)深層數(shù)據(jù)源發(fā)現(xiàn)的方法。在表單模型的基礎(chǔ)上，使用迭代嘗試填單并分析判斷返回頁面的方法，發(fā)現(xiàn)網(wǎng)上的深層數(shù)據(jù)源，且準確提取頁面中的動態(tài)數(shù)據(jù)區(qū)域。 3．實現(xiàn)了網(wǎng)絡(luò)信息抽取的方法。分析了應(yīng)用于無結(jié)構(gòu)化/半結(jié)構(gòu)化資料抽取的三種方法：自然語言處理、統(tǒng)計學習、有限狀