基于網站結構分析頁面信息提取的方法研究.pdf

1、隨著Internet應用的飛速發(fā)展，WWW已經發(fā)展成為一個巨大的分布式信息空間，為用戶提供了一個極具價值的信息源。但因Internet所固有的開放性、動態(tài)性與異構性，又使得用戶很難準確快捷地從WWW上獲取所需的信息。如何快速、準確地從浩瀚的信息資源中尋找到所需信息已經成為困擾網絡用戶的一大難題。本文針對Web信息精確獲取的需要，研究了基于網站結構的精確獲取網頁內容信息所涉及的技術，并將這些技術有機地結合在一起，系統(tǒng)地討論了基于網站結構分

2、析頁面信息提取的方法研究。 網頁內容信息獲取是信息挖掘技術中一個重要技術，是指從Web上大量的信息中得到數據對象間的內在特征，并以此為依據進行有目的的信息獲取的方法。它涉及到計算機網絡、數據挖掘、文本處理、人工智能等多個領域。本文首先對以前的WEB獲取技術進行了全面的回顧，并總結了當前搜索工具所存在的主要問題及局限性，如檢索方式不科學，索引方法不合理，結果顯示單一，個性化能力差等。然后，提出了基于網站結構分析頁面信息提取的方法，

3、重點研究了生成網站結構、相似頁面的判斷、生成自適應模板以及生成目標XML等涉及的主要技術及算法研究，提出了一個網頁頁面內容精確獲取的解決方案。 本文通過獲取網站的所有頁面，根據這些頁面的內容以及這些頁面之間的鏈接關系，結合URL(UniformResourceLocator)之間的相似性，計算網站的結構，并根據網站的結構和頁面的內容特征將頁面進行歸類，然后對同一類的頁面進行信息模板的自動生成，并將信息模板的結構生成目標XML。在