基于XML技術的Web挖掘及其解析.pdf

1、隨著Internet的發(fā)展,它成為迄今為止最豐富的信息源,然而,在海量的數(shù)據(jù)中挖掘出有用的信息將變得越來越困難,Web挖掘技術在這種情況下應運而生。數(shù)據(jù)挖掘是從大量的數(shù)據(jù)中發(fā)現(xiàn)隱含的規(guī)律性的內(nèi)容,而Web挖掘是利用數(shù)據(jù)挖掘技術,從網(wǎng)絡中發(fā)現(xiàn)和提取信息,它是一項比較復雜的技術。由于Web上的數(shù)據(jù)以多種形式存在,沒有特定的模型來描述,且缺乏機器所能理解的語義,從而使有些數(shù)據(jù)挖掘技術并不適用于Web挖掘。XML正逐漸成為新一代互聯(lián)網(wǎng)數(shù)據(jù)組織和

2、交換的標準,大量的XML數(shù)據(jù)很快出現(xiàn)在Web上。由于XML具有可擴展性、結構化和有效性,它能夠使不同來源的結構化的數(shù)據(jù)很容易地結合到一起,因而兩者的結合成為數(shù)據(jù)挖掘領域的一個熱點。
　　Web挖掘包括內(nèi)容挖掘,結構挖掘,使用記錄挖掘,本文對Web挖掘的有關理論進行了闡述,著重討論了基于XML技術的Web內(nèi)容挖掘,設計并實現(xiàn)了一個Web內(nèi)容挖掘系統(tǒng)框架。本文完成的主要工作如下:
　　1.首先從Web挖掘研究背景入手,介紹了數(shù)據(jù)

3、挖掘技術以及Web挖掘技術,包括它們的概念、分類、難點等情況。介紹了XML技術產(chǎn)生的背景,主要特點以及在Web挖掘中的應用等等。
　　2.設計了一個基于XML技術的Web挖掘系統(tǒng)框架,在此基礎上實現(xiàn)了Web上信息的提取以及挖掘。整個框架由三個模塊組成:數(shù)據(jù)采集模塊,數(shù)據(jù)預處理模塊以及數(shù)據(jù)挖掘模塊。數(shù)據(jù)采集模塊主要是獲取待挖掘的數(shù)據(jù)源,其思想是利用元搜索引擎從Internet中抓取Web頁面。數(shù)據(jù)預處理模塊中,將其分別轉換成XML格

4、式的文檔,然后再將這些不同的文檔進行數(shù)據(jù)集成,合并成一個文檔。實現(xiàn)了XML到數(shù)據(jù)庫的轉換:利用XML文檔的結構化特性,使用VTD-XML解析技術對其中的節(jié)點進行解析,通過Java/JDBC將解析出來的數(shù)據(jù)存儲到數(shù)據(jù)庫中,方便進一步的挖掘或者以后的程序調(diào)用。在數(shù)據(jù)挖掘模塊中,對數(shù)據(jù)庫中的數(shù)據(jù)進行聚類,從而抽取有用知識。
　　3.對XML現(xiàn)有的解析技術DOM與SAX做了全面的分析,對VTD-XML的解析原理進行了重點研究。通過與其它解