基于XML技術(shù)的Web挖掘及其解析.pdf

1、隨著Internet的發(fā)展,它成為迄今為止最豐富的信息源,然而,在海量的數(shù)據(jù)中挖掘出有用的信息將變得越來(lái)越困難,Web挖掘技術(shù)在這種情況下應(yīng)運(yùn)而生。數(shù)據(jù)挖掘是從大量的數(shù)據(jù)中發(fā)現(xiàn)隱含的規(guī)律性的內(nèi)容,而Web挖掘是利用數(shù)據(jù)挖掘技術(shù),從網(wǎng)絡(luò)中發(fā)現(xiàn)和提取信息,它是一項(xiàng)比較復(fù)雜的技術(shù)。由于Web上的數(shù)據(jù)以多種形式存在,沒(méi)有特定的模型來(lái)描述,且缺乏機(jī)器所能理解的語(yǔ)義,從而使有些數(shù)據(jù)挖掘技術(shù)并不適用于Web挖掘。XML正逐漸成為新一代互聯(lián)網(wǎng)數(shù)據(jù)組織和

2、交換的標(biāo)準(zhǔn),大量的XML數(shù)據(jù)很快出現(xiàn)在Web上。由于XML具有可擴(kuò)展性、結(jié)構(gòu)化和有效性,它能夠使不同來(lái)源的結(jié)構(gòu)化的數(shù)據(jù)很容易地結(jié)合到一起,因而兩者的結(jié)合成為數(shù)據(jù)挖掘領(lǐng)域的一個(gè)熱點(diǎn)。
　　Web挖掘包括內(nèi)容挖掘,結(jié)構(gòu)挖掘,使用記錄挖掘,本文對(duì)Web挖掘的有關(guān)理論進(jìn)行了闡述,著重討論了基于XML技術(shù)的Web內(nèi)容挖掘,設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)Web內(nèi)容挖掘系統(tǒng)框架。本文完成的主要工作如下:
　　1.首先從Web挖掘研究背景入手,介紹了數(shù)據(jù)

3、挖掘技術(shù)以及Web挖掘技術(shù),包括它們的概念、分類、難點(diǎn)等情況。介紹了XML技術(shù)產(chǎn)生的背景,主要特點(diǎn)以及在Web挖掘中的應(yīng)用等等。
　　2.設(shè)計(jì)了一個(gè)基于XML技術(shù)的Web挖掘系統(tǒng)框架,在此基礎(chǔ)上實(shí)現(xiàn)了Web上信息的提取以及挖掘。整個(gè)框架由三個(gè)模塊組成:數(shù)據(jù)采集模塊,數(shù)據(jù)預(yù)處理模塊以及數(shù)據(jù)挖掘模塊。數(shù)據(jù)采集模塊主要是獲取待挖掘的數(shù)據(jù)源,其思想是利用元搜索引擎從Internet中抓取Web頁(yè)面。數(shù)據(jù)預(yù)處理模塊中,將其分別轉(zhuǎn)換成XML格

4、式的文檔,然后再將這些不同的文檔進(jìn)行數(shù)據(jù)集成,合并成一個(gè)文檔。實(shí)現(xiàn)了XML到數(shù)據(jù)庫(kù)的轉(zhuǎn)換:利用XML文檔的結(jié)構(gòu)化特性,使用VTD-XML解析技術(shù)對(duì)其中的節(jié)點(diǎn)進(jìn)行解析,通過(guò)Java/JDBC將解析出來(lái)的數(shù)據(jù)存儲(chǔ)到數(shù)據(jù)庫(kù)中,方便進(jìn)一步的挖掘或者以后的程序調(diào)用。在數(shù)據(jù)挖掘模塊中,對(duì)數(shù)據(jù)庫(kù)中的數(shù)據(jù)進(jìn)行聚類,從而抽取有用知識(shí)。
　　3.對(duì)XML現(xiàn)有的解析技術(shù)DOM與SAX做了全面的分析,對(duì)VTD-XML的解析原理進(jìn)行了重點(diǎn)研究。通過(guò)與其它解