基于XML的Web數(shù)據(jù)挖掘技術(shù)的研究.pdf

1、隨著Internet的飛速發(fā)展，互聯(lián)網(wǎng)已成為信息傳播與共享的重要資源。由于Web數(shù)據(jù)半結(jié)構(gòu)化、異構(gòu)、海量等特點，使得傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)不能直接運用到Web數(shù)據(jù)源上。Web數(shù)據(jù)挖掘就是從各種格式的Web文檔或者Web活動中抽取潛在的、有用的模式。由于XML的結(jié)構(gòu)化、可擴展性等優(yōu)點，將XML與Web數(shù)據(jù)挖掘結(jié)合起來進行研究也已經(jīng)成為這個領(lǐng)域的熱點。 本文首先研究了Web數(shù)據(jù)抽取技術(shù)，提出一種基于擴展DOM樹的Web數(shù)據(jù)抽取方法。在W

2、eb頁面的DOM樹的節(jié)點中添加了頁面的視覺特征元素和鏈接特征元素，然后進行節(jié)點重復(fù)度和新穎度的計算。通過計算多個相似頁面之間子樹的新穎度，可以自動學(xué)習(xí)和識別出對象數(shù)據(jù)并抽取出來，將抽取結(jié)果輸出為XML 文檔。 其次研究的是XML文檔聚類，將XML 文檔的樹形結(jié)構(gòu)轉(zhuǎn)化為一種層次結(jié)構(gòu)，為處于不同層的元素賦予不同的權(quán)值。聚類算法計算XML文檔與已存在類簇的層次相似度，將XML文檔劃分到層次相似度最大的聚類中。層次結(jié)構(gòu)反映的是層與層之間