基于XML的Web文本挖掘應(yīng)用研究.pdf

1、隨著互聯(lián)網(wǎng)的發(fā)展，WWW上信息量在快速的增長(zhǎng)，網(wǎng)絡(luò)在為人們提供了大量信息的同時(shí)，也使得我們陷入一個(gè)矛盾，那就是一方面人們迫切地需要從Web上快速、有效地獲取知識(shí)，另一方面是Web上信息的數(shù)量太龐大并且信息內(nèi)容結(jié)構(gòu)復(fù)雜，處理這些信息具有很多困難。為了解決這個(gè)矛盾，Web挖掘技術(shù)提供了一種途徑，目前Web挖掘的研究正處在不斷發(fā)展的階段，需要在理論、實(shí)現(xiàn)方法與技術(shù)上進(jìn)行大量的研究。Web挖掘技術(shù)是傳統(tǒng)數(shù)據(jù)挖掘技術(shù)在Web環(huán)境下的應(yīng)用，其從大量

2、的Web文檔集合和用戶(hù)瀏覽Web的數(shù)據(jù)信息中發(fā)現(xiàn)蘊(yùn)涵的、未知的、具有潛在應(yīng)用價(jià)值的、非平凡的模式。 本文主要針對(duì)以上課題展開(kāi)研究，主要內(nèi)容如下： 論文分析了現(xiàn)有的數(shù)據(jù)挖掘、Web文本挖掘和XML的基本概念、方法和技術(shù)。通過(guò)對(duì)半結(jié)構(gòu)化數(shù)據(jù)的處理及其關(guān)鍵技術(shù)(如數(shù)據(jù)抽取方法、轉(zhuǎn)換算法、挖掘方法等)的研究，提出了一種基于XML的Web文本挖掘?qū)嵱梅桨浮?首先，將www上半結(jié)構(gòu)化的HTML網(wǎng)頁(yè)中的數(shù)據(jù)通過(guò)數(shù)據(jù)抽取、清洗和

3、格式轉(zhuǎn)換，得到有效的XML格式的數(shù)據(jù)。 然后，利用SQL SERVER2005的集成服務(wù)(SQL SERVER IntegrationServices，"SSIS")和分析服務(wù)(SQL SERVER Analysis Services，"SSAS")實(shí)現(xiàn)數(shù)據(jù)的轉(zhuǎn)換、裝載和挖掘。 最后，使用Visual Studio. NET和DMX(Data Mining eXtension)設(shè)計(jì)簡(jiǎn)潔的圖形用戶(hù)界面以方便用戶(hù)瀏覽挖掘結(jié)果