基于Web的文本挖掘研究.pdf

1、WWW是一個開放的全球性資源，它是世界上最豐富和最密集的信息來源。隨著WWW上信息的爆炸性增長，在如此海量的數(shù)據(jù)中發(fā)現(xiàn)有用的信息變得越來越困難。數(shù)據(jù)挖掘就是從大量的數(shù)據(jù)中發(fā)現(xiàn)隱含的規(guī)律性的內(nèi)容，解決數(shù)據(jù)的應(yīng)用質(zhì)量問題。充分利用關(guān)鍵有用的數(shù)據(jù)，廢棄虛偽無用的數(shù)據(jù)，是數(shù)據(jù)挖掘技術(shù)最重要的應(yīng)用。因此，采用數(shù)據(jù)挖掘技術(shù)從WWW上提取隱含的、未知的、非平凡的及有潛在應(yīng)用價值的信息，具有十分重要的現(xiàn)實意義和廣泛的應(yīng)用前景。 數(shù)據(jù)挖掘和知識發(fā)

2、現(xiàn)為解決信息量過大而人們無法有效利用的問題提供了新的解決途徑。目前，數(shù)據(jù)挖掘和知識發(fā)現(xiàn)的數(shù)據(jù)源主要是已有數(shù)據(jù)庫中的文本和數(shù)值類數(shù)據(jù)，如何對分布于網(wǎng)絡(luò)環(huán)境下的文本數(shù)據(jù)進行挖掘還正在研究。本文首先簡單闡述了數(shù)據(jù)挖掘和知識發(fā)現(xiàn)的基本理論內(nèi)涵；分析了網(wǎng)絡(luò)信息檢索與數(shù)據(jù)挖掘的特征與特性，特別是Web數(shù)據(jù)挖掘和基于HTML的文本數(shù)據(jù)挖掘；進而探討了基于Web的文本數(shù)據(jù)挖掘研究與應(yīng)用的一系列問題，包括定義、挖掘?qū)ο蟮奶卣髋c分類、挖掘和發(fā)現(xiàn)所需的理論和

3、技術(shù)以及實驗系統(tǒng)的框架結(jié)構(gòu)和功能模塊的分析與設(shè)計等，力圖為該方向的深入研究提供一些有益的思路。 本文針對Web環(huán)境下中文文本信息挖掘的具體問題，側(cè)重研究中文文本信息挖掘的方法與實現(xiàn)技術(shù)。討論了文本分類中的中文詞切分、特征提取、特征表示、特征匹配方法，建立了基于決策樹的中文文本分類、聚類算法，在Web中文文本信息挖掘模型的設(shè)計中，對網(wǎng)頁信息的表示、結(jié)構(gòu)特點、網(wǎng)頁控制符、HTML控制符號處理進行了詳細分析與研究，構(gòu)建了網(wǎng)頁信息提取流