Web文本挖掘中的文本分類研究.pdf

1、隨著Internet網(wǎng)絡(luò)的高速發(fā)展，信息爆炸時代也隨之到來。由于Internet的開放性、動態(tài)性、異構(gòu)性使得用戶很難快速、準(zhǔn)確的從WWW上獲取所需的信息，因此如何有效的從網(wǎng)絡(luò)上獲取有價值的信息成為當(dāng)前研究的熱點。Web文本挖掘技術(shù)就是解決上述問題的一種方法，它借鑒數(shù)據(jù)挖掘的基本思想和理論方法，從大量半結(jié)構(gòu)化、異構(gòu)的Web文檔的集合中發(fā)現(xiàn)潛在的、有價值的知識。 文本分類技術(shù)是Web文本挖掘中一項最重要的技術(shù)，隨著中文網(wǎng)頁數(shù)量的急劇

2、增加，中文文本分類也逐漸成為了Web挖掘研究的熱點，它的關(guān)鍵技術(shù)包括文本分詞、文本表示、文本預(yù)處理、特征選擇以及分類算法，其中特征選擇的好壞對文本分類的訓(xùn)練時間、分類的準(zhǔn)確率都有顯著的影響；TFIDF特征選擇是文本分類中使用較普遍而且比較有效的方法，但存在不足，如沒有考慮詞條文檔在分類系統(tǒng)中的分布。本文對傳統(tǒng)的TFIDF特征選擇算法進行了簡單介紹和分析，并對TFIDF方法利用詞條信息熵進行改進，提出了一種新的基于TFIDF的特征選擇算法

3、。而且通過實驗對傳統(tǒng)的TFIDF方法和本文改進后的方法進行了比較，證明本文提出的方法有更好的查全率和查準(zhǔn)率。 Web文本分類的方法較多，常用的如：最近鄰分類、貝葉斯分類、決策樹、支持向量機、向量空間模型、回歸模型和神經(jīng)網(wǎng)絡(luò)等。但傳統(tǒng)的分類方法存在著不足，當(dāng)前Web文本分類的方法大都將網(wǎng)頁歸屬到某一特定類中，而許多網(wǎng)頁包含多個主題，應(yīng)該有多個歸屬類。本文還提出了一種基于向量空間模型的多主題Web分類方法，該方法通過網(wǎng)頁與每個類的相