基于文本挖掘的網(wǎng)頁分類系統(tǒng)研究與實(shí)現(xiàn).pdf

1、隨著信息技術(shù)的不斷發(fā)展，網(wǎng)頁的數(shù)量也在成倍的增加，如何通過網(wǎng)頁自動(dòng)分類技術(shù)有效的組織和管理這些海量數(shù)據(jù)已經(jīng)成為Web領(lǐng)域的一個(gè)研究熱點(diǎn)。分類算法是實(shí)現(xiàn)網(wǎng)頁自動(dòng)分類的一個(gè)重要環(huán)節(jié)，它的優(yōu)劣直接決定了分類系統(tǒng)的分類效率和分類精度。
　　 文本分類由文本預(yù)處理、特征空間的建立、分類器的生成以及分類結(jié)果的評估這四個(gè)部分構(gòu)成。本文在網(wǎng)頁自動(dòng)分類相關(guān)技術(shù)的理論研究基礎(chǔ)上，根據(jù)網(wǎng)頁內(nèi)容實(shí)現(xiàn)了網(wǎng)頁分類，其中包括使用正則表達(dá)式完成網(wǎng)頁清洗、對網(wǎng)頁

2、的正文分詞、對照停用詞表去停用詞、通過基于文檔頻率的特征選擇算法建立特征空間、使用向量空間模型表示網(wǎng)頁、使用分類器分類和分類結(jié)果評估。重點(diǎn)研究并實(shí)現(xiàn)了最近鄰分類算法和支持向量機(jī)算法，通過實(shí)驗(yàn)對比上述兩種算法的分類性能。實(shí)驗(yàn)結(jié)果表明，最近鄰分類算法的分類結(jié)果要優(yōu)于支持向量機(jī)算法的分類結(jié)果，但是所花的時(shí)間也比支持向量機(jī)要長一倍。
　　 在對傳統(tǒng)分類算法分析的基礎(chǔ)上，針對它們各自的不足通過C#實(shí)現(xiàn)了相應(yīng)的改進(jìn)算法。針對傳統(tǒng)的最近鄰分類

3、算法在訓(xùn)練樣本數(shù)據(jù)分布不均勻的情況下會(huì)出現(xiàn)誤判導(dǎo)致分類效果差的不足，本文實(shí)現(xiàn)了基于樣本密度改進(jìn)的最近鄰分類算法，通過增大訓(xùn)練樣本稀疏區(qū)的平均文本相似度，降低訓(xùn)練樣本密集區(qū)的平均文本相似度，達(dá)到改善分類效果的目的;針對支持向量機(jī)在多類別分類中分類結(jié)果不理想的情況，本文實(shí)現(xiàn)了基于最近鄰和支持向量機(jī)融合的分類算法，先對測試樣本用最近鄰分類算法進(jìn)行粗判斷，得到測試樣本的候選類別，然后再使用支持向量機(jī)算法從候選類別中選出最佳類別，達(dá)到提高分類效果