中文文本聚類(lèi)的評(píng)價(jià)與改進(jìn)研究.pdf

1、聚類(lèi)作為一種知識(shí)發(fā)現(xiàn)的重要方法，它廣泛地與中文信息處理技術(shù)相結(jié)合，應(yīng)用于網(wǎng)絡(luò)信息處理中以滿(mǎn)足用戶(hù)快捷地從互聯(lián)網(wǎng)獲得自己需要的信息資源。
　　 文本聚類(lèi)是聚類(lèi)問(wèn)題在文本挖掘中的有效應(yīng)用，它根據(jù)文本數(shù)據(jù)的不同特征，按照文本間的相似性，將其劃分為不同的文本簇。其目的是要使同一類(lèi)別的文本間的相似度盡可能大，而不同類(lèi)別的文本間的相似度盡可能的小。整個(gè)聚類(lèi)過(guò)程無(wú)需指導(dǎo)，事先對(duì)數(shù)據(jù)結(jié)構(gòu)未知，是一種典型的無(wú)監(jiān)督分類(lèi)，因此，最終的聚類(lèi)結(jié)果需要進(jìn)行

2、有效性驗(yàn)證和質(zhì)量評(píng)價(jià)。
　　 由于文本是一個(gè)特殊的數(shù)據(jù)對(duì)象，目前研究中對(duì)文本聚類(lèi)分析結(jié)果的評(píng)價(jià)機(jī)制不統(tǒng)一，尚無(wú)得到普遍認(rèn)可的科學(xué)評(píng)價(jià)機(jī)制及與之相關(guān)的深入研究。在聚類(lèi)改進(jìn)方法中，絕大多數(shù)研究者投入到聚類(lèi)算法研究，卻忽略了聚類(lèi)結(jié)果帶來(lái)的信息。雖然經(jīng)過(guò)眾多研究者努力，中文文本聚類(lèi)研究取得了一定的進(jìn)展，但仍然存在很多問(wèn)題亟待解決，尤其在文本聚類(lèi)評(píng)價(jià)及其改進(jìn)方面。
　　 本文首先對(duì)文本聚類(lèi)和文本分類(lèi)技術(shù)進(jìn)行了簡(jiǎn)單的介紹，比較了各自

3、的優(yōu)缺點(diǎn)。再在研究文本聚類(lèi)過(guò)程的基礎(chǔ)上，分析了可能影響聚類(lèi)結(jié)果的各個(gè)因素，特別對(duì)文本表示模型、文本相似度計(jì)算方法和文本聚類(lèi)算法選擇三方面因素進(jìn)行了較詳細(xì)的論述。
　　 然后，通過(guò)回顧已有的文本聚類(lèi)評(píng)價(jià)指標(biāo)，本文分析了其應(yīng)用特性和優(yōu)缺點(diǎn)，針對(duì)現(xiàn)有評(píng)價(jià)方法存在的問(wèn)題，特別是基于人工標(biāo)注的評(píng)價(jià)指標(biāo)之應(yīng)用局限性，論文提出了一種新的基于吻合度的文本聚類(lèi)結(jié)果評(píng)價(jià)方法。該評(píng)價(jià)方法從聚類(lèi)結(jié)果的穩(wěn)定性角度出發(fā)，通過(guò)比較前后聚類(lèi)結(jié)果的吻合程度來(lái)判斷

4、聚類(lèi)效果。同基于人工標(biāo)注的評(píng)價(jià)方法相比，方法不僅有效避免了人工標(biāo)注類(lèi)別環(huán)節(jié)，而且能正確評(píng)價(jià)不同的文本聚類(lèi)結(jié)果。實(shí)驗(yàn)結(jié)果驗(yàn)證了方法的有效性和應(yīng)用性。
　　 受聚類(lèi)評(píng)價(jià)過(guò)程的啟發(fā)，本文嘗試從聚類(lèi)結(jié)果出發(fā)，結(jié)合分類(lèi)算法對(duì)數(shù)據(jù)集重新分類(lèi)，提出了一種基于迭代分類(lèi)的聚類(lèi)結(jié)果改進(jìn)方法。該方法巧妙地結(jié)合了聚類(lèi)和分類(lèi)兩種獨(dú)立的開(kāi)采方法，使其相得益彰，將聚類(lèi)結(jié)果的優(yōu)化過(guò)渡到分類(lèi)層面。通過(guò)引入迭代分類(lèi)思想，使得最終聚類(lèi)結(jié)果在單一聚類(lèi)算法得到的初始結(jié)果