中文文本聚類算法分析與研究.pdf

1、文本聚類是文本處理的重要研究領(lǐng)域,對(duì)于互聯(lián)網(wǎng)輿情監(jiān)管、信息獲取、信息過(guò)濾等信息內(nèi)容安全領(lǐng)域的研究具有重要意義。本文對(duì)文本聚類問(wèn)題的文本聚類算法進(jìn)行了深入的討論和研究,設(shè)計(jì)并實(shí)現(xiàn)了基于新算法的中文文本聚類系統(tǒng)。在傳統(tǒng)聚類算法及各種文本聚類系統(tǒng)研究的基礎(chǔ)之上,本文提出了以下幾方面創(chuàng)新:第一,改進(jìn)了傳統(tǒng)文本聚類算法在任意聚類簇形狀發(fā)現(xiàn)方面的不足,成功的將基于劃分、基于密度的和基于層次的文本聚類思想相結(jié)合。第二,通過(guò)理論和實(shí)驗(yàn)的手段證明了新算法

2、在聚類形狀發(fā)現(xiàn)方面較傳統(tǒng)算法存在優(yōu)勢(shì),同時(shí)證明新算法兼顧了文本聚類時(shí)間效率和形狀發(fā)現(xiàn)方面的優(yōu)勢(shì)。實(shí)驗(yàn)數(shù)據(jù)表明,新的文本聚類算法較傳統(tǒng)文本聚類算法在準(zhǔn)確度方面提高了4％。第三,在傳統(tǒng)的中文文本聚類模型的基礎(chǔ)上提出了簡(jiǎn)潔的中文文本聚類模型,并且將新的文本聚類算法應(yīng)用在新的中文本聚類模型之中。第四,對(duì)新算法進(jìn)行了一定的理論方面的闡明,并給出了新算法具體的實(shí)現(xiàn)過(guò)程。最后,根據(jù)文本空間向量模型和新的文本聚類算法,實(shí)現(xiàn)了中文文本聚類系統(tǒng)。在系統(tǒng)實(shí)驗(yàn)