一種改進(jìn)的概率潛在語(yǔ)義分析下的文本聚類(lèi)算法研究.pdf

1、自上世紀(jì)90年代，受互聯(lián)網(wǎng)技術(shù)和數(shù)據(jù)庫(kù)技術(shù)迅猛發(fā)展的影響，如何從海量的、以文本形式存在的數(shù)據(jù)中快捷地挖掘出所需信息業(yè)已成為當(dāng)前理論研究的熱點(diǎn)和難點(diǎn)。作為文本挖掘的重要分支，文本聚類(lèi)技術(shù)對(duì)于互聯(lián)網(wǎng)輿情監(jiān)管、信息獲取、信息過(guò)濾等信息安全領(lǐng)域的研究意義非凡。
　　現(xiàn)行文本聚類(lèi)算法多是基于“詞袋”模型，其“要表達(dá)的”語(yǔ)義意義與“被闡述的”詞法之間不滿(mǎn)足非雙射關(guān)系。PLSA模型是LSA模型的概率版演化，借助于堅(jiān)實(shí)的數(shù)理基礎(chǔ)成功解決了上述問(wèn)題

2、。但是，由于使用EM算法做最大似然估計(jì)，PLSA模型有時(shí)會(huì)出現(xiàn)過(guò)度擬合的現(xiàn)象；另外，PLSA模型參數(shù)的隨機(jī)初始化也造成了處理效果上的波動(dòng)。
　　為彌補(bǔ)PLSA模型的上述兩個(gè)不足，本文首先對(duì)EM算法進(jìn)行改進(jìn)來(lái)處理PLSA的過(guò)度擬合問(wèn)題；然后通過(guò)LSA模型參數(shù)概率化來(lái)初始PLSA模型的參數(shù)；最后，將改進(jìn)后的模型運(yùn)用到文本聚類(lèi)上。在此過(guò)程中，主要工作研究如下：
　?、賹?duì)當(dāng)前流行的聚類(lèi)技術(shù)，尤其是向量空間模型，做了深入的研究。在分析

3、當(dāng)前聚類(lèi)算法不足后，提出使用潛藏概念進(jìn)行語(yǔ)義挖掘?qū)π畔⑻幚硌芯康闹匾饬x。
　?、诮Y(jié)合“詞袋”模型，在對(duì)LSA模型簡(jiǎn)要介紹后，本文使用實(shí)例詳細(xì)分析了LSA模型是如何使用SVD分解來(lái)完成潛藏語(yǔ)義信息的挖掘的，然后對(duì)LSA模型的優(yōu)點(diǎn)和不足做了總結(jié)。
　?、坩槍?duì)PLSA模型的過(guò)度擬合問(wèn)題，對(duì)LSA模型和PLSA模型在算法基礎(chǔ)上進(jìn)行了比較，依據(jù)算法原理通過(guò)對(duì)EM算法的改進(jìn)來(lái)克服PLSA模型的過(guò)度擬合問(wèn)題。
　?、茚槍?duì)PLSA模

4、型參數(shù)隨機(jī)初始化的不足，文中使用LSA模型對(duì)PLSA模型進(jìn)行了改進(jìn)。首先詳細(xì)分析了LSA模型與PLSA模型的關(guān)系和區(qū)別，然后對(duì)LSA模型的參數(shù)進(jìn)行概率化處理，最后將處理的結(jié)果用以初始化PLSA的模型，從而彌補(bǔ)由隨機(jī)初始化引起的不足。
　　最后，將改進(jìn)后PLSA模型應(yīng)用文本聚類(lèi)上，經(jīng)實(shí)驗(yàn)求證后發(fā)現(xiàn)新算法更加真實(shí)的逼近真實(shí)語(yǔ)境，與經(jīng)典的PLSA模型相比照，本文提出的技術(shù)加速了實(shí)驗(yàn)過(guò)程，并且在聚類(lèi)準(zhǔn)確度和互信息這兩個(gè)聚類(lèi)效果評(píng)價(jià)指標(biāo)上都