基于并行IB的多語種文本聚類研究.pdf

1、隨著互聯(lián)網(wǎng)的快速發(fā)展和全球化趨勢的進(jìn)一步深化，文本數(shù)據(jù)呈現(xiàn)大規(guī)模的增長。同時，自動翻譯系統(tǒng)的興起使得文本數(shù)據(jù)很容易被翻譯成其它語言，從而促進(jìn)了多語種文本數(shù)據(jù)的產(chǎn)生，為多語種文本聚類提供了數(shù)據(jù)支撐。傳統(tǒng)的文本聚類算法在對多語種文本數(shù)據(jù)聚類時，僅考慮多語種文本數(shù)據(jù)的各個不同的語種信息，忽略了多個語種之間的潛在的關(guān)聯(lián)信息，使數(shù)據(jù)模式結(jié)構(gòu)中包含單個語種信息帶來的偏見。
　　IB方法是一種基于率失真理論的數(shù)據(jù)分析方法，在對高維稀疏數(shù)據(jù)進(jìn)行聚

2、類時具有獨特的優(yōu)勢。該方法將數(shù)據(jù)模式的提取視為一個數(shù)據(jù)壓縮的過程，即將數(shù)據(jù)對象壓縮到一個“瓶頸”變量中，同時最大化地保存數(shù)據(jù)中的信息量，可有效地發(fā)現(xiàn)數(shù)據(jù)對象間所蘊(yùn)含的內(nèi)在模式。目前IB方法已在眾多領(lǐng)域中取得成功的應(yīng)用。多元IB方法是對IB方法的擴(kuò)展，在處理多語種文本時有著獨特的優(yōu)勢，多元IB方法主要有并行IB和對稱IB。
　　針對傳統(tǒng)文本聚類算法在處理多語種文本時僅考慮多語種文本數(shù)據(jù)的各個不同的語種信息，忽略了多個語種之間的潛在的

3、關(guān)聯(lián)信息的問題，本文提出一種基于并行IB的多語種文本聚類算法：ML-PIB算法。該算法在對多語種文本數(shù)據(jù)進(jìn)行聚類分析時，能夠同時考慮多個語種的語種信息，進(jìn)而有效挖掘各個不同語種信息之間蘊(yùn)含的關(guān)聯(lián)，有效提高聚類質(zhì)量。該算法首先針對不同語種，構(gòu)建相應(yīng)的相關(guān)變量；其次，使用互信息度量多個語種特征信息之間的信息量；最后，采用基于信息論的優(yōu)化方法來優(yōu)化其目標(biāo)函數(shù)，保證收斂到局部最優(yōu)解。通過在Reuters Multilingual數(shù)據(jù)集上實驗結(jié)果