考慮關聯(lián)分布的詞語聚類方法研究.pdf

1、詞聚類就是對一些紛繁的個別詞應用某種方法進行分組形成語義相近或相關的詞類(或詞聚簇)。它在智能檢索、文本分類、詞義排歧、機器翻譯等領域都有廣泛的應用,是語言學和自然語言處理中十分重要的研究課題之一。
　　 在詞聚類技術中,采用什么樣的詞語相似度計算方法以及如何對詞語聚類,往往決定了詞聚類效果的好壞。傳統(tǒng)基于互信息的詞聚類方法由于簡單、易于實現(xiàn)等特點,被應用在了基于上下文的機器自動聚類中。該方法存在兩個問題:
　　 (1)

2、未考慮詞對的不同分布所造成的詞語關聯(lián)強度差異；
　　 (2)虛假關聯(lián)問題,即有些實際較強的關聯(lián)關系計算結果較弱,反之某些實際較弱的關聯(lián)關系計算結果較強,這與實際情況不符。
　　 本文針對傳統(tǒng)基于互信息的詞聚類方法存在的以上兩個問題,圍繞如何計算詞語相似度及選用合適的詞聚類算法開展了研究工作:
　　 首先,本文提出了一種基于關聯(lián)分布的詞語相似度計算方法。該方法用詞語關聯(lián)分布規(guī)范化因子對傳統(tǒng)互信息度量待聚類詞和基詞關

3、聯(lián)度的方法進行了修正,即用關聯(lián)的累積分布函數(shù)更準確的度量其關聯(lián)度；然后由所得關聯(lián)度構造待聚類詞的屬性向量；最后由屬性向量利用夾角余弦法計算出待聚類詞語相似度。實驗結果表明,新方法比傳統(tǒng)方法有更好的詞語相似度計算效果。
　　 其次,實現(xiàn)了基于關聯(lián)分布相似度的詞語聚類算法。該算法以基于關聯(lián)分布的詞語相似度計算方法所得待聚類詞語相似度為基礎,利用仿射傳播聚類算法,將詞對相似度轉換為矩陣形式作為輸入,在算法開始時將所有的待聚類詞語都視為