基于頻繁詞集詞共現(xiàn)網(wǎng)絡(luò)的短文本聚類方法.pdf

1、Web2.0的誕生和發(fā)展使互聯(lián)網(wǎng)上的內(nèi)容發(fā)生了巨大的變化。在Web1.0時(shí)代，互聯(lián)網(wǎng)以靜態(tài)網(wǎng)頁(yè)為主，靜態(tài)網(wǎng)頁(yè)中的內(nèi)容大都是長(zhǎng)的、規(guī)范性的文本。到了Web2.0時(shí)代，動(dòng)態(tài)網(wǎng)頁(yè)技術(shù)高速發(fā)展，互聯(lián)網(wǎng)上產(chǎn)生了微博、問(wèn)答社區(qū)、論壇、以及即時(shí)通信軟件等一大批應(yīng)用。在這些應(yīng)用平臺(tái)上內(nèi)容大都是以短文本為主，短文本具有簡(jiǎn)單、碎片化的特點(diǎn)。與長(zhǎng)文本相比，這類短小、精悍的文本更容易在互聯(lián)網(wǎng)上傳播，因?yàn)樗子诰庉?、方便閱讀，更加適合當(dāng)今社會(huì)快節(jié)奏的生活。隨著互

2、聯(lián)網(wǎng)上短文本數(shù)量的急劇增長(zhǎng)，如何從這些海量的短文本中挖掘出有用的信息成為了一個(gè)熱門的研究領(lǐng)域。
　　文本挖掘技術(shù)是數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)的傳統(tǒng)研究領(lǐng)域之一，經(jīng)過(guò)多年的研究和發(fā)展已經(jīng)積累了一大批優(yōu)秀的理論和成果。但傳統(tǒng)的文本挖掘方法都以長(zhǎng)文本為處理對(duì)象，短文本和長(zhǎng)文本相比存在嚴(yán)重的數(shù)據(jù)稀疏問(wèn)題。并且短文本大都存在用詞和語(yǔ)法不規(guī)范的問(wèn)題，例如:微博平臺(tái)上的短文本使用了大量的網(wǎng)絡(luò)用語(yǔ)，而且拼寫(xiě)錯(cuò)誤和錯(cuò)別字比較明顯。這使得已有的、成熟的長(zhǎng)文本

3、處理技巧和方法，在短文本上表現(xiàn)的差強(qiáng)人意。短文本挖掘需要根據(jù)短文本自身的特點(diǎn)，設(shè)計(jì)適合短文本自身特性的挖掘方法。
　　針對(duì)短文本的數(shù)據(jù)稀疏和用語(yǔ)不規(guī)范的特點(diǎn)，本文提出了一種基于頻繁詞集共現(xiàn)網(wǎng)絡(luò)的短文本聚類算法。該方法首先挖掘語(yǔ)料中存在的詞的K頻繁項(xiàng)集(K＞=3)，然后，基于挖掘出的頻繁詞集構(gòu)建頻繁詞共現(xiàn)網(wǎng)絡(luò)FWN(Frequent Wordsco-occurrence Network，如果兩個(gè)詞同時(shí)處于同一個(gè)頻繁詞集內(nèi)則認(rèn)為這兩個(gè)

4、詞之間存在一條邊）。由于在FWN網(wǎng)絡(luò)中，話題以社區(qū)的形式存在，即同一個(gè)話題的特征詞緊密聯(lián)系，形成一個(gè)話題社區(qū)（一個(gè)話題社區(qū)可以看做是一個(gè)話題的特征詞的集合），我們?cè)跇?gòu)建好的FWN網(wǎng)絡(luò)上使用復(fù)雜網(wǎng)絡(luò)社區(qū)發(fā)現(xiàn)算法識(shí)別FWN網(wǎng)絡(luò)中的話題社區(qū)。最后我們以話題的特征詞作為話題的類原型，使用基于最大相似性指派的單遍聚類算法實(shí)現(xiàn)對(duì)短文本的快速聚類。在微博短文本數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果顯示，我們給出的方法可以快速地找到微博短文本中的熱點(diǎn)話題，并且不需要事先指