基于外在知識(shí)的短文本聚類(lèi)分析研究.pdf

1、隨著互聯(lián)網(wǎng)發(fā)展,互聯(lián)網(wǎng)上積累了大量的非格式化文本,并蘊(yùn)含著豐富的知識(shí),這些知識(shí)對(duì)于人類(lèi)的生產(chǎn),生活各個(gè)方面都發(fā)揮著極大的作用,對(duì)這些文本的研究也越來(lái)越嚴(yán)峻。
　　 互聯(lián)網(wǎng)的價(jià)值體現(xiàn)在為用戶(hù)提供了豐富的應(yīng)用,譬如查詢(xún)推薦,標(biāo)簽推薦,新聞推薦等,這些應(yīng)用為用戶(hù)提供服務(wù)的同時(shí)產(chǎn)生了大量的短文本,譬如查詢(xún),標(biāo)簽,新聞標(biāo)題等。龐大短文本集蘊(yùn)含豐富的知識(shí),如果能夠根據(jù)文本之間的關(guān)聯(lián)度,把短文本集合分成若干合適大小的子集合,即對(duì)這些短文本進(jìn)行

2、聚類(lèi)分析,從而發(fā)現(xiàn)潛在的自然分組,譬如為新聞閱覽者推薦類(lèi)似新聞,或者為新聞閱覽者過(guò)濾重復(fù)新聞;為標(biāo)簽撰寫(xiě)者推薦可能的標(biāo)簽,為搜索引擎用戶(hù)提供相似查詢(xún),從而為用戶(hù)提供更好的應(yīng)用服務(wù)。因此,短文本的聚類(lèi)分析有著重要的意義。在一般的文本聚類(lèi)研究中,聚類(lèi)的對(duì)象是普通長(zhǎng)度的文本,同一個(gè)簇中的文本在文字上都有一定的相交或者說(shuō)覆蓋,即兩個(gè)文本中相交的內(nèi)容越多,這兩個(gè)文本在同一個(gè)簇中的可能性越大；但是對(duì)于短文本而言,它們的所包含的詞很少,通常表達(dá)同一含

3、義的文本卻可以用不同的詞來(lái)表達(dá),這樣雖然兩個(gè)文本之間幾乎沒(méi)有的相交內(nèi)容,但是二者可能有很大的相似,很可能屬于同一個(gè)簇。針對(duì)這種情形,一般的文本聚類(lèi)方法就會(huì)不能奏效。
　　 本文主要針對(duì)文本聚類(lèi)研究中的短文本聚類(lèi)問(wèn)題進(jìn)行分析研究。短文本的特點(diǎn)是文本長(zhǎng)度短,包含的信息少,相似文本間可能不存在字的相交,這樣使用傳統(tǒng)的方法對(duì)短文本進(jìn)行聚類(lèi)就無(wú)法把真正相似的文本聚在同一個(gè)簇中。本文提出在原始文本的基礎(chǔ)上,利用維基百科(英文)中的目錄結(jié)構(gòu)和