基于漢語句法分析的微博聚類方法研究.pdf

1、微博是互聯(lián)網(wǎng)上的一種重要的信息發(fā)布工具,以其簡短、便捷的方式表達(dá)用戶觀點(diǎn),已經(jīng)成為了新的媒體和社交平臺(tái)。為了更好地提升微博服務(wù)質(zhì)量,如何為不同用戶推薦感興趣的好友和內(nèi)容就成為了一個(gè)值得研究的課題。
　　針對此問題,現(xiàn)有方法主要是從結(jié)構(gòu)和內(nèi)容兩方面入手進(jìn)行研究。由于微博是一個(gè)由文本內(nèi)容構(gòu)成的平臺(tái),所以從文本入手更加具有普適性以及跨越性,不會(huì)受到已有用戶關(guān)系的影響,可以根據(jù)不同用戶的語義偏好性來進(jìn)行聚類。因此本文根據(jù)文本內(nèi)容來研究微博

2、相似度,為后續(xù)的聚類處理提供可靠依據(jù)。微博是一種短文本形式,如果使用傳統(tǒng)的文本聚類方法,就會(huì)造成表示文本的向量空間模型(Vector Space Model,VSM)過于稀疏的問題。
　　為了避免微博特征向量過于稀疏,區(qū)別于廣泛使用的添加外來語義的處理方法,本文從漢語句法結(jié)構(gòu)入手進(jìn)行分析,明確了構(gòu)造句法分析器的需求,并依據(jù)該需求設(shè)計(jì)了句法分析器的結(jié)構(gòu)及其處理流程。處理時(shí),首先對文本進(jìn)行句法分析,依據(jù)不同詞性的前后順序及共現(xiàn)關(guān)系,識(shí)

3、別出不同類型的短語;然后根據(jù)識(shí)別出的短語類型,為組成該短語的不同成分賦予相應(yīng)權(quán)值,使得句中關(guān)鍵分詞的權(quán)值更大;迭代以上步驟,反復(fù)歸約出新的短語成分,就可以為文本中的核心部分賦予最大的權(quán)值,貢獻(xiàn)值較小的部分,則權(quán)值相應(yīng)較小。利用這種方法確定的特征向量,可以更加客觀地標(biāo)識(shí)出不同成分的重要性。在此基礎(chǔ)上,利用向量空間模型計(jì)算出不同微博文本之間的相似度。本文在計(jì)算相似度時(shí),為了避免出現(xiàn)聚類結(jié)果以特征向量非零項(xiàng)數(shù)為基準(zhǔn)而發(fā)生的擁簇現(xiàn)象,特意進(jìn)行了