基于隱含語義分析的微博熱點(diǎn)話題發(fā)現(xiàn)策略.pdf

1、作為一個社會化媒體，微博的應(yīng)用已經(jīng)深入到人們的日常生活中，成為大家發(fā)布和傳播信息、獲取知識的重要平臺。文本是網(wǎng)絡(luò)信息的主要載體，包含著網(wǎng)民的觀點(diǎn)與思想傾向，對網(wǎng)絡(luò)輿情分析和話題發(fā)現(xiàn)具有重大應(yīng)用價值和研究意義。
　　然而，社會化媒體上的大部分文本信息都屬于短文本，短文本信息的不完整性、海量性和奇異性導(dǎo)致輿情分析和熱點(diǎn)話題發(fā)現(xiàn)十分困難。本文首先分析了中文微博信息的特點(diǎn)，然后結(jié)合國內(nèi)外話題發(fā)現(xiàn)的研究現(xiàn)狀和相關(guān)技術(shù)，提出一個適用于中文微博

2、的熱點(diǎn)話題發(fā)現(xiàn)方法。論文主要做了以下幾個方面的工作：
　?。?）短文本固有的特征稀疏和樣本類別分布不均衡等特點(diǎn)，使得計(jì)算普通文本特征權(quán)重的方法難以直接套用。為此，提出一種針對短文本的基于綜合類頻的特征權(quán)重算法。該算法引入反文檔頻和相關(guān)性頻率的概念，綜合考慮了樣本在正類和負(fù)類中的分布情況。實(shí)驗(yàn)表明，相對于其他特征權(quán)重方法，該方法的微平均和宏平均值均在90％以上，能增強(qiáng)樣本在負(fù)類中的類別區(qū)分能力，改善短文本分類的查準(zhǔn)率和查全率。

3、>　　（2）采用隱含語義分析的方法對微博文本進(jìn)行分析。傳統(tǒng)向量空間模型通?；谔卣髟~的匹配，但網(wǎng)絡(luò)文本中存在大量的同義、多義詞，導(dǎo)致文本相似度的評估結(jié)果不夠準(zhǔn)確。本文對原始的詞條-文檔矩陣進(jìn)行奇異值分解，取部分奇異值較大的特征構(gòu)成一個語義空間，最大限度保留了原矩陣中的有用信息，大幅降低了向量空間的維度。
　?。?）提出基于層次和劃分的混合聚類算法。層次聚類方法的特點(diǎn)是精度高，但耗費(fèi)時間較長；而基于劃分的K-means算法聚類速度快

4、，但初始輸入?yún)?shù)的隨機(jī)性會導(dǎo)致聚類結(jié)果不穩(wěn)定。本文在分析了基于層次和劃分聚類算法各自的優(yōu)勢與不足之后，提出將基于層次和劃分的算法相結(jié)合的混合聚類策略。該算法首先對數(shù)據(jù)集進(jìn)行凝聚層次聚類，得到聚類個數(shù)和初始聚類中心后，再用K-means聚類進(jìn)一步細(xì)化。實(shí)驗(yàn)結(jié)果表明，該算法在一定程度上改善了話題發(fā)現(xiàn)的效率和準(zhǔn)確率。
　?。?）根據(jù)提出的微博熱度的定義，結(jié)合綜合類頻特征權(quán)重算法、層次與劃分混合聚類算法與隱語義分析模型，提出了基于隱含語義