基于隱含語(yǔ)義分析的微博熱點(diǎn)話題發(fā)現(xiàn)策略.pdf

1、作為一個(gè)社會(huì)化媒體，微博的應(yīng)用已經(jīng)深入到人們的日常生活中，成為大家發(fā)布和傳播信息、獲取知識(shí)的重要平臺(tái)。文本是網(wǎng)絡(luò)信息的主要載體，包含著網(wǎng)民的觀點(diǎn)與思想傾向，對(duì)網(wǎng)絡(luò)輿情分析和話題發(fā)現(xiàn)具有重大應(yīng)用價(jià)值和研究意義。
　　然而，社會(huì)化媒體上的大部分文本信息都屬于短文本，短文本信息的不完整性、海量性和奇異性導(dǎo)致輿情分析和熱點(diǎn)話題發(fā)現(xiàn)十分困難。本文首先分析了中文微博信息的特點(diǎn)，然后結(jié)合國(guó)內(nèi)外話題發(fā)現(xiàn)的研究現(xiàn)狀和相關(guān)技術(shù)，提出一個(gè)適用于中文微博

2、的熱點(diǎn)話題發(fā)現(xiàn)方法。論文主要做了以下幾個(gè)方面的工作：
　　（1）短文本固有的特征稀疏和樣本類別分布不均衡等特點(diǎn)，使得計(jì)算普通文本特征權(quán)重的方法難以直接套用。為此，提出一種針對(duì)短文本的基于綜合類頻的特征權(quán)重算法。該算法引入反文檔頻和相關(guān)性頻率的概念，綜合考慮了樣本在正類和負(fù)類中的分布情況。實(shí)驗(yàn)表明，相對(duì)于其他特征權(quán)重方法，該方法的微平均和宏平均值均在90％以上，能增強(qiáng)樣本在負(fù)類中的類別區(qū)分能力，改善短文本分類的查準(zhǔn)率和查全率。

3、>　　（2）采用隱含語(yǔ)義分析的方法對(duì)微博文本進(jìn)行分析。傳統(tǒng)向量空間模型通常基于特征詞的匹配，但網(wǎng)絡(luò)文本中存在大量的同義、多義詞，導(dǎo)致文本相似度的評(píng)估結(jié)果不夠準(zhǔn)確。本文對(duì)原始的詞條-文檔矩陣進(jìn)行奇異值分解，取部分奇異值較大的特征構(gòu)成一個(gè)語(yǔ)義空間，最大限度保留了原矩陣中的有用信息，大幅降低了向量空間的維度。
　?。?）提出基于層次和劃分的混合聚類算法。層次聚類方法的特點(diǎn)是精度高，但耗費(fèi)時(shí)間較長(zhǎng)；而基于劃分的K-means算法聚類速度快

4、，但初始輸入?yún)?shù)的隨機(jī)性會(huì)導(dǎo)致聚類結(jié)果不穩(wěn)定。本文在分析了基于層次和劃分聚類算法各自的優(yōu)勢(shì)與不足之后，提出將基于層次和劃分的算法相結(jié)合的混合聚類策略。該算法首先對(duì)數(shù)據(jù)集進(jìn)行凝聚層次聚類，得到聚類個(gè)數(shù)和初始聚類中心后，再用K-means聚類進(jìn)一步細(xì)化。實(shí)驗(yàn)結(jié)果表明，該算法在一定程度上改善了話題發(fā)現(xiàn)的效率和準(zhǔn)確率。
　?。?）根據(jù)提出的微博熱度的定義，結(jié)合綜合類頻特征權(quán)重算法、層次與劃分混合聚類算法與隱語(yǔ)義分析模型，提出了基于隱含語(yǔ)義