基于改進(jìn)H-K聚類算法的熱點(diǎn)話題發(fā)現(xiàn)方法.pdf

1、隨著社會網(wǎng)絡(luò)的快速發(fā)展，微博客已經(jīng)成為人們?nèi)粘Ｉ钪袦贤ń涣?、信息傳播的平臺之一。在很短的時間內(nèi)，微博平臺能產(chǎn)生海量的、信息分散的數(shù)據(jù)集，微博客用戶很難從這些海量文本信息中分辨出熱點(diǎn)話題，所以如何快速、準(zhǔn)確的從海量的微博客文本數(shù)據(jù)集中挖掘出熱點(diǎn)話題成為當(dāng)前研究的熱點(diǎn)。由于傳統(tǒng)的話題發(fā)現(xiàn)方法通常是基于特征詞匹配的，沒有考慮微博客文本潛在的語義，導(dǎo)致話題發(fā)現(xiàn)的質(zhì)量不高。針對微博客的特點(diǎn)，本文從語義的角度對微博客熱話題發(fā)現(xiàn)技術(shù)進(jìn)行了深入的研究

2、，提出一種基于改進(jìn)H-K聚類算法的話題發(fā)現(xiàn)方法。
　　本文首先針對微博客數(shù)據(jù)集文本的時間刻度特性和話題的持續(xù)性的特點(diǎn)，對熱點(diǎn)話題發(fā)現(xiàn)方法中用到的H-K聚類算法進(jìn)行了改進(jìn)。針對海量的微博客數(shù)據(jù)集，在微博客話題發(fā)現(xiàn)方法中，結(jié)合Hadoop中的MapReduce編程思想，將該算法進(jìn)行了并行化實(shí)現(xiàn)，以提高聚類的處理效率。其次，本文從語義的層次對微博客文本進(jìn)行分析，通過引入LDA主題模型將非結(jié)構(gòu)化的微博客文本轉(zhuǎn)化為文本-主題分布和主題-文本

3、特征詞分布，以降低微博客文本的維度，并從語義的角度對微博客進(jìn)行建模，以提高微博客文本相似度計算的準(zhǔn)確度。同時在微博客文本建模階段，結(jié)合MapReduce并行編程思想將LDA主題模型并行化，以提高微博客數(shù)據(jù)集的處理能力。
　　實(shí)驗(yàn)表明，改進(jìn)的H-K聚類算法的聚類效果明顯得到提高，時間效率也得到提升，而且能更好的應(yīng)用到微博客文本的聚類中，解決了傳統(tǒng)聚類算法效率不高的問題；引入云計算平臺后，提高了對海量微博客文本數(shù)據(jù)集的處理能力；本文提