基于多向量的中文新聞話題檢測.pdf

1、話題檢測是處理互聯(lián)網(wǎng)新聞的一種重要方法，使用聚類方法對新聞文檔進行處理是實現(xiàn)話題檢測的一條重要途徑。凝聚層次聚類算法由于具有較高聚類精確度，且聚類結(jié)果能夠分層展示等特點，具有較為廣泛的應(yīng)用。對話題檢測結(jié)果具有重要影響的因素有很多，包括：話題的表示方法、向量的加權(quán)方法、聚類算法過程以及聚類個數(shù)的估計方法等。本文針對話題檢測中的三個關(guān)鍵點：話題表示方法、向量的加權(quán)方法和聚類個數(shù)估計算法進行了研究。
　　本研究主要內(nèi)容包括：⑴在分析研究

2、向量空間模型、主題模型以及多向量模型的基礎(chǔ)上，將向量空間模型和主題模型相結(jié)合，給出了一種基于多向量模型的話題表示方法，同時結(jié)合基于簇中心的凝聚層次聚類過程，給出了基于多向量的凝聚層次聚類中的簇中心構(gòu)造及更新方法。⑵針對傳統(tǒng)TFIDF算法中存在的對特征項在各個類中分布情況考慮不充分的問題，通過將特征項在各個類中的文檔分布信息引入到TFIDF算法當中，給出了對傳統(tǒng)TFIDF的一種改進算法，并將改進算法與本文給出的基于多向量的凝聚層次聚類算法