基于全覆蓋粒計算的新聞文檔子話題劃分方法研究.pdf

1、當今時代信息爆炸，信息量規(guī)模急劇膨脹，來自四面八方的信息如浪潮般涌入人類的生活。在如此龐大的數(shù)據(jù)面前，用戶想要在海量信息中快速、準確地獲得自己感興趣的新聞話題，將面臨著巨大的挑戰(zhàn)。針對大量的新聞事件，如何按照話題進行組織和歸類，以便能夠自動地把相關話題的信息匯總，這已成為自然語言處理中一個重要的研究課題。話題識別與劃分技術應運而生，其致力于研究對來自不同的文本集進行有效的組織、搜索與結構化。
　　全覆蓋粒計算是信息處理和數(shù)據(jù)挖掘的

2、一種新的研究方法，為具有不確定、不完整信息的大規(guī)模海量數(shù)據(jù)的挖掘提供了一種新的思路。它包括全覆蓋理論和粒度的粒化、粒的運算，為子話題劃分提供了一種新的解決方法。
　　本文的創(chuàng)新點主要有：
　　1、本文采用LDA（Latent Dirichlet Allocation）主題模型對海量新聞語料進行語義分析并建立模型，提取新聞文檔的隱含主題，得到“文檔-主題”?矩陣；通過多次實驗對?矩陣中的概率設置合適的閾值，進而將“文檔-主題”

3、矩陣轉換為全覆蓋模型；在全覆蓋粒計算的基礎上，利用粒約簡的方法，刪除冗余覆蓋元，得到最簡覆蓋元。
　　2、從集合論的角度提出了全覆蓋粒計算的誘導劃分算法DP（Derived Partition），探討了該算法的理論依據(jù)，提出了算法的具體過程，分析了算法的時間復雜度；并對算法的結構及過程進行了優(yōu)化，通過大量的實驗驗證，表明改進后確實提高了該算法的性能；最后以實例對該算法進行了進一步的解釋。
　　3、在LDA主題模型和誘導劃分算