基于快速置信傳播算法的并行主題建模方法研究.pdf

1、概率主題模型利用快速的非監(jiān)督機器學習算法來自動組織、理解和摘要文本的主要內容，長期以來一直是機器學習的研究熱點之一。Hofmann提出了第一個嚴格意義上的概率主題模型probabilisticLatentSemanticAnalysis(pLSA)，而Blei等人又在pLSA的基礎上擴展得到更為完全的概率主題模型LatentDirichletAllocation(LDA)。LDA首先對文本建模，然后利用變分貝葉斯（Variational

2、Bayes，VB）、吉布斯采樣(GibbsSampling，GS)或置信傳播(BeliefPropagation，BP)推斷模型參數，最后挖掘出數據的隱含主題結構，獲取文本的重要信息。
　　 而如何有效的對大規(guī)模文本進行主題建模，從而能夠滿足計算時間與內存的需求，最后從模型中發(fā)掘潛在的主題規(guī)律一直是學者們關心的問題。本文分別采用基于OpenMP和MPI的高效并行算法，用來推斷模型參數，特別是并行快速BP算法，在不損失精度的情況下

3、，快速推斷模型參數，高效地處理超大規(guī)模數據。并行算法利用集群系統或者多核服務器分擔存儲負荷，并提高計算速率，不但解決了單機計算機的瓶頸問題，還提高了算法的可靠性、可用性和擴展性。本文的主要研究工作如下：
　　 1．研究了主題模型及其VB、GS、BP和快速BP推斷算法，并通過實驗對比證實了快速BP算法在速度和精確度上的優(yōu)勢，為解決其并行算法奠定理論基礎。
　　 2．提出了基于MPI的快速BP算法并應用于分布式內存的集群上，