基于快速置信傳播算法的并行主題建模方法研究.pdf

1、概率主題模型利用快速的非監(jiān)督機(jī)器學(xué)習(xí)算法來(lái)自動(dòng)組織、理解和摘要文本的主要內(nèi)容，長(zhǎng)期以來(lái)一直是機(jī)器學(xué)習(xí)的研究熱點(diǎn)之一。Hofmann提出了第一個(gè)嚴(yán)格意義上的概率主題模型probabilisticLatentSemanticAnalysis(pLSA)，而Blei等人又在pLSA的基礎(chǔ)上擴(kuò)展得到更為完全的概率主題模型LatentDirichletAllocation(LDA)。LDA首先對(duì)文本建模，然后利用變分貝葉斯（Variational

2、Bayes，VB）、吉布斯采樣(GibbsSampling，GS)或置信傳播(BeliefPropagation，BP)推斷模型參數(shù)，最后挖掘出數(shù)據(jù)的隱含主題結(jié)構(gòu)，獲取文本的重要信息。
　　 而如何有效的對(duì)大規(guī)模文本進(jìn)行主題建模，從而能夠滿足計(jì)算時(shí)間與內(nèi)存的需求，最后從模型中發(fā)掘潛在的主題規(guī)律一直是學(xué)者們關(guān)心的問(wèn)題。本文分別采用基于OpenMP和MPI的高效并行算法，用來(lái)推斷模型參數(shù)，特別是并行快速BP算法，在不損失精度的情況下

3、，快速推斷模型參數(shù)，高效地處理超大規(guī)模數(shù)據(jù)。并行算法利用集群系統(tǒng)或者多核服務(wù)器分擔(dān)存儲(chǔ)負(fù)荷，并提高計(jì)算速率，不但解決了單機(jī)計(jì)算機(jī)的瓶頸問(wèn)題，還提高了算法的可靠性、可用性和擴(kuò)展性。本文的主要研究工作如下：
　　 1．研究了主題模型及其VB、GS、BP和快速BP推斷算法，并通過(guò)實(shí)驗(yàn)對(duì)比證實(shí)了快速BP算法在速度和精確度上的優(yōu)勢(shì)，為解決其并行算法奠定理論基礎(chǔ)。
　　 2．提出了基于MPI的快速BP算法并應(yīng)用于分布式內(nèi)存的集群上，