基于概率生成模型的文本主題建模及其應(yīng)用.pdf

1、在以信息化、數(shù)字化和網(wǎng)絡(luò)化為特征的21世紀(jì)里，海量的文本數(shù)據(jù)正在從各個方面以各種形式深層次地影響著我們的生活。如果說Google、Baidu等搜索引擎通過幫助我們從海量文本中準(zhǔn)確地查找相關(guān)的文本而帶來了人們利用文本信息的第一次革命，文本挖掘則通過從海量文本中挖掘出新的知識幫助人迅速理解海量文本帶來了人們利用文本信息的第二次革命。文本聚類是文本挖掘兩大重要研究問題之一[1，2]。文本聚類根據(jù)文本的內(nèi)容的相似性將文本集合歸為若干個“類”。文

2、本聚類將理解海量的文本的過程從“以單個文本為單位逐篇理解文本集合內(nèi)各文本”的過程簡化為“以文本類為單位逐個理解文本集合內(nèi)各個主題”的過程。一個文本類代表了一個統(tǒng)一的主題內(nèi)容，可以幫助人們快速理解海量文本集合的內(nèi)容，也可以被其他文本處理方法進(jìn)一步挖掘和利用。然而傳統(tǒng)的文本聚類方法主要關(guān)注如何將文本集合歸類，而對文本類本身的研究卻只有初步的嘗試。主題建模利用貝葉斯概率模型為“主題”、“主題間關(guān)系”等抽象概念建立明確的模型，并利用近似概率推理

3、方法從文本數(shù)據(jù)中挖掘出這些抽象概念，彌補了文本聚類研究領(lǐng)域內(nèi)對文本類本身研究的不足。主題建模方法以其出色的對高維數(shù)據(jù)的降維能力，對真實世界中復(fù)雜系統(tǒng)的建模能力以及靈活易擴展的模型設(shè)計方法，成為文本挖掘領(lǐng)域近年來的一個熱門研究方向，并在圖像處理、金融、軟件工程等眾多領(lǐng)域得到了廣泛的應(yīng)用。本文正是基于以上的背景，對主題建模研究中若干關(guān)鍵問題進(jìn)行了研究，并嘗試了主題建模方法在其他研究領(lǐng)域的應(yīng)用。本研究內(nèi)容和創(chuàng)新點體現(xiàn)在以下幾個方面：
　

4、　 ⑴主題模型設(shè)計的研究。樹狀層次化主題關(guān)系[3]和有向無環(huán)圖主題關(guān)系[4]的引入增強了主題模型對復(fù)雜文本生成過程的建模能力。然而本文的研究工作表明，這類復(fù)雜的主題模型內(nèi)部隨機變量之間存在的相關(guān)性使得某些常用的近似概率推理算法(Gibbs抽樣算法)收斂速度慢，容易陷入局部最大點，導(dǎo)致算法無法挖掘出文本數(shù)據(jù)中蘊含的語義。針對這個問題，我們提出了一個新的隨機過程：嵌套的層次化Dirichlet過程(nested hierarchical

5、Dirichlet process)，并基于該隨機過程提出兩個層次化主題模型。我們的理論分析和實驗表明，在這兩個主題模型中的引入“亞主題”和“層次映射”的概念，有效解決了隨機變量間的相關(guān)性帶來的模型推理的困難。
　　 ⑵近似概率推理方法的研究。由于主題模型的復(fù)雜性，主題模型的精確推理超過了現(xiàn)有的計算能力。馬爾可夫鏈蒙特卡羅(Markov chain Monte Carlo)方法是一種廣泛使用的主題模型的近似推理方法。利用MCMC

6、方法進(jìn)行的主題模型的推理過程就是運行Markov鏈直至其收斂到主題模型定義的各隱含隨機變量的聯(lián)合概率分布的過程。MCMC方法的收斂速度決定了主題建模處理海量文本的能力。然而由于一些主題模型中大量隨機變量之間復(fù)雜的關(guān)系，一些MCMC方法收斂速度很慢[5]。本文提出的ASM抽樣算法是MCMC方法的一種。ASM抽樣算法能夠在運行的過程中充分利用Markov鏈當(dāng)前狀態(tài)內(nèi)所有的信息動態(tài)調(diào)整轉(zhuǎn)移矩陣，提高收斂速度。實驗表明，相比現(xiàn)有的類似算法，AS

7、M抽樣算法能夠在更短的時間內(nèi)收斂到更好的結(jié)果。
　　 ⑶主題模型在移動建模中應(yīng)用的研究。主題建模不僅是文本處理領(lǐng)域近年來熱門的研究方向，也在其他研究領(lǐng)域得到廣泛的應(yīng)用。移動建模是移動計算中一個重要的研究問題。移動建模為無線網(wǎng)絡(luò)用戶的移動方式建模，解決用戶的移動性帶來的如資源部署、路由協(xié)議設(shè)計等各種難題。在移動建模研究領(lǐng)域存在一種特殊的數(shù)據(jù)，即通過各種移動設(shè)備，如手機、車載GPS、無線通信網(wǎng)絡(luò)等記錄下的移動用戶在環(huán)境中留下的一連串

8、的軌跡記錄(trace log)。這些軌跡記錄和文本數(shù)據(jù)一樣具有高維度、數(shù)據(jù)量大、內(nèi)部蘊含復(fù)雜的模式的特點。傳統(tǒng)的移動建模方法大都采用以Markov模型、隱Markov模型為代表的時序模型。我們指出在一些場景下非時序模型比時序模型更加適合用來挖掘用戶移動行為背后的目的。我們首次提出了層次化的移動模式的概念，并首次將主題建模引入到移動建模研究領(lǐng)域中。實驗表明我們提出的基于嵌套的Dirichlet過程混合過程的移動模型能比隱Markov模型