基于非對稱先驗的作者主題模型.pdf

1、本文提出了一個能同時分析文檔主題和作者興趣的概率圖模型(AALDA)?；ヂ?lián)網(wǎng)技術的發(fā)展給文本分析提出了很大的挑戰(zhàn)。在搜索引擎優(yōu)化，圖書館文本索引上，如何去處理海量的文本數(shù)據(jù)是學術研究熱點之一。生成式模型(Generative Models)是分析文檔內容的主流工具，它不僅可以提取大文本數(shù)據(jù)的結構信息，而且可以推測出新的文檔的主題概率分布。其中以潛在狄利克雷分配(Latent Dirichlet Allocation)為代表的主題模型(T

2、opic Models)利用多層次貝葉斯模型把文檔表示成多個主題的概率混合。引入隱藏隨機變量簡化了原始似然函數(shù)。通過期望-最大似然估計(Eepectation-Maximization)算法，首先在期望步驟估計出隱藏隨機變量的后驗概率。在最大化似然函數(shù)的步驟中，估計出模型中重要的參數(shù)。其中包括主題在所有單詞表上的概率分布，文檔的主題混合概率。
　　 本文中主要推導了LDA模型中如何在期望估計步驟中用Gibbs采樣(GibbsSa

3、mpling)來估計隱含隨機變量的后驗概率。然后介紹了基于非對稱先驗的LDA。經(jīng)過對中間文檔主題隨機變量的積分，它與詞語主題選擇隨機變量z構成了波利亞分布(Polya Distribution)。這個分布于波利亞罐模型相對應，在原本確定主題個數(shù)的情況下，使得單詞的主題選擇隨機變量有聚類的效應。新的模型把原始LDA中先驗的均勻分布作為一個不確定的參數(shù)，并用極大似然來估計。為了快速優(yōu)化波利亞分布的參數(shù)，避免二次Gibbs采樣造成迭代次數(shù)的平

4、方倍數(shù)的增長，本文使用了Minka的不動點優(yōu)化算法。
　　 最后本文提出了如何使用非對稱先驗來同時分析文檔的主題和作者主題興趣的模型AALDA。在這個模型中，每個作者都被賦予了一個非對稱先驗，用來捕捉文檔中作者對單詞的偏好，以此來反映出作者的哪些主題感興趣。該模型在NeuralInformation Process Systems會議(NIPS)90年代論文數(shù)據(jù)上取得了良好的效果。從結果來看，模型分析出了當時NIPS會議上有哪些