概率主題模型的研究及其在多媒體主題發(fā)現和演化中的應用.pdf

1、隨著信息技術、互聯網和數據庫技術的發(fā)展，人們積累的數據不斷增加，信息泛濫問題日益嚴重。如何從大量的數據集中發(fā)現用戶感興趣的熱點主題以及這些主題隨時間發(fā)展演化的情況，逐漸成為這個信息爆炸時代的重要問題。搜索引擎的出現為人們從海量的存檔數據中快速檢索和尋找有用信息提供了一種有效途徑。然而，搜索引擎所返回的搜索結果往往是零碎的非結構化的信息，它不能反映整個主題隨時間發(fā)展演化的情況。隨著以LDA為代表的概率主題模型的出現，各種主題發(fā)現和演化的研

2、究大量涌現，為解決熱點主題的發(fā)現和主題隨時間的演化等問題提供了很好的途徑。本文對各種概率主題模型中的典型模型進行了綜述分析和對比研究；在此基礎上，針對科研文獻數據中廣泛存在的多源結構化信息，提出了一種內容和引用信息相結合的概率主題模型，并應用到科研文獻的主題發(fā)現和跟蹤中；其次，提出了一種新的基于隨機游走模型的主題演化圖構建算法，解決了不同主題之間的演化問題；最后，提出了一種兩層結構的非參數化的概率主題模型，并應用到交通視頻中的運動模式識

3、別和異常行為檢測中。
　　本研究主要內容包括：⑴對最新的各種不同類型的概率主題模型進行了綜述分析。首先根據模型對時間變量處理的特點，將其分為三類典型模型----離散時間主題模型、連續(xù)時間主題模型和在線式的主題模型。其次，分別對這三類模型的特點進行了總結，并選取每類模型中的典型模型進行了詳細的分析，包括模型的建模過程、模型特點以及各種模型的優(yōu)缺點。針對各類概率主題模型的對比實驗問題，分析了模型性能比較的各種可能方法，并總結了兩種有效

4、的性能指標----困惑度值和sKL散度值。分別對三類主題模型中的典型模型，在兩個典型的科研文獻數據庫上進行了對比實驗研究，通過對比實驗驗證了綜述分析中對各種模型特點的分析。⑵提出了一種Citation-Content-LDA主題模型,該模型在一個概率主題模型中綜合利用文檔的文本信息和文檔之間的引用信息來進行主題的建模。該Citation-Content-LDA模型是一種兩層的主題模型，其分別利用引用信息來生成“父主題”和文本信息生成“子

5、主題”，在此基礎上還實現了主題跟蹤算法，并利用吉布斯采樣算法來求解模型的參數。通過在兩個典型的科研文獻數據集上的對比實驗研究，驗證了該模型的有效性和優(yōu)越性。⑶提出了一種基于主題分割和主題關系度量的主題演化圖的構建算法。針對不同主題之間的演化問題，在Citation-Content-LDA模型發(fā)現的主題的基礎上，利用主題中文檔的時間信息進行主題的分割，解決了主題對齊的問題；提出了一種基于隨機游走的主題關系度量算法，借鑒PageRank算法

6、的思想，建立主題之間關聯關系的有向無環(huán)圖，并通過對圖的隨機游走遍歷實現了主題之間關系的概率度量，最終實現了不同主題之間演化關系圖的構建算法。通過在兩個典型的科研文獻數據集上的實驗，分別得到了這兩個數據集上不同主題之間的演化圖。⑷提出了一種非參數化的兩層結構的主題模型，應用于交通視頻數據的運動模式識別和異常行為檢測。該兩層結構的非參數化的主題模型能夠自動確定每層的主題數量，可分別提取出交通視頻中的局部主題（視覺活動）和全局主題（交通模式）