基于LDA模型的文本主題挖掘和文本靜態(tài)可視化的研究.pdf

1、隨著信息技術(shù)的發(fā)展，人們生活在一個充斥著信息的世界里。在享受各種信息服務(wù)所帶來的便利的同時，也不得不面對著信息過多而難以處理的局面。文本作為信息最主要的載體，其信息過載的現(xiàn)象表現(xiàn)的最為突出。因此，研究如何從文本語料集中歸納總結(jié)出文本的主題，已經(jīng)成為文本挖掘領(lǐng)域的研究熱點。
　　 本文基于LDA模型對文本主題挖掘和文本靜態(tài)可視分析進行了研究。具體工作如下:
　　 (1)首先，提出了文本中主題相同的連續(xù)詞項具有連續(xù)語義的思想

2、，并且根據(jù)這個思想提出了一種基于LDA模型的抽取文檔主題的方法，改進了單一主題詞對主題表達不足的問題。通過實驗驗證，該方法抽取的主題具有較好的準確性和可讀性。
　　 (2)接著，針對招聘信息文檔其文檔篇幅短、每一句主題明確的特點，在(1)的基礎(chǔ)上，提出了一種基于LDA模型的挖掘招聘信息的技術(shù)主題的方法。該方法以句子為單位使用LDA模型對招聘信息建模，再通過SVM分類提取出與技術(shù)相關(guān)的句子，最后使用(1)的方法從技術(shù)相關(guān)的句子中抽

3、取出技術(shù)主題并且整合成招聘信息的技術(shù)主題。實驗表明該方法能夠準確的挖掘出招聘信息的技術(shù)主題，獲得了良好的效果。
　　 (3)最后，針對普通文本表現(xiàn)主題能力弱的問題，提出了一種對語料集中單篇文檔進行主題靜態(tài)可視化的方法。該方法將LDA模型對語料集生成的主題詞權(quán)重與tf-idf相結(jié)合，計算主題詞組的權(quán)重;再確定主題布局;最后使用Processing，生成單篇文檔的主題靜態(tài)可視化。并且在(1)(2)的工作基礎(chǔ)上，使用該方法對一篇招聘信