基于LDA模型的文本主題挖掘和文本靜態(tài)可視化的研究.pdf

1、隨著信息技術(shù)的發(fā)展，人們生活在一個(gè)充斥著信息的世界里。在享受各種信息服務(wù)所帶來的便利的同時(shí)，也不得不面對(duì)著信息過多而難以處理的局面。文本作為信息最主要的載體，其信息過載的現(xiàn)象表現(xiàn)的最為突出。因此，研究如何從文本語料集中歸納總結(jié)出文本的主題，已經(jīng)成為文本挖掘領(lǐng)域的研究熱點(diǎn)。
　　 本文基于LDA模型對(duì)文本主題挖掘和文本靜態(tài)可視分析進(jìn)行了研究。具體工作如下:
　　 (1)首先，提出了文本中主題相同的連續(xù)詞項(xiàng)具有連續(xù)語義的思想

2、，并且根據(jù)這個(gè)思想提出了一種基于LDA模型的抽取文檔主題的方法，改進(jìn)了單一主題詞對(duì)主題表達(dá)不足的問題。通過實(shí)驗(yàn)驗(yàn)證，該方法抽取的主題具有較好的準(zhǔn)確性和可讀性。
　　 (2)接著，針對(duì)招聘信息文檔其文檔篇幅短、每一句主題明確的特點(diǎn)，在(1)的基礎(chǔ)上，提出了一種基于LDA模型的挖掘招聘信息的技術(shù)主題的方法。該方法以句子為單位使用LDA模型對(duì)招聘信息建模，再通過SVM分類提取出與技術(shù)相關(guān)的句子，最后使用(1)的方法從技術(shù)相關(guān)的句子中抽

3、取出技術(shù)主題并且整合成招聘信息的技術(shù)主題。實(shí)驗(yàn)表明該方法能夠準(zhǔn)確的挖掘出招聘信息的技術(shù)主題，獲得了良好的效果。
　　 (3)最后，針對(duì)普通文本表現(xiàn)主題能力弱的問題，提出了一種對(duì)語料集中單篇文檔進(jìn)行主題靜態(tài)可視化的方法。該方法將LDA模型對(duì)語料集生成的主題詞權(quán)重與tf-idf相結(jié)合，計(jì)算主題詞組的權(quán)重;再確定主題布局;最后使用Processing，生成單篇文檔的主題靜態(tài)可視化。并且在(1)(2)的工作基礎(chǔ)上，使用該方法對(duì)一篇招聘信