基于主題模型的文本主題相似度檢測研究.pdf

1、隨著計(jì)算機(jī)技術(shù)的不斷發(fā)展，越來越多的文本信息被電子化。如何自動(dòng)而又準(zhǔn)確地處理這些電子化的文本信息已成為文本主題相似度檢測研究的首要問題。在如此的社會(huì)環(huán)境影響下，文本相似度檢測技術(shù)逐漸涌現(xiàn)出來，Google的搜索引擎與騰訊每日的新聞分類。都逐步開始采用此技術(shù)從海量文本中挖掘出具有寶貴價(jià)值的語義信息，提供給用戶以提升客戶體驗(yàn)度。由此可見計(jì)算機(jī)自動(dòng)檢測文本相似度已深入我們的生活。本文分析了文本相似度檢測的難點(diǎn)、應(yīng)用熱門和國內(nèi)外研究現(xiàn)狀，發(fā)現(xiàn)已

2、有檢測方法存在著文本結(jié)構(gòu)化矩陣過于稀疏導(dǎo)致運(yùn)算效率低下和無法解釋歧義性詞匯語義等問題。針對此問題，文中提出了一種基于主題模型的文本主題相似度檢測研究方法。該方法通過對文本內(nèi)各詞項(xiàng)和主題的概率分布統(tǒng)計(jì)，提取出文本內(nèi)的潛在主題。采用主題模型的概率統(tǒng)計(jì)特點(diǎn)構(gòu)建主題類別體系，達(dá)到對文本主題相似度檢測的目的。在文本聚類實(shí)驗(yàn)中，通過與原有方法的召回率、準(zhǔn)確率、F值以及誤檢率等指標(biāo)比對發(fā)現(xiàn)。相比已有的文本主題相似度檢測方法，本文方法的各項(xiàng)指標(biāo)均有不同