基于主題模型的文本主題相似度檢測(cè)研究.pdf

1、隨著計(jì)算機(jī)技術(shù)的不斷發(fā)展，越來越多的文本信息被電子化。如何自動(dòng)而又準(zhǔn)確地處理這些電子化的文本信息已成為文本主題相似度檢測(cè)研究的首要問題。在如此的社會(huì)環(huán)境影響下，文本相似度檢測(cè)技術(shù)逐漸涌現(xiàn)出來，Google的搜索引擎與騰訊每日的新聞分類。都逐步開始采用此技術(shù)從海量文本中挖掘出具有寶貴價(jià)值的語義信息，提供給用戶以提升客戶體驗(yàn)度。由此可見計(jì)算機(jī)自動(dòng)檢測(cè)文本相似度已深入我們的生活。本文分析了文本相似度檢測(cè)的難點(diǎn)、應(yīng)用熱門和國(guó)內(nèi)外研究現(xiàn)狀，發(fā)現(xiàn)已

2、有檢測(cè)方法存在著文本結(jié)構(gòu)化矩陣過于稀疏導(dǎo)致運(yùn)算效率低下和無法解釋歧義性詞匯語義等問題。針對(duì)此問題，文中提出了一種基于主題模型的文本主題相似度檢測(cè)研究方法。該方法通過對(duì)文本內(nèi)各詞項(xiàng)和主題的概率分布統(tǒng)計(jì)，提取出文本內(nèi)的潛在主題。采用主題模型的概率統(tǒng)計(jì)特點(diǎn)構(gòu)建主題類別體系，達(dá)到對(duì)文本主題相似度檢測(cè)的目的。在文本聚類實(shí)驗(yàn)中，通過與原有方法的召回率、準(zhǔn)確率、F值以及誤檢率等指標(biāo)比對(duì)發(fā)現(xiàn)。相比已有的文本主題相似度檢測(cè)方法，本文方法的各項(xiàng)指標(biāo)均有不同