基于LDA的潛在語義空間分析及Web文檔聚類的研究與實(shí)現(xiàn).pdf

1、隨著Internet和搜索引擎技術(shù)的發(fā)展，Web文檔聚類已成為提高Web搜索和個(gè)性化服務(wù)的一個(gè)重要支撐技術(shù)，Web文檔的表示則是影響Web文檔聚類的結(jié)果的重要因素之一。目前Web文檔聚類中由于文檔表示模型及聚類算法的設(shè)計(jì)與實(shí)現(xiàn)等方面的問題，導(dǎo)致聚類質(zhì)量不高，因而不能很好地滿足用戶需求。
　　本文針對(duì)Web文檔的表示模型及Web文檔聚類過程兩方面進(jìn)行研究，提出基于LDA的潛在語義空間分析及Web文檔聚類方法。首先應(yīng)用LDA模型進(jìn)行文

2、檔的潛在語義分析，將語義分布空間劃分成低頻、中頻、高頻語義區(qū)，以低頻語義區(qū)的語義進(jìn)行Web游離文檔檢測，以中、高頻語義區(qū)的語義作為文檔特征進(jìn)行文檔聚類。在此基礎(chǔ)上，采用文檔類別與語義互作用機(jī)制對(duì)聚類結(jié)果進(jìn)行修正。
　　與相關(guān)工作比較，本文不僅應(yīng)用LDA模型表示文檔，而且進(jìn)行了深入的語義分布區(qū)域劃分，并將分析結(jié)果應(yīng)用于Web文檔聚類。實(shí)驗(yàn)表明，本文提出的基于LDA的潛在語義區(qū)劃分及Web文檔聚類算法在聚類準(zhǔn)確率較以詞為特征以及采用P