基于LDA的潛在語(yǔ)義空間分析及Web文檔聚類(lèi)的研究與實(shí)現(xiàn).pdf

1、隨著Internet和搜索引擎技術(shù)的發(fā)展，Web文檔聚類(lèi)已成為提高Web搜索和個(gè)性化服務(wù)的一個(gè)重要支撐技術(shù)，Web文檔的表示則是影響Web文檔聚類(lèi)的結(jié)果的重要因素之一。目前Web文檔聚類(lèi)中由于文檔表示模型及聚類(lèi)算法的設(shè)計(jì)與實(shí)現(xiàn)等方面的問(wèn)題，導(dǎo)致聚類(lèi)質(zhì)量不高，因而不能很好地滿足用戶需求。
　　本文針對(duì)Web文檔的表示模型及Web文檔聚類(lèi)過(guò)程兩方面進(jìn)行研究，提出基于LDA的潛在語(yǔ)義空間分析及Web文檔聚類(lèi)方法。首先應(yīng)用LDA模型進(jìn)行文

2、檔的潛在語(yǔ)義分析，將語(yǔ)義分布空間劃分成低頻、中頻、高頻語(yǔ)義區(qū)，以低頻語(yǔ)義區(qū)的語(yǔ)義進(jìn)行Web游離文檔檢測(cè)，以中、高頻語(yǔ)義區(qū)的語(yǔ)義作為文檔特征進(jìn)行文檔聚類(lèi)。在此基礎(chǔ)上，采用文檔類(lèi)別與語(yǔ)義互作用機(jī)制對(duì)聚類(lèi)結(jié)果進(jìn)行修正。
　　與相關(guān)工作比較，本文不僅應(yīng)用LDA模型表示文檔，而且進(jìn)行了深入的語(yǔ)義分布區(qū)域劃分，并將分析結(jié)果應(yīng)用于Web文檔聚類(lèi)。實(shí)驗(yàn)表明，本文提出的基于LDA的潛在語(yǔ)義區(qū)劃分及Web文檔聚類(lèi)算法在聚類(lèi)準(zhǔn)確率較以詞為特征以及采用P