潛在語義分析理論研究及其應用.pdf

1、隨著計算機技術和信息技術的不斷發(fā)展，尤其是互聯(lián)網(wǎng)技術的日新月異，使得人們能獲得信息成幾何級飛速增長。但是面對著這些浩如煙海而又紛繁雜亂的信息資源，依靠人工的分析標引，甚至是單純的匹配檢索技術已經(jīng)無法滿足日益增長的變化的用戶需求。從而需要計算機的智能處理技術來提高查找有用信息的效率，其中高效、準確的信息表示方式是各種后續(xù)智能處理的重要基礎。 基于文本關鍵詞的向量空間模型(VSM)對信息檢索中的文本采用向量表示方法，為計算機處理文本

2、信息提供了良好的表示方式。但是這種關鍵詞的表示方法是基于詞間關系相互獨立的假設下，而在現(xiàn)實中往往同義詞，近義詞大量存在，同時忽視上下語境孤立地看待文本內(nèi)容，勢必影響查詢結果的準確性和完整性。 本文所論述的潛在語義分析(LatentSemanticAnalysis，簡稱LSA)通過數(shù)學中的奇異值分解(SingularValueDecomposition，簡稱SVD)來分析文本集中各個詞匯之間，各個文本之間，文本與提問式之間的關系，

3、是一種產(chǎn)生關鍵詞－概念(語義)之間映射規(guī)則的方法。LSA認為詞語在文本中的使用模式內(nèi)存在著潛在的語義結構，同義詞之間應該具有基本相同語義結構，多義詞必定具有不同的語義結構。LSA通過提取并量化這些潛在語義結構，進而消除同義詞、多義詞的影響，提供文本表示的準確性。而隨后又出現(xiàn)的PLSA(ProbabilisticLatentSemanticAnalysis)對基于奇異值分解的LSA又進行了統(tǒng)計學極大似然估計重新解釋。LSA最初應用在文本信