潛在語(yǔ)義分析理論研究及其應(yīng)用.pdf

1、隨著計(jì)算機(jī)技術(shù)和信息技術(shù)的不斷發(fā)展，尤其是互聯(lián)網(wǎng)技術(shù)的日新月異，使得人們能獲得信息成幾何級(jí)飛速增長(zhǎng)。但是面對(duì)著這些浩如煙海而又紛繁雜亂的信息資源，依靠人工的分析標(biāo)引，甚至是單純的匹配檢索技術(shù)已經(jīng)無(wú)法滿足日益增長(zhǎng)的變化的用戶需求。從而需要計(jì)算機(jī)的智能處理技術(shù)來(lái)提高查找有用信息的效率，其中高效、準(zhǔn)確的信息表示方式是各種后續(xù)智能處理的重要基礎(chǔ)。 基于文本關(guān)鍵詞的向量空間模型(VSM)對(duì)信息檢索中的文本采用向量表示方法，為計(jì)算機(jī)處理文本

2、信息提供了良好的表示方式。但是這種關(guān)鍵詞的表示方法是基于詞間關(guān)系相互獨(dú)立的假設(shè)下，而在現(xiàn)實(shí)中往往同義詞，近義詞大量存在，同時(shí)忽視上下語(yǔ)境孤立地看待文本內(nèi)容，勢(shì)必影響查詢結(jié)果的準(zhǔn)確性和完整性。 本文所論述的潛在語(yǔ)義分析(LatentSemanticAnalysis，簡(jiǎn)稱LSA)通過(guò)數(shù)學(xué)中的奇異值分解(SingularValueDecomposition，簡(jiǎn)稱SVD)來(lái)分析文本集中各個(gè)詞匯之間，各個(gè)文本之間，文本與提問(wèn)式之間的關(guān)系，

3、是一種產(chǎn)生關(guān)鍵詞－概念(語(yǔ)義)之間映射規(guī)則的方法。LSA認(rèn)為詞語(yǔ)在文本中的使用模式內(nèi)存在著潛在的語(yǔ)義結(jié)構(gòu)，同義詞之間應(yīng)該具有基本相同語(yǔ)義結(jié)構(gòu)，多義詞必定具有不同的語(yǔ)義結(jié)構(gòu)。LSA通過(guò)提取并量化這些潛在語(yǔ)義結(jié)構(gòu)，進(jìn)而消除同義詞、多義詞的影響，提供文本表示的準(zhǔn)確性。而隨后又出現(xiàn)的PLSA(ProbabilisticLatentSemanticAnalysis)對(duì)基于奇異值分解的LSA又進(jìn)行了統(tǒng)計(jì)學(xué)極大似然估計(jì)重新解釋。LSA最初應(yīng)用在文本信