基于偽文檔的潛在語(yǔ)義索引優(yōu)化技術(shù)的研究.pdf

1、自然語(yǔ)言中普遍存在著同義詞和多義詞現(xiàn)象，致使人們很難通過(guò)以詞形匹配的關(guān)鍵詞檢索尋找到真正需要的網(wǎng)絡(luò)資源。潛在語(yǔ)義索引通過(guò)奇異值分解將同義詞映射到潛在語(yǔ)義空間的同一維度上，同時(shí)將多義詞映射到不同的維度上，進(jìn)而在一定程度上解決了一詞多義和多詞一義的現(xiàn)象。潛在語(yǔ)義索引與其它基于概念詞典的方法相比，具有可計(jì)算性強(qiáng)，領(lǐng)域適應(yīng)能力強(qiáng)的優(yōu)點(diǎn)，并已成為了自然語(yǔ)言處理領(lǐng)域中的研究熱點(diǎn)。
　　本文的研究工作是通過(guò)強(qiáng)化合理的特征共現(xiàn)信息來(lái)提高潛在語(yǔ)義空

2、間中特征向量和文檔向量的準(zhǔn)確度，進(jìn)而提高系統(tǒng)的性能?；谝陨系南敕?，本文提出了基于偽文檔的潛在語(yǔ)義索引的優(yōu)化框架，所謂偽文檔即是通過(guò)對(duì)原始文檔集合進(jìn)行有指導(dǎo)地組織而形成的新的文檔。同時(shí)，本文在基于偽文檔的優(yōu)化框架的基礎(chǔ)上提出了兩種優(yōu)化策略：基于語(yǔ)義塊的優(yōu)化方法及基于語(yǔ)義資源的優(yōu)化方法。
　　針對(duì)潛在語(yǔ)義索引以文檔窗口為傳遞窗口造成的特征相關(guān)度不準(zhǔn)確的問(wèn)題，本文提出了基于語(yǔ)義塊的優(yōu)化方法。該方法是通過(guò)對(duì)原始文檔集合有指導(dǎo)地分割，將語(yǔ)

3、義相近的特征劃分到同一個(gè)語(yǔ)義塊單元中，從而加強(qiáng)了語(yǔ)義相關(guān)特征的相關(guān)性，最終優(yōu)化了潛在語(yǔ)義空間中的代表特征和文檔的向量。
　　同時(shí)，在應(yīng)用潛在語(yǔ)義索引的過(guò)程中，生成潛在語(yǔ)義空間的整個(gè)過(guò)程是完全無(wú)指導(dǎo)的，使得語(yǔ)義空間中的表達(dá)特征和文檔的向量不夠準(zhǔn)確?；谡Z(yǔ)義資源的優(yōu)化方法通過(guò)將人的先驗(yàn)知識(shí)融入到原始的文檔集合中，有指導(dǎo)地強(qiáng)化了同義特征之間的相關(guān)度，最終使得潛在語(yǔ)義空間中表達(dá)特征和文檔的向量更加準(zhǔn)確。
　　最終，本文開(kāi)發(fā)了“基于潛