信息檢索中淺層語義模型的研究.pdf

1、目前文本信息檢索領域中普遍采用基于統(tǒng)計的模型，如布爾模型、向量空間模型。但是它們沒有很好地解決以下幾方面問題，包括：歧義詞辨析、同義詞擴展、概念層次關系、上下文語義關系等。 為了解決以上問題，提高文本信息系統(tǒng)檢索效力，本論文提出了兩種淺層語義檢索模型——淺層語義向量空間模型 (SSVSM，Shallow-Semantic Vector Space Model) 和基于本體的淺層語義模型 (OBSSM，Ontology-Based

2、 Shallow-Semantic Model)?；谶@兩種檢索模型，本論文構建了兩個信息檢索系統(tǒng)，并分別采用英文標準語料和中文實際數(shù)據(jù)進行測試，同時與傳統(tǒng)的基于統(tǒng)計的檢索模型進行量化比較。 本論文的主要研究內容及成果如下： 1、淺層語義向量空間模型相關內容及成果： (1) 提出了淺層語義向量空間模型。通過對傳統(tǒng)的向量空間模型 (Vector Space Model，VSM) 的改進，提出了淺層語義向量空間模型。

3、該模型與傳統(tǒng)向量空間模型主要區(qū)別以及優(yōu)點在于：它將傳統(tǒng)的檢索關鍵詞 (本論文中主要指名詞)與修飾它的修飾詞 (本論文中主要指形容詞) 合成，作為一個整體關鍵詞 (本論文中稱其為合成短語)，可確定多義詞的真正含義；同時，將合成短語中的修飾詞以及它所修飾的中心詞根據(jù)模糊同義詞詞典進行擴展并重組，可檢索出一些由于用詞生僻而原本檢索不出來的但符合用戶需要的文本。 (2) 建立了模糊同義詞詞典。為了實現(xiàn)淺層語義向量空間模型中的查詢擴展，基

4、于著名的語義詞典 WordNet 建立了模糊同義詞詞典。模型中，使用該詞典對查詢向量進行了模糊擴展 (目前，該詞典已經(jīng)在與日本 JUSTSYSTEM 公司的合作項目中得到應用，日方利用該詞典開發(fā)了 NLPs 工具)。 (3) 進行了信息檢索試驗。使用英文標準語料庫 (TREC：LA-Times)，輸入共150個查詢語句，驗證基于本論文提出的淺層語義向量空間模型的信息檢索系統(tǒng)性能，并將其反饋結果與普通檢索試驗的結果進行比較，用以說

5、明該語義模型的優(yōu)勢。 (4) 進行系統(tǒng)評價。本論文主要從精確率和召回率兩方面指標對信息檢索系統(tǒng)進行評價，試驗結果表明，淺層語義向量空間模型的檢索精確率、召回率比普通檢索模型有所提高。 2、基于本體的淺層語義模型相關內容及成果： (1) 建立領域本體。分析了某市移動通信公司2002年～2005年的投訴記錄，使用Protégé工具建立了移動通信投訴服務領域的本體。在該本體的建立過程中，提出了自頂向下結合延伸的概念提取

6、方法、基于 Apriori 算法思想挖掘概念之間關系的方法，改善了人工建立領域本體的不完整性。 (2) 提出了基于本體的淺層語義模型?；谒I域本體，提出了基于本體的淺層語義模型，對比傳統(tǒng)的基于關鍵詞檢索，它的主要優(yōu)點在于：根據(jù)父子概念的繼承關系、同義詞詞典的查詢擴展，能夠提高信息檢索系統(tǒng)的召回率；根據(jù)主賓約束，能夠提高信息檢索系統(tǒng)的精確率。 (3) 給出了基于該模型進行信息檢索的應用實例。根據(jù)基于本體的淺層語義模型開