信息檢索查詢詞權分配方法的研究.pdf

1、因特網的發(fā)展使得人們可訪問的信息資源越來越多,遠遠超過了人工篩選的處理能力,人們迫切的需要一種能夠快速準確地為其找到所需信息的手段。信息檢索這個研究領域正是應此需求而誕生的。信息檢索所關心的問題是:信息的表達,存儲,組織與獲取等方面的問題。本文主要從信息檢索中的查詢(Query)的表達方法入手來對信息檢索技術加以研究?，F在的搜索引擎,對于短查詢(Short Query)的檢索效果一般來說比長的查詢(Long Query)要好。這主要是由

2、于當今的大多數搜索引擎將查詢中的查詢詞(Term)以相同的重要性來看待,這使得在最終的檢索結果中,傾向于Query中不重要的Term的文檔同樣會得到很高的排序(Rank)得分,從而導致真正與查詢有較強的語義相關性的文檔排到后面,最終影響檢索性能。本文正是立足于傳統(tǒng)方法在這一方面的不足進行研究的,力圖尋求一種方法來確定Query中各Term在用戶信息需求(InformationNeed)的表達中所起的重要性,并利用不同的Term具有不同重

3、要性這一特點,通過在檢索階段對它們區(qū)分對待來提高最終的整體檢索效果。
　　 本文的基本思想是,對于自然語言所構成的查詢,查詢詞的重要性在語言的組織結構本身中就有很強的體現,也就是說,我們可以利用這些信息來估計查詢詞的重要性。本文中所用到的核心方法為隱馬爾可夫模型(Hidden MarkovModel,HMM),我們將在文中詳細討論使用該模型進行權重分配的好處,并通過大量的實驗對比不同階次的馬爾可夫模型在Term權重分配上的效果,