基于后綴數(shù)組與Lucene的搜索引擎研究與設計.pdf

1、搜索引擎已經(jīng)成為人們從浩如煙海的互聯(lián)網(wǎng)上及時、全面、準確獲取信息的有效工具。但其實用性還遠沒有達到人們的要求，甚至公認技術領先的Google，常常也會大量返回與用戶想要結果不相關的內容。準確的說，搜索結果的質量較低是目前突出的問題，這包括查準率和結果相關性兩個方面。
　　用戶的需求是以最快的速度獲得與查詢最相關的信息。圍繞這個問題涉及高效的組織中文分詞，進而開始全新的索引器設計。本課題將后綴數(shù)組技術引入搜索引擎中，優(yōu)化并應用后綴快

2、速排序算法，解決了全文索引的時間問題。全文索引便于統(tǒng)計特定詞匯(包括短語)在全文中的詞頻，位置等附屬信息，為精準權重設置，返回給用戶最相關的結果提供了數(shù)據(jù)支持。
　　以倒排文件構建索引器是目前使用的技術，但這第一步就需要中文分詞。由于未登錄詞的大量出現(xiàn)，它的識別成為評價一個分詞系統(tǒng)好壞的重要標志。本文應用Marlber和Myers提出的同時構造后綴數(shù)組與LCP數(shù)組算法，給出了基于后綴數(shù)組的無詞典分詞方法，提高了無詞典分詞的分全率，

3、較好的解決了未登錄詞切分和歧義消除問題。由于無詞典分詞的固有缺點，所抽出的部分詞條并非真實詞條，對只出現(xiàn)一次的詞，即使是常用詞，也束手無策?？紤]到基于詞典的分詞方法，對于詞典中的詞有準確的分全率和分準率，但不能夠識別未登錄詞和消除歧義。結合后綴數(shù)組統(tǒng)計分詞在這方面的優(yōu)勢，給出了詞典與后綴數(shù)組相結合的中文分詞方法，提高了分詞的精度，較好的解決了中文分詞問題。
　　課題實踐部分是研究開源框架Lucene的索引設計和開發(fā)模式，開發(fā)了2個