基于后綴數(shù)組與Lucene的搜索引擎研究與設(shè)計(jì).pdf

1、搜索引擎已經(jīng)成為人們從浩如煙海的互聯(lián)網(wǎng)上及時(shí)、全面、準(zhǔn)確獲取信息的有效工具。但其實(shí)用性還遠(yuǎn)沒有達(dá)到人們的要求，甚至公認(rèn)技術(shù)領(lǐng)先的Google，常常也會大量返回與用戶想要結(jié)果不相關(guān)的內(nèi)容。準(zhǔn)確的說，搜索結(jié)果的質(zhì)量較低是目前突出的問題，這包括查準(zhǔn)率和結(jié)果相關(guān)性兩個(gè)方面。
　　用戶的需求是以最快的速度獲得與查詢最相關(guān)的信息。圍繞這個(gè)問題涉及高效的組織中文分詞，進(jìn)而開始全新的索引器設(shè)計(jì)。本課題將后綴數(shù)組技術(shù)引入搜索引擎中，優(yōu)化并應(yīng)用后綴快

2、速排序算法，解決了全文索引的時(shí)間問題。全文索引便于統(tǒng)計(jì)特定詞匯(包括短語)在全文中的詞頻，位置等附屬信息，為精準(zhǔn)權(quán)重設(shè)置，返回給用戶最相關(guān)的結(jié)果提供了數(shù)據(jù)支持。
　　以倒排文件構(gòu)建索引器是目前使用的技術(shù)，但這第一步就需要中文分詞。由于未登錄詞的大量出現(xiàn)，它的識別成為評價(jià)一個(gè)分詞系統(tǒng)好壞的重要標(biāo)志。本文應(yīng)用Marlber和Myers提出的同時(shí)構(gòu)造后綴數(shù)組與LCP數(shù)組算法，給出了基于后綴數(shù)組的無詞典分詞方法，提高了無詞典分詞的分全率，

3、較好的解決了未登錄詞切分和歧義消除問題。由于無詞典分詞的固有缺點(diǎn)，所抽出的部分詞條并非真實(shí)詞條，對只出現(xiàn)一次的詞，即使是常用詞，也束手無策?？紤]到基于詞典的分詞方法，對于詞典中的詞有準(zhǔn)確的分全率和分準(zhǔn)率，但不能夠識別未登錄詞和消除歧義。結(jié)合后綴數(shù)組統(tǒng)計(jì)分詞在這方面的優(yōu)勢，給出了詞典與后綴數(shù)組相結(jié)合的中文分詞方法，提高了分詞的精度，較好的解決了中文分詞問題。
　　課題實(shí)踐部分是研究開源框架Lucene的索引設(shè)計(jì)和開發(fā)模式，開發(fā)了2個(gè)