面向全文檢索的在線索引關(guān)鍵技術(shù)研究.pdf

1、隨著互聯(lián)網(wǎng)信息的日益膨脹，人們能夠獲得的信息越來(lái)越多，但要準(zhǔn)確、及時(shí)的獲取需要的最新信息卻有些困難。在線索引構(gòu)建及管理作為搜索系統(tǒng)的重要組成部分，目的是要針對(duì)浩瀚的互聯(lián)網(wǎng)數(shù)據(jù)高效的構(gòu)建索引，做到實(shí)時(shí)更新索引，從而為檢索用戶(hù)提供及時(shí)、準(zhǔn)確、全面的最新信息。本文主要研究的就是如何在線環(huán)境下構(gòu)建并管理索引，如何平衡索引和檢索之間的性能。
　　本文從全文檢索的倒排索引技術(shù)展開(kāi)，重點(diǎn)研究基于動(dòng)態(tài)文檔集的索引構(gòu)建和管理算法及索引和檢索性能的平

2、衡，取得了以下研究成果：
　　(1)本文對(duì)基于倒排索引的文件結(jié)構(gòu)以及索引構(gòu)建合并算法進(jìn)行了研究，針對(duì)在線索引的應(yīng)用場(chǎng)景和需求，設(shè)計(jì)并實(shí)現(xiàn)了一種針對(duì)在線索引的高效的倒排索引文件結(jié)構(gòu)，有效的支持了在線索引的構(gòu)建及更新。
　　(2)本文通過(guò)研究在線環(huán)境下索引更新的特點(diǎn)，提出了針對(duì)文檔刪除的索引管理算法。與傳統(tǒng)的針對(duì)刪除的索引管理算法相比，該算法引入了基于門(mén)限值進(jìn)行垃圾文檔刪除的思想，實(shí)驗(yàn)表明，該算法有效的提高了文檔刪除時(shí)的索引性能

3、，同時(shí)也保證了高效的檢索性能。
　　(3)提出了一種基于動(dòng)態(tài)類(lèi)哈夫曼樹(shù)的索引構(gòu)建及管理算法。與傳統(tǒng)的索引構(gòu)建及更新算法相比，該算法能夠并行的處理文檔插入和刪除時(shí)的情況，并采用了多路合并的方式，可以選擇非相鄰的子索引合并，更為靈活。實(shí)驗(yàn)結(jié)果表明，該算法能夠有效的處理文檔增加和刪除時(shí)的索引更新，并且能夠平衡索引和檢索性能。
　　基于上述研究成果，本文設(shè)計(jì)了針對(duì)動(dòng)態(tài)文檔集的全文檢索系統(tǒng)，包括解析模塊、索引模塊、檢索模塊、存儲(chǔ)模塊等