基于倒排索引的全文檢索技術(shù)研究.pdf

1、倒排索引是提高全文檢索效率的重要技術(shù),而倒排索引的空間效率、動(dòng)態(tài)性能、創(chuàng)建效率和檢索效率一直是倒排索引面臨的關(guān)鍵問(wèn)題,它們之間既緊密聯(lián)系又相互制約.課題正是圍繞倒排索引的壓縮、增量更新、填充及檢索效率展開(kāi),其目的是提高四者的綜合性能.壓縮倒排索引有助于提高查詢的吞吐量,因?yàn)樽x和解壓已壓縮的倒排索引往往比讀一個(gè)未壓縮的倒排索引要快.前人的研究關(guān)注得更多的是倒排索引的壓縮率,而往往忽略了動(dòng)態(tài)性.為了兼顧動(dòng)態(tài)性,需要研究既能提高壓縮率又能方便

2、索引動(dòng)態(tài)更新的壓縮方法.在分析倒排列表的動(dòng)態(tài)特點(diǎn)的基礎(chǔ)上,得出構(gòu)成倒排列表的文檔編號(hào)、單詞在文檔中的出現(xiàn)頻率及相應(yīng)位置三序列的動(dòng)態(tài)性是不同的,并由此提出一種混合編碼的方法.試驗(yàn)表明,混合編碼在壓縮率方面優(yōu)于其他支持動(dòng)態(tài)更新的編碼.為了支持倒排索引增量更新,從改進(jìn)倒排索引的數(shù)據(jù)結(jié)構(gòu)入手,提出了基于可擴(kuò)展散列表的倒排索引存儲(chǔ)策略.這一策略使倒排索引具有良好的可擴(kuò)展性,不但減少了動(dòng)態(tài)調(diào)整時(shí)的移動(dòng)開(kāi)銷,而且調(diào)整后的索引對(duì)倒排索引的查詢速度影響較