基于倒排索引的全文檢索技術(shù)研究.pdf

1、倒排索引是提高全文檢索效率的重要技術(shù),而倒排索引的空間效率、動態(tài)性能、創(chuàng)建效率和檢索效率一直是倒排索引面臨的關(guān)鍵問題,它們之間既緊密聯(lián)系又相互制約.課題正是圍繞倒排索引的壓縮、增量更新、填充及檢索效率展開,其目的是提高四者的綜合性能.壓縮倒排索引有助于提高查詢的吞吐量,因為讀和解壓已壓縮的倒排索引往往比讀一個未壓縮的倒排索引要快.前人的研究關(guān)注得更多的是倒排索引的壓縮率,而往往忽略了動態(tài)性.為了兼顧動態(tài)性,需要研究既能提高壓縮率又能方便

2、索引動態(tài)更新的壓縮方法.在分析倒排列表的動態(tài)特點的基礎(chǔ)上,得出構(gòu)成倒排列表的文檔編號、單詞在文檔中的出現(xiàn)頻率及相應(yīng)位置三序列的動態(tài)性是不同的,并由此提出一種混合編碼的方法.試驗表明,混合編碼在壓縮率方面優(yōu)于其他支持動態(tài)更新的編碼.為了支持倒排索引增量更新,從改進倒排索引的數(shù)據(jù)結(jié)構(gòu)入手,提出了基于可擴展散列表的倒排索引存儲策略.這一策略使倒排索引具有良好的可擴展性,不但減少了動態(tài)調(diào)整時的移動開銷,而且調(diào)整后的索引對倒排索引的查詢速度影響較