基于TermID序列排序的標識符重分配的倒排索引壓縮研究.pdf

1、由于信息科技的飛速發(fā)展，數據爆炸式增長，形成了人類史上前所未有的海量文本信息。面對海量的文本信息，倒排索引作為一種有效的全文索引技術，能夠快速準確地幫助人們查找所需要的信息。但是海量的文本信息形成了規(guī)模龐大的倒排索引，其規(guī)模最大可達原文的300％，所以倒排索引的壓縮是十分必要的。
　　倒排索引生成算法的一般流程是docID分配、Posting Lists生成和Posting Lists壓縮。常見的標識符分配算法有基于URL排序的標

2、識符分配算法和基于交叉的標識符重分配算法;常見的Posting Lists壓縮算法有Unary Code、Variable Byte Code、Simple-9和PForDelta等。
　　本文提出了基于TermID序列排序的標識符重分配算法。通過遍歷已創(chuàng)建的倒排索引生成正排表，規(guī)定正排表內termID序列的排序規(guī)則，并按照該規(guī)則對正排表中的文檔記錄進行排序得到新順序的文檔序列，然后根據新的文檔順序依次為文檔分配新標識符，重新創(chuàng)建

3、倒排索引。
　　本文實現了基于URL排序的標識符分配算法(URL)、基于交叉的標識符重分配算法(IBDA)、基于TermID序列排序的標識符重分配算法(SBDRA)等標識符分配算法和VByte、Simple-9、Simple-16、New PFD、Opt PFD、PForDelta等postinglists壓縮算法。使用Wikipedia網站文檔數據集，實現了18組混合交叉實驗。實驗結果表明，對于大規(guī)模的文檔數據集，本文提出的基于