基于固態(tài)硬盤的倒排索引構建與維護策略研究.pdf

1、信息檢索系統(tǒng)中最核心的數(shù)據(jù)結構是倒排索引。隨著信息化水平的不斷提高,索引數(shù)據(jù)也越來越龐大,必須保存在輔助存儲器中。目前常用的輔存設備是磁盤,磁盤雖然具有容量大、便宜等優(yōu)點,但受制于其機械特性,磁盤與CPU和內(nèi)存之間速度差距愈發(fā)明顯,造成了信息檢索系統(tǒng)的I/O瓶頸問題。另一方面,基于閃存的固態(tài)硬盤(Solid State Drivers,簡稱SSD)成為了存儲領域的一個研究熱點。與傳統(tǒng)的機械式硬盤相比,SSD最顯著的優(yōu)點是讀寫速率高。對信

2、息檢索系統(tǒng)而言,使用SSD代替磁盤來存儲倒排索引數(shù)據(jù),可以極大地提高系統(tǒng)的整體性能。但是現(xiàn)有的倒排索引管理策略都是基于磁盤的,SSD卻具有許多與磁盤顯著不同的特性,若直接使用不僅無法充分利用SSD的優(yōu)點,還會減少其使用壽命。
　　首先,通過實驗詳細分析了現(xiàn)有索引策略在SSD上的缺點和不足之處,從中發(fā)現(xiàn)基于原地更新思想的索引管理方法隨機寫操作過多、性能較差;而另一類基于合并更新思想的方法寫入SSD的數(shù)據(jù)量過大,給SSD帶來額外的損耗

3、。這些問題都是由于沒有充分考慮SSD的特性所造成的。因此,根據(jù)實驗分析的結果,提出沿用合并更新的思想,但需要進行改進從而減少其額外寫入的技術路線。
　　然后,分別提出了基于SSD的倒排索引的構建與更新策略:基于分塊存儲的索引構建策略與基于混合式合并的索引維護策略?；诜謮K存儲的索引構建策略將待寫入SSD的內(nèi)存索引按術語預先分塊存儲,然后對產(chǎn)生的臨時索引塊只進行部分合并操作?；诨旌鲜胶喜⒌乃饕S護策略不僅避免了對SSD有傷害的隨機