高并發(fā)查詢條件下動態(tài)在線全文索引技術研究.pdf

1、隨著Internet的高速發(fā)展,互聯(lián)網(wǎng)信息量變得越來越龐大并保持高速增長。同時,互聯(lián)網(wǎng)的用戶規(guī)模也快速的增加,網(wǎng)民需要一種有效的工具快速的獲取信息。搜索引擎作為海量信息獲取的主要工具,其用戶規(guī)模和使用率因此也在不斷的攀升。作為搜索引擎服務的提供商,索引了海量、動態(tài)的網(wǎng)頁文件,面對的問題是如何在較短的時間內響應用戶的高并發(fā)查詢請求。
　　目前,主流的搜索引擎服務提供商采用分布式集群的方式分擔用戶的查詢負載。但是為了獲得全局最大的處理

2、效率,單個節(jié)點處理能力的提高是十分必要的。本文利用爬蟲采集的數(shù)據(jù),進行在高并發(fā)查詢條件下動態(tài)在線全文索引技術研究,將索引高并發(fā)快速響應的問題轉化為查詢結果讀取不阻塞的問題。主要工作包括以下幾點:
　　(1)對倒排表存儲結構設計和壓縮算法進行研究。對于海量數(shù)據(jù)來說,索引文件較大,不能一次性讀入內存當中。因此系統(tǒng)需要通過查詢內存中的詞表,獲得對應的倒排表在磁盤中的位置后再將倒排表讀入到內存中。在高并發(fā)查詢條件下,索引的壓縮率和索引的解

3、壓速度在很大程度上決定了查詢系統(tǒng)的效率。本文基于現(xiàn)有壓縮算法的基礎上，提出了自適應分塊大小的VB_PForDelta壓縮算法,平衡了壓縮率和解壓速度。實驗證明,本文提出的方法具有較好的壓縮率和解壓速度。
　　(2)對緩存結構和替換策略進行研究。從磁盤中的索引文件中讀出倒排表存入到內存中后,需要在內存有限空間內緩存一段時間。待下次查詢時加速響應速度。本文提出一種基于歷史記錄特征的緩存結構以及相適應的替換算法HFC,通過查詢語句歷史出