支持查詢剪裁的搜索引擎數(shù)據(jù)緩沖策略.pdf

1、商用搜索引擎對查詢請求的處理速度有很高的要求，尤其是在因特網(wǎng)已發(fā)展到數(shù)百億網(wǎng)頁規(guī)模的背景下，如何在保證返回結果質量的前提下，盡可能提高搜索引擎查詢處理能力成為了搜索引擎等領域的研究熱點，其中對索引系統(tǒng)的優(yōu)化是眾多優(yōu)化方法關注的核心環(huán)節(jié)。在目前所采用的搜索引擎優(yōu)化技術中，查詢剪裁和緩沖算法是兩種極為重要的搜索引擎優(yōu)化方法。 本文研究了結合查詢剪裁的搜索引擎數(shù)據(jù)緩沖策略，主要工作包括：(1)提出了一種新的基于“關鍵詞組合命中信息列表

2、交集”的查詢剪裁方法。該剪裁方法利用“關鍵詞組合命中信息列表交集”的組織形式能體現(xiàn)出網(wǎng)頁對于特定查詢條件的重要性，實現(xiàn)了與基于查詢網(wǎng)頁評價函數(shù)有機結合，同時提升精確匹配查詢的處理速度。 (2)提出了基于一種新的索引系統(tǒng)架構的搜索引擎數(shù)據(jù)緩沖策略。新數(shù)據(jù)緩沖策略將高頻關鍵詞組合的命中信息列表交集放入緩沖區(qū)，綜合利用離線和在線替換算法提升該緩沖區(qū)的性能。同時，由于在傳統(tǒng)索引系統(tǒng)架構上部署該緩沖存在諸多局限性，該文提出了一種新的索引架