搜索引擎精簡(jiǎn)摘要緩存方法研究.pdf

1、在應(yīng)答一個(gè)來(lái)自用戶的查詢（query）時(shí)，現(xiàn)代搜索引擎會(huì)返回給用戶前個(gè)相關(guān)的查詢結(jié)果及其摘要。摘要是一小段摘選于文檔的文本，該段文本歸納了查詢?cè)~與文檔的相關(guān)關(guān)系。生成摘要既需要消耗大量系統(tǒng) I/O來(lái)檢索文檔，又需要消耗大量的CPU來(lái)計(jì)算摘要。搜索引擎常常使用緩存技術(shù)來(lái)減少摘要生成過(guò)程的延遲。
　　固態(tài)硬盤（SolidState Drive，SSD）是一種新興的存儲(chǔ)介質(zhì)，它的I/O效率比傳統(tǒng)的機(jī)械硬盤（Hard Disk Drive

2、，HDD）快30倍到120倍。隨著固態(tài)硬盤的性價(jià)比逐步提高，搜索引擎公司開(kāi)始用固態(tài)硬盤替換傳統(tǒng)機(jī)械硬盤。替換后搜索引擎系統(tǒng)I/O性能不斷提高，性能瓶頸從I/O轉(zhuǎn)變?yōu)镃PU計(jì)算。為了應(yīng)對(duì)固態(tài)硬盤帶來(lái)的變化，進(jìn)一步提升系統(tǒng)性能，本文提出了一個(gè)簡(jiǎn)單但有效的方法：用精簡(jiǎn)摘要（Fragment）替換原始的摘要。精簡(jiǎn)摘要在不改變摘要質(zhì)量的前提下，僅存儲(chǔ)摘要的位置信息。該方法空間利用率更高。返回摘要前精簡(jiǎn)摘要需恢復(fù)為完整摘要。針對(duì)精簡(jiǎn)摘要在恢復(fù)過(guò)程引

3、起的文檔檢索，本文提出了使用精簡(jiǎn)文檔（Short Document）替換完整文檔的方法。精簡(jiǎn)文檔同樣也能夠提高文檔緩存的空間利用率。
　　本文的主要工作包括：
　　1.為了減少平均摘要生成延遲，本文設(shè)計(jì)了摘要的精簡(jiǎn)表示方法。精簡(jiǎn)摘要記錄摘要在文檔中的位置信息。在返回摘要前，精簡(jiǎn)摘要需要經(jīng)過(guò)計(jì)算才能恢復(fù)成完整摘要。在相同的緩存空間下，精簡(jiǎn)摘要緩存的命中率遠(yuǎn)高于完整摘要緩存命中率。精簡(jiǎn)摘要緩存能夠大量避免重復(fù)摘要計(jì)算。精簡(jiǎn)摘要恢

4、復(fù)完整摘要的過(guò)程會(huì)引起文檔檢索以及一小部分額外計(jì)算，額外計(jì)算增加的摘要生成延時(shí)遠(yuǎn)小于精簡(jiǎn)摘要高命中率減少的摘要生成延時(shí)。
　　2.為了減少在精簡(jiǎn)摘要恢復(fù)過(guò)程引起的文檔檢索延遲，本文在精簡(jiǎn)摘要的基礎(chǔ)上，設(shè)計(jì)了配套的精簡(jiǎn)文檔緩存。與文檔緩存存儲(chǔ)整篇文檔不同，精簡(jiǎn)文檔緩存僅存儲(chǔ)文檔中用來(lái)恢復(fù)完整摘要的句子。由于精簡(jiǎn)文檔存儲(chǔ)的內(nèi)容更為精細(xì)，空間利用率更高，精簡(jiǎn)文檔緩存能夠有效減少摘要恢復(fù)過(guò)程的I/O。配套精簡(jiǎn)摘要緩存，精簡(jiǎn)文檔緩存能夠進(jìn)一