分布式搜索引擎中緩存系統(tǒng)的研究與實現(xiàn).pdf

1、分布式緩存技術是在不增加成本的前提下提高WWW系統(tǒng)響應速度的一種有效解決方案。本文依托國家科技支撐計劃項目“綜合風險防范關鍵技術研究與示范”，針對項目中綜合風險搜索引擎面臨的響應速度和搜索效率等問題，開展了分布式緩存系統(tǒng)的研究。重點解決了分布式緩存系統(tǒng)中緩存協(xié)作、緩存替換算法等關鍵問題，并實現(xiàn)了一個分布式緩存系統(tǒng)，該系統(tǒng)已經(jīng)應用在綜合風險搜索引擎中，取得了良好的應用效果。 本文主要研究成果有： 1)根據(jù)綜合風險搜索引擎需

2、求以及分布式緩存系統(tǒng)的特點，完成了分布式緩存系統(tǒng)的設計與實現(xiàn)。 2)在分析傳統(tǒng)緩存協(xié)議和搜索引擎特點的基礎上，設計了HCC(hotspotscooperativecaching)緩存協(xié)作機制，HCC采用控制節(jié)點和緩存節(jié)點分離的體系結(jié)構(gòu)，降低了分布式管理的復雜性，通過將“熱點”文檔復制到低負載節(jié)點，將負載較為合理地分散到多個節(jié)點，最終消除“熱點”節(jié)點。與其它緩存協(xié)議在理論上和實驗數(shù)據(jù)的對比表明，HCC在訪問延遲、緩存效率和系統(tǒng)開銷