WEB數(shù)據(jù)緩存與預取一體化的研究與應用.pdf

1、微博客伴隨著Web2.0的步伐已近漸漸成為了互聯(lián)網(wǎng)的主流應用之一。僅新浪微博就有近億的注冊用戶，每天的微博發(fā)布量高達千萬。如此龐大的信息量必然引發(fā)了更大的用戶訪問量，隨之而來的則是各級服務器的負載加重以及網(wǎng)絡訪問的延遲。這些問題必然會降低用戶體驗，影響微博客的進一步發(fā)展。解決以上問題的關鍵就是Web數(shù)據(jù)的緩存與預取技術。緩存通過在網(wǎng)絡的節(jié)點中存儲數(shù)據(jù)從而有效的減少了對于源服務器的訪問和縮短了獲取數(shù)據(jù)的時間和距離;預取技術通過預測并提前獲

2、取未來的訪問數(shù)據(jù)，能夠有效的減少用戶的訪問等待時間。但是，目前對于這兩項技術的研究都不能很好應對微博客這種新型網(wǎng)絡應用的數(shù)據(jù)特性。微博客具有很強的時效性，同時每條微博有固定的大小，其關注/被關注的特點更容易形成固定的訪問模式。因此，本文針對微博客的這些特點提出了與基于時間約束的緩存置換算法和數(shù)據(jù)預取算法，并將二者有效地結合，從而有效的提高了訪問效率并且縮短了訪問時間，對于節(jié)約了網(wǎng)絡資源和提高用戶體驗有重要的意義。
　　本文在傳統(tǒng)的

3、緩存置換算法基礎上，提出了綜合考慮數(shù)據(jù)對象的訪問時間、大小和預測性能的緩存置換算法。當緩存剩余空間不足時，緩存置換算法通過計算數(shù)據(jù)對象多個評價參數(shù)的綜合權值來決定將哪些數(shù)據(jù)副本置換出緩存空間。算法充分考慮了微博客小而快的數(shù)據(jù)特性，優(yōu)先置換出較大的且長時間沒有被訪問的數(shù)據(jù)，保證小數(shù)據(jù)的“新鮮”。同時在現(xiàn)有的prefixSpan序列模式挖掘算法的基礎上進行改進，加入時間約束條件，使之更符合微博客訪問序列的挖掘。隨后將獲得的用戶訪問序列中的頻