對等網(wǎng)絡(luò)分布式緩存機(jī)制研究.pdf

1、對等網(wǎng)絡(luò)（Peer-to-Peer Network，P2P）是一種分布式網(wǎng)絡(luò)，構(gòu)建在物理網(wǎng)絡(luò)之上的邏輯覆蓋網(wǎng)絡(luò)，網(wǎng)絡(luò)上的各臺計(jì)算機(jī)有相同的功能，互相共享各種資源。雖然被大量研究，但是由于網(wǎng)絡(luò)結(jié)構(gòu)的復(fù)雜性，對等網(wǎng)絡(luò)的資源搜索效率比較差的問題依然存在。同時(shí)，隨著P2P應(yīng)用的迅速增長，對等網(wǎng)絡(luò)系統(tǒng)已經(jīng)成為互聯(lián)網(wǎng)上最大的帶寬消費(fèi)者。提高P2P搜索效率，減輕互聯(lián)網(wǎng)主干通信壓力，增加用戶的訪問體驗(yàn)，已成為P2P應(yīng)用中亟待解決的重要問題。緩存技術(shù)是解

2、決這些問題的一種有效的方法。盡管基于中心服務(wù)器的集中式緩存策略已經(jīng)比較成熟，但針對P2P系統(tǒng)的分布式緩存機(jī)制研究還處于起步階段。
　　 非結(jié)構(gòu)化P2P網(wǎng)絡(luò)的基本搜索機(jī)制是洪泛，這樣的策略具有較低的搜索效率。為了改善搜索效率和減少系統(tǒng)開銷，提出了一種基于非結(jié)構(gòu)化P2P網(wǎng)絡(luò)的分布式緩存機(jī)制，包括基于位置的拓?fù)錁?gòu)造、三維偏好隨機(jī)游走、最大時(shí)延緩存放置策略、基于熱度和請求的緩存替換策略。在拓?fù)錁?gòu)造上，聚集位置相近節(jié)點(diǎn)，以形成不同的子網(wǎng)；

3、搜索時(shí)偏向于在子網(wǎng)內(nèi)搜索，以獲得更短的查詢時(shí)延；在決策緩存放置節(jié)點(diǎn)時(shí)，選擇離目標(biāo)節(jié)點(diǎn)更遠(yuǎn)的節(jié)點(diǎn)，以提高緩存命中率；在緩存替換時(shí)，優(yōu)先替換高頻資源，防止出現(xiàn)過度緩存問題。通過模擬實(shí)驗(yàn)對提出的算法進(jìn)行了仿真，并與其他算法進(jìn)行了對比分析，結(jié)果顯示提出的算法有更好的查詢命中率、較小的查詢時(shí)延、較高的緩存命中率和較低的通信開銷。
　　 為了提高結(jié)構(gòu)化P2P網(wǎng)絡(luò)的整體性能，提出了一種基于結(jié)構(gòu)化P2P網(wǎng)絡(luò)的分布式緩存方法。通過使用分層的分布式

4、哈希表（Distributed Hash Table，DHT）路由結(jié)構(gòu)，可以為具有不同擁有率（資源在網(wǎng)絡(luò)中的副本數(shù)量與網(wǎng)絡(luò)規(guī)模的比值）的各種資源建立足夠數(shù)量的緩存，并小心地選擇合適節(jié)點(diǎn)來存放這些緩存，以提高緩存效率。通過對不同算法和啟發(fā)式算法的模擬實(shí)驗(yàn)發(fā)現(xiàn)，結(jié)合分層DHT路由結(jié)構(gòu)，提出的緩存策略可以有效地減少查詢時(shí)延、獲得更好的負(fù)載平衡和較好的緩存命中率，同時(shí)也有效地緩解了過度緩存問題帶來的負(fù)面沖擊，可以較好地為大部分資源提供滿意的緩存

5、性能。
　　 絕大部分P2P分布式緩存機(jī)制都是被動(dòng)緩存，即只有當(dāng)一個(gè)資源被請求時(shí)才會觸發(fā)緩存操作，這將導(dǎo)致稀有資源緩存不足，因?yàn)橄∮匈Y源被請求的頻率比較低。對等網(wǎng)絡(luò)（Peer-to-Peer Network，P2P）是一種分布式網(wǎng)絡(luò)，構(gòu)建在物理網(wǎng)絡(luò)之上的邏輯覆蓋網(wǎng)絡(luò)，網(wǎng)絡(luò)上的各臺計(jì)算機(jī)有相同的功能，互相共享各種資源。雖然被大量研究，但是由于網(wǎng)絡(luò)結(jié)構(gòu)的復(fù)雜性，對等網(wǎng)絡(luò)的資源搜索效率比較差的問題依然存在。同時(shí)，隨著P2P應(yīng)用的迅速增

6、長，對等網(wǎng)絡(luò)系統(tǒng)已經(jīng)成為互聯(lián)網(wǎng)上最大的帶寬消費(fèi)者。提高P2P搜索效率，減輕互聯(lián)網(wǎng)主干通信壓力，增加用戶的訪問體驗(yàn)，已成為P2P應(yīng)用中亟待解決的重要問題。緩存技術(shù)是解決這些問題的一種有效的方法。盡管基于中心服務(wù)器的集中式緩存策略已經(jīng)比較成熟，但針對P2P系統(tǒng)的分布式緩存機(jī)制研究還處于起步階段。
　　 非結(jié)構(gòu)化P2P網(wǎng)絡(luò)的基本搜索機(jī)制是洪泛，這樣的策略具有較低的搜索效率。為了改善搜索效率和減少系統(tǒng)開銷，提出了一種基于非結(jié)構(gòu)化P2P網(wǎng)

7、絡(luò)的分布式緩存機(jī)制，包括基于位置的拓?fù)錁?gòu)造、三維偏好隨機(jī)游走、最大時(shí)延緩存放置策略、基于熱度和請求的緩存替換策略。在拓?fù)錁?gòu)造上，聚集位置相近節(jié)點(diǎn)，以形成不同的子網(wǎng)；搜索時(shí)偏向于在子網(wǎng)內(nèi)搜索，以獲得更短的查詢時(shí)延；在決策緩存放置節(jié)點(diǎn)時(shí)，選擇離目標(biāo)節(jié)點(diǎn)更遠(yuǎn)的節(jié)點(diǎn)，以提高緩存命中率；在緩存替換時(shí)，優(yōu)先替換高頻資源，防止出現(xiàn)過度緩存問題。通過模擬實(shí)驗(yàn)對提出的算法進(jìn)行了仿真，并與其他算法進(jìn)行了對比分析，結(jié)果顯示提出的算法有更好的查詢命中率、較小的

8、查詢時(shí)延、較高的緩存命中率和較低的通信開銷。
　　 為了提高結(jié)構(gòu)化P2P網(wǎng)絡(luò)的整體性能，提出了一種基于結(jié)構(gòu)化P2P網(wǎng)絡(luò)的分布式緩存方法。通過使用分層的分布式哈希表（Distributed Hash Table，DHT）路由結(jié)構(gòu)，可以為具有不同擁有率（資源在網(wǎng)絡(luò)中的副本數(shù)量與網(wǎng)絡(luò)規(guī)模的比值）的各種資源建立足夠數(shù)量的緩存，并小心地選擇合適節(jié)點(diǎn)來存放這些緩存，以提高緩存效率。通過對不同算法和啟發(fā)式算法的模擬實(shí)驗(yàn)發(fā)現(xiàn)，結(jié)合分層DHT路由

9、結(jié)構(gòu)，提出的緩存策略可以有效地減少查詢時(shí)延、獲得更好的負(fù)載平衡和較好的緩存命中率，同時(shí)也有效地緩解了過度緩存問題帶來的負(fù)面沖擊，可以較好地為大部分資源提供滿意的緩存性能。
　　 絕大部分P2P分布式緩存機(jī)制都是被動(dòng)緩存，即只有當(dāng)一個(gè)資源被請求時(shí)才會觸發(fā)緩存操作，這將導(dǎo)致稀有資源緩存不足，因?yàn)橄∮匈Y源被請求的頻率比較低。然而在很多情況下，稀有資源是非常有價(jià)值的，比如P2P文件共享和P2P流媒體應(yīng)用中的稀有塊。為了提高稀有資源的搜索

10、效率，提出了主動(dòng)緩存策略和稀有資源搜索算法，它需要更少的緩存副本數(shù)量，從而可以減少緩存機(jī)制帶來的系統(tǒng)開銷。模擬實(shí)驗(yàn)結(jié)果顯示通過提出的算法，能大大地改進(jìn)對稀有資源的搜索效率，搜索命中率達(dá)到98％以上；同時(shí)又能將通信開銷維護(hù)在一個(gè)較低的水平，相比已有算法，可以減少近40％的通信流量。
　　 基于P2P的流媒體和文件共享已經(jīng)越來越流行，而且這些應(yīng)用的規(guī)模也越來越大，對互聯(lián)網(wǎng)影響也越來越重要。然而，由于現(xiàn)有的大規(guī)模P2P應(yīng)用大都是商用系

11、統(tǒng)，這些應(yīng)用的協(xié)議、架構(gòu)和算法大多都是不公開的，使得分析這些系統(tǒng)、發(fā)現(xiàn)問題和解決瓶頸變得非常困難。大量研究使用黑盒方式來測量和評估這些系統(tǒng)的特性，比如下載性能、用戶分布、會話長度等。為了涵蓋更多的測量尺度，研究了對等網(wǎng)絡(luò)測量機(jī)制，提出了通用的對等網(wǎng)絡(luò)測量模型，并針對不同熱度的資源使用提出的模型進(jìn)行了驗(yàn)證實(shí)驗(yàn)。測量尺度包括數(shù)據(jù)傳輸率、緩存機(jī)制、節(jié)點(diǎn)位置分布、會話長度等，通過這些測量結(jié)果可以為分布式緩存研究提供支持，也可以為其他研究者提供幫