超節(jié)點(diǎn)對(duì)等網(wǎng)絡(luò)信息檢索關(guān)鍵技術(shù)研究.pdf

1、對(duì)等網(wǎng)絡(luò)（Peer-to-Peer，簡(jiǎn)稱P2P）具有數(shù)據(jù)分布式存儲(chǔ)、節(jié)點(diǎn)平等、節(jié)點(diǎn)間直接通信等特點(diǎn)，被廣泛應(yīng)用到信息檢索、文件共享等領(lǐng)域。隨著網(wǎng)絡(luò)規(guī)模越來越大，網(wǎng)絡(luò)極易產(chǎn)生瓶頸現(xiàn)象和節(jié)點(diǎn)失效的問題。為了解決這些問題，人們嘗試對(duì)超節(jié)點(diǎn)對(duì)等網(wǎng)絡(luò)信息檢索技術(shù)展開研究。但相關(guān)研究成果還存在一些不足，仍有許多關(guān)鍵問題亟待解決。例如：如何按照語義相近的原則構(gòu)建超節(jié)點(diǎn)對(duì)等網(wǎng)絡(luò)，以進(jìn)一步提高搜索效率和檢索結(jié)果質(zhì)量；如何設(shè)計(jì)節(jié)點(diǎn)常數(shù)度數(shù)的超節(jié)點(diǎn)拓?fù)浣Y(jié)構(gòu)，

2、以進(jìn)一步降低網(wǎng)絡(luò)維護(hù)代價(jià)；如何設(shè)計(jì)失效節(jié)點(diǎn)、鏈路故障的發(fā)現(xiàn)和恢復(fù)機(jī)制，以提高網(wǎng)絡(luò)的容錯(cuò)性；如何建立分布式查詢機(jī)制，以減少超節(jié)點(diǎn)的負(fù)載、提高檢索結(jié)果質(zhì)量和下載質(zhì)量等。這些關(guān)鍵問題的解決，將有利于滿足用戶對(duì)信息檢索的需求，為用戶提供更加便捷的信息檢索平臺(tái)。因此，對(duì)超節(jié)點(diǎn)對(duì)等網(wǎng)絡(luò)的信息檢索展開研究，有著重要的理論研究意義和實(shí)際應(yīng)用價(jià)值。本文以提高搜索效率、檢索結(jié)果質(zhì)量和下載質(zhì)量，降低網(wǎng)絡(luò)維護(hù)代價(jià)，增強(qiáng)網(wǎng)絡(luò)容錯(cuò)性為目標(biāo)，圍繞上述關(guān)鍵問題展開研究

3、。在此基礎(chǔ)上利用所得的研究成果設(shè)計(jì)和實(shí)現(xiàn)了一個(gè)原型系統(tǒng)。主要研究?jī)?nèi)容包括：
　?、旁诔?jié)點(diǎn)對(duì)等網(wǎng)絡(luò)的構(gòu)建方面，針對(duì)早期的超節(jié)點(diǎn)對(duì)等網(wǎng)絡(luò)信息檢索中，存在普通節(jié)點(diǎn)與超節(jié)點(diǎn)連接缺乏語義相關(guān)性，搜索效率和檢索質(zhì)量不高，缺乏超節(jié)點(diǎn)負(fù)載平衡等問題，提出了一種基于在線聚類的超節(jié)點(diǎn)對(duì)等網(wǎng)絡(luò)構(gòu)建方法。主要工作包括：①改進(jìn)了已有在線聚類算法，以適應(yīng)高動(dòng)態(tài)的對(duì)等網(wǎng)絡(luò)。該算法保證了普通節(jié)點(diǎn)按照語義相關(guān)性連接超節(jié)點(diǎn)，較好地解決了資源準(zhǔn)確定位的問題。②提出了

4、一種超節(jié)點(diǎn)選擇和動(dòng)態(tài)調(diào)整超節(jié)點(diǎn)選擇策略。該策略能根據(jù)超節(jié)點(diǎn)自身的負(fù)載能力，動(dòng)態(tài)調(diào)整連接普通節(jié)點(diǎn)的數(shù)量，使超節(jié)點(diǎn)的選擇更加簡(jiǎn)單，減少了超節(jié)點(diǎn)因負(fù)載過重而出現(xiàn)網(wǎng)絡(luò)瓶頸的可能性。③提出一種搜索路由優(yōu)化機(jī)制，使檢索盡可能在某個(gè)語義組內(nèi)完成，減少了查詢請(qǐng)求轉(zhuǎn)發(fā)次數(shù)，進(jìn)一步減少了查詢帶寬消耗、提高了搜索效率和檢索結(jié)果。
　　⑵在節(jié)點(diǎn)共享文檔組織方面，為了克服已有共享文檔組織方法不利于構(gòu)建語義覆蓋網(wǎng)絡(luò)的問題，提出一種基于層次聚類樹的超節(jié)點(diǎn)對(duì)等網(wǎng)

5、絡(luò)。主要工作包括：①改進(jìn)了傳統(tǒng)層次聚類算法，以適應(yīng)多文檔集聚類。采用該算法將節(jié)點(diǎn)共享文檔集聚類，根據(jù)簇之間的語義范疇形成層次聚類樹，克服了傳統(tǒng)單層次聚類很難揭示文檔之間語義關(guān)系的不足。②在層次聚類樹的構(gòu)建過程中，利用曲線多項(xiàng)式擬合技術(shù)，設(shè)計(jì)一種自動(dòng)發(fā)現(xiàn)并設(shè)置閾值的方法。這種方法使聚類過程更加智能化和自動(dòng)化，聚類結(jié)果更加準(zhǔn)確。③提出了基于層次聚類樹的超節(jié)點(diǎn)對(duì)等網(wǎng)絡(luò)構(gòu)建方法。利用該方法，普通結(jié)點(diǎn)能根據(jù)網(wǎng)絡(luò)中已有語義組的語義范疇，選擇不同層次

6、的簇與超節(jié)點(diǎn)建立連接，提高了搜索效率、減少了查詢帶寬消耗。
　　⑶在超節(jié)點(diǎn)拓?fù)浣Y(jié)構(gòu)方面，針對(duì)已有超節(jié)點(diǎn)對(duì)等網(wǎng)絡(luò)中超節(jié)點(diǎn)拓?fù)浣Y(jié)構(gòu)復(fù)雜、無序，難維護(hù)、不便于搜索路由等問題，提出了兩類常數(shù)度數(shù)的超節(jié)點(diǎn)拓?fù)浣Y(jié)構(gòu)模型。主要工作包括：①在分析完美差異圖（PDG）結(jié)構(gòu)的基礎(chǔ)上，提出一種新的k-PDG拓?fù)浣Y(jié)構(gòu)，并利用該結(jié)構(gòu)組織超節(jié)點(diǎn)，建立了一種新的超節(jié)點(diǎn)對(duì)等網(wǎng)絡(luò)。②提出一種新的k-皮特森圖拓?fù)浣Y(jié)構(gòu)。采用改進(jìn)的皮特森圖，將網(wǎng)絡(luò)中超節(jié)點(diǎn)按照k-皮特森

7、圖拓?fù)浣Y(jié)構(gòu)進(jìn)行組織，建立了一種新的超節(jié)點(diǎn)對(duì)等網(wǎng)絡(luò)。性能分析和模擬結(jié)果表明：這兩類結(jié)構(gòu)與現(xiàn)有超節(jié)點(diǎn)拓?fù)浣Y(jié)構(gòu)相比，除具有支持多詞匯查詢、減少搜索所產(chǎn)生的查詢消息量外，在動(dòng)態(tài)適應(yīng)性方面，新超節(jié)點(diǎn)對(duì)等網(wǎng)絡(luò)能更好地降低超節(jié)點(diǎn)失效對(duì)拓?fù)洚a(chǎn)生的影響；在性能上，該網(wǎng)絡(luò)具有更小的拓?fù)錁?gòu)造和失效修復(fù)成本。
　?、仍诜植际讲樵兎矫妫槍?duì)現(xiàn)有超節(jié)點(diǎn)對(duì)等網(wǎng)絡(luò)中超節(jié)點(diǎn)負(fù)擔(dān)重，查詢結(jié)果缺乏統(tǒng)一排序、包含重復(fù)結(jié)果的下載節(jié)點(diǎn)可能無效等問題，提出一種低負(fù)載和高質(zhì)量的