超節(jié)點對等網(wǎng)絡(luò)信息檢索關(guān)鍵技術(shù)研究.pdf

1、對等網(wǎng)絡(luò)（Peer-to-Peer，簡稱P2P）具有數(shù)據(jù)分布式存儲、節(jié)點平等、節(jié)點間直接通信等特點，被廣泛應(yīng)用到信息檢索、文件共享等領(lǐng)域。隨著網(wǎng)絡(luò)規(guī)模越來越大，網(wǎng)絡(luò)極易產(chǎn)生瓶頸現(xiàn)象和節(jié)點失效的問題。為了解決這些問題，人們嘗試對超節(jié)點對等網(wǎng)絡(luò)信息檢索技術(shù)展開研究。但相關(guān)研究成果還存在一些不足，仍有許多關(guān)鍵問題亟待解決。例如：如何按照語義相近的原則構(gòu)建超節(jié)點對等網(wǎng)絡(luò)，以進一步提高搜索效率和檢索結(jié)果質(zhì)量；如何設(shè)計節(jié)點常數(shù)度數(shù)的超節(jié)點拓?fù)浣Y(jié)構(gòu)，

2、以進一步降低網(wǎng)絡(luò)維護代價；如何設(shè)計失效節(jié)點、鏈路故障的發(fā)現(xiàn)和恢復(fù)機制，以提高網(wǎng)絡(luò)的容錯性；如何建立分布式查詢機制，以減少超節(jié)點的負(fù)載、提高檢索結(jié)果質(zhì)量和下載質(zhì)量等。這些關(guān)鍵問題的解決，將有利于滿足用戶對信息檢索的需求，為用戶提供更加便捷的信息檢索平臺。因此，對超節(jié)點對等網(wǎng)絡(luò)的信息檢索展開研究，有著重要的理論研究意義和實際應(yīng)用價值。本文以提高搜索效率、檢索結(jié)果質(zhì)量和下載質(zhì)量，降低網(wǎng)絡(luò)維護代價，增強網(wǎng)絡(luò)容錯性為目標(biāo)，圍繞上述關(guān)鍵問題展開研究

3、。在此基礎(chǔ)上利用所得的研究成果設(shè)計和實現(xiàn)了一個原型系統(tǒng)。主要研究內(nèi)容包括：
　?、旁诔?jié)點對等網(wǎng)絡(luò)的構(gòu)建方面，針對早期的超節(jié)點對等網(wǎng)絡(luò)信息檢索中，存在普通節(jié)點與超節(jié)點連接缺乏語義相關(guān)性，搜索效率和檢索質(zhì)量不高，缺乏超節(jié)點負(fù)載平衡等問題，提出了一種基于在線聚類的超節(jié)點對等網(wǎng)絡(luò)構(gòu)建方法。主要工作包括：①改進了已有在線聚類算法，以適應(yīng)高動態(tài)的對等網(wǎng)絡(luò)。該算法保證了普通節(jié)點按照語義相關(guān)性連接超節(jié)點，較好地解決了資源準(zhǔn)確定位的問題。②提出了

4、一種超節(jié)點選擇和動態(tài)調(diào)整超節(jié)點選擇策略。該策略能根據(jù)超節(jié)點自身的負(fù)載能力，動態(tài)調(diào)整連接普通節(jié)點的數(shù)量，使超節(jié)點的選擇更加簡單，減少了超節(jié)點因負(fù)載過重而出現(xiàn)網(wǎng)絡(luò)瓶頸的可能性。③提出一種搜索路由優(yōu)化機制，使檢索盡可能在某個語義組內(nèi)完成，減少了查詢請求轉(zhuǎn)發(fā)次數(shù)，進一步減少了查詢帶寬消耗、提高了搜索效率和檢索結(jié)果。
　　⑵在節(jié)點共享文檔組織方面，為了克服已有共享文檔組織方法不利于構(gòu)建語義覆蓋網(wǎng)絡(luò)的問題，提出一種基于層次聚類樹的超節(jié)點對等網(wǎng)

5、絡(luò)。主要工作包括：①改進了傳統(tǒng)層次聚類算法，以適應(yīng)多文檔集聚類。采用該算法將節(jié)點共享文檔集聚類，根據(jù)簇之間的語義范疇形成層次聚類樹，克服了傳統(tǒng)單層次聚類很難揭示文檔之間語義關(guān)系的不足。②在層次聚類樹的構(gòu)建過程中，利用曲線多項式擬合技術(shù)，設(shè)計一種自動發(fā)現(xiàn)并設(shè)置閾值的方法。這種方法使聚類過程更加智能化和自動化，聚類結(jié)果更加準(zhǔn)確。③提出了基于層次聚類樹的超節(jié)點對等網(wǎng)絡(luò)構(gòu)建方法。利用該方法，普通結(jié)點能根據(jù)網(wǎng)絡(luò)中已有語義組的語義范疇，選擇不同層次

6、的簇與超節(jié)點建立連接，提高了搜索效率、減少了查詢帶寬消耗。
　?、窃诔?jié)點拓?fù)浣Y(jié)構(gòu)方面，針對已有超節(jié)點對等網(wǎng)絡(luò)中超節(jié)點拓?fù)浣Y(jié)構(gòu)復(fù)雜、無序，難維護、不便于搜索路由等問題，提出了兩類常數(shù)度數(shù)的超節(jié)點拓?fù)浣Y(jié)構(gòu)模型。主要工作包括：①在分析完美差異圖（PDG）結(jié)構(gòu)的基礎(chǔ)上，提出一種新的k-PDG拓?fù)浣Y(jié)構(gòu)，并利用該結(jié)構(gòu)組織超節(jié)點，建立了一種新的超節(jié)點對等網(wǎng)絡(luò)。②提出一種新的k-皮特森圖拓?fù)浣Y(jié)構(gòu)。采用改進的皮特森圖，將網(wǎng)絡(luò)中超節(jié)點按照k-皮特森

7、圖拓?fù)浣Y(jié)構(gòu)進行組織，建立了一種新的超節(jié)點對等網(wǎng)絡(luò)。性能分析和模擬結(jié)果表明：這兩類結(jié)構(gòu)與現(xiàn)有超節(jié)點拓?fù)浣Y(jié)構(gòu)相比，除具有支持多詞匯查詢、減少搜索所產(chǎn)生的查詢消息量外，在動態(tài)適應(yīng)性方面，新超節(jié)點對等網(wǎng)絡(luò)能更好地降低超節(jié)點失效對拓?fù)洚a(chǎn)生的影響；在性能上，該網(wǎng)絡(luò)具有更小的拓?fù)錁?gòu)造和失效修復(fù)成本。
　?、仍诜植际讲樵兎矫?，針對現(xiàn)有超節(jié)點對等網(wǎng)絡(luò)中超節(jié)點負(fù)擔(dān)重，查詢結(jié)果缺乏統(tǒng)一排序、包含重復(fù)結(jié)果的下載節(jié)點可能無效等問題，提出一種低負(fù)載和高質(zhì)量的