基于分布式哈希表的對(duì)等網(wǎng)絡(luò)數(shù)據(jù)檢索研究.pdf

1、P2P(peer-to-peer）系統(tǒng)是一個(gè)迅速發(fā)展的研究領(lǐng)域。P2P系統(tǒng)的應(yīng)用已從傳統(tǒng)的文件共享領(lǐng)域逐步擴(kuò)展到更廣泛的廣域分布計(jì)算領(lǐng)域，因而需要P2P系統(tǒng)提供確定性定位與低查詢開銷等關(guān)鍵特性?；诜植际焦１?DistributedHashTable，簡稱DHT)的P2P系統(tǒng)在廣域網(wǎng)支持巨量集的數(shù)據(jù)一致性分布，并提供低跳步的路由精確定位，以及具有低查詢開銷和高容錯(cuò)自組織等優(yōu)良性能，已經(jīng)成為學(xué)術(shù)界研究的熱點(diǎn)。 然而，分布式哈希表

2、技術(shù)的引入在帶來其先進(jìn)性的變革影響的同時(shí)，也帶來了新的挑戰(zhàn)性問題。第一，由于拓?fù)涫且环N結(jié)構(gòu)化的拓?fù)?，相?duì)比非結(jié)構(gòu)化的拓?fù)?，其維護(hù)開銷顯著加大。特別是在大規(guī)模和動(dòng)蕩的網(wǎng)絡(luò)環(huán)境下，維護(hù)開銷相當(dāng)可觀。第二，由于DHT采用哈希技術(shù)僅提供精確查詢匹配，使用查詢受到極大的約束。如何突破精確查詢匹配的限制，增強(qiáng)P2P查詢能力是當(dāng)前P2P系統(tǒng)的急需解決的問題。本文針對(duì)上述問題，主要主要研究貢獻(xiàn)如下： 1．結(jié)構(gòu)化DHT系統(tǒng)能夠提供高效、可靠的服務(wù)

3、，有著巨大的潛在應(yīng)用前景。然而在典型的動(dòng)態(tài)環(huán)境下的結(jié)構(gòu)化對(duì)等網(wǎng)絡(luò)存在的維護(hù)開銷過大問題，尤其是在高度動(dòng)態(tài)的環(huán)境下。在本篇論文中，我們通過P2P網(wǎng)絡(luò)中的節(jié)點(diǎn)會(huì)話特性，提出了一個(gè)基于DHI拓?fù)涞某?jí)節(jié)點(diǎn)對(duì)等網(wǎng)絡(luò)SPChord來控制維護(hù)開銷。該系統(tǒng)使用了一個(gè)簡單但是有效的聚簇技術(shù)生成超級(jí)節(jié)點(diǎn)對(duì)等網(wǎng)絡(luò)。主要的技術(shù)優(yōu)點(diǎn)有：(1)簇的管理方式是自然演化的，管理開銷很小。由于它不依賴于任何附加的前提條件，所以它可以直接應(yīng)用于現(xiàn)有的DHT算法的改進(jìn)。(

4、2)即使簇的大小很小，它也能大大改善系統(tǒng)的維護(hù)開銷和性能，這就意味著相比于現(xiàn)有的普通DHT對(duì)等網(wǎng)絡(luò)系統(tǒng)來說，它有著更好的可擴(kuò)展性，使得DHT系統(tǒng)能夠更好地適應(yīng)動(dòng)態(tài)網(wǎng)絡(luò)。仿真結(jié)果表明維護(hù)開銷得到了極大的減少，而查找失敗率也有很大程度的減小，同時(shí)查找性能也大大提高。 2．針對(duì)當(dāng)前對(duì)等網(wǎng)絡(luò)信息檢索系統(tǒng)存在的無法適應(yīng)高維文本空間以及檢索代價(jià)過高的問題，提出了基于索引匯聚的對(duì)等網(wǎng)絡(luò)信息檢索系統(tǒng)IRSPC，該系統(tǒng)構(gòu)建在SPChord疊加網(wǎng)之

5、上，主要的創(chuàng)新點(diǎn)有：(1)IRSPC綜合了結(jié)構(gòu)化對(duì)等網(wǎng)絡(luò)和非結(jié)構(gòu)化對(duì)等網(wǎng)絡(luò)的查詢方式，并引入了信息檢索領(lǐng)域的評(píng)價(jià)機(jī)制，保證和查詢相關(guān)程度高的文檔能以較小的代價(jià)優(yōu)先被查詢到。(2)關(guān)鍵詞權(quán)重的計(jì)算完全是分布式的，不依賴于集中式的統(tǒng)計(jì)數(shù)據(jù)(如TFIDF的計(jì)算)。(3)IRSPC能適應(yīng)高維大文本集的全文檢索，并且具有良好的可擴(kuò)展性和查詢精度。 3．針對(duì)當(dāng)前DHT系統(tǒng)多關(guān)鍵詞檢索效率低下、網(wǎng)絡(luò)帶寬開銷過大的問題，我們采用了TFIDF關(guān)鍵

6、詞賦權(quán)技術(shù)和關(guān)鍵詞關(guān)聯(lián)關(guān)系挖掘以改進(jìn)對(duì)等網(wǎng)絡(luò)關(guān)鍵詞檢索效率，提出了基于關(guān)聯(lián)關(guān)鍵詞集檢索的DHT對(duì)等網(wǎng)絡(luò)關(guān)鍵詞檢索系統(tǒng)pKSS。pKSS的主要的創(chuàng)新點(diǎn)有：(1)通過WWW或FTP搜索站點(diǎn)的查詢?nèi)罩就诰蜿P(guān)鍵詞之間的關(guān)聯(lián)關(guān)系，并根據(jù)關(guān)鍵詞之間的關(guān)聯(lián)關(guān)系對(duì)文檔索引詞和查詢語句中的查詢?cè)~分組以支持基于關(guān)聯(lián)關(guān)鍵詞集的對(duì)等網(wǎng)絡(luò)檢索。(2)通過采用TFIDF技術(shù)，選出文檔最重要的L個(gè)索引詞并連同關(guān)聯(lián)關(guān)鍵詞集發(fā)布到對(duì)等網(wǎng)絡(luò)。當(dāng)用戶發(fā)布查詢時(shí)，查詢中的關(guān)鍵

7、詞按照其IDF值和相互之間的關(guān)聯(lián)關(guān)系進(jìn)行分組，因而使pKSS的關(guān)鍵詞檢索效率在關(guān)聯(lián)關(guān)鍵詞集劃分的基礎(chǔ)上得到大大提高。實(shí)驗(yàn)結(jié)果清楚地表明：pKSS在索引的插入和存儲(chǔ)開銷上要遠(yuǎn)遠(yuǎn)低于KSS，在查詢的帶寬開銷上也明顯比標(biāo)準(zhǔn)的分布式倒排索引低。 4．針對(duì)當(dāng)前元數(shù)據(jù)描述規(guī)范廣泛采用XML的現(xiàn)狀，提出了基于DHT對(duì)等網(wǎng)絡(luò)的XML元數(shù)據(jù)索引和查詢系統(tǒng)PXIQ。PXIQ系統(tǒng)為XML數(shù)據(jù)查詢提供了良好的可擴(kuò)展性和豐富的表達(dá)能力。除DHT內(nèi)在的固有

8、特性之外，PXIQ還有幾個(gè)獨(dú)特的優(yōu)特點(diǎn)：首先，PXIQ能針對(duì)XML實(shí)施語義查詢，查詢語言采用XPath;其次，PXIQ能支持DHT對(duì)等網(wǎng)絡(luò)中的范圍查詢；第三，PXIQ能支持DHT對(duì)等網(wǎng)絡(luò)中的關(guān)鍵字檢索和語義結(jié)構(gòu)查詢。從實(shí)驗(yàn)結(jié)果可以看到，PXIQ能夠適應(yīng)具有大量主機(jī)節(jié)點(diǎn)的對(duì)等網(wǎng)絡(luò)環(huán)境。 5.針對(duì)當(dāng)前DHT對(duì)等網(wǎng)絡(luò)數(shù)據(jù)檢索中存在的“熱點(diǎn)”(負(fù)載不均衡)問題，本章提出了基于負(fù)載重定向的RLBA負(fù)載均衡算法以提高數(shù)據(jù)檢索的性能和效率。R