主題網(wǎng)絡(luò)蜘蛛的研究與實現(xiàn).pdf

1、伴隨著因特網(wǎng)技術(shù)的快速發(fā)展，因特網(wǎng)上的信息資源以驚人的速度不斷增長。在對這些海量的信息進行檢索的過程中，傳統(tǒng)的Web搜索引擎越來越無法滿足人們的需要。在這種情況下，各類主題搜索引擎應(yīng)運而生，成為研究的熱點。而作為主題搜索引擎重要組成部分，網(wǎng)絡(luò)蜘蛛的搜索算法問題的研究具有極其重要的意義。 本文從機器學習的理論角度出發(fā)，圍繞如何提高網(wǎng)絡(luò)蜘蛛的資源采集效率問題，采用了機器學習中的增強學習(Reinforcement Learning)

2、方法，對主題搜索引擎網(wǎng)絡(luò)蜘蛛的搜索算法進行了深入的研究。 本文首先介紹了增強學習的基本概念和網(wǎng)絡(luò)蜘蛛搜索策略的研究進展，在分析和比較現(xiàn)有專業(yè)搜索引擎網(wǎng)絡(luò)蜘蛛搜索策略的特點和優(yōu)缺點的基礎(chǔ)上，歸納了提高搜索效率的幾個關(guān)鍵因素。 文中針對提高網(wǎng)絡(luò)蜘蛛的學習效率問題展開研究，提出了一種基于經(jīng)驗偏向信息學習機制的增強學習模型。主要思想是，通過學習環(huán)境狀態(tài)中的經(jīng)驗偏向信息，動態(tài)調(diào)整增強學習代理體的搜索策略，以減小搜索空間，提高學習效

3、率。在此基礎(chǔ)上，本文提出了一種基于經(jīng)驗偏向信息學習機制的主題網(wǎng)絡(luò)蜘蛛學習算法，實驗表明，該算法可以明顯提高主題網(wǎng)絡(luò)蜘蛛的學習效率。 針對傳統(tǒng)的主題網(wǎng)絡(luò)蜘蛛存在鏈接價值評價標準單一的問題，本文提出了一種基于增強學習的啟發(fā)式主題網(wǎng)絡(luò)蜘蛛模型，新模型將立即回報價值和未來回報價值結(jié)合，用于計算鏈接的綜合回報價值。為解決對立即回報價值和未來回報價值信任度的權(quán)衡問題，本文引入了價值置信函數(shù)的概念，提出了對于未來回報置信度遞減的啟發(fā)式搜索算法