基于多Agent系統(tǒng)的主題爬行蟲協(xié)作與實(shí)現(xiàn)方法研究.pdf

1、互聯(lián)網(wǎng)信息以指數(shù)級(jí)增長(zhǎng)，給通用搜索引擎帶來巨大壓力，使得通用搜索引擎搜索結(jié)果不全面，對(duì)于用戶輸入的查詢?cè)~，返回大量的無關(guān)信息，這就使得主題爬行蟲誕生。主題爬行蟲只抓取與主題相關(guān)的網(wǎng)頁，忽略掉與主題無關(guān)的網(wǎng)頁，這樣減少了大量的時(shí)間在爬行無關(guān)網(wǎng)頁上。并且主題爬行蟲具有爬行時(shí)間少，存儲(chǔ)空間小，以及能夠更好的滿足用戶的個(gè)性化需求等優(yōu)勢(shì)，這也同時(shí)促進(jìn)了主題爬行蟲的發(fā)展。
　　 對(duì)于各種傳統(tǒng)的主題爬行蟲，它們?cè)谂佬羞^程中至始至終都是相互獨(dú)立

2、工作的，多個(gè)爬行蟲之間沒有交流與協(xié)作，使得這些爬行蟲在爬行的過程中不能及時(shí)的進(jìn)行交流來實(shí)現(xiàn)信息共享，出現(xiàn)爬行區(qū)域重合和爬行效率不高的狀態(tài)。將多Agent的理論用于主題爬行蟲之間的通信和協(xié)作，為提高主題爬行蟲爬行網(wǎng)頁的準(zhǔn)確率和爬行效率提供了新的方向。本文將每一個(gè)主題爬行蟲看做一個(gè)Agent，使得主題爬行蟲具有自主、靈活、交互等特性，并且采用多Agent的知識(shí)來實(shí)現(xiàn)多個(gè)主題爬行蟲在網(wǎng)頁爬行過程中的協(xié)作，從而提高爬行蟲的爬行精度和爬行效率。<

3、br>　　 論文的主要研究?jī)?nèi)容包括以下幾點(diǎn)：
　　 1.本文提出了一種招標(biāo)能力值的度量方法。該招標(biāo)能力度量方法用于評(píng)價(jià)一個(gè)Agent是否具有招標(biāo)能力，從而決定該Agent是否要發(fā)布招標(biāo)信息。這個(gè)能力函數(shù)不僅考慮了爬行蟲的爬行歷史網(wǎng)頁的重要度，而且考慮了已爬行網(wǎng)頁的鏈接分值。實(shí)驗(yàn)證明該能力函數(shù)能更準(zhǔn)確地評(píng)價(jià)Agent的招標(biāo)能力。
　　 2.本文提出了一種新的多Agent的主題爬行蟲組織結(jié)構(gòu)。在這個(gè)組織結(jié)構(gòu)中，所有Agen

4、t被分成三類：F-Agent(Facilitator-Agent)，As-Agent(Assistance-Agent)，和C-Agent(Crawler-gent)，他們各盡其責(zé)并且相互協(xié)作共同完成網(wǎng)頁爬行任務(wù)。
　　 3.本文提出了多Agent主題爬行蟲的協(xié)作模型。一種改進(jìn)的合同網(wǎng)協(xié)議被用來實(shí)現(xiàn)多Agent主題爬行蟲之間的協(xié)作，并且詳細(xì)論述了改進(jìn)的合同網(wǎng)協(xié)議中的招標(biāo)、投標(biāo)、合同簽訂、合同終止四個(gè)過程。針對(duì)該協(xié)作模型，本文提出