多策略的Web信息采集系統(tǒng)的研究.pdf

1、該文結(jié)合國家自然科學(xué)基金項(xiàng)目--具有突現(xiàn)智能的多主體模型及應(yīng)用(70171052)和國家科技部項(xiàng)目--互聯(lián)網(wǎng)競(jìng)爭情報(bào)智能監(jiān)測(cè)系統(tǒng)的研究,對(duì)基于多策略協(xié)作的Web信息采集系統(tǒng)進(jìn)行了研究和實(shí)踐.對(duì)于多策略的Web信息采集系統(tǒng)的研究,該文對(duì)系統(tǒng)所涉及到的基本技術(shù):Web信息檢索技術(shù)、Web信息抽取技術(shù)以及多Agent系統(tǒng)中多策略協(xié)作的規(guī)劃問題進(jìn)行了研究,并在這些工作的基礎(chǔ)上,實(shí)現(xiàn)了一個(gè)基于多策略協(xié)作的Web信息采集系統(tǒng):該文首先對(duì)Web信息檢

2、索的核心技術(shù)之一--網(wǎng)頁的排序算法進(jìn)行了研究.在HITS算法[Kleinberg99]的基礎(chǔ)上,引入了網(wǎng)頁內(nèi)容與查詢主題的相似度的影響因素,提出了一種基于超鏈接和網(wǎng)頁內(nèi)容的網(wǎng)頁排序算法--SHITS(Similarity-HITS)算法.其次,該文對(duì)表格式Web頁面的信息抽取進(jìn)行了研究.針對(duì)已有的基于路徑學(xué)習(xí)的信息抽取方法[于琨03,蔡智02]具有人工維護(hù)代價(jià)較大的缺點(diǎn),提出了一種多策略聯(lián)合的信息抽取方法--MSCIE(Multi-St

3、rategy Combinationweb Information Extraction).MSCIE由于采用了不同的學(xué)習(xí)策略,通過協(xié)作共同完成信息抽取任務(wù),使得該方法能夠以較小的人工維護(hù)代價(jià)、較高的準(zhǔn)確率和召回率對(duì)大量Web站點(diǎn)的表格式網(wǎng)頁進(jìn)行信息抽取.對(duì)多Agent系統(tǒng)中策略協(xié)作學(xué)習(xí)的協(xié)作規(guī)劃和協(xié)作效益問題,該文也進(jìn)行了初步研究,從參與協(xié)作的Agent的功能合成的角度出發(fā),提出了一種多策略協(xié)作的規(guī)劃方法.該方法不需要對(duì)復(fù)雜任務(wù)進(jìn)行分