基于Agent的Web信息抽取研究.pdf

1、隨著萬維網(wǎng)的迅速發(fā)展,近十年來,Web信息抽取日益成為學(xué)術(shù)界和商業(yè)領(lǐng)域的一個研究熱點.Web信息抽取的目標是,從多個異質(zhì)的Web站點中定位和識別感興趣的信息,并將抽取結(jié)果以統(tǒng)一的結(jié)構(gòu)化的格式表示.Web信息抽取是Web數(shù)據(jù)挖掘、機器翻譯等應(yīng)用的基礎(chǔ).Web信息抽取的主要困難是由于萬維網(wǎng)上的Web頁面固有的數(shù)量巨大、異質(zhì)且動態(tài)更新的特點而帶來的復(fù)雜性、可擴展性、適應(yīng)性問題.該文提出了一個基于Agent技術(shù)的Web信息抽取系統(tǒng).它是一個多A

2、gent系統(tǒng),主要由三個Agent和四個知識庫組成.知識庫是系統(tǒng)運行的基礎(chǔ),該文采用XML表示W(wǎng)eb信息抽取所用知識和結(jié)果數(shù)據(jù).另外,XML在該文中還用于Agent之間的通信.系統(tǒng)中的Agent包括用戶接口Agent、Web頁面獲取Agent和信息抽取Agent.各個Agent有自己的子目標、功能和行為,可以自主運行,同時Agent之間通過協(xié)調(diào)和合作,共同為準確高效地進行Web信息抽取的總目標服務(wù).采用這種結(jié)構(gòu)簡化了問題的復(fù)雜性.系統(tǒng)的

3、三個Agent中,信息抽取Agent是核心,主要負責(zé)學(xué)習(xí)抽取規(guī)則和運用抽取規(guī)則進行信息抽取.其中借鑒了現(xiàn)有的已被廣泛使用的包裝器歸納法的思想和DOM樹方法.系統(tǒng)的抽取規(guī)則從信息在特定領(lǐng)域的語義特征和頁面格式特征兩方面定義,使抽取規(guī)則具有一定程度的適應(yīng)性和可重用性.由于Web頁面獲取Agent具有主動感知Web頁面更新、并通知信息抽取Agent調(diào)整抽取規(guī)則的能力,更進一步增強了系統(tǒng)的適應(yīng)性.此外,通過用戶和Agent配合、半自動化學(xué)習(xí)抽取