WEB信息自動獲取平臺的設計與實現(xiàn).pdf

1、互聯(lián)網(wǎng)含有海量信息，然而，人們在面對浩如煙海的網(wǎng)絡信息時往往感到束手無策，無法準確快速地獲取人們真正需要的信息。本文認為傳統(tǒng)信息獲取技術與人工智能和Agent技術相結合，能夠高效準確地獲取網(wǎng)絡信息為用戶提供個性化信息服務，也是解決互聯(lián)網(wǎng)“信息過載”問題的有效方法之一。本文利用多Agent技術去解決在獲取網(wǎng)絡信息時所遇到的問題。 本文主要對如何能高效、準確、個性化的獲取信息進行深入研究。首先把對信息獲取技術的研究分兩個部分來進行，

2、即資源發(fā)現(xiàn)模塊和信息抽取模塊。對于資源發(fā)現(xiàn)模塊，主要在如何能夠從廣度和深度兩個方面去發(fā)現(xiàn)資源提出了一種新的搜索算法，同時利用了多Agent技術實現(xiàn)了分布式的資源發(fā)現(xiàn)，每個頁面獲取Agent攜帶有基于支持向量機原理實現(xiàn)的分類算法，可以直接對所獲取的頁面進行分類。在進行資源發(fā)現(xiàn)的過程中根據(jù)URL評價算法對各個信息源進行了綜合評價，根據(jù)評價結果對信息源進行排序。對于信息抽取模塊，不但考慮到抽取到數(shù)據(jù)的數(shù)量還考慮到抽取到信息的有效性，在該模塊提

3、出了一種新的抽取規(guī)則表示方法，提高了在信息抽取過程中規(guī)則的適應性。在進行抽取的過程中，利用各個類別的Agent進行分布式抽取并對抽取到的數(shù)據(jù)進行了各種處理如分類，去重等。除此之外，還提出了對規(guī)則的有效性進行檢驗的方法。 其次，在整個信息獲取模型中利用了多Agent技術。在對Agent技術進行研究的過程中，對Agent技術的現(xiàn)狀及應用領域進行了分析，對Agent技術應用中所遇到的一些問題進行逐個深入分析并給出對策，然后在此基礎上建