基于XML的網(wǎng)上信息自動收集系統(tǒng)的設(shè)計與實(shí)現(xiàn).pdf

1、根據(jù)某一類用戶的需求所進(jìn)行的Web信息收集，主要包括兩個過程：從互聯(lián)網(wǎng)海量信息中搜索信息以及對Web頁面的信息抽取。基于主題的Web信息搜索、基于強(qiáng)化學(xué)習(xí)的Web搜索等智能搜索方法在提供個性化信息服務(wù)方面取得了顯著進(jìn)展，但沒有充分利用搜索過程中網(wǎng)頁與網(wǎng)頁、網(wǎng)頁與鏈接，以及鏈接與鏈接之間相互關(guān)聯(lián)與約束的有關(guān)知識，因而無法更有效地提高搜索的效率和準(zhǔn)確性。為了有效抽取網(wǎng)頁中的有用信息，提出的網(wǎng)頁信息抽取方法，主要是基于Wrapper技術(shù)或引入

2、更加結(jié)構(gòu)化的數(shù)據(jù)形式，如XML。通常這些方法都定義了一套語法轉(zhuǎn)換規(guī)則或者采用基于特征模式匹配的抽取規(guī)則，采用一些專用查詢語言提取和映射HTML文檔的各部分代碼。但都需要開發(fā)人員掌握屬于特定系統(tǒng)的專門查詢語言，而且對于目標(biāo)頁面的改動比較敏感。 基于以上考慮，提出一種基于XML的網(wǎng)上信息自動收集系統(tǒng)。采用具有自學(xué)習(xí)能力的多線程Web頁面收集技術(shù)實(shí)現(xiàn)Web網(wǎng)頁的自動收集。對于從若干同類網(wǎng)站自動獲取與某一主題相關(guān)的.Web網(wǎng)頁，對搜索路

3、徑進(jìn)行優(yōu)化設(shè)計，采用基于搜索路徑的自主搜索方法實(shí)現(xiàn)。其基本思想是將目標(biāo)網(wǎng)頁搜索路徑所涉及網(wǎng)頁、網(wǎng)鏈以及它們之間關(guān)聯(lián)特征有機(jī)結(jié)合起來的，有效地幫助完成基于深度優(yōu)先的目標(biāo)網(wǎng)頁智能搜索工作，并且不斷地對已掌握的搜索知識進(jìn)行補(bǔ)充和完善。采用將HTML格式的文件轉(zhuǎn)換為XML格式，使之更利于信息的抽取和統(tǒng)一。由于HTML文檔中的絕大多數(shù)信息與用戶需求無關(guān)，所以只需要在XML樹形結(jié)構(gòu)中找到一個特定的標(biāo)志區(qū)域，找到其位置即引用點(diǎn)，通過引用點(diǎn)可以創(chuàng)建實(shí)際