一個增量更新的Web信息采集系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、Internet的飛速發(fā)展，使網(wǎng)絡(luò)成為人們發(fā)布、傳輸和獲取信息的重要途徑，為人們生活、工作提供了豐富的信息和資源。Web信息采集作為獲取網(wǎng)絡(luò)信息的重要方法，得到了迅速發(fā)展，被應(yīng)用于多種服務(wù)和研究中。然而，由于Web信息資源的動態(tài)性，造成了已采集信息的失效，傳統(tǒng)的更新采集方式需要很大時空開銷。為了提高更新采集的效率，本文主要針對增量更新的Web信息采集進(jìn)行了研究。 Web網(wǎng)頁變化有兩個屬性：內(nèi)容屬性和時間屬性。根據(jù)這兩方面，本文研

2、究了基于MD5算法和基于人工神經(jīng)網(wǎng)絡(luò)的增量更新策略。前者應(yīng)用MD5算法對網(wǎng)頁內(nèi)容進(jìn)行信息摘要生成MD5值，通過比較MD5值來判斷網(wǎng)頁變化與否，實(shí)現(xiàn)增量更新；后者通過人工神經(jīng)網(wǎng)絡(luò)對網(wǎng)頁變化的時間間隔建立網(wǎng)絡(luò)模型，采用BP算法來訓(xùn)練學(xué)習(xí)，得到一個預(yù)測模型，以此來預(yù)測出各網(wǎng)頁的變化時間間隔，通過與實(shí)際采集的時間間隔相比較判斷網(wǎng)頁是否發(fā)生變化，實(shí)現(xiàn)增量更新。本文設(shè)計(jì)并實(shí)現(xiàn)了一個基于這兩種增量更新策略相結(jié)合的Web信息采集系統(tǒng)：先通過比較時間間隔

3、，判斷發(fā)生變化的網(wǎng)頁，再對這些網(wǎng)頁內(nèi)容進(jìn)行信息摘要生成MD5值，與以前的相比較，驗(yàn)證網(wǎng)頁是否確實(shí)發(fā)生了變化。對于變化的網(wǎng)頁進(jìn)行下載更新，沒有變化的網(wǎng)頁不予處理。 實(shí)驗(yàn)表明，基于人工神經(jīng)網(wǎng)絡(luò)和MD5相結(jié)合的增量更新策略在判斷網(wǎng)頁是否變化是有效的，網(wǎng)頁變化時間間隔的人工神經(jīng)網(wǎng)絡(luò)預(yù)測模型能夠在不下載網(wǎng)頁內(nèi)容的情況下，根據(jù)以前采集的歷史記錄預(yù)測出網(wǎng)頁變化時間間隔，而MD5能夠?yàn)V掉預(yù)測模型預(yù)測出的發(fā)生變化但實(shí)際沒有發(fā)生變化的網(wǎng)頁，從而減少