基于模板化網(wǎng)絡(luò)爬蟲技術(shù)的Web網(wǎng)頁信息抽取.pdf

1、基于模板化網(wǎng)絡(luò)爬蟲技術(shù)的Web網(wǎng)頁信息抽取與以往傳統(tǒng)的網(wǎng)絡(luò)爬蟲技術(shù)不同，傳統(tǒng)的網(wǎng)絡(luò)爬蟲技術(shù)大多數(shù)為專用網(wǎng)絡(luò)爬蟲，即針對不同的網(wǎng)站以及網(wǎng)站內(nèi)不同的頻道，需要專門的為各個頻道編寫出專用的網(wǎng)絡(luò)爬蟲。這樣傳統(tǒng)的網(wǎng)絡(luò)爬蟲，隨著網(wǎng)上的內(nèi)容日益增長，以及網(wǎng)頁內(nèi)容的不斷更新，它必定會給網(wǎng)絡(luò)爬蟲的開發(fā)者和維護者帶來很大的工作量與復(fù)雜度，會使網(wǎng)絡(luò)爬蟲編寫工作容易出錯，也會給用戶的操作帶來困難。在這樣的背景下，基于模板的網(wǎng)絡(luò)爬蟲技術(shù)應(yīng)運而生，它要求程序員在配

2、置文件（在數(shù)據(jù)庫中）中寫好某網(wǎng)站的程序運行模板，程序在調(diào)用時，根據(jù)網(wǎng)站的某些固定特征，在模板庫中進行匹配，找出符合的模板，繼而準(zhǔn)確高效的運行程序?；谀０宓木W(wǎng)絡(luò)爬蟲技術(shù)，既會給程序員簡化工作，也可以簡化用戶的操作。
　　基于模板化網(wǎng)絡(luò)爬蟲技術(shù)的Web網(wǎng)頁信息抽取技術(shù)根據(jù)網(wǎng)頁特征，從配置文件中讀出存儲在數(shù)據(jù)庫中的模板庫后，自動的根據(jù)程序中的網(wǎng)站入口地址匹配模板，使程序高效運行。
　　本文通過針對3個博客網(wǎng)站，3個論壇網(wǎng)站，1個

3、微博客網(wǎng)站，以及38個新聞網(wǎng)站進行了相應(yīng)的模板及程序的編寫，實現(xiàn)了用基于模板化的網(wǎng)絡(luò)爬蟲技術(shù)對上述網(wǎng)站進行Web網(wǎng)頁的信息抽取，經(jīng)過在輿情系統(tǒng)中實際運行測試后得出結(jié)論，該方法能根據(jù)自動提取出的模板快速、準(zhǔn)確的對Web網(wǎng)頁進行信息的自動抽取。
　　本文的主要工作包括：
　　1、基于模板化網(wǎng)絡(luò)爬蟲技術(shù)的Web網(wǎng)頁信息抽取，這一課題對這一技術(shù)的工作過程進行詳細說明；
　　2、對引用網(wǎng)站的網(wǎng)頁進行分析，引入了正則表達式的概念及