基于web的改進(jìn)信息抽取算法的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著Internet及其相關(guān)技術(shù)的飛速發(fā)展,互聯(lián)網(wǎng)已成為人們發(fā)布和獲取信息的主要平臺(tái)。由于互聯(lián)網(wǎng)上的信息泛濫,使得用戶(hù)獲取有用信息變得困難。從 Web網(wǎng)頁(yè)中搜索特定信息的能力還不足以滿(mǎn)足用戶(hù)的需求。所以,如何研究出一種有效的信息抽取方法應(yīng)用在Web頁(yè)面信息抽取系統(tǒng)中,已經(jīng)成為當(dāng)今亟需解決的熱點(diǎn)研究問(wèn)題。
　　本文主要研究了一種新的信息抽取算法。該方法針對(duì)數(shù)據(jù)密集型的頁(yè)面自動(dòng)進(jìn)行信息抽取。其中包括了下面幾個(gè)問(wèn)題。
　　首先,要

2、進(jìn)行初始化工作。將訓(xùn)練集合中的所有樣本頁(yè)面轉(zhuǎn)換成HTML文檔形式。
　　其次,如何自動(dòng)去除頁(yè)面噪聲的問(wèn)題。目前很多網(wǎng)站的頁(yè)面上都會(huì)有導(dǎo)航欄、廣告、LOGO、版權(quán)信息等與主題內(nèi)容無(wú)關(guān)的信息,例如淘寶、團(tuán)購(gòu)、旅游網(wǎng)等商業(yè)網(wǎng)站。本文運(yùn)用一種改進(jìn)的雙序列比對(duì)算法來(lái)去除網(wǎng)頁(yè)中的噪聲。
　　然后,進(jìn)行模板自動(dòng)抽取。如今,動(dòng)態(tài)頁(yè)面技術(shù)被許多網(wǎng)站采用,應(yīng)用于網(wǎng)站設(shè)計(jì)等各個(gè)方面。本文研究的“動(dòng)態(tài)”為模板和后臺(tái)數(shù)據(jù)庫(kù)相結(jié)合的技術(shù)進(jìn)行Web信息抽