基于HTML的Web信息抽取技術(shù)的研究與應(yīng)用.pdf

1、伴隨著科技的進(jìn)步和Internet的不斷發(fā)展,互聯(lián)網(wǎng)開始逐漸成為現(xiàn)代人了解世界的重要媒介,同時(shí)網(wǎng)絡(luò)上的信息每天都在更新,如何才能批量而精準(zhǔn)的獲取網(wǎng)絡(luò)媒體中的新聞和文章等信息并將其轉(zhuǎn)化為結(jié)構(gòu)化的記錄呢?Web信息抽取有望幫人們解決這些難題,但是現(xiàn)有的信息抽取技術(shù)大多是采用半自動(dòng)化的方式建立的,抽取規(guī)則的建立需要大量的人工參與,針對(duì)這一問題筆者結(jié)合新聞?lì)愋偷木W(wǎng)頁對(duì)信息抽取技術(shù)展開研究。
　　 本文先根據(jù)url和關(guān)鍵詞完成目標(biāo)網(wǎng)頁的定

2、位,后抽取新聞列表頁的列表信息和新聞?wù)捻摰恼膬?nèi)容,結(jié)合人工智能思想和已有的Web信息抽取技術(shù)進(jìn)行以下幾方面的工作:
　　 1.從首頁逐級(jí)定位到目標(biāo)網(wǎng)頁一般很難塑造出某種模型,所以考慮將文本聚類中的語義相似度算法應(yīng)用到該過程中,將用戶輸入的描繪目標(biāo)網(wǎng)頁類別的關(guān)鍵詞與各級(jí)導(dǎo)航欄中的欄目名稱進(jìn)行相似度計(jì)算,建立自動(dòng)探測(cè)目標(biāo)網(wǎng)頁的模型,從而實(shí)現(xiàn)這一過程的自動(dòng)獲取。
　　 2.為了更好的分析和研究新聞信息列表頁的抽取,將HTM

3、L格式的頁面轉(zhuǎn)換成為XML格式的文檔,獲取每個(gè)節(jié)點(diǎn)的Xpath路徑,利用新聞信息列表頁中的某些特征作為輸入層的神經(jīng)元信息建立BP神經(jīng)網(wǎng)絡(luò)模型,通過訓(xùn)練樣本得出待抽取信息所在路徑的最優(yōu)解,最終達(dá)到信息列表頁的信息抽取。
　　 3.從新聞?wù)捻撧D(zhuǎn)化而來的XML文檔入手,充分利用每一行的文字密度比這一顯著特征建立BP神經(jīng)網(wǎng)絡(luò)模型,憑借神經(jīng)網(wǎng)絡(luò)模型優(yōu)秀的機(jī)器學(xué)習(xí)能力,實(shí)現(xiàn)統(tǒng)計(jì)學(xué)思想與信息抽取的完美結(jié)合,并在其基礎(chǔ)上建立正文頁的抽取規(guī)則。