Web頁(yè)面鏈接文本信息抽取與分類的研究.pdf

1、 本文分析和利用超鏈接信息，即利用對(duì)鏈接文本和標(biāo)題、所指向網(wǎng)頁(yè)內(nèi)容分析來對(duì)該鏈接文本(亦即對(duì)鏈接所指向的網(wǎng)頁(yè))進(jìn)行分類并進(jìn)行錯(cuò)標(biāo)、漏標(biāo)識(shí)別。本文首要提出網(wǎng)頁(yè)中的鏈接文本與相關(guān)鏈接。并過濾掉無用的導(dǎo)航、廣告等無用鏈接。為此，本論文分別針對(duì)鏈接文本和相關(guān)鏈接提出不同的準(zhǔn)確高效算法策略。對(duì)鏈接文本、相關(guān)鏈接分類涉及到關(guān)鍵詞表的建立、未登陸詞識(shí)別、與標(biāo)題的相關(guān)度計(jì)算、特征句的提取還有分類體系的建立和鏈接漏標(biāo)、錯(cuò)標(biāo)識(shí)別。針對(duì)中文網(wǎng)頁(yè)的特點(diǎn)和

2、網(wǎng)頁(yè)分析過程中的對(duì)特征詞分類的要求，提出了針對(duì)Web文檔的改進(jìn)的TF-IDF算法，可以更有效的提取關(guān)鍵詞表。對(duì)于未登錄詞的識(shí)別，本文提出可以從詞的結(jié)構(gòu)特點(diǎn)和特征詞之間的二元關(guān)系兩個(gè)方面來輔助識(shí)別未登錄詞，并取得了較好的實(shí)驗(yàn)效果。鏈接與標(biāo)題之間的相關(guān)度我們用向量空間模型表示。另外，本文通過實(shí)驗(yàn)結(jié)果表明所找到的特征句和從句子中提取出的信息能夠大大的補(bǔ)充僅僅分析網(wǎng)頁(yè)標(biāo)題和鏈接標(biāo)題的不足。在特征詞表建立和特征信息表示中，本文引入等價(jià)、從屬和同屬