Web內(nèi)容抽取及語(yǔ)義識(shí)別算法研究.pdf

1、隨著Internet的發(fā)展，互聯(lián)網(wǎng)作為一個(gè)功能強(qiáng)大的網(wǎng)絡(luò)媒體，它實(shí)際上是一個(gè)雙刃劍，它在作正面的媒體宣傳和導(dǎo)向時(shí)，也難免被敵對(duì)勢(shì)力所利用。因此，基于網(wǎng)頁(yè)內(nèi)容的信息安全技術(shù)研究已經(jīng)成為信息安全的一個(gè)重要分支。而基于內(nèi)容的信息安全的具體實(shí)現(xiàn)中最有效的就是文本分類(lèi)，快速而準(zhǔn)確地識(shí)別網(wǎng)頁(yè)主題內(nèi)容是提高分類(lèi)準(zhǔn)確度的關(guān)鍵技術(shù)之一。本文就Web頁(yè)面結(jié)構(gòu)分析和主題內(nèi)容提取以及對(duì)抽出文本的平面分類(lèi)進(jìn)行了研究。 首先，本文介紹了Web網(wǎng)頁(yè)的特點(diǎn)和H

2、TML語(yǔ)言以及DOM(DocumentObjectModel)樹(shù)的特點(diǎn)和應(yīng)用。其次，文中介紹了相關(guān)研究工作，對(duì)比分析了幾種Web頁(yè)面結(jié)構(gòu)分析和主題內(nèi)容提取的方法，并在此基礎(chǔ)上提出了自己的兩種方法，分別是基于統(tǒng)計(jì)的主題內(nèi)容提取方法和基于新型坐標(biāo)樹(shù)的主題內(nèi)容提取方法?；诮y(tǒng)計(jì)的方法是一種簡(jiǎn)單而有效的方法，它從本質(zhì)上抓住了網(wǎng)頁(yè)的設(shè)計(jì)特征和HTML源代碼的特征，通用性高。實(shí)驗(yàn)表明該方法切實(shí)可行，具有較高的準(zhǔn)確率。但該方法只對(duì)主題文字內(nèi)容有效，對(duì)

3、相關(guān)連接和相關(guān)圖片等多媒體信息就顯得力不從心。因此，本文又提出新型的基于坐標(biāo)樹(shù)的方法，該方法針對(duì)DOM缺乏位置信息的不足，加入了坐標(biāo)信息生成坐標(biāo)樹(shù)，并且還給出了能反映網(wǎng)頁(yè)空間關(guān)系的圖模型。通過(guò)將HTML文檔轉(zhuǎn)換為坐標(biāo)樹(shù)，結(jié)合位置特征和空間關(guān)系可對(duì)網(wǎng)頁(yè)進(jìn)行分析和提取內(nèi)容。對(duì)來(lái)自120個(gè)網(wǎng)站的5000個(gè)網(wǎng)頁(yè)進(jìn)行測(cè)試后的結(jié)果表明該方法可達(dá)到93.78％的準(zhǔn)確率，并且對(duì)相關(guān)連接和相關(guān)圖片的抽取有較高的準(zhǔn)確率和召回率。最后，本文對(duì)文本分類(lèi)做了簡(jiǎn)單