利用表格信息的Web文本分類研究與實現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)等信息技術(shù)的發(fā)展和廣泛應(yīng)用，Web已經(jīng)成為人們獲取信息最重要手段之一。如何從這海量的信息資源庫中快速、準(zhǔn)確地進(jìn)行分類并提取出有用的信息，變得十分迫切。Web信息抽取技術(shù)和Web文本分類技術(shù)作為Web信息處理重要的組成部分，現(xiàn)在也越來越得到更多人的重視。 本文首先通過對Web信息抽取技術(shù)的研究，提出了一種基于表格結(jié)構(gòu)的Web表格信息抽取模型，該模型主要有表格定位模塊、表格結(jié)構(gòu)預(yù)處理模塊和表格信息抽取與重構(gòu)模塊等三個模塊組

2、成，根據(jù)Web表格的結(jié)構(gòu)標(biāo)記和自定義的啟發(fā)式規(guī)則來抽取表格信息。實驗結(jié)果表明該模型能夠很好的用于Web表格信息的抽取，并且可以把不標(biāo)準(zhǔn)的Web表格轉(zhuǎn)換成標(biāo)準(zhǔn)的表格形式，用Excel文件格式來存儲。同時為了得到表格信息中的特征信息(關(guān)鍵信息)，本文通過觀察和研究表格結(jié)構(gòu)的類型，定義了一些啟發(fā)式規(guī)則對表格單元信息類型進(jìn)行識別，從而區(qū)分出表格信息中的特征信息和一般單元信息。 然后通過對Web文本分類技術(shù)和本體理論的研究，本文構(gòu)建了關(guān)于

3、Web表格特征信息知識的領(lǐng)域本體，提出并設(shè)計了一種用于Web文本分類的二次分類模型。該模型使用支持向量機(jī)方法對測試樣本進(jìn)行第一次分類，由于設(shè)定了較高的分類閾值，一次分類后部分測試樣本未確定所屬類別；對于未確定所屬類別的測試樣本，本文抽取樣本中的Web表格特征信息，與基于領(lǐng)域本體的分類模板進(jìn)行相似度匹配，進(jìn)行第二次分類。 最后通過實驗，本文對比二次分類模型方法和基于支持向量機(jī)的分類方法，發(fā)現(xiàn)無論是在準(zhǔn)確率上，還是在召回率上，二次分