統(tǒng)計(jì)和規(guī)則相結(jié)合的新聞網(wǎng)頁(yè)分類系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、文本分類是一項(xiàng)具有很高實(shí)用價(jià)值的信息組織和管理的關(guān)鍵技術(shù)，它可以對(duì)網(wǎng)絡(luò)上的文本內(nèi)容進(jìn)行有效的組織與管理。常見(jiàn)的網(wǎng)頁(yè)分類方法有文本相似度法、K-最近鄰法、樸素貝葉斯法(Naive-Bayes，NB)、決策樹(shù)、支持向量機(jī)等。網(wǎng)頁(yè)分類算法采用向量空間模型進(jìn)行表示文本特征向量，然后利用某種相似度計(jì)算方法計(jì)算網(wǎng)頁(yè)所屬的類別。本文對(duì)新聞網(wǎng)頁(yè)自動(dòng)分類技術(shù)進(jìn)行了研究，在對(duì)文本分類技術(shù)的理論進(jìn)行研究的基礎(chǔ)上，分析了文本分類的實(shí)現(xiàn)過(guò)程，對(duì)其中的特征選取算法

2、進(jìn)行了詳細(xì)的介紹，給出了文本分類的評(píng)價(jià)指標(biāo)。
　　介紹了新聞網(wǎng)頁(yè)的結(jié)構(gòu)和特點(diǎn)，分析了不規(guī)范的新聞網(wǎng)頁(yè)的特點(diǎn)，并提出了使用開(kāi)源工具Tidy進(jìn)行規(guī)范新聞網(wǎng)頁(yè)的方法。利用統(tǒng)計(jì)詞頻和人工參與的方法來(lái)抽取類別特征詞集，采用開(kāi)源的NekoHTML工具把新聞網(wǎng)頁(yè)解析成DOM樹(shù)，然后進(jìn)行新聞網(wǎng)頁(yè)正文的抽取工作，使用Java語(yǔ)言中的正則表達(dá)式功能進(jìn)行新聞網(wǎng)頁(yè)標(biāo)題和超鏈接的抽取，使用計(jì)算詞語(yǔ)的CHI值的方法進(jìn)行新聞網(wǎng)頁(yè)的特征選取，利用語(yǔ)義知識(shí)數(shù)據(jù)庫(kù)H

3、owNet進(jìn)行詞語(yǔ)之間語(yǔ)義距離的計(jì)算，提出了一種統(tǒng)計(jì)和規(guī)則相結(jié)合的新聞網(wǎng)頁(yè)分類系統(tǒng)的模型。
　　本文利用Java語(yǔ)言對(duì)新聞網(wǎng)頁(yè)分類系統(tǒng)的各個(gè)環(huán)節(jié)作了簡(jiǎn)單的實(shí)現(xiàn)與測(cè)試，主要環(huán)節(jié)包括：類別特征詞的抽取、新聞網(wǎng)頁(yè)信息的抽取、語(yǔ)義距離的計(jì)算以及分類輔助規(guī)則的設(shè)計(jì)。類別特征詞的抽取是利用統(tǒng)計(jì)和人工參與的方法來(lái)抽取的；新聞網(wǎng)頁(yè)中正文信息的抽取利用的是開(kāi)源的NekoHTML工具把新聞網(wǎng)頁(yè)源代碼解析成一個(gè)DOM樹(shù)，去掉新聞網(wǎng)頁(yè)中無(wú)用的節(jié)點(diǎn)STYL