基于覆蓋的中文網(wǎng)頁(yè)分類研究.pdf

1、隨著Internet的迅速發(fā)展,尤其是World Wide Web的全球普及,Web網(wǎng)絡(luò)上信息資源己經(jīng)涵蓋了社會(huì)生活的各個(gè)方面,網(wǎng)絡(luò)信息過載(Information Overload)問題日益突出,這又促使Web挖掘技術(shù)和Web網(wǎng)絡(luò)信息檢索技術(shù)迅速發(fā)展。其中,通過什么樣的方法和途徑來使網(wǎng)站的網(wǎng)頁(yè)信息資源得到合理有效地組織,提高網(wǎng)絡(luò)信息檢索的速度和準(zhǔn)確度,是個(gè)頗讓人們感興趣的問題。網(wǎng)頁(yè)分類恰恰提供了這樣一種合理而有效組織信息的方法。網(wǎng)頁(yè)分

2、類提供了處理和組織大規(guī)模文本信息的關(guān)鍵技術(shù),它是使網(wǎng)絡(luò)信息資源得以合理有效組織的重要方法。它為使用在網(wǎng)絡(luò)上存在的海量信息提供了可能性并大大提高了網(wǎng)絡(luò)資源的利用率。
　　由于我國(guó)的互聯(lián)網(wǎng)起步較晚,因而與之相對(duì)應(yīng)的網(wǎng)頁(yè)分類也發(fā)展較晚。近年來,中科院軟件研究所、北京郵電大學(xué)模式識(shí)別與智能實(shí)驗(yàn)室、微軟亞洲研究院等多家研究機(jī)構(gòu)都在進(jìn)行著與中文網(wǎng)頁(yè)分類相關(guān)的理論研究。我校的張鈴老師提出的覆蓋算法也為這一研究提供了理論及算法上的支持。
　

3、　前向神經(jīng)網(wǎng)絡(luò)的覆蓋算法是由張鈴老師提出的一種機(jī)器學(xué)習(xí)方法。本文將覆蓋算法應(yīng)用到中文網(wǎng)頁(yè)的分類中,結(jié)合各種經(jīng)典的分詞和降低特征維數(shù)的方法進(jìn)行分類,并與SVM方法,貝葉斯算法的分類結(jié)果進(jìn)行比較分析。
　　本文所做的主要工作和創(chuàng)新點(diǎn)如下:
　　1)對(duì)HTML文本進(jìn)行了簡(jiǎn)要的介紹,說明如何通過預(yù)處理從HTML文本中取出對(duì)后期分類有價(jià)值的中文文本。
　　2)本文對(duì)以往中文網(wǎng)頁(yè)分類的預(yù)處理過程加以改進(jìn),對(duì)在分類中作用顯著的

4、tle>等標(biāo)簽下的文本給以較大權(quán)重值。
　　3)對(duì)文本內(nèi)容進(jìn)行處理時(shí),為了減少特征向量的維數(shù),本文使用文本分類中常見的幾種特征降維方法(文本頻度、χ2統(tǒng)計(jì)量方法、互信息方法、信息增益方法、期望交叉熵方法、文本證據(jù)權(quán)方法)分別對(duì)中文網(wǎng)頁(yè)樣本進(jìn)行了測(cè)試。實(shí)驗(yàn)結(jié)果表明,χ2統(tǒng)計(jì)量方法和期望交叉熵方法對(duì)文本分類最為有效,文本頻度方法和文本證據(jù)權(quán)方法稍差,而互信息方法和信息增益的方法效果最差;
　　4)獲得有效的網(wǎng)頁(yè)文本特征向量后,需

5、要使用合適的分類器進(jìn)行分類。本文首次將張鈴、張鈸教授提出的前向人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)上的覆蓋算法應(yīng)用到中文網(wǎng)頁(yè)的分類中。本文對(duì)使用覆蓋算法和SVM方法作為分類器進(jìn)行了對(duì)比,實(shí)驗(yàn)表明覆蓋算法是一種優(yōu)秀的分類器,可以有效的進(jìn)行中文網(wǎng)頁(yè)的分類。
　　本文在中文網(wǎng)頁(yè)分類方面完成了一定的工作,但還存在一些不足,今后可以在以下方面繼續(xù)研究:
　　1)本文的研究對(duì)象是針對(duì)中文網(wǎng)頁(yè),今后可以對(duì)非中文網(wǎng)頁(yè)進(jìn)行研究,將非中文網(wǎng)頁(yè)也納入研究范圍中;