中文網(wǎng)頁分類特征提取方法研究.pdf

1、隨著信息技術(shù)的不斷發(fā)展，網(wǎng)頁分類已經(jīng)成為目前研究的一個(gè)熱點(diǎn)。網(wǎng)頁分類，即根據(jù)一定的分類規(guī)則實(shí)現(xiàn)大量Web文本的自動(dòng)歸類。它能夠?qū)W(wǎng)頁進(jìn)行有序組織，改善信息檢索的性能，提高網(wǎng)絡(luò)資源的利用率。特征提取是網(wǎng)頁分類過程中的一個(gè)重要步驟，也是網(wǎng)頁實(shí)現(xiàn)高效分類的前提，提取算法的優(yōu)劣將直接影響到分類器的性能。 介紹了網(wǎng)頁自動(dòng)分類的原理、過程和發(fā)展，詳細(xì)闡述了分類流程的各個(gè)步驟，并分析、比較了幾種常見的分類算法。在網(wǎng)頁分類過程中，詳細(xì)研究了特征

2、提取方法，闡述了特征提取的意義和工作原理。在介紹常用的特征提取算法基礎(chǔ)上，系統(tǒng)分析了互信息（MI）和X2統(tǒng)計(jì)量（CHI）算法，發(fā)現(xiàn)MI算法忽略負(fù)值特征、過分傾向低頻詞，而CHI算法無法過濾無用高頻詞、對(duì)特有低頻詞又不重視。此外，二者均未考慮特征詞在類別中的出現(xiàn)概率對(duì)分類的影響。針對(duì)以上不足，對(duì)MI和CHI算法做了相應(yīng)改進(jìn)。在特征提取對(duì)象上，分析了可提取的對(duì)象范圍，重點(diǎn)考慮了標(biāo)題、正文、超鏈接、超文本標(biāo)記等信息，并根據(jù)特征出現(xiàn)的不同位置，