基于樸素貝葉斯的中文網(wǎng)頁分類研究.pdf

1、隨著web網(wǎng)頁的迅速發(fā)展，海量的網(wǎng)絡(luò)信息大量涌現(xiàn)，如何在繁雜的信息中快速找到需要的信息是網(wǎng)頁自動(dòng)分類研究的重要內(nèi)容。由于文本分類技術(shù)研究開始的時(shí)間較早，目前已經(jīng)擁有相對(duì)成熟的技術(shù)，網(wǎng)頁分類的方法仍以文本分類的方法作為研究基礎(chǔ)。同時(shí)由于網(wǎng)頁作為一種半結(jié)構(gòu)化的文檔，含有豐富的結(jié)構(gòu)信息，如何利用網(wǎng)頁中的結(jié)構(gòu)信息和超級(jí)鏈接信息能夠更好的得到網(wǎng)頁分類效果，已經(jīng)成為目前網(wǎng)頁分類的熱點(diǎn)問題。
　　本文的研究工作主要包括以下幾項(xiàng)，首先根據(jù)網(wǎng)頁的鏈

2、接關(guān)系，在網(wǎng)頁采集的過程中，考慮網(wǎng)頁中超級(jí)鏈接指向的網(wǎng)頁對(duì)待分類網(wǎng)頁的影響，提出根據(jù)URL判斷網(wǎng)頁的相似性，并設(shè)計(jì)相應(yīng)的爬蟲算法來采集網(wǎng)頁；接著對(duì)網(wǎng)頁的構(gòu)成信息進(jìn)行了分析，按照基于DOM樹的模型抽取網(wǎng)頁中重要的標(biāo)簽，由于網(wǎng)頁中title標(biāo)題、各級(jí)子標(biāo)題hn、meta標(biāo)簽中keywords和description的內(nèi)容、以及超級(jí)鏈接的錨文本等描述的內(nèi)容對(duì)于頁面的主題相關(guān)度具有突出貢獻(xiàn)的意義，在網(wǎng)頁分類中對(duì)這些內(nèi)容進(jìn)行加權(quán)處理，增大這些信息