中文網(wǎng)頁自動(dòng)分類技術(shù)研究.pdf

1、隨著科學(xué)技術(shù)的飛速發(fā)展，人們進(jìn)入了數(shù)字信息化時(shí)代，同時(shí)，電子信息急劇膨脹。在這個(gè)時(shí)代，信息就是財(cái)富，信息決定成敗。只有及時(shí)獲取準(zhǔn)確、有效的信息，才能跟上時(shí)代的步伐。因此，對于浩如煙海的信息，幫助人們從中獲取準(zhǔn)確、有效的信息成為信息處理領(lǐng)域的一個(gè)重要研究課題。網(wǎng)頁是電子信息的載體，其自動(dòng)分類由此成為這個(gè)領(lǐng)域的一個(gè)重要研究方向。相對于人工分類，它能夠大大節(jié)省時(shí)間、物力和財(cái)力，還能提高自動(dòng)分類的準(zhǔn)確率和召回率。簡言之，研究實(shí)現(xiàn)中文網(wǎng)頁自動(dòng)分類

2、不僅對于幫助人們快速、準(zhǔn)確獲取所需信息具有積極的意義，而且對于推動(dòng)和發(fā)展中文信息檢索技術(shù)也有重要意義。 本文首先介紹了論文的課題背景、意義和國內(nèi)外的研究現(xiàn)狀，概述了文本自動(dòng)分類相關(guān)理論、主要技術(shù)和重要算法，在此基礎(chǔ)上，簡述中文網(wǎng)頁自動(dòng)分類，再重點(diǎn)分析中文網(wǎng)頁自動(dòng)分類的關(guān)鍵技術(shù)，包括網(wǎng)頁格式的轉(zhuǎn)換、中文分詞技術(shù)、特征項(xiàng)選擇方法、遺傳算法降維和自動(dòng)分類方法等。對于網(wǎng)頁格式的轉(zhuǎn)換，本文通過分析網(wǎng)頁的結(jié)構(gòu)信息，針對其特點(diǎn)利用開源軟件提取

3、對分類有一定貢獻(xiàn)的文本信息：對于中文分詞技術(shù)，采用分詞性能良好的海量中文智能分詞功能基礎(chǔ)件研究版進(jìn)行分詞；分詞結(jié)束后，先組合文本頻數(shù)和x2統(tǒng)計(jì)法進(jìn)行初步的特征項(xiàng)選擇，再根據(jù)分詞結(jié)果結(jié)合網(wǎng)頁結(jié)構(gòu)信息特點(diǎn)改進(jìn)TF-IDF權(quán)重公式，使用改進(jìn)后的公式對特征項(xiàng)權(quán)重調(diào)整之后進(jìn)行特征項(xiàng)的二次選擇，然后，用文本表示模型表示網(wǎng)頁。這樣，網(wǎng)頁就轉(zhuǎn)化成了文本，網(wǎng)頁自動(dòng)分類也就轉(zhuǎn)化為了文本自動(dòng)分類；在綜合比較了當(dāng)前幾個(gè)典型的網(wǎng)頁自動(dòng)分類算法之后，本文選取了分類