中文網(wǎng)頁(yè)自動(dòng)分類的研究與實(shí)現(xiàn).pdf

1、隨著在線中文網(wǎng)頁(yè)的迅猛增加,自動(dòng)分類已經(jīng)成為有效組織和管理在線中文網(wǎng)頁(yè)的關(guān)鍵技術(shù).本文研究的中文網(wǎng)頁(yè)自動(dòng)分類系統(tǒng),以非受限領(lǐng)域的大規(guī)模中文網(wǎng)頁(yè)集合作為研究對(duì)象,集成了網(wǎng)頁(yè)處理、中文處理和文本分類技術(shù),是文本自動(dòng)分類技術(shù)在中文領(lǐng)域的一個(gè)具體的應(yīng)用,因?yàn)橹形奶幚砼c西文處理相比具有本質(zhì)的不同,因此本文的研究具有非常重要的現(xiàn)實(shí)意義.系統(tǒng)涉及的關(guān)鍵技術(shù)包括兩個(gè)方面,一方面是與中文網(wǎng)頁(yè)處理有關(guān)的,另一方面則與文本分類有關(guān).中文網(wǎng)頁(yè)處理涉及兩個(gè)關(guān)鍵問(wèn)

2、題,即網(wǎng)頁(yè)預(yù)處理和中文特征詞的抽取.文本分類的關(guān)鍵技術(shù)為文本特征表示、特征選擇和分類算法.本文在對(duì)系統(tǒng)關(guān)鍵技術(shù)進(jìn)行深入地比較研究的基礎(chǔ)上,提出針對(duì)關(guān)鍵過(guò)程的具體解決方法,最后給出系統(tǒng)的整體設(shè)計(jì)和實(shí)現(xiàn)方案.對(duì)于網(wǎng)頁(yè)預(yù)處理,本文通過(guò)對(duì)網(wǎng)頁(yè)標(biāo)記分級(jí),對(duì)不同標(biāo)記采用不同的策略進(jìn)行處理,將網(wǎng)頁(yè)轉(zhuǎn)換為一個(gè)純文本,并保存加權(quán)標(biāo)記文本塊,為進(jìn)一步的處理作準(zhǔn)備.中文特征詞抽取則是在網(wǎng)頁(yè)預(yù)處理的基礎(chǔ)上,根據(jù)分類系統(tǒng)網(wǎng)頁(yè)表示模型只對(duì)詞頻敏感的特點(diǎn),設(shè)計(jì)實(shí)現(xiàn)了

3、一個(gè)基于多步過(guò)濾漢字結(jié)合模式的無(wú)詞典特征詞抽取方法,并通過(guò)實(shí)驗(yàn)同傳統(tǒng)的詞典分詞法進(jìn)行了比較,結(jié)果表明,這種方法對(duì)于中高頻詞條的識(shí)別率接近于詞典分詞法,而分詞速度上則遠(yuǎn)遠(yuǎn)高于詞典分詞法.對(duì)于文本表示,本文基于向量空間模型將網(wǎng)頁(yè)表示為以詞項(xiàng)權(quán)重為項(xiàng)的向量,并采用TFC公式進(jìn)行權(quán)重計(jì)算.對(duì)于特征選擇,選擇MI作為評(píng)價(jià)函數(shù),并對(duì)函數(shù)進(jìn)行了相應(yīng)的改進(jìn),從而提高了MI的評(píng)價(jià)可靠性.對(duì)于分類算法,本文集成了向量空間模型架構(gòu)下分類準(zhǔn)確度最好的KNN算法