中文網(wǎng)頁自動分類的一種實現(xiàn).pdf

1、搜索引擎是網(wǎng)絡(luò)信息檢索的重要工具,在中文搜索引擎的實現(xiàn)中,中文網(wǎng)頁的自動分類是一個很重要的研究方向.通過自動分類不僅僅可以將網(wǎng)頁按照類別信息分別建立相應(yīng)的數(shù)據(jù)庫,提高中文搜索引擎的查全率和查準(zhǔn)率,而且可以建立自動的分類信息資源,為用戶提供分類信息目錄,并且,自動分類的好與壞,對后面的相關(guān)性排序過程也有一定的積極作用.該文分析了網(wǎng)頁中對分類過程有貢獻的結(jié)構(gòu)成分,并針對中文網(wǎng)頁的特點和網(wǎng)頁分析過程中的對分詞質(zhì)量的要求,對現(xiàn)有的最長次長分詞算

2、法進行了相應(yīng)的簡化和調(diào)整,使其更加適用與自動分類過程.并將信息檢索領(lǐng)域中用于計算關(guān)鍵字與相關(guān)文獻相關(guān)權(quán)重的IDF(Inverse Document Frequency)公式應(yīng)用于自動分類過程,結(jié)合對中文網(wǎng)頁的分析結(jié)果,得出具有可調(diào)參數(shù)的權(quán)重計算公式,根據(jù)公式要求,設(shè)計并建立了用于保存分類訓(xùn)練結(jié)果的分類權(quán)重向量庫.利用語料訓(xùn)練的結(jié)果并運用VSM模型,實現(xiàn)了一種有實踐意義的中文網(wǎng)頁自動分類方法.經(jīng)過閉式和開式測試,該方法在進行大量語料訓(xùn)練后