基于向量空間模型的中文網(wǎng)頁(yè)自動(dòng)分類(lèi)技術(shù)研究.pdf

1、信息技術(shù)的發(fā)展和互聯(lián)網(wǎng)資源的迅速膨脹對(duì)傳統(tǒng)的搜索引擎提出了挑戰(zhàn)。在提高搜索引擎對(duì)信息的檢索效率和用戶(hù)操作的方便性方面，中文網(wǎng)頁(yè)自動(dòng)分類(lèi)技術(shù)是一個(gè)有效的解決方案，是中文信息處理中的重要環(huán)節(jié)。它能夠自動(dòng)地把搜索引擎檢索到的結(jié)果歸類(lèi)，便于用戶(hù)按類(lèi)別進(jìn)行查找，提高檢索信息的效率，已成為信息檢索方向的研究熱點(diǎn)。 介紹了網(wǎng)頁(yè)分類(lèi)的原理、流程和分類(lèi)的各項(xiàng)關(guān)鍵技術(shù)。闡述了網(wǎng)頁(yè)預(yù)處理、向量空間模型的原理、特征選取技術(shù)、流行的分類(lèi)算法和分類(lèi)的評(píng)價(jià)指

2、標(biāo)，對(duì)這幾種分類(lèi)算法的分析表明KNN算法是最適合應(yīng)用于網(wǎng)頁(yè)分類(lèi)的分類(lèi)算法。概括了網(wǎng)頁(yè)分類(lèi)在搜索引擎中的重要作用。深入研究了KNN算法，分析了國(guó)內(nèi)外主要的改進(jìn)算法，發(fā)現(xiàn)KNN在大規(guī)模在線(xiàn)分類(lèi)方面存在著效率上的缺陷。從修剪訓(xùn)練集合的角度出發(fā)，提出了一種生成代表樣本集合的算法，并在中文網(wǎng)頁(yè)分類(lèi)器CPCK上進(jìn)行驗(yàn)證。實(shí)驗(yàn)證明，與普通的KNN分類(lèi)算法相比，代表樣本算法的分類(lèi)效率得到了一定程度的提高。從網(wǎng)頁(yè)的布局和功能進(jìn)行分析，發(fā)現(xiàn)在網(wǎng)頁(yè)的分塊信息