基于關(guān)鍵字的搜索引擎搜索結(jié)果中文網(wǎng)頁分類研究.pdf

1、隨著Internet的迅速發(fā)展，搜索引擎的應(yīng)用越來越廣泛。為了提供高效、準確的信息服務(wù)，我們需要對搜索引擎的結(jié)果信息進行合理的組織與分類。本文的目標就是以Web文本信息處理為背景，從理論及應(yīng)用兩個層次對Web文本信息的聚類、分類方法進行了較為深入的研究。 論文首先介紹、分析傳統(tǒng)的文本分類和聚類算法的原理和特點。然后在現(xiàn)有技術(shù)的基礎(chǔ)上，初步設(shè)計實現(xiàn)搜索網(wǎng)頁分類系統(tǒng)，包括：關(guān)鍵字搜索結(jié)果網(wǎng)頁類型判斷方法，網(wǎng)頁分塊，網(wǎng)頁消重與凈化，完

2、成了系統(tǒng)整體設(shè)計；然后對于不容易分類的HTML網(wǎng)頁，提出一種新的基于摘要的網(wǎng)頁搜索結(jié)果聚類和基于學(xué)習(xí)的網(wǎng)頁搜索結(jié)果分類器設(shè)計方法。最后，在實驗獲得了部分參數(shù)條件下，構(gòu)造中文文本分類器，并編程實現(xiàn)，通過實例測試分類器性能。 論文的重點是在文本聚類指導(dǎo)下的分類模式的提取。與傳統(tǒng)分類器不同，我們在缺乏類信息的情況下，采用聚類替代領(lǐng)域?qū)＜业娜斯し诸惈@得類信息，為構(gòu)造分類器提供合適的類信息特征提取，取得了較好效果。聚類部分，采用較為適合基

3、于網(wǎng)頁摘要聚類的顯著短語級別聚類算法，并從理論角度對這種算法的優(yōu)點進行論證。分類部分，論文分析了文本分類采用的樸素Bayes分類器和支持向量機技術(shù)的原理和優(yōu)點，對一種具體的SVM方法—SMO訓(xùn)練方法進行了研究并利用實例進行驗證。 本論文提出的基于摘要和聚類指導(dǎo)的中文Web網(wǎng)頁分類器設(shè)計方案，提出了基于改進的Luhn's摘要方法和有“指導(dǎo)”摘要的混合摘要方法，實驗了在不同的網(wǎng)頁摘要的壓縮比例情況下，分類器對摘要實驗效果，其分類的準