網(wǎng)頁(yè)自動(dòng)分類技術(shù)研究.pdf

1、海量的Internet信息資源已經(jīng)成為獲取信息的重要來源，越來越多的人使用搜索引擎搜索網(wǎng)絡(luò)來獲取所需要的信息。但是，搜索引擎主要是按關(guān)鍵詞來進(jìn)行檢索，返回結(jié)果中經(jīng)常包含大量的無關(guān)信息，其查準(zhǔn)率難以令人滿意。網(wǎng)頁(yè)自動(dòng)分類技術(shù)可以在較大程度上對(duì)網(wǎng)頁(yè)數(shù)據(jù)庫(kù)進(jìn)行有序地組織，改善目前搜索引擎的缺陷，方便用戶準(zhǔn)確定位所需要的信息，已成為一項(xiàng)具有較大實(shí)用價(jià)值的關(guān)鍵技術(shù)。本文的目標(biāo)是在研究Internet信息特點(diǎn)的基礎(chǔ)上，針對(duì)目前網(wǎng)絡(luò)信息獲取和檢索的缺

2、陷，對(duì)網(wǎng)頁(yè)自動(dòng)分類技術(shù)進(jìn)行研究和探討，重點(diǎn)對(duì)關(guān)鍵技術(shù)網(wǎng)頁(yè)表示和分類算法進(jìn)行了研究。 首先，在介紹研究背景、相關(guān)技術(shù)、研究意義、研究現(xiàn)狀的基礎(chǔ)上，對(duì)網(wǎng)頁(yè)自動(dòng)分類技術(shù)的基礎(chǔ)，文本自動(dòng)分類技術(shù)以及中文分詞，進(jìn)行了比較全面的介紹和分析。然后總結(jié)網(wǎng)頁(yè)特點(diǎn)，同時(shí)抽樣統(tǒng)計(jì)了網(wǎng)頁(yè)標(biāo)記對(duì)主題類別的分類貢獻(xiàn)，分析特征表示模型及表示過程并總結(jié)網(wǎng)頁(yè)表示的研究情況。還研究和探討維數(shù)削減的概念、途徑、網(wǎng)頁(yè)特征的選擇方法和抽取方法以及不同網(wǎng)頁(yè)特征選擇方法之間

3、的比較。以及介紹基于統(tǒng)計(jì)學(xué)習(xí)的自動(dòng)分類算法，分析和比較常用的網(wǎng)頁(yè)自動(dòng)分類算法，提出k近鄰算法改進(jìn)思想。 其次，為了分析網(wǎng)頁(yè)標(biāo)記源的主題分類表達(dá)能力，設(shè)計(jì)了一個(gè)抽樣調(diào)查方案進(jìn)行統(tǒng)計(jì)分析。方案分經(jīng)濟(jì)和教育兩個(gè)類別，各隨意抽取50篇網(wǎng)頁(yè)進(jìn)行統(tǒng)計(jì)數(shù)據(jù)分析?？梢缘玫浇Y(jié)論，網(wǎng)頁(yè)的標(biāo)題標(biāo)記、加重標(biāo)記、黑體字標(biāo)記、meta標(biāo)記的主題表達(dá)能力比較強(qiáng)，分類干擾較少；標(biāo)題標(biāo)記使用的情況比較好，其余標(biāo)記沒有被充分利用。超鏈接標(biāo)記，其引用動(dòng)機(jī)十分廣泛，分

4、類噪聲影響遠(yuǎn)大于其分類作用，因此在分類時(shí)一般不考慮超鏈接標(biāo)記。 最后，對(duì)K近鄰分類算法進(jìn)行分析，K近鄰算法的優(yōu)點(diǎn)是算法比較簡(jiǎn)單，容易實(shí)現(xiàn)，分類效果好；缺點(diǎn)是特征項(xiàng)相互獨(dú)立，影響分類精度，在分類階段的時(shí)間開銷太大。已有的K近鄰分類的改進(jìn)算法，主要針對(duì)特征項(xiàng)相互獨(dú)立問題，并沒有涉及時(shí)間開銷的問題。在此基礎(chǔ)上，提出一種算法改進(jìn)思想，結(jié)合簡(jiǎn)單聚類算法，比如單鏈聚類方法，在不降低分類精度的情況下，將分類階段大部分的時(shí)間開銷轉(zhuǎn)移到訓(xùn)練階段。