基于行為識別的網(wǎng)頁文本分類算法研究與實現(xiàn).pdf

1、近年來互聯(lián)網(wǎng)快速發(fā)展，網(wǎng)絡(luò)中出現(xiàn)了海量、動態(tài)、半結(jié)構(gòu)化或者非結(jié)構(gòu)化的信息，這些信息80％以上都是以文本形式存在。網(wǎng)頁分類是搜索引擎、網(wǎng)頁過濾、網(wǎng)絡(luò)信息管理的技術(shù)基礎(chǔ)，因此對網(wǎng)頁分類的研究越來越重要。網(wǎng)頁分類算法是網(wǎng)頁分類過程中的一個重要步驟，分類算法的優(yōu)劣直接影響分類效果的好壞。網(wǎng)頁分類技術(shù)建立在文本分類的基礎(chǔ)上，但又不同于純文本分類技術(shù)有所差異，這是因為網(wǎng)頁中存在“噪音”信息以及網(wǎng)頁的半結(jié)構(gòu)化特點。
　　 文本分類由文本預(yù)處理

2、，特征詞庫的建立、文本分類器、文本分類結(jié)果測試這幾個部分組成。本文圍繞搜索引擎優(yōu)化對網(wǎng)站設(shè)計具有引導(dǎo)性的研究基礎(chǔ)上，對網(wǎng)頁進(jìn)行行為分析，提出了一種新的網(wǎng)頁文本分類算法——基于行為識別的網(wǎng)頁文本分類算法。本文的主要研究工作如下：
　　 在對網(wǎng)頁行為的研究中發(fā)現(xiàn)，網(wǎng)站的設(shè)計受搜索引擎優(yōu)化技術(shù)的影響，網(wǎng)站設(shè)計者為了提高網(wǎng)站的搜索排名，利用元標(biāo)簽反應(yīng)網(wǎng)站主題，因此元標(biāo)簽對反映網(wǎng)站的主題有很大的貢獻(xiàn)。并且在這種半結(jié)構(gòu)化的文本結(jié)構(gòu)中，絕大多

3、數(shù)網(wǎng)頁中都包含title，keywords，descriptioN,subtitle等，利用網(wǎng)站的這一行為特點提出了新的算法。
　　 基于行為識別的網(wǎng)頁文本分類算法充分考慮到網(wǎng)站中語言多元化的特點，將網(wǎng)頁的文字編碼進(jìn)行統(tǒng)一，最大可能的消除了語言之間的區(qū)別帶來的干擾。
　　 本文同時完成了對該算法的測試，并同國外的類似產(chǎn)品進(jìn)行比較。該算法正確率、召回率等都能達(dá)到90％，體現(xiàn)了良好的分類性能。
　　 論文最終給出了基