一種基于機器學習的主題Web分類算法研究.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)和信息技術(shù)的快速發(fā)展，不同形式的數(shù)字信息充斥著互聯(lián)網(wǎng)的每個角落，其中文本信息占據(jù)了舉足輕重的地位。如何高效的管理文本成為了研究的一個熱點課題，自動文本分類技術(shù)應運而生。但是自動文本分類的性能還比較低，有非常大的改進空間。文本分類是一個有監(jiān)督的學習過程，涉及到機器學習、數(shù)據(jù)挖掘等領(lǐng)域的許多關(guān)鍵技術(shù)。影響文本分類性能的因素很多，主要有文本預處理、特征抽取、維度約減、文本表示、分類器設(shè)計、評價標準等。由于傳統(tǒng)文本表示模型的高維性

2、和高稀疏度等特點，設(shè)計高效的文本表示模型和降低文本表示維度是文本分類領(lǐng)域關(guān)注的熱點。
　　課題研究在深入分析自動網(wǎng)頁文本分類技術(shù)的基礎(chǔ)上，結(jié)合美食行業(yè)的特點，設(shè)計了一種基于支持向量機和HR-VSM模型的Web主題分類算法。首先，本文對當前文本分類技術(shù)在國內(nèi)外的發(fā)展現(xiàn)狀進行了綜述，對文本分類的定義、流程及文本表示模型進行了概述，對經(jīng)典的機器學習算法進行了簡要的介紹。
　　然后研究了網(wǎng)頁文本的特征提取方法?？紤]到網(wǎng)頁數(shù)據(jù)是一種半

3、結(jié)構(gòu)化的數(shù)據(jù)，充分考慮了網(wǎng)頁中不同位置的文本對網(wǎng)頁主題的權(quán)重不同，在研究了文本特征提取算法的基礎(chǔ)上,根據(jù)網(wǎng)頁特征的特殊性,對網(wǎng)頁文本特征提取和加權(quán)算法進行了改進?；诰W(wǎng)頁鏈接所指向同級網(wǎng)頁的內(nèi)容與原網(wǎng)頁文本內(nèi)容的主題相似性，本文提出了一種新穎的網(wǎng)頁文本向量計算模型——HR-VSM模型。
　　接下來基于改進模型并結(jié)合支持向量機算法，設(shè)計了一種基于機器學習的主題Web分類算法，詳細講述了該算法的理論基礎(chǔ)和基于該算法的分類流程。