一種基于機(jī)器學(xué)習(xí)的主題Web分類算法研究.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)和信息技術(shù)的快速發(fā)展，不同形式的數(shù)字信息充斥著互聯(lián)網(wǎng)的每個(gè)角落，其中文本信息占據(jù)了舉足輕重的地位。如何高效的管理文本成為了研究的一個(gè)熱點(diǎn)課題，自動(dòng)文本分類技術(shù)應(yīng)運(yùn)而生。但是自動(dòng)文本分類的性能還比較低，有非常大的改進(jìn)空間。文本分類是一個(gè)有監(jiān)督的學(xué)習(xí)過程，涉及到機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘等領(lǐng)域的許多關(guān)鍵技術(shù)。影響文本分類性能的因素很多，主要有文本預(yù)處理、特征抽取、維度約減、文本表示、分類器設(shè)計(jì)、評(píng)價(jià)標(biāo)準(zhǔn)等。由于傳統(tǒng)文本表示模型的高維性

2、和高稀疏度等特點(diǎn)，設(shè)計(jì)高效的文本表示模型和降低文本表示維度是文本分類領(lǐng)域關(guān)注的熱點(diǎn)。
　　課題研究在深入分析自動(dòng)網(wǎng)頁文本分類技術(shù)的基礎(chǔ)上，結(jié)合美食行業(yè)的特點(diǎn)，設(shè)計(jì)了一種基于支持向量機(jī)和HR-VSM模型的Web主題分類算法。首先，本文對(duì)當(dāng)前文本分類技術(shù)在國(guó)內(nèi)外的發(fā)展現(xiàn)狀進(jìn)行了綜述，對(duì)文本分類的定義、流程及文本表示模型進(jìn)行了概述，對(duì)經(jīng)典的機(jī)器學(xué)習(xí)算法進(jìn)行了簡(jiǎn)要的介紹。
　　然后研究了網(wǎng)頁文本的特征提取方法。考慮到網(wǎng)頁數(shù)據(jù)是一種半

3、結(jié)構(gòu)化的數(shù)據(jù)，充分考慮了網(wǎng)頁中不同位置的文本對(duì)網(wǎng)頁主題的權(quán)重不同，在研究了文本特征提取算法的基礎(chǔ)上,根據(jù)網(wǎng)頁特征的特殊性,對(duì)網(wǎng)頁文本特征提取和加權(quán)算法進(jìn)行了改進(jìn)?；诰W(wǎng)頁鏈接所指向同級(jí)網(wǎng)頁的內(nèi)容與原網(wǎng)頁文本內(nèi)容的主題相似性，本文提出了一種新穎的網(wǎng)頁文本向量計(jì)算模型——HR-VSM模型。
　　接下來基于改進(jìn)模型并結(jié)合支持向量機(jī)算法，設(shè)計(jì)了一種基于機(jī)器學(xué)習(xí)的主題Web分類算法，詳細(xì)講述了該算法的理論基礎(chǔ)和基于該算法的分類流程。