文本內(nèi)容過濾的關(guān)鍵技術(shù)研究及實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)的迅猛發(fā)展，網(wǎng)絡(luò)“信息過載”與“不良信息泛濫”現(xiàn)象日益嚴(yán)重，這也成為推動(dòng)信息過濾技術(shù)和信息檢索技術(shù)發(fā)展的動(dòng)力。無論是信息過濾技術(shù)還是信息檢索技術(shù)，其實(shí)質(zhì)都是根據(jù)網(wǎng)頁內(nèi)容對(duì)網(wǎng)頁進(jìn)行分類。文本自動(dòng)分類是大規(guī)模信息處理領(lǐng)域重要的應(yīng)用技術(shù)之一，也是信息處理領(lǐng)域的重要研究方向，文本分類技術(shù)已經(jīng)逐漸與搜索引擎、信息推送、信息過濾等信息處理技術(shù)相結(jié)合，這些技術(shù)的融合能有效地提高信息服務(wù)的質(zhì)量。 本文在中文文本自動(dòng)分類方面做了一些有益

2、的探索，對(duì)中文文本分類的相關(guān)技術(shù)一中文分詞、文本表示、特征提取、文本分類算法以及利用文本分類進(jìn)行網(wǎng)頁信息過濾等方面做了一些探討，著重研究了網(wǎng)頁信息的自動(dòng)提取技術(shù)以及支持向量機(jī)文本分類算法。并對(duì)真實(shí)中文文本進(jìn)行了實(shí)驗(yàn)，在對(duì)文本進(jìn)行預(yù)處理后，用向量空間模型表示文本，用互信息和詞頻相結(jié)合的方式對(duì)文本進(jìn)行特征提取，然后用支持向量機(jī)的一種變形——C-支持向量機(jī)來訓(xùn)練文本分類機(jī)，通過對(duì)文本分類機(jī)的測試，表明C-支持向量機(jī)用于文本分類具有較高的準(zhǔn)確率