基于DOM和IG-SVD的Web文本分類模型研究.pdf

1、在網(wǎng)絡(luò)信息的急劇膨脹時(shí)代,我們已經(jīng)不再擔(dān)心信息的匱乏。但是,網(wǎng)絡(luò)信息的指數(shù)級(jí)增長(zhǎng)開始讓人們感到信息的泛濫和雜亂無章。各大網(wǎng)站的信息獨(dú)立和數(shù)據(jù)格式的不統(tǒng)一,使得數(shù)據(jù)共享平臺(tái)的實(shí)現(xiàn)變得異常困難。如何統(tǒng)一網(wǎng)絡(luò)中的異構(gòu)數(shù)據(jù)格式,并提取出人們所需要的結(jié)構(gòu)化文本信息,是目前Web文本分類課題的研究重點(diǎn)。
　　 基于DOM和IG-SVD的Web文本分類模型是本文提出的解決目前Web數(shù)據(jù)格式和網(wǎng)絡(luò)信息雜亂無章的一種有效的方法。我們主要研究了以下

2、幾方面的工作:
　　 (1)提出了基于DOM的正則表達(dá)式算法。該算法針對(duì)信息抽取的主題不明確,信息抽取內(nèi)容過于粗略等缺陷,通過對(duì)網(wǎng)頁(yè)的DOM結(jié)構(gòu)分析來定制面向主題的正則表達(dá)式的模板,最終完成結(jié)構(gòu)化的文本提取。
　　 (2)提出了基于IG-SVD的特征選取算法。首先,用模糊取定閥值的方法確定出大范圍的區(qū)分度較高的特征項(xiàng)。然后,通過奇異值分解法做矩陣變換和奇異值k的選定,實(shí)現(xiàn)了語(yǔ)義的特征項(xiàng)選定和多義詞同義詞的處理,達(dá)到了分類

3、效果最佳的特征向量空間模型。
　　 (3)提出了基于支持向量機(jī)的分類模型。將基于DOM的正則表達(dá)式特征提取算法和基于IG-SVD的特征選取算法融入到支持向量機(jī)中,形成了基于支持向量機(jī)的分類模型,并將該模型應(yīng)用到了電子就業(yè)智能分類領(lǐng)域中。
　　 文章最后設(shè)計(jì)了一個(gè)基于支持向量機(jī)的電子就業(yè)智能分類預(yù)測(cè)系統(tǒng)。在此系統(tǒng)中,我們測(cè)試了各種模型的分類效果和性能,并對(duì)結(jié)果進(jìn)行了對(duì)比。實(shí)驗(yàn)結(jié)果證明,我們提出的改進(jìn)方法在性能和效率上都有較