基于依存關(guān)系的文本特征降維研究.pdf

1、隨著互聯(lián)網(wǎng)的不斷發(fā)展，網(wǎng)絡(luò)上的信息越來越多。面對(duì)海量信息，人們往往很難選擇。通過文本分類技術(shù)，人們能夠有效地組織和管理文本信息，提高學(xué)習(xí)和工作效率。文本分類中一個(gè)重要的步驟就是特征降維。有效的特征降維，不僅可以提升分類算法的運(yùn)行效率，還能提高分類的準(zhǔn)確率。常見的特征降維方法，主要運(yùn)用了統(tǒng)計(jì)的思想。這類方法篩選的特征項(xiàng)存在一定的噪聲，而且特征維數(shù)較高，沒有考慮特征詞之間的語義關(guān)系。本文是從語義角度去研究特征降維，利用依存關(guān)系對(duì)句子進(jìn)行句法

2、分析，選出每個(gè)句子的重點(diǎn)詞作為特征項(xiàng)，來實(shí)現(xiàn)特征降維。這種方法選出的特征詞能更好的表示文本。
　　本文首先對(duì)文本分類的國內(nèi)外研究現(xiàn)狀進(jìn)行了介紹，分析了現(xiàn)有特征降維方法的缺點(diǎn)。隨后對(duì)文本分類的基本概念和知識(shí)進(jìn)行了歸納，闡述了文本分類的特點(diǎn)和應(yīng)用；分析了文本分類的過程，包括文本預(yù)處理、權(quán)重計(jì)算、文本表示和分類算法。本文對(duì)特征降維進(jìn)行了詳細(xì)的研究，包括特征選擇和特征抽取，并對(duì)常用的特征降維方法進(jìn)行了分析。隨后對(duì)特征項(xiàng)進(jìn)行研究，著重對(duì)詞共

3、現(xiàn)進(jìn)行分析，并對(duì)依存關(guān)系進(jìn)行了研究，分析了依存關(guān)系詞對(duì)的特點(diǎn)。依存關(guān)系詞對(duì)作為特征項(xiàng)含有更多的語義信息，且特征項(xiàng)之間的獨(dú)立性更強(qiáng)，能更好的表示文本，并在此基礎(chǔ)上提出了基于依存關(guān)系的特征降維方法。為了驗(yàn)證其效果，將其同文檔頻率法，互信息法和信息增益法進(jìn)行文本分類實(shí)驗(yàn)對(duì)比。實(shí)驗(yàn)證明，該方法具有一定可行性，但是還存在一些缺陷。接著對(duì)抽取的依存關(guān)系詞對(duì)進(jìn)行研究，將依存關(guān)系詞對(duì)同傳統(tǒng)方法的特征詞進(jìn)行對(duì)比。從詞性和語義的角度進(jìn)行分析，針對(duì)基于依存關(guān)