企業(yè)技術(shù)需求文本分類器的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、我國(guó)的中小型企業(yè)量大面廣，對(duì)我國(guó)經(jīng)濟(jì)發(fā)展有重要貢獻(xiàn)，但員工技術(shù)水平低、缺乏創(chuàng)新能力等問(wèn)題導(dǎo)致中小型企業(yè)壽命普遍較低。而我國(guó)高校中的一些先進(jìn)的研究成果也沒(méi)有得到實(shí)際應(yīng)用，產(chǎn)生相應(yīng)的社會(huì)效益。針對(duì)此現(xiàn)象，實(shí)驗(yàn)室成員計(jì)劃通過(guò)建立以促進(jìn)校企合作為主題的網(wǎng)絡(luò)平臺(tái)，使企業(yè)能得到相關(guān)領(lǐng)域?qū)＜业募夹g(shù)支持。本課題中將以企業(yè)提出的技術(shù)需求文本為分類對(duì)象設(shè)計(jì)并實(shí)現(xiàn)一個(gè)文本分類器，將企業(yè)技術(shù)需求劃分到工科一級(jí)學(xué)科的類別下，作為此網(wǎng)絡(luò)平臺(tái)推薦功能的依據(jù)因素之一。

2、
　　文本分類作為自然語(yǔ)言處理領(lǐng)域的重要技術(shù)，逐漸成為人們的重點(diǎn)研究對(duì)象。目前，文本分類的相關(guān)技術(shù)已取得大量顯著的研究成果，但多數(shù)是針對(duì)中文分詞技術(shù)以及分類算法的研究與改進(jìn)，對(duì)特征提取技術(shù)的研究偏少。因此，本文將特征提取算法作為主要的研究點(diǎn)，提出了兩種改進(jìn)的基于LDA的特征提取算法，旨在降低空間向量的維數(shù)的同時(shí)能獲取更優(yōu)的分類效果。
　　本課題的研究背景較特殊，現(xiàn)有的文本分類器以及分類語(yǔ)料庫(kù)（數(shù)據(jù)集）都不滿足上述應(yīng)用條件，這

3、對(duì)于本課題而言，是巨大的挑戰(zhàn)。本文的主要工作如下:
　　(1)通過(guò)網(wǎng)絡(luò)爬蟲獲取萬(wàn)方數(shù)據(jù)庫(kù)的論文摘要，構(gòu)建出符合課題背景中分類體系的分類實(shí)驗(yàn)語(yǔ)料庫(kù)。文中也使用標(biāo)準(zhǔn)的分類實(shí)驗(yàn)語(yǔ)料庫(kù)（搜狗新聞?wù)Z料庫(kù)）和自建語(yǔ)料庫(kù)對(duì)比實(shí)驗(yàn)并分析實(shí)驗(yàn)結(jié)果，以驗(yàn)證本文提出的改進(jìn)的基于LDA的特征提取算法的通用性。
　　(2)使用中科院分詞系統(tǒng)ICTCLAS分詞系統(tǒng)和結(jié)巴分詞對(duì)語(yǔ)料庫(kù)中文本進(jìn)行分詞對(duì)比實(shí)驗(yàn)，根據(jù)分詞結(jié)果的分詞粒度大小選擇出結(jié)巴分詞完成文本

4、的分詞處理，并對(duì)分詞性能進(jìn)行測(cè)試。
　　(3)為使文本分類器取得較優(yōu)的分類效果，將LDA主題模型應(yīng)用到文本分類的特征提取階段，并提出了兩種新的基于LDA主題模型的特征選擇方法（即LDA_SD和LDA_WORD）。同時(shí)，也實(shí)現(xiàn)兩種傳統(tǒng)的特征選擇方法MI和DF，和上述三種較為新穎的特征選擇方法進(jìn)行對(duì)比分析實(shí)驗(yàn)。
　　(4)本文中對(duì)比測(cè)試了KNN、NB和SVM三種分類算法基于不同特征提取方法結(jié)果的分類效果，選擇具有最優(yōu)分類效果的分