基于自主學(xué)習(xí)的中文文本分類算法研究.pdf

1、自動文本分類技術(shù)就是對大量的自然語言文本按照一定的主題類別進(jìn)行自動分類，它是自然語言處理的一個十分重要的問題。文本分類任務(wù)的特點(diǎn)之一即文本經(jīng)過向量空間模型(VSM)表示后特征空間維度很高，這樣勢必大大增加了文本訓(xùn)練的計(jì)算復(fù)雜度，導(dǎo)致訓(xùn)練時間過長，而且訓(xùn)練集中可能含有噪聲樣本，能夠降低分類精度。針對這種情況本文在文本分類中加入自主學(xué)習(xí)算法。
　　自主學(xué)習(xí)(ActiveLearning)就是在訓(xùn)練過程中分類器能夠自己主動選取富有信息含

2、量的樣本，除去冗余和噪聲樣本。一方面在保持測試精度的情況下能夠大大精簡訓(xùn)練集，有效減少訓(xùn)練時間；另一方面能夠提高測試精度。所以針對訓(xùn)練集數(shù)量龐大，特征空間維度高的文本分類問題，采用自主學(xué)習(xí)的方法，可以顯著提高學(xué)習(xí)效率。
　　本設(shè)計(jì)把基于泛化誤差模型Rsm的自主學(xué)習(xí)算法應(yīng)用到中文文本分類中，實(shí)現(xiàn)了一個基于徑向基函數(shù)(RadialBasisFunctionNeuralNetwork,RBFNN)的文本分類系統(tǒng)，重點(diǎn)研究是基于自主學(xué)習(xí)的