基于PageRank思想的文本語種分類方法.pdf

1、近幾十年來，隨著機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘領(lǐng)域的不斷發(fā)展，基于其理論的自然語言處理也取得了長足的進(jìn)步，目前各大門戶網(wǎng)站搜索引擎均推出了自己的機(jī)器翻譯系統(tǒng)，因此作為機(jī)器翻譯的先導(dǎo)性工作自動化語種識別和分類也成為語言學(xué)家計算機(jī)科學(xué)家的研究熱點(diǎn)之一。
　　本文在總結(jié)研究自動化語種分類領(lǐng)域前人的工作成果之后，提出了一種新的基于PageRank算法思想的文本語種分類方法，在此方法中，首先需要通過N-Gram方法將需要分類的多語種語料進(jìn)行分詞，隨后將

2、這些詞語元素通過一種新的基于PageRank算法思想的圖模型關(guān)鍵詞排序方法對關(guān)鍵詞進(jìn)行排序，在排序階段完成后將所得到的排序結(jié)果同之前已經(jīng)分類完成的語料文本經(jīng)由一種距離相似度對比算法即可完成對于待測多文本語種的分類。
　　相對于傳統(tǒng)語種分類方法，本方法在提高識別精度的同時允許使用者自行添加語料訓(xùn)練素材，由于在關(guān)鍵詞排序階段使用的非監(jiān)督學(xué)習(xí)算法，故不需要大量經(jīng)過人工干預(yù)的訓(xùn)練預(yù)料對系統(tǒng)進(jìn)行訓(xùn)練也可以使系統(tǒng)取得不錯的識別效果。本文在選取