蒙古文停用詞表和詞干提取對(duì)蒙古文文本分類的影響.pdf

1、伴隨著網(wǎng)絡(luò)的發(fā)展，文本分類技術(shù)成為信息處理領(lǐng)域中重要的研究方向，通常用于處理和組織大量文本數(shù)據(jù)。蒙古語在中國來說是少數(shù)民族語言，蒙古文信息處理發(fā)展較慢，但在民族文化傳承和發(fā)展中起著重要的作用。因此研究蒙古文文本分類技術(shù)具有非常重要的意義。
　　 本文的研究工作主要包含了以下三方面：(1)語料對(duì)分類系統(tǒng)的影響十分大，直接關(guān)系到分類系統(tǒng)性能。收集基于蒙古文國際標(biāo)準(zhǔn)編碼的蒙古文文本，進(jìn)行人工分類，構(gòu)造用于實(shí)驗(yàn)的小型集合。(2)不同停用

2、詞選擇方法對(duì)分類效果的影響不同，迄今為止，關(guān)于蒙古文停用詞的研究成果還非常少。分析常用的停用詞統(tǒng)計(jì)方法(主要有TF方法、DF方法、EC方法等)，統(tǒng)計(jì)出相應(yīng)的停用詞表。在研究蒙古文詞法、語法的基礎(chǔ)上，提出基于翻譯的停用詞選擇方法。通過實(shí)驗(yàn)比較不同停用詞表對(duì)蒙古文文本分類系統(tǒng)的影響。(3)利用蒙古文后綴表進(jìn)行詞干提取處理。最后采用支持向量機(jī)算法作為分類算法，構(gòu)建蒙古文文本分類系統(tǒng)。
　　 作者收集了850篇蒙古文文本，共分為9個(gè)類別