藏文自動(dòng)分詞技術(shù)方法研究.pdf

1、藏文分詞是藏文信息處理中一項(xiàng)不可缺少的基礎(chǔ)性工作。從文本的輸入系統(tǒng)〔如智能語句輸入法、語音輸入、手寫輸入)，到文字處理(如文本校對(duì))以及語音合成、文本檢索、文本分類、自然語言接口、自動(dòng)文摘等，無處不滲透著分詞系統(tǒng)的應(yīng)用，它是藏文信息處理重要基礎(chǔ)之一。
　　 眾所周知，英文以詞為單位，以空格隔開。計(jì)算機(jī)可以容易地理解英文單詞。而藏文句子中，詞與詞之間沒有明顯的分隔符（如空格）。藏文以字（音節(jié)字）為單位，連字成句才能描述一個(gè)完整的意

2、思。而對(duì)由詞組成的藏文句子，必須通過藏文分詞技術(shù)才得以理解。把藏文的音節(jié)字序列切分成有意義的詞，是藏文分詞的研究工作。
　　 通過研究和分析藏文分詞的概念以及國(guó)內(nèi)外相關(guān)成果，本文系統(tǒng)地提出了分詞系統(tǒng)中藏文分詞切分單位的劃定原則以及藏文分詞技術(shù)方法，結(jié)合藏文自然標(biāo)記斷句、以格助詞來為分塊、塊內(nèi)匹配與統(tǒng)計(jì)相結(jié)合的分詞方法，提出了藏文自動(dòng)分詞方法、格助詞的識(shí)別方法、交集型和組合型歧義的識(shí)別方法及未登錄詞識(shí)別方法。進(jìn)而提出了藏文自動(dòng)分詞