中文文本分詞研究.pdf

1、中文文本分詞研究摘要中文文本分詞問題是中文信息處理的一個重要問題，這個問題解決的好壞將直接影響中文信息處理的發(fā)展前景。目前學(xué)術(shù)界主要采用計(jì)算機(jī)自動分詞解決中文文本分詞，但是這種方法不能完全解決分詞問題，這是因?yàn)橛?jì)算機(jī)自動分詞不能徹底地解決歧義字段的切分。那么，歧義字段倒底有多少，有哪些表現(xiàn)形式，形成的原因又是什么。為了對這個問題有一個充分的認(rèn)識，我們對計(jì)算機(jī)的自動分詞中的歧義字段做了定量分析，研究了歧義字段的分類和形成原因。論文分為六個

2、部分:一、研究背景及問題的提出中文文本分詞在中文信息處理中有重要的作用，中文信息處理必須解決中文文本分詞問題。二、研究現(xiàn)狀及存在的問題目前中文信息處理中利用計(jì)算機(jī)自動分詞解決中文文本分詞，雖然取得了一定的成果，但是計(jì)算機(jī)自動分詞存在一個重要的問題就是不能徹底解決歧義字段切分。三、研究內(nèi)容和思路為了全面認(rèn)識歧義字段的切分問題，我們采用受限語言的研究方法，以(信息交換用漢字編碼字符集—基本集》中的3755個一級字為研究對象，以《信息處理用現(xiàn)

3、代漢語常用詞詞表》為參考，以典范的現(xiàn)代白話文著作為語法規(guī)范，統(tǒng)計(jì)分析出歧義字段的數(shù)量、表現(xiàn)TheStudyonChineseTextSegmentationAbstractChinesetextsegmentationisanimportantquestionofChineseinformationprocessingandthesetlementwilldirectlyinfluencethedevelopmentforeground

4、ofChineseinformationprocessing.Andnowthemostwidelyusedmethodisautomaticsegmentation.Butthismethodcantsolvetheproblemthoroughlybecausethismethodcantsolvetheproblemofambiguoussegment.Sotherearehowmanyambiguoussegmentsandth

5、erearehowmanykindsofambiguoussegmentsandwhatisthereason.Inordertohaveanallroundlookofthisquestionwemakeaquantitativeanalysisandstudytheformandformationreasonofambiguoussegment.Thispapercomprisessixparts:PartOne:thebackgr

6、oundandtheproblemofthestudyChinesetextsegmentationhastheimportantfunctionintheChineseinformationprocessing.ChineseinformationprocessingmustsolveChinesetextsegmentation.PartTwo:QuestionandpresentsituationofthestudyNowweus