中文文本分詞研究.pdf

1、中文文本分詞研究摘要中文文本分詞問(wèn)題是中文信息處理的一個(gè)重要問(wèn)題，這個(gè)問(wèn)題解決的好壞將直接影響中文信息處理的發(fā)展前景。目前學(xué)術(shù)界主要采用計(jì)算機(jī)自動(dòng)分詞解決中文文本分詞，但是這種方法不能完全解決分詞問(wèn)題，這是因?yàn)橛?jì)算機(jī)自動(dòng)分詞不能徹底地解決歧義字段的切分。那么，歧義字段倒底有多少，有哪些表現(xiàn)形式，形成的原因又是什么。為了對(duì)這個(gè)問(wèn)題有一個(gè)充分的認(rèn)識(shí)，我們對(duì)計(jì)算機(jī)的自動(dòng)分詞中的歧義字段做了定量分析，研究了歧義字段的分類(lèi)和形成原因。論文分為六個(gè)

2、部分:一、研究背景及問(wèn)題的提出中文文本分詞在中文信息處理中有重要的作用，中文信息處理必須解決中文文本分詞問(wèn)題。二、研究現(xiàn)狀及存在的問(wèn)題目前中文信息處理中利用計(jì)算機(jī)自動(dòng)分詞解決中文文本分詞，雖然取得了一定的成果，但是計(jì)算機(jī)自動(dòng)分詞存在一個(gè)重要的問(wèn)題就是不能徹底解決歧義字段切分。三、研究?jī)?nèi)容和思路為了全面認(rèn)識(shí)歧義字段的切分問(wèn)題，我們采用受限語(yǔ)言的研究方法，以(信息交換用漢字編碼字符集—基本集》中的3755個(gè)一級(jí)字為研究對(duì)象，以《信息處理用現(xiàn)

3、代漢語(yǔ)常用詞詞表》為參考，以典范的現(xiàn)代白話文著作為語(yǔ)法規(guī)范，統(tǒng)計(jì)分析出歧義字段的數(shù)量、表現(xiàn)TheStudyonChineseTextSegmentationAbstractChinesetextsegmentationisanimportantquestionofChineseinformationprocessingandthesetlementwilldirectlyinfluencethedevelopmentforeground

4、ofChineseinformationprocessing.Andnowthemostwidelyusedmethodisautomaticsegmentation.Butthismethodcantsolvetheproblemthoroughlybecausethismethodcantsolvetheproblemofambiguoussegment.Sotherearehowmanyambiguoussegmentsandth

5、erearehowmanykindsofambiguoussegmentsandwhatisthereason.Inordertohaveanallroundlookofthisquestionwemakeaquantitativeanalysisandstudytheformandformationreasonofambiguoussegment.Thispapercomprisessixparts:PartOne:thebackgr

6、oundandtheproblemofthestudyChinesetextsegmentationhastheimportantfunctionintheChineseinformationprocessing.ChineseinformationprocessingmustsolveChinesetextsegmentation.PartTwo:QuestionandpresentsituationofthestudyNowweus