基于機(jī)械切分和標(biāo)注的中文分詞研究.pdf

1、計算技術(shù)和互聯(lián)網(wǎng)的發(fā)展使信息量呈指數(shù)級增長，人工的查找和分析已經(jīng)不能滿足應(yīng)用的要求。信息處理特別是自然語言處理變得日益重要。要進(jìn)行自然語言處理，就必須讓計算機(jī)“理解”人類的語言。“理解”的第一步就是進(jìn)行詞法分析，即分詞技術(shù)。將中文字符串切分成有意義的詞序列的過程即中文分詞過程。中文分詞是中文信息處理的基礎(chǔ)。 中文分詞的方法大致可以分為三類：機(jī)械分詞、統(tǒng)計分詞和語義分詞。機(jī)械分詞是一種重要的粗分方法，在很多領(lǐng)域得到應(yīng)用。作為統(tǒng)計分

2、詞方法的一種，近年提出的標(biāo)注方法在國際中文分詞評測中表現(xiàn)突出。 在此背景下，本文對機(jī)械切分和標(biāo)注方法進(jìn)行深入研究，并結(jié)合搜索引擎這個具體應(yīng)用，給出了一個同時采用機(jī)械分詞和標(biāo)注分詞的模型RMT（Reverse Matching and Matching and Tagging）。RMT在索引階段同時采用多種機(jī)械分詞方法，保留不同的分詞結(jié)果，分別建立索引；在搜索階段，由于用戶輸入的關(guān)鍵字較短，同時采用機(jī)械分詞和標(biāo)注分詞，這樣既保證了

3、能夠快速返回搜索結(jié)果，也可以有效的發(fā)現(xiàn)新詞并擴(kuò)充詞庫。RMT的機(jī)械分詞使用了一種先進(jìn)的詞典結(jié)構(gòu)，可以提高建立索引和進(jìn)行搜索引擎的速度。開發(fā)了一個基于Lucene的搜索引擎系統(tǒng)，按照模型RMT對該搜索引擎的分詞模塊進(jìn)行了改進(jìn)，測試結(jié)果表明，RMT模型適合用于搜索引擎。 標(biāo)注分詞中需要使用語料庫進(jìn)行機(jī)器學(xué)習(xí)，本文通過對機(jī)器學(xué)習(xí)模型的研究，在CRF++的基礎(chǔ)上對機(jī)器學(xué)習(xí)模型進(jìn)行優(yōu)化。優(yōu)化后的模型可以為字強(qiáng)制指定標(biāo)注，將訓(xùn)練好的二進(jìn)制模