2023年全國碩士研究生考試考研英語一試題真題(含答案詳解+作文范文)_第1頁
已閱讀1頁,還剩54頁未讀, 繼續(xù)免費閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進行舉報或認領

文檔簡介

1、中文分詞技術(shù)主要包含以下三個研究方向:理解分詞,機械分詞以及統(tǒng)計分詞?;诶斫獾姆衷~方法研究尚未成熟,所以,絕大部分中文分詞系統(tǒng)是應用機械統(tǒng)計相結(jié)合的方法。在目前主流的詞典和統(tǒng)計相結(jié)合的分詞系統(tǒng)中,統(tǒng)計策略和詞典設計的關系往往是相互獨立的,詞典主要是作為機械分詞的標準,而基于統(tǒng)計的方法主要是為了解決歧義問題以及未登錄詞的識別問題。
   本文所闡述的中文分詞系統(tǒng),將基于分詞核心詞典的機械分詞和基于統(tǒng)計的方法組成了一個有機的整體。

2、系統(tǒng)將統(tǒng)計得出的結(jié)果作為分詞核心詞典的輸入,對于待切分文本來說,對于未登錄詞和詞典詞條,本文算法的本質(zhì)均是先基于統(tǒng)計的方法擴充核心詞典,然后采用基于字符串匹配的分詞方法切詞。
   總體上講,本系統(tǒng)具有以下三方面的特點。專用性:適合計算機學科專業(yè)領域的分詞,這主要取決于訓練文本的選擇;分詞效率高:算法核心是基于字符串匹配的方法:分詞精度較好:利用簡單統(tǒng)計量模型與機械分詞的有機結(jié)合解決了部分歧義詞和未登錄詞問題。
   解

3、決方案中涉及到的關鍵技術(shù)主要包括以下三個部分:
   第一、分詞詞典的設計。在整體結(jié)構(gòu)上,詞典分成兩級結(jié)構(gòu),臨時詞典和核心詞典。臨時詞典是通過統(tǒng)計方法將新詞條向分詞核心詞典中輸送的中間容器。核心詞典是分詞系統(tǒng)中切分的唯一依據(jù),為了提高查詢速度,結(jié)合中文二字詞比例較大的特點,核心詞典采用雙層哈希結(jié)構(gòu)。
   第二、統(tǒng)計策略的制定。歧義詞和新詞的識別主要依靠基于統(tǒng)計的方法,本文選擇了基于互信息原理的方法進行詞頻統(tǒng)計。該統(tǒng)計模

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 眾賞文庫僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負責。
  • 6. 下載文件中如有侵權(quán)或不適當內(nèi)容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

最新文檔

評論

0/150

提交評論