cns14366中文分詞標準與分詞的實際操作

1、CNS14366中文分詞原則,中央研究院語言學研究所籌備處黃居仁,CNS14366中文分詞原則綱要,制訂的過程設計指導原則基本架構細部內(nèi)容資料取得參考文獻,CNS14366中文分詞原則制訂的過程,1991中華民國計算語言學會（ROCLING）初步訂定學會共用的分詞原則1995及1997 ROCLING接受中央標準局委託，進行分詞規(guī)範的研擬（由中研院執(zhí)行）1998分詞規(guī)範公聽會1999 中文分詞原則正式通過為國家

2、標準，編號CNS14366,CNS14366的設計指導原則,符合語言學理論之要求： 不受時、空、主題等影響的定義在資訊處理上確實可行： 可以自動並有效執(zhí)行的運算法確保實際文本資料之一致性： 可以實際遵奉實行的標準才是真標準,詞界的變異與分詞標準,詞的界限隨著詞彙變遷移動 -人馬由並列結構（人員與馬匹）到複合詞（國王的「人馬」）是時間軸上語言演變的結果 -個別詞與詞界的定義隨著時間，地域，主題領域等因素改變

3、-如何同時照顧到詞的多重變異因素，又同時維持穩(wěn)定的標準與原則？,分詞的變與不變,不變的定義與原則語言學理論上詞的定義由定義推導出的分詞原則分詞輔助原則規(guī)定了由不變到變之間的可能關係詞彙庫與參考語料庫隨著時間，地域，主題領域等參數(shù)改變 --->語言座標,中文分詞原則的基本架構,分詞單位之定義：具有獨立意義，且扮演固定詞類的字串視為一分詞單位分詞原則 基本原則（不變的最高指導原則） 輔助原則（富彈性，可依時代的演變

4、、不同文本等有所增減）分詞規(guī)範層次的劃分 分成信級、達級、雅級等三個層次處理,分詞規(guī)範之基本原則,語意無法由組合成分直接相加而得到之字串應該合為一分詞單位【合併原則】 例子：撞期；上下課詞類無法由組合成分直接得到，應該合為一分詞單位【合併原則】 例子：好喝；游水,分詞規(guī)範之輔助原則（上）,有明顯分隔標記應該切分之【切分原則】 例子：洗了一個澡附著語素盡量和前後詞合為一個分詞單位【合併原則】 例子：救生員

5、；現(xiàn)代化使用頻率高或共現(xiàn)率高的字串盡量視為一個分詞單位【合併原則】 例子：大笑；男女,分詞規(guī)範之輔助原則（下）,雙音節(jié)結構之偏正式動詞盡量視為一個分詞單位【合併原則】 例子：組建；緊追雙音節(jié)加單音節(jié)之偏正式名詞盡量視為一個分詞單位【合併原則】 例子：捷運線；監(jiān)護權；垃圾車內(nèi)部結構複雜之詞盡量切分之【切分原則】 例子：太空 計畫 室；看 清楚,分詞規(guī)範之層次劃分,如何由網(wǎng)路取得中文分詞原則相關資料,標準內(nèi)

6、容godel.iis.sinica.edu.tw/ROCLING/juhuashu1.htm標準分詞語料庫（兩百萬詞，分詞完畢）與詞彙庫 (42,138 詞，含頻率)godel.iis.sinica.edu.tw/ROCLING/corpus98/corpus_cf.ht 分詞程式godel.iis.sinica.edu.tw/CKIP/ws/,參考文獻,Huang, Chu-Ren, Keh-jiann Chen, and

7、Lili Chang. Segmentation Standard for Chinese Natural Language Processing. Computational Linguistics and Chinese Language Processing. 2.2.47-62.黃居仁，陳克健，陳鳳儀，魏文貞，張麗麗. 1997. Design Criteria and Content of `Segmentation Sta

8、ndard for Chinese Information Processing.'(In Chinese) 語言文字應用. 1997.1.92-100.Huang, Chu-Ren, Zhao-ming Gao, Claude C.C. Shen, and Keh-jian Chen. 1998. Quantitative Criteria for Computational Chinese Lexicography: A

9、Study based on a Standard Reference Lexicon for Chinese NLP. Proceedings of ROCLING XI. 87-108.Huang, Chu-Ren, Keh-Jiann Chen, and Lili Chang. 1996. Segmentation Standard for Chinese Natural Language Processing. Proceed

10、ings of the 16th International Conference on Computational Linguistics. Copenhagen, Denmark. Aug. 5-9. 1996.詞庫小組。1996。「搜」文解字—中文詞界研究與資訊用分詞標準技術報告no. 96-01。,中文分詞困難,附著語素與前後詞合為分詞單位的適用範圍：附著語素的判斷存在困難有關偏正式結合的規(guī)定1.衍生性接頭詞、接尾詞之詞集