中文信息處理中若干技術(shù)的研究與實(shí)現(xiàn).pdf

1、隨著Intenet迅猛發(fā)展，各種資源不斷增多。為了快速、高效的查找信息，信息處理以成為當(dāng)前重要的研究領(lǐng)域。 針對(duì)信息處理涉及的內(nèi)容，本文對(duì)中文信息處理中的若干關(guān)鍵技術(shù)進(jìn)行了研究，主要研究?jī)?nèi)容和貢獻(xiàn)如下： 實(shí)現(xiàn)了一種基于句法詞典的句法分析方法。通過把文法規(guī)則映射為特征詞，把句法分析轉(zhuǎn)換為利用特征詞生成句法判定樹，使概率方法和規(guī)則方法有效的結(jié)合在一起。在封閉的測(cè)試中，該方法獲得了89.40％的查全率，87.13％的查準(zhǔn)率。

2、 提出了一種利用樣本距離，改進(jìn)K-means聚類的方法，有效地避免了初始點(diǎn)的選擇所帶來的誤差，以及噪聲和孤立點(diǎn)的影響。 介紹了一種把多種語料庫存入字典結(jié)構(gòu)，以及使用此字典結(jié)構(gòu)的方法；對(duì)特征詞，使用多層hash存儲(chǔ)，結(jié)合最大向前匹配，實(shí)現(xiàn)了快速分詞算法，1G內(nèi)存下，分詞速度到2M/S；在實(shí)現(xiàn)基于隱馬爾可夫模型的詞性標(biāo)注同時(shí)，結(jié)合平滑算法，標(biāo)注正確率達(dá)到86％，排歧正確率達(dá)到82％；在實(shí)現(xiàn)基于KNN分類算法中，使用CHI統(tǒng)計(jì)方