SSBS中文分詞處理系統的研究.pdf

1、隨著信息技術的高速發(fā)展，中文信息處理在計算機各個領域得到了長足的發(fā)展，而中文分詞是中文信息處理的基礎所在，由于詞是連接句子與信息處理平臺的中間環(huán)節(jié)，因此中文分詞的處理結果直接影響到中文信息處理的準確性，成為制約中文信息處理平臺處理能力的瓶頸所在。
　　 本文對中文自動分詞處理技術的現狀，原理、流程，評價指標以及國內外發(fā)展狀況進行了一個綜述，對各種分詞算法進行了深入的學習和研究，在分析了目前的各種分詞算法的優(yōu)劣所在之后，提出了改進

2、思路。
　　 使用支持向量機與向量空間建立了新的CWSSBS模型，由于支持向量機具有在有限樣本的訓練下能夠建立一個復雜的分詞模型和實現較強的自我學習能力，而且使用倒排字典的方法來保證常用的，最新的未登錄新詞處于最優(yōu)先地位，因此所改進的CWSSBS自動學習未登錄新詞的能力得到了有效的提高。在支持向量機的作用下，字典具有自我學習的功能，從而使得本系統還具有較高的陌生環(huán)境適應性以及強壯的可移植性，并且在人工以及機器監(jiān)督機制的干預下能夠