中文分詞在企業(yè)互聯(lián)網(wǎng)網(wǎng)站文字過(guò)濾上的應(yīng)用.pdf

1、互聯(lián)網(wǎng)信息監(jiān)管是當(dāng)代世界各國(guó)都在重點(diǎn)研究解決的問(wèn)題之一，文字信息是互聯(lián)網(wǎng)信息傳播的最主要形式，如何有效地把互聯(lián)網(wǎng)文字信息管理起來(lái)，也就成為當(dāng)前熱門(mén)的一個(gè)研究方向。本文在互聯(lián)網(wǎng)文字過(guò)濾方面設(shè)計(jì)了一種基于中文分詞技術(shù)的文字過(guò)濾系統(tǒng)（The Word Filtration System Based on Chinese Word Segmentation），并成功應(yīng)用于某企業(yè)網(wǎng)站，取得了良好的效果。
　　 這種方法與傳統(tǒng)單純基于關(guān)鍵詞

2、過(guò)濾的文字過(guò)濾系統(tǒng)不同，充分考慮了文章的整體性，從全文角度出發(fā)，有效避免了傳統(tǒng)過(guò)濾器的幾個(gè)主要缺陷：一是傳統(tǒng)方法識(shí)別關(guān)鍵詞時(shí)存在較大的片面性，因?yàn)槲床捎梅衷~而是簡(jiǎn)單的識(shí)別字符串，導(dǎo)致大量誤判發(fā)生，而全文分詞的方式有效地解決了這一問(wèn)題；二是基于全文分析對(duì)文字進(jìn)行識(shí)別過(guò)濾，改變傳統(tǒng)“不合格不通過(guò)”機(jī)制為“合格通過(guò)”，使常見(jiàn)用于逃避過(guò)濾的變形詞、錯(cuò)別字的問(wèn)題得以有效解決；三是傳統(tǒng)關(guān)鍵字過(guò)濾器從根源上的弊端是脫離上下文環(huán)境進(jìn)行判斷，審核結(jié)果是絕

3、對(duì)化的，這與現(xiàn)實(shí)中文字表達(dá)并不一致，應(yīng)用分詞技術(shù)后我們可以對(duì)文章進(jìn)行全文分詞處理，然后根據(jù)在文章中詞的褒貶性、敏感性等特征判斷文章是否合格，使審核過(guò)濾增加了一定的“彈性”能力，具有更強(qiáng)的實(shí)用性。
　　 另外，本文提出的通過(guò)互聯(lián)網(wǎng)學(xué)習(xí)新詞，也為解決中文分詞技術(shù)中新詞識(shí)別問(wèn)題提供了一個(gè)有效方案和研究思路。
　　 本文創(chuàng)新工作如下：
　　 1.針對(duì)當(dāng)前互聯(lián)網(wǎng)文字過(guò)濾的業(yè)務(wù)特點(diǎn)，提出一個(gè)基于中文分詞的通用領(lǐng)域模型。以互聯(lián)