基于內(nèi)容的網(wǎng)絡(luò)不良文本信息過濾若干關(guān)鍵技術(shù)研究.pdf

1、圍繞著網(wǎng)絡(luò)不良文本的信息過濾,作者在以下幾個方面深入展開了自己的工作:第一、網(wǎng)頁文本的文本表達雖然可以使用傳統(tǒng)(普通)文本的表達方法,但是它并不完全等同于傳統(tǒng)文本.對于處理網(wǎng)頁信息而言,如何得到網(wǎng)頁正文是預(yù)處理的第一步.論文針對這一目的,提出了對Web網(wǎng)頁文本去噪得到正文處理的相應(yīng)算法.第二、文本特征有很多,例如文件的名稱、大小、日期、類型、主題、類別、詞等.這些特征或者由信息的生成者提供,或者可以從文本內(nèi)容中自動抽取.研究抽取算法和開

2、發(fā)抽取程序的研究者和開發(fā)者很多,所開發(fā)系統(tǒng)的輸出都有著各式各樣的規(guī)定.這給使用這些特征抽取程序進行后續(xù)信息處理的系統(tǒng)開發(fā)帶來了很多麻煩.針對這個問題,論文提出了一個層次清晰、易于擴展的XML統(tǒng)一文本自動處理描述接口(UTRAP)規(guī)范.應(yīng)用它,系統(tǒng)能使用統(tǒng)一的規(guī)范對文本的特征進行描述,對各種各樣的特征進行統(tǒng)一的處理.該規(guī)范不僅僅是信息處理系統(tǒng)中的一個統(tǒng)一接口,還可以在開放式的文本處理大平臺中有所作為.第三、已有的匹配算法在處理中文字符時性

3、能欠佳,并存在不能良好的同時處理中英文信息、不能對中文字符進行有效的排序等等缺點.論文提出了一種面向中文的匹配算法——CDSA算法,并通過實驗驗證了該算法在克服已有算法不足的同時,并不影響算法的效率和空間復(fù)雜度.第四,應(yīng)用我們提出的"基于字同現(xiàn)頻率的文本主題抽取算法",論文創(chuàng)新性地討論了基于主題(Topic)抽取的文本過濾.該算法根據(jù)關(guān)鍵詞在主題的分布情況、以及在非主題中的分布情況分別給予關(guān)鍵詞不同大小的權(quán)重,從而實現(xiàn)有針對性的過濾,尤

4、其在色情文本過濾應(yīng)用中,具有很高的精度.第五、基于特征字串匹配(關(guān)鍵詞匹配)的文本過濾技術(shù)是當前基于內(nèi)容文本過濾的技術(shù)主流,它的優(yōu)點是突出的:簡便、快速和較高的查全率;但它的缺點也是鮮明的:只能保證較低的準確率.論文通過試驗,研究并指出了特征字串匹配過濾的優(yōu)缺點存在的本質(zhì)原因.第六、論文提出了一個基于內(nèi)容的安全過濾系統(tǒng)系統(tǒng)模型,并詳細討論了其中的基于臨近類別分類的過濾模型.針對色情樣本,使用KNN、Bayes等算法分別對基于臨近類別分類