基于鏈路層數(shù)據(jù)的中文信息智能過濾系統(tǒng)研究.pdf

1、通過對網(wǎng)上不良信息的格式，傳送形式及信息過濾技術(shù)的深入研究，分析了傳統(tǒng)過濾系統(tǒng)的弊端及在過濾系統(tǒng)中增加中文策略的可行性與必要性，實現(xiàn)了一個基于鏈路層數(shù)據(jù)的中文信息智能過濾系統(tǒng)。系統(tǒng)工作在數(shù)據(jù)鏈路層，對鏈路層數(shù)據(jù)進行拷貝式收集，經(jīng)過包解碼，IP分片重組，TCP會話還原及應(yīng)用層協(xié)議分析等操作，將信息還原成明文并轉(zhuǎn)換成文本形式?？紤]網(wǎng)上不良信息經(jīng)常夾雜特定分隔符號的特點，采用改進的逆向最大匹配的中文分詞算法，并在分詞算法中引入了回溯機制和ф<

2、'2>統(tǒng)計量的方法部分解決了由于分詞詞庫不完備而出現(xiàn)的歧義和錯誤。將遺傳理論引入信息智能識別領(lǐng)域，使用向量空間模型表示文本信息，配合貝葉斯學習方法完成特征向量權(quán)重分配，將信息識別轉(zhuǎn)化為計算兩個特征向量的夾角，從而用純數(shù)學方法代替了人類特有的思維功能。使用用戶反饋參與遺傳演化的方法，使種群中每個個體都可以從用戶的每次反饋中進行自適應(yīng)學習，可以較好地適應(yīng)用戶興趣的變化，使傳統(tǒng)遺傳靜態(tài)演化變成了動態(tài)優(yōu)化。利用貝葉斯決策方法來決定未知類型的信息