基于鏈路層數據的中文信息智能過濾系統(tǒng)研究.pdf

1、通過對網上不良信息的格式，傳送形式及信息過濾技術的深入研究，分析了傳統(tǒng)過濾系統(tǒng)的弊端及在過濾系統(tǒng)中增加中文策略的可行性與必要性，實現了一個基于鏈路層數據的中文信息智能過濾系統(tǒng)。系統(tǒng)工作在數據鏈路層，對鏈路層數據進行拷貝式收集，經過包解碼，IP分片重組，TCP會話還原及應用層協(xié)議分析等操作，將信息還原成明文并轉換成文本形式?？紤]網上不良信息經常夾雜特定分隔符號的特點，采用改進的逆向最大匹配的中文分詞算法，并在分詞算法中引入了回溯機制和ф<

2、'2>統(tǒng)計量的方法部分解決了由于分詞詞庫不完備而出現的歧義和錯誤。將遺傳理論引入信息智能識別領域，使用向量空間模型表示文本信息，配合貝葉斯學習方法完成特征向量權重分配，將信息識別轉化為計算兩個特征向量的夾角，從而用純數學方法代替了人類特有的思維功能。使用用戶反饋參與遺傳演化的方法，使種群中每個個體都可以從用戶的每次反饋中進行自適應學習，可以較好地適應用戶興趣的變化，使傳統(tǒng)遺傳靜態(tài)演化變成了動態(tài)優(yōu)化。利用貝葉斯決策方法來決定未知類型的信息