模糊遺傳算法及其在網(wǎng)絡(luò)信息過濾系統(tǒng)中的應(yīng)用研究.pdf

1、隨著網(wǎng)絡(luò)信息數(shù)量在互聯(lián)網(wǎng)上日益龐大，對于網(wǎng)絡(luò)信息質(zhì)量的要求也越來越高，越來越多探索網(wǎng)絡(luò)信息過濾的新技術(shù)正在逐步的發(fā)展中，由于網(wǎng)絡(luò)信息動態(tài)性極強(qiáng)，而這些動態(tài)性主要表現(xiàn)在網(wǎng)頁內(nèi)容的增減和鏈接地址的動態(tài)變化上，因此網(wǎng)絡(luò)信息內(nèi)容過濾主要針對網(wǎng)頁上的動態(tài)信息流，在處理大量的冗余信息數(shù)據(jù)時，還要滿足用戶對動態(tài)信息的需求量，過濾用戶不感興趣的信息，網(wǎng)絡(luò)信息過濾系統(tǒng)就是從動態(tài)的數(shù)據(jù)流中收集或去掉某些文本信息。開發(fā)出一種網(wǎng)絡(luò)信息過濾系統(tǒng)其目的主要在于過濾

2、網(wǎng)絡(luò)上的不良信息，這是其過濾系統(tǒng)的主要功能，過濾內(nèi)容主要體現(xiàn)在色情、暴力、犯罪等不良信息。
　　在本課題中，根據(jù)基于傳統(tǒng)遺傳算法的網(wǎng)絡(luò)信息過濾系統(tǒng)中提出了一種新的算法，即模糊遺傳算法。模糊遺傳算法是根據(jù)網(wǎng)絡(luò)信息過濾系統(tǒng)中存在的不確定因素，包括參數(shù)，權(quán)重等因素的調(diào)整，在傳統(tǒng)遺傳算法優(yōu)化的基礎(chǔ)上，分析文檔訓(xùn)練集的特點，提高文本分類的性能，加入模糊方法調(diào)整參數(shù)值和權(quán)重，使得這些因素能夠隨著系統(tǒng)環(huán)境的變化而變化，模糊遺傳算法研究理論具體體

3、現(xiàn)在以下四個方面:
　　1、充分分析網(wǎng)絡(luò)信息過濾模型
　　網(wǎng)絡(luò)信息過濾系統(tǒng)結(jié)構(gòu)主要體現(xiàn)在數(shù)據(jù)包捕獲、特征選擇、優(yōu)化算法、分類算法上，對該系統(tǒng)每一部分的關(guān)鍵技術(shù)進(jìn)行理論分析，分析其優(yōu)缺點，提出改進(jìn)方法，充分提高網(wǎng)絡(luò)信息過濾效果。
　　2、文檔訓(xùn)練集處理技術(shù)
　　在以往對文檔集的處理上，通常是將語料中的訓(xùn)練文本平等對待，沒有考慮到各個文本所起的不同作用，為改進(jìn)這些缺陷，在本課題中，將重點考慮訓(xùn)練文本對于分類所起的不同

4、作用，根據(jù)文檔重要性將文本區(qū)別對待。對于訓(xùn)練文檔的處理主要體現(xiàn)在劃分文本段落和設(shè)置文檔權(quán)重。文本段落的劃分主要包括將文本分為首段、中間段、尾段，及其不同段落的結(jié)合，針對每一部分段落在文本中所起的作用不同，選出重要的段落參與訓(xùn)練。由實驗得出將首尾段結(jié)合在一起要比單獨的段落分類效果要好。利用段落訓(xùn)練來代替整篇文本的訓(xùn)練，這不僅大大減輕了時間復(fù)雜度，而且也減輕了系統(tǒng)負(fù)擔(dān)，提高了系統(tǒng)運(yùn)行效率。
　　在大規(guī)模的語料文檔中，每部分文檔所含的內(nèi)

5、容不同，在分類中所起的作用也是不同的，即將其稱為文檔的重要性，在本課題研究工作之一就是文檔的重要程度，即文檔權(quán)重，利用模糊計算方法應(yīng)用到本系統(tǒng)中，根據(jù)不同的類別語料文本結(jié)合分類效果模糊調(diào)整文檔權(quán)值，以使其重要的文檔能夠得到充分的應(yīng)用，進(jìn)一步提高訓(xùn)練語料文檔的質(zhì)量。
　　3、遺傳算法參數(shù)調(diào)整
　　遺傳算法中涉及到的參數(shù)主要包括種群大小，選擇概率、交叉概率及變異概率的設(shè)定，進(jìn)化代數(shù)的設(shè)定等。這些參數(shù)對遺傳優(yōu)化的質(zhì)量有很大的影響，

6、而在以往的遺傳算法參數(shù)設(shè)置上都是預(yù)先設(shè)置的固定值，這些值不能隨著遺傳環(huán)境的改變而改變，因此，為改進(jìn)這些參數(shù)，在本課題中利用模糊調(diào)整方法合理設(shè)置這些參數(shù)值，主要體現(xiàn)在對交叉率和變異率根據(jù)遺傳搜索的不同環(huán)境下做出不同的調(diào)整，使其在遺傳算法優(yōu)化階段得到很好的利用，使遺傳算法優(yōu)化取得最優(yōu)解。
　　4、模糊調(diào)整特征項權(quán)重
　　文本特征項利用特征選擇方法計算其相應(yīng)權(quán)值，利用遺傳算法優(yōu)化訓(xùn)練特征項，選出最有意義的特征項，由于權(quán)值結(jié)果在很大