基于遺傳算法的網(wǎng)絡(luò)信息過濾模型研究.pdf

1、 近年來，隨著以因特網(wǎng)為主體的信息高速公路不斷普及和發(fā)展，信息技術(shù)已經(jīng)滲透到我們社會生活的每個角落，它正在以前所未有的速度和能力改變著我們的生活和工作方式，因特網(wǎng)上的數(shù)據(jù)與信息也以前所未有的速度劇烈膨脹，Internet成為當(dāng)今世界上最大的分布式數(shù)據(jù)庫，我們已經(jīng)進入了一個“信息爆炸”的時代。信息增長帶來了雙面的效應(yīng)。一方面，用戶可以從因特網(wǎng)上獲取豐富的、最新的信息，從而在學(xué)習(xí)、消遣的過程中充實自己、提升自己；另一方面，由于因特網(wǎng)信

2、息的開放性、個人化，一些不法分子利用計算機網(wǎng)絡(luò)復(fù)制、傳播和查閱一些色情的、種族主義的、暴力的、封建迷信或有明顯意識形態(tài)傾向的信息，這些信息對社會的危害極大。如何過濾掉與自己需求無關(guān)的信息，快速準(zhǔn)確的獲得所需信息并免受非法信息侵?jǐn)_，已經(jīng)成為當(dāng)前互聯(lián)網(wǎng)發(fā)展研究的一個重點。 本文主要研究網(wǎng)絡(luò)信息過濾問題，內(nèi)容涵蓋了網(wǎng)絡(luò)信息過濾的各個處理階段，圍繞信息過濾模型的查全率和查準(zhǔn)率兩個主要技術(shù)指標(biāo)，在如下幾個方面進行了研究和探討： 1

3、、對網(wǎng)絡(luò)信息過濾的研究背景和研究現(xiàn)狀做了分析，闡明了信息過濾同信息檢索的關(guān)系，指出了信息過濾效果的評價指標(biāo)。本文首先對網(wǎng)絡(luò)信息過濾的研究背景和研究現(xiàn)狀進行了分析，指出國內(nèi)外有關(guān)信息過濾的研究目前以核心算法為主，算法研究集中在特征抽取與過濾算法。特征抽取的目的在于使用最少的特征表示出文檔的含義。算法研究主要有兩個趨勢：第一個趨勢是傳統(tǒng)的關(guān)鍵詞匹配方法逐漸的被較復(fù)雜地自然語言處理技術(shù)所取代。第二個趨勢是用戶模型的手動輸入逐漸的被自動的機器學(xué)

4、習(xí)所取代。其次指出信息過濾與信息檢索如同硬幣的正反面一樣，既有區(qū)別，又有聯(lián)系。最后對信息過濾效果的兩個評價指標(biāo)查全率和查準(zhǔn)率做了研究，并指出了二者的相互關(guān)系。 2、對網(wǎng)絡(luò)信息過濾的關(guān)鍵技術(shù)進行了分析比較。對中文自動分詞進行了研究探討，對基于詞典的分詞算法和無詞典的分詞算法進行了介紹，研究發(fā)現(xiàn)基于詞典的分詞算法的分詞效果優(yōu)于無詞典的分詞算法。對常用的特征提取方法文檔頻率(DF)、信息收益(IG)、互信息(MI)、開方擬合檢驗(CH

5、I)、術(shù)語強度(TS)，進行了研究，指出其提取效率的高低為CHI＞MI＞DF＞TS＞IG，并闡明綜合運用多種特征提取方法才能得到較好的提取效果。對常用的文本表示模型布爾邏輯模型、向量空間模型、概率推理模型進行了分析，并闡明上述模型的優(yōu)缺點。對常用的文本分類算法Rocchio方法、K-元最近鄰居方法以及Na(i)veBayesian方法進行了研究，通過實驗發(fā)現(xiàn)在采用向量空間的文本表示模型中，Rocchio方法具有較好的分類效果。

6、3、提出了基于遺傳算法的網(wǎng)絡(luò)信息過濾模型。基于遺傳算法的網(wǎng)絡(luò)信息過濾模型與傳統(tǒng)的信息過濾模型相比較，主要有以下創(chuàng)新點：第一，提出了用戶興趣模型的遺傳校正算法。第二，對傳統(tǒng)的用戶興趣模型與待過濾文檔的匹配算法了進行了研究改進，提出了一種新的匹配算法。第三，提出了利用相關(guān)度反饋技術(shù)修改用戶興趣文件的迭代算法。最后對四種網(wǎng)絡(luò)信息過濾模型布爾邏輯模型、向量空間模型、概率推理模型和基于遺傳算法的模型進行了實驗?zāi)M，實驗結(jié)果說明基于遺傳算法的信息過

7、濾模型和傳統(tǒng)的信息過濾模型相比在查準(zhǔn)率和查全率方面都有了明顯的提高。 4、設(shè)計實現(xiàn)了基于遺傳算法的網(wǎng)絡(luò)信息過濾系統(tǒng)。該系統(tǒng)主要由Profile的生成模塊、Profile的重建模塊、數(shù)據(jù)包捕獲模塊、網(wǎng)絡(luò)協(xié)議分析模塊、過濾模塊五個模塊組成。從適當(dāng)?shù)臏p小分類特征向量的長度、減少系統(tǒng)捕獲的原始數(shù)據(jù)包的數(shù)量、減小進行文本匹配的文本信息的長度三個方面對其進行了性能優(yōu)化。網(wǎng)絡(luò)信息過濾系統(tǒng)作為一個單獨的監(jiān)視節(jié)點或者作為網(wǎng)關(guān)軟件的一部分，具有較高