基于進化模型的網(wǎng)絡(luò)信息過濾關(guān)鍵技術(shù)研究.pdf

1、隨著信息技術(shù)的發(fā)展和因特網(wǎng)的日益普及，網(wǎng)絡(luò)上的信息量急速倍增，廣大計算機用戶深受信息過載和信息污染的嚴重困擾。網(wǎng)絡(luò)信息過濾的出現(xiàn)與發(fā)展為人們快速、準確、全面地獲取信息指明了方向。網(wǎng)絡(luò)信息過濾技術(shù)是以一種系統(tǒng)化的方法，將用戶需求與動態(tài)信息流進行匹配計算，從信息流中抽取出符合用戶需求的信息并傳送給用戶。本文從過濾系統(tǒng)涉及的關(guān)鍵技術(shù)入手，所做的主要工作如下： 1.對當前主要的漢語分詞方法進行分析和研究，設(shè)計了一種簡單高效的分詞方法。

2、 考慮到中文自動分詞是信息過濾的基礎(chǔ)，分詞質(zhì)量的好壞直接影響過濾結(jié)果的優(yōu)劣。我們針對語言豐富，新詞量大且對速度有很高要求的網(wǎng)絡(luò)環(huán)境的實際需求，對當前主要的漢語分詞方法進行分析和研究，設(shè)計了一種簡單高效分詞方法。本方法最大特點是實現(xiàn)簡單，分詞速度快，且對新詞識別能力強。對研究和開發(fā)具有一定的實用價值的中文自動分詞系統(tǒng)具有一定的借鑒意義。 2.提出了一種用于大規(guī)模語料的類別權(quán)重計算方法和一種單Web文本權(quán)重計算方法。

3、針對目前很多系統(tǒng)不考慮特征的實際應(yīng)用和側(cè)重點，對特征權(quán)重不作區(qū)分計算的現(xiàn)狀，本文提出了一種用于大規(guī)模語料的類別權(quán)重計算方法和一種單Web文本權(quán)重計算方法。這兩種權(quán)重計算方法分別用在兩個不同的環(huán)節(jié)。在訓(xùn)練用戶模型時，面對的是整個數(shù)據(jù)集，特征的重要性是在整個文本數(shù)據(jù)集中的重要性，更側(cè)重于特征的類別區(qū)分能力，適用類別權(quán)重計算方法，本文充分挖掘特征的類別信息(詞頻、文檔頻率、類分布等)來構(gòu)造類別權(quán)重計算函數(shù)；流經(jīng)網(wǎng)絡(luò)的文檔流在某一時刻是單個文本

4、，更側(cè)重于文本內(nèi)容的表示能力，適用單Web文本權(quán)重計算方法，本文根據(jù)web文檔自身的特點，例如根據(jù)特征詞頻和文本結(jié)構(gòu)等特點構(gòu)造權(quán)重計算函數(shù)。 3.利用遺傳算法進化用戶模型時，對影響遺傳算法早熟收斂的交叉和變異算子進行了改進，根據(jù)進化過程采取自適應(yīng)交叉和變異概率，并引入基因擴展、增量遺傳等措施更新用戶模型，將用戶模型的獲取和更新融為一體。 目前，在用戶模型的研究上，大多數(shù)過濾系統(tǒng)把用戶模型的獲取和更新分離開來。本文對用戶模

5、型的表示、建立和更新環(huán)節(jié)進行了詳細的分析和研究，將用戶興趣模型的獲取和更新過程看作是一個學(xué)習(xí)一調(diào)整一再學(xué)習(xí)一再調(diào)整……不斷進化的過程，因而可以把用戶模型的建立和更新融入遺傳算法的進化機制，從而獲取高效準確的用戶模型。為了充分發(fā)揮遺傳算法的優(yōu)勢，避免傳統(tǒng)遺傳算法的缺陷，本文在應(yīng)用遺傳算法進化用戶模型時，對遺傳算法各個環(huán)節(jié)的實施策略進行了精心的設(shè)計和改進。主要對影響遺傳算法早熟收斂的交叉和變異算子進行了改進，綜合考慮群體的收斂狀態(tài)、個體適應(yīng)