基于膜計算優(yōu)化算法的語義主題爬蟲研究.pdf

1、主題爬蟲有選擇性地采集互聯(lián)網(wǎng)中網(wǎng)頁資源，這些網(wǎng)頁資源都必須是用戶所給定主題相關(guān)的，即網(wǎng)頁內(nèi)容是用戶所感興趣的。在經(jīng)典主題爬蟲中，如果文檔詞項集與主題詞項集沒有相同詞項，此主題爬蟲就判定此文檔與主題不相關(guān)，即相關(guān)度為0，而一般的語義主題爬蟲能夠合理地獲取此文檔與主題的相關(guān)度。然而，這些語義主題爬蟲仍然存在諸多問題：錨文本的主題相關(guān)度帶有局部性、未訪問URLs優(yōu)先值考慮因素不全面、文檔的主題相關(guān)度計算模型存在瑕疵、未訪問URLs優(yōu)先值算式的

2、加權(quán)因子的確定帶有隨意性。
　　為解決上述問題，本文主要研究工作如下：
　　(1)本文提出語義相似度向量空間模型(SSVSM)，SSVSM用于計算文檔和主題的相似度。SSVSM主要構(gòu)建文檔語義向量與主題語義向量，此兩語義向量都對應(yīng)到同一語義空間中，即此兩語義向量都是同一雙詞項集并且兩語義向量有相同的維數(shù)，再將兩個語義向量的余弦值(內(nèi)積)作為此文檔與主題的相似度。
　　(2)本文提出將細胞型膜計算優(yōu)化算法(CMCOA)應(yīng)

3、用到主題爬蟲中，CMCOA用于優(yōu)化未訪問URLs優(yōu)先值算式的加權(quán)因子。在主題爬蟲中，CMCOA首先將所有加權(quán)因子所構(gòu)成的向量當作每個膜內(nèi)一個對象。然后，通過每個膜的交流規(guī)則與進化規(guī)則選出最優(yōu)的對象，即對應(yīng)的訓練URLs的主題相關(guān)度的訓練值與估算值的均方根誤差最小。最后，將此最優(yōu)對象所對應(yīng)的加權(quán)因子作為未訪問URLs優(yōu)先值算式的最優(yōu)加權(quán)因子。
　　(3)本文提出基于語義理解與智能學習的主題爬蟲。此爬行策略主要將網(wǎng)頁全文本、鏈接錨文本