基于個性化搜索的網(wǎng)頁特征提取相關(guān)技術(shù)的研究.pdf

1、隨著網(wǎng)絡(luò)信息量成爆炸式地增長，人們要在信息海洋中找尋自己需要的信息是十分困難的。這些信息大多數(shù)是以網(wǎng)頁文本的形式存放的，它們種類繁雜，缺乏組織，現(xiàn)有的以搜索引擎為代表的網(wǎng)絡(luò)信息系統(tǒng)難以為每個用戶都提供滿意的服務(wù)。如何將搜集的信息資源合理組織，如何從大量的信息中，針對用戶不同的興趣需求，返回用戶真正需要的信息，從而實現(xiàn)個性化搜索，成為目前研究的重要課題。所謂個性化搜索指的是通過收集和分析用戶信息來學(xué)習(xí)用戶的興趣和行為，從而實現(xiàn)主動推薦的目

2、的搜索。
　　為了準(zhǔn)確地表示用戶興趣，應(yīng)該對用戶訪問過并且感興趣的網(wǎng)頁特征進行準(zhǔn)確地描述。即希望能用簡潔而有代表性的特征描述網(wǎng)頁內(nèi)容。因此，對于網(wǎng)頁信息描述的準(zhǔn)確與否將直接影響用戶興趣描述的準(zhǔn)確與否，這是個性化服務(wù)的核心問題。然而，對于網(wǎng)頁信息的描述方法卻很少有人系統(tǒng)地研究，本文針對網(wǎng)頁特征的描述方法進行了探討，主要進行了以下三個方面的研究工作：
　?、倩谟脩襞d趣的網(wǎng)頁正文的提取。目前網(wǎng)頁的形式多種多樣，包含了大量與網(wǎng)頁主

3、題無關(guān)的內(nèi)容，如廣告、圖片、無關(guān)鏈接等，這些與網(wǎng)頁主題無關(guān)的內(nèi)容會嚴重影響搜索引擎等Web服務(wù)的效果。本文通過對網(wǎng)頁HTML的語法分析，在基于HTML元素的網(wǎng)頁正文提取算法基礎(chǔ)上，基于啟發(fā)式規(guī)則對網(wǎng)頁正文提取方法進行了改進，得到了基于超鏈接到無網(wǎng)頁正文提取算法，測試結(jié)果表明這種方法能有效地得到大部分HTML網(wǎng)頁的正文部分。
　　②基于興趣詞典的網(wǎng)頁分詞技術(shù)。傳統(tǒng)的機械分詞的詞典數(shù)據(jù)量龐大，分詞系統(tǒng)的負荷很大。針對網(wǎng)絡(luò)用戶的興趣不同

4、，本文利用興趣詞典這一新概念，通過對不同用戶瀏覽過的網(wǎng)頁集進行分詞處理，分別為每個用戶建立不同的興趣詞典。該詞典存放于客戶端，從而將網(wǎng)頁關(guān)鍵詞提取的工作由服務(wù)器端轉(zhuǎn)移到客戶端，節(jié)省了系統(tǒng)開支，并且通過實驗表明基于用戶興趣詞典的網(wǎng)頁關(guān)鍵詞提取在保持分詞精度的同時可以增強系統(tǒng)的實時性，降低了網(wǎng)頁描述的維度。
　　③本文以矢量空間模型為Web文本的表示方法，在網(wǎng)頁標(biāo)簽分析的基礎(chǔ)上，在網(wǎng)頁描述時結(jié)合了網(wǎng)頁正文中“多詞長句”特征，對常用的詞