搜索引擎系統(tǒng)中Web挖掘技術(shù)研究.pdf

1、信息檢索(Information Retrieval，IR)是從數(shù)據(jù)集中提取相關(guān)文檔和信息的過程，而Web的出現(xiàn)改變了人們進行信息檢索的方式，信息檢索的對象也從結(jié)構(gòu)化的數(shù)據(jù)轉(zhuǎn)向半結(jié)構(gòu)、無結(jié)構(gòu)化的數(shù)據(jù)。隨著Web上數(shù)據(jù)的不斷增加以及人們對查詢質(zhì)量的要求不斷提高，傳統(tǒng)的Web檢索技術(shù)已經(jīng)很難滿足高質(zhì)量的檢索任務(wù)。Web挖掘技術(shù)是解決目前數(shù)據(jù)管理和知識發(fā)現(xiàn)等問題的有效方法，對于搜索引擎來說，Web挖掘技術(shù)對第三代搜索引擎的發(fā)展起著重要的作用，

2、同時也促進網(wǎng)絡(luò)信息獲取技術(shù)向高精度、智能化方向發(fā)展。 針對目前Web信息檢索中存在的問題，本文把智能挖掘算法有機的結(jié)合到搜索引擎中，提出了若干改進Web搜索引擎檢索質(zhì)量和效率的Web挖掘算法，并取得滿意的結(jié)果。在對半結(jié)構(gòu)化文檔分析的基礎(chǔ)上，提出了用概念索引的方法進行Web的全文索引并介紹了概念索引模型和相關(guān)算法，用來對全文索引降維并提高索引質(zhì)量。它有效的去除了無效詞匯，減少了文本矢量維數(shù)，提高查詢匹配度。另外，我們還運用指紋摘要

3、方法，對概念索引進行“消重”處理，有效的減少了重復(fù)的概念索引帶來的冗余。 本文還對文本分類模型進行了論述，詳細描述了它設(shè)計的各項技術(shù)，包括自動分詞、特征選擇、文本計算模型、識別算法等。接著對統(tǒng)計學(xué)理論進行了介紹，深入探討了建立在該理論基礎(chǔ)上的SVM算法。最后講述SVM應(yīng)用于文本分類的優(yōu)勢和普遍面臨的問題。針對新問題，本文研究了已有的主動學(xué)習(xí)方法并對其進行改進，提出了一種新的主動學(xué)習(xí)算法，很好的解決了小規(guī)模標注樣本集的分類問題。該