搜索引擎系統(tǒng)中Web挖掘技術(shù)研究.pdf

1、信息檢索(Information Retrieval，IR)是從數(shù)據(jù)集中提取相關(guān)文檔和信息的過程，而Web的出現(xiàn)改變了人們進(jìn)行信息檢索的方式，信息檢索的對(duì)象也從結(jié)構(gòu)化的數(shù)據(jù)轉(zhuǎn)向半結(jié)構(gòu)、無結(jié)構(gòu)化的數(shù)據(jù)。隨著Web上數(shù)據(jù)的不斷增加以及人們對(duì)查詢質(zhì)量的要求不斷提高，傳統(tǒng)的Web檢索技術(shù)已經(jīng)很難滿足高質(zhì)量的檢索任務(wù)。Web挖掘技術(shù)是解決目前數(shù)據(jù)管理和知識(shí)發(fā)現(xiàn)等問題的有效方法，對(duì)于搜索引擎來說，Web挖掘技術(shù)對(duì)第三代搜索引擎的發(fā)展起著重要的作用，

2、同時(shí)也促進(jìn)網(wǎng)絡(luò)信息獲取技術(shù)向高精度、智能化方向發(fā)展。 針對(duì)目前Web信息檢索中存在的問題，本文把智能挖掘算法有機(jī)的結(jié)合到搜索引擎中，提出了若干改進(jìn)Web搜索引擎檢索質(zhì)量和效率的Web挖掘算法，并取得滿意的結(jié)果。在對(duì)半結(jié)構(gòu)化文檔分析的基礎(chǔ)上，提出了用概念索引的方法進(jìn)行Web的全文索引并介紹了概念索引模型和相關(guān)算法，用來對(duì)全文索引降維并提高索引質(zhì)量。它有效的去除了無效詞匯，減少了文本矢量維數(shù)，提高查詢匹配度。另外，我們還運(yùn)用指紋摘要

3、方法，對(duì)概念索引進(jìn)行“消重”處理，有效的減少了重復(fù)的概念索引帶來的冗余。 本文還對(duì)文本分類模型進(jìn)行了論述，詳細(xì)描述了它設(shè)計(jì)的各項(xiàng)技術(shù)，包括自動(dòng)分詞、特征選擇、文本計(jì)算模型、識(shí)別算法等。接著對(duì)統(tǒng)計(jì)學(xué)理論進(jìn)行了介紹，深入探討了建立在該理論基礎(chǔ)上的SVM算法。最后講述SVM應(yīng)用于文本分類的優(yōu)勢(shì)和普遍面臨的問題。針對(duì)新問題，本文研究了已有的主動(dòng)學(xué)習(xí)方法并對(duì)其進(jìn)行改進(jìn)，提出了一種新的主動(dòng)學(xué)習(xí)算法，很好的解決了小規(guī)模標(biāo)注樣本集的分類問題。該