基于WEB挖掘的聚類(lèi)搜索引擎研究.pdf

1、隨著互聯(lián)網(wǎng)的飛速發(fā)展,人們利用互聯(lián)網(wǎng)共享各種信息,使得網(wǎng)絡(luò)信息資源日趨豐富,搜索引擎正是為了解決這一問(wèn)題而發(fā)展起來(lái)的,而現(xiàn)在的搜索引擎存在明顯的缺陷:一是搜索引擎結(jié)果數(shù)量龐大,二是搜索結(jié)果線性排列,本文在現(xiàn)有搜索引擎各種技術(shù)研究的基礎(chǔ)上,對(duì)Web文檔聚類(lèi)進(jìn)一步研究,致力于搜索結(jié)果的自動(dòng)分類(lèi),從而使得用戶更加直觀高效地找到所需結(jié)果。
　　數(shù)據(jù)挖掘(Data Mining,DM)是指從大量不完全的、有噪聲的、模糊的、隨機(jī)的數(shù)據(jù)中,提取

2、隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識(shí)的過(guò)程。發(fā)展自統(tǒng)計(jì)學(xué)的聚類(lèi)分析作為數(shù)據(jù)挖掘的一項(xiàng)主要功能和任務(wù),成為數(shù)據(jù)挖掘中的一個(gè)重要的研究領(lǐng)域,至今已提出了大量的理論和方法,取得了豐碩的研究成果。其表現(xiàn)形式為概念(Concepts)、規(guī)則(Rules)、模式(Patterns)等形式。數(shù)據(jù)挖掘的功能包括發(fā)現(xiàn)概念類(lèi)描述、關(guān)聯(lián)規(guī)則、分類(lèi)和預(yù)測(cè)、聚類(lèi)、趨勢(shì)分析、偏差分析和類(lèi)似性分析。
　　如何從WEB包含的大量信息中發(fā)現(xiàn)固

3、有的模式和關(guān)聯(lián),成了人們迫切希望解決的問(wèn)題。將傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)與Web結(jié)合起來(lái),進(jìn)行Web挖掘就是一個(gè)途徑。Web挖掘是傳統(tǒng)數(shù)據(jù)挖掘技術(shù)在Web環(huán)境下的應(yīng)用,試圖從大量的Web文檔集合和用戶瀏覽Web的數(shù)據(jù)信息中發(fā)現(xiàn)未知的,有潛在應(yīng)用價(jià)值的模式。因此,顯而易見(jiàn)進(jìn)行基于Web挖掘的聚類(lèi)引擎研究有著十分重要的意義。
　　本論文的研究目的是在系統(tǒng)地回顧了互聯(lián)網(wǎng)信息檢索、數(shù)據(jù)挖掘、搜索引擎以及聚類(lèi)技術(shù)的應(yīng)用研究現(xiàn)狀基礎(chǔ)上,將搜索引擎的搜

4、索結(jié)果進(jìn)行聚類(lèi)處理,最后以結(jié)構(gòu)化的方式顯示給最終用戶。
　　本文的主要研究成果包括:
　　(1)對(duì)互聯(lián)網(wǎng)信息檢索、搜索引擎、數(shù)據(jù)挖掘及其聚類(lèi)的應(yīng)用研究現(xiàn)狀進(jìn)行分析和概述,從而指出基于Web挖掘的聚類(lèi)搜索引擎研究是一個(gè)具有重要意義的研究課題。
　　(2)本文根據(jù)Ming-Cheng Tseng中提出的confidence-lift模式,改進(jìn)Apriori算法在最大值約束條件下來(lái)找到最大頻繁項(xiàng)集。
　　(3)將文本聚