Web挖掘與搜索智能研究.pdf

1、近幾年來，隨著互聯(lián)網(wǎng)技術(shù)的快速發(fā)展，Web數(shù)據(jù)正以驚人的速度增長(zhǎng)，人類已經(jīng)進(jìn)入了一個(gè)信息爆炸的數(shù)據(jù)時(shí)代。面對(duì)日益增長(zhǎng)的Web數(shù)據(jù)，如何高效快速地從海量的數(shù)據(jù)中獲取有價(jià)值的信息和模式，正成為互聯(lián)網(wǎng)發(fā)展的迫切需要。由于Web數(shù)據(jù)具有異構(gòu)性、半結(jié)構(gòu)化、實(shí)時(shí)性以及海量等特性，傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)很難適用于Web數(shù)據(jù)。缺乏有效的Web挖掘與搜索方法，導(dǎo)致人們雖淹沒在數(shù)據(jù)的海洋中卻依舊信息匱乏。因此，為了能夠快速、方便、準(zhǔn)確地從大數(shù)據(jù)海洋中搜索并挖掘

2、到人們所需要的信息，從文本內(nèi)容、鏈接結(jié)構(gòu)及用戶瀏覽角度，將Web數(shù)據(jù)的特性與傳統(tǒng)數(shù)據(jù)挖掘的技術(shù)相結(jié)合，對(duì)Web挖掘與搜索領(lǐng)域中的搜索結(jié)構(gòu)排序、用戶點(diǎn)擊、文本分類和聚類等方面進(jìn)行了研究，所獲得的結(jié)論及相關(guān)的研究工作如下：
　?。?）闡述了Web挖掘與搜索所涉及到的一些基礎(chǔ)理論知識(shí)，對(duì)Web挖掘與搜索所涉及到的一些算法進(jìn)行了簡(jiǎn)單的介紹。
　?。?）將樸素貝葉斯分類器應(yīng)用于用戶點(diǎn)擊分析，得到用戶在執(zhí)行各種查詢時(shí)對(duì)各個(gè)URL的偏愛概

3、率，改進(jìn)了純粹的基于索引的搜索。結(jié)合索引、PageRank算法和用戶點(diǎn)擊技術(shù)，利用互聯(lián)網(wǎng)的結(jié)構(gòu)和用戶點(diǎn)擊特性來改進(jìn)搜索結(jié)果。通過實(shí)驗(yàn)表明，新的方案能夠根據(jù)用戶點(diǎn)擊的模式，分析用戶與搜索引擎的交互行為發(fā)現(xiàn)用戶的興趣和主觀目的，找到用戶每次查詢時(shí)最符合其需求的鏈接，為不同的搜索用戶提供不同的搜索結(jié)果，從而實(shí)現(xiàn)搜索結(jié)果的個(gè)性化。
　?。?）提出了一種新的DocumentRank算法，用于處理類似Word或PDF這樣無鏈接結(jié)構(gòu)的文檔排序。

4、DocumentRank算法利用Lucene技術(shù)得到文本的分詞結(jié)果以及每個(gè)詞匯出現(xiàn)的頻率，根據(jù)詞匯在文檔之間出現(xiàn)的頻率比值來構(gòu)建衡量文檔重要性的矩陣。在實(shí)驗(yàn)中，采集上百篇Word文檔進(jìn)行測(cè)試，文檔搜索的實(shí)驗(yàn)結(jié)果表明，相比索引技術(shù)，DocumentRank算法在查詢精確度上有了較大的提高，提升了搜索引擎的可信度，而且該算法只需要計(jì)算一次，得到的結(jié)果就能反復(fù)使用。
　?。?）基于貝葉斯概率分類器的思想，對(duì)ROCK聚類算法作了改進(jìn)。通過