基于點(diǎn)擊的用戶聚類的研究.pdf

1、隨著Internet上信息量飛速增長，搜索引擎已成為互聯(lián)網(wǎng)信息檢索必不可少的工具，但這并不能滿足人們對(duì)于個(gè)性化信息的檢索需求，于是基于用戶興趣的個(gè)性化搜索服務(wù)便成為了人們研究與開發(fā)的熱點(diǎn)。本文主要介紹了基于個(gè)性化檢索的語料庫建設(shè)。
　　本文首先分析了用于個(gè)性化信息檢索的自建語料庫的發(fā)展現(xiàn)狀，闡述了自建語料庫對(duì)于信息檢索研究的重要性。目前，由于多種原因，信息檢索語料獲取困難，大多數(shù)個(gè)性化信息檢索實(shí)驗(yàn)的數(shù)據(jù)規(guī)模較小，研究成果說服力不足

2、，從而使得建設(shè)大規(guī)模的語料庫對(duì)于信息檢索具有重要意義。對(duì)網(wǎng)上信息語料庫搜集的實(shí)現(xiàn)原理和關(guān)鍵技術(shù)進(jìn)行了討論和分析，介紹了基于Web的自動(dòng)獲取信息的原理及網(wǎng)絡(luò)爬蟲工具。較為詳實(shí)地闡述了網(wǎng)頁抓取技術(shù)，剖析了兩種抓取方式的實(shí)現(xiàn)原理以及相關(guān)應(yīng)用。具體介紹了Wget爬蟲工具的特點(diǎn)以及使用方法。
　　之后介紹聚類。聚類，是將一個(gè)數(shù)據(jù)單位的集合分割成幾個(gè)稱為類或類別的子集，每個(gè)類內(nèi)的對(duì)象之間是相似的。所謂用戶聚類就是指按照興趣自動(dòng)聚類用戶，形成興

3、趣相關(guān)的用戶群組。本文介紹了傳統(tǒng)用戶聚類的方法，通過用戶興趣模型對(duì)用戶進(jìn)行聚類，分析了傳統(tǒng)方法的不足，并提出了我們研究的基于點(diǎn)擊的用戶聚類技術(shù)，利用用戶的點(diǎn)擊記錄對(duì)用戶進(jìn)行聚類，而不是通過建立用戶興趣模型。
　　最后本文詳盡描述了基于搜狗語料庫的個(gè)性化檢索數(shù)據(jù)的采集過程，包括匹配過濾、網(wǎng)頁抓取、標(biāo)記日志、格式化處理等步驟。說明了實(shí)驗(yàn)中遇到的問題并就此提出了解決方案和關(guān)于進(jìn)一步改進(jìn)的想法。本文是在某知名公司提供的數(shù)據(jù)的基礎(chǔ)上進(jìn)行了系