基于用戶日志聚類的查詢擴(kuò)展.pdf

1、隨著Internet的發(fā)展，網(wǎng)絡(luò)信息量不斷增長(zhǎng)，通過(guò)搜索引擎獲取所需信息已經(jīng)成為用戶使用網(wǎng)絡(luò)的一個(gè)重要方面。研究表明，用戶使用查詢?cè)~的平均長(zhǎng)度為1.8個(gè)，長(zhǎng)度不超過(guò)3的查詢?cè)~占總查詢的93.15％，這比Craig Silberstein等人分析的英文查詢?cè)~的平均長(zhǎng)度2.35個(gè)更短，說(shuō)明在中文搜索引擎得到的用戶需求信息更少，需要對(duì)用戶查詢進(jìn)行特定處理，才能準(zhǔn)確返回檢索結(jié)果。
　　 查詢擴(kuò)展即利用計(jì)算語(yǔ)言學(xué)，信息處理等技術(shù)在原有查詢

2、的基礎(chǔ)上加入與用戶輸入的檢索詞相關(guān)聯(lián)的新詞，組成新的更長(zhǎng)、更準(zhǔn)確的查詢，修改后的查詢字段會(huì)發(fā)布給搜索引擎，這樣可以在一定程度上彌補(bǔ)用戶查詢信息不足的缺陷。它可以有效充分地挖掘用戶查詢意圖，從而提高信息檢索查全率和查準(zhǔn)率。
　　 本文首先提出了基于詞語(yǔ)物理距離的簡(jiǎn)單查詢擴(kuò)展方法，該方法簡(jiǎn)單易用，速度快可移植性高，有效利用文檔中詞語(yǔ)與原查詢?cè)~的距離構(gòu)造權(quán)值向量，但存在使用偽相關(guān)文檔和中文分詞中短語(yǔ)未識(shí)別的問(wèn)題。
　　 針對(duì)以

3、上問(wèn)題，本文提出基于用戶日志聚類的查詢擴(kuò)展方法，該算法通過(guò)對(duì)Sogou用戶日志的預(yù)處理和聚類得到輸入檢索詞對(duì)應(yīng)的查詢擴(kuò)展詞。它首先對(duì)用戶點(diǎn)擊相關(guān)網(wǎng)頁(yè)進(jìn)行可信度去噪，然后對(duì)網(wǎng)頁(yè)進(jìn)行預(yù)處理，得到標(biāo)題、正文、網(wǎng)頁(yè)關(guān)鍵詞等，利用向量空間模型（VSM）建立權(quán)值矩陣，并通過(guò)LSI算法進(jìn)行特征降維，再用K均值算法進(jìn)行文本聚類，得到的文本聚類中心作為類別標(biāo)注詞語(yǔ)。另外，查詢?cè)~是從用戶角度進(jìn)行信息描述，因此本文認(rèn)為指向同一URL的兩個(gè)查詢?cè)~是高度相關(guān)，并