一種基于層次思想的搜索日志聚類算法.pdf

1、隨著搜索引擎技術(shù)的發(fā)展和網(wǎng)絡(luò)數(shù)據(jù)的膨脹，搜索引擎已經(jīng)成為人們進(jìn)入互聯(lián)網(wǎng)海量數(shù)據(jù)空間的首要入口。每天搜索引擎都會(huì)接收到大量用戶搜索請(qǐng)求并且將用戶的搜索請(qǐng)求詳情保存下來，成為搜索日志。怎樣從海量的搜索引擎日志中挖掘出有意義的知識(shí)，是目前工業(yè)界和學(xué)術(shù)界研究的一個(gè)熱點(diǎn)。搜索結(jié)果的聚類能夠幫助用戶更容易的獲得所需的內(nèi)容，幫助研究人員對(duì)搜索日志進(jìn)行初步分析。
　　搜索日志一般為短文本，文本字?jǐn)?shù)較少，使得文本的聚類結(jié)果更容易受到無意義詞語的干擾

2、，降低準(zhǔn)確性。一般方法只是根據(jù)詞語詞性，剔除某些無意義詞性的詞語，例如助詞、狀詞等。
　　本文首先針對(duì)已有搜索日志數(shù)據(jù)特點(diǎn)，使用了一種詞語篩選方法對(duì)無意義詞語進(jìn)行了剔除。通過仔細(xì)分析整個(gè)短文本集的特點(diǎn)，制定詞語剔除規(guī)則。最后從篩選原理、實(shí)驗(yàn)結(jié)果兩個(gè)方面說明該方法的有效性。
　　由于搜索日志數(shù)據(jù)量巨大，且在聚類前無法獲知聚類個(gè)數(shù)，使得很多常用聚類算法如k-means、層次聚類算法AGNES等不適合搜索日志的聚類。本文針對(duì)搜索日

3、志聚類的難點(diǎn)，提出了一種基于層次思想的聚類算法，稱為“順序聚類算法”。該算法在時(shí)間復(fù)雜度、聚類可靠性、輸入?yún)?shù)等方面取得綜合性優(yōu)勢(shì)，而且可以將一個(gè)文本聚類到多個(gè)合適的類別中，更有利于挖掘文本之間的內(nèi)在聯(lián)系，使算法更適合搜索引擎日志的聚類?！拔谋菊稀焙汀拔谋净厮荨笔琼樞蚓垲愃惴ǖ膬蓚€(gè)重要概念?！拔谋菊稀蹦軌蚴姑總€(gè)類在聚類過程中自動(dòng)形成該類別的主題特征?！拔谋净厮荨绷蠲恳粋€(gè)文本都有機(jī)會(huì)與新建的類別比較相似性，使其有機(jī)會(huì)聚類到其他類別中。