基于Map-Reduce和Trie樹(shù)的搜索需求識(shí)別研究.pdf

1、在數(shù)據(jù)量爆炸式增長(zhǎng)的互聯(lián)網(wǎng)時(shí)代，人們同時(shí)面臨著機(jī)遇和挑戰(zhàn)。一方面人們?cè)诓粩嗟貜拇髷?shù)據(jù)金礦中挖掘出有用的信息，另一方面又可能面對(duì)大量的Web冗余信息束手無(wú)策。而搜索引擎作為人們最常用的信息檢索工具，在幫助人們從互聯(lián)網(wǎng)中找到所需信息的同時(shí)，也承受著數(shù)據(jù)增長(zhǎng)帶來(lái)的極大負(fù)擔(dān)。
　　目前由于搜索引擎的索引數(shù)據(jù)正變得越來(lái)越龐大，其查詢的工作量正變得日益繁重，同時(shí)，搜索引擎所查詢到的絕大多數(shù)信息都是與用戶需求無(wú)關(guān)的。如果搜索引擎在發(fā)起搜索之前就

2、能預(yù)測(cè)用戶的搜索需求，就能為用戶提供體驗(yàn)更好的搜索服務(wù)。通過(guò)搜索引擎對(duì)用戶搜索需求進(jìn)行實(shí)時(shí)分析，不僅能為用戶提供更加個(gè)性化的搜索結(jié)果，同時(shí)也可以省略很多不必要的計(jì)算。于是搜索引擎的用戶搜索需求成了國(guó)內(nèi)外學(xué)者們重點(diǎn)研究的領(lǐng)域。要完成對(duì)用戶需求的預(yù)判，必須對(duì)用戶的搜索詞進(jìn)行識(shí)別，這種識(shí)別往往需要借助一些日志挖掘的手段。但是現(xiàn)在的搜索日志數(shù)據(jù)量都在TB級(jí)別，在單機(jī)上難以實(shí)現(xiàn)。
　　本文針對(duì)大規(guī)模數(shù)據(jù)計(jì)算的特點(diǎn)，提出了構(gòu)建需求識(shí)別模板的P

3、aratemp策略。該策略借助Map-Reduce技術(shù)，通過(guò)對(duì)搜索日志的訓(xùn)練從分布式集群上挖掘出具有代表性的分類(lèi)模板，從而得到能識(shí)別用戶搜索需求的模式。同時(shí)本文借鑒關(guān)聯(lián)規(guī)則挖掘中的置信度和支持度變量，提出了針對(duì)模板的篩選標(biāo)準(zhǔn)。通過(guò)篩選的模板可以作為分類(lèi)搜索需求的支持依據(jù)。
　　在成功提取用戶搜索模板后，為了達(dá)到識(shí)別搜索需求的目的,需要一套高效的自然語(yǔ)言算法來(lái)對(duì)這些模板加以利用。本文設(shè)計(jì)了Tempaser識(shí)別算法，利用Trie樹(shù)空間