查詢意圖識(shí)別的關(guān)鍵技術(shù)研究.pdf

1、隨著網(wǎng)絡(luò)上信息的爆炸式增長(zhǎng)，搜索引擎扮演著越來越重要的角色。當(dāng)前的搜索引擎主要是通過計(jì)算用戶查詢和文檔的相似度來返回檢索結(jié)果的。然而基于相似度的搜索方式僅僅會(huì)返回包含查詢關(guān)鍵詞的網(wǎng)頁，而沒有對(duì)查詢背后用戶真正的需求進(jìn)行識(shí)別與匹配。對(duì)于具有復(fù)雜信息需求的查詢，搜索引擎返回的搜索結(jié)果往往包含有較多不符合用戶需求的噪聲網(wǎng)頁，從而無法充分滿足用戶需求。因此，進(jìn)行用戶查詢意圖識(shí)別的相關(guān)研究，深入理解用戶的查詢意圖是十分必要的。
　　到目前為

2、止，使用最為廣泛的意圖類別體系是Broder提出的“信息類，導(dǎo)航類，事務(wù)類”這三種意圖類型。本文對(duì)查詢意圖的類別進(jìn)行了新的定義，新定義的意圖類別體系是基于某一特定的領(lǐng)域的，本文定義的查詢意圖分為三類:獲取實(shí)體的屬性值、查找某個(gè)實(shí)體的相關(guān)信息以及對(duì)某一實(shí)體的操作。本文的研究工作主要圍繞下面兩點(diǎn)進(jìn)行:第一，通過分類的方法對(duì)查詢進(jìn)行領(lǐng)域識(shí)別;第二，在特定領(lǐng)域下，對(duì)查詢的意圖類型進(jìn)行識(shí)別，并抽取查詢關(guān)鍵詞，最后生成查詢意圖解析結(jié)果。
　　

3、查詢領(lǐng)域識(shí)別的問題轉(zhuǎn)化為查詢的分類問題，但是對(duì)查詢進(jìn)行分類主要存在兩個(gè)問題:首先，用戶查詢的長(zhǎng)度較短，從查詢中所能抽取到的特征比較稀疏;其次，基于機(jī)器學(xué)習(xí)的分類方法需要一定規(guī)模的訓(xùn)練數(shù)據(jù)，而人工地對(duì)大規(guī)模的查詢進(jìn)行領(lǐng)域標(biāo)注是不現(xiàn)實(shí)的。本文借助百度百科中的在線知識(shí)對(duì)查詢進(jìn)行特征擴(kuò)展，解決了查詢特征稀疏的問題;本文利用網(wǎng)頁分類導(dǎo)航網(wǎng)站對(duì)網(wǎng)頁URL進(jìn)行領(lǐng)域標(biāo)注，對(duì)查詢?nèi)罩具M(jìn)行統(tǒng)計(jì)分析，得到查詢點(diǎn)擊URL的分布，根據(jù)URL所屬領(lǐng)域?qū)崿F(xiàn)對(duì)查詢領(lǐng)域

4、的自動(dòng)標(biāo)注。
　　特定領(lǐng)域下查詢意圖的識(shí)別是本文研究的另一個(gè)重點(diǎn)。首先，本文構(gòu)建了基本概念體系和領(lǐng)域意圖知識(shí)庫(kù)，基本概念體系不僅對(duì)通用的詞匯（比如時(shí)間、地點(diǎn)等）進(jìn)行了概念抽象，同時(shí)也對(duì)領(lǐng)域內(nèi)的專名詞典構(gòu)筑了概念體系;領(lǐng)域意圖知識(shí)庫(kù)的構(gòu)建需要對(duì)領(lǐng)域內(nèi)實(shí)體、屬性、意圖特征模板進(jìn)行挖掘。其次，基于基本概念體系和領(lǐng)域意圖知識(shí)庫(kù)，對(duì)某一領(lǐng)域的查詢進(jìn)行意圖解析，并抽取查詢關(guān)鍵詞，生成查詢意圖解析結(jié)果。
　　綜上，本文的貢獻(xiàn)度主要表現(xiàn)在: