基于重要度與緊密度的搜索串核心詞提取系統(tǒng).pdf

1、近年來隨著互聯(lián)網(wǎng)，尤其是移動互聯(lián)網(wǎng)的廣泛發(fā)展，電子地圖的使用越來越廣泛，而電子地圖搜索引擎應(yīng)運(yùn)而生。電子地圖提高服務(wù)質(zhì)量，一方面需要更為精準(zhǔn)、更為龐大、更為細(xì)致、更為時效的數(shù)據(jù)點信息，同時另一方面還需要可以理解用戶需求，結(jié)果更為精準(zhǔn)的搜索引擎。查詢分析是搜索引擎中的重要環(huán)節(jié)，其與用戶首先接觸，理解用戶意圖，指導(dǎo)后續(xù)的信息召回與排序。通過核心詞提取系統(tǒng)，提取用戶搜索串的核心詞，是優(yōu)化查詢分析結(jié)果的重要途徑。
　　本文以當(dāng)前搜索引擎的

2、發(fā)展為基礎(chǔ)，自然語言處理技術(shù)為背景，分析了當(dāng)前搜索引擎中基于查詢?nèi)罩?，利用自然語言處理技術(shù)對搜索串進(jìn)行處理的現(xiàn)狀，與當(dāng)前電子地圖搜索引擎的業(yè)務(wù)需求相結(jié)合，給出了核心詞提取系統(tǒng)的需求分析。同時從技術(shù)角度采用樸素貝葉斯模型與雙字耦合度，提高基于統(tǒng)計的機(jī)器學(xué)習(xí)的準(zhǔn)確性。
　　本文給出了重要度與緊密度的定義與計算方法，前者根據(jù)重要度計算公式，通過樸素貝葉斯模型找到與原文本相近的文本，并通過語素在相近文本出現(xiàn)的概率求得其在原文本中的重要度。

3、后者利用近似雙字耦合度的方式，通過用兩個語素連續(xù)出現(xiàn)頻率與兩個語素同時出現(xiàn)頻率之商計算兩個語素間的緊密度。
　　本文使用C++語言、Python語言以及MapReduce平臺，對核心詞提取系統(tǒng)進(jìn)行開發(fā)。從設(shè)計上分為兩大部分，離線挖掘與在線處理。離線挖掘部分包括重要度挖掘模塊和緊密度挖掘模塊。根據(jù)重要度與緊密度的計算公式，利用MapReduce平臺，實現(xiàn)了大數(shù)據(jù)的分布式處理，在保證計算準(zhǔn)確性的同時，提高了數(shù)據(jù)挖掘的效率。在線使用部分

4、包括核心詞提取模塊。其利用離線挖掘的重要度與緊密度詞表，與實體詞、黑、白名單、搜索串成分規(guī)則等策略相結(jié)合，實現(xiàn)了對于搜索串的核心詞提取。
　　同時本文通過增加語料庫的數(shù)量和調(diào)整融合參數(shù)，對重要度與緊密度的離線挖掘結(jié)果進(jìn)行優(yōu)化。通過增加調(diào)整提取策略，對核心詞提取模塊的準(zhǔn)確性進(jìn)行提高。最終實現(xiàn)了核心詞提取系統(tǒng)的優(yōu)化。
　　本文通過將基于統(tǒng)計的機(jī)器學(xué)習(xí)與人工制定的規(guī)則相結(jié)合，設(shè)計并實現(xiàn)了核心詞提取系統(tǒng)，并不斷優(yōu)化核心詞提取的結(jié)果。