基于重要度與緊密度的搜索串核心詞提取系統(tǒng).pdf

1、近年來(lái)隨著互聯(lián)網(wǎng)，尤其是移動(dòng)互聯(lián)網(wǎng)的廣泛發(fā)展，電子地圖的使用越來(lái)越廣泛，而電子地圖搜索引擎應(yīng)運(yùn)而生。電子地圖提高服務(wù)質(zhì)量，一方面需要更為精準(zhǔn)、更為龐大、更為細(xì)致、更為時(shí)效的數(shù)據(jù)點(diǎn)信息，同時(shí)另一方面還需要可以理解用戶需求，結(jié)果更為精準(zhǔn)的搜索引擎。查詢分析是搜索引擎中的重要環(huán)節(jié)，其與用戶首先接觸，理解用戶意圖，指導(dǎo)后續(xù)的信息召回與排序。通過(guò)核心詞提取系統(tǒng)，提取用戶搜索串的核心詞，是優(yōu)化查詢分析結(jié)果的重要途徑。
　　本文以當(dāng)前搜索引擎的

2、發(fā)展為基礎(chǔ)，自然語(yǔ)言處理技術(shù)為背景，分析了當(dāng)前搜索引擎中基于查詢?nèi)罩?，利用自然語(yǔ)言處理技術(shù)對(duì)搜索串進(jìn)行處理的現(xiàn)狀，與當(dāng)前電子地圖搜索引擎的業(yè)務(wù)需求相結(jié)合，給出了核心詞提取系統(tǒng)的需求分析。同時(shí)從技術(shù)角度采用樸素貝葉斯模型與雙字耦合度，提高基于統(tǒng)計(jì)的機(jī)器學(xué)習(xí)的準(zhǔn)確性。
　　本文給出了重要度與緊密度的定義與計(jì)算方法，前者根據(jù)重要度計(jì)算公式，通過(guò)樸素貝葉斯模型找到與原文本相近的文本，并通過(guò)語(yǔ)素在相近文本出現(xiàn)的概率求得其在原文本中的重要度。

3、后者利用近似雙字耦合度的方式，通過(guò)用兩個(gè)語(yǔ)素連續(xù)出現(xiàn)頻率與兩個(gè)語(yǔ)素同時(shí)出現(xiàn)頻率之商計(jì)算兩個(gè)語(yǔ)素間的緊密度。
　　本文使用C++語(yǔ)言、Python語(yǔ)言以及MapReduce平臺(tái)，對(duì)核心詞提取系統(tǒng)進(jìn)行開(kāi)發(fā)。從設(shè)計(jì)上分為兩大部分，離線挖掘與在線處理。離線挖掘部分包括重要度挖掘模塊和緊密度挖掘模塊。根據(jù)重要度與緊密度的計(jì)算公式，利用MapReduce平臺(tái)，實(shí)現(xiàn)了大數(shù)據(jù)的分布式處理，在保證計(jì)算準(zhǔn)確性的同時(shí)，提高了數(shù)據(jù)挖掘的效率。在線使用部分

4、包括核心詞提取模塊。其利用離線挖掘的重要度與緊密度詞表，與實(shí)體詞、黑、白名單、搜索串成分規(guī)則等策略相結(jié)合，實(shí)現(xiàn)了對(duì)于搜索串的核心詞提取。
　　同時(shí)本文通過(guò)增加語(yǔ)料庫(kù)的數(shù)量和調(diào)整融合參數(shù)，對(duì)重要度與緊密度的離線挖掘結(jié)果進(jìn)行優(yōu)化。通過(guò)增加調(diào)整提取策略，對(duì)核心詞提取模塊的準(zhǔn)確性進(jìn)行提高。最終實(shí)現(xiàn)了核心詞提取系統(tǒng)的優(yōu)化。
　　本文通過(guò)將基于統(tǒng)計(jì)的機(jī)器學(xué)習(xí)與人工制定的規(guī)則相結(jié)合，設(shè)計(jì)并實(shí)現(xiàn)了核心詞提取系統(tǒng)，并不斷優(yōu)化核心詞提取的結(jié)果。