基于云計算的多層次文本關(guān)鍵詞抽取研究與應(yīng)用.pdf

1、經(jīng)濟(jì)與科技的高速發(fā)展及信息化的加速推進(jìn)使當(dāng)今社會已逐步邁進(jìn)云計算時代，云計算與大數(shù)據(jù)的深度結(jié)合對傳統(tǒng)行業(yè)帶來巨大的沖擊。傳統(tǒng)技術(shù)需要在云計算環(huán)境中重新進(jìn)行分析、設(shè)計，以充分挖掘云計算的潛力，為傳統(tǒng)行業(yè)的變革尋求新的契機(jī)。
　　自然語言處理是計算機(jī)科學(xué)領(lǐng)域與人工智能領(lǐng)域等其他領(lǐng)域的重要研究內(nèi)容。自然語言處理從不同的層次來講，主要包括詞法分析、句法分析、語義分析、文本生成、機(jī)器翻譯及關(guān)鍵詞抽取等。自然語言處理經(jīng)過長期的發(fā)展，已有部分技

2、術(shù)得到成功的應(yīng)用，如中文分詞工具、翻譯軟件等。由于計算復(fù)雜度高或者其他方面的原因，包括句法分析、語義分析在內(nèi)的高層次自然語言處理一直以來進(jìn)展緩慢，云計算及大數(shù)據(jù)技術(shù)的逐漸成熟及應(yīng)用的日益普及為解決文本關(guān)鍵詞抽取等自然語言處理中的難題提供了新的解決方案。本文對基于云計算的多層次文本關(guān)鍵詞抽取進(jìn)行研究，主要是在云計算平臺下，對低層次的基于詞頻的文本關(guān)鍵詞抽取、較高層次的基于語義相似度的文本關(guān)鍵詞收取、更高層次的基于語言網(wǎng)絡(luò)的關(guān)鍵詞抽取進(jìn)行分

3、析，通過對三個不同層次的關(guān)鍵詞抽取算法進(jìn)行融合，設(shè)計并提出了基于云計算的多層次文本關(guān)鍵詞抽取算法并在Hadoop云計算試驗平臺上進(jìn)行驗證。論文主要包括以下四個方面的內(nèi)容:
　　首先，對低層次的基于詞頻的文本關(guān)鍵詞抽取進(jìn)行研究并進(jìn)行并行化改進(jìn)，針對Hadoop云計算平臺的特點(diǎn)設(shè)計Map、Combine、Reduce函數(shù)實(shí)現(xiàn)云計算平臺下基于詞頻的文本關(guān)鍵詞抽取，將詞頻最高的詞語作為基于詞頻的文本關(guān)鍵詞抽取結(jié)果。
　　其次，對較高

4、層次的基于語義相似度的文本關(guān)鍵詞抽取進(jìn)行研究并進(jìn)行并行化改進(jìn)，采用現(xiàn)有的語義相似度計算方法，針對Hadoop云計算平臺的特點(diǎn)設(shè)計Map、Combine、Reduce函數(shù)實(shí)現(xiàn)云計算平臺下基于語義相似度的文本關(guān)鍵詞抽取，將與其他所有詞語語義相似度和最高的詞語作為基于語義相似度的文本關(guān)鍵詞抽取結(jié)果。
　　然后，對更高層次的基于語言網(wǎng)絡(luò)的文本關(guān)鍵詞抽取進(jìn)行研究并在Hadoop云計算平臺下借助X-RIME網(wǎng)絡(luò)分析工具實(shí)現(xiàn)了對語言網(wǎng)絡(luò)的作為節(jié)

5、點(diǎn)的詞語的PageRank值計算，虛擬的超級節(jié)點(diǎn)的引入可以確保語言網(wǎng)絡(luò)是連通的，將語言網(wǎng)絡(luò)中做為節(jié)點(diǎn)的詞語PageRank最高的詞語作為基于語言網(wǎng)絡(luò)的文本關(guān)鍵詞抽取結(jié)果。
　　最后，在云計算平臺下將低層次的基于詞頻的文本關(guān)鍵詞抽取、較高層次的基于語義相似度的文本關(guān)鍵詞抽取、更高層次的基于語言網(wǎng)絡(luò)的文本關(guān)鍵詞抽取結(jié)果進(jìn)行融合，采用非線性融合函數(shù)，取詞頻平方根、語義相似度和、PageRank值平方三者乘積最高的詞語作為多層次文本關(guān)鍵詞