基于云計(jì)算的多層次文本關(guān)鍵詞抽取研究與應(yīng)用.pdf

1、經(jīng)濟(jì)與科技的高速發(fā)展及信息化的加速推進(jìn)使當(dāng)今社會(huì)已逐步邁進(jìn)云計(jì)算時(shí)代，云計(jì)算與大數(shù)據(jù)的深度結(jié)合對(duì)傳統(tǒng)行業(yè)帶來巨大的沖擊。傳統(tǒng)技術(shù)需要在云計(jì)算環(huán)境中重新進(jìn)行分析、設(shè)計(jì)，以充分挖掘云計(jì)算的潛力，為傳統(tǒng)行業(yè)的變革尋求新的契機(jī)。
　　自然語言處理是計(jì)算機(jī)科學(xué)領(lǐng)域與人工智能領(lǐng)域等其他領(lǐng)域的重要研究內(nèi)容。自然語言處理從不同的層次來講，主要包括詞法分析、句法分析、語義分析、文本生成、機(jī)器翻譯及關(guān)鍵詞抽取等。自然語言處理經(jīng)過長期的發(fā)展，已有部分技

2、術(shù)得到成功的應(yīng)用，如中文分詞工具、翻譯軟件等。由于計(jì)算復(fù)雜度高或者其他方面的原因，包括句法分析、語義分析在內(nèi)的高層次自然語言處理一直以來進(jìn)展緩慢，云計(jì)算及大數(shù)據(jù)技術(shù)的逐漸成熟及應(yīng)用的日益普及為解決文本關(guān)鍵詞抽取等自然語言處理中的難題提供了新的解決方案。本文對(duì)基于云計(jì)算的多層次文本關(guān)鍵詞抽取進(jìn)行研究，主要是在云計(jì)算平臺(tái)下，對(duì)低層次的基于詞頻的文本關(guān)鍵詞抽取、較高層次的基于語義相似度的文本關(guān)鍵詞收取、更高層次的基于語言網(wǎng)絡(luò)的關(guān)鍵詞抽取進(jìn)行分

3、析，通過對(duì)三個(gè)不同層次的關(guān)鍵詞抽取算法進(jìn)行融合，設(shè)計(jì)并提出了基于云計(jì)算的多層次文本關(guān)鍵詞抽取算法并在Hadoop云計(jì)算試驗(yàn)平臺(tái)上進(jìn)行驗(yàn)證。論文主要包括以下四個(gè)方面的內(nèi)容:
　　首先，對(duì)低層次的基于詞頻的文本關(guān)鍵詞抽取進(jìn)行研究并進(jìn)行并行化改進(jìn)，針對(duì)Hadoop云計(jì)算平臺(tái)的特點(diǎn)設(shè)計(jì)Map、Combine、Reduce函數(shù)實(shí)現(xiàn)云計(jì)算平臺(tái)下基于詞頻的文本關(guān)鍵詞抽取，將詞頻最高的詞語作為基于詞頻的文本關(guān)鍵詞抽取結(jié)果。
　　其次，對(duì)較高

4、層次的基于語義相似度的文本關(guān)鍵詞抽取進(jìn)行研究并進(jìn)行并行化改進(jìn)，采用現(xiàn)有的語義相似度計(jì)算方法，針對(duì)Hadoop云計(jì)算平臺(tái)的特點(diǎn)設(shè)計(jì)Map、Combine、Reduce函數(shù)實(shí)現(xiàn)云計(jì)算平臺(tái)下基于語義相似度的文本關(guān)鍵詞抽取，將與其他所有詞語語義相似度和最高的詞語作為基于語義相似度的文本關(guān)鍵詞抽取結(jié)果。
　　然后，對(duì)更高層次的基于語言網(wǎng)絡(luò)的文本關(guān)鍵詞抽取進(jìn)行研究并在Hadoop云計(jì)算平臺(tái)下借助X-RIME網(wǎng)絡(luò)分析工具實(shí)現(xiàn)了對(duì)語言網(wǎng)絡(luò)的作為節(jié)

5、點(diǎn)的詞語的PageRank值計(jì)算，虛擬的超級(jí)節(jié)點(diǎn)的引入可以確保語言網(wǎng)絡(luò)是連通的，將語言網(wǎng)絡(luò)中做為節(jié)點(diǎn)的詞語PageRank最高的詞語作為基于語言網(wǎng)絡(luò)的文本關(guān)鍵詞抽取結(jié)果。
　　最后，在云計(jì)算平臺(tái)下將低層次的基于詞頻的文本關(guān)鍵詞抽取、較高層次的基于語義相似度的文本關(guān)鍵詞抽取、更高層次的基于語言網(wǎng)絡(luò)的文本關(guān)鍵詞抽取結(jié)果進(jìn)行融合，采用非線性融合函數(shù)，取詞頻平方根、語義相似度和、PageRank值平方三者乘積最高的詞語作為多層次文本關(guān)鍵詞