基于LDA主題模型的電商客戶(hù)評(píng)論情感分析.pdf

1、隨著電商平臺(tái)的蓬勃發(fā)展，用戶(hù)數(shù)量逐漸增多，使得商品評(píng)價(jià)數(shù)目飆升。如何能高效、精確獲得基于這些語(yǔ)料的相關(guān)信息，在此基礎(chǔ)上進(jìn)行分析研究逐漸成為了當(dāng)前信息科學(xué)和技術(shù)領(lǐng)域中面臨到的重大挑戰(zhàn)。電商網(wǎng)站因流量巨大，可為各種類(lèi)別的產(chǎn)品提供交易平臺(tái)，而這其中的電子類(lèi)產(chǎn)品是在電商平臺(tái)上非常熱銷(xiāo)的典型產(chǎn)品之一。尤其是隨著物聯(lián)網(wǎng)的普及帶來(lái)了穿戴智能、智慧家裝、健康醫(yī)療等一系列智能設(shè)備，智能手環(huán)是其中典型代表。本文即采用京東商城智能手環(huán)類(lèi)產(chǎn)品用戶(hù)評(píng)論作為數(shù)據(jù)集

2、，充分結(jié)合機(jī)器學(xué)習(xí)及自然語(yǔ)言處理相關(guān)理論和方法，對(duì)文本語(yǔ)料進(jìn)行了文本情感傾向性的建模、文本主題分析研究，從而提出高效、精確的文本挖掘技術(shù)和方法。
　　本文所研究的技術(shù)成果可廣泛用于各類(lèi)電商門(mén)戶(hù)、點(diǎn)評(píng)網(wǎng)站及線上交易平臺(tái)。本文從文本挖掘的具體流程，包括語(yǔ)料數(shù)據(jù)采集、文本預(yù)處理、語(yǔ)義分析、情感分類(lèi)、主題分析等為文本挖掘分析提供相關(guān)的技術(shù)指導(dǎo)，并著重介紹了數(shù)據(jù)獲取、自然語(yǔ)言處理、算法選擇與情感分類(lèi)比較等多種技巧。首先通過(guò)python采集京

3、東商城手環(huán)類(lèi)產(chǎn)品評(píng)論文本語(yǔ)料數(shù)據(jù)，得到近20萬(wàn)條用戶(hù)評(píng)論文本。然后對(duì)文本預(yù)料進(jìn)行數(shù)據(jù)預(yù)處理，主要是文本語(yǔ)句間去重:刪除行與行之間完全重復(fù)的內(nèi)容，只保留唯一的一條評(píng)論;文本語(yǔ)句內(nèi)去重:用多重遍歷的方式對(duì)有單字、多字重復(fù)，從句間重復(fù)等進(jìn)行篩查;后續(xù)處理和低含義詞語(yǔ)刪除:通過(guò)設(shè)置排查篩查的長(zhǎng)度，剔除掉低于預(yù)設(shè)值的評(píng)論內(nèi)容。特征選取部分，主要是采用TF-IDF值作為特征選擇的方式，計(jì)算每個(gè)詞的TF-IDF值，將其和設(shè)定的閾值進(jìn)行比較，低于閾值的

4、詞過(guò)濾掉，最后剩余的詞作為特征項(xiàng)，并且得到的特征項(xiàng)對(duì)應(yīng)的權(quán)重值即為其所對(duì)應(yīng)的TF-IDF值。語(yǔ)義分析，主要是將用戶(hù)的評(píng)論中，出現(xiàn)頻率最高的詞語(yǔ)找出來(lái)，然后分析這些詞語(yǔ)的含義或者關(guān)系，從得出用戶(hù)對(duì)產(chǎn)品的重要評(píng)價(jià)或印象。情感分析，本文使用python的自然語(yǔ)言處理包NLTK及包含分類(lèi)算法的工具包sklearn進(jìn)行分類(lèi)模型的訓(xùn)練。根據(jù)卡方統(tǒng)計(jì)量進(jìn)行特征值選擇，并把語(yǔ)料文本使用特征表示。用不同的分類(lèi)算法構(gòu)建分類(lèi)器，并測(cè)試其準(zhǔn)確度。LDA主題模型