基于電商平臺(tái)的產(chǎn)品評(píng)論大數(shù)據(jù)獲取及應(yīng)用.pdf

1、學(xué)校代碼：10663學(xué)號(hào)：4201310000747貴州師范大學(xué)碩士學(xué)位論文基于電商平臺(tái)的產(chǎn)品評(píng)論大數(shù)據(jù)獲取及應(yīng)用BigDataAcquisitionApplicationofProductReviewsBasedonElectronicBusinessPlatfm專業(yè)名稱：計(jì)算機(jī)科學(xué)與技術(shù)專業(yè)代碼：081200研究方向：數(shù)據(jù)挖掘、云計(jì)算與大數(shù)據(jù)申請(qǐng)人姓名：譚文斌導(dǎo)師姓名(職稱)：張?zhí)A(教授)二〇一六年四月七日摘要I摘要隨著電子商務(wù)的

2、迅速發(fā)展，網(wǎng)上購(gòu)物變得越來(lái)越頻繁，各電商平臺(tái)每天都會(huì)產(chǎn)生大量的交易數(shù)據(jù)和用戶評(píng)論數(shù)據(jù)，對(duì)于用戶評(píng)論數(shù)據(jù)，其中蘊(yùn)藏著許多有價(jià)值的信息，如產(chǎn)品的缺陷信息、用戶的需求信息等。對(duì)此，本文針對(duì)電商平臺(tái)中產(chǎn)品評(píng)論大數(shù)據(jù)獲取及應(yīng)用進(jìn)行了深入研究，通過(guò)提取產(chǎn)品評(píng)論大數(shù)據(jù)中各屬性詞的評(píng)價(jià)觀點(diǎn)和意見，將提取的觀點(diǎn)經(jīng)過(guò)整合后生成評(píng)價(jià)摘要，以簡(jiǎn)潔、易讀的形成呈現(xiàn)給用戶，為顧客購(gòu)物提供更好的參考和指引，使商家更好地了解顧客需求，提升服務(wù)質(zhì)量，使產(chǎn)品設(shè)計(jì)人員能夠及

3、時(shí)了解用戶的使用體驗(yàn)，改進(jìn)產(chǎn)品設(shè)計(jì)的不足，提升產(chǎn)品質(zhì)量。對(duì)此，本文圍繞產(chǎn)品評(píng)論大數(shù)據(jù)的獲取、聚類、產(chǎn)品屬性詞識(shí)別、以及評(píng)價(jià)觀點(diǎn)的提取和整合等方面進(jìn)行了深入研究，將Nutch網(wǎng)絡(luò)爬蟲與Hadoop相結(jié)合實(shí)現(xiàn)了評(píng)論數(shù)據(jù)的分布式爬取，提高了評(píng)論數(shù)據(jù)的爬取效率；將爬取的評(píng)論數(shù)據(jù)經(jīng)過(guò)預(yù)處理后得到評(píng)論數(shù)據(jù)集，采用TFIDF方法來(lái)計(jì)算特征詞的權(quán)重，采用基于向量空間模型的方法來(lái)計(jì)算評(píng)論語(yǔ)句的相似度，并將Canopy聚類算法與Kmeans聚類算法結(jié)合起來(lái)

4、使用，采用MapReduce框架來(lái)實(shí)現(xiàn)這兩種算法對(duì)評(píng)論數(shù)據(jù)的聚類分析，提高了評(píng)論數(shù)據(jù)的聚類效率和聚類精度。將爬取的海量評(píng)論數(shù)據(jù)經(jīng)過(guò)聚類分析后，得到以產(chǎn)品屬性詞為主要聚類中心的各個(gè)聚類族，采用基于產(chǎn)品屬性的評(píng)價(jià)觀點(diǎn)提取方法，將各個(gè)聚類族中關(guān)于產(chǎn)品屬性的評(píng)價(jià)觀點(diǎn)提取出來(lái)，經(jīng)過(guò)觀點(diǎn)整合后形成評(píng)價(jià)摘要，以評(píng)價(jià)摘要的形式呈現(xiàn)給用戶，提高了屬性詞評(píng)價(jià)觀點(diǎn)的可閱讀性。為了規(guī)范評(píng)論語(yǔ)句中屬性詞觀點(diǎn)的提取，本文構(gòu)建了評(píng)論數(shù)據(jù)的質(zhì)量評(píng)估體系，以確保提取的屬

5、性詞觀點(diǎn)的質(zhì)量，為觀點(diǎn)提取算法的優(yōu)化提供了參考依據(jù)。最后，以XX凈水器的評(píng)論數(shù)據(jù)為例，經(jīng)過(guò)聚類分析、屬性詞觀點(diǎn)提取和整合分析，生成了XX凈水器的評(píng)價(jià)摘要，得到了XX凈水器擁有的優(yōu)點(diǎn)和存在的不足，并對(duì)提取的屬性詞評(píng)價(jià)觀點(diǎn)的應(yīng)用作了簡(jiǎn)要分析。通過(guò)應(yīng)用測(cè)試表明，本文所采取的評(píng)論數(shù)據(jù)的獲取和分析方法是正確的和有效的，所提取的各屬性詞評(píng)價(jià)觀點(diǎn)對(duì)設(shè)計(jì)人員和用戶具有重要意義，為電商平臺(tái)中評(píng)論大數(shù)據(jù)的獲取、分析和應(yīng)用提供了新的思路和方法。關(guān)鍵詞：產(chǎn)品評(píng)