基于意見(jiàn)挖掘技術(shù)的網(wǎng)購(gòu)評(píng)論傾向性分析的研究與應(yīng)用.pdf

1、互聯(lián)網(wǎng)的高速發(fā)展使得網(wǎng)上購(gòu)物越來(lái)越盛行,這極大改變了人們的購(gòu)物方式。而人們對(duì)商品及購(gòu)物過(guò)程的感受,也從口口相傳發(fā)展為以網(wǎng)購(gòu)評(píng)論的方式來(lái)傳播。網(wǎng)購(gòu)評(píng)論,不論對(duì)于普通購(gòu)買者還是產(chǎn)品生產(chǎn)者都極為重要。本文力求通過(guò)從網(wǎng)購(gòu)評(píng)論中分析、提取人們對(duì)商品的情感傾向,進(jìn)而幫助消費(fèi)者選擇適合的商品,也幫助生產(chǎn)者有針對(duì)性地提高產(chǎn)品質(zhì)量。
　　 基于意見(jiàn)挖掘的文本傾向性分析一般是將文檔或句子看作詞、短語(yǔ)或模式的集合,通過(guò)識(shí)別關(guān)鍵詞、短語(yǔ)或模式,并計(jì)算其

2、傾向性值,再將結(jié)果累加得到待分析文檔或句子的傾向性值。文本傾向性分析一般通過(guò)數(shù)據(jù)采集、文本預(yù)處理、傾向性識(shí)別與判斷以及結(jié)果展示等四個(gè)步驟實(shí)現(xiàn)。
　　 本文深入地研究了現(xiàn)有的文本傾向性分析方法,從京東商城上抓取網(wǎng)購(gòu)評(píng)論數(shù)據(jù),通過(guò)對(duì)數(shù)據(jù)的分析和統(tǒng)計(jì),總結(jié)了網(wǎng)購(gòu)評(píng)論數(shù)據(jù)的特點(diǎn),進(jìn)而提出基于詞性模式的抽取和合并算法(POSEM算法),應(yīng)用該算法抽取出訓(xùn)練數(shù)據(jù)集中的有效詞性模式,再根據(jù)詞性模式的特點(diǎn),設(shè)計(jì)了模式匹配規(guī)則,最后,運(yùn)用這些規(guī)則

3、,從測(cè)試集中抽取出中心詞和評(píng)價(jià)詞,并實(shí)現(xiàn)了評(píng)論語(yǔ)句的傾向性判別。實(shí)驗(yàn)結(jié)果表明,本文提出的方法取得了較高的精確率和召回率。
　　 本文的主要工作如下：
　　 (1)本文結(jié)合現(xiàn)有的文本傾向性分析理論,對(duì)獲得的網(wǎng)購(gòu)評(píng)論數(shù)據(jù)進(jìn)行了深入地分析和統(tǒng)計(jì),總結(jié)了網(wǎng)購(gòu)評(píng)論數(shù)據(jù)與傾向性分析相關(guān)的特點(diǎn)：評(píng)論句子中,形容詞對(duì)傾向性判別的貢獻(xiàn)最大,其在主觀句中的數(shù)量與總數(shù)的比例最大,達(dá)到86.87％；名詞、副詞的貢獻(xiàn)次之,比例分別達(dá)到71.64%

4、和70.79%；其他詞性,如動(dòng)詞、介詞,對(duì)傾向性的分析也有重要的作用。
　　 (2)基于對(duì)網(wǎng)購(gòu)評(píng)論數(shù)據(jù)的分析,本文設(shè)計(jì)并實(shí)現(xiàn)了基于詞性模式的抽取與合并算法(POSEM算法)。該算法使用“POS\T\O”表示詞性模式信息,并對(duì)詞性模式的長(zhǎng)度、在數(shù)據(jù)集在出現(xiàn)的頻率和出現(xiàn)在主觀句中的概率,分別設(shè)計(jì)了長(zhǎng)度閾值、頻度閾值和上下限概率閾值。其中,滿足下限概率閾值的模式用于否定評(píng)論句子的傾向性。抽取算法從預(yù)處理后的訓(xùn)練文本數(shù)據(jù)中,抽取出滿足全

5、部閾值的詞性模式。對(duì)于僅符合長(zhǎng)度閾值和上下限概率閾值的模式,在保留模式中的中心詞和評(píng)價(jià)詞信息的前提下,合并算法嘗試將其進(jìn)行合并,以獲得能夠滿足全部閾值要求的模糊模式。這樣的設(shè)計(jì)可以在一定程度上提高傾向性分析的召回率。
　　 (3)基于對(duì)POSEM算法抽取到的詞性模式的分析,本文設(shè)計(jì)了模式匹配規(guī)則,并從測(cè)試文本數(shù)據(jù)中識(shí)別出中心詞、評(píng)價(jià)詞,再利用以高精確率抽取得到的中心詞和評(píng)價(jià)詞來(lái)處理剩余的未處理文本,最后根據(jù)總結(jié)出的傾向性判別規(guī)則

6、得到評(píng)論句子的傾向性。通過(guò)對(duì)實(shí)驗(yàn)結(jié)果的分析,本文提出的方法具有較高的精確率和召回率。
　　 (4)本文設(shè)計(jì)實(shí)現(xiàn)了一個(gè)通用的文本傾向性分析框架。該框架可以靈活地替換組件,以滿足不同的實(shí)驗(yàn)需要。在預(yù)處理模塊,系統(tǒng)為詞性定義了統(tǒng)一的格式,當(dāng)替換不同的分詞工具時(shí),只需要將其自定義的詞性格式簡(jiǎn)單地轉(zhuǎn)換為系統(tǒng)的格式即可。在文本分析模塊,系統(tǒng)可以方便地替換訓(xùn)練、測(cè)試及應(yīng)用組件?；谏鲜龅目蚣?整合開(kāi)源工具,本文設(shè)計(jì)實(shí)現(xiàn)了一個(gè)文本分析的原型實(shí)驗(yàn)