文本評(píng)論數(shù)據(jù)質(zhì)量分析方法研究.pdf

1、隨著電子商務(wù)的快速興起，人們?cè)絹?lái)越傾向于網(wǎng)絡(luò)購(gòu)物。一方面由于網(wǎng)購(gòu)交易雙方信息的不對(duì)稱性,使網(wǎng)購(gòu)用戶鑒定商品質(zhì)量的困難加大，降低電子商務(wù)市場(chǎng)的交易效率；另一方面，用戶評(píng)論數(shù)量巨大，且逐年增長(zhǎng)，再加上用戶的消費(fèi)經(jīng)驗(yàn)、評(píng)價(jià)態(tài)度等存在著巨大差異，導(dǎo)致評(píng)論數(shù)據(jù)中的信息和價(jià)值也參差不齊。因此，如何快速的從海量評(píng)論中獲取有價(jià)值的信息是當(dāng)前電子商務(wù)市場(chǎng)一項(xiàng)迫切而重要的任務(wù)。本文從文本評(píng)論的質(zhì)量角度出發(fā)，基于評(píng)論中商品特征詞之間的泛化/特化關(guān)系，建立商品

2、特征主題層次結(jié)構(gòu)，在該結(jié)構(gòu)的基礎(chǔ)上對(duì)文本質(zhì)量進(jìn)行分析，從而向用戶推薦高質(zhì)量評(píng)論數(shù)據(jù)。
　　本文將每個(gè)商品下的所有評(píng)論作為一個(gè)文檔，提取文本評(píng)論中用戶常用的比較關(guān)注的商品特征，根據(jù)商品特征詞之間的泛化/特化關(guān)系，本文提出了一種基于FCA的特征主題層次格構(gòu)建方法（THL Based on FCA, TBF），以此來(lái)構(gòu)建商品特征主題層次格（Topic Hierarchy Lattice, THL）。TBF方法在采用句法分析方法提取出的商

3、品特征的基礎(chǔ)上，利用文檔主題生成模型（Latent Dirichlet Allocation, LDA）來(lái)進(jìn)行主題分析，提取出特征主題（該主題是由一些商品特征詞按照一定的概率分布組成的詞組），并得到文檔——主題（doc-topic）和主題——特征詞（topic-word）概率矩陣，然后根據(jù)商品類別與特征主題之間的二元關(guān)系，采用形式概念分析（Formal Concept Analysis, FCA）的方法來(lái)構(gòu)建THL。
　　在THL

4、的基礎(chǔ)上，本文提出了文本評(píng)論質(zhì)量的五個(gè)影響因素：全面性、專業(yè)性、內(nèi)聚性、相關(guān)性和可讀性，由此提出了一個(gè)商品評(píng)論的質(zhì)量分析模型（Comment Quality Model Based on THL, CQM）來(lái)計(jì)算每條評(píng)論的質(zhì)量分?jǐn)?shù)。該模型結(jié)合了評(píng)論質(zhì)量的五個(gè)影響因素，可以比較全面的評(píng)估評(píng)論的質(zhì)量。
　　本文選取某B2C電子商務(wù)平臺(tái)2012年交易數(shù)據(jù)中的116個(gè)商品類別、6,212個(gè)商品和18,415,146條評(píng)論數(shù)據(jù)為實(shí)驗(yàn)數(shù)據(jù)集，