大數(shù)據(jù)環(huán)境下垃圾評(píng)論過濾系統(tǒng)的研究與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)應(yīng)用的不斷發(fā)展，網(wǎng)絡(luò)購物逐漸成為一種消費(fèi)潮流。在線評(píng)論作為網(wǎng)絡(luò)購物的重要組成部分，為網(wǎng)購用戶做出購買決策及制造商改善產(chǎn)品提供重要依據(jù)。由于在線評(píng)論的好壞能夠直接影響產(chǎn)品的銷售，互聯(lián)網(wǎng)上出現(xiàn)大量誤導(dǎo)網(wǎng)購用戶的且具有惡意目的的垃圾評(píng)論，因此實(shí)現(xiàn)在線垃圾評(píng)論的自動(dòng)化檢測成為大家關(guān)注的焦點(diǎn)。國外學(xué)者最早開展了基于英文的在線垃圾評(píng)論自動(dòng)化檢測研究，但語言的差異性導(dǎo)致相關(guān)的研究成果難以應(yīng)用于中文在線垃圾評(píng)論自動(dòng)化檢測。為此，本文對(duì)中文垃圾

2、評(píng)論的自動(dòng)化檢測展開研究，并提出了大數(shù)據(jù)環(huán)境下中文在線評(píng)論存儲(chǔ)策略。論文的主要工作如下:
　　1)構(gòu)建中文在線評(píng)論資料庫。本文定制了一款網(wǎng)絡(luò)爬蟲工具對(duì)互聯(lián)網(wǎng)上的中文在線評(píng)論實(shí)現(xiàn)自動(dòng)化抓取，并利用分布式文件系統(tǒng)HDFS來確保中文在線評(píng)論海量數(shù)據(jù)的可靠存儲(chǔ)。
　　2)中文垃圾評(píng)論檢測模型的建立。本文將中文在線垃圾評(píng)論識(shí)別視為文本分類問題，并采用分類模型加以解決。為避免中文在線評(píng)論的差異性，本文僅基于文本內(nèi)容構(gòu)建包含九個(gè)特征的文本